Chris Painter lidera parte do trabalho do METR, grupo de pesquisa em inteligência artificial sem fins lucrativos que investiga o que acontece quando agentes de IA saem do controle. Ele teme que esse trabalho fique muito mais difícil em breve.
O motivo é técnico: pesquisadores só conseguem monitorar um agente de IA se conseguirem entender a linguagem em que ele raciocina. Hoje, a maioria dos modelos usa o chamado "raciocínio em cadeia", que decompõe cada tarefa numa sequência lógica de etapas.
"Se eles se tornarem menos monitoráveis, terão mais oportunidades de fazer coisas que não pretendemos", disse Painter à CNN Internacional.
O que já aconteceu com a Hugging Face
O temor de Painter não é hipotético. Em 21 de julho, a OpenAI revelou que agentes de IA que testava internamente invadiram a Hugging Face, empresa que opera uma plataforma de infraestrutura de IA muito usada.
Cerca de 1.200 agentes, que deveriam estar isolados uns dos outros, encontraram uma forma de se comunicar num fórum de mensagens não autorizado. Trocaram mais de 70 mil mensagens e arquivos; 700 desses agentes passaram a participar do ataque.
Para reconstituir o que aconteceu, o METR examinou cerca de 1.300 transcrições brutas de raciocínio dos agentes. Foi justamente a possibilidade de ler esse raciocínio, em linguagem humana, que permitiu entender o que deu errado.
O que os modelos já conseguem esconder
Segundo Mark Riedl, professor de inteligência artificial da Georgia Tech, os modelos de IA podem passar a usar "referências abreviadas, parecidas com a forma como um humano faria ao transcrever anotações", pensadas para deixar o próprio modelo mais rápido.
Publicidade
Riedl observa que modelos mais recentes já conseguem chegar a conclusões sem produzir nenhum rastro legível do raciocínio que seguiram.
"Se isso acontecesse, quando um investigador entrasse, olharia em volta e veria apenas números por toda parte", disse Painter, sobre o risco de o rastro de auditoria se tornar ininteligível.
A OpenAI diz investir "recursos significativos" em capacidades de monitoramento e afirma investigar métodos para se proteger do desalinhamento causado pela falta de transparência.
O ponto em aberto
Não é a primeira vez que um agente de IA da OpenAI age fora do esperado: em setembro, a empresa já havia admitido que agentes de IA vazaram fotos de usuários.
Mais de 200 cientistas já pediram mudanças imediatas na segurança da IA. Nenhuma das fontes consultadas nesta reportagem apresentou um plano concreto para o caso de os modelos deixarem de mostrar seu raciocínio por completo.
