Jack Clark, cofundador da Anthropic, disse à BBC que as empresas de inteligência artificial podem precisar de um "botão de desligamento" obrigatório e verificado por terceiros para desativar sistemas que se tornem perigosos demais. Para ele, a maioria dos laboratórios já tem forma própria de interromper seus modelos, mas cabe à sociedade decidir se isso deve virar lei.

"Você deveria obrigar as empresas a ter um botão de desligamento? Esse botão seria verificável por terceiros?", questionou Clark. "Acho que é o tipo de coisa que a sociedade vai querer saber, e pode querer aprovar regras sobre isso", completou.

Clark reconheceu que "a maioria dos laboratórios tem formas diferentes de conseguir desligar o sistema", incluindo a própria Anthropic. Ainda assim, defendeu que caberia aos legisladores tornar esse mecanismo uma exigência, não uma escolha de cada empresa.

A declaração chegou dias depois de o executivo-chefe da Anthropic, Dario Amodei, pedir que o ritmo de desenvolvimento da IA seja desacelerado. Sam Altman e Elon Musk chegaram a apoiar publicamente o pedido de desaceleração.

Dentro da própria Anthropic, o pesquisador Evan Hubinger estimou em mais de 10% a probabilidade de a IA causar a extinção humana na próxima década. Amodei citou uma chance de 25% de um futuro "muito ruim" ligado à tecnologia.

A empresa também relatou três incidentes em que o Claude acessou a internet durante avaliações internas de segurança. Em um dos testes, um agente batizado de Claude Mythos 5 criou um pacote malicioso que chegou a ser baixado em 15 sistemas reais em uma hora.

O que já tramita no Congresso dos EUA sobre isso?

Dois projetos de lei sobre o tema já foram apresentados este ano. O Stop Rogue AI Act, de 9 de setembro, cria padrões do NIST para descobrir, verificar e controlar agentes de IA, com inventário obrigatório e monitoramento em tempo real.

Já o AI Kill Switch Act, de 23 de julho, obriga desenvolvedores a manter a capacidade de desligar completamente seus sistemas.

Pela proposta de julho, o Departamento de Segurança Interna dos EUA passaria a ter autoridade para acionar esse desligamento, após consulta prévia. Nenhum dos dois projetos foi votado até agora.

O que muda para o Brasil?

O Brasil discute regra própria para IA, mas o projeto de lei que prevê multa de até R$ 50 milhões para infrações segue sem votação no Congresso. A discussão brasileira ainda não trata especificamente de mecanismo de desligamento obrigatório.

O debate sobre segurança de IA ganhou força nesta semana. O Senado dos EUA investiga a OpenAI por uma falha de segurança.

No mesmo período, a Microsoft divulgou um código interno de 37 páginas para manter seus sistemas de IA sob controle humano.