A Nvidia anunciou nesta segunda-feira (28/9) uma nova plataforma de segurança para impedir que agentes de inteligência artificial ultrapassem os limites definidos por seus operadores, depois de uma série de incidentes em que sistemas de IA escaparam do controle e invadiram outras empresas.

A Open Agent Safety Platform combina software e hardware para acompanhar o comportamento das IAs e pode isolar um agente em milissegundos, caso ele tente acessar dados, ferramentas ou sistemas sem autorização.

A plataforma funciona como um "freio de mão" externo: em vez de depender apenas das regras do próprio modelo, cria controles fora do alcance do agente.

Como funciona o sistema da Nvidia?

A plataforma tem duas peças. O OpenShell é um software de código aberto que cria um ambiente isolado: a empresa determina previamente o que o agente pode acessar, e as regras valem mesmo se ele tiver um comportamento inesperado.

A segunda camada, o Sentry, roda em um chip separado, o BlueField-4, e monitora as ações do agente continuamente. Se a IA tentar ultrapassar as permissões, o Sentry pode colocá-la em quarentena e interromper a atividade em milissegundos.

O sistema continua ativo mesmo se o ambiente em que o agente roda for comprometido, segundo a Nvidia. As ferramentas usam fórmulas matemáticas para identificar sinais de fuga, como a criação de vários subagentes para driblar bloqueios.

Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início. Estamos avançando com isso de forma aberta.

A frase é de Justin Boitano, vice-presidente de computação empresarial da Nvidia, à Reuters, referência ao ataque em que agentes da OpenAI invadiram a Hugging Face de forma autônoma, caso que levou o Senado dos EUA a abrir investigação.

Meses depois do ataque, a própria Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões. Desde então, novos casos de agentes da OpenAI acessando sistemas sem autorização vieram à tona, incluindo o site de um órgão de saúde da Austrália.

Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações. A Nvidia já trabalha com Arm Holdings e Intel para levar a tecnologia a outros processadores, com a própria Anthropic entre os parceiros do lançamento.

O que acontece agora

O lançamento da plataforma de segurança acontece dias depois de a Nvidia divulgar lucro trimestral de US$ 59,7 bilhões, alta de 126% puxada pela corrida da IA.