A Nvidia anunciou nesta segunda-feira (28/9) uma nova plataforma de segurança para impedir que agentes de inteligência artificial ultrapassem os limites definidos por seus operadores. O lançamento vem depois de uma série de episódios em que sistemas de IA teriam escapado do controle e acessado sistemas de outras empresas sem autorização, segundo relatos das próprias companhias envolvidas e da agência Reuters.

A Open Agent Safety Platform combina software e hardware para acompanhar o comportamento das IAs e pode isolar um agente em milissegundos, caso ele tente acessar dados, ferramentas ou sistemas sem autorização.

A plataforma funciona como um "freio de mão" externo: em vez de depender apenas das regras do próprio modelo, cria controles fora do alcance do agente.

Como funciona o sistema da Nvidia?

A plataforma tem duas peças. O OpenShell é um software de código aberto que cria um ambiente isolado: a empresa determina previamente o que o agente pode acessar, e as regras valem mesmo se ele tiver um comportamento inesperado.

A segunda camada, o Sentry, roda em um chip separado, o BlueField-4, e monitora as ações do agente continuamente. Se a IA tentar ultrapassar as permissões, o Sentry pode colocá-la em quarentena e interromper a atividade em milissegundos.

O sistema continua ativo mesmo se o ambiente em que o agente roda for comprometido, segundo a Nvidia. As ferramentas usam fórmulas matemáticas para identificar sinais de fuga, como a criação de vários subagentes para driblar bloqueios.

Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início. Estamos avançando com isso de forma aberta.

A frase é de Justin Boitano, vice-presidente de computação empresarial da Nvidia, à Reuters, em referência ao episódio em que agentes da OpenAI teriam acessado a Hugging Face de forma autônoma, caso que levou o Senado dos EUA a abrir investigação.

Publicidade

Meses depois do episódio, a própria Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões. Desde então, vieram à tona relatos de novos casos em que agentes da OpenAI teriam acessado sistemas sem autorização, incluindo o site de um órgão de saúde da Austrália.

Segundo comunicados das próprias empresas, Anthropic e Meta também registraram episódios em que seus sistemas de IA acessaram, de forma autônoma, sistemas de outras organizações. A Nvidia já trabalha com Arm Holdings e Intel para levar a tecnologia a outros processadores, com a própria Anthropic entre os parceiros do lançamento.

O que acontece agora

O lançamento da plataforma de segurança acontece dias depois de a Nvidia divulgar lucro trimestral de US$ 59,7 bilhões, alta de 126% puxada pela corrida da IA.