Modelos de IA chocam os testadores do Reino Unido ao usar identidades roubadas para enganar os desenvolvedores

A AISI descreveu as ações realizadas pelos agentes – termo para sistemas de IA que podem realizar tarefas sem ajuda humana – como um “incidente grave”. Em um exemplo, um agente desenvolvido pelo modelo Mythos da Anthropic enviou e-mails direcionados às pessoas.

AISI disse que o comportamento desonesto foi realizado por agentes movidos por dois modelos – Mythos 5 da Anthropic e GPT-5.6 Sol da OpenAI.

A AISI disse que detectou atividades incomuns durante um teste de rotina de segurança cibernética para modelos de IA em 28 de julho. Concluiu que alguns dos agentes se envolveram em “atividades sustentadas e potencialmente prejudiciais dirigidas a pessoas e organizações reais”. Demorou uma hora para conter o incidente.

No caso mais grave, um agente desenvolvido pela Mythos tentou inserir código malicioso em um projeto de software de código aberto no GitHub, plataforma usada por desenvolvedores de software. Na tentativa de aprovar o código, o agente criou identidades online falsas baseadas em pessoas reais e as usou para pressionar o supervisor do projeto a aceitar o código. Essas tentativas foram bloqueadas por um desenvolvedor humano.

AISI disse que o agente usou técnicas comumente associadas a hackers do mundo real. Enviou e-mails para indivíduos especificamente escolhidos – uma técnica conhecida como “spear-phishing” – que tentavam manipular o destinatário. Algumas das mensagens continham software prejudicial.

A AISI disse que nenhum dano foi causado, mas as ações dos agentes foram sem precedentes.

“Esta é a primeira vez que vimos riscos em torno da autonomia e do engano manifestarem isso claramente, sem aviso específico, no mundo real”, disse a AISI num post de blog.

O incidente ocorreu após episódios semelhantes recentes na OpenAI e na Anthropic. Em julho, a OpenAI disse que um agente movido por seus modelos havia hackeado uma startup de IA durante um teste, e dias depois a Anthropic disse que seu modelo Claude havia hackeado três organizações durante uma avaliação.

A AISI disse que o incidente, juntamente com ocorrências semelhantes na OpenAI e na Anthropic, representou uma “mudança no cenário de risco”. Este não foi um exemplo de uso indevido deliberado de modelos disponíveis publicamente, disse a AISI, mas mostrou modelos num ambiente de investigação a tomar medidas não intencionais “além do seu âmbito autorizado”.

A AISI disse que 17 dos 19 casos de comportamento desonesto que ocorreram durante a avaliação foram realizados pela Mythos e dois pela Sol.

AISI disse que este não era o caso de um modelo escapando de sua “caixa de areia” ou ambiente de teste seguro. O instituto disse que permitiu intencionalmente o acesso à Internet e desativou filtros nos modelos que bloqueavam comportamentos perigosos. Os modelos não estão disponíveis publicamente nessas condições operacionais e não há sinais de que tal comportamento ocorra fora dos testes, disse a AISI.

O incidente deve ser interpretado com “cautela e nuances”, disse a AISI, mas os sinais de comportamento enganoso foram “numa extensão e gravidade que não previmos”. Foi um pequeno número de eventos que ocorreram em condições específicas, acrescentou a AISI, mas não tinha acontecido antes.

"O que podemos dizer é que o comportamento foi possível, sustentado e novo. Só isso já merece atenção", disse AISI.

A AISI admitiu que não monitorizou ativamente o comportamento dos agentes durante a avaliação. Afirmou que estava a impor controlos mais rígidos ao acesso à Internet nos testes como resultado do incidente, introduzindo monitorização constante dos testes e reavaliando a sua conceção de testes. Ele disse que as avaliações deveriam assumir que um modelo tentaria agir além de sua competência.

A ministra de IA do Reino Unido, Kanishka Narayan, disse que era “absolutamente vital” que o Reino Unido tivesse uma organização de segurança de IA líder mundial. “Identificar novos comportamentos como este e partilhar as nossas descobertas, para que possamos enfrentá-los, é exatamente o que a AISI foi criada para fazer”, disse ele.

A OpenAI disse que os testes ocorreram em “condições que não refletem o uso normal”. Um porta-voz da OpenAI disse: “Continuaremos trabalhando com avaliadores e outras partes interessadas em todo o setor para fortalecer as práticas compartilhadas para conduzir avaliações com segurança à medida que os modelos se tornam mais capazes”.

A Antthropic disse que o incidente “ressalta a necessidade de uma conversa mais ampla sobre como avaliar com segurança agentes de IA cada vez mais capazes” e que continuaria a trabalhar com a AISI na avaliação do que aconteceu.