OpenAI interromperá alguns trabalhos no modelo de IA Astra devido a questões de segurança

A empresa avaliou o agente, Astra, e encontrou “avanços significativos na codificação de agentes e na segurança cibernética”, que passou para um limite “crítico”, onde pode encontrar e explorar vulnerabilidades sem intervenção humana, ou conceber e executar ataques cibernéticos quando é dado apenas um “objetivo desejado de alto nível”.

A OpenAI afirmou que o modelo não esteve envolvido em um incidente no qual um de seus agentes de IA se tornou desonesto durante um teste, acessou a web aberta e invadiu uma startup, Hugging Face. A empresa descobriu outros casos em que agentes autônomos escaparam da contenção, informou a Reuters em julho.

Os relatórios aumentaram as preocupações sobre os avanços nos modelos de IA e a capacidade dos humanos de controlá-los. Ainda assim, os críticos da indústria da IA ??alertaram que tais divulgações da OpenAI e dos seus concorrentes Anthropic e Meta poderiam ser concebidas para gerar entusiasmo sobre o poder da tecnologia e, assim, estimular o interesse adicional dos investidores.

Para evitar possíveis comportamentos desonestos de agentes de IA, a OpenAI está “implementando controles de segurança mais rígidos para modelos de maior capacidade e atividades associadas, incluindo ambientes de teste isolados, rede restrita e acesso a ferramentas”, afirmou a postagem no blog da empresa. Ele também instalará “proteções e criptografia aprimoradas de peso do modelo, recursos adicionais de monitoramento e detecção”.

A empresa irá pausar as atividades internas envolvendo o Astra que não atendam a essas novas exigências.

“Estamos empenhados em trabalhar ao lado de governos, institutos de segurança e sociedade civil para garantir que as capacidades de ponta de modelos como o Astra, e os que se seguem, sejam implementadas de forma responsável e ampla para o benefício de toda a humanidade”, afirmou a empresa.

A Meta também divulgou esta semana que um de seus modelos invadiu outra empresa durante testes de segurança cibernética. E o AI Security Institute (AISI) do Reino Unido anunciou em 4 de agosto que agentes alimentados por OpenAI e Anthropic enviaram e-mails direcionados a desenvolvedores de software na tentativa de superar um desafio cibernético.

"Essas tentativas não tiveram sucesso e nossas investigações não evidenciaram nenhum dano resultante no mundo real. Mas esta é a primeira vez que vimos riscos em torno da autonomia e do engano manifestarem isso claramente, sem orientação específica, no mundo real", afirmou o instituto em uma postagem no blog.

A organização alertou que o envio de software prejudicial pelos modelos não foi o caso de um “modelo escapando de seu ambiente de teste seguro”, mas sim que o grupo permitiu intencionalmente o acesso à Internet para “melhor avaliar a capacidade máxima dos modelos”.

Ainda assim, o “comportamento foi possível, sustentado e novo; só isso merece atenção”, disse a AISI.

Os relatórios surgiram enquanto a administração Trump finalizava uma estrutura sobre como testar modelos de IA para riscos de segurança e cibersegurança. A OpenAI e a Anthropic, que aumentaram a concorrência da China e de outras empresas tecnológicas, argumentaram que os modelos de código aberto, ou seja, aqueles que permitem a qualquer pessoa ver e modificar o código do programa subjacente, representam um risco de segurança e pressionaram por regulamentações federais adicionais sobre eles.