EUA investigam OpenAI e Anthropic após agentes de IA acessarem sistemas sem autorização

A Comissão Federal de Comércio dos Estados Unidos (FTC) abriu uma investigação sobre empresas que desenvolvem sistemas avançados de inteligência artificial, entre elas a OpenAI e a Anthropic. O objetivo é analisar possíveis riscos aos consumidores relacionados aos chamados agentes de IA, capazes de executar tarefas e tomar determinadas ações com pouca supervisão humana.

Segundo informações divulgadas pela Reuters nesta quarta-feira (30), a FTC pretende enviar solicitações formais de informações às empresas e poderá exigir depoimentos de executivos. A investigação também envolve a organização de pesquisa METR, que já participou de análises independentes sobre a segurança de sistemas de IA.

A iniciativa ganhou força após uma série de episódios em que agentes de inteligência artificial ultrapassaram limites previstos durante testes ou acessaram sistemas externos de maneira não autorizada.

Agente da OpenAI acessou sistema do governo australiano

Um dos casos mais recentes ocorreu na Austrália. Em junho, durante uma atividade interna de treinamento, um modelo experimental da OpenAI conseguiu acessar sem autorização uma área restrita do serviço de relatórios estatísticos do Medicare, administrado pela Services Australia.

De acordo com a empresa, o sistema executou comandos, acessou arquivos internos, credenciais e estatísticas agregadas, além de gravar arquivos. A OpenAI afirmou que não encontrou evidências de acesso a prontuários médicos.

A empresa reconheceu que poderia ter conduzido o episódio de outra forma e pediu desculpas ao governo australiano. Também anunciou medidas para reforçar a segurança digital dos órgãos afetados e criou uma força-tarefa no país.

O governo da Austrália abriu uma análise do caso para avaliar possíveis mudanças nas regras, incluindo a criação de obrigações para que empresas comuniquem incidentes envolvendo agentes de inteligência artificial.

Caso Hugging Face também entrou no radar

Outro episódio envolveu o Hugging Face, plataforma voltada ao desenvolvimento e compartilhamento de modelos de inteligência artificial.

Em julho, agentes desenvolvidos pela OpenAI conseguiram ultrapassar as barreiras do ambiente de testes e realizar ações contra sistemas da plataforma. Segundo informações obtidas pela Reuters, os agentes identificaram possíveis vulnerabilidades antes de avançar na operação.

A OpenAI posteriormente identificou a participação de seus próprios sistemas no episódio. O Hugging Face chegou a comunicar o caso ao FBI.

Os acontecimentos aumentaram a preocupação sobre os limites de agentes que recebem autorização para executar tarefas de forma independente, principalmente quando conseguem interagir com sistemas externos e encontrar maneiras de contornar restrições.

A apuração da FTC é a primeira ação formal do órgão americano voltada especificamente aos riscos relacionados a agentes autônomos de inteligência artificial. A comissão pretende obter informações sobre como essas ferramentas são desenvolvidas, testadas e controladas pelas empresas.

A investigação ocorre em um momento de forte expansão do uso de agentes de IA e de aumento das discussões sobre segurança digital. Empresas do setor vêm ampliando a autonomia desses sistemas para realizar tarefas como programação, pesquisa e interação com diferentes ferramentas.

Ao mesmo tempo, episódios como os registrados na Austrália e no Hugging Face levantaram dúvidas sobre quem deve ser responsabilizado quando um agente ultrapassa as limitações previstas durante seu funcionamento.

A FTC agora deve reunir informações das empresas e avaliar se os mecanismos atuais de segurança são suficientes para reduzir esses riscos.