Anthropic pede pausa global na segurança da IA enquanto OpenAI defende regras conduzidas por governos

A Anthropic quer que os grandes atores da inteligência artificial (IA) concordem com um sistema compartilhado que possa desacelerar ou interromper o trabalho nas ferramentas de IA mais poderosas se os perigos se tornarem grandes demais, afirmando que o ritmo do avanço pode tornar mais difícil manter o controle humano.

A criadora do chatbot Claude escreveu em uma publicação de blog na quinta-feira que, à medida que a IA de fronteira se torna muito mais rápida na execução de tarefas, "seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente" o desenvolvimento adicional.

A Anthropic disse que seu instituto interno de pesquisa pretende estudar o assunto com parceiros externos e "tomar medidas" para criar arranjos práticos para uma desaceleração ou interrupção crível, embora não tenha detalhado quais seriam esses passos.

A OpenAI, uma das principais concorrentes da Anthropic, apresentou uma posição diferente em um relatório divulgado na quarta-feira. A empresa afirmou que "governos democráticos, e não empresas privadas agindo sozinhas, devem em última instância determinar as regras, salvaguardas e mecanismos de responsabilização".

"Nossa visão é que decisões sobre o ritmo da inovação em IA não devem ser deixadas a nenhum laboratório, empresa ou grupo de interesse especial", disse a OpenAI.

Em sua publicação, a Anthropic disse que os sistemas de IA estão melhorando rapidamente, inclusive na capacidade de concluir trabalhos de software, como programação, sem intervenção humana direta. Se as tendências atuais continuarem e houver recursos computacionais suficientes disponíveis, disse a empresa, um modelo de IA poderia um dia criar e construir seu próprio substituto, um processo conhecido como "autoaperfeiçoamento recursivo".

A Anthropic disse que uma IA capaz de ajudar a construir sua próxima geração marcaria um grande avanço e poderia apoiar descobertas na ciência, na medicina e em outros campos. No entanto, a empresa alertou que isso "também poderia aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA."

Essa preocupação vem sendo levantada há anos por algumas figuras do setor de tecnologia. O apelo da Anthropic segue outro alerta feito nesta semana por pesquisadores da University of Toronto, que demonstraram como ferramentas de IA poderiam ser usadas para criar um novo tipo de "worm" de IA que muda seu método de invasão enquanto se desloca entre dispositivos e toma uma grande rede de computadores.

"Acho realmente importante que as pessoas entendam que não são apenas os maiores e mais poderosos modelos de linguagem que apresentam preocupações de segurança", disse o pesquisador principal Nicolas Papernot em entrevista.

A publicação de blog da Anthropic foi escrita pelo cofundador da empresa Jack Clark e por Marina Favaro, que lidera seu instituto de pesquisa. Eles disseram que qualquer pausa daria a "estruturas sociais e pesquisas de alinhamento" mais tempo para acompanhar o desenvolvimento da IA. No setor, alinhamento se refere aos esforços para garantir que sistemas de IA atuem de acordo com valores e objetivos humanos.

Sob o tipo de arranjo descrito pela Anthropic, os principais laboratórios de IA seriam capazes de verificar se concorrentes internacionais realmente desaceleraram ou interromperam seus projetos, "e que um agente mal-intencionado não pudesse usar os auspícios de uma desaceleração coordenada para avançar secretamente."

A Anthropic argumentou que um sistema de coordenação mundial é necessário porque, sem ele, qualquer empresa que reduza o ritmo poderia permitir que os operadores "menos cautelosos" ganhassem terreno, aumentando a pressão sobre empresas e governos diante de decisões difíceis sobre segurança da IA.

A publicação ocorre enquanto a Anthropic e a OpenAI, desenvolvedora do ChatGPT, correm para vender ações no mercado, com uma oferta pública inicial de ações que poderia colocar o valor da Anthropic perto de US$1 trilhão.

Antes de publicar seu relatório, Papernot alertou autoridades canadenses de cibersegurança. O relatório explica que a equipe de pesquisa construiu o worm em laboratório usando uma ferramenta de IA de "código aberto" que desenvolvedores de software podem acessar e alterar a baixo custo.

"No passado, os ciberatacantes se concentravam em alvos de valor muito alto", disse ele. "Sistemas bancários, hospitais, redes elétricas, sistemas de tratamento de água, escolas."

Papernot disse concordar que empresas, órgãos governamentais e pesquisadores universitários deveriam trabalhar mais estreitamente em medidas defensivas, à medida que ferramentas de invasão assistidas por IA tornam muito mais barato e rápido encontrar fragilidades em sistemas de computadores.

"Aquele laptop antigo que você tem no porão e que não verifica regularmente não parece um alvo de valor muito alto, mas pode ser usado como plataforma de lançamento para atacar esses alvos de maior valor", disse ele. "Qualquer coisa conectada à Internet está agora em risco por causa de quão baixo se tornou o custo de realizar esses ciberataques."