Anthropic pide una pausa global por seguridad de la IA mientras OpenAI reclama normas lideradas por gobiernos

Anthropic quiere que los principales actores de la inteligencia artificial (IA) acuerden un sistema compartido que pueda ralentizar o detener el trabajo en las herramientas de IA más potentes si los peligros se vuelven demasiado grandes, al señalar que el ritmo del progreso podría hacer más difícil mantener el control humano.

El fabricante del chatbot Claude escribió en una publicación de blog el jueves que, a medida que la IA de frontera se vuelve mucho más rápida para completar tareas, "sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente" el desarrollo posterior.

Anthropic dijo que su instituto interno de investigación tiene previsto estudiar el asunto con socios externos y "tomar medidas" para crear arreglos prácticos que permitan una ralentización o detención creíble, aunque no detalló cuáles serían esos pasos.

OpenAI, uno de los principales competidores de Anthropic, planteó una posición distinta en un informe publicado el miércoles. Dijo que "los gobiernos democráticos, no las empresas privadas actuando solas, deben determinar en última instancia las reglas, salvaguardias y mecanismos de rendición de cuentas".

"Nuestra opinión es que las decisiones sobre el ritmo de la innovación en IA no deben quedar en manos de un solo laboratorio, empresa o grupo de interés especial", dijo OpenAI.

En su publicación, Anthropic dijo que los sistemas de IA están mejorando rápidamente, incluso en su capacidad para completar trabajos de software como la programación sin intervención humana directa. Si las tendencias actuales continúan y hay suficientes recursos computacionales disponibles, dijo, un modelo de IA podría algún día crear y construir su propio reemplazo, un proceso conocido como "automejora recursiva".

Anthropic dijo que una IA capaz de ayudar a construir su próxima generación marcaría un gran avance y podría apoyar descubrimientos en la ciencia, la medicina y otros campos. Sin embargo, la compañía advirtió que "también podría aumentar los riesgos de que los humanos pierdan el control sobre los sistemas de IA".

Esa preocupación ha sido planteada durante años por algunas figuras del sector tecnológico. El llamado de Anthropic sigue a otra advertencia esta semana de investigadores de University of Toronto, quienes demostraron cómo las herramientas de IA podrían utilizarse para crear un nuevo tipo de "gusano" de IA que cambia su método de hackeo mientras se desplaza entre dispositivos y se apodera de una gran red informática.

"Creo que es realmente importante que la gente entienda que no son solo los modelos de lenguaje más grandes y poderosos los que plantean preocupaciones de seguridad", dijo en una entrevista el investigador principal Nicolas Papernot.

La publicación de blog de Anthropic fue escrita por el cofundador de la empresa Jack Clark y Marina Favaro, quien dirige su instituto de investigación. Dijeron que cualquier pausa daría a las "estructuras sociales y la investigación de alineación" más tiempo para ponerse al día con el desarrollo de la IA. En la industria, la alineación se refiere a los esfuerzos para garantizar que los sistemas de IA actúen de acuerdo con los valores y objetivos humanos.

Bajo el tipo de arreglo descrito por Anthropic, los principales laboratorios de IA podrían verificar si competidores internacionales realmente han ralentizado o detenido sus proyectos, "y que un actor malintencionado no pudiera usar el amparo de una ralentización coordinada para adelantarse en secreto".

Anthropic argumentó que es necesario un sistema de coordinación mundial porque, sin uno, cualquier empresa que reduzca el ritmo podría permitir que los operadores "menos cautelosos" ganen terreno, aumentando la presión sobre las firmas y los gobiernos que enfrentan decisiones difíciles sobre seguridad de la IA.

La publicación llega mientras Anthropic y OpenAI, desarrolladora de ChatGPT, compiten por vender acciones en el mercado bursátil, con una OPV que podría situar el valor de Anthropic cerca de US$1 billón.

Antes de publicar su informe, Papernot alertó a funcionarios canadienses de ciberseguridad. El informe explica que el equipo de investigación construyó el gusano en un laboratorio utilizando una herramienta de IA de "código abierto" a la que los desarrolladores de software pueden acceder y modificar a bajo costo.

"En el pasado, los ciberatacantes se enfocaban en objetivos de muy alto valor", dijo. "Sistemas bancarios, hospitales, redes eléctricas, sistemas de tratamiento de agua, escuelas".

Papernot dijo que coincidía en que las empresas, los organismos gubernamentales y los investigadores universitarios deberían trabajar más estrechamente en medidas defensivas, a medida que las herramientas de hackeo asistidas por IA hacen que sea mucho más barato y rápido encontrar debilidades en los sistemas informáticos.

"Ese viejo portátil que tienes en el sótano y que no revisas regularmente no parece un objetivo de muy alto valor, pero puede usarse como plataforma de lanzamiento para atacar esos objetivos de mayor valor", dijo. "Todo lo conectado a Internet está ahora en riesgo por lo bajo que se ha vuelto el costo de montar estos ciberataques".