Anthropic réclame une pause mondiale sur la sécurité de l’IA tandis qu’OpenAI appelle à des règles pilotées par les gouvernements

Anthropic veut que les grands acteurs de l’intelligence artificielle (IA) s’entendent sur un système commun qui pourrait ralentir ou arrêter les travaux sur les outils d’IA les plus puissants si les dangers deviennent trop importants, affirmant que le rythme des progrès pourrait rendre plus difficile le maintien du contrôle humain.

Le créateur du chatbot Claude a écrit dans un billet de blog publié jeudi que, à mesure que l’IA de pointe devient beaucoup plus rapide dans l’exécution de tâches, "il serait bon pour le monde d’avoir la possibilité de ralentir ou de suspendre temporairement" la poursuite du développement.

Anthropic a déclaré que son institut de recherche interne entend étudier la question avec des partenaires extérieurs et "prendre des mesures" en vue de créer des dispositifs pratiques permettant un ralentissement ou un arrêt crédible, sans toutefois préciser quelles seraient ces étapes.

OpenAI, l’un des principaux concurrents d’Anthropic, a exposé une position différente dans un rapport publié mercredi. Elle a déclaré que "les gouvernements démocratiques, et non les entreprises privées agissant seules, doivent en fin de compte déterminer les règles, les garanties et les mécanismes de responsabilité".

"Notre point de vue est que les décisions concernant le rythme de l’innovation en IA ne doivent être laissées à aucun laboratoire, entreprise ou groupe d’intérêt particulier", a déclaré OpenAI.

Dans son billet, Anthropic a indiqué que les systèmes d’IA s’améliorent rapidement, notamment dans leur capacité à accomplir des tâches logicielles telles que le codage sans intervention humaine directe. Si les tendances actuelles se poursuivent et que des ressources informatiques suffisantes sont disponibles, a-t-elle dit, un modèle d’IA pourrait un jour créer et construire son propre remplaçant, un processus connu sous le nom d’"auto-amélioration récursive".

Anthropic a déclaré qu’une IA capable d’aider à construire sa prochaine génération marquerait une avancée majeure et pourrait soutenir des percées dans les sciences, la médecine et d’autres domaines. Toutefois, l’entreprise a averti que cela "pourrait aussi accroître les risques que les humains perdent le contrôle des systèmes d’IA."

Cette inquiétude est soulevée depuis des années par certaines figures du secteur technologique. L’appel d’Anthropic fait suite à un autre avertissement lancé cette semaine par des chercheurs de l’University of Toronto, qui ont démontré comment des outils d’IA pourraient être utilisés pour créer un nouveau type de "ver" d’IA qui modifie sa méthode de piratage tout en se déplaçant entre des appareils et en prenant le contrôle d’un vaste réseau informatique.

"Je pense qu’il est vraiment important que les gens comprennent que ce ne sont pas seulement les plus grands et les plus puissants modèles de langage qui posent des problèmes de sécurité", a déclaré le chercheur principal Nicolas Papernot dans une interview.

Le billet de blog d’Anthropic a été rédigé par le cofondateur de l’entreprise Jack Clark et Marina Favaro, qui dirige son institut de recherche. Ils ont déclaré qu’une éventuelle pause donnerait aux "structures sociétales et à la recherche sur l’alignement" plus de temps pour rattraper le développement de l’IA. Dans le secteur, l’alignement désigne les efforts visant à garantir que les systèmes d’IA agissent conformément aux valeurs et aux objectifs humains.

Dans le cadre du type d’accord décrit par Anthropic, les principaux laboratoires d’IA seraient en mesure de vérifier si leurs concurrents internationaux ont réellement ralenti ou arrêté leurs projets, "et qu’un acteur malveillant ne pourrait pas utiliser le couvert d’un ralentissement coordonné pour prendre de l’avance en secret."

Anthropic a soutenu qu’un système de coordination mondial est nécessaire parce que, sans lui, toute entreprise qui lèverait le pied pourrait permettre aux opérateurs "les moins prudents" de gagner du terrain, augmentant la pression sur les entreprises et les gouvernements confrontés à des décisions difficiles en matière de sécurité de l’IA.

Le billet paraît alors qu’Anthropic et OpenAI, le développeur de ChatGPT, se livrent une course pour vendre des actions en Bourse, avec une introduction en Bourse qui pourrait valoriser Anthropic près de 1 000 milliards de dollars US.

Avant de publier son rapport, Papernot a alerté les responsables canadiens de la cybersécurité. Le rapport explique que l’équipe de recherche a construit le ver en laboratoire à l’aide d’un outil d’IA "open-source" auquel les développeurs de logiciels peuvent accéder et qu’ils peuvent modifier à faible coût.

"Par le passé, les cyberattaquants se concentraient sur des cibles de très grande valeur", a-t-il déclaré. "Les systèmes bancaires, les hôpitaux, les réseaux électriques, les systèmes de traitement de l’eau, les écoles."

Papernot a déclaré être d’accord sur le fait que les entreprises, les organismes gouvernementaux et les chercheurs universitaires devraient travailler plus étroitement sur des mesures défensives, alors que les outils de piratage assistés par l’IA rendent beaucoup moins coûteux et beaucoup plus rapide le repérage des failles dans les systèmes informatiques.

"Ce vieux portable que vous avez dans votre sous-sol et que vous ne vérifiez pas régulièrement ne semble pas être une cible de très grande valeur, mais il peut servir de rampe de lancement pour attaquer ces cibles de plus grande valeur", a-t-il déclaré. "Tout ce qui est connecté à Internet est désormais menacé en raison de la baisse du coût nécessaire pour mener ces cyberattaques."