Anthropic chiede una pausa globale sulla sicurezza dell'IA mentre OpenAI invoca regole guidate dai governi

Anthropic vuole che i principali attori dell'intelligenza artificiale (IA) concordino un sistema condiviso che possa rallentare o fermare il lavoro sugli strumenti di IA più potenti se i pericoli diventassero troppo grandi, sostenendo che il ritmo dei progressi potrebbe rendere più difficile mantenere il controllo umano.

Il produttore del chatbot Claude ha scritto in un post pubblicato giovedì sul blog che, man mano che l'IA di frontiera diventa molto più rapida nel completare compiti, "sarebbe positivo per il mondo avere la possibilità di rallentare o sospendere temporaneamente" ulteriori sviluppi.

Anthropic ha affermato che il suo istituto di ricerca interno intende studiare la questione con partner esterni e "intraprendere azioni" per creare disposizioni pratiche per un rallentamento o uno stop credibile, anche se non ha precisato quali sarebbero questi passi.

OpenAI, uno dei principali concorrenti di Anthropic, ha delineato una posizione diversa in un rapporto pubblicato mercoledì. Ha dichiarato che "i governi democratici, non le aziende private che agiscono da sole, devono in ultima analisi determinare le regole, le garanzie e i meccanismi di responsabilità".

"La nostra opinione è che le decisioni sul ritmo dell'innovazione nell'IA non dovrebbero essere lasciate a un singolo laboratorio, azienda o gruppo di interesse speciale," ha dichiarato OpenAI.

Nel suo post, Anthropic ha affermato che i sistemi di IA stanno migliorando rapidamente, anche nella loro capacità di completare lavori software come la programmazione senza intervento umano diretto. Se le tendenze attuali continueranno e saranno disponibili sufficienti risorse di calcolo, ha affermato, un modello di IA potrebbe un giorno creare e costruire il proprio sostituto, un processo noto come "auto-miglioramento ricorsivo".

Anthropic ha affermato che un'IA capace di contribuire alla costruzione della sua prossima generazione segnerebbe un importante passo avanti e potrebbe sostenere scoperte nella scienza, nella medicina e in altri campi. Tuttavia, l'azienda ha avvertito che ciò "potrebbe anche aumentare i rischi che gli esseri umani perdano il controllo sui sistemi di IA."

Questa preoccupazione è stata sollevata per anni da alcune figure del settore tecnologico. L'appello di Anthropic segue un altro avvertimento arrivato questa settimana dai ricercatori della University of Toronto, che hanno dimostrato come gli strumenti di IA potrebbero essere usati per creare un nuovo tipo di "worm" di IA che modifica il proprio metodo di hacking mentre si sposta tra dispositivi e prende il controllo di una grande rete informatica.

"Penso che sia davvero importante che le persone capiscano che non sono solo i modelli linguistici più grandi e potenti a porre preoccupazioni per la sicurezza," ha detto in un'intervista il ricercatore principale Nicolas Papernot.

Il post sul blog di Anthropic è stato scritto dal co-fondatore dell'azienda Jack Clark e da Marina Favaro, che dirige il suo istituto di ricerca. Hanno detto che qualsiasi pausa darebbe a "strutture sociali e ricerca sull'allineamento" più tempo per recuperare rispetto allo sviluppo dell'IA. Nel settore, l'allineamento indica gli sforzi per garantire che i sistemi di IA agiscano in conformità con i valori e gli obiettivi umani.

Secondo il tipo di accordo descritto da Anthropic, i principali laboratori di IA sarebbero in grado di verificare se i concorrenti internazionali abbiano davvero rallentato o fermato i loro progetti, "e che un attore malevolo non possa usare il quadro di un rallentamento coordinato per balzare avanti in segreto."

Anthropic ha sostenuto che un sistema di coordinamento mondiale è necessario perché, senza di esso, qualsiasi azienda che rallenti potrebbe permettere agli operatori "meno cauti" di guadagnare terreno, aumentando la pressione su imprese e governi alle prese con difficili decisioni sulla sicurezza dell'IA.

Il post arriva mentre Anthropic e lo sviluppatore di ChatGPT OpenAI corrono per vendere azioni sul mercato azionario, con una IPO che potrebbe portare il valore di Anthropic vicino a 1.000 miliardi di dollari USA.

Prima di pubblicare il suo rapporto, Papernot ha informato i funzionari canadesi della cybersicurezza. Il rapporto spiega che il team di ricerca ha costruito il worm in laboratorio usando uno strumento di IA "open-source" a cui gli sviluppatori software possono accedere e che possono modificare a basso costo.

"In passato, gli autori di attacchi informatici si concentravano su bersagli di altissimo valore," ha detto. "Sistemi bancari, ospedali, reti elettriche, sistemi di trattamento dell'acqua, scuole."

Papernot ha detto di concordare sul fatto che aziende, organismi governativi e ricercatori universitari dovrebbero collaborare più strettamente sulle misure difensive, poiché gli strumenti di hacking assistiti dall'IA rendono molto più economico e rapido trovare vulnerabilità nei sistemi informatici.

"Quel vecchio laptop che avete in cantina e che non controllate regolarmente non sembra un bersaglio di grande valore, ma può essere usato come piattaforma di lancio per attaccare questi obiettivi di valore più elevato," ha detto. "Qualsiasi cosa connessa a Internet è ora a rischio a causa di quanto sia diventato basso il costo per condurre questi attacchi informatici."