Anthropic、世界的なAI安全停止を求める一方、OpenAIは政府主導の規則を要請

Anthropicは、人工知能（AI）の主要企業が、危険が大きくなり過ぎた場合に最も強力なAIツールの開発を減速または停止できる共通制度に合意することを求めている。進歩の速度により、人間による制御を維持することが難しくなる可能性があるとしている。

Claudeチャットボットを開発した同社は、木曜日のブログ投稿で、フロンティアAIがタスクを完了する速度を大幅に高める中、さらなる開発を「減速または一時停止する選択肢を世界が持つことは望ましい」と記した。

Anthropicは、同社の社内研究機関が外部パートナーとこの問題を研究し、信頼できる減速または停止のための実務的な取り決めをつくることに向けて「行動を取る」方針だと述べた。ただし、その具体的な手順は明らかにしなかった。

Anthropicの主要な競合企業の一つであるOpenAIは、水曜日に公表した報告書で異なる立場を示した。同社は「単独で行動する民間企業ではなく、民主的な政府こそが最終的に規則、安全措置、説明責任の仕組みを決定しなければならない」と述べた。

「われわれの見解では、AIイノベーションの速度に関する決定は、いかなる一つの研究所、企業、特定利益団体にも委ねられるべきではない」とOpenAIは述べた。

Anthropicは投稿の中で、AIシステムは急速に向上しており、人間が直接扱わなくてもコーディングなどのソフトウェア作業を完了する能力も高まっていると述べた。現在の傾向が続き、十分な計算資源が利用可能であれば、AIモデルはいずれ自らの代替となるモデルを作成し構築できるようになる可能性があるとしている。この過程は「再帰的自己改善」として知られる。

Anthropicは、次世代の構築を支援できるAIは大きな前進となり、科学、医療、その他の分野でのブレークスルーを後押しし得ると述べた。しかし同社は、それが「人間がAIシステムに対する制御を失うリスクを高める可能性もある」と警告した。

この懸念は、テクノロジー分野の一部の人物によって長年提起されてきた。Anthropicの訴えは、今週、トロント大学の研究者らが発した別の警告に続くものだ。研究者らは、AIツールを使って、デバイス間を移動し大規模なコンピューターネットワークを掌握しながらハッキング手法を変える新種のAI「ワーム」を作れることを実証した。

「セキュリティ上の懸念をもたらすのは、最大かつ最も強力な言語モデルだけではないということを人々が理解するのは本当に重要だと思う」と、主任研究者のNicolas Papernotはインタビューで述べた。

Anthropicのブログ投稿は、同社の共同創業者Jack Clarkと、同社研究機関を率いるMarina Favaroが執筆した。両氏は、いかなる停止も「社会構造とアラインメント研究」がAI開発に追いつくための時間を与えると述べた。業界では、アラインメントとはAIシステムが人間の価値観や目的に沿って行動するようにする取り組みを指す。

Anthropicが説明したような取り決めの下では、主要なAI研究所は国際的な競合相手が実際にプロジェクトを減速または停止したかを確認できるようになる。「そして、悪意ある行為者が協調的減速の名目を利用して秘密裏に先行することができない」ようにするという。

Anthropicは、世界的な協調制度が必要だと主張した。そうした制度がなければ、手を緩めた企業が「最も慎重でない」事業者に優位を許し、難しいAI安全性の判断に直面する企業や政府への圧力を強める可能性があるためだ。

この投稿は、AnthropicとChatGPT開発元のOpenAIが株式市場での株式売却を急ぐ中で出された。Anthropicの評価額が1兆米ドル近くに達する可能性のあるIPOを伴うものだ。

Papernotは報告書を公表する前に、カナダのサイバーセキュリティ当局に通知した。報告書によると、研究チームは、ソフトウェア開発者が低コストでアクセスし改変できる「オープンソース」のAIツールを使い、実験室でそのワームを構築した。

「過去には、サイバー攻撃者は非常に価値の高い標的に集中していた」と同氏は述べた。「銀行システム、病院、電力網、浄水システム、学校だ。」

Papernotは、AI支援型のハッキングツールによってコンピューターシステムの弱点を見つけるコストと時間が大幅に下がる中、企業、政府機関、大学研究者は防御策でより緊密に協力すべきだという考えに同意すると述べた。

「地下室に置いてあり、定期的に確認していない古いノートパソコンは、それほど価値の高い標的には見えないが、こうしたより価値の高い標的を攻撃するための発射台として使われ得る」と同氏は述べた。「こうしたサイバー攻撃を仕掛けるコストがこれほど低くなったため、インターネットに接続されているものはすべて今やリスクにさらされている。」