Anthropic寻求全球AI安全暂停，OpenAI呼吁政府主导制定规则

Anthropic希望人工智能（AI）领域的主要参与者就一套共享体系达成一致；如果危险变得过大，该体系可放慢或停止最强大AI工具的研发。该公司称，技术进展的速度可能使人类更难维持控制。

Claude聊天机器人的制造商在周四的一篇博客文章中写道，随着前沿AI完成任务的速度大幅提高，"如果世界能够选择放慢或暂时暂停"进一步开发，那将是好事。

Anthropic表示，其内部研究机构计划与外部伙伴共同研究此事，并朝着建立可信放缓或停止机制的实际安排"采取行动"，但该公司没有详细说明这些步骤将是什么。

Anthropic的主要竞争对手之一OpenAI在周三发布的一份报告中提出了不同立场。报告称，"最终必须由民主政府，而不是单独行动的私营公司，来决定规则、保障措施和问责机制"。

"我们的观点是，关于AI创新速度的决定不应留给任何一个实验室、公司或特殊利益集团，"OpenAI说。

Anthropic在文章中称，AI系统正在迅速改进，包括在无需人类直接操作的情况下完成编码等软件工作的能力。该公司表示，如果当前趋势持续，并且有足够的计算资源可用，某一天一个AI模型可能会创造并构建自己的替代者，这一过程被称为"递归式自我改进"。

Anthropic表示，能够帮助构建下一代自身的AI将标志着重大进步，并可能支持科学、医学和其他领域的突破。不过，该公司警告称，这"也可能增加人类失去对AI系统控制的风险。"

多年来，科技行业一些人士一直提出这一担忧。Anthropic的呼吁是在本周University of Toronto研究人员发出另一项警告之后出现的；他们展示了AI工具如何被用于制造一种新型AI"蠕虫"，这种蠕虫在设备之间移动并夺取大型计算机网络时，会改变其黑客攻击方法。

"我认为，让人们明白这一点非常重要：带来安全担忧的并不只是最大、最强大的语言模型，"首席研究员Nicolas Papernot在一次采访中说。

这篇Anthropic博客文章由公司联合创始人Jack Clark和其研究机构负责人Marina Favaro撰写。他们表示，任何暂停都会让"社会结构和对齐研究"有更多时间追赶AI发展。在该行业，对齐指的是确保AI系统按照人类价值观和目标行事的努力。

按照Anthropic所描述的安排，领先AI实验室将能够核查国际竞争对手是否真正放慢或停止了其项目，"并确保恶意行为者不能利用协调放缓的名义秘密抢先。"

Anthropic认为，全球协调体系是必要的，因为如果没有这样的体系，任何放缓脚步的公司都可能让"最不谨慎"的运营者取得优势，从而加大企业和政府在面对艰难AI安全决策时的压力。

这篇文章发布之际，Anthropic和ChatGPT开发商OpenAI正竞相在股票市场出售股份，一项IPO可能使Anthropic的估值接近1万亿美元。

在发表报告之前，Papernot已提醒加拿大网络安全官员。报告解释说，研究团队在实验室中使用一种软件开发者可以低成本访问和修改的"开源"AI工具构建了这种蠕虫。

"过去，网络攻击者会把重点放在价值非常高的目标上，"他说。"银行系统、医院、电网、水处理系统、学校。"

Papernot表示，他同意企业、政府机构和大学研究人员应在防御措施方面更密切合作，因为AI辅助黑客工具使发现计算机系统弱点的成本大幅降低、速度大幅加快。

"你地下室里那台不常检查的旧笔记本电脑看起来不像是一个非常高价值的目标，但它可以被用作攻击这些更高价值目标的跳板，"他说。"由于发动这些网络攻击的成本已经变得如此之低，任何连接到互联网的东西现在都有风险。"