Anthropic добивается глобальной паузы в сфере безопасности ИИ, тогда как OpenAI призывает к правилам под руководством государства

Anthropic хочет, чтобы крупнейшие игроки в области искусственного интеллекта (ИИ) договорились об общей системе, которая могла бы замедлить или остановить работу над самыми мощными инструментами ИИ, если опасности станут слишком велики, заявляя, что темпы прогресса могут усложнить сохранение контроля со стороны человека.

Создатель чат-бота Claude написал в опубликованном в четверг сообщении в блоге, что по мере того, как передовой ИИ начинает гораздо быстрее выполнять задачи, "для мира было бы хорошо иметь возможность замедлить или временно приостановить" дальнейшую разработку.

Anthropic сообщила, что ее внутренний исследовательский институт намерен изучить этот вопрос с внешними партнерами и "предпринять действия" для создания практических механизмов убедительного замедления или остановки, хотя компания не уточнила, какими будут эти шаги.

OpenAI, один из главных конкурентов Anthropic, изложила иную позицию в докладе, опубликованном в среду. В нем говорится, что "демократические правительства, а не частные компании, действующие в одиночку, в конечном счете должны определять правила, меры защиты и механизмы подотчетности".

"Мы считаем, что решения о темпах инноваций в области ИИ не должны оставаться за какой-либо одной лабораторией, компанией или группой особых интересов," заявила OpenAI.

В своем сообщении Anthropic заявила, что системы ИИ быстро совершенствуются, в том числе в способности выполнять работу с программным обеспечением, такую как написание кода, без прямого участия человека. Если нынешние тенденции сохранятся и будет доступно достаточно вычислительных ресурсов, заявила компания, модель ИИ однажды сможет создать и построить собственную замену, процесс, известный как "рекурсивное самосовершенствование".

Anthropic заявила, что ИИ, способный помогать создавать свое следующее поколение, стал бы крупным шагом вперед и мог бы способствовать прорывам в науке, медицине и других областях. Однако компания предупредила, что это "также может увеличить риски потери людьми контроля над системами ИИ."

Эта обеспокоенность уже много лет высказывается некоторыми представителями технологического сектора. Призыв Anthropic последовал за еще одним предупреждением на этой неделе от исследователей University of Toronto, которые продемонстрировали, как инструменты ИИ могут использоваться для создания нового типа ИИ-"червя", меняющего свой метод взлома при перемещении между устройствами и захвате крупной компьютерной сети.

"Я думаю, крайне важно, чтобы люди понимали: угрозы безопасности исходят не только от самых больших и мощных языковых моделей," сказал ведущий исследователь Nicolas Papernot в интервью.

Сообщение Anthropic в блоге написали соучредитель компании Jack Clark и Marina Favaro, возглавляющая ее исследовательский институт. Они заявили, что любая пауза дала бы "общественным структурам и исследованиям выравнивания" больше времени, чтобы догнать развитие ИИ. В отрасли выравнивание означает усилия, направленные на то, чтобы системы ИИ действовали в соответствии с человеческими ценностями и целями.

В рамках механизма, описанного Anthropic, ведущие лаборатории ИИ смогли бы проверять, действительно ли международные конкуренты замедлили или остановили свои проекты, "и что злоумышленник не сможет использовать прикрытие скоординированного замедления, чтобы тайно вырваться вперед."

Anthropic утверждает, что всемирная система координации необходима, потому что без нее любая компания, которая снизит темп, может позволить "наименее осторожным" операторам продвинуться вперед, усиливая давление на компании и правительства, сталкивающиеся со сложными решениями в области безопасности ИИ.

Сообщение появилось в то время, когда Anthropic и разработчик ChatGPT OpenAI стремятся продать акции на фондовом рынке, причем IPO может приблизить оценку Anthropic к US$1 трлн.

Перед публикацией своего доклада Papernot предупредил канадских чиновников по кибербезопасности. В докладе объясняется, что исследовательская группа создала червя в лаборатории с использованием инструмента ИИ "с открытым исходным кодом", к которому разработчики программного обеспечения могут получить доступ и который могут изменять с низкими затратами.

"В прошлом кибератакующие сосредотачивались на целях с очень высокой ценностью," сказал он. "Банковские системы, больницы, электросети, системы водоочистки, школы."

Papernot сказал, что согласен с тем, что компании, государственные органы и университетские исследователи должны теснее работать над защитными мерами, поскольку инструменты взлома с использованием ИИ делают поиск уязвимостей в компьютерных системах значительно более дешевым и быстрым.

"Тот старый ноутбук, который лежит у вас в подвале и который вы регулярно не проверяете, не кажется целью очень высокой ценности, но его можно использовать как стартовую площадку для атак на эти более ценные цели," сказал он. "Все, что подключено к Интернету, теперь находится под угрозой из-за того, насколько низкой стала стоимость проведения таких кибератак."