Anthropic, 전 세계 AI 안전 일시 중단 촉구... OpenAI는 정부 주도 규칙 요구

Anthropic은 인공지능(AI) 분야의 주요 기업들이 위험이 지나치게 커질 경우 가장 강력한 AI 도구에 대한 작업을 늦추거나 중단할 수 있는 공동 시스템에 합의하기를 원한다고 밝혔다. 회사는 발전 속도가 인간의 통제를 유지하기 더 어렵게 만들 수 있다고 말했다.

Claude 챗봇 제작사인 Anthropic은 목요일 블로그 게시물에서 프런티어 AI가 작업을 수행하는 속도가 훨씬 빨라지는 가운데 추가 개발을 "늦추거나 일시적으로 중단할 선택지를 세계가 갖는 것이 좋을 것"이라고 썼다.

Anthropic은 자사 내부 연구소가 외부 파트너들과 이 문제를 연구하고, 신뢰할 수 있는 감속 또는 중단을 위한 실질적 장치를 만드는 방향으로 "조치를 취할" 계획이라고 밝혔다. 다만 그 조치가 무엇인지는 구체적으로 설명하지 않았다.

Anthropic의 주요 경쟁사 중 하나인 OpenAI는 수요일 발표한 보고서에서 다른 입장을 제시했다. OpenAI는 "민간 기업이 단독으로 행동하는 것이 아니라 민주 정부가 궁극적으로 규칙, 안전장치, 책임 메커니즘을 결정해야 한다"고 밝혔다.

"우리의 견해는 AI 혁신 속도에 관한 결정이 어느 한 연구소, 기업 또는 특수 이익집단에 맡겨져서는 안 된다는 것"이라고 OpenAI는 말했다.

Anthropic은 게시물에서 AI 시스템이 직접적인 인간 조작 없이 코딩 같은 소프트웨어 작업을 수행하는 능력을 포함해 빠르게 개선되고 있다고 밝혔다. 현재 추세가 이어지고 충분한 컴퓨팅 자원이 확보된다면, 언젠가 AI 모델이 "재귀적 자기 개선"으로 알려진 과정을 통해 자신의 대체 모델을 만들고 구축할 수 있다고 회사는 말했다.

Anthropic은 다음 세대 구축을 도울 수 있는 AI가 중대한 진전을 의미하며 과학, 의학 및 기타 분야의 돌파구를 뒷받침할 수 있다고 밝혔다. 그러나 회사는 그것이 "인간이 AI 시스템에 대한 통제를 잃을 위험도 높일 수 있다"고 경고했다.

이 같은 우려는 기술 분야의 일부 인사들이 수년 동안 제기해 온 것이다. Anthropic의 호소는 University of Toronto 연구진이 이번 주 내놓은 또 다른 경고에 이어 나왔다. 연구진은 AI 도구가 기기 사이를 이동하며 해킹 방식을 바꾸고 대규모 컴퓨터 네트워크를 장악하는 새로운 유형의 AI "웜"을 만드는 데 사용될 수 있음을 시연했다.

"보안 우려를 제기하는 것이 가장 크고 강력한 언어 모델만은 아니라는 점을 사람들이 이해하는 것이 정말 중요하다고 생각한다"고 수석 연구원 Nicolas Papernot은 인터뷰에서 말했다.

Anthropic 블로그 게시물은 회사 공동 창업자 Jack Clark와 연구소를 이끄는 Marina Favaro가 작성했다. 이들은 어떤 형태의 중단이든 "사회 구조와 정렬 연구"가 AI 개발을 따라잡을 시간을 더 줄 것이라고 말했다. 업계에서 정렬은 AI 시스템이 인간의 가치와 목표에 맞게 행동하도록 보장하려는 노력을 뜻한다.

Anthropic이 설명한 방식의 장치 아래에서는 주요 AI 연구소들이 국제 경쟁자들이 실제로 프로젝트를 늦추거나 중단했는지 확인할 수 있으며, "나쁜 행위자가 조율된 감속이라는 명분을 이용해 몰래 앞서 나갈 수 없도록" 할 수 있다.

Anthropic은 전 세계적 조율 시스템이 필요하다고 주장했다. 그런 시스템이 없다면 속도를 늦추는 어떤 회사든 "가장 신중하지 않은" 사업자들이 앞서 나가도록 허용할 수 있고, 어려운 AI 안전 결정을 마주한 기업과 정부에 가해지는 압박이 커질 수 있기 때문이다.

이 게시물은 Anthropic과 ChatGPT 개발사 OpenAI가 주식시장에 지분을 매각하기 위해 경쟁하는 가운데 나왔다. IPO는 Anthropic의 가치를 US$1조에 가깝게 평가할 수 있다.

Papernot은 보고서를 발표하기 전 캐나다 사이버보안 당국에 알렸다. 보고서는 연구팀이 소프트웨어 개발자들이 낮은 비용으로 접근하고 수정할 수 있는 "오픈소스" AI 도구를 사용해 실험실에서 웜을 구축했다고 설명한다.

"과거 사이버 공격자들은 매우 가치가 높은 표적에 집중했다"고 그는 말했다. "은행 시스템, 병원, 전력망, 수처리 시스템, 학교들이다."

Papernot은 AI 지원 해킹 도구가 컴퓨터 시스템의 취약점을 찾는 비용과 시간을 크게 낮추고 있는 만큼, 기업과 정부 기관, 대학 연구자들이 방어 조치에서 더 긴밀히 협력해야 한다는 데 동의한다고 말했다.

"지하실에 두고 정기적으로 확인하지 않는 그 오래된 노트북은 그리 가치가 높은 표적으로 보이지 않지만, 더 가치가 높은 표적을 공격하기 위한 발판으로 사용될 수 있다"고 그는 말했다. "이러한 사이버 공격을 감행하는 비용이 매우 낮아졌기 때문에 인터넷에 연결된 모든 것이 이제 위험에 처해 있다."