주요 AI연구자 22명 "AI 지능폭발 임박...통제 못하면 인류멸망"

인공지능(AI) 개발의 자동화가 진행되면서 수년이 걸릴 기술 진보가 불과 수개월로 압축되는 '지능 폭발'로 이어질 가능성을 전 세계 주요 AI 연구자들이 제기했습니다.

이들은 그 결과 가장 극단적인 경우 인류의 소외나 멸망으로 이어질 수 있다고 경고했습니다.

주요 연구자 22명은 영국 '케임브리지대 AI 과학·정책 프로그램'(CASP)을 통해 발표한 공동 논문에서 이런 우려를 내놓으며 정책 대응을 촉구했습니다.

이 논문에는 세계 3대 'AI 대부'로 꼽히는 제프리 힌턴 토론토대 명예교수 등 학계 인사는 물론이고 야쿠프 파호츠키 오픈AI 수석과학자 등 주요 AI 기업의 현업 연구진도 참여했습니다.

이들은 현재 거대 기술기업 내에서 AI 모델의 개발 작업을 AI에 위임하는 자동화 속도가 빠르게 증가하고 있다고 지적했습니다.

예를 들어 앤트로픽은 개발진이 승인한 코드 가운데 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했고, 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D) 작업의 비율도 지난 3월에는 1%에 불과했지만, 지난달에는 26%로 늘어났다는 것입니다.

연구진은 이처럼 기술 발전이 빨라지면 수 개월짜리 복잡한 AI R&D 프로젝트 전체가 2년 안에 완전히 자동화할 수 있고, AI의 재귀적 자기개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 내다봤습니다.

이런 지능 폭발은 기술 혁신을 크게 앞당기거나 신약 발견 등 긍정적으로 작용할 수도 있지만, 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 이들은 우려했습니다.

던 송 메타 부사장은 "이미 오늘날, 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다"며 "인간만으로는 감시를 수행하는 데 역부족"이라고 미 일간 월스트리트저널(WSJ)에 말했습니다.

논문은 이에 따라 "가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다"고 경고했습니다.

연구자들은 이를 막기 위한 정책적 대비책이 필요하다고 주장하면서 각국 정부가 AI 기업에 R&D 자동화 지표 등 보고를 의무화해야 한다는 의견을 냈습니다.

또 원자력규제위원회(NRC)나 통화감독청(OCC)과 같이 AI 기업에 상주 감시관을 배치해야 한다고 제안했습니다.

안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화나 지정학적 불안정 등에 대비한 비상 대응 계획을 수립해야 한다고도 주문했습니다.

이들은 "정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다"고 촉구했습니다.