MS CEO "AI에 '비상 브레이크' 필수...내부자 위험처럼 통제해야"

인공지능(AI) 에이전트가 인간의 의도나 통제를 벗어나는 행동을 하는 사례가 빈발하는 상황에서 거대 기술기업 수장이 AI 비상정지 장치의 필요성을 강조했습니다.

사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 현지 시간 11일 사회관계망서비스에서 '슈퍼지능 시대 내부자 위험으로서의 모델'을 통해 "새로운 (AI) 시대에 걸맞은 신뢰 체계를 재검토해야 할 때"라는 의견을 제시했습니다.

나델라 CEO는 AI 통제권과 관련해 "그 행동을 관찰할 수 있고, 한계를 검증할 수 있으며, 행동을 항상 통제할 수 있는 시스템을 구축해야 한다"며 "다시 말해 정보의 제공과 정보에 대한 통제권을 분리해야 한다"고 제안했습니다.

그러면서 폐쇄형 AI 모델과 개방형(오픈소스) 모델을 막론하고 첨단 모델을 '내부자 위험'처럼 다루자고 제안했습니다.

이어 그동안 기업에서 영향력 있는 내부자를 어떻게 관리해야 하는지 학습해온 내용을 활용할 수 있다고 설명했습니다.

기업에서 중요한 역할을 맡은 내부자에 대해 신원 확인, 권한 제한, 활동 기록 등을 적용해온 지침을 AI에도 적용할 수 있다는 것입니다.

예를 들어 "모델이 어떤 정보에 접근할 수 있고 어떤 작업을 수행할 수 있는지 통제하는 제어장치는 모델 외부에 있어야 한다"며 이는 1970년대부터 있어 온 정보 보안 원칙이라고 소개했습니다.

특히 "권한이 있는 사람은 언제든지 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다"며 '비상 브레이크' 기능의 필요성을 강조했습니다.

그는 "더 정교한 모델일수록 더 발전된 차단 기술이 필요하다"며 "우리는 이를 표준화해야 한다"고 덧붙였습니다.

나델라 CEO의 이번 발언은 다리오 아모데이 앤트로픽 CEO를 위시한 주요 AI 기업 수장들이 AI 발전 속도가 너무 빠르다고 경고하는 상황에서 나왔습니다.

한편 나델라 CEO는 이 글에서 기존의 'AI'를 도널드 트럼프 행정부의 대체 용어인 '슈퍼지능'(SI·Super Intelligence)으로 지칭해 눈길을 끌었습니다.

트럼프 대통령은 '인공'(Artificial)이라는 말이 AI에 대해 부정적인 인식을 준다며 이를 SI로 바꿔 부르도록 하는 행정명령에 서명했고, AI라는 용어를 쓰면 적으로 간주하겠다고도 밝혔습니다.

YTN 신윤정 (yjshine@ytn.co.kr)