"미군, AI 거짓 보고에 중국과 전쟁 시작할 뻔"

미군이 인공지능(AI)이 만들어낸 잘못된 정보를 토대로 중국 선박을 대상으로 군사 작전을 준비했다가 실행 직전 오류를 발견해 중단했다고 CNN이 보도했습니다.

CNN에 따르면 이란과의 전쟁이 진행 중이던 올해 봄 미군 내부에서는 중동에 있던 중국 선박 한 척이 핵무기 프로그램 관련 구성 요소를 수송하고 있다는 내용의 정보 보고서가 회람됐습니다.

미군은 즉각 해당 선박을 차단하기 위한 작전 준비에 착수해 무장한 미군 병력이 선박에 오를 준비를 했고 군용기까지 출격한 상태였다고 복수의 소식통이 전했습니다.

그러나 작전 실행 직전 당국자들이 보고서를 추가로 검토하면서 해당 보고서가 특수작전사령부 분석관이 AI의 도움을 받아 작성한 것이며, 분석관이 사용한 챗봇이 선박에 실려 있던 화물을 잘못 식별했다는 사실이 드러났습니다.

한 소식통은 해당 보고서가 "전적으로 거짓이었다"며 이로 인해 "거의 전쟁이 시작될 뻔했다"고 말했습니다.

중국 선박에 대한 미군 작전이 실제 실행됐다면 미중 간 무력 충돌로 비화할 위험이 있었다는 것입니다.

문제가 된 보고서는 한 분석관이 미 태평양 특수작전사령부에서 나온 중국 선박의 화물 목록 관련 정보를 챗봇에 질의하면서 시작됐습니다.

챗봇은 공개 정보와 미 정부가 보유한 기밀 신호 정보를 통합 분석한 끝에 해당 선박의 화물이 핵무기 프로그램과 관련됐다는 잘못된 결론을 내렸습니다.

분석관은 다시 AI를 활용해 이 내용을 미군의 표준 정보 보고서 형식으로 작성한 뒤 내부에 배포했습니다.

이번 사건은 미 국방부와 정보기관이 AI 활용을 빠르게 확대하는 가운데 AI의 오류가 실제 군사적 오판으로 이어질 수 있다는 위험성을 보여주는 사례라고 CNN은 짚었습니다.

피트 헤그세스 국방장관은 지난 1월 'AI 가속화 전략'을 발표하고 정보 분석과 표적 선정 등 군 업무 전반에 AI 도입을 확대하고 있습니다.

그러나 CNN은 미국 정부 내 각 조직이 서로 다른 AI 도구와 안전 기준을 사용하고 있으며 AI가 생성한 정보를 어떻게 검증할지에 대한 통일된 기준도 없는 상태라고 지적했습니다.

특히 군은 공격 표적 선정에도 AI 활용을 늘리고 있습니다.

한 소식통은 "표적 선정에 AI 활용이 분명히 확대되는 추세"라며 "민간인 피해나 아군 오인 공격을 어떻게 막을지에 대한 실질적인 지침은 없다"고 말했습니다.

일부 정보 당국자들은 AI가 분석가들에게 정보를 더 빨리 생산하고 배포하도록 압박해 오류가 발생할 여지를 키우고 있다고 주장했습니다.

또 다른 소식통은 "AI는 잘못된 결론에 더 빨리 도달하게 만든다"고 덧붙였습니다.