교황의 '무장 해제' 경고에도 AI 전쟁, 되돌릴 수 없는 선을 넘다 [한방이슈]

지난 5월, 교황 레오 14세(Leo XIV)는 즉위 후 첫 회칙을 발표했습니다.

회칙이란 신앙이나 도덕, 사회 문제에 대해 교황이 신도들에게 알리는 가르침입니다.

회칙의 이름은 위대한 인간성을 뜻하는 '마니피카 후마니타스(Magnifica Humanitas)'.

부제는 '인공지능(AI) 시대 인간 보호에 관하여'입니다.

회칙은 AI의 부작용을 정면으로 다루고 있습니다.

교황은 짧고 단호한 한 문장과 함께 강력한 경고를 남겼습니다.

[교황 레오 14세 : AI는 무장 해제돼야 합니다. 이 단어가 강하다는 걸 알고 있습니다. 하지만 이 순간 관심을 끌고, 양심을 일깨우고, 인류가 나아갈 길을 제시할 수 있는 단어가 필요해 의도적으로 선택했습니다.]

그런데 이 회칙을 발표하는 자리, 교황의 옆자리엔 뜻밖의 인물이 앉아 있었습니다.

AI 기업 '앤트로픽(Anthropic)'의 공동 창업자 '크리스토퍼 올라(Christopher Olah)'입니다.

AI 군사 활용을 둘러싸고 미국 정부와 정면으로 충돌하고 있는 그 기업입니다.

교황의 회칙은 가톨릭교회가 인공지능 문제를 정면으로 다룬 최초의 회칙입니다.

세계에서 가장 오랜 역사와 권위를 자랑하는 가톨릭의 수장이 작정하고 경고음을 울린 것입니다.

우리의 일상 속눈에 보이는 AI는 위험해 보이지 않습니다.

하지만 눈에 보이지 않는 곳의 AI는 정반대로 움직이고 있습니다.

특히, 전쟁이 그렇습니다.

누구를 먼저 공격할지, 순서를 정하는 일에 알고리즘이 직접 관여하고 있습니다.

월스트리트저널(WSJ)은 최근 흐름을 두고 "AI 전쟁이 이미 되돌릴 수 없는 지점에 도달했다"고 진단했습니다.

멈추라는 목소리가 가장 높은 곳에서 나오는 사이, 전장에서는 멈출 수 없다는 목소리가 나옵니다.
　
　

'메이븐'의 유산…전장에 들어온 알고리즘

AI가 실제 전투에 본격 투입된 시점은 2017년입니다.

당시 미군은 이라크에서 IS 조직원을 찾기 위해 AI를 동원했습니다.

미 공군 중장 출신 '잭 섀너핸(Jack Shanahan)'이 이끈 '프로젝트 메이븐(Project Maven)'이었습니다.

정찰 영상 속 방대한 데이터를 알고리즘이 분석해 표적을 골라냈고, AI의 군사적 잠재력은 이때 처음 입증됐습니다.

다시 불이 붙은 것은 2023년 무렵,

우크라이나 드론 업체들이 목표물을 스스로 추적하는 AI 개발에 속도를 냈고, 그해 가을 하마스의 기습을 당한 이스라엘도 AI로 표적을 추려내기 시작했습니다.

중국과 러시아까지 가세하면서, 경쟁은 순식간에 전 세계로 번졌습니다.

변화의 폭은 숫자로 드러납니다.

미군 지휘관들은 AI 도입 이후 "이라크에서 표적 선정 속도가 과거보다 10배 이상 빨라졌다"고 말합니다.

올해 미국의 대이란 군사작전에서는 더 극적인 상황이 펼쳐졌습니다.

미 국방부는 '팔란티어(Palantir)'의 '메이븐 스마트 시스템(MSS)'으로 "표적을 추리는 데 걸리던 시간을 '며칠'에서 '몇 분'으로 줄였다"고 밝혔습니다.

시스템의 분석 핵심에는 '앤트로픽'의 AI 모델 '클로드(Claude)'가 들어가 있습니다.

월스트리트저널은 "머지않아 대규모 드론 군집이 인간의 개입 없이 스스로 표적을 찾아 공격하는 단계가 올 것"이라고 내다봤습니다.

이제 AI는 무기 하나를 정밀하게 만드는 기술이 아닙니다.

판단의 속도 자체를 바꾸는 현대전의 기반 인프라가 됐습니다.
　
　

'루프 안의 인간'에서 '루프 위의 인간'으로

AI 전쟁을 둘러싼 우려의 한가운데에는, 한 가지 개념이 있습니다.

'루프 안의 인간', 즉 의사결정 과정에 사람이 끼어 있느냐는 문제입니다.

우크라이나의 한 베테랑 드론 조종사는 월스트리트저널에 이렇게 말했습니다.

"결국 버튼을 누르는 건 사람입니다. 시스템을 켤지 말지 정하는 것도 사람입니다"

문제는 그 사람이 루프의 어디에 서 있느냐입니다.

기술이 빨라지면서 용어 자체가 바뀌고 있습니다.

'루프 안의 인간'에서, '루프 위의 인간'으로 말입니다.

▶ 루프 안의 인간(Human in the Loop, HITL) : AI가 판단하면 사람이 단계마다 확인하고 승인.
▶ 루프 위의 인간(Human on the Loop, HOTL) : AI가 스스로 판단해 움직이고 사람은 지켜보다 문제가 생기면 개입.

인간이 결정의 핵심 고리가 아니라, 기계의 판단을 지켜보는 감독자로 밀려나고 있다는 뜻입니다.

여기서 말하는 '감독'이 얼마나 형식적일 수 있는지를 보여주는 수치가 있습니다.

이스라엘의 표적 시스템을 다룬 보도에서, 한 정보 장교는 "표적 한 명을 승인하는 데 약 20초를 썼다"고 증언했습니다.

그 20초 동안 그가 확인한 것은, 대상이 '남성'인지 여부 정도였습니다.

여기에 더 깊은 함정이 있습니다.

사람은 컴퓨터가 권위 있게 제시하는 정보를 무비판적으로 신뢰하는 경향이 있습니다.

이른바 '자동화 편향'입니다.

우리는 AI를 통제하고 있다고 믿지만, 실제로는 AI가 우리의 판단을 통제하고 있을 수 있습니다.
　
　

선을 누가 긋는가…"미 국방부 vs 앤트로픽"

'AI가 인간을 밀어낼지 모른다'는 우려는 한 기업의 결단으로 폭발했습니다.

앤트로픽은 올해 미 국방부에 두 가지 보장을 요구했습니다.

"자사 AI를 대규모 국내 감시에 쓰지 말 것, 그리고 완전 자율 무기에 결합하지 말 것"

미 국방부는 강하게 반발했습니다.

지난 2월, 국방부는 앤트로픽을 "국가 안보를 위협하는 공급망 위험"으로 지정했습니다.

여기서 반전이 나옵니다.

그렇게 위험 기업으로 낙인을 찍고도 국방부는 이란 작전에서 여전히 앤트로픽의 클로드를 사용하고 있었습니다.

대체재를 찾지 못했기 때문입니다.

제재의 실체가 즉각 퇴출이 아니라, 굴복을 끌어내기 위한 압박이었음을 보여주는 대목입니다.

갈등은 제도로 옮겨붙었습니다.

최근 미국 정부는 국가 안보 분야의 AI 활용에 관한 새 행정 지침에 서명했습니다.

AI를 적극 활용하되, 정부 사용을 반복적으로 제한하는 기업과는 계약을 해지하도록 했습니다.

사실상 앤트로픽을 겨냥한 조항입니다.

또 불과 3년 전 손본 자율 무기 규정을, 90일 안에 다시 고치라고 지시했습니다.

기준이 정해지기도 전에, 기술이 먼저 달려가고 있는 셈입니다.

물론 국방부의 논리도 분명합니다.

국방부의 최고 디지털·AI 책임자는 "지금 가장 위험한 선택은 가만히 서 있는 것"이라고 말했습니다.

"쓸 수 있는 AI를 쓰지 않아, 막을 수 있던 민간인 사망을 막지 못한다면, 그 책임은 누가 지느냐"는 반문입니다.

펜타곤은 자체 AI 인프라에 약 300억 달러를 투입하려 하고, 지난 5월에는 여덟 개 AI 기업과 기밀망 배치 계약을 맺었습니다.

"선을 그으려는 기업과, 선을 지우려는 국가"

그 사이에서 정작 누가 그 선을 그을 권한을 갖는지는, 아직 답이 없습니다.
　
　

가자지구 그리고 이란 초등학교 폭격

이 논쟁이 추상적이지 않다는 사실은 전장에서 이미 증명됐습니다.

이스라엘군(IDF)은 가자 전쟁에서 '라벤더(Lavender)'와 '가스펠(Gospel)'이라는 AI 시스템을 가동했습니다.

이스라엘 매체의 보도에 따르면, 라벤더는 사람을, 가스펠은 건물을 표적으로 골랐습니다.

라벤더가 잠재적 표적으로 분류한 인원은 한때 약 3만 7천 명에 달했고, 그 오차율은 약 10%로 알려졌습니다.

앞서 한 정보 장교가 "표적 한 명을 20초 만에 승인했다"고 증언한 시스템입니다.

이스라엘군은 "이 시스템들이 단순한 도구일 뿐"이라며 의혹을 부인하고 있습니다.

올해 미국의 대이란 작전 초기에도 비슷한 그림자가 드리웠습니다.

미 국방부가 "표적을 더 빠르게 타격할 수 있게 됐다"고 자평하던 무렵, 이란 당국은 "미국이 한 학교를 공격해 160명 이상이 숨졌고 다수가 어린이였다"고 주장했습니다.

미 국방부는 실제 공격 여부와 AI의 관여 여부를 조사하고 있습니다.

진실이 무엇이든, 자동화된 표적 시스템은 그 불투명함 탓에 의심에서 자유롭지 못합니다.

그리고 가장 근본적인 공백은 책임 항목에서 드러납니다.

분명한 사실은 디지털 공간에서 벌어진 전쟁범죄를 다룰 법 자체가 아직 없다는 것입니다.
　
　

그렇다면 한국은?…"우리는 어디에 서 있나"

AI를 규제할 법 자체가 없다는 문제는 결코 먼 나라의 일이 아닙니다.

한국은 병력 자원이 빠르게 줄고, 안보 위협은 그대로인 나라입니다.

AI를 통한 국방력 강화를 무조건 금기시하는 것은, 현실적으로 가능하지 않습니다.

이미 비무장지대의 감시·경계 임무 일부는 자동화된 체계가 맡고 있습니다.

논쟁의 불씨는 2018년에 한 차례 크게 타올랐습니다.

카이스트(KAIST)가 국내 방산기업과 함께 '국방 인공지능 융합연구센터'를 세우자, 세계 약 30개국의 AI·로봇 연구자 50여 명이 공동연구 보이콧을 선언했습니다.

"자율비행을 꿈꾸는 '조종사 로봇' 개발에 관여할 수 있다"는 우려 때문이었습니다.

카이스트가 "인간의 통제를 벗어난 자율 무기를 연구하지 않는다"고 해명하면서 보이콧은 철회됐지만, 질문은 사라지지 않았습니다.

[심현철/ 카이스트 전기공학과 교수(2023년 9월) : '파이봇(PIBOT)'은 모든 매뉴얼을 이해하고 기억할 수 있기 때문에 특히 비상 상황에 처했을 때 감정을 배제하고, 당황하지 않고 항공기를 조종할 수 있습니다.]

문제는 도입 여부가 아니라, 어디까지 허용하고 어디서 멈출지에 대한 기준입니다.

"코드를 짠 개발자인가, 무기를 납품한 기업인가, 명령을 내린 지휘관인가, 아니면 알고리즘인가"

책임의 주체를 묻는 물음은 지금도 그대로 남아 있습니다.

여기서 한국의 위치를 솔직하게 짚을 필요가 있습니다.

자율 무기를 규제하려는 국제 논의에서 한국은 구경꾼이 아닙니다.

오히려 미국, 러시아, 이스라엘 등과 함께 구속력 있는 규제에 신중한 태도를 보여온 군사 기술 보유국 그룹에 속한다는 평가를 받습니다.

규제를 외치는 자리와, 규제를 늦추는 자리.

한국은 그 가운데 어디에 설 것인지, 아직 분명한 답을 내놓지 않았습니다.
　
　

규칙 없는 군비경쟁…그리고 멈출 수 없다는 경고

문제의 뿌리에는 '누구도 멈출 생각이 없는 경쟁'이 있습니다.

6월 G7 정상회의에서, 트럼프 미국 대통령은 AI를 이렇게 규정했습니다.

[도널드 트럼프 / 미국 대통령 : 경제와 AI 분야에서도 좋은 회담을 가졌습니다. 놀라운 일들이 벌어지고 있습니다. 지금까지 나온 것 중 가장 큰일이 될 겁니다. 조심해서 다뤄야 합니다. 엄청난 기술이 될 수도 있고, 위험한 기술이 될 수도 있습니다. 하지만 우리는 중국을 앞질렀고, 세계를 이끌고 있습니다.]

위험하다는 것을 알면서도, 결론은 "중국을 앞서야 한다"로 돌아옵니다.

이런 경쟁 심리가, AI 군비경쟁을 멈출 수 없게 만드는 가장 강력한 동력입니다.

그렇다면 두 당사자가 직접 마주 앉으면 달랐을까요?

지난 5월, 트럼프 대통령은 2017년 이후 미국 대통령으로는 처음으로 중국을 찾아 시진핑 주석과 정상회담을 했습니다.

팀 쿡, 일론 머스크, 젠슨 황 등 미국 빅테크 수장들이 줄줄이 동행했습니다.

그만큼 AI가 핵심 의제로 꼽혔습니다.

그러나 회담은 무역 일부 합의에 그쳤고, 정작 AI의 미래를 두고는 어떤 합의도 나오지 않았습니다.

앞서 바이든 행정부 시절, 양국은 "AI를 핵무기 지휘 통제에 연결하지 않는다"는 최소한의 선에 합의한 바 있습니다.

이번 회담은 그 선을 넘어서지 못했습니다.

이유는 분명합니다.

미국도 중국도, 자국의 AI 역량을 묶을 구속력 있는 제한만큼은 받아들이려 하지 않기 때문입니다.

"상대가 멈추지 않는 한 나도 멈출 수 없다"는 구도, 바로 냉전기 핵 군비경쟁을 끌고 갔던 그 논리입니다.

지금까지 AI에 견줄 만한 문명적 딜레마를 안긴 무기는, 핵폭탄이 거의 유일했습니다.

핵이 그랬듯, 각국 군대는 종착지를 모르는 자동화 군비경쟁에 발을 들이고 있습니다.

다른 점이 있습니다.

핵에는 그나마 조약과 통제 장치가 있었지만, AI에는 규칙이 아직 없습니다.

규칙을 만들려는 시도가 없었던 것은 아닙니다.

지난해 11월, 유엔 총회 제1위원회에서는 자율 무기에 관한 구속력 있는 규범을 논의하자는 결의가 156개국의 찬성으로 채택됐습니다.

반대한 나라는 단 5개국이었습니다.

그러나 정작 협약을 다루는 회의는 만장일치 방식이라, 소수의 군사 강국이 마음만 먹으면 진전을 막을 수 있습니다.

올해 11월로 예정된 검토회의가 분수령으로 꼽히지만, 합의가 이뤄져도 실제 협상은 빨라야 내년에야 시작됩니다.

기술의 속도는 분 단위로 빨라지는데, 규칙은 여전히 연 단위로 기어가고 있는 셈입니다.
　
　

마지막까지 인류가 쥐고 있어야 할 방아쇠

다시, 교황의 회칙으로 돌아가 봅니다.

레오 14세가 '레오(Leo)'라는 이름을 고른 건 우연이 아니었습니다.

130여 년 전, 교황 레오 13세는 산업혁명이 뒤흔든 노동과 인간의 자리를 정면으로 다뤘습니다.

그 이름을 이어받은 레오 14세는 AI를 '새로운 산업혁명'이라 불렀습니다.

기계가 사람을 밀어내던 시대의 경고를, 이번엔 알고리즘의 시대에 다시 꺼낸 것입니다.

교황은 인공지능을 핵무기에 빗대며 단호하게 말했습니다.

[교황 레오 14세 : 핵 군축이 여전히 평화와 인류의 존엄에 이바지하듯, AI도 무장 해제해야 합니다. AI가 남을 지배하고 배제하고 죽이는 도구가 돼서는 안 됩니다. 핵에너지가 그렇듯, AI도 모두를 위해, 공동의 이익을 위해 쓰여야 합니다.]

'무장 해제'란 "기술을 거부하라"는 뜻이 아닙니다.

[크리스토퍼 올라 / 앤트로픽 공동 창업자 : 우리가 무엇을 잘못하는지 짚어줄 사람이 필요합니다. 이해관계에 휘둘리지 않는 도덕적 목소리가 필요합니다. 이제 시작일 뿐입니다. AI를 만드는 사람들과, 바깥에서 지켜봐 줄 사람들의 협력이 시작됩니다.]

"기술이 인간의 존엄을 지배하지 못하게 하라"는 뜻이었습니다.

핵은 그나마 통제의 길을 더듬어 왔지만, AI에는 아직 그 길조차 없습니다.

기술이 무엇을 할 수 있느냐는, 더 이상 핵심이 아닙니다.

정작 물어야 할 것은, 인간이 끝까지 스스로 결정해야 하는 건 무엇인가입니다.

인간이 판단을 포기하고 방아쇠를 기계에 넘겨주는 순간, 그다음 기계의 표적이 될 존재는 다름 아닌 인간 자신이 될 수도 있기 때문입니다.
　
　
기획·구성 : 김재형(jhkim03@ytn.co.kr)
제작 : 이형근(yihan3054@ytn.co.kr)
참고 기사 : 월스트리트저널
　
　
YTN digital 김재형 (jhkim03@ytn.co.kr)
YTN digital 이형근 (yihan3054@ytn.co.kr)