스위프트 음란 딥페이크, 악성 온라인 커뮤니티 내 ‘챌린지’서 시작

사진=AP

팝스타 테일러 스위프트의 이미지를 악의적으로 합성한 ‘음란 딥페이크’가 온라인 커뮤니티 포챈(4chan) 회원들이 일종의 ‘챌린지’로 시작했다는 분석이 나왔다.

포챈 이용자들이 인공지능(AI)으로 유명한 여성이 등장하는 음란 이미지를 만들 수 있을지를 시험해 보는 일종의 게임을 하면서 딥페이크를 만들었다는 것이다.

뉴욕타임스(NYT)의 5일(현지시간) 보도에 따르면 허위 정보 연구회사인 그래피카는 포챈에서 스위프트 딥페이크를 추적해 이 같은 잠정 결론을 내렸다.

포챈은 증오 표현, 음모론, AI를 이용해 생성한 인종차별적, 공격적 콘텐츠를 공유하는 것으로 유명한 미국의 온라인 커뮤니티다.

그래피카는 이 커뮤니티 내에서 오픈 AI의 ‘달리’나 MS의 ‘마이크로소프트 디자이너’, ‘빙 이미지 크리에이터’와 같은 이미지 생성 AI가 설정한 안전장치를 회피하려는 시도가 있었다고 밝혔다.

이용자들은 게시판에서 필터를 우회하는 방법을 찾기 위한 팁과 요령 등을 공유했는데 이후 스위프트가 등장하는 가짜 이미지가 만들어졌고 이들은 이미지 생성에 사용된 명령 언어를 공유해 달라는 요청도 서슴지 않았다.

이렇게 만들어진 스위프트 딥페이크는 지난 1월 6일 포챈에 처음 올라왔고 11일 후 텔레그램에 등장했으며 다음 날부터 X(엑스, 옛 트위터)를 통해 확산했다.

X는 이미지 확산을 막기 위해 지난달 27일부터 ‘테일러 스위프트’, ‘테일러 스위프트 AI’를 검색하지 못하도록 하고 이미지를 삭제했다. 이름 검색 제한 조치는 지난달 29일에 풀렸다.