[와파레터]딥페이크 가짜뉴스 주의보

3월 2주차 #딥페이크 #선거 #워터마크

2024. 3. 3.

[와파레터]딥페이크 가짜뉴스 주의보

웹에서 보기│2023. 3. 4(148호)

안녕하세요. 서진욱 기자입니다.

2024년은 세계 76개국에서 42억명을 대상으로 각종 투표가 치러지는 '슈퍼 선거의 해'입니다. 세계 각국에서 선거를 앞두고 인공지능(AI) 기술을 활용한 딥페이크 가짜뉴스가 퍼지면서 국경을 초월하는 문제로 떠올랐습니다. 최근 만난 윤석열 대통령과 마크 저커버그 메타 CEO가 주요 화두로 다루기도 했죠.

이번 뉴스레터에서는 딥페이크 가짜뉴스 문제가 얼마나 심각한지 알아보고, 주요 국가들의 대응책을 살펴봤습니다. 우리나라의 경우 딥페이크 선거운동을 제한하고 나섰는데요. 규제 범위를 더 넓혀야 한다는 목소리가 커지고 있습니다. 주요 플랫폼 기업들도 딥페이크 가짜뉴스 차단을 위한 공동 대응에 나섰죠.

※와이파이레터는 쏟아지는 ICT 이슈 중 핵심만 꼽아드립니다. '테크 빅뱅' 시대를 살아가는 당신의 길잡이가 되겠습니다. 주소록에 sjw@mt.co.kr을 추가해 주세요. 뉴스레터가 스팸함으로 가지 않아요. 콘텐츠 문의와 협업 제안은 언제든 환영합니다.

저커버그 만난 윤 대통령 "AI 가짜뉴스 심각한 문제"
'슈퍼선거의 해', 전 세계가 딥페이크 가짜뉴스 몸살
대응 나선 세계 각국 정부·기업… 워터마크 실효성 의문
국회가 손놓은 딥페이크 워터마크 법안
국내 주요 플랫폼 뭉쳤다… 딥페이크 대응 협의체 구성

저커버그 만난 윤 대통령 "AI 가짜뉴스 심각한 문제"

10년 만에 한국을 찾은 마크 저커버그 메타 CEO가 지난달 29일 윤석열 대통령을 만났습니다. 두 사람은 인공지능(AI)을 활용한 가짜뉴스 문제를 두고 대화를 나눴는데요. 윤 대통령은 저커버그 CEO에게 가짜뉴스에 대한 신속한 조치를 취해달라고 요청했습니다. 저커버그 CEO는 메타의 적극적인 가짜뉴스 대응 노력을 설명하면서 AI 생성 콘텐츠에 워터마크나 라벨을 삽입하는 방안을 제시했죠.

윤 대통령이 AI 가짜뉴스 문제를 제기한 배경에는 최근 불거진 윤 대통령 딥페이크(딥러닝+페이크) 영상 논란이 있는데요. 해당 영상은 윤 대통령이 등장해 현 정부를 비난하는 내용으로 틱톡과 페이스북, 인스타그램 등을 통해 급속히 퍼졌죠. 대통령실은 가짜 영상에 강력 대응 방침을 밝혔고, 경찰은 제작자와 유포자를 찾기 위한 수사에 착수했습니다. 방송통신심의위원회는 해당 영상에 대한 접속 차단 조치를 취했죠.

'슈퍼선거의 해', 전 세계가 딥페이크 가짜뉴스 몸살

이미 딥페이크 가짜뉴스는 전 세계적인 문제로 떠올랐습니다. 특히 올해는 미국 대선, 한국 총선, 러시아·우크라이나 대선 등 76개국에서 선거가 치러지는 '슈퍼 선거의 해'여서 흑색선전 목적으로 딥페이크 가짜뉴스를 퍼뜨리는 사례가 잇따릅니다. 전문가들은 딥페이크 가짜뉴스가 민주주의의 근간을 흔들 것이라고 경고하고 나섰죠.

조 바이든 미국 대통령의 투표 거부 독려 음성, 튀르키예 쿠르드노동자당의 야당 대선후보 지지 영상, 도널트 트럼프 전 미국 대통령 체포 사진, 기시다 후미오 일본 총리의 성적 발언 영상 등 딥페이크 가짜뉴스는 세계 각국에서 발생하고 있습니다. AI 기술 발전으로 딥페이크 콘텐츠가 훨씬 더 정교해졌고, 소셜미디어를 통해 급속히 퍼져서 빠르게 대응하기 어려운 실정인데요. 선거 직전 딥페이크 가짜뉴스로 유권자들을 선동하려는 시도가 크게 늘어날 것으로 예상됩니다.

생성형 AI 대중화로 누구나 손쉽게 딥페이크 콘텐츠를 제작할 수 있는 환경이라는 점도 가짜뉴스 불안감이 커지는 이유인데요. 최근 오픈AI가 공개한 AI '소라'(Sora)의 제작 영상 퀄리티는 충격적인 수준으로 뛰어났습니다. 만약 이런 기술이 딥페이크 가짜뉴스에 악용된다면 엄청난 후폭풍을 불러올 겁니다. 생성형 AI가 스스로 딥페이크 가짜뉴스를 제작해 유포하는 통제 불가능한 상황도 벌어질 수 있죠.

대응 나선 세계 각국 정부·기업… 워터마크 실효성 의문

딥페이크 가짜뉴스 문제가 갈수록 심각해지면서 각국 정부가 대응에 나섰는데요. 유럽연합(EU)은 세계 최초 AI 입법 규제인 AI법 제정 절차를 밟고 있습니다. 올 상반기 중 발효돼 2026년부터 시행될 것으로 예상됩니다. AI법에는 AI로 생성한 영상, 사진 등 콘텐츠에 AI 제작 사실을 알리는 표기를 넣어야 한다는 조항이 포함됐습니다. 미국은 지난해 10월 바이든 대통령이 서명한 'AI를 위한 행정 명령'을 발표했습니다. 행정명령에 따라 상무부는 AI 기술로 생성된 콘텐츠 식별을 위한 워터마크 의무화 방안을 마련할 예정입니다.

빅테크 기업들도 딥페이크 가짜뉴스의 폐해를 막기 위한 조치에 나섰는데요. 최근 오픈AI, 구글, 메타, 틱톡 등 20개 빅테크 기업은 독일 뮌헨안보회의에서 딥페이크 콘텐츠에 라벨을 붙이기로 합의했습니다. 딥페이크 가짜뉴스를 빠르게 차단할 수 있는 기술적 조치도 취하기로 했죠. 다만 사용자에게 워터마크를 드러내지 않는 비가시적 방식을 채택할 가능성이 높아 소극적 대응이라는 지적도 제기됩니다. 워터마크나 라벨을 지워버릴 수 있는 한계도 존재하죠.

메타는 AI 콘텐츠에 'Imagined with AI'라는 가시적인 라벨을 적용해왔는데요. 최근에는 자체 AI 도구뿐 아니 외부 AI 도구를 활용한 콘텐츠에도 라벨을 달겠다고 밝혔습니다. 다만 현재는 AI 이미지에만 라벨 적용이 가능하고, 영상과 오디오는 불가능한 점은 개선이 필요합니다. 오픈AI는 생성형 AI '달리3'가 제작한 이미지에 C2PA(콘텐츠 출처 및 진위 확인을 위한 연합) 워터마크를 넣겠다고 밝혔습니다. 2021년 출범한 C2PA는 주요 미국 기업들이 참여하고 있는데요. 디지털 이미지 출처와 AI 활용 여부를 표시하는 개방형 기술 표준입니다. 사용자에겐 보이지 않는 비가시적 워터마크죠.

딥페이크 선거운동 규제 '신설'… 90일 전부터 금지

우리나라는 일단 선거와 관련한 딥페이크 규제부터 도입했습니다. 국회는 지난해 12월 딥페이크 기술을 활용한 선거운동을 규제하는 공직선거법 개정안을 통과시켰는데요. 선거운동 목적의 딥페이크 콘텐츠를 제작할 경우 시청자가 가상 정보라는 사실을 명확하게 인식할 수 있도록 표시 의무를 부과하고, 선거일 전 90일부터는 딥페이크 영상을 선거운동에 활용할 수 없도록 금지하는 내용입니다. 4·10 총선은 딥페이크 선거운동 규제가 적용되는 첫 번째 선거죠.

선거운동 금지 조항을 어기면 7년 이하 징역이나 벌금 1000만~5000만원에 처할 수 있습니다. 금지 기간이 아닐 때 딥페이크 표시 의무를 지켰더라도 사실이 아닌 내용이라면 허위사실공표죄로 처벌받을 수 있죠.

선거 기간 중 딥페이크 콘텐츠를 아예 활용할 수 없는 건 아닙니다. 중앙선거관리위원회는 의정활동 보고, 통상적인 정당활동, 당내 경선운동, 투표 참여 권유 활동에 딥페이크 콘텐츠를 이용할 수 있다고 밝혔는데요. 다만 선거운동으로 간주되는 행위는 선거법 위반에 해당할 수 있다는 점을 유의해야 합니다.

선관위는 포토샵, 그림판 등 사용자가 직접 조작하는 프로그램 이용 사례는 규제 대상이 아니라면서 AI 기술 활용이 가능한 프로그램으로 만든 콘텐츠는 제한될 수 있다고 밝혔습니다. 콘텐츠 제작에 활용된 프로그램은 사후적으로 확인할 수 있어 콘텐츠 내용에 따라 딥페이크 의심 여부를 판단해야 합니다. 이를 위해 선관위는 지난달부터 AI 모니터링 전담요원과 AI 전문가로 구성된 감별반을 가동 중인데요. 20여일 동안 적발한 선거법 위반 사례만 129건에 달합니다.

국회가 손놓은 딥페이크 워터마크 법안

선거운동에 국한되지 않은 딥페이크 규제 법안들도 있습니다. 국민의힘 배현진, 김승수, 박성중 의원이 각각 발의한 정보통신망법 개정안인데요. 딥페이크 기술이 활용된 콘텐츠인 사실을 알리는 '디지털 워터마크' 표시 의무를 부과하는 게 핵심입니다. 워터마크가 없는 딥페이크 콘텐츠 유통을 차단하고, 악의적인 딥페이크 콘텐츠를 제작한 당사자를 처벌하는 내용도 포함됐죠.

이상헌 의원은 콘텐츠진흥법에 딥페이크 워터마크 의무 조항을 만드는 개정안을 발의했는데요. 과방위와 문체위 모두 해당 법안들을 제대로 논의한 적이 없습니다. 21대 국회에서 통과되긴 어려울 것 같네요.

국내 주요 플랫폼 뭉쳤다… 딥페이크 대응 협의체 구성

4·10 총선을 앞두고 국내 주요 플랫폼 기업들도 딥페이크 가짜뉴스 대응에 나섰는데요. 한국인터넷기업협회에 속한 구글코리아, 메타, 틱톡, 네이버, 카카오 등은 총선 공정성과 신뢰성 제고를 위한 자율협의체를 꾸렸습니다. 자율협의체의 목표는 '공동 대응을 통해 선거 과정에서 진실된 정보를 전달한다'인데요. 딥페이크 가짜뉴스를 포함한 거짓 정보의 확산을 막기 위해 함께 대응하자는 취지죠.

참여 기업들은 뮌헨안보회의의 기술 협정과 유사한 협약문 발표에 합의했습니다. 공동 대응 대상은 선거에 영향을 미치기 위해 악의적으로 제작 및 편집한 딥페이크 콘텐츠인데요. △악의적 선거 딥페이크 관련 위험 완화를 위한 노력 △딥페이크 유포 방지를 위한 기업 간 논의 △외부 전문가 그룹과 지속적 논의 등 대응 방안을 조만간 발표할 예정입니다.

각자 플랫폼에서 찾아낸 딥페이크 콘텐츠 정보를 빠르게 공유하고, 해당 콘텐츠를 함께 차단하는 방식으로 대응할 것 같습니다. 국내 주요 플랫폼 기업들이 딥페이크 콘텐츠에 대한 공동 대응에 나선 건 이번이 처음인데요. 의미 있는 성과를 도출해 다른 나라들의 벤치마킹 선례가 되길 기대합니다.

[관련 법안]
정보통신망법 개정안 배현진(2114384), 김승수(2126048), 박성중(2125438)

콘텐츠산업진흥법 개정안 이상헌(2122180)