최근 딥페이크 성범죄가 발생한 데 이어 미성년자 학생들이 참여중인 것으로 추정되는 대화방이 대규모로 발견된 것으로 전해져 큰 충격을 주고 있다. 연합뉴스·온라인 커뮤니티 캡처인공지능(AI) 기술을 악용한 합성물인 딥페이크(Deepfake) 음란물이 텔레그램을 통해 대거 유포돼 사회적 문제가 된 가운데 IT 기업들도 대응에 나서고 있다.
인공지능(AI) 전문 기업 딥브레인AI는 딥페이크의 진위를 판별할 수 있는 설루션을 각급 학교와 관공서, B2B(기업간거래) 기업 등에 1개월 무료로 지원하기로 했다. 이 '딥페이크 탐지 설루션'은 딥페이크로 의심되는 영상을 시스템에 올리면 즉각 진위 여부를 판별해 결과를 제공하는 소프트웨어(SW)다.
딥브레인AI는 한국지능정보사회진흥원(NIA)과 딥페이크 데이터 구축 사업으로 설루션을 고도화했고 특히 기존에 학습을 진행한 520만 건 외에 200만 건의 데이터 학습을 추가로 진행함으로써 데이터의 질적 완성도를 끌어올렸다.
딥페이크 탐지 설루션은 영상 및 이미지 탐지를 지원하는 종합탐지와 음성탐지로 구성되며 △페이스 스왑(Face-Swap) △립싱크 합성(Lip Sync) △생성형 비디오(Generative Video) 등 다양한 유형을 판별한다. 탐지에 걸리는 시간은 약 5~10분이다.
네이버와 카카오도 대응에 나섰다. 네이버는 고객센터를 통해 "이용자의 안전과 개인정보 보호를 최우선으로 생각하고 있다"며 "딥페이크 기술을 사용해 성폭력처벌법 등 관련 법령을 위반하거나 제3자의 권리를 침해하는 이미지나 영상을 발견했다면 신고 채널을 통해 접수해 달라"고 공지했다.
그러면서 "딥페이크 기술을 악용한 범죄 행위는 심각한 법적 처벌을 받을 수 있다"면서 "타인의 콘텐츠를 단순히 게시하거나 유통하더라도 해당 콘텐츠가 딥페이크나 생성형 AI 등을 이용한 경우 문제가 될 수 있기 때문에 각별한 주의가 필요하다"고 설명했다.
카카오도 고객센터 공지사항에 디지털 성범죄 피해 신고 채널을 안내했다. 카카오는 "딥페이크 기술을 악용한 범죄는 심각한 피해를 초래한다"며 "허위 영상물을 제작하거나 유포하는 행위는 법적 규제 대상에 해당하며 개인의 명예 훼손, 사생활 침해, 개인정보 보호법 위반 등과 관련된 법적 처벌을 받을 수 있다"고 경고했다.
이어 "단순히 이를 게시하거나 유포하는 행위 및 피해자와 가해자의 신상 정보를 유포하는 행위만으로도 심각한 문제가 될 수 있다"며 "본인을 포함한 특정인의 초상과 성적 이미지를 합성한 정보 또는 합성 제작을 제안·요청하는 정보가 있다면 채널 및 기관에 신고해 달라"고 강조했다.
아울러 딥페이크와 연관된 검색어를 청소년 보호 검색어로 지정하고 모니터링 전담 부서를 운영 중이다. 구체적으로 네이버는 AI 기반 실시간 음란물 필터링 기술로 운영정책 위반 게시물을 감지하고 차단 조치했다. 카카오는 카카오톡에 페이크 시그널을 도입해 허위조작정보로 인한 사기 및 사칭을 줄이기 위한 경고 메시지를 전달하고 있다. 또 허위영상물 배포 및 제공 행위가 발각될 시 카카오톡 전체 서비스에 대한 영구 제한을 결정했다.
방송통신심의위원회가 텔레그램 기반 딥페이크 음란물 제작 및 유포 사건이 확산하자 텔레그램은 물론 페이스북·엑스(X)·인스타그램·유튜브 등 글로벌 온라인 플랫폼 사업자들과 협의체를 구성하기로 하고 신속한 영상 삭제 차단 조치와 자율적인 규제를 요청한 결과로 풀이된다. 방심위는 해외에 서버가 있는 글로벌 온라인 플랫폼 사업체 중 국내 공식 협의체가 없는 사업체에 대해서는 면대면 협의 채널을 끌어내 상시적인 협의가 될 수 있도록 추진하겠다고 설명했다.