성원용 교수 “윤 대통령 뉴욕발언 문제의 핵심은 ‘데이터 변조’”
“엉터리 자막은 음성 편집 변조와 비슷한 역할"
연구 결과...'네이버 클로버, 3자 이상 단어 정확도 떨어져'
◆…MBC는 지난 22일(한국시간) 오전 10시 7분 윤석열 대통령의 '비속어 발언' 해당 영상을 최초 공개했다. [사진=MBC뉴스 영상 캡처]
윤석열 대통령의 순방 중 ‘비속어 발언 논란’을 두고 '음성인식 전문가'인 성원용 서울대학교 전기·정보공학부 명예교수는 “문제의 핵심은 데이터 변조”라고 일축했다.
성 교수는 지난달 29일 자신의 페이스북을 통해 “엉터리 자막은 음성 편집 변조와 비슷한 역할을 한다"며 "데이터 변조는 사소한 것이라도 용인되어서는 안 된다”고 밝혔다.
성 교수는 “왜 어떤 사람에게는 ‘바이든’이라고 들리는데, 다른 사람에게는 그렇지 않게 들릴까”라며 “나의 경우, 그 소리를 직접 여러 번 들었는데, 절대 저렇게 들리지 않는다”고 강조했다. 이어 “당연 ‘바이든’이라고 듣는 사람들의 귀가 더 예민하다 믿을 근거는 없다"며 "음성인식은 단지 귀에 들리는 소리에만 의존하지 않는다. 왜냐하면 사람들의 발음이 너무 엉터리이기 때문”이라고 했다.
성 교수는 “대부분의 사람들은 자막대로 듣는다. ‘소리’를 따라 듣지 않고, ‘자막’을 따라 듣는다. 자막은 매우 선명한 사전정보 역할을 하기 때문”이라면서 "그런데 사전정보는 사람들을 편견으로 유도하기도 한다"고 주장했다.
이어 "특히 잡음이 많은 음성의 경우 사전정보에 더 의지한다"면서 “윤 대통령의 뉴욕 발언은 매우 잡음이 많고 불분명한데, 여기에 MBC는 자의적으로 자막을 달아서 송출했다”고 적었다.
그러면서 “’바이든’이라고 들린다는 사람이 많은데, 이미 자막을 보았기 때문”이라며 “대통령의 발언을 자동음성인식기에 넣어봤는데 내가 시험한 어떤 음성인식기에서도 ‘바이든’이라는 단어를 찾을 수 없었다”고 강조했다.
그는 가장 정확한 네이버 클로버 음성인식기에서 나온 답은 ‘신인 안 해주고 만들면 쪽팔려서’였다고 전했다.
성 교수는 “연구자 윤리에서도 데이터 변조는 최악의 위반으로 간주한다”며 “물론 대통령이 사용한 일부 단어는 좀 거칠다 생각할 수도 있지만, 엉터리 자막 편집과 비교할 사항이 아니다”라고 했다. 그러면서 “무엇보다도 야당이나 일부 언론도 이 사항을 가지고 MBC를 옹호할 일이 아니다. 데이터변조가 언론의 자유와 혼동이 된다면 정직과 투명, 논리적 설득이 아니라 거짓말과 술수, 선동이 난무하는 세상이 될 것"이라고 주장했다.
성 교수는 다음날 30일에 올린 또 다른 글에서 "해리스 미 부통령이 방한한 자리에서 최근 MBC가 자막을 붙여 송출한 윤대통령의 바이든 모욕논란을 disinformation이라 하였는데, 정확한 단어 선택”이라고 평가했다.
그는 '엉터리 정보'라는 단어는 두가지로 쓸 수 있다며 misinformation(고의성이 없는, 실수로 잘못 알려진 정보)과 disinformation(고의성이 있는, 악의적 엉터리 정보)을 예로 들면서 “자막을 엉터리로 붙인 것은 고의성이 있는 악의적 데이터 조작”이라고 했다.
그러면서 “국민들의 60%가 바이든으로 들린다 하는데, 내가 어제 설명한 것처럼 이미 자막을 보았기 때문”이라고 거듭 강조하면서 이를 “자막조작의 위험을 보여주는 데이터”라고 부연했다.
성 교수는 “이러한 disinformation을 통렬하게 비판해야 할 기자들이 윤대통령 사과론을 주장한다는 것은 참으로 애석하게 생각한다”며 “내용이 거짓은 못보고, 그냥 옷 매무새나 시비거는 꼴”이라고 꼬집었다. 이어 “disinformation에 관대한 사회는 결국 선동의 희생양이 된다”고 덧붙였다.
그러나 성 교수의 주장에 대해 일각에서는 주변 잡음이 있는 상태에서 음성인식 시스템이 특정인의 음성만 인식하는 것이 가능한 지 의문을 제기했다.
예를 들면 네비게이션의 경우 창문을 열고 목적지를 말하면 제대로 음성 명령을 인식하지 못할 때가 있다. TV리모컨의 음성 검색도 오류가 종종 발생한다.
이처럼 음성 인식 시스템이 일상 생활에서 작동하지 않을 때가 빈번하다.
전문가들은 여러 사람이 동시에 말을 하거나 배경 소음이 많은 경우, 정교한 소음 억제 기술조차도 이러한 상황을 완벽히 제어하지 못하는 상황이 발생한다고 전했다. 인간이 AI보다 말을 더 잘 이해할 수 있는 이유는 인간이 말을 이해하는 과정에서 귀 뿐만 아니라 눈도 사용하기 때문이라고 설명했다.
◆…자료:국제학술지 ‘JKMS(Journal of Korean medical science)’ 홈페이지 화면 캡처
실제로 지난 5월 의학용어에 대한 음성 인식 개방형 API(네이버 클로바·구글 스피치투텍스트·아마존 트랜스스크라이브) 정확도에 대한 비교 연구 결과에서 네이버 클로버가 75.1%의 높은 정확도를 보였지만 3자 이상의 단어 길이가 증가할수록 경쟁력이 없었다는 연구 결과도 나왔다.
김홍국 광주과학기술원 전기전자컴퓨터공학부 교수는 GIST 웹진에서 "AI딥러닝 기술을 통해 음성인식의 정확도가 몰라보게 높아졌다"면서도 "AI 영상인식은 일부 정보가 누락되더라도 사람의 인지능력과 비슷한 수준으로 그 정보를 예측해 대체할 수 있지만, AI 음성인식에서는 일부 데이터만 누락돼도 전혀 다른 문장으로 인식될 수 있다"고 말했다.
