◆…자료:루프벤처스
대중적으로 인기 있는 음성지원 서비스인 애플 시리, 구들 어시스턴트, 아마존 알렉사 중 어떤 기술이 가장 인식률과 응답정확도가 높은지 평가가 이뤄졌다.
루프벤처스(loupventures)가 주요 3개 음성지원서비스를 대상으로 800여 개의 질문을 진행한 결과 응답정확도에서 어시스턴트 93%, 시리 83%, 알렉사 80%를 보이며 지난해애 비해 전반적으로 개선됐다고 발표했다.
지난해 7월 실시한 실험에서는 어시스턴트가 86%로 가장 높았고 뒤를 이어 시리 79%, 알렉사 61%를 보였다. 지난해에 비해 각각 7%포인트, 4%포인트, 19% 포인트가 향상, 상대적으로 시리가 뒤처지는 양상을 보였다.
이는 최근 애플 내부 문제로 시리 담당 책임자들이 연달아 퇴직하거나 이직하는 것과도 관련이 있는 것으로 분석된다.
테스트는 스마트폰과 스마트 스피커를 분리해 진행됐다. 기반 기술은 동일하지만 사용사례가 다소 차이가 있는 것을 고려한 것이다. 즉 사용되는 환경에 따라 다른 언어가 필요할 수도 있고 결과물 또한 출력 폼팩터(화면이 있거나 없는 경우 등)에 따라 달라질 수 있기 때문이다.
구체적인 실험방법을 보면 모두 동일한 내용의 800개 질문을 던져 첫째 사용자의 요청을 정확하게 이해했는지, 둘째 질문에 대해 정확한 답변을 했는지 나눠 등급을 매겼다.
평가에 투입된 질문은 지역(가장 가까운 커피숍은 어디입니까)과 거래(종이 타월을 더 주문하세요), 길 안내(버스로 윗마을까지 어떻게 가야 합니까), 정보(오늘 밤 트윈스는 어떤 팀과 경기합니까), 명령(오늘 오후 2시에 제로미에게 전화하도록 알려 주세요) 등 5가지 범주로 구성했다.
시스템 버전은 iOS12.4, 안드로이드9 파이(픽셀 XL), iOS 앱을 경유한 알렉사를 이용했다. 그 결과 어시스턴트는 800개의 질문을 정확하게 이해하고 93%의 정확한 답변을 내놨다. 시리는 798개의 질문을 이해하고 83%의 응답정확도를 보였으며 알렉사는 799개의 질문을 정확하게 인식했지만 답변 정확도는 80%에 그쳤다.
어시스턴트는 5개 범주 중 4개 부문에서 최고점을 받았지만 명령부문에서 시리에 뒤졌다. 즉 시리는 전화, 문자 메시지, 전자 메일, 일정과 음악 등 전화 관련 기능에서 더 높은 성능을 나타냈다.
가장 큰 차이를 보인 것은 '거래' 항목으로 시리 68%, 알렉사 71%인 반면 어시스턴트는 92%의 정확도를 보이며 압도적 우위를 나타냈다. 제품이나 서비스 정보 및 특정 품목을 구매할 수 있는 위치 등 추가 질문까지 거의 완벽한 답변을 내놨다.
문제는 테스트 점수가 100%에 도달한다 하더라도 실제 환경에서 완벽하게 정확한 응답을 내놓을 수 없다는 것이다. 사용 범주가 잘 구축돼 있기 때문에 단지 기계가 이해하고 답을 하기는 하지만 지능적이지는 않기 때문이다.
