기존 안(A)과 개선안(B)을 서비스나 UX에 반영해 고객의 반응을 데이터로 수집하고 어떤 버전이 더 나은지 판단하는 방법으로 서비스를 직접 이용하는 고객의 행동 데이터를 수집해 개선안에 반영할 수 있다.
문제는 테스트 목적에 적합한 타깃 대상고객을 선정하고 고객의 행동 데이터를 수집·분석해 결과를 확인하는데 많은 시간과 인력이 필요했던 것은 물론 단일 서비스에 다수의 A/B 테스트를 동시에 진행하기 어려웠다.
이번에 개발한 툴은 A/B 테스트를 쉽고 빠르게 진행할 수 있게 됐다. CTO 조직에서는 지난해 초부터 클라우드, 빅데이터 기술을 활용해 통신업의 특성에 최적화된 A/B 테스트 플랫폼을 개발, 지난 10월부터 U+tv, U+모바일tv, U+아이들나라 서비스 개선업무에 적용했다.
플랫폼에서는 LG유플러스 서비스에 가입한 고객 정보와 사용 이력 데이터를 통해 다양한 타킷 고객 조건을 자동설정하고 실사용 행동 로그를 기반으로 고객의 반응을 집계해 통계 검증결과를 자동 분석할 수 있다.
기존에는 대상고객 선정하는데 최대 3주가 걸렸지만, A/B 테스트 플랫폼은 2분으로 단축할 수 있으며 최대 4주가 걸렸던 결과 분석 시간도 1시간 내에 마칠 수 있어 업무 효율성을 획기적으로 높일 수 있게 됐다.
특히 마우스 조작만으로 모든 과정을 마칠 수 있어 임직원 누구나 빅데이터 A/B 테스트를 시작할 수 있는 것은 물론 테스트 결과를 생성·공유할 수 있고 다수의 테스트 간 대상고객 중복 설정(Conflict)을 방지할 수 있는 협업에 최적화된 환경을 조성했다.
