A/B 테스팅은 마케팅 또는 비즈니스 의사결정 단계에서 많이 쓰이는 개념입니다. 서비스의 실제 사용자가 될 두 집단에게 A와 B 각각을 제공하고 이의 결과 차이로 A와 B중 더 나은 것을 찾아낸다는 프로세스로 진행됩니다.
A/B 테스팅이 왜 필요할까?
검증
A에서 B로 수정하는 작업은 여러 사람의 경험, 데이터로 인해 얻어낸 직관 또는 가설에 따르며 더 좋아지기 위한 개선을 위한 방향입니다. 하지만 직관과 가설 자체와 개선한 B안에 대한 검증은 실제 결과를 얻어내기 전까진 정량적인 수치로 확인할 수 없습니다.
아래 나올 넷플릭스 사례로도 알 수 있겠지만 잘못된 직관과 가설 또는 개선 방안으로 인해 오히려 더 나빠지는 상황을 초래하기도 합니다. 따라서 이론이나 사용자의 의견을 올바르게 해석했고 적용했는지 검증하기 위해서는 실제 결과를 확인해야 하며, 이 결과 확인 과정이 서비스 전체 이익에 크게 영향을 끼쳐서는 안 됩니다.
기존 사용자 중 표본 집단을 추출하고, 이 표본 집단만으로 올바른 A/B 테스팅을 진행한다면 기존 사업 지표가 하락하게 되는 리스크를 최소화하면서 개선을 위한 검증을 진행할 수 있을 것입니다.
비교의 동시성
A와 B 중 더 나은 결괏값을 이끌어낼 수 있는 항목이 무엇인지 찾기 위해서는 각 지표를 발생시키는 대상이 유사할수록 올바른 비교가 이뤄집니다. A를 판단하는 집단과 B를 판단하는 집단 간에는 콘텐츠 이외의 차이가 존재해서는 안 된다는 것입니다.
날짜나 요일, 시간과 같은 시점에 따라서 외부 이벤트나 정보에 영향을 받아 결과가 차이 납니다. 시점뿐 아니라 PV나 UV 자체의 규모, 접근하게 된 계기인 유입 경로, 기기나 운영체제/브라우저 같은 사용자 환경처럼 결과에 영향을 끼칠 수 있는 항목도 최소화할수록 A와 B의 올바른 비교를 수행할 수 있습니다.
따라서 동일한 기간 동안 동일한 규모의 유사한 집단 간 사용자들에게 A/B를 비교하도록 하면, 좀 더 객관적인 판단 결과를 얻어낼 수 있을 것입니다.
A/B 테스팅 적용: 오바마 선거 사례
오바마의 대선 홍보 활동은 데이터 기반으로 효율적인 결과를 끌어낸 사례로 유명합니다. 다양한 데이터 활용 중 기부 버튼에 적절한 색상, 텍스트를 찾고 기부 절차 단계의 흐름을 어떻게 할지 등에 A/B 테스트를 적용했습니다. 결과로 기부금을 끌어낼 가장 나은 방안을 정량적 수치로 확인할 수 있었고, 이는 실제 모집 기부금의 증가와 나아가 선거활동의 성공으로 이끌 수 있었습니다.
예시 1) 흐름 변경
기부 절차 단계의 흐름을 변경한 A/B 테스팅 입니다.
1Step에서 여러 항목을 요구하는 기존 프로세스 A, 4Steps로 흐름을 늘린 대신 각 Step에서 요구하는 항목을 최소화한 프로세스 B를 비교해, 단계적 흐름일 때 +5%라는 지표를 확인하고 얻어낼 수 있었습니다.
예시 2) 주요 이미지 변경
주요 이미지를 변경한 A/B 테스팅 입니다.
기존 데이터에서 오바마에게 포커싱이 맞춰진 큰 이미지가 사용자들에게 높은 전환율을 보였음을 적용해, 주제에 맞는 맥락과 포커스가 약간 떨어지긴 하지만 오바마에게 포커스를 맞춘 이미지를 첫 번째 A 안으로 활용했습니다.
B안으로는 오바마와 함께 영부인, 게스트들이 사진에 포함되어 주제에 맞는 맥락과 사용자들이 디너 참석으로 기대할 수 있는 장면을 예상할 수 있도록 했습니다. 이 A/B 테스팅 결과 B 페이지에서 전환율 지표 +19%라는 효과를 검증할 수 있었습니다.
A/B 테스팅 적용: 넷플릭스의 사례
넷플릭스에서는 회원 가입 전 메인 화면을 개선하는 작업을 진행했습니다. B를 만들기 전에 사용자들에게 회원 가입을 하기 전 어떤 화면을 원하는지 의견을 직접 조사했고, 조사 결과 약 46% 사용자들에게 ‘시청할 수 있는 영화와 TV쇼 목록’이라는 답변을 받았습니다.
이 설문조사를 반영해 이러한 목록 콘텐츠를 제공한다면 가입률을 개선할 수 있을 것이라는 가설을 세웠고 다양한 콘텐츠 목록이 제공되는 B안을 새롭게 만들었습니다.
하지만 기존 A안과 설문조사를 반영해 개선한 B안으로 A/B 테스팅 결과, A에 비해 가입 전환율이 오히려 낮았습니다. 원인은 시청 목록 화면에서 가입 페이지로 바로 전환되는 것이 아니라 오히려 탐색으로 인해 가입 전환 콘텐츠 영역에서 벗어나게 되고, 또한 원하는 콘텐츠가 없을 시 좌절감을 느껴 이탈하게 되는 경우가 발생했기 때문입니다.
넷플릭스는 사용자가 직접 요구한 의견을 반영해 사용자들이 가입 전 시청 가능 목록을 확인하되, 넷플릭스가 의도한 사용자 경험 시나리오인 목록 위주로 탐색하는 행위로 빠지지 않고 실제 가입으로 전환될 수 있도록, 다음 이미지와 같이 디자인을 개선했습니다.
결론
오바마와 넷플릭스의 사례를 통해 직관의 검증, 이론에 의한 가설 검증, 사용자가 직접 말한 의견 해석에 대한 검증으로 인한 A/B 테스팅의 중요함을 알 수 있습니다.
직관의 검증
- 직관: 사용자에게 너무 많은 단계 프로세스는 부담이 될 것이다.
- 검증: 사용자들에게 부담이 되는 것은 단계보다 항목의 개수가 더 영향을 끼친다.
이론에 의한 가설 검증
- 가설: 포커스가 맞춰진 사진이 전환율이 좋았다.
- 검증: 참석을 유도하는 페이지에서는 유도 받는 인물이 포함된 사진이 전환율을 높일 수 있다.
사용자 의견 해석에 대한 검증
- 해석: 가입 전 목록 조회를 원한다.
검증: 탐색할 목록이 아닌 대략적인 파악으로 끝날 수 있는 목록 조회가 적절하다.
