실제 A/B Testing의 준비 과정을 뷰저블과 함께 어떤 순서로 진행해야 되는지 상세히 알아볼 수 있습니다.
- 목표 설정
- 현황 및 문제 원인 파악
- 가설 설정 및 B 제작
- A/B Testing 진행
- 결과 비교
1. 목표 설정
뷰저블을 통해 페이지에서 사용자 행동 정보와 방문 현황을 히트맵이나 Analytics로 파악할 수 있습니다. 또는 각 서비스의 고유 관리 기능을 통해 회원가입이나 구매 건수 지표를 별도로 파악할 수 있습니다.
A/B Testing을 진행하기 전, B안이 준비되지 않은 서비스 관리자는 개선하고자 하는 목표를 정량적으로 설정함으로써 B안을 준비하고 A/B Testing을 위한 준비를 시작할 수 있습니다. 목표가 정량적이지 않을 경우, 개선을 위해 A의 어떤 부분을 어떻게 고쳐서 B안을 만들어야 할지 모호할 수 있습니다. 회원가입 링크나 구매 버튼과 같이 특정 콘텐츠 링크로 전환되는 클릭의 증가나, 지정한 위치까지의 스크롤 도달률 증가를 통해 노출 증가와 같이 정량적으로 측정 가능한 목표를 구체적으로 설정할 수 있습니다.
이때, 설정하는 목표는 콘텐츠에 기인한 결과가 될 수 있어야 합니다. 예를 들어, PV와 같은 항목은 페이지 내부 콘텐츠에 영향을 받기보다는 외부 마케팅 홍보 활동이나 시간 등과 같이 외부적 항목들에 많은 영향을 받을 수 있습니다. 따라서 제작자의 내부 콘텐츠 개선 작업으로 비교적 적은 기간, 적은 표본 대상의 A/B Testing 진행한 것만으로는 개선에 대한 효과를 얻거나 파악하기 어려울 수 있습니다.
2. 현황 및 문제 원인 파악
앞서 목표를 설정하였다면, 해당 목표와 관련이 있는 지표 항목들의 현황을 파악해야 합니다. 이는 현황을 통해 목표 달성에 영향을 끼쳤을, 또는 끼쳤을 것이라고 예상되는 항목들을 이해하기 위함입니다.
만약 상품안내 페이지에서 실제 구매 링크로 전환되는 클릭의 증가가 목표일 경우에는, 다음 현황들을 파악할 수 있습니다.
2.1) 다른 링크로 전환 된 경우 확인하기(다른 목적 이해하기)
구매 링크 이외 다른 링크들의 클릭 현황을 확인할 수 있습니다. 구매 링크보다 클릭 순위가 높은 링크를 확인하면 사용자들이 해당 페이지에서 구매 이외 어떤 행동을 더 원했는지 이해할 수 있습니다.
2.2) 유입 경로 별 현황 확인하기(시너지를 줄 수 있는 콘텐츠 이해하기)
만약 구매 링크 비율이 유난히 높은 유입경로가 있다면, 해당 유입경로 페이지는 구매로 전환하기에 긍정적인 시너지 효과를 주는 콘텐츠를 갖고 있다고 이해할 수 있습니다. 따라서 해당 유입경로 페이지에 구매 링크 페이지로 전환되는 링크를 더 강조하여 전환율을 더 높여볼 수 있습니다.
또한 만약 구매 링크 비율이 높았던 유입 경로가, 앞서 확인한 [다른 링크로 전환 된 경우]에 해당되는지 검토할 수 있습니다. 만약 다른 페이지로 전환되었던 사용자들이 다시 되돌아와서 구매 링크로 전환되었다면, 해당 페이지에서 구매 링크로 전환되기까지 부족한 정보에 대한 문제점을 전환/유입경로에 해당하는 페이지 콘텐츠 정보로 파악할 수 있습니다.
2.3) UT / 설문조사 / 인터뷰 진행하기
만약 히트맵이나 분석 데이터를 통해 현황을 파악하기 어렵다면, 사용자들에게 직접 Usability Test나 설문조사를 진행하여 사이트의 현황과 문제에 대한 의견을 직접 수집하는 방안도 존재합니다.
다만 이 방법에는, 사용자들이 정말 자신이 이해하고 겪은 것들을 100% 솔직하고 정확하게, 그리고 근본적인 원인을 제대로 표현할 수 있는가에 대한 논란이 존재합니다. 이전에 설명한 넷플릭스 사례를 보면, A/B Testing 1차 Testing에서 설문조사로 얻은 내용을 단순히 반영했을 때 오히려 지표가 낮아져서 더 면밀히 살펴본 결과 더 근본적인 요구사항이 숨어있는 경우가 존재하였던 것을 발견한 사례를 볼 수 있었습니다.
따라서 Usability Test나 설문조사와 같은 방법에는 좀 더 심도 있는 인터뷰가 함께하여 이러한 위험을 방지해야 합니다.
3. 가설 설정 및 B 제작
현황과 문제 원인의 파악으로, 가설을 설정하고 가설에 따라 비교하고자 하는 개선안 B를 제작할 수 있습니다. 콘텐츠 구성 자체를 바꾸거나, 텍스트나 이미지 교체, 또는 CTA(Call to Action) 역할을 하는 링크의 개선 등으로 B 페이지를 제작할 수 있습니다.
만약 구매 페이지에서 구매 클릭률이 낮은 문제 원인이 판매자 정보 페이지에 많은 사용자들이 다녀왔고 판매자 정보 페이지에 다녀온 사람들의 클릭률이 높았다면, 판매자 정보 콘텐츠가 구매 페이지에 함께 제공되었을 때 좋은 시너지 효과를 얻을 수 있다는 가설을 세울 수 있습니다. 그리고 그 가설에 따라, 판매자 정보 콘텐츠를 추가한 구매 페이지로 B안을 제작할 수 있습니다.
가설은 현황 파악으로 얻지 않아도, UX/UI 가이드나 디자인 법칙 등과 같이 신뢰도 있는 연구 결과의 이론에 따라 설정할 수도 있습니다. 다만, 다양한 사용자들이 방문하고 사용하는 사이트에는 여러 변수가 존재하기 때문에 해당 이론의 적용 가능 여부나 이미 충분한 적용이 되어있지 않은 지 등을 검토해야 합니다.
예를 들어 Apple의 Human Interface Guidelines에 따르면, 충분한 명도 대비(7:1이나 최소 4.5:1 이상)를 보장한 색상을 사용해야 한다는 가이드가 명시되어 있습니다. 이 이론을 특정 링크의 클릭율 문제에 대한 가설, ‘명도대비를 높인다면 링크가 사용자들에게 더 많이 읽힐 것이고, 많은 노출은 클릭율 증가로 이어질 것이다’를 적용하기 전 검토해야 할 현황들이 존재합니다.
링크 텍스트가 이미 충분한 명도 대비를 갖추고 있어 더 나은 명도 대비를 제공하는 것에 대한 효과를 얻지 못할 수도 있으며, 충분한 명도 대비를 갖고 있지 않더라도 위치나 크기, 다른 디자인 요소로 인해 이미 사용자들에게 노출되는 이슈가 클릭률 문제 원인과 무관할 수 있습니다.
하지만 링크의 존재와 내용을 파악하기 어려웠다는 현황이 존재한다면(예를 들어 스크롤 도달률 자체는 높지만 마우스 접근 비율이 낮은 경우), 그리고 다른 변수에서는 문제의 원인을 찾을 수 없다면(링크의 크기나 모양, 디자인 등) 이러한 가설을 적용하여 개선 된 B안을 만들고 A/B Testing을 진행해볼 수 있을 것입니다.
※ 주의점
현황 파악이나 이론에 의한 가설을 설정하고 B안을 제작할 때 A와 B의 차이점이 2가지 이상이 되어서는 안 되도록 주의해야 합니다. A와 B 차이점은 A/B Testing 이후 결과의 원인으로 해석하게 됩니다. 따라서 검증하고자 하는 가설이 2개 이상이라면 B페이지를 여러 개 만들어 ‘AvsB(1), AvsB(2), AvsB(3), … ‘와 같이 비교해야 합니다.
4. A/B Testing 진행
4.1) Split Rate 설정하기
A/B Testing 대상이 되는 규모를 설정해야 합니다. 만약 100%의 사용자 모두를 A/B Testing 대상으로 설정한다면 A에 50%사용자, B에 50%사용자로 분배되게 됩니다.
A/B Testing의 목적은 사업 지표의 하락이라는 리스크를 최소화하면서 개선을 위한 검증을 진행하기 위함입니다. 100% 사용자 모두를 A/B Testing 대상으로 설정한다면 리스크에 대한 위험 50%를 부담해야 됨을 의미합니다. 따라서 전체 사용자 중 리스크를 최소화하면서 테스트의 신뢰성을 높일 수 있는 적정 수준의 비율을 선정해야 합니다.
통계학의 <중심 극한 정리(Central Limit Theorem)>이론에서 라플라스는 표본이 충분히 크다면 그 결과가 정규분포를 따를 수 있다고 했으며, 현대에서는 이 충분히 크다는 수치를 30 이상의 값으로 해석하고 있습니다. 이러한 이론의 값들을 참고하여 적절한 비율이 A/B Testing 대상이 될 수 있도록 설정할 수 있습니다.
4.2) 기간 설정
Split Rate의 사용자 규모와 마찬가지로, 리스크를 최소화할 수 있으면서 충분한 기간 동안 A/B Testing를 진행해야 합니다.
해당 사이트의 일자 별 평균 유입 사용자 규모와 Split Rate 비율을 곱하여 A와 B 각각에 들어올 사용자 규모를 추정해보고 A와 B 페이지 각각에 충분한 사용자들이 유입될 수 있을 정도의 기간을 보장해야 합니다.
그리고 시간이나 요일, 공휴일, 사이트의 홍보 기간 여부 등과 같이 지표에 영향을 끼칠 수 있는 시간적 다양한 변수가 기간 동안 치중되지 않고 모두 포함될 수 있도록 주의해야 합니다.
4.3) With A/A Testing
A/A Testing은 동일한 A를 Split 하여 두 개로 분산하고, 각 집단의 값을 비교하여 그 차이, 즉 오차범위가 어느 정도 되는지 확인하는 테스트 기법입니다.
A/A Testing은 A/B Testing에서 필수적인 사항은 아닙니다. 하지만 A/B Testing 결과에서 Split으로 발생하여 감안해야 하는 오차 범위를 구해 신뢰도를 알아보고자 할 때, 객관적인 근거 자료로 활용할 수 있습니다.
5. 결과 비교
뷰저블의 실제 A/B Testing 결과페이지에서 볼 수 있는 [리포트 비교] 콘텐츠와 [히트맵 비교] 콘텐츠입니다.
5.1) 리포트 비교
[리포트 비교] 콘텐츠에서는, A/B Testing에 설정한 값을 확인하고, 정량적인 지표 결과를 비교해볼 수 있습니다.
- 트래픽 비율: 각 A/B 페이지의 화면과 분산된 트래픽 비율을 확인할 수 있습니다.
- 지표 결과 비교: Conversion Rate(페이지 전환율, 페이지 내 콘텐츠를 소비한 사용자의 비율), Click per PV (전체 Clicks / 전체 PV), Click PV Rate(클릭을 발생시킨 PV / 전체 PV), Exit Rate (이탈률, 전환하지 않은 사용자의 비율), Avg Duration(평균 체류 시간) 정보에 대한 정보를 A와 B 각각 라인 차트나 표로 확인할 수 있습니다.
- Rank 지표 결과 비교: 그리고 각 A/B 페이지에서 전환이 많이 발생한 콘텐츠 순위 [링크별 Conversion Rate Top 5]와 PV 당 클릭 카운트가 많이 발생한 순위 [요소별 Clicks per PV Top 5]를 확인할 수 있습니다.
5.2) 히트맵 비교
[히트맵 비교] 콘텐츠에서는 뷰저블의 다른 메뉴에서 볼 수 있었던 히트맵 도구를 A와 B 각각에서 확인할 수 있습니다.
다른 메뉴에서와 마찬가지로, 각 기기에 따라 Referrer(유입 경로) 별이나 전환 또는 이탈 별로 사용자의 행동을 분류해서 다양한 히트맵(클릭, 움직임, 스크롤, Stream)을 좌/우 화면으로 직접 편리하게 비교할 수 있습니다.
