큐빗(Qubit)이라는 마케팅 분석 플랫폼 스타트업이 그들의 플랫폼에서 수행된 수 천 개의 그로스 해킹 실험 결과를 분석한 결과를 논문 형식으로 발표하였다. 사실 그로스 해킹만큼 실용적이고 실증적인 계량 마케팅 논문을 쓰기에 좋은 주제가 없다고 생각했었는데, 누가 이렇게 해주니 너무 감사하다.
다음은 논문의 간단한 요약이다.
표본 집단 및 분석 정의
- 전자상거래(여행업 포함) 업체들의 실험 결과를 토대로 함
- 2,600 여개의 A/B 실험을 29개 군으로 분류
- 성공 지표로 RPV(Revenue Per Visitor)의 % 상승률로 잡음 (개인적으로 RPV는 생소한 개념인데, 궁극적으로는 ARPU와 같은 개념인 듯)
분석 요약
평균 성과 상승률이 가장 높은 기법들:
- 희소성 (scarcity): +2.9% (홈쇼핑에서 ‘몇 개 남지 않았어요~’ 하면서 자주 사용하는 기법인데, 역시!)
- 대세 마케팅 (social proof; 남들도 하니깐): +2.3%
- 긴급함 (urgency; 카운트 다운 표시): +1.5% (홈쇼핑에서 ‘마감 임박’ 하는 그것이다. 이것도 역시!)
- 떠난 사람 붙잡기 (abandonment recovery): +1.1%
- 제품 추천 (recommendation): +0.4%
대부분의 UI를 조금씩 바꾸는 ‘꼼수’는 잘 통하지 않음:
- 색깔 바꾸기: +0.0%
- 버튼 바꾸기: -0.2%
- 버튼에 쓰여있는 문구 바꾸기: -0.3%
90% 이상의 실험이 매출의 +/- 1.2% 내외로 영향을 끼침. 하지만 모든 것을 통틀어서 봤을 때 대체적으로 지속적으로 A/B 실험을 하는 것이 매출에 긍적적으로 영향을 줌.
개인적으로 느낀점 몇 가지
1. 역시 구관이 명관!
홈쇼핑에서 사용하는 기법들은 전자상거래로 넘어 와서도 통한다. (홈쇼핑의 마법같은 고객 확보 기법들을 개척한 마케터들에게 박수를…)
2. UI 바꾸기는 안 통함?
예전 블로그에서 밝혔듯이 링크드인에서 사업부 그로스 해킹을 담당할 때 논문에서 언급한 UI ‘꼼수’들의 효과가 매우 쏠쏠하였다. 어쩌면 전자상거래/여행업이 아니여서 다른 결과가 나왔는지도 모르겠다. 역시 그로스 해킹은 이론도 중요하지만 실제로 이것 저것 해 보면서 사업과 고객에 맞는 기법을 찾는 노가다가 필요한 것 같다. (한마디로 “그로스 해킹, 책으로 배웠어요~” 하면 안된다는 이야기)
3. 90% 이상의 실험이 매출에 미미한 영향을 미침?
- 고액의 상품이거나 매출의 분포가 매우 넓은 경우 (전자상거래 및 여행이 바로 이러함) 매출의 상승률을 통계적으로 유의미하게 계산해 내는 것은 매우 어렵다. 이런 경우 outlier들을 없애기 위해 winsorize 기법들을 사용해야 하는데 논문은 그러하지 않았다. 만약 RPV가 아니고 순 거래 횟수 등으로 지표를 잡았다면 다른 결과가 나왔을지도 모르겠다.
- 그로스 해킹은 흔히 game of inches (‘cm의 게임’) 라고 불린다. 당연히 미미한 (그러나 소중한) 성과가 나오기 마련이다. 한번에 사업을 변화시킬 대박의 그로스 해킹 기법들을 기대 했다면 그로스 해커의 기본 자세부터 잘못 되었다고 할 수 있다. 가끔은 모래성 쌓으며 삽질 한다는 느낌도 들지만 포기하지 않고 꾸준히 가설 기반의 실험을 통해 조금씩 발전해 나가고, 이것이 반복되면서 궁극적으로 큰 성과를 얻는 것이 그로스 해킹이다. 마치 소백산 가파른 비탈길을 한발씩 열심히 올라 부석사 안양루에 다다러 뒤돌아 봤을 때 눈에 들어오는 장관의 느낌이라고나 할까.
원문: Andrew Ahn
