※ 이 글은 ASH MAURYA가 작성한 「The 7 Habits for Running Highly Effective Lean Startup Experiments」을 번역한 글입니다. 참고로 이 분은 유명한 책인 <린 스타트업 : 실리콘밸리를 뒤흔든 IT 창업 가이드>의 저자입니다.
최근 개인적으로 온라인 마케팅 관련해서 다양한 실험들(이라고 읽고 ‘SEO를 이기는 어뷰징과 꼼수’)을 해보고 있는데, 더 나은 실험과 학습을 위해 어떤 방식으로 해야 좋을지 고민하는 와중에 읽은 글입니다.
저는 개인적으로 기술적인 어뷰징과 꼼수가 장기적인 관점에서 SEO를 이길 수 있다고 생각하지는 않습니다. 다만, 국내 인터넷 환경의 특수성과 컨텐츠 소비자의 사용 행태에 의해서 분명히 SEO를 뛰어넘는 어뷰징과 꼼수가 단기적인 관점에서 성과를 충분히 낼 수 있다고 생각합니다. 이러한 실험의 결과는 블로그를 통해서 추후에 다시 공유 드릴 수 있도록 하겠습니다.
효과적인 실험을 수행하기 위한 7가지 습관
질문은 ‘당신이 실험하는지, 안 하는지’에 대한 것이 아니다. 당신은 실험을 항상 한다. 새로운 기능을 공개하고, 마케팅 캠페인을 하고, 혹은 새로운 판매 방법을 시도할 때마다 당신은 어떤 종류의 실험을 사용해서 새로운 전략을 시험해보고 있는 것이다.
진짜 중요한 질문은 당신이 “좋은 실험”을 하고 싶은지 아닌지이다.
만들기/측정/학습 이전에 생략된 단계
린 스타트업으로부터 많은 영향을 받은 린 씽킹(Lean Thinking)은, 만들기 단계 이전에 의도적인 단계가 하나 있다. 그 단계는 “계획”이다. 우리는 행동을 취하려는 과열로 인해 종종 실험 계획에 필요한 시간을 들이지 않는다. 이것은 실수이며, 이는 때로 실험 후 합리화와 차선의 결과로 이어지기도 한다.
다른 것들과 마찬가지로, 분석 마비를 피하고 행동을 실시하기 위해서 계획 단계의 시간이 반드시 정해질 필요는 없다. 하지만 올바른 계획에 들인 시간은 잘 사용된 시간이다.
다음은 좋은 실험을 하기 위한 나의 기본 원칙들이다. 하지만, 시작하기 이전에 우리는 먼저 다른 것을 해결해야 한다.
인지 편향
인지 편향은 우리의 의사결정 능력에 영향을 주고, 아이작 뉴턴과 같이 유명한 과학자들도 인지 편향에 영향받지 않는 것은 아니었다. 이러한 이유 때문에 과학 커뮤니티는 어떻게 경험적인 연구를 수행하고 증거를 모으는지에 대해 여러 개의 절차와 보호 장치를 만들어 놓았다.
예를 들어 의학 약물의 임상 시험의 경우, 시험이 끝날 때까지 시험관과 피시험자 모두 시험에 대한 정보를 알지 못하는 이중 맹시험을 오랫동안 거친다.
첫 번째 원칙은 당신이 스스로를 속이지 않고, 당신이 속이기 가장 쉬운 사람이라는 것을 아는 것이다. – Richard P. Feynman
하지만, 기업적인 연구를 이 정도의 강도에서 시행하는 것은 많은 경우에 지나칠 수 있다. 기업 활동은 단순히 배우기 위한 지식 습득이 아니라 결과를 얻기 위한 것이기 때문이다. 우리의 목표는 소음 속에서도 올바른 신호를 찾아서 그것을 더블 다운(double down)하는 것이다.
자신감(혹은 예감)을 기반으로 한 지름길을 시험해보는 것이 때때로 소음 속에서 이 신호를 찾는 가장 빠른 방법이 될 수도 있다. 가장 좋은 해결책은 이 편향을 피하는 것이 아니라 이들에 대응하는 기본적인 원칙을 내면화하는 것이다. 당신이 이것을 할 수 있도록 도와줄 수 있는 7개의 압축된 습관은 다음과 같다.
1. 당신이 기대하는 결과를 솔직하게 이야기해라.
한 과학자가 어떤 현상을 관찰하기 위해 단순히 실험실에 들어가서 여러 개의 물질을 섞기 시작하지는 않는 것처럼, 당신도 당신 실험의 결과를 솔직하게 이야기해야 한다.
단순히 어떤 일이 나타나는지 보려고 계획한다면, 당신은 일어날 것이라고 보장되어 있기 때문에 나타나는 현상을 보는 데에만 항상 성공할 것이다. – Eric Ries, 린 스타트업
기업가들이 어떤 것을 사후 합리화하는 데에 특별히 재능이 있다는 사실과 이 말을 합쳐 본다면, 당신은 왜 이 사후 과잉 확신 편향을 피해야 하는지 알 수 있다. 이는 당신이 현실의 잔혹한 사실을 직면하는 것을 늦추기만 할 뿐이다.
이와 같이 말하는 것은 쉬운 반면 행동하기는 어려운데, 솔직하게 결과를 이야기하기 싫어하는 데에는 보통 두 개의 깊은 이유가 있다.
- 사람들은 틀렸음을 증명하는 것을 싫어한다.
- 충분한 정보를 갖고 있지 않다고 느낀다.
다음 두 개의 습관이 이를 극복하게 해준다.
2. 결과 발표를 단체전으로 만들어라.
만약 당신이 회사의 설립자거나 최고 경영자인 경우, 당신은 아는 것이 많고 잘 통제하고 있는 것처럼 보이고 싶어 하기 때문에 기대되는 결과를 대담하게 대중에게 발표하는 것을 피할 수도 있다. 꼭 당신이 최고경영자가 아니어도 된다. 만약 당신이 새로운 디자인을 제안하는 디자이너인 경우, 틀렸음을 증명하는 것의 두려움 때문에 구체적인 변화를 제시하는 것보다 결과를 모호하게 하는 것이 더 안전하다.
대부분의 사람들이 솔직한 발표를 기피하는 근본적인 원인은, 우리가 우리의 일에 자아를 밀착시키기 때문이다. 자아가 소유권을 강화하는 데에는 유용하지만, 경험적인 학습에 있어서는 부정적이다.
이것 또한 실제로 행동하기 어렵지만, 나는 다음과 같이 당신이 시작하기를 제안한다. 기대 결과를 발표하는 것의 부담을 한 명에게만 주지 말라. 대신 팀의 노력으로 하되, 살짝 변화를 주라.
팀의 동의를 너무 빨리 구하는 것은 집단 사고(Group Thinking)로 이어질 수 있다. 기대 결과 발표는 특히 방에 있는 HiPPO의 영향력에 특히 취약하다.
HiPPo 란 Amazon 내에서 사용되는 용어로, 가장 높은 임금을 받는 사람의 의견을 의미한다. (Hippo; Highest Paid Person’s Opinion)
팀 구성원들이 결과 발표를 개별적으로 먼저 하고 그것을 비교하는 것이 훨씬 낫다. 나는 실제 결과 관련해서도 비슷한 토론 과정을 갖는 것을 추천한다. 만약 당신이 조금 재미있게 하고 싶다면, 이것을 게임으로 만들어서 가장 근접한 추리를 한 사람에게 작은 상을 주는 것으로 바꿀 수도 있다.
중요한 점은 옳고 그름이 아니라 당신의 팀이 기대 결과를 발표하는 것에 얼마나 더 편해지는 지다. 이 연습은 당신 팀의 판단을 개선시키는 데에 극적으로 도움을 줄 수 있다. 당신이 1인 설립자인 경우, 실험하기 전에 당신의 기대 결과를 적어놓는 것이 더욱더 중요하다.
3. 정확성이 아니라 추정을 강조해라.
사람들이 기대결과를 솔직하게 말하는 것을 꺼려하는 또 다른 이유는 그들이 유의미한 예측을 하기 위한 정보가 충분하기 않다고 느끼기 때문이다. 당신이 아이폰 어플리케이션을 한 번도 출시해본 적이 없다면, 당신은 어떻게 다운로드 비율 예측할 수 있는가?
당신이 절대 완벽한 정보를 가질 수 없고, 또한 어찌 되었든 이런 종류의 예측을 해야만 한다는 사실을 받아들여야 한다.
이를 할 수 있는 세 가지 방법이 있다.
- 유사한 것을 찾아라.
- Lean Canvas, Traction Model, and Customer Factory dashboard를 활용해라.
- 완벽한 예측 대신에 범주로 시작해라.
4. 행동 측정 vs 말
학습 실험에서 질적인 학습은 주관적인 것이기 때문에 문제 면접과 마찬가지로 다소 도전적일 수 있다. 어느 기업가에게 소비자와의 통화가 어땠느냐고 물어본다면 이는 대체로 항상 긍정적이다. 사용자가 말하는 것을 질적으로 판단하려고 하거나 대화 일부를 점수 매기려고 하는 것보다, 단순히 그들이 무엇을 하는지(혹은 했는지)를 측정해라.
Running Lean의 문제/해결 인터뷰를 해체하면 그 안에 여러 개의 콜 투 액션이 있는 것을 발견할 것이다. 사이사이의 것으로부터 나는 새로운 가설(예측)을 만들어내지만, 이러한 예측에 자신감을 갖게 해주는 것들은 바로 콜 투 액션이다.
5. 당신의 가정을 반증 가능한 가설로 만들어라.
다음으로, 단순히 결과를 솔직하게 발표하는 것만으로 충분하지 않다. 당신은 이를 반증 가능한, 혹은 틀렸음을 증명할 수 있는 것으로 만들어야 한다. 모호한 이론이 틀렸음을 입증하는 것은 매우 어렵다. Lean canvas의 대부분의 가정들은 반증 가능한 가설이 아니라 믿음의 도약으로 시작된다.
예를 들어 나는 ‘전문가로 생각되는 것이 얼리 어답터가 내 제품을 사용하도록 이끄는 것’이라고 생각한다. 믿음의 도약을 반증 가능한 가설로 바꾸기 위해서는 당신을 이를 다음과 같이 다시 써야 한다.
〔측정 가능한 특정 행동〕이 〔측정 가능한 기대 결과〕를 이끌 것이다.
위의 문장은 다음과 같이 비슷한 것으로 만들게 된다:
블로그 포스트를 작성하는 것은, → 100개의 신청을 이끌 것이다.
위의 기대결과 문장에서 여전히 빠진 것이 있다. 무엇인지 알 수 있겠는가?
6. 당신의 실험 시간을 정해라.
당신이 실험하고 일주일 안에 다시 확인한다고 가정해보자. 일주일 후에 당신이 20개의 신청을 받았다. 좋은 시작이라고 생각하고 실험을 일주일 더 한다고 결정할 수 있다. 이제 당신은 50개의 신청을 받았고, 이는 당신의 목표인 100개 신청의 절반 지점이다. 당신은 어떻게 할 것인가?
조금 지나치게 긍정적인 사업가들은 더 좋은 결과를 얻고 싶은 희망에 실험을 ‘조금만 더 오래’ 실행하는 함정에 자주 빠진다. 여기의 문제는, 확인하지 않고 놔두면 이 기간이 몇 달로 쉽게 바뀐다는 것이다.
‘시간'(‘돈’이나 ‘사람’이 아닌 )이 우리가 가지고 있는 가장 희소 자원이라는 것을 기억하자. 해결책은 당신 실험의 시간을 정해놓는 것이다. 이제 우리는 기대 결과를 다음과 같이 다시 작성할 수 있다:
블로그 포스트를 작성하는 것은 → 2주 안에 100개의 신청을 이끌 것이다.
이 숫자들은 시간이며, 이는 허공에서 나오는 것이 아니다. 이들은 당신의 견인 모델에서 나오는 것이다.
7. 항상 통제 집단을 사용해라.
하나의 실험이 제대로 된다고 말하기 위해서 당신은 이전의 상태를 기준점으로 삼을 필요가 있다. 과학에서 이와 동등한 것은 통제 집단을 세우는 것이다. 당신의 매일, 매주, 매달 측정이 합리적인 시작점이다. 이와 같이 시간을 기준으로 하는 집단은 당신의 실험에서 집중해야 할 기준점이 된다.
이것은 연속적인 분할 시험 방법의 종류이며, 당신이 아직 사용자가 많지 않거나 동시 중복 실험을 시행하지 않는 경우에 대부분 수용 가능하다.
이런 경우가 아니라면, 통제 집단을 만드는 가장 좋은 기준은 평행 분할 시험을 하는 것이다. 평생 분할 시험에서는 사용자 모집단의 일부만을 실험에 노출시키고, 경과를 보기 위해 이를 나머지 모집단(통제 집단)과 비교하는 것이다. 이는 ‘A/B 테스트’라고도 불린다.
마지막으로, 하나 이상의 해결 방법을 실험할 수 있는 충분한 양이 있다면 여러 개의 전략을 상호 비교하는 A/B/C ( 혹은 그 이상의 ) 테스트 을 실행할 수 있다.
이걸 어떻게 다 기억하는가?
‘1-페이지 전략 제안서’와 같이, ‘1-페이지 실험 보고서’도 있다. 아이디어를 먼저 포착한 뒤 이를 전략 제안서를 통해 공유하는 것이다. 선택된 아이디어들은 실험 보고서에 설명된 하나 이상의 실험을 통해 시험 된다. 이 7개의 습관을 외우는 대신, 실험 보고서가 이들을 통합하고 체크리스트와 아이디어 공유 도구로 함께 기능한다.
전략 제안서와 달리, 이 보고서는 한 번에 작성하는 것이 아니라 단계별로 한다-실험의 만들기/측정/학습 단계를 따른다. 미래의 포스트에서 Lean Canvas, 전략 제안서와 실험 보고서를 자료와 최종 후보자 명단에 적용하고 시간이 정해진 Lean Sprints를 이용해서 아이디어를 시험하는 방법에 대해 공유할 예정이다.
원문 : 안수찬의 개발이야기
