모든 사회현상에는 유행이 있고, 한국 사회는 유독 유행에 민감한 편이라고들 한다. 특히 선진국이라 불리는 나라에서 뭔가 새로운 것이 등장하면 앞뒤 가리지 않고 일단 도입부터 하고 보는 일이 적지 않다. 개발협력계나 CSR계에서도 마찬가지다.
미국 민간단체 B랩(B Lab)이란 곳에서 만든 B코퍼레이션(B Corporation, 이하 비콥)이라는 인증이 있다. 미국 상법에서는 일반적인 주식회사를 C코퍼레이션(C Corporation)이라고 부르는데, C 대신에 베네핏(Benefit)의 B를 넣어서 B코퍼레이션이라 한단다.
영국의 한 디지털 매체에서 이 비콥을 다뤘는데, 이 ‘문제의 기사’의 내용이 기도 차지 않는다. 영국이 희한한 연구 결과를 지속적으로 세계에 공급해 소재 빈곤으로 고생하는 언론사 국제부를 도와주는, 진정 창의력 넘치는 국가임은 부정할 수 없지만 이번에는 너무 나갔다.
매체는 초보적인 통계 사기 기법을 몇 가지 조합해 조악하기 이를 데 없는 ‘문제의 연구’를 다룬 「Purpose-led businesses ‘grow 28 times faster’」라는 기사를 썼고, 이 기사를 국내 호사가 몇이 좋아라 하며 SNS에 실어 날랐다. 독자 여러분의 시사영어와 기초 통계 감각을 시험해보실 겸 한 번씩 읽어보시기 바란다. 정 바쁜 독자를 위해 요약하자면 아래와 같다.
(기업) 이익과 (사회적) 목적은 서로 배타적이지 않음. 목적에 충실한 기업들은 이익만 추구하는 기업에 비해 28배나 빠르게 성장. 영국 내 비콥 인증기업은 인간과 환경에 긍정적인 영향을 미칠 뿐 아니라 성장률에서도 보통을 뛰어넘는 성과를 시현. 영국 비콥의 86%는 인증이 비즈니스에 도움이 된다고 느낌.
영국 비콥의 연간 평균성장률은 14%로 국가 경제성장률 0.5%의 28배를 달성. 선도적 FMCG 브랜드 비콥들은 2017년에 평균 21% 성장한 반면, 같은 분야에서 전국 평균은 3%에 불과.
2015년 영국에서 비콥 인증이 시작된 이래 150개 기업이 인증을 받아 세계적으로 2,400개 기업이 참여하고 있는 국제 공동체에 가입.
비콥 성장의 비결은 두 가지. 소비자의 목적지향적 수요가 늘고, 직원 역시 이익을 넘어서 목적에 충실한 조직을 원한다ㄱ는 것.
비콥은 소비자를 매혹. 소비자의 2/3는 사회에 긍정적 영향을 미치겠노라고 약속한 재화나 서비스를 더 소비할 의사가 있다고 밝히며, 영국 비콥의 1/3 이상은 인증을 받고 (고객으로부터) 새로운 관심을 받았다고 밝힘
비콥은 직원에게도 영향. 입사 희망자들은 합목적적으로 설립되고 사회변화에 적극적인 기업에 자신의 가치관을 일치시키려고 노력. 영국 비콥의 거의 절반 기업에서 입사 지원자들이 자사가 비콥이라는 것을 알고 끌렸다고 판단.
이것만 읽어봐도 ‘쌈마이’의 냄새가 물씬 풍긴다고? 기사 전반에 흐르는 삼류 저널리즘의 통계 오남용을 간단히 분석하면 아래와 같다.
거짓 통계에 속지 않는 법 1: 비교할 걸 비교하는가?
문제의 기사는 과감하게 영국 경제성장률과 비콥 인증기업의 성장률을 비교한다. 기업 성장률에는 매출인지 이익인지 구분도 없다. 그냥 성장률이란다. 경제성장률과 비교한 걸 생각해보면 아마도 매출이지 않나 싶다.
우리가 국가의 경제경제의 성장률이라고 하면 보통 GDP 성장률을 일컫는데 GDP는 기업에서 다루는 매출과는 확연히 다른 개념이다. 아래 삼면등가의 원칙 그림이 보여주는 것처럼 GDP는 국가 경제의 세 주체인 가계, 기업, 정부의 경제활동을 한꺼번에 표시하는 개념이기 때문이다. 그러니 전체적으로 한 국가의 경제 상황이 전반적으로 어떻다, 혹은 장기적으로 그 추이가 어떻다 하는 비교에는 쓸 수 있지만 다른 곳에 막 가져다 붙이면 안된다.
GDP가 기업활동에 중요한 영향을 미치는 것은 맞다. 하지만, 이 문제의 연구가 설명하는 것처럼 GDP 성장률이 곧 전체기업 성장률의 평균은 아니다. 비슷하지도 않다. 아니, 전혀 관계가 없다!
두 가지 성장률의 영향에서는 ‘추이’가 중요하기 때문에 정상적으로 통계를 활용할 때는 서로 다른 기준임을 밝힌다. 아래 그래프에서는 Y축 양쪽의 서로 다른 기준을 볼 수 있다.
당연히 다른 지표와의 비교에서도 마찬가지다. 기준이 다르니 둘 다 표시한다.
더욱 안전한 것은 비율 대 비율이 아니라 비율과 실제 숫자로 나눠 비교하는 것이다. 아래 그래프처럼 말이다. 헷갈릴 일이 없다.
GDP에 대한 전형적 오해는 1인당 GDP다. 우리나라가 최근 3만 달러를 넘어섰다고 하니까 이걸 4인 가족 기준으로 12만 달러로 계산해서 “아, 우리 집은 수입이 1억 3,000만 원이 되지 않으니 평균에도 한참 못 미치는 가난한 집이구나…” 하면서 자괴감에 시달리는 사람이 꽤 많다. 웃기는 일이다.
실제 조사 결과에 따르면 2015년 기준 우리나라 2인 이상 가구의 평균 가계소득은 월 440만 원, 연간으로 치면 5,200만 원 남짓이다. 1억 3,000만 원에는 절반에도 한참 미치지 못한다. 우리 집이 찢어지게 가난해서가 아니다. GDP가 원래 그런데 쓰라고 만든 지표가 아니고, 1인당 GDP 역시 그런 용도가 아니기 때문이다.
거짓 통계에 속지 않는 법 2: 왜 하필이면 그때인가?
문제의 연구는 GDP 추세에 대한 언급 없이 2017년 영국 경제성장률 0.5%를 콕 집어서 비교한다. 그래서 2017년이 어떤 해인지 검색해 봤다.
지난 70년 동안 영국 경제성장률 추세를 보자. 멀리 1970년대 오일쇼크나 2007년 리먼 브러더스 사태 등 세계적 폭락기를 제외하면 대략 2%에서 6% 사이를 유지하다 2000년대에 들어서는 4% 아래로 내려와 변동성이 줄면서 ‘차분하게’ 하향세를 보인다. 그 가운데 2017년은 가장 낮은 상태까지 와있다.
성장률은 이름 그대로 비율을 나타낸다. 그러니까 전년도 대비 금년도에 얼마나 성장했는지 보여주는 지표다. 선진국인 영국 경제성장률이 길게 봐서 하향세인 것은 어쩌면 당연한 것이니 하향 안정화라고 표현할 수도 있겠다.
영국에서 비콥인증이 2015년에야 시작되었다고 하니, 과거 자료는 비교 대상이 아니다. 하지만 2015~2017년 3개년 자료를 모두 사용했다면 어땠을까? 2015년과 2016년 모두 최소한 0.5%보다는 높은 수치였음이 틀림없으니 3년 치 통계를 사용했으면 (비록 비교 자체가 말이 안 되기는 해도) 비교 결과도 28배보다는 훨씬 작은 숫자였지 않았을까?
거짓 통계에 속지 않는 법 3: 통계치의 계산법이 보이는가?
문제의 연구는 기업성장률을 국가 경제성장률과 비교하는 것이 좀 켕겼던지 특정 산업 하나를 찍어서 비교를 했다. FMCG(Fast Moving Consumer Goods)는 식음료 등 유행에 민감하고 변화가 많은 업종이다. 이 업종에서 영국 평균 성장률은 3%이고 비콥은 21% 성장했다고 한다. 그럼 적어도 FMCG 업계에서는 비콥과 일반 기업의 성장률 차이가 28배가 아니라 7배라는 얘기네?
(역시 말이 안 되는 비교의 연장이지만) 이런 비교법을 다시 경제성장률에 적용하면, 문제의 기사를 쓴 기자가 ‘영국 FMCG 산업이 (그 외 모든 산업에 비해서) 6배 성장’이라는 기사를 낼 수도 있지 않을까 하는 걱정이 든다…
여기서 약간 의심스러운 표현이 또 등장하는데 3%나 21%가 FMCG 분야 전체가 아니라 FMCG로 분류되는 각(respective) 세부분야의 평균이란 설명이 그것이다. 그러니까 각 세부분야의 성장률이 제각각 다른데 이걸 ‘퉁쳐서’ 보니 3%, 21%가 되었다는 얘기 같다.
그렇다면 이것은 ‘비율의 평균’이라는 흔한 오류다. 비율끼리는 함부로 평균을 내면 안 된다. 이 점은 간단한 사례로 쉽게 이해할 수 있다. 어떤 학교에 우등반과 열등반이 있다. 1, 2학기 수학 성적을 변화를 보니 아래 표와 같다. 이 학교의 수학 성적 성장률은 얼마인가?
문제의 연구처럼 계산하면 우등반이 13% 올랐고 열등반이 75% 올랐으니 이 두 값을 평균해 43.3%((13+75)/2)라는 결과가 나온다. 이 글 줄거리를 따라오다 여기서 보면 이상해 보이지만 생각 없이 대하면 깜빡 속는다. 이런 사례는 생각보다 흔하게 발견할 수 있다.
실제로는 어떤가? 각 학기의 전체 평균을 낸 다음 그 평균의 성장률을 따져보면 33.3%다. 인사고과를 앞둔 어떤 수학 선생님의 고뇌가 느껴지는 듯하다. 그런데 이것도 사실이 아닐 수 있다. 이 결과는 우등반과 열등반 학생수가 같다는 전제하에 계산된 결과이기 때문이다. 만약 우등반이 10명이고 열등반이 30명이라면 학생 수를 고려한 가중평균의 성장률은 50%가 된다.
거꾸로 우등반이 30명이고 열등반이 10명이라면? 가중평균 점수는 21.4% 성장에 그친다.
이런 유치한 계산을 보이는 이유는 단순하다. 문제의 연구에서 어떤 세부분야를 선택했는지, 그 세부분야의 규모를 감안했는지 빼놓고서는 전체 분야가 얼마나 성장했는지를 단순 성장률만 가지고서는 말할 수 없다는 얘기다. 문제의 연구는 FMCG 세부산업별로 규모에 맞춰 가중평균을 냈을까?
알 수 없다. 다만, 앞에서 이미 28배 운운했기 때문에 여기서도 비율을 숫자 그대로 산술평균 냈으리라는 합리적 의심이 든다. 어쨌거나 통계를 만드는 사람의 의지만 있다면 3%와 21%의 차이가 아니라, 그 몇 배의 차이도 만들 수 있다는 점은 확실하다.
거짓 통계에 속지 않는 법 4: 표본 선택과 인과관계에 비약이 없는가?
FMCG 얘기를 좀 더 해보자. 어떤 산업이든 그 산업에 속한 일부 기업군이 21%나 되는 연간성장률을 보였다는 건, 변동성 높은 산업이라는 반증이다. 즉 산업 자체에 내재한 여러 요인에 따라 변화가 심한 산업에서 고속성장의 요인을 비콥 인증 하나로 설명하는 것은 지나친 비약이자 비과학의 극치다. 그럼 비콥의 성장률은?
문제의 기사 본문에 있듯이 150개의 영국 비콥에는 상당수 투자사와 스타트업이 포함되었다. 스타트업 특성상 창업 초기에 빠른 성장률을 보인다. 아무것도 없는 상태에서 시작하니 성장률이 고속일 수밖에 없다. 또 스타트업은 고속성장하는 기업도 있고 망하는 기업도 많다. 망해가는 스타트업이 비콥 인증 따위에 관심을 기울일 수 없을 테니 인증을 받은 스타트업은 성공한 스타트업일 확률이 무지하게 높다. 즉 ‘모 아니면 도’인 업계에서 ‘모’만 모아서 통계작업에 들어갔을 거란 얘기다.
문제의 연구는 이런 모집단이나 표본의 특성을 전혀 설명하지 않는다. 오로지 비콥인증 여부에 따라서 모든 것이 극명하게 갈린다는 주장뿐이다. 통계는 솔직한 숫자 그 자체로 사실 사이의 차이와 관계를 주장해야 하는데, 문제의 연구는 그러질 않는다. 도대체 정체를 알 수 없는(혹은 적극적으로 정체를 숨긴) 숫자를 희망 사항에 투사할 뿐이다.
거짓 통계에 속지 않는 법 5: 누가 통계를 작성했나?
사실, 통계의 신빙성 여부를 따질 때 가장 먼저 보는 것이 바로 통계작성자다. 누가 어떤 의도를 가지고 통계를 작성했느냐가 통계 결과에 반영되기 마련이니까. 사실 통계작성자의 의도와 다른 결과가 나온 조사도 있겠지만, 그런 경우에는 발표가 될 리 없으니까 결론적으로 통계작성자의 뜻과 다른 결과는 존재하지 않는 것이나 마찬가지다.
최근 불거진 시진핑의 장기집권 관련 보도를 보면 중국 시민들이 그걸 지지한다는 여론조사 결과를 근거로 든다. 그리고 중국에는 통계 관련해서 이런 명언이 있다.
간부는 데이터를 만들고, 데이터는 간부를 만든다.
통계에 속지 말라는 책은 계속 출간된다. 최근 『통계의 함정』이라는 책을 읽었는데 독일 아저씨들이 써서 그런지 엄청 직설적이고 꼼꼼하다. 그 책 뒤표지에 이런 말이 있다.
그럼 문제의 이 연구는 누가 했는가? 바로 비콥 인증을 만들고 내주는 B랩이라는 곳이다! 자기가 만든 인증제도를 스스로 극찬하는 보고서를 썼다는 얘기다. 이 얘기를 앞에 쓰면 독자 여러분이 여기까지 이 글을 읽을 리 없기 때문에 마지막에 꺼낸다. B랩의 이런 행태는 연말에 광고비 받고 소비자만족도 어쩌고 하는 상을 광고주에게 남발하는 한국 언론의 행태보다 더 비난받아 마땅하다.
신문사는 영리기업이고, B랩은 비영리기관이라 괜찮은가? 나는 비영리기관이라서 더 비난받아야 한다고 생각한다. 남들이 더 믿을만한 기관이려니 하면서 주는 신뢰를 악용하는 비영리기관은 더 이상 비영리기관이 아니다. 비영리라는 간판이 남을 속여도 된다는 면허는 아니니까 말이다.
도대체 모르겠다, 왜 비콥이 되려 할까?
B랩은 “이 연구는 비콥이 재무적 성공을 성취할 수 있다는 최초의 계량적 증거”라고 밝혔다. 안타깝지만 이건 증거가 아니다. ‘확증편향’일 뿐이다(확증편향의 또 다른 사례는 「사회공헌활동을 잘하면 정말 매출이 오를까?」에 실려 있다). 그렇게 믿고 싶은 마음은 십분 이해가 가지만 그렇다고 이렇게 왜곡된 발표를 해서는 안 된다.
양심적으로 말해서, 이 문제의 연구가 비과학적임을 연구자 스스로는 인식하지 못했을까? 앞서 지적한 내용은 진지한 연구자라면 절대 실수로 범하지 않을 매우 기초적인 수준이다. 그럼 일부러? 그렇다면 꼭 이렇게까지 해가면서 약장수처럼 비콥 마크를 팔아야 하는 이유라도 있는지 묻고 싶다.
또 비콥 브랜드가 인증기업에 주는 영향 말고 사회에 주는 영향은 왜 측정하지 않는지도 궁금하다. 이것은 B랩의 고객이 사회가 아니라 기업일 뿐이라는 의구심을 자아낸다. 사실 B랩은 인증기준을 정하고 그 기준에 맞는 기업에게 인증을 발급하는 일 이외에 달리 하는 일이 없어 보인다. 문제의 기사는 영국 B랩의 임원의 말로 마무리된다.
중요한 변화가 진행됨을 부정하기 어렵다. 오늘날 역동적 기업 대부분은 주주나 이해관계자를 포함해 자사의 성공에 기여하는 모든 사람에게 혜택을 돌리려 운영된다. 그래서 기업은 직원과 사회, 환경에 보다 폭넓은 영향을 주어야 할 책임을 진다.
그리고 한 마디 더한다.
이것이 비즈니스의 미래다.
동의한다. 비즈니스는 분명 그러한 방향으로 움직인다. 그런데 거기서 비콥의 인증은 무슨 역할을 하나? 인증 발급에 수수료를 받고, 인증기업의 홍보를 하고, 더 많은 인증신청을 받기 위해 왜곡된 연구 결과를 발표하는 것 말고 말이다.
원문: 개발마케팅연구소
