“나쁜 과학”을 찾아내는 개략적인 가이드

영국의 화학자들과 과학교사들이 협동하여 화학 분야에 재미있는 인포그래픽을 제공하고 있는 Compund Interest라는 곳에서 “나쁜 과학(Bad Science)”을 찾아내는 가이드라인 개정판을 퍼블리싱했습니다. 과학자들이 아니라도 일반인들이 과학기사 등을 읽을 때 참고하기 좋은 자료라서 번역하여 공유합니다.

“나쁜 과학”을 찾아내는 개략적인 가이드
(A Rough Guide to Spotting “Bad Science”)

1. 자극적인 헤드라인 sensationalised headlines

과학기사의 헤드라인은 주로 독자로 하여금 클릭하거나 그 기사을 읽게 디자인되어 있다. 가장 좋은 경우는 연구결과를 과도하게 단순화하는 것이고, 가장 나쁜 경우는 선정적으로 만들거나 오독하여 쓰는 것이다.

2. 오도된 결과 misinterpreted results

뉴스 기사는 때때로 – 의도적이건 아니건 – 그럴듯한 이야기를 만들기 위해 연구결과를 오독하거나 왜곡한다. 가능하다면 단순정보를 위해 기초한 기사보다는 원래 논문 등을 읽어볼 것을 권한다.

3. 이익충돌 conflict of intersts

많은 기업들이 연구를 하거나 연구결과를 발표하기 위해서 과학자들을 고용한다. 물론 이렇게 기업이 과학자를 고용하는 것 자체가 연구를 무효화하는 데 충분조건은 아니지만, 이런 경우가 있음을 염두에 두고 연구내용을 분석해보아야 할 것이다. 연구결과 역시 사적인 이해관계로 인해 오도될 수 있다.

4. 상관관계와 인과관계 correlation & causation

상관관계와 인과관계 사이의 혼동을 주의해야 한다. 두 변수에 대한 상관관계가 자동적으로 하나의 변수가 다른 변수의 원인임을 의미하는 것이 아니다. 지구온난화는 19세기부터 시작되었으며, 해적들의 수 역시 19세기부터 감소했지만 해적들의 감소가 지구온난화를 가져온 것은 아니다. (역주 : 예시가 웃기긴 하지만 실제로 가장 많이 혼동하는 부분이다.)

5. 추측성 언어 speculative language

연구에 의한 추측은 그저 ‘추측’을 뿐이다. 어떤 연구의 결론에 대한 증거가 불확실한 것처럼 보인다면 그 기사나 논문에서 ‘~일지도(may)’, ‘~할 수도(could)’, ‘~였을 지도(might)’와 같은 단어들을 찾아보라.

6. 너무 적은 표본 Sample size too small

표본량이 적을 수록 그 표본에서 도출된 결과의 확실성이 떨어지게 된다. 비록 어떤 경우에는 적은 표본량이 불가피할 수 있지만 대체로 이러한 성향이 있음을 유념하고 결론을 도출해야 한다. 표본을 많이 확보할 수 있음에도 그렇게 하지 않은 경우에는 의심을 불러 일으킬 수 있다.

7. 대표성이 없는 표본 Un representative samples

인간을 대상으로 하는 시험에서 연구자들은 인구집단을 대표할 수 있는 개인을 선택하려고 한다. 만약 표본으로 선택된 개인이 인구집단을 대표할 수 없다면 결론 역시 다르게 나올 것이다.

8. 대조군이 없는 경우 No control group used

임상시험에서 피험자로부터 나온 결과는 반드시 시험 약물 등을 복용하지 않은 대조군과 비교되어야 한다. 또한 대조군은 무작위로 할당되어야 하며, 일반적인 실험에서 대조시험은 모든 변수가 통제되는 환경에서 시행되어야 한다.

9. 맹검이 시행되지 않은 경우 No Blind Testing used

편향을 방지하기 위해, 피험자들은 자신이 실험대상인지 대조군인지에 대해서 알아서는 안된다. 이중맹검(double-blind test)의 경우에는 실험자들 역시 시험이 끝날 때까지 어떤 피험자가 실험군인지 대조군인지에 대해서는 모르게 된다. 주의할 것은 맹검이 어떤 경우에나 가능한 것은 아니며, 항상 윤리적인 것도 아니라는 것이다.

10. ‘체리피킹’과 같은 결과 ‘Cherry-picked’ results

‘체리피킹’과 같은 결과란 실험에서 데이터를 선별할 때 연구결과를 지지하는 것을 주로 택하는 반명 그렇지 않은 것들은 데이터에서 제외하는 경우를 뜻한다. 모든 경우가 그렇지는 않지만 만일 실험결과에 의해 선별된데이터로 논문의 결론이 나왔다면 이런 결론은 ‘체리피킹’일 수 있다.

11. 재현불가능한 결과 Unreplicable results

연구결과는 독립된 다른 연구에서도 재현이 되야 하며, 결과를 일반화하기 위해서는 가능한 다양한 조건에서도 시험되어야 한다. 특이한 주장일수록 특이한 증거들을 요구하기 때문에 더 많은 독립연구가 필요한 것이다.

12. 학술지와 인용 Journals & citations

주요 학술지를 통해 발표된 연구들은 검토과정을 밟았겠지만 그럼에도 결함이 있을 수 있다. 따라서 주요 학술지의 내용이라고 해도 결함이 있을 수 있음을 항상 생각하며 평가해야 한다. 이와 비슷한게, 인용한 수가 많다고 해서 그 연구가 반드시 높은 평가를 받는 것은 아니다.