요즘 논문, 특히 ‘중추신경’ 계와 비슷한 약자를 지닌 논문을 보면 단백질 구조에서부터 세포실험, 동물실험까지 온갖 잡다한 데이터가 들어가며 참으로 대단한 주장들을 한다. 그래야 그런 저널에서 실어주니까 당연한 것이다.
논문을 보면 주 데이터 이외에도 수십장의 보조데이터가 난무하여 과연 이 논문을 완성하기 위해서는 얼마나 많은 사람의 시간과 노력이 들었는지가 궁금해지지 않을 수 없다. 반면 그렇게 한 논문에 나오는 데이터와 그 주장은 점점 거창해지는데, 어째 논문의 재현이 잘 되지 않는다 어쩌고 하는 이야기는 자주 들린다. 왜 그런가?
여기에 대해서 몇 년 전에 래스커상을 탄 H모대학의 윌리엄 G. 캘린 주니어(William G Kaelin Jr.)라는 양반이 한소리를 하시는 칼럼 「Publish Houses of Brick, not mansions of straw」을 N모 잡지에 실었다. 이런 추세를 이끌어가는 대표 중의 대표인 N모잡지가 웬 셀프디스냐고 하겠지만… 암튼 한번 읽어보시라. 언제나 그렇듯이 본인은 전문번역가가 아니므로 오류가 있을 수 있으며 대충 생략하고 번역한 것이 있을 수 있으므로 마음에 안 들면 원문 보삼
지푸라기로 된 저택 대신 벽돌로 지은 집과 같은 논문을 내자
나는 최근 의생명과학 연구가 점점 어설퍼지는 것을 염려하고 있다. 논문으로 나오는 결과 중 너무나 많은 결과가 아주 한정된 조건에서만 사실이며 어떤 경우에는 전혀 재현이 안 되기도 한다. 이런 문제의 이유는 아주 다양하나 내가 생각하기에 가장 큰 요인은 여태까지 잘 언급이 되지 않고 있다.
천천히 따뜻해지는 냄비 속에서 그대로 뛰쳐나가지 못하고 삶아지는 개구리처럼 오늘날의 의생명과학 연구자들은 지난 수십 년간 개별 논문 하나에서 데이터와 주장하는 논점이 점점 늘어나는 시스템에 갇혀 있다. 더욱이 논문의 목표가 특정한 주장을 입증하는 것에서부터 가능한 넓은(임팩트가 큰!) 주장을 하는 것으로 변하고 있다. 따라서 오늘날의 논문은 벽돌로 지은 단단한 집보다는 짚으로 지은 웅장한 맨션처럼 변하고 있는 셈이다.
내가 그레그 세먼자(Gregg Semenza), 피터 래트클리프(Peter Ratcliffe)와 같이 쓰고 2016년 래스커상을 받게 해준 논문들은 약 20년 전에 출판되었다. 요즘 이 논문들은 별로 신빙성이 없고 너무나 예비 수준의 데이터라고 까여서 논문으로 나가기도 힘들 것이다.
첫 번째 논문, 즉 암 억제 단백질이 산소 시그널링에 필요하다고 주장한 논문은 정확한 메커니즘을 제시 못 했고 동물실험이 없다고 비판받을 것이다(O. Iliopoulos et al. Proc. Natl Acad. Sci. USA 93,10595–10599; 1996). 단백질의 주 표적이 산소의존적 변형을 일으킨다는 다른 논문은 우리가 이 작용을 행하는 효소를 발견하지 못했기 때문에 거의 리젝트될 뻔했다(M. Ivan et al. Science 292, 464–468; 2001).
다행스럽게도 경험 많은 에디터가 개입해 ‘이 논문이 출판되면 다른 연구그룹에 의해서 해당하는 효소의 탐색로를 열게 될 것’이라고 주장해서 겨우 논문이 나가게 됐다. 아마 이런 행운은 요즘은 별로 없을 것이다.
왜 요즘 논문들에는 ‘과다한 주장’ 이 들어가게 될까?
- 한 가지 요인은 연구비를 주는 기관이 해당 연구의 영향력과 이것이 어떻게 의학적인 응용에 쓰일 수 있을지에 중점을 두기 때문이다.
- 또 하나의 요인이라면 기술적인 진보 때문에 온라인 서플먼트로 들어갈 수 있는 데이터를 쉽게 만들 수 있기 때문이다.
이 두 가지 요인 때문에 리뷰어와 에디터는 논문 리뷰과정에서 논문의 주요 결론과 관련 있는 파생 실험이나 논문의 임팩트를 증가시킬 추가 실험을 흔히 요청하게 된다. 그리고 논문을 일단 리젝트하고 추가 실험을 해 오라고 리뷰하는 것보다는 논문을 게재 승인하는 게 좀 더 용기가 필요하기 때문이다. 특히 어떤 결과를 가져오면 논문을 게재 승인해주겠다고 하는 관행이 이런 상황을 만들었다.
내가 두려워하는 것은 요즘처럼 연구비 사정이 빡빡할 때일수록 리뷰어들이 리뷰 과정에서 더 많은 추가 실험을 요구한다는 것이다. 추가 실험을 요구해서 라이벌의 발목을 붙잡고 우리가 빨리 논문을 내는 것은 리뷰어의 기본소양 음핫핫
옛날에는 Figure 1에 흥미로운 관찰 결과를 싣고 다음에는 이것이 얼마나 확실한지를 입증하는 여러 가지 실험 데이터를 제시하는 식으로 논문을 썼다. 내가 포닥할 때 쓴 논문의 경우 전체 페이퍼는 두 개의 단백질이 서로 결합해 있고, 실제 세포에서 이 결합이 이루어진다는 것을 보여주는 결과로 구성하면 되었다.
그러나 요즘에는 이렇게 어떤 단백질이 결합한다는 주장은 Figure 1에 포함된 한두 개의 패널 정도가 되어버릴 것이다(잘못하면 Supplemental Figure 1이 되어버릴 수도 있다). 논문의 나머지 부분은 다양한 분야의 테크닉을 이용해서 이 주장을 강화시키고, 이 결과가 임상적으로 의미가 있다는 결과로 절정을 이루게 될 것이다.
그러나 유감스럽게도 요즘 논문의 그 넓은 폭은 깊이를 손상시키곤 한다. 모든 개별적인 연구 방법에는 각각 함정과 한계가 있기에 여러 가지의 입증된 증거 자료를 실험 데이터부터 추론하는 것이 필수적이다. 그러나 요즘 분위기는 하나의 주요한 주장을 여러 방식으로 증명하는 논문이 아니라 각각 하나의 증거밖에 없는 여러 가지 주장을 하는 논문, 아니 소설이 되어가는 듯하다. 즉 요즘 나오는 논문의 제일 마지막 장에 나오는 결론 부분은 너무나 먼 곳에 있는 것처럼 느껴진다.
그리고 한 논문에서 하는 너무 폭이 넓은 주장은 피어리뷰 시스템의 한계를 노출시킨다. 비록 나는 논문 리뷰에 매우 숙련된 고참급 리뷰어지만 요즘 논문에서 데이터양이 증가함에 따라서 이것을 완전히 이해하는데 어려움을 겪고, 종종 내가 전문가가 아니라서 해석하기 힘든 논문 데이터를 만나게 된다. 만약 이런 추세가 계속된다면 논문 한번 리뷰하려고 ‘미니 안식년’을 내야 할지도 모른다.
운이 좋다면 논문 에디터가 그런 폭넓은 주장을 담은 논문을 리뷰할, 서로 보완되는 전공을 가진 리뷰어를 섭외할 수도 있다. 그러나 결국 이것은 하나의 연구를 속속들이 조사하기 위해서 여러 명의 전문가가 수고와 노력을 기울이는 낭비를 야기하는 셈이다. 그리고 내가 우려하는 경향은 리뷰어가 보통 그닥 자세히 들여다보지 않은 보조 자료에 좀 약한 데이터를 숨겨 넣는 경우도 있다는 것이다. 뜨끔
이렇게 논문의 데이터양이 증가함으로써 야기되는 의도치 않은 결과는 결국 이런 ‘걸작 논문’을 내야지만 졸업하고 자리를 잡을 수 있다는 것 때문에 논문 출판을 통해서 새로운 지식이 전파될 때까지 걸리는 시간이 늘어나고, 박사 과정이나 포닥 트레이닝 과정이 길어진다는 것이다. 완전히 답하지 못한 의문이나 확실히 설명되지 못한 결과는 대개 논문에서 약점으로 지적되고 논문 출판을 지연시킨다. 이렇게 됨으로써 결국 연구 윤리에 악영향을 끼치는 경향이 있다. 즉 논문에서 데이터를 취사선택해서 불완전하거나 일관성이 없거나 설명되지 않는 결과를 빼버리는 나쁜 행동을 부추길 수 있다.
우리는 논문이 자체의 한계를 인정하고 확실히 설명할 수 없는 결과를 보여줄 때 과학을 강화시킨다는 것을 알아야 한다. 무지야말로 임상적인 응용을 가로막는 진정한 병목 지점이다. 우리는 기초과학자, 특히 학생이나 포닥에게 그들의 결과의 가치가 임상적인 응용 가능성에 있다고 이야기하는 것을 멈춰야 한다. 우리는 연구논문의 독창성, 실험디자인, 데이터의 질에 대해서 좀 더 자세히 검사해야 하고 그 영향을 예측하는 데 좀 더 겸손해야 한다.
결국 이런 것은 시간이 지나봐야 아는 일이다. 제한효소나 효모의 세포주기 돌면이체나 CRISPR-Cas9 같이 획기적인 발견은 처음에는 다 자연에 존재하는 그저 이상한 것들로만 여겨졌다. 우리는 연구의 질에 좀 더 중점을 두고 이것이 어떤 후속 발견을 가능케 하느냐에 신경 써야 하고, 대신 논문을 어떤 저널에 내야 하는지에는 좀 덜 신경 써야 하겠다.
즉 논문을 리뷰할 때 던져야 할 가장 중요한 질문은 ‘논문의 결론이 진짜로 사실일 것 같은가’이지, 만약 ‘논문의 결론이 사실이라면 얼마나 그게 중요할까’가 아니다. 실제의 과학 발전은 벽돌로 지어지며 지푸라기로 지어지지 않는다.
