※ 과학자 역시 인간이기에 자신이 가진 선입견과 편견을 버리기는 힘듭니다. 혹시 우리는 유명한 과학자, 저명한 저널, 유명한 연구기관, 노벨상 등이 주는 권위에 취해 과학 그 자체를 제대로 보지 못하는 것은 아닐까요?
이런 문제에 관해 최근 N모 잡지에 캘리포니아대학교 데이비스캠퍼스의 심리학과 교수 사이민 바지르(Simine Vazire)가 기고한 글 ‘Our obsession with eminence warps research’을 번역해보았습니다.
역시 맨날 하는 이야기지만 무허가 번역이므로 언제라도 삭제될 수 있고, 비전문 번역가이기에 날림 번역 및 오역이 있을 수 있음을 미리 공지합니다.
우리는 우사인 볼트가 2등보다 얼마나 빠른지 기록으로 정확히 측정할 수 있다. 그러나 과학자의 경우 누가 최고의 과학자인지를 말하는 것은 어려우며, 최고 과학자가 최고에서 2번째 과학자보다 얼마나 더 뛰어난가 말하는 것은 더더욱 힘들다. 이러한 최고의 과학자라는 인식을 결정하는 것은 적어도 일부분은 심판에 의한 자의적인 결정이다.
긍정적으로 생각한다면 모든 노이즈에도 우수한 과학자를 판별하는 확실한 신호는 존재한다고 생각한다. 이러한 신호를 근거로 우리는 좀 더 나은 연구를 하는 사람의 연구 결과를 출판하고, 연구비를 주고, 이런 사람을 고용한다. 저널의 에디터, 피어리뷰어, 그리고 연구비의 리뷰어로써 다른 동료 과학자들의 연구 중 좀 더 나은 것을 찾아내는데 매우 긴 시간을 보낸다. 만약 내 선택이 동전 던지기 식의 무작위적 프로세스라면 기운 빠지는 일일 것이다.
한편 부정적으로 보면 나는 우리 과학자들이 훌륭한 과학자를 식별하는 우리 자신의 능력에 대해서 너무 과신하는 것이 아닐까 염려하기도 한다. 우리는 너무나 자주, 연구비를 많이 가지고 있고, 상을 많이 타고, 논문이 많고, 인용빈도가 높은 과학자가 다른 과학자들에 비해서 더 뛰어난 과학자라고 가정하곤 한다. 저명성, 즉 특정한 업적이나 지위, 상 등에 의해서 생기는 권위가 실제보다 너무 많이 비중을 차지하게 된다.
물론 나는 지금 대개의 저명한 과학자가 자기 전공 분야에서 매우 뛰어난 사람들이라는 것을 부인하려고 하는 것이 아니다. 그러나 수만 명의 다른 과학자들은 세상에 잘 알려지지 않았다는 것 역시 중요하다. 과학이라는 것은 어려우면서도 중요한 것이므로 과학을 잘하는 사람들이 누군지 아는 것은 매우 중요하다. 그러나 동시에 선택된 몇 명의 유명 과학자만 부각되는 것은 정당화될 수 없으며 과학 자체를 손상시킬 수 있다.
저명성이 정당화되려면 얼마나 뛰어난 과학을 하는지 그 수월성에 대한 평가가 정확해야 한다. 이 과학의 수월성이라는 것 자체가 쉽게 판별하기가 어렵다. 가끔은 어떤 논문 원고를 저널에 실어주어야 하는지, 어떤 연구비 프로포절에 돈을 주어야 하는지, 어떤 교수 임용후보자를 실제로 임용해야 하는지 사람들의 의견이 갈릴 때가 있다.
저널 에디터로 일한 경험을 미루어 보자면, 한번은 다른 모든 리뷰어들이 그닥 새롭지 않다고 생각해서 출판할 가치가 없다고 생각했던 논문이 하나 있었다. 내가 보기에는 과학적으로 말이 된다고 생각해서 그냥 에디터 직권으로 출판을 허가했다. 놀랍게도 이 논문은 저널에 실린 다른 어떤 논문보다도 훨씬 관심을 받았고, 이 연구결과는 수십 개의 뉴스 기사로 소개되었으며, 6개월 안에 수천 번 다운로드되었다.
사실을 말하자면 형편없는 연구를 건실한 연구와 구분하는 것은 건실한 연구 중 최고의 연구 5%를 그다음 5%와 구분하는 것보다 훨씬 쉬운 일이다. 논문이 게재되느냐 아니냐는 ‘최고의 연구 5%’와 ‘그다음 5%’ 사이에서 갈라지는 것이 보통이다. 이런 어려움을 고려하면 논문 게재승인, 채용 같은 중요한 결정은 단순히 연구의 질만으로 결정되지는 않는다. 그렇다면 이러한 결정에 영향을 주는 것들은 무엇일까? 과학자 역시 인간이며, 당연히 그들은 편향에 취약하다. 가장 강력한 것은 지위에 따른 편향이다.
특정한 연구 성과의 평가는 적어도 일부는 그 사람이 이전에 받았던 평가에 영향을 받는다. 이전에 좋은 논문을 냈던 기록이 있는 사람들의 논문은 그렇지 않은 사람들의 논문에 비해서 쉽게 어셉트된다. ‘부자가 더 부자가 되는’ 현상, 혹은 ‘매튜 효과’ 와 비슷하다. 로버트 머튼이 거의 50년 전에 논했던 이야기이다(R. Merton Science 159, 56–63; 1968). 결국 저명성 자체가 저명성을 낳게 되면 시스템의 노이즈는 증폭된다. 즉 가장 큰 성공을 하는 데에는 어느 정도 운이 기여하며 운 자체가 또 다른 운을 낳는다.
설사 지위에 대한 편향이 없더라도 다른 개인적인 편향이 결정에 영향을 미친다. 여러 후보자 중 하나를 선택할 객관적인 기준이 없는 경우 사람들은 자연스럽게 주관적 선호에 의존한다. 가령 신규 교수임용 위원회는 특정한 연구 토픽, 특정한 그룹의 사람, 혹은 특정인을 의식적, 무의식적으로 선호할 수도 있다. 이런 식으로 이전의 성취가 미래의 성취의 확률을 높이며 결과적으로 이는 불평등을 심화시킨다.
논문이나 연구 프로포절을 심사할 때 엘리트 과학자를 선호하는 것은 마치 우사인 볼트가 최근 다섯 대회에서 우승했으니 다음 대회에서 10m 앞에서 뛰게 하자는 것과 마찬가지다. 저명성에 의존하는 평가는 과학자들이 자신을 잘 포장하고 좋은 결과만 내놓게 만드는 경향이 있으며, 과학 연구의 투명성과 건전한 비판을 저해한다. 이러한 경향은 결국 연구 재현성 문제를 악화시키는 주요인이다.
그렇다면 해결책은 없는가? 하루아침에 과학에서 권위를 없앨 수는 없다. 불완전한 해결책이라면 저명성에 대한 판단은 주관적이라는 것을 인정하는 것이다. 여기서부터 시작하여 좀 더 어려운 쪽으로 나가야 한다. 즉 소속된 대학의 명성이나 이전의 논문 업적 등과 같은 휴리스틱을 떠나서 논문이나 프로포절 자체를 잘 읽고 검토하여 이것이 좋은지 아닌지를 판단해야 한다.
지위 편향을 피하는 한 가지 방법이라면 스스로 저자의 신원이 누군지 보지 않고 평가를 하는 것이다. 소위 ‘이중 맹검 리뷰(Double Blind Review)’는 현재 사회학, 심리학 분야의 많은 저널에서 채용하고 있다. 이러한 이중 맹검 리뷰를 체험해 본 이후에 느낀 것은 내가 그동안 연구를 판단할 때 저자가 누구냐는 점을 일종의 지름길로 사용하고 있었다는 것이다. 저자의 신원 정보 없이 연구를 평가하는 것은 정신적으로 매우 스트레스받는 일이다. 잘못하면 대가의 연구에 혹독한 평가를 할 수도 있다.
그러나 내 생각에는 이것이 과학을 평가하는 가장 좋은 방법이다. 과학 커뮤니티는 건실한 연구에 보상을 주는 동시에 누가 최고 중의 최고 과학자인지 추측을 삼가는 것이 좋다. 실제로 어떤 과학자들은 상위 20% 정도의 연구 계획서를 고른 다음, 실제로 누구한테 연구비를 주는지는 추첨으로 결정하길 제안하기도 했다(F. C. Fang and A. Casadevall Science352, 158; 2016).
지위 편향을 완전히 없애는 것은 아마 불가능할지도 모른다. 그러나 적어도 모든 사람이 시도해볼 가치는 있다. 즉 과학자의 저명성에는 지금보다 덜 관심을 가지고 이보다 관심이 떨어지는, 그러나 중요한 ‘과학적 엄밀성’에 좀 더 관심을 기울일 때이다.
