브릭에 테드 창의 SF 작품집을 소개한 적 있었지요. 오늘 가져온 책은 <사이언스 픽션>입니다. 똑같은 SF지만 SF 소설은 아니고, 과학의 탈을 뒤집어쓴 픽션에 대한 논픽션입니다. 스튜어트 리치의 <사이언스 픽션>은 연구 부정의 다양한 양상과 부정을 부추기는 학계를 폭로합니다.
 

표지 출처 알라딘 (www.aladin.co.kr)

연구자가 읽으면 재미있을 책입니다. 책은 우리가 연구를 하며 느껴온 걱정과 위기감을 글로 드러내기 때문입니다. 우리는 때때로 자신의 실험이 유사과학은 아닌지 불안해하고, 어느 때는 논문 거리도 안 되는 연구가 학술지에 버젓이 게재된 것을 보고 허탈해하기도 합니다. 그럼에도 연구를 포기하지 않았다면 과학의 진보와 학계의 자정을 믿기 때문입니다. 나쁘게 말하면 학계에 물들며 그것들을 문제라고 인식하지 않게 되었을 수도 있겠고요. <사이언스 픽션>은 연구 부정과 관행 사이의 줄타기에 익숙해진 연구자들에게 자신이 무엇을 하고 있는지 직시하라고 일침 합니다.

이야기를 시작하기 앞서, 저자는 과학 가져야 할 가치로 사회학자 로버트 머튼이 제시한 ‘머튼 규범’을 소개합니다. 과학자의 명성이나 배경과 무관하게 방법이 옳으면 똑같이 옳은 지식이라는 ‘보편주의’, 명성이나 금전적 이득이 과학에 개입해서는 안 된다는 ‘사심 없음’, 지식은 공유되어야 한다는 ‘공동체성’, 세상에 신성불가침은 없다는 ‘조직적 회의주의’가 그것입니다. 

학계는 머튼 규범을 지키고 있을까요? 저자는 연구를 H-index나 피인용 수 같은 지표로 평가할 때, 지표는 본래 기능을 잃어버렸다고 말합니다. 과학자들은 주목받기 위해 재현성을 포기하고 두드러지는 결과에 치중해 논문을 내고, 논문의 수를 늘리기 위해 하나의 연구를 여러 논문으로 쪼개기도 합니다. 선의로 이루어지는 동료 평가는 잘못된 연구를 걸러내지 못합니다. 가짜 연구가 학계에 공유되고 인용됩니다. 그 결과 전 세계 시민의 세금이었을 연구비도 날아갔을뿐더러 수많은 환자가 희생당했습니다. 

어느 학계든 너무 많은 논문을 내고, 그중 과반이 재현되지 않습니다. 심리학자인 저자는 심리학계의 병폐를 많이 말하는데, 100개의 고전 사회 심리학 실험 중 40%도 재현되지 않았다는 연구는 유명합니다1. 생물학과 의학 연구도 강조합니다. 바이오 분야는 연구비 규모도 큰 데다가, 환자와 실험동물의 생명이 달려있기 때문입니다. 생명과학 연구의 재현성은 심리학 못지않게 참담합니다. 책의 예시를 하나만 빌리면, 글로벌 제약회사 암젠이 학계의 전임상 연구 53건을 회사 실험실에서 재현하지만 재현된 연구는 6건에 불과했습니다2. 이외에도 다양한 분야의 재현 연구 사례를 열거하지만, 성공한 사례는 믿기 어려울 만큼 적습니다. 재현성이 아니라 반복성조차 없는 연구가 만연합니다. 통계 상의 오류로 raw data를 돌리면 다른 값이 나온 논문이 많습니다. 결괏값조차 틀린 논문이 학계에 버젓이 올라오고, 동료 학자들은 틀린 논문을 참고하며 다음 연구를 시작하는 것입니다. 

또 다른 폐단은 연구 편향과 p값 해킹입니다. p값 해킹은 p값을 억지로 유의하게 만드는 모든 행위를 의미합니다. p가 0.05보다 작아질 때까지 n수를 추가하거나, 연구자 임의로 아웃라이어를 제외하는 경우, 여러 가지 통계를 다 돌려보고서 p<0.05로 나오는 결과만 발표하는 경우 등입니다. ‘결과적으로 유의미한 결과가 나왔으니 발표해도 되는 것 아니냐’고 생각할지도 모르겠습니다. 그러나 모두가 같은 생각을 하며 유의하지 않은 결과는 ‘서랍 속에 넣어 두고’, 작은 결과를 부풀려 논문을 출판한 결과, 온 세상 연구는 실재하는 현상보다 차이가 큰 방향으로 왜곡되고 있습니다. 

이들 병폐는 소수의 사기꾼이 악한 마음을 품고 학계에 파고들어 만든 결과가 아닙니다. 연구자는 연구비에 허덕이는데, 돈줄인 대학과 연구재단은 눈에 보이는 결과를 원합니다. 세상에 도움이 되고 싶다는 순수한 마음조차 사이언스 픽션을 만듭니다. 누구든 자신의 가설이 맞기를 예상하고 찾아낸 치료제가 효과가 있기를 바라기 때문입니다. 그렇기에 저자는 과학자는 회의주의적 시각을 가져야 한다고 말하면서도, 사이언스 픽션을 줄이기 위해서는 학계가 변해야 한다고 역설합니다.

책을 읽고 저자의 문제 제기가 현실과 맞지 않다고 느낄 수도 있겠습니다. 과학 사기꾼과 학계 내부에 얽힌 부조리는 차치하고서라도, 재현 연구나 ‘유의미한 결과가 없는’ 연구에 관심을 갖는 사람들은 진짜로 없으니까요. 아무리 메서드를 잘 쓴 논문이라도 그것만으로 실험을 재현하는 건 불가능할 것 같습니다. 논문에 ‘교신’ 저자가 존재하고, 만리타국 연구실까지 파견을 나가 실험을 배워오는 데는 이유가 있습니다. 그럼에도 ‘과학을 사랑하는 이들이 모여 과학의 객관성을 허무는 현실’은 실재합니다. 이 책을 통해 그러한 사실을 자각하는 것만으로 여러분의 연구가 조금 바뀔 수도 있다고 생각합니다. 

어떻게 하면 사이언스 픽션이 사라질까요? 저자도 완벽한 해결책을 제시하지는 못합니다. 저자는 학술지가 완전히 새로운 연구뿐 아니라 기존 결과를 재현(하지 못)한 연구도 게재해야 한다고 주장합니다. 실험 설계 단계에서 논문 게재 자격을 얻지만, 어떤 결과가 나든 논문을 공개해야 하는 ‘연구 사전 등록 제도’도 소개합니다. 두 가지 방안 다 좋은 이야기지만, 지금 상황에서 얼마나 실현될지는 잘 모르겠습니다. 

좀 더 현실적인 대안은 오픈 사이언스를 지향하고 biorxiv 같은 사전 출판 사이트를 이용하는 것입니다. 오픈 사이언스는 실험의 raw data부터 동료평가 의견까지 연구와 관련한 내용을 빠짐없이 공개하는 것입니다. 이를 통해 연구부정을 줄이고 편향에 대한 피드백을 받을 수 있습니다. 사전 출판 사이트는 소수의 학술지 기업이 독점하는 동료 평가 대신 열린 평가 창구를 제공합니다. 그럼에도 누가 시간을 들여 오픈 사이언스의 raw data를 검토하냐는 문제와, 기존의 학술지 시스템 대신 사전 출판 사이트가 주류가 된다면, 아카이브에 올라오는 연구가 너무 많아 걸러내기 어렵다는 한계는 생길 것 같습니다. 
 

오픈 사이언스는 과학적 지식과 그것을 밝히는 과정을 공개하자는 운동입니다. 유네스코 오픈사이언스 추천장 2021 인용

그리하여 이야기는 원점으로 돌아갑니다. 과학은 진보하며, 우리는 스스로 객관성을 유지하고 회의할 수 있다는 믿음을 가져야 합니다. 저자는 연구 편향의 사례로 후보 유전자 실험과 그것을 뒤집어버린 전장 유전체 분석으로 예를 듭니다. 연구자들이 자기 실험의 유의한 결과만 공개한 결과 특정 질병과 강하게 연관된 단일 후보 유전자를 여럿 추려냈지만, 수년 후 전장 유전체를 분석할 수 있게 되자 질병과 직접적인 연관이 있는 단일 유전자는 거의 없었다는 이야기입니다.

저는 이 사례를 수많은 사이언스 픽션에도 불구하고 과학이 진보한다는 예시로 삼고 싶습니다. 후보 유전자 연구가 없었다면, 인류는 전장 유전체를 분석해야 한다는 필요조차 느끼지 못했을 것이기 때문입니다. 그렇기에 연구에 매진하시는 여러분께서 수많은 픽션에 눌려 연구를 포기하는 일 없이, 회의적 시각을 유지하며 연구를 이어가기를 바랍니다. ‘우리 모두 현실주의자가 되자. 그러나 가슴속에는 불가능한 꿈을 꾸자’는 체 게바라의 말이 학계의 여러분에게 닿으면 좋겠습니다.

각주 및 참고문헌

1. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), DOI: 10.1126/science.aac4716

2. Begley, C., Ellis, L. (2012). Raise standards for preclinical cancer research. Nature 483, 531–533. DOI: 10.1038/483531a

3. https://www.unesco.org/en/articles/unesco-launches-global-call-best-practices-open-science

작성자: 이지아
* 본 서평은 "BRIC Bio통신원의 연재"에 올려진 내용을 "이 책 봤니?"에서도 소개하기 위해 동일한 내용으로 올렸습니다.

 

#사이언스픽션

 

#스튜어트리치