과학 연구에서 재현은 진리를 찾기 위한 최선의 방법일까?

머프슨(R. Allan Munson)은 의사에게 받은 경고 편지를 기억한다. 그들은 혈액에서 산소를 운반하는 헤모글로빈의 수치를 증가시켜 암 환자 치료에 도움을 주는 약을 테스트 중이었다.

그 약은 동물 실험과 초기 임상 시험을 통해 방사선과 화학적 치료로 야기되는 빈혈증에 대응하기 위해 등장한 Epo라고 알려진 약이었다. Epo는 에리스로포이에틴(erythropoietin, 적혈구 생성 촉진 인자)에 관한 약으로 수혈이 필요한 환자에게 도움을 준다. 연구자들은 또한 Epo가 방사선 종양(radiation’s tumor)에 대한 살상력을 높일 수 있다는 증거도 가지고 있었다.

그러나 임상 시험에서 많은 암 환자에게 Epo나 에리스로포이에틴 자극 인자라 불리는 관련 약을 투여하기 시작했을 때, 사망률이 증가하는 것 같았다. 이 사태를 걱정한 의사들은 초기 연구 중 일부를 중단했다.

같은 시간, 연구소의 연구자들은 Epo가 종양에 대항하기보다는 양분을 제공할 수 있다는 증거를 수집했다. 다른 과학자들, 특히 그 약을 생산하는 회사에 소속된 연구자들은 원 연구결과(original findings)를 반복 검증(replicate)하려 했지만, 할 수 없었다.

과학자들은 Epo가 암 환자들에 좋은지 나쁜지 아닌지를 결정해야 했지만, 7년이 지난 후에도 그들은 문제에 답할 수 없었다. Epo문제는 연구를 반복 검증하기가 더 어렵다고 여겨지는 두 분야인 생명과학과 사회과학에서 더 심각한 문제로 강조되어 논쟁하고 있다. 반복 검증은 과학의 주춧돌이지만 너무 많은 연구가 검증에 실패하고 있다.

“과학계는 이 문제가 점점 커지고 있다고 인식하고 있습니다.”

미국국립보건원의 부원장 테 벅(Lawrence Tabak) 은 말한다. 지난해 초 NIH는 재현 문제로 시달리는 연구자들의 불평을 접하고 앞으로의 실행계획을 발표했다.  

전례없는 연구 자금의 압박은 더 많은 논문을 발표하도록 과학자들을 극단적으로 밀어붙이고 있다. 이러한 압박은 적절한 점검 없이 혹은 진행이 완료되지 않은 연구를 발표하도록 연구자들을 이끌 것이다. 동시에, 저널은 출판된 논문에서 연구 방법을 기술하는 부분을 조금씩 줄여나갔다. 과학자들은 저널에서 읽은 것이 진실인지조차 확실하지 않다. 

많은 사람이 반복 검증 문제를 해결하기 위한 하나의 해결책으로 재현을 중점적으로 연구하는 독립적인 연구소를 갖추는 것을 말한다. 이를 통해 어디서, 왜 잘못되었는지 밝힐 수 있다. 지식으로 무장된 검증자들(replicators)은 출판된 논문의 신뢰성을 향상시킬 수 있다고 생각한다. 

반면, 쓸모없는 도전이라고 여기는 이들은 이것이 어렵거나 불가능한 일이라고 말한다. 특히 사람, 동물, 세포와 같이 매우 가변적인 대상으로 진행한 연구라면 이를 정확히 일치하게 반복(redo)하는 것은 불가능하다고 생각한다. 비판자들은 출판된 연구의 반복은 시간과 돈을 낭비하고, 지식의 진보에는 아무것도 기여 하는 것이 없다고 말한다. 그들은 다른 여러 방법으로 질문에 접근하는 것을 더 선호한다. 그것은 특별한 실험의 정확한 반복(replication)이 아닌 일반적 패턴과 기본 원리를 통한 발견의 재현성(reproducibility)이다. 

누구든지 반복 검증이 불가능한 근본 원인에 관한 의견을 가지고 있고, 많은 이들이 해결책을 제안하고 있는 것으로 보인다. 그러나 무엇이 잘못되었는지, 혹은 제안한 해결책 중 무엇을 선택할지 완전히 아는 이는 없다. 

논란의 대부분이 과학적 연구에 사용되고 있는 통계적 분석에 집중되어 있고, 주로 실수가 일어나는 지점이 수학이라는 데는 이견이 없다. 과학적 연구의 통계적 취약점을 살핀 영향력 있는 2005년 논문은 지난 10년에 걸쳐 의학계 내에서 많은 자기 반성을 불러 일으켰다. 그런데도 반복 검증 문제는 여전히 존재한다. 특히 매우 복잡한 분석이 적용되는 빅데이터 연구에선 더 해결하기 어려운 깊은 문제로 남아있다.  


편을 들다

Epo 연구자들은 원 연구결과와 그들의 연구결과에서의 불일치 점을 찾지 못했지만, 그들의 경험은 최근 여러 논란에 대한 장을 마련하였다. 

Cancer Immunology and Hematology Etiology Branch의 국립암연구소의 소장 머프슨(Mufson)은 2007년에 학교, 정부, 제약 회사의 과학자, 임상의 및 환자들이 Epo의 조사결과를 토론하는 이틀 간의 워크샵을 조직하였다. 

이 워크샵에서 연구 결과의 차이를 만든 불일치 지점은 학술 연구자들(academic scientist)과 회사 소속 연구자들(pharmaceutical researchers) 사이에서 빠르게 나타났다고 사우스 캘리포니아 대학교의 종양학자 버넷(Charles Bennett)이 말했다. 

버넷은 2005년에 에리스로포이에틴이 암환자 사이에서 생존 가능성을 향상시키고 수혈의 필요성을 감소시킨다는 연구결과를 발표했던 팀의 일원이었다. 그러나 그는 이 워크샵에선 매우 다른 데이터로 무장하고 회의에 참석하였다. 그와 동료들은 암환자의 현기증을 치료하는데 사용하는 에리스로포이에틴과 다베포에틴(darbepoetin)이 혈액 응고 위험을 57% 증가시키고, 사망률을 약 10% 증가시켰음을 발견하였다. 다른 연구자들은 가슴이나 머리 및 목에 암을 가진 사람에게 Epo를 투약하면 다른 암환자보다 더 일찍 죽는다는 것을 발견하였다. 

이들은 종양 세포가 다른 세포보다 더 많은 Epo 수용체를 만든다는 분자 메커니즘을 들어 Epo가 환자에게 해롭다고 주장했다. 더 많은 수용체는 Epo가 암세포의 성장을 자극한다는 것을 뜻하며, 이 결과는 왜 환자들이 사망하는지를 설명할 수 있다. 

Epo를 만든 암젠(Amgen)사의 과학자들은 학술 연구자들이 발표한 결과를 반복 검증할 수 없다고 반박했다. 이틀 간의 회의 동안 해당 연구의 데이터를 다룬 연구자들에게서 들은 후 베넷은 왜 그들 사이에 충돌이 있는지 알 수 있었다. 회사 소속 연구자와 학술적 연구자들은 종양의 성장으로 여겨지는 것이 무엇인지, 혹은 종양 세포에서 Epo 수용체를 감지하기 위한 정확한 툴에 대해서 조차 의견 일치가 이루어지지 않았다고 베넷은 말했다. 그러한 단절은 다른 이의 연구 결과를 확인할 수도 없고, 결과를 완전히 무시할 수도 없다는 것을 뜻한다. 회의는 미래의 연구를 위한 방향과 관심으로 끝을 맺었지만 합의를 이룬 것은 거의 없었다. 

“나는 반복 검증 문제가 흑과 백처럼 명확하다고 생각해 왔습니다. 하지만 지금 나는 그 문제가 명확하지 않고 모두가 옳을 수 있다는 것에 크게 우려하고 있습니다.” 베넷은 말한다. 

거기서부터 갈등의 압력은 증가하였다. 2012년에 암젠은 전임상(preclinical: 사람을 대상으로 임상 시험 전 동물을 대상으로 실험하는 단계) 암 연구에 관한 53개의 기념비적 논문 중 단 6개 만을 독자적으로 확인할 수 있었다는 결과로 학계에 충격을 던졌다. 반복 검증 결과는 제약회사가 약의 추가적 개발에 투자하기 전에 가장 먼저 행하는 첫 단계 중 하나다. 암젠은 어떻게 반복 검증 실험을 실행했는지, 또는 반복 검증을 시도한 연구 조차 밝히지 않았다. 베넷은 논란의 Epo 실험이 그러한 결과에 색을 칠했다고 의심했다.

암젠의 폭로는 제약회사 바이어(Bayer)로부터 비슷한 논문을 연이어 이끌었다. 2011년에 바이어의 세 연구자들은 증상이 나타나기 전의 암, 심혈관 및 여성 건강 연구에 관한 논문 중 약 20~ 25% 만이 완벽하게 반복 검증을 할 수 있었다고 Nature Reviews Drug Discovery에 발표하였다. 암젠과 같이, 바이엘도 반복 검증을 시도한 연구를 밝히지 않았다. 그러나 이러한 모순은 많은 회사들이 원 논문(original reports)을 입증하기 위해 더 많은 자원을 쏟거나 프로젝트를 취소해야 한다는 뜻일 수 있다. 

과학자들은 현재 스탠포드 대학교 전염병학자 이오안니디스(John Ioannidis)의 유명한 2005년 에세이 때문에 일찍부터 이런 문제를 우려하고 있었다. 이오안니디스는 모든 연구 결과가 실패라고 주장하는데 통계적 주장(statistical arguments)을 사용하였다. 잘못된 통계학을 이용한 결과는 사실이 아닌 걸 사실이라고 가르킬 때가 많다. 이런 거짓된 긍정적 결과는 흔히 반복 검증을 하지 않는다. 

학술 과학자들은 다른 이들의 결과를 반복 검증하는데 있어 제약 회사보다 더 어려운 현실에 놓여 있다. 휴스턴에 위치한 MD 앤더슨 암 센터(MD Anderson Cancer Center) 연구자들은 그들의 동료를 대상으로 자신이 발표한 논문에서 반복 검증의 어려움이 있는지 여부를 조사하였다. 연구팀은 2013년 플로스 원에 발표한 논문에서 434명의 응답자 중 절반보다 많은 54.6퍼센트가 그렇다고 대답했다고 밝혔다. 이들 중 3분의 1 정도 만이 불일치를 정정할 수 있거나 왜 다른 결과를 갖게 됐는지에 대해 설명할 수 있었다. 

“이런 류의 연구는 일련의 충격과 두려움입니다.”라고 플로리다 마이애미 대학교 생물학자이자 연구 결과를 독립적으로 입증하려 시도하는 network of labs에서  Science Exchange에 관한 최고경영자인 이오른스(Elizabeth Iorns)는 말했다. 

장기적으로 과학은 스스로 수정해 가는 과정이며 저절로 해결될 것이라고 테벅과 NIH의 수장 프랜시스 콜린스(Francis Collins)는 지난 1월 네이쳐에 기고했다. 

“그러나 단기적으로 과학적 정확도를 보장했던 검증과 균형은 제약을 받아왔다. 이것은 다른 이의 결과를 복제(reproduce)하기 위해 오늘날의 연구자들의 능력을 타협해왔다”고 테벅과 콜린스는 언급했다. 복제에 실패하는 수많은 이유에는 과학 문화에 기반한 것들이 대다수다. 이 문제를 해결하기 위해서는 실제 무엇이 잘못됐는지에 관한 더 복잡한 이해를 요구한다고 이오안니디스와 다른 이들은 주장한다. 


두 가지 관점

연구자들은 연구를 정확히 되풀이하는 것이 필요한지 혹은 기본적인 원리만을 검증하는 것이 필요한지 여부에 대해서 의견일치조차 하지 못한다고 보스턴 다나-파버 암 연구소(Dana-Farber Cancer Institute)의 통계학자 파르미지아니(Giovanni Parmigiani)는 말한다. 과학자들은 다른 누군가의 결과를 확인하는데 두 가지 관점을 가지고 있다. 즉, 반복 검증(replication)과 재현성(reproducibility)이다. 반복 검증의 관점은 연구자들에게 동일한 결과가 도출하는 것을 확인하기 위해 최종 분석을 통해 제시된 데이터로부터 연구의 모든 과정을 추적하도록 한다. 만약 연구가 사실이고 옳다면 반복 검증의 결과 또한 동일할 것이다. 

또다른 관점인 재현성은 어떤 현상이 해당 실험의 정확한 상태(conditions) 하에서 일어나는지 여부를 증명하는 것만이 완벽한 반복이라고 주장한다. 재현성의 관점에선 다른 방법이나 인간, 동물 집단을 사용한 교차 연구를 통해 동일한 결과를 획득하는 것은 생물학적으로 의미가 있으며, 더 신뢰할 수 있는 측정이라고 가르치고 있다.  

샤로츠빌 버지니아 대학교의 사회심리학자 티모시 윌슨(Timothy Wilson)은 재현성을 지지한다. 그는 연구가 원 결과(original findings)에서 확장하는 것, 그것은 아마도 근본 원리에 관해 더 많은 것을 배우기 위해 변수를 수정하는 것을 선호한다. “무언가를 발견하려고 노력하세요. 이것은 과학이 앞으로 나아가는 방법입니다. 이 방법은 느리고 지저분하지만 효과가 있습니다.”

그러나 이오른스와 버지니아 대학교에서 윌슨의 동료 중 한명이며 심리학자인 노섹(Brian Nosek)은 정확한 반복이 옳은 방향으로 연구를 움직일 수 있다고 생각하는 사람에 속한다. 

2013년 노섹과 그의 이전 제자 스피즈(Jeffrey Spies)는 “과학 연구의 재현성과 진실성, 개방성 향상을 위한” 고상한 목표를 갖고 ‘열린 과학을 위한 센터(Center for Open Science)’를 공동설립하였다. 그들의 접근법은 두 부분이다. 더 쉽고 개방적인 자료 공유가 가능하도록 과학자들을 위한 사회기반시설을 제공하는 것과 과학의 다양한 학문에서 연구 재현을 위한 연구 프로젝트를 시행하는 것이다. 

곧, 노섹과 이오른의 ‘Science Exchange’는 2010년부터 2012년 사이에 발표한 가장 중요한 암 연구 중 50개를 선정해 반복 검증을 위한 팀을 꾸렸다. 2014년 12월 10일, ‘연구재현 프로젝트: 암 생물학’은 세 개 그룹이 이전 연구들에서 핵심적인 실험을 재현하려는 자신들의 목적을  eLife 저널에 발표하고, 그것을 어떻게 실행할지에 대한 계획을 공유하며 시작되었다.  

이오른, 노섹 그리고 그들의 동료들은 그러한 노력이 과학자들에게 해당 연구의 신뢰도에 대한 더 나은 아이디어를 제공하기를 희망했다. 연구자들은 만약 반복 검증 노력이 실패한다면 그 이유를 알기 원했다. 

그러나 일부 작은 기술적 문제들은 근본적인 생물학적 기저를 조사하는 데 지장을 주진 않지만, 연구 결과의 성공적 반복검증을 방해한다. 혹은 연구자들이 헛다리를 짚은 것일 수도 있다. 실제로 해답의 대부분은 그 중간 어디쯤에 있을 것이다.  

신경과학 연구자들은 일찍부터 치료가능성을 담고있는 연구에 대해 반복 검증의 가치를 깨달았다. 2003년, 미국 국립신경질환뇌졸중연구소(National Institute of Neuro-logical Disorders and Stroke)는 도움이 필요한 환자들에게 희망을 보여주는 일부 중요한 척수부상 연구를 재연하기 위해 연구실들과 계약했다. UCI 의대(University of California, Irvine School of Medicine)의 신경과학자 스튜워드(Oswald Steward)는 계약한 연구실 중 한 곳의 장이다. 


파르미니지아니는 진실로 향하는 두 길 모두 중요하다고 말한다. 어쨌든 연구자들은 결코 완벽하게 옳은 과학을 얻지 못할 거라고 그는 언급한다. “ 우리는 항상 완벽한 진실과 완벽한 실패 사이의 회색 지대에 있습니다.” 라고 말한다. 최고의 연구자는 진리의 날끝에 더 가까이 접근할 수 있다.  

스튜워드와 동료들이 반복하려고 했던 12개의 연구 중 단 한 개 만을 완벽하게 반복검증할 수 있었다. 그리고 그 논문의 저자들이 부상에 가까운 신경 변성(nerve degeneration)과 출혈을 제한하기 위한 약의 능력을 증명한 후에야 그러한 부상을 발생하는 정확한 메커니즘을 확신하게 되었다. Experimental Neurology에 발표한 2012년 논문에 따르면 연구의 절반은 전혀 반복 검증을 할 수 없었고, 나머지는 부분적으로 반복검증되거나 원본 연구보다 덜 견고하거나 엇갈린(mixed) 결과를 낳았다. 

특히, 연구자들은 왜 이전 연구들이 반복 검증에 실패했는지에 관해 설명할 수 있는 11가지 이유를 들었다. 오직 하나 만이 원 연구가 틀린 것이었다. 스튜워드와 그의 동료는 원 연구의 정확한 반복 검증은 불가능하다고 말한다. 


공격적 행동

암 연구를 살펴보기 전에, 노섹은 큰 협력 연구 프로젝트의 일환으로 자신의 분야를 조사했다. 지난 4월 발표한 ‘사회심리학(Social Psychology)’의 특별호에서 그와 다른 연구자들은 26개의 심리적 현상을 시험한 연구에서 15개의 반복 검증 결과를 발표했다. 시험한 26개의 원 관찰(original observations) 중에서 단지 10개 만을 반복 검증할 수 있었다. 그것은 나머지 연구가 반복 검증에 완전히 실패했다는 것을 뜻하진 않는다; 반복 검증한 다수의 연구는 원 연구와 비슷하거나 뒤섞인 결과를 얻긴 했지만, 통계적 시험을 통과하지 못했기 때문에 성공으로서 평가할 수 없었다. 

쉬넬(Simone Schnall)은 다른 연구자들이 반복 검증을 할 수 없다고 지적했던 연구 중 하나를 시행하였다. 캠브리지 대학교의 사회심리학자인 쉬넬은 어떻게 감정이 판단에 영향을 끼치는지를 연구하고 있다. 

그녀는 더럽고 불쾌한 책상에 앉게 만들거나 그들에게 단지 혐오스러울뿐 아니라 역겨운 영화 장면을 보여주면, 그들의 도덕적 판단을 더 엄하게 만들수 있다는 것을 발견했다.  2008년에, 쉬넬과 동료들은 역겨움의 상반된 면인 청결을 시험하였고, 손을 씻는 행위는 사람들의 도덕적 판단을 덜 엄격하게 만든다는 것을 발견했다. 

쉬넬의 2008년 연구 결과에 대한 반복 검증을 시도했던 연구자 중 한 명인 도넬란(M. Brent Donnellan)은 그의 그룹에서 쉬넬의 초기 결과를 반복하기 위한 두 번의 시도가 성공적이지 못했음을 논문을 발표 전에 블로그에 언급했다. “우리는 최선을 다했고, 나의 10살 짜리 딸이 말하는 것처럼 대실패(epic fail)와 거의 마주하게 되었습니다.” 라고 썼다. 쉬넬과 다른 이들은 그 발언이 전문가답지 못하다고 항의하고 그 연구가 반복 검증에 실패한 몇 가지 가능한 이유를 지적했다. 이에 텍사스 주 칼리지 스테이션(College Station)에 위치한 텍사스 A&M 대학교(Texas A&M University)의 심리학자 도넬란은 경솔한 발언에 대해 사과했다. 

그녀를 지키기 위해 다른 이들이 나서는 동안, 쉬넬에 대한 도넬란의 비판은 일부 연구자들로부터 부정적인 발언의 돌풍을 불러일으켰다. 가장 목소리가 큰 그녀의 옹호자는 검증자들(replicators)을 “불량배들”, “이류들(second-stringers)”과 다른 나쁜 말로 그들을 호칭했다. 도넬란의 연구는 그녀의 명성을 손상시켰다. 그리고 자금 지원을 결정하는 이가 그녀의 연구들이 반복 검증에 실패했다는 것을 들었을 때 그녀가  무언가 나쁜 일을 했다고 의심할 수 있다. 이는 연구 자금을 얻기 위한 그녀의 능력에 영향을 끼쳤다고 쉬넬은 말했다. 

“어떤 이유에서건 반복 검증의 실패는 원 연구결과 보다 더 유익한 정보로 여겨집니다.”라고 윌슨은 말한다. 쉬넬의 경우에서, “우리가 생각하기로 그것은 검증자들 쪽에서의 대실패였습니다.”

과학계는 연구의 반복 검증이 어렵다는 것을 깨달을 필요가 있다고 이오안니디스는 말한다. “사람들은 부끄러워할 필요가 없습니다.”라고 그는 말한다. 그를 포함한 모든 유전학자들은 틀렸다고 밝혀진 질병의 유전적 이유를 발견하기 위한 연구 취지로 논문을 발표한다고 그는 말한다. 

이오른은 누구든 낙인을 찍어선는 안된다고 말한다. “우리가 그들을 감시하거나 등 뒤에 있다고 느끼게 해서는 안됩니다.” 그녀는 과학과 과학자들의 질적 향상을 목표로 하고 있다.  연구자들은 일관된 반복검증 결과를 만들어낸 것에 대한 보상을 받아야만 한다고 그녀는 말한다. “최종적으로 그것이 과학자들이 평가되는 주된 기준이 되어야만 합니다. 이보다 무엇이 더 중요할 수 있겠습니까?


변화무쌍한 스프

반복 검증에 대한 많은 논의들은 검증에 실패한 연구를 출판하는데 기여한 사회적, 문화적 요소에 집중되어 있지만, 누구도 반복 검증을 실패로 이끄는 메커니즘을 실제로 논의하지는 않고 있다고 듈베고빅(Benjamin Djulbegovic)은 말한다. 그는 템파베이 사우스 플로리다 대학교의 임상 연구원이다. 그와 그리고 오랜 시간 협력했던 호조( Iztok Hozo)는 여러해 동안 그 질문을 고민했었다고 듈베고빅은 말한다. 호조는 게리에 위치한 인디아나 대학교 노스웨스트 캠퍼스의 수학자다. 

그들은 작은 행동이 훗날 중요한 영향을 끼칠 수 있다는, 카오스 이론을 설명하는 “나비효과”에 영향을 받았다. 고전적인 예는 브라질에서 나비가 날개짓을 하면 텍사스에서 토네이도가 일어난다는 것을 든다. 듈베고빅은 모든 생물학과 심리학 연구에서 또한 그러한 혼돈이 있다는 것을 생각해냈다. 

그와 호조는 반복 검증 연구에서 일부 원 상태(original condition)의 변화는 연구 결과에 나비 효과를 가져올 수 있다고 Acta Informatica Medica저널 6월에 발표했다. 두 연구자는 환자를 어떻게 치료할지에 대한 의사의 판단에 영향을 끼치는 12가지 요소에 관한 단순한 예를 들었다. 결정을 내리는 이에게 시간적 압박의 유무나 문화적 요인(존재하는지 혹은 중요하지 않은지)과 같은 대부분의 원인들은 가능한 두 가지  시작점을 가진다. 의사의 개인적 특성- 나이( 늙었는지 젊었는지), 성(여성인지 남성인지)-은 네가지와 결합할 수 있고 성격은 다섯 개의 유형 차를 가진다. 이것을 모두 합치면, 초기 연구 상태는 20,480개 경우의 수로 조합하여 나타낼 수 있다. 

여기에는 실험이 실행된 장소, 연구 참가자에게 영향을 끼치는 상태 (그들은 피곤한가? 그들은 최근 연인가 다투었거나 과음했는가?), 혹은 진단 검사 결과에 영향을 끼칠 수 있는 생물학적 샘플의 취급과 같은 가변성은 포함조차 하지 않았다. 연구자들도 좋은 날과 나쁜 날이 있다.  “당신은 아침에 사람을 인터뷰할 테지만, 누구도 당신이 지난 밤 숙면을 취했는지, 혹은 연구를 위해 얼마나 오랫동안 운전을 하고 왔는지 통제하지 않습니다.”라고 듈베고빅은 말한다. 이렇게 눈에 보이지 않는 가변성은 그날의 의학적 결정에 매우 많은 영향을 끼칠 수 있기 때문에 연구 결과에 영향을 미친다.  

듈비고빅과 호조는 컴퓨터 시뮬레이션에서 일부 초기 상태를 달리하였다. 만약 원 연구와 반복 검증 연구 사이에 초기 상태 수치 차이가 2.5 이하라면, 그 결과는 일관성이 매우 높거나 반복 검증이 가능하다. 그러나 네 가지 초기 요건에서 3.5의 변화값은 매우 작은 변화임에도 실험을 반복 검증이 불가능한 상태로 만들수 있음을 가르킨다.

자신들의 연구는 엄격한 수학적 증명이 아니라고 듈비고빅은 말한다. “우리는 단지 글로 쓰여진 일련의 생각을 제시했을 뿐입니다.”


균형 잡기

반복 검증의 실패는 과학자들에게 일부 가치있는 통찰을 제공할 수 있다고 스튜워드는 말한다. “우리는 많은 결과물이 ‘번역의 제분소( translational grist mill)’를 통해서 검증할 수 없다는 것을 인식할 필요가 있습니다.” 다시 말해, 특정한 상태 하에서 재현성은 있지만, 다른 연구실에서는 사람이 노력 만으로는 완벽히 일치하는 조건을 준비할 수 없다.

“반복 검증할 수 없는 상태는 많은 경우가 생물학적 조건이며, 그것은 불안정한 요소입니다. 만약 그것이 불안정하다면 그것은 반복 검증이 가능한 상태로 변환할 수 없습니다.” 라고 스튜어드는 말한다.”

물론 이것이 최초의 연구결과를 부정하는 것은 아니라고 그는 말한다. “변환 가능한 결과가 무엇인지에 대한 우리의 기대는 바뀌고 있습니다.”

반복 검증을 지지하는 노섹은 과학자들에겐 실수에 관한 여지가 필요하다고 시인한다. 절대적인 반복 검증의 요구는 연구자들에게 진보를 향한 아주 작은 발전을 만들어 낼 기회조차 박탈할 수 있다고 그는 말한다. 과학은 성공을 위해선 미친 아이디어와 주의깊은 연구 둘 모두가 필요하다. 

“당신의 터무니없는 시도가 실패해도 괜찮습니다.” 노섹은 말한다. 결국에는, “아인슈타인은 많은 일에서 틀렸습니다. 뉴턴, 토마스 에디슨. 그들 역시 많은 실패를 했습니다.” 그러나 또한 과학은  과감한 대담성만으로 살아남을 수 없다. “우리는 혁신과 검증의 균형이 필요합니다.”라고 노섹은 말한다.

균형을 달성하기 위한 최고의 방법은 누구도 알지 못한다. 2014년 1월 논문에서 콜린스와 테벅은 새내기 과학자를 대상으로 연구에 적합한 방법을 가르치기 위한 훈련모듈을 포함하여 연구 계획서를 검토하는 위원회의 기준과 데이터 공유의 강조하는 NIH의 계획을 검토했다. 그러나 기금지원 기관은 개인의 힘만으로 변화시킬 수 없다. 

11월에, 행동을 요구하는 NIH에 응답하여 30개 이상의 주요 저널은 임상 전 연구 결과를 발표하기 위한 일련의 가이드라인 채택을 공표했다. 가이드라인은 더 철저한 통계적 분석, 연구가 어떻게 행하여 졌는지에 대한 자세한 보고와 요청하면 얼마든지 모든 데이터들을 이용할 수 있게 만들도록 강력한 권고를 포함한다.  

이오안니디스는 10월 PLOS Medicine에 자신의 제안을 제시했다. “우리는 과학을 수행하는 방법에 관한 더 나은 과학이 필요합니다.”라고 말한다. 그는 연구에 관한 연구를 실행하고, 그것을 향상하는 방법을 이해하기 위한 스탠포드 대학교의 Meta-Research Innovation Center 발족을 도왔다. 

10년 후 그는 잘못된 연구에 관한 자신의 주장을 출판했다. 이오안니디스는 변화를 보았다. “우리는 더 나아지고 있습니다. 그러나 이런 우리의 도전들은 지난 10년 보다 한층 더 커지고 있습니다.”

그래도 그는 전체적으로 과학의 신뢰도에 대해 안심하길 주저한다. “만약 내가 반복 검증할 수 없는 결과를 55~65퍼센트라고 말한다면, 그것은 과학적 결과의 일부 유형이 진실일 가능성이 99퍼센트라는 사실에 대해 정당하게 평가할 수 없습니다.”

과학은 돌이킬 수 없을 정도로 망가지지 않는다고 그는 주장한다. 단지 약간의 향상이 필요하다. 

“약간은 우울한 제목의 논문을 발표했다는 사실에도 불구하고, 나는 실제 낙관론자입니다.” 이오안니디스는 말한다. “나는 사회 혁신이 과학보다 더 나은 곳을 찾을 수 없었습니다.” <끝>


* Tina Hesman Saey. “Is redoing scientific research the best way to find truth?” ScienceNew, JANUARY 13, 2015.를 번역한 것입니다.



조회 0회댓글 0개

최근 게시물

전체 보기

©2020 by 명랑문화공작소. Proudly created with Wix.com