죽지 않는 논문(The Zombie Literature)



연구자는 데이터를 조작했다고 의심받고, 조사가 시작되고, 논문은 저널에서 철회되고, 문제있는 과학자가 처벌된다. 이런 유감스러운 이야기가 요즘 너무 흔해지고 있다. 부정 행위와 그에 따른 논문 철회 사례가 과학계에서 재현성 문제의 증가로 대두되지만, 실제로 결함있는 연구는 상대적으로 적다. 부정확한 결과를 보고했던 대부분의 출판물은 불순물이 섞인 세포의 배양, 결함이 있는 항체에 의존 혹은 오염된 DNA 분석 같은 부정행위의 결과가 아닌 일종의 정직한 실수로 볼 수 있다. 그러나 과학문헌에서 오류가 있는 많은 논문들이 계속해서 증가하고 있으며, 수정되지 않고 있다.

“나는 그러한 것이 연구부정과 실수 사이의 연속 선상에 놓여있는 문제라고 생각합니다. 사람들은 연구부정이 아니라면 너무 쉽게 넘기는 것 같습니다.” 컬럼비아 대학교의 통계학자이자 과학 문헌에서 재현성 문제와 철회에 관한 블로그를 운영하는 앤드루 겔먼(Andrew Gelman)은 말한다.

이러한 “좀비 논문(학술 출판 감시자 레오니드 슈나이더가 만든 신조어를 다른 용도로 사용해서)”을 형편없는 시약과 구식 방법론의 유물로써 그 연구 분야에 관한 역사적인 기록의 역할이라는 온건한 시선으로 봐야 할까? 아니면 충분히 걱정스러운 일로 의도적으로 위조한 논문과 동일하게 과학 문헌 자체에서 끝까지 추적해 도려내야 할까?

많은 연구자가 후자를 주장한다. 특히 인용지수가 높은 결함 있는 논문은 잘못된 방법과 결과를 지속시키고, 성과없는 방향으로 노력과 자금을 낭비하게 하며, 불안정한 개념적 기반 위에 이론을 세우게 한다. 이렇게 좀비 논문은 더 많은 좀비 출판물을 증가시킬 수 있으며, 그 피해는 전염되어 증폭, 확산할 수 있다.

“이건 큰 문제이며, 널리 퍼지고 있습니다.” 브라이언 노섹(Brian Nosek)은 말한다. 그는 버지니아 대학의 심리학자이자 오픈 사이언스 센터의 공동 설립자/이사이다. 문제가 얼마나 심각한지는 아직 불분명하지만, 겔먼은 그런 결함 있는 출판물들이 좋은 것을 압도할 것으로 추정하고 있다. “나는 매년 저널들과 논문의 절반 이상이 본질적으로 치명적인 오류를 가지고 있다고 추측합니다.” 그는 말한다.

그리고 그런 좀비 무리의 증가율은 여전히 많은 과학 논문을 대량생산하는 여러 저널에서 계속 높아져만 갈 것이다. 노섹과 겔먼은 수세기 동안 본질적으로 변하지 않은 전통적인 과학 출판을 비판한다. 그들을 비롯한 다른 이들은 과학 출판 과정을 현대화할 시기라고 말한다. 지난 몇 년 동안, 연구자들은 과학 문헌에 주석을 달고, 수정을 하고, 표시를 하는 새로운 검증 방안과 메커니즘을 시행하기 시작했다. 몇몇 이들은 미래에는 연구자와 출판사가 서로 대화하고, 거기서 발생하는 업무 방식을 근본적으로 바꿀 수 있기를 희망한다.

“분명 이러한 이슈에 관한 사람들의 생각은 진화하고 있습니다.” 노섹은 말한다. “그리고 이러한 증거가 단순히 특정 시대의 생각에 관한 단편적인 기록이기보다는 계속해서 쌓이고 있는 것에 대한 반응이라면 출판사는 그에 따른 역할을 해야 할 것입니다.”


죽지 않는 ‘미라 논문’

1980년대 초, 스웨덴 웁살라 대학교에서 박사 과정 학생이었던 스반테 파보(Svante Paabo)는 아데노 바이러스가 어떻게 인간조직적합항원(human histocompatibility antigen)을 차단하고, 그래서 숙주의 면역 시스템으로부터 자신을 감추는지를 연구하고 있었다. 현재 독일 라이프치히에 있는 막스 플랑크 진화 인류학 연구소장인 파보는 젊었던 그 당시 조용히 다른 프로젝트도 진행하고 있었다. “나는 의대에 가기 전에 이집트학을 공부하였습니다. 그래서 박물관에 수천 수백 개의 미라가 있다는 것을 알고 있었습니다.” 그는 말한다. “나는 DNA가 미라에 보존될 수 있다면 그것을 찾아보려고 생각했습니다.” 파보는 23개의 미라로부터 DNA 샘플을 채취해 사용 가능한 유전 물질이 있는지 샅샅이 뒤졌고 몇 개의 샘플에서 일부를 발견하였다. 그는 핵의 정확한 위치를 알기 위해 미라의 세포를 염색했고, 샘플 중 2,400년 전에 죽은 아이의 미라로부터 플라스미드 벡터(plasmid vector)1)를 이용해 DNA를 복제했다. 1985년 네이처에 파보는 수천 년의 역사적 유물에서 DNA를 추출해 시퀸싱했다고 보고했다.

그 논문은 현재 뜨거운 분야인 고대 DNA 연구의 시작을 도왔다. 파보는 그 분야의 선구자로 알려지게 되었고, 그는 멸종한 매머드와 네안데르탈인을 비롯해 오래전에 죽은 다양한 유기체에서 고대 DNA를 추출하였다. 그러나 한가지 문제가 있었다. 파보가 시퀸싱한 미라 DNA는 미라에서 추출한 것이 전혀 아니었다. 파보 거의 10년이 지난 후에야 1986년 즈음부터 폭넓게 사용된 더 새로운 PCR 증폭법을 사용하여 그가 추출한 유전 물질이 실제론 현대 인류의 것이었음을 스스로 알아냈다. 그것은 아마도 그가 하던 또 다른 연구인 항체 연구에서 유입된 것 같았다. “돌이켜보면, 복제한 그 DNA는 확실히 오염되어 있었습니다.” 파보는 말한다.

1994년, 파보는 그의 원본 미라 데이터를 재검토하고 오류를 깨달은 후에 그와 그의 동료는 고대 매머드 DNA 시퀀싱(오염을 확실히 방지하는 방법을 사용한)을 서술한 네이처 논문에서 그 실수를 짧게 인정했다. 우리는 “그러한 것[오염]이 분자 고고학 분야에서 큰 위험으로 나타난다고 믿고 있습니다.”라고 파보와 그의 동료는 썼다. 그리고 분자 클로닝에 의한 시퀀싱은 특히 취약하고, “따라서 단지 제한적인 과학적 가치만 있을 뿐입니다.” 라고 덧붙였다. 그러나 20년도 더 지난 후에도 파보의 1985년 미라 DNA 논문은 아직 오류를 표기하거나 수정하지 않은 채 그대로다.

파보는 그가 박사 과정 중에 한 실수에 관해 솔직했지만, 그는 세 가지 이유를 들어 그 논문을 공식적으로 수정할 필요가 없으며, 하물며 철회할 이유도 없다고 주장하고 있다. 먼저, 거기서 보여준 방법론은 기술의 진보 때문에 매우 빠르게 추월 되었기 때문에 이제는 누구도 플라스미드 클로닝을 사용해 잘못된 결과를 얻을 위험은 없다고 그는 말한다. 둘째로, 그가 논문에 제시한 조직 염색의 결과는 여전히 유효하다. “일반적으로 나는 고대 조직(tissues)에서 DNA가 살아남을 수 있고, 그래서 연구할 수 있다고 말하는 데 1985년 논문이 오늘날에도 인용된다면 그러한 의미에서 이 논문은 “좀비 논문”이라고 생각하지 않습니다.” 라고 본지와의 이메일에 썼다. “그 결론은 단지 실제 보였던 DNA 시퀀싱이 잘못됐다는 것뿐입니다.” 세 번째로, 1985년 논문은 개념에 관한 추가적인 증거이지 향후 연구의 기반을 형성했던 것은 아니라고 그는 말한다. “그 시퀀싱은 이집트의 역사나 그 무언가에 관한 어떠한 추론이나 결론도 끌어내지 않았습니다.”

네이처는 구글 스콜라에 의하면 출판 후 560회 이상 인용된 그 논문을 과학문헌계의 흠집이라기보다는 역사적인 유물로 더 간주하여야 한다는 것에 동의하는 것 같다. “기술이 발전함에 따라 과학도 발전하며, 새로운 기술, 테크닉과 증거는 발견의 재해석이나 개선으로 이어질 것입니다.”라고 네이처에서 편집 방침을 담당하는 소브미아 스바미나탄(Sowmya Swaminathan)은 본지와의 이메일에 썼다. “연구자들은 이것을 과학 발전의 한 부분으로 받아들입니다.”

현재 독립 과학 저널리스트며 자주 과학 출판과 연구자 부정행위에 관해 글을 쓰는 전직 분자 생물학자인 레오니드 슈나이더(Leonid Schneider) 역시 1985년 논문이 가치 있다는 것에는 동의하지만, 그 논문의 오류가 과학에 치명적인 손상을 입힐 가능성 때문이 아니라 일정한 원칙에 근거해서 조치가 취해져야 한다고 제안한다. “나는 [파보] 논문에 진술서(statement)를 첨부하기를 여전히 권고합니다.”라고 그는 말한다. “그래서 누군가 그 논문을 클릭할 때마다 더는 신뢰할 수 없는 부분에 관해 설명한 진술서를 볼 수 있어야만 합니다. 나는 그게 30년 전의 논문이라고 해도 그렇게 하는 것이 그의 의무라고 생각합니다.”


출판계의 상황

오늘날 디지털 출판의 시대에, 결함 있는 연구는 파보의 1985년 미라 DNA 논문에서보다 훨씬 더 많이 즉각적인 비판에 직면하는 것 같다. 예를 들어 2010년 12월에 나사 연구원 펠리사 울프-시몬(Felisa Wolfe-Simon)과 그녀의 동료들은 캘리포니아 모노 호수(Mono Lake)에서 수집한 감마프로토박테리움(gammaproteobacterium)에 관한 논문을 발표했다. 이 박테리아는 필수원소인 인(P)을 비소(As)로 대체할 수 있어서 인이 없고 비소가 풍부한 물질에서 성장할 수 있다. 그러나 발견에 관한 나사의 기자회견과 그 원고가 과학 웹 사이트에 온라인 포스팅된 후, 그 논문 위로 비판이 쏟아졌다2).

온라인 포럼에서 수십 명의 연구자들이 블로그에 글을 썼고, 그들은 연구의 실험 설계와 그러한 결과에 대한 저자의 설명을 사이언스지에 직접 요구했다. 사이언스 저널은 저자의 반응과 그 논쟁에 관한 세부적인 이야기를 게재했고, 저널의 웹사이트에서 그 논문을 비난하려는 유저들은 이러한 자료들로 링크된 리스트를 발견할 것이다. “이 논문과 관련한 학술기록은 과학 커뮤니티에 의해 제기된 문제의 크기와 심각성을 반영하여 상당 부분 수정하였습니다.”라고 사이언스지의 편집장 마르시아 맥넛(Marcia McNut)은 본지와의 이메일에 썼다. “사이언스지는 전례 없는 수의 기술적 답변과 의견을 하나로 묶어 게재했습니다.” 그런데도 저자들은 자신들의 발견에 대해 집요함(voracity)과 견고함(robustness)을 주장하기 때문에 그 논문은 수정하거나 철회하지 않고 남아있다.

잘 알려진 비소와 관련한 생명 연구와 같이 얼마나 많은 결함 있는 논문이 학술 문헌에 존재하는지는 아무도 알지 못하지만, 그 수는 매우 많은 것 같다. 그러나 거기엔 지금은 새로운 지식이나 이해로 대체된 방법론이나 결론이 담겨있는 인식 가능한 잘못이 있는 논문들까지 포함되어 있다. “어떤 논문에도 오류는 있습니다. 이것은 과학이 작동하는 방법의 일부입니다. 그렇지 않나요?” 노섹은 말한다. “우리는 우리가 조사하고 있는 현상을 이해하지 못하며, 그래서 우리는 좀 더 연구하고, 좀 더 인식하고, 아주 조금씩 배웁니다. 그럼으로써 우리는 그 현상을 이해하는 데 있어 조금 덜 잘못합니다.

물론 방대한 수의 결함 있는 논문을 수정하고 철회하는 것은 엄밀히 말해 실용적이지 않다. 버밍험 앨라배마 대학에서 비만을 연구하는 데이비드 앨리슨(David Allison)은 최근 “좀비 무리”에 관한 문제를 맛보았다. 지난해, 그와 몇몇 공동 연구자들은 출판된 논문에서 오류를 찾기 시작했고, 오류를 수정하려고 노력하고 있다. 18개월 동안 그들은 비만, 에너지, 영양과 같은 자기 분야의 문헌을 자세히 살폈고, 수정해야 할 근거가 있는 수십 개의 오류를 발견했다. 그러나 그들은 그러한 오류가 담긴 논문을 수정하거나 철회하는 노력이 힘든 문제라는 것을 깨달았다. “저자나 저널에 연락해 25개 이상의 이러한 오류를 짚고 넘어가려고 시도한 후.....우리는 너무 많은 시간이 드는 일이어서 중단하고 말았습니다.” 앨리슨과 그의 공동저자들은 올해 2월 네이처지에 발표했던 논평에 썼다.

통계적인 분석이나 실험 설계가 지닌 일반적인 문제들을 포함한 그와 그의 공동저자가 제기하는 우려는 너무 자주 저자들의 방어적인 자세에 부딪혔다고 앨리슨은 말한다. “누구도 자신의 실수를 공개적으로 지적받고 싶어 하지 않습니다.” 앨리슨은 본지와의 인터뷰에서 말했다. “우리는 모두 그들이 그래야만 하지만, 결코 유쾌한 일이 아니라는 것을 인식하고 있습니다. 만약 심각한 오류가 발견된다면, 정말 유쾌하지 않을 것입니다.” 그리고, 앨리슨과 그의 동료는 그 문제로 저널 편집자와 접촉했을 때, 그들이 이미 출판된 논문의 후향적 검토로 관심을 돌려 논문을 뒤지기에는 새로운 원고의 산꼭대기에서 계속되는 초인적인 업무로 너무 소모되어 있음을 깨달았다. “편집자들이 이 문제를 해결하는 데는 너무 많은 시간을 소모해야 합니다.” 앨리슨은 말한다. “해결책의 위아래에는 이러한 불이익들이 놓여있으며, 왜 이러한 것들이 고쳐지지 않는지에 대한 가장 큰 이유라고 생각합니다.”


새로운 세계를 향해 용감히 나아가다

의심스러운 논문을 근절하기 위한 하나의 방법은 사후 간행물(post publication)에 대한 동료 평가와 온라인 댓글이다. 일부 전통적인 출판사의 웹사이트에서의 댓글 기능뿐만 아니라 패컬티 오브 1000(Faculty of 1000)3), 펍메드 커먼스(PubMed Commons), 펍피어(PubPeer) 및 그 밖의 이와 같은 사이트의 형태에서 더 폭넓게 활용될 수 있다. 그러나 이러한 시도는 과제를 안고 있다. “온라인 댓글을 구현하고 있는 여러 저널에서 그 기능을 중단하고 있습니다.” 사이언스지의 맥넛은 이메일에 썼다. “모든 저널에서 댓글이 건설적이고 정중하게 유지하도록 감시하는 측면에서 직원 충원 문제가 있을 수 있습니다.”

또 다른 고려 사항은 익명이다. 지난해, 펍피어(PubPeer)는 유저들이 익명으로 댓글을 게시할 수 있게 하면서 맹렬한 비난을 받고 있다. 자신의 익명성을 유지해왔지만, 비판에 대응해 스스로를 밝힌 펍피어의 설립자는 사이트에서 익명의 댓글이 등록한 유저들의 게시물보다 수준 낮지 않다고 주장했다. 그리고 그는 익명의 댓글을 허용한 10월 블로그 포스팅에서 “사이트 보안을 위반하거나 합법적인 공격에 대항해서만 특정적으로 방어할 뿐”이라고 말했다.

일부 연구자들은 기존의 시스템 내에 새로운 시스템을 구현하는 것은 충분하지 않다고 주장한다. 문헌 정책은 과학적 출판을 위해 더 광범위한 접근과 새로움이 필요하다. “현재의 시스템은 과학을 지배하고 결코 평가받은 적 없는 임시방편적인 발명품입니다.” 노섹은 말한다. 그는 사람들이 모든 가능한 증거를 토대로 연구의 가치를 평가하는 데 도움이 되는 시스템을 마음속에 그리고 있다. 1985년 미라 DNA에서 드러난 파보의 실수와 9년 후 별도의 논문에 게재된 오류에 대한 그의 입장에서 볼 수 있듯이 “어떤 과학적 기여와 또 다른 과학적 기여 사이의 직접적인 연결성은 거의 없습니다.”라고 노섹은 말한다. “해결책은 지식의 축적인 과학에서 실제로 일어나는 것에 관해 더 나은 맞춤형 서비스를 갖는 것입니다.”

그 연결을 만들려는 시도로, 노섹은 그의 오픈 사이언스를 위한 센터, 연구 도서관 협의회, 미국 대학 협의회 및 공립과 랜드 그랜트 대학 협회 간의 협력으로 <연구 접근성 공유를 위한 생태계(the SHared Access Research Ecosystem, SHARE)>의 시작을 지원하는데 지난 2년을 보냈다. “단지 출판물뿐만 아니라 보조금과 임상 시험 및 철회 등 연구에서 일어나는 모든 데이터 세트를 공개하는 단일한 시스템을 만들려고 노력하고 있습니다.” 노섹은 말한다. 대규모의 데이터 세트가 만들어지면 “두 번째 단계는 이러한 개별적 연구 문헌들이 서로 연결되어 비슷한 분야의 것은 더 쉽게 검색하고 찾을 수 있는 정말 좋은 맞춤형 도구를 제공하는 것입니다.”라고 그는 덧붙인다.

노섹의 관점에서 과학 논문은 현재 이해하고 있는 정도의 고정된 기록으로 존재하지 않는다. 대신에 논문은 저자가 새로운 지식으로 끊임없이 업데이트할 수 있는 역동적인 실체다. “논문은 논문입니다. 그리고 논문은 영원히 그 상태 그대로입니다.” 노섹은 말한다. “그러나 사실, 새로운 연구가 진행됨으로써 우리는 논문을 수정할 수 있어야만 하고, 이를 단지 새로운 버전이라고 말해야 합니다. 논문은 절대 끝나지 않습니다 현상은 그 시점에서 이해되지 않기 때문입니다. 그래서 당신은 특정 현상에 관해 우리가 알고 있는 것으로 단일한 논문을 계속해서 편집하며 구축하는 연구 경력을 상상할 수 있습니다.”

쉐어(SHARE) 프로젝트, 그리고 유럽과 관련한 OpenAIRE 프로젝트의 시행은 달성 가능하다고 노섹은 말한다. 중요한 키는 연구자들이 검색 가능한 하나의 파이프라인에서 모든 논문에 관한 정보 더미를 수집한 후 특정 논문에 관한 정보를 찾고, 정렬하고, 필터링하는 데 필요한 도움을 줄 수 있는 기술의 개발이다. 비록 과학 문헌뿐만 아니라 하나의 지붕 아래서 발표된 논문을 둘러싼 보조적인 논의를 한데 모으는 일은 아주 큰 일이 될 것을 노섹도 인정한다. 그러나 그러한 일의 달성 가능성을 보여주는 선례가 있다. “이 문제는 이미 매우 효과적인 방법으로 처리됐습니다. 그것은 바로 인터넷을 통한 뉴스와 미디어 정보에서 볼 수 있습니다.” 그는 말한다. 구글과 같은 검색 엔진은 막대한 정보의 건초더미 사이에서 특정한 바늘을 강조하고 곧장 찾을 수 있는 도구를 제공함으로써 유저가 많은 양의 정보를 소화할 수 있게 한다.

적어도 오픈 억세스 저널 F1000(Faculty of 1000) 연구는 실제로 제출한 논문의 저자가 출판한 후에도 유저의 의견에 기반을 둬 원래의 원고를 수정할 수 있으며, 지금 과학 연구의 ‘살아있는’ 버전을 만들어 다른 버전과 나란히 수정한 버전을 포스팅한다. “나는 F1000과 다른 저널 그룹이 새로운 모델을 시도하고 있는 것을 기쁘게 생각합니다.” 노섹은 말한다. 그러나 진짜 문제는 과학 커뮤니티에서 새로운 시스템을 적용하기 위한 폭넓은 동의가 있어야 한다는 점이다. 이것은 원고뿐만 아니라 논평, 데이터 및 논문의 평론까지 자유롭게 제출하도록 연구자와 출판사 모두에게 요구된다. “우리가 할 수 있는 한도까지 출판 흐름(publishing workflow)의 일부가 되는 이러한 기반시설을 이동할 수 있습니다. 우리의 마음속에서 출판의 의미를 바꾸기만 하면 됩니다.” 노섹은 말한다.

“만약 예고(豫稿, preprints)라면, 우리는 그 논문을 믿지 않는다는 것을 압니다. 그렇죠?” 콜롬비아 대학교의 겔먼은 덧붙인다. “출판된 논문 역시 그래야 한다고 생각합니다”

또한 앨리슨은 과학 커뮤니티가 연구 결과와 실제 데이터의 소유자에 관한 개념 전체를 점검해야만 한다고 말한다. “당신은 잠깐 데이터를 담당하겠지만, 실제로 그것은 공공의 데이터입니다.” 그는 말한다. “그리고 이러한 변화는 하루아침에 일어나지 않습니다.”

그래서 파보의 미라 DNA 연구, 비소 생명에 관한 논문, 그리고 여기서 언급하기에 너무나 많은 다른 좀비 논문들은 과학 문헌 안에서 살아갈 것이지만, 우리는 과학에 덜 정적이고 더 역동적인 논문을 만들어 결과를 수정하고 출판하는 데 더 현대적인 모델을 채택함으로써 한 가닥 희망을 볼 수 있다. 이를 통해 우리는 좀비 부대의 사기가 꺾이는 것을 볼 수 있을 것이다. (번역 김명호)


*역자 주

1) 플라스미드 벡터(plasmid vector): 유전자를 운반하는 구실을 하는 plasmid.

2) 패컬티 오브 1000(Faculty of 1000, F1000): 영국의 우수논문 검색 시스템.

3) 비소 생명체 연구에 관하여.

2010년 나사의 연구진들은 모노 호수에서 발견한 박테리아를 실험실에서 인 대신 비소를 넣은 배양액에 넣어 배양에 성공했다고 발표했다. 인은 생존에 필수적이라는 기존의 학설을 뒤집은 결과여서 학계에 뜨거운 관심을 받았다. 그러나 2012년에 이를 반박하는 두 논문이 사이언스지에 실렸다. 두 논문은 나사 연구진의 배양액에 미량의 인산염이 들어있었으며, 그 박테리아의 성장에서 비소가 인을 완전히 대체할 수 없다고 주장했다. 나사의 연구진은 인산염이 들어 있기는 했지만, 너무 소량이었기 때문에 박테리아의 성장에 도움이 될 수 없다고 주장했다. 사이언스지는 성명을 통해 그 박테리아가 “비소가 많은 환경에서도 잘 적응해 살아가는 극한 생물”로 설명했다.


* 번역 원문

http://www.the-scientist.com/?articles.view/articleNo/45868/title/The-Zombie-Literature/

조회 3회댓글 0개

최근 게시물

전체 보기

©2020 by 명랑문화공작소. Proudly created with Wix.com