재현성 문제에 직면한 빅데이터 연구


그림: JAMES PROVOST

나는 내 몸속 미지의 한계를 탐구하던 중에 과학이 직면하고 있는 가장 어려운 문제 중 하나와 마주쳤다. 그것은 연구 결과를 재현할 수 없다는 것, 즉 연구 재현성 문제로 현재 생명과학과 사회과학 전반에 걸쳐 먹구름을 드리우고 있다. 문제는 내가 두 개의 미생물 군집(microbiome) 시퀸싱 서비스 업체에 동일한 대변 샘플을 보내면서 시작되었다. 미생물 군집은 사람의 몸 안과 밖에서 사는 미생물 집단으로, 관련 연구들은 건강을 비롯하여 심지어 행동에까지 영향을 끼친다고 말하고 있다. 당시 목표는 미생물로 가득 차 있는 곳인 내 장에 서식하는 세균이 무엇인지 알아내는 것이었다. 나는 그 과정이 간단할 것으로 생각했다. 아메리칸 거트(American Gut)와 마이크로 바이오옴(μBiome)이라는 두 서비스 업체가 내 장내 미생물에서 DNA를 조사하고 내게 무엇이 있는지 말해주는 것이었다. 그러나 내 앞에 결과가 놓였을 때 나는 이전보다 나아지기는커녕 오히려 혼란에 빠졌다. 업체가 제공한 보고서는 매우 다른 결과를 보여 주었다. 예를 들어, 두 업체는 인간의 장에서 발견되는 세균의 두 주요 문(phyla)인 후벽균(Firmicutes)과 의간균류(Bacteroidetes)의 비율에 관해 거의 반대되는 판독 값을 보고했다. 원래의 계획은 결과를 조합하여 장내 미생물 군집이 비만 여부와 그 외 건강에 어떤 영향을 끼치는지 결정하는 것이었다. 하다못해 연구가 실패하더라도 최소한 내 장에 이런 주요한 세균들이 얼마나 많이 사는지를 배울 기회가 되리라고 생각했다. 따라서 상반된 결과가 나온 당시의 상황은 내게 매우 큰 실망을 안겼다.   비록 과학자들이 연구하는 미생물 군집은 세균, 바이러스, 균류와 같이 아주 미세한 생명체지만, 그들이 신체에 끼치는 영향을 알아내고, 이들을 목록화하기 위해서는 많은 양의 정보가 필요하다. 내 대변 샘플만 보더라도 거기에는 수백 종류의 박테리아가 있을 것이며, 시퀸싱과 분석을 위해서 수천 개의 DNA 조각이 될 것이다. 내 개인적인 자료(?)가 얼마나 유용한 지 내게 말해주기 위해, 연구자들은 다른 수천 명의 샘플과 내 샘플을 비교했다. 그러나 건강과 관련한 핵심적인 미생물을 특정하기 위해서 과학자들은 각각 무수히 많은 미생물 생태계를 포함하고 있는 수백 수천 개의 샘플을 분석해야만 한다. 만약 두 업체의 연구실에서 내 샘플에 관해 옳은 결과를 얻을 수 없다면, 건강과 질병에 관련한 광대한 박테리아 목록 연구에 관해 무엇을 말해줄 수 있겠는가? 내가 비정상적인 결과에 대해 트위터와 블로그에 썼을 때, 미생물 군집을 연구하는 사람들은 내 결과가 너무 현저하게 달라서 놀라지 않았다고 고백했다. 그들은 이러한 문제를 예전에도 겪었고, 현재 그것을 해결하기 위해 준비하고 있었다. 나는 그것을 보기 위해 초대받았다. 미생물 군집 연구자들만 연구 재현 문제로 힘든 시간을 보내고 있는 것은 아니다. 과학 문헌의 철회와 수정은 증가하고 있다. 과학자들은 과학을 뒤흔들고 있는 재현성 문제를 위한 원인과 해결책 모두에서 격렬한 공방을 벌이고 있다. 사람이나 쥐를 가지고 진행하는 연구에서 결과를 재현하기는 어렵다. 예를 들어, 확장된 유전체학 분야에서 실행되는 일련의 연구들처럼 엄청난 수의 연구 대상에서 수집한 수천 수백만의 측정점(data points)을 다루는 연구들로 규모가 커지면서 오류가 발생할 여지는 비약적으로 증가하고 있다. 선호하는 많은 ‘빅 데이터’ 프로젝트 중 하나인 미생물 군집 연구는 생명 과학에서 흔하다. 폭넓은 유전체 관련성 연구와 관련하여, 연구자들은 일반적인 질병과 유전적 연관성을 찾기 위해 수 만 명의 사람들에게서 수십만 개의 DNA 변이를 추적한다. 시퀸싱 연구에서, 유전학자들은 실험실 동물에서 사람에 이르기까지 수십만 개의 연구 대상으로부터 수백만 개의 DNA 데이터 조각을 수집한다. 뇌 과학자들은 860억 뉴런으로 이루어진 인간 뇌지도를 구현하고 뉴런들이 만들어내는 수조 개의 연결 구조를 목록화(catalog)하려고 시도하고 있다. 그 목록은 계속 추가되고 있다. 빅 데이터 프로젝트는 수많은 정보의 조각이 발생하여 그 모든 것을 분류하는데 컴퓨터가 요구되는 것으로 공식적으로 정의한다. 그러나 빅데이터 프로젝트가 정보 수집을 위해 시작된 것은 아니다.

MIT와 하버드 대학의 브로드 연구소 유전학자인 다니엘 맥아더(Daniel MacArthur)는 23명의 각기 다른 분야의 과학자들과 그들의 연구동료들과 함께 ‘진유전체 통합 컨소시엄(Exome Aggregation Consortium)’이라는 연합을 만들었다. 그 그룹은 9 만 명 이상의 사람들 유전체로부터 진유전체나 혹은 단백질을 코딩하는 부분에서 유전자 자료를 수집했다. 그 데이터베이스에는 미 의회 도서관이 보유한 장서의 9배가 넘는 약 925테라바이트의 원자료(raw data)를 보유하고 있다. 그리고 더 많은 유전체 정보가 계속 추가되고 있다. 다른 많은 연구자도 자신이 가지고 있는 엄청난 데이터에서 정보를 생성하고 있다. 그 데이터에는 잠재적인 금광이 묻혀있다. 예를 들어 최근 2,439개의 박테리아 유전체 연구는 우리에게 친숙한 미생물을 이용해 유용한 항생제를 비롯한 44,000개의 작은 분자를 만들어 낼 수 있다는 것을 보여주었다. 연구자들은 더 좋은 약을 개발하거나 질병과 유전적 변이 사이의 연관성을 밝히기 위해 비슷한 데이터 덩어리들을 정밀하게 살피고 꼼꼼히 선별한다. 그러나 과학이 빅 데이터를 지향하려고 노력하지만, 그렇게 발견한 많은 것들이 실상은 가치 없는 것이 아닐까 하는 우려가 커지고 있다. 지금 빅 데이터의 추세는 기념비적인 일이다. 다른 연구자들과의 데이터 공유는 과학에 있어 투명성과 효율성의 중요한 부분이지만 그 나름의 문제를 가지고 있다. 그리고 복잡한 데이터 세트 분석을 위해 사용하는 도구는 데이터 자체만큼이나 중요하다. 매번 한 과학자가 다른 과학자들과 다른 컴퓨터 프로그램을 선택하거나 다른 변수를 조사한다면, 그 결정은 매우 다른 결론을 이끌어 낼 수 있다. 예를 들어, 두 그룹의 연구자들은 화상이나 혈액 감염과 같은 트라우마로 고통받았던 쥐와 사람에게서 활성화된 유전자를 측정한 하나의 데이터 세트에 대해 서로 다른 분석을 적용했다. 한 그룹은 트라우마에 의해 발생한 염증을 가진 사람을 연구하는데 쥐는 형편없는 모델이었다고 결론 내렸다. 다른 그룹은 설치류가 훌륭한 인간 유사체라고 결정했다. 같은 자료에 반대되는 결과였다. 과학계 내의 낙천주의자들은 이전에 비슷한 도전에 직면했던 이들을 반면교사 삼아 최소한 일부 함정을 피할 수 있기를 기대한다. 예를 들어, 1990년대 후반부터 상용화된 마이크로어레이로 알려진 장치로 유전자 활성을 연구한 연구자들은 빅데이터 딜레마와 마주한 최초의 생물학자들이었다. 그들은 기술적 문제를 해결해 나가고 서로 다른 연구 그룹들과 데이터를 직접 비교할 방법을 완성하려고 한다.


약점을 파악하다 미생물군집 연구는 오늘날 생물학에서 가장 인기 있는 논문을 생산하는 분야 중 하나다. 그러나 내가 발견했던 것처럼, 한 연구실에서의 결론은 다른 곳에서의 결과와 항상 일치하는 것은 아니다. 국립 암연구소의 유행병학자 라쉬미 신하(Rashmi Sinha)와 다른 이들처럼 연구소 사이의 불일치는 미생물이 어떻게 건강에 영향을 끼치는지에 관한 결과를 완전히 신뢰할 수 없게 만든다는 뜻이다. 미생물 활동에 의존하는 인간 생물학의 거의 모든 측면과 함께, 미생물 군집 연구자들은 그들의 데이터에 의존할 수 있어야 한다. 어떤 상대든 간에 승리하기 위한 첫 번째 단계는 약점을 파악하는 것이다. 신하는 새로운 과학자들이 미생물 군집 데이터를 처리하고 분석하는 방법에서 약점을 찾기 위한 계획을 지휘하고 있다. 이 프로젝트는 미생물 군집 품질 관리, 즉 MBQC(microbiome quality control)라고 한다. 해당 분야 최고 수준의 연구실 다수가 간절한 마음으로 참가했다.

지난 2014년 가을, 약 60여 개의 미생물 군집 연구자들과 참관인들이 미생물 군집 연구에서의 취약점 테스트에 관한 회의를 위해 메릴랜드 로크빌에서 만났다. 신하와 캐나다 궬프 대학교 미생물학자 엠마 알렌 베르코이(Emma Allen-Vercoe)는 실험을 위해 연구자들에게 표준화된 96개의 DNA나 박테리아 샘플을 준비했다. 프로젝트 시범 단계에서, 15개의 연구소는 그 미생물 군집을 다루고 시퀸싱했고, 컴퓨터 분석을 위해 9개 연구소에 데이터를 넘겼다. 각 실험실은 각 단계를 철저히 문서로 만들고 정상적인 절차를 따르기를 장려했다. “각 연구실이 실험을 시행하는데 선택하는 사소한 차이들이 매우 크다는데 놀랐습니다.”라고 하버드대 보건 대학원 계산생물학자 커티스 휴튼호웰(Curtis Huttenhower)은 말한다. 예를 들어, 연구자들은 박테리아의 세포막을 열고 DNA를 뽑아내는데 다양한 방법을 사용했다. 그에 따른 분석 방법도 크게 달라졌다. 이 아이디어는 누가 더 나은 선택을 했는지 판단하기 위한 것이 아니다. 대신 연구자들은 연구 시스템에서 혼란이 발생하는 단계가 어딘지를 알고 싶었다. 몇 개의 절차적 결정은 최종 결과에 영향을 끼쳤다. 한 연구실은 DNA 복사본을 만들기 위해 PCR 프라이머스(primers)라는 독특한 일련의 실험 도구를 사용해 질 미생물 군집을 연구하였다. 그 연구실은 나머지 실험실과는 다른 미생물 다양성 양을 계산했다. 분석 기술이 그랬듯이 DNA 추출 방법 또한 중요했다. 그것은 중요한 뉴스였다고 휴튼호웰은 말한다. 사실, 오류의 근원인 그러한 변수들은 생물학의 토대에선 발생하지 않는 오류의 패턴을 감지할 수 있도록 연구자들을 이끌 수 있다. 그러나 흥미로운 결과는 심지어 그러한 기술적 차이조차 , 연구자들은 건강한 사람의 샘플에서 아픈 사람의 샘플을 안정적으로 구별할 수 있었다고 그는 말한다. 그 결과는 그들에게 생물학적으로 의미 있는 정보의 광맥이 데이터의 산맥 안에 퍼져 있다는 희망을 주었다. 그러나 때때로 숨겨져 있는 위협은 실제 생물학적 메시지를 침몰시킬 만큼 매우 위협적이다. 영국 힌스턴 웰컴 트러스트 생어 연구소의 수잔나 솔터(Susannah Salter)와 동료들은 생물학적 오염이 그러한 위협 중 하나라는 것을 발견했다. 그들은 과학자들이 미생물 샘플에서 DNA를 뽑기 위해 사용하는 살균한 물과 시약 키트가 이미 상당한 양의 박테리아 DNA에 오염되어 있다고 지난 11월 BMC Biology 저널에 보고했다. 오염된 DNA는 올바른 결과에서 멀어지게 하고 샘플을 압도할 것이다. 솔터와 그녀의 동료들은 그러한 사례로 한 연구를 들었다. 태국과 미얀마 사이 국경에 있는 난민캠프에서 시행했던 것으로 어린이들의 미생물 군집이 어떻게 발달하는지에 대한 연구였다. 그들은 2007년과 2008년에 태어난 한 그룹의 유아를 대상으로 2살이 될 때까지 매달 아이의 코와 목을 면봉으로 닦았다. 처음에는 그것이 아크로모백터(Achromobacter)와 허바스피릴륨(Herbaspirillum)과 같은 토양 박테리아처럼 보였다. 이들은 유아의 코와 입에서 성장하는 첫 단계 미생물이다. 그러나 솔터는 결과가 의심스러웠다. “우리가 본 것은 보통의 사람에게 있는 미생물이 아니었습니다.”라고 그녀는 말한다. 그녀의 태국 동료들은 세심하게 연구를 기록했기 때문에, 솔터는 토양 박테리아가 아기의 코에서 성장한 것이 아니라는 것을 증명할 수 있었다. 대신, 실제 존재하며 완전히 알려지지 않은 토양 박테리아의 DNA는 샘플을 처리하는 과정에서 사용한 두 개의 키트가 알 수 없는 경로로 오염되었던 것이다. 오염은 실험실 시약으로 끝나지 않는다. 존스 홉킨스 대학교의 스티븐 샐츠버그와 그의 동료는 오염이 큰 데이터베이스에 디지털 형식으로 저장될 수 있다는 것을 11월 피어제이(peer J) 저널에 보고했다. 연구자들은 사람에게서 임질을 유발하는 임균(Neisseria gonorrhoeae)의 유전체가 실제 소와 양에서 나온 DNA의 조각에 오염되었음을 발견했다. 연구자들이 젠뱅크(GenBank) 공공 데이터베이스에서 무작위적으로 선택한 네 개의 서로 다른 유전체에도 다른 종의 유전자 조각이 포함되어 있었다. 이는 더 많은 유전체 기록도 오염될 수 있음을 나타낸다. 이러한 유형의 문제는 빅데이터로 작업할 때 예상할 수 있다고 연구자들은 말한다. “많은 양의 매우 민감한 데이터를 제공하는 것은 무엇이든지 간에 우리에게 많은 사실과 함께 많은 잡음도 제공합니다.” 휴튼호웰은 말한다. 과학자들은 그들의 연구에서 잡음을 유발하는 것이 무엇인지 규명하고 그 정체에 관해 알아야 한다. 휴튼호웰은 연구자들에게 규칙을 준수하라고 하는 것보다는 주의를 기울이라고 말하는 것을 선호한다. 그는 단일 프로토콜을 준수하라고 과학자들을 강제하는 것은 실수하는 거라고 말한다.


성공하거나 망하거나 빅데이터에서는 길을 잃기도 쉽고 아무것도 존재하지 않는 곳에서 쉽게 패턴을 읽을 수 있지만, 우리가 알아차릴 만큼 오류가 충분히 크지 않다는 문제가 있다. 진유전체 통합 컨소시엄에서 맥아더와 다른 과학자들은 질병을 일으키는 매우 드문 돌연변이를 추적하려고 노력한다. 맥아더는 근육위축병(muscular dystrophy)과 선천성 근장애(congenital myopathy)와 같은 근육 질환에 초점을 맞추고 있다. 그와 동료들은 질병의 원인이 되는 한두 개의 돌연변이를 찾기 위해 한 사람의 진유전체를 구성하는 약 3천만 개의 DNA 염기를 뒤져야 한다. 그 일로도 충분히 어려울 테지만, 그러나 심지어 건강한 사람의 유전체조차  약 2만 개에서 3만 개의 유전적 변이를 가지고 있기 때문에 더 복잡하다. 과학자들은 그들이 발견한 것이 정말 질병의 원인 돌연변이인지, 양성이 아닌 드문 변이인지 여부를 말할 수 있을까? 보통은 말할 수 없다. 2011년 병진의과학(Science Translational Medicine)에 출판된 한 연구에선 유전적 희귀 질환의 원인으로 확인된 변종의 27%가 상당히 흔한 것이거나 잘못 분류한(mis-labeled) 것으로 밝혀졌다. 맥아더에게 그 의미는 명확하다. “지난 10년 동안 희귀 질환을 발견하기 위해 노력했던 우리 모두는 거의 확실하게 환자를 오진하고 있었습니다.” 문제에 대한 해결책은 무엇일까? 그것은 정보의 덩치를 더 크게 하는 것이다. 맥아더와 동료들이 진유전체 통합 컨소시엄에서 많은 사람으로부터 수집한 데이터 풀(pool)은 해당 변이가 그 사람들에게서 얼마나 공통된 것인지에 대한 더 나은 정보를 제공할 것이라는 걸 깨달았다. 그러한 지식으로 무장한 연구자들은 자신들이 발견한 돌연변이가 정말로 희귀하며 질병의 원인일 가능성을 더 확신할 수 있다. “과학에서 빅데이터의 영향이 긍정적이라는 것에는 의심할 여지가 없습니다.” 맥아더는 말한다. “빅데이터는 착각(false positives)을 제거합니다.” 그러나 데이터베이스를 만드는 것은 쉬운 일이 아니었다. 데이터를 제공한 각각의 프로젝트는 서로 차이가 있었다. 그와 동료들은 전혀 다른 소스에서 만들어진 데이터를 조화시키는 소프트웨어를 개발하는데 거의 2년을 보냈다. 지저분한 데이터 빅데이터 공유는 인디아나주 웨스트 라파예트에 있는 퍼듀대학교의 토목기사 산티아고 푸욜에게 너무 익숙한 시련이다. 푸욜과 동료들은 미 국립과학재단(National Science Foundation)의 지원을 받은 지진 공학 프로젝트에 참여한 15개의 연구소가 데이터를 저장하고 공유할 수 있도록 가상의 플랫폼을 만들었다. “우리는 정말 힘들었습니다.” 푸욜은 말한다. 가끔 데이타 파일은 안에 들어있는 정보의 유형에 대해서 아무런 설명이 없거나 혹은 정보는 적혀있지만, 단위가 적혀있지 않은 채 도착했다. “그들이 밀리미터로 측정했는지 인치로 측정했는지 당신은 알 수가 없습니다.” 푸욜은 말한다. 즉, 엉망이었다. 푸욜의 경험은 드문 일이 아니다. MBQC의 경우, 휴튼호웰은 그가 미생물 군집 연구자들에게 분석을 담당하는 연구실이 시퀸스 데이터를 어떻게 제출해야 하는지를 명확하게 지시했다고 생각했다. 그러나 그는 여전히 컴퓨터 프로그램으로 분석하기 전에 조율해야 하는 다양한 유형의 파일과 데이터 포맷을 가지고 있다고 말한다. 푸욜과 다른 이들은 데이터 저장과 제출을 위한 표준이 모든 유형의 연구를 더 안정적으로 만드는 데 크게 도움이 될 것이라고 말한다. 더 안전한 지대 빅 데이터 연구자들은 이미 이러한 일부 재현성 문제와 씨름을 했던 마이크로어레이(microarray)의 선구자들에게서 배우기를 희망한다. 유전자 활성을 측정하기 위해 마이크로어레이를 사용한 연구자들은 생명과학에서 쇄도하는 빅 데이터를 헤치고 간 최초의 탐험가 중 하나다. 마이크로어레이는 유전자 활성을 측정하기 위해 붉은색과 녹색 염료를 사용하며, 질환이나 화학 물질 노출과 같은 환경 조건이 세포에 미치는 영향을 비교하는 연구에 폭넓게 이용되었다.

일리노이 대학교 어버너-섐페인 캠퍼스의 화학자 크리스토퍼 킬라안(Kristopher Kilian)은 그 기술에 대한 붐이 일었던 2000년대 초반에 마이크로어레이 제조업체 로제타 인파머틱스(Rosetta Inpharmatics)에서 근무했다. 이 회사는 계절에 따라 연구 결과가 바뀌는 것에 대한 소비자들의 불평을 처리했다. 그 당시 일부 마이크로 어레이는 ‘홍역’에 걸렸다. ‘홍역’은 마이크로어레이 상에 나타나는 붉은 점과 녹색 고리의 이상한 패턴 때문에 붙은 그 회사의 별명이었다. 홍역은 회사가 고속도로 바로 옆에 새로운 마이크로어레이 처리시설을 건설할 때 강타했고, 러시아워(rush hour) 때 정점에 달았다. 결국, 킬리안의 연구팀은 자동차에서 발생하는 오존이 붉은 염료를 저하한다는 것을 알아내고 연구자들이 오존의 수준을 낮게 유지하도록 2003년 ‘분석화학(Analytical Chemistry)’ 저널에 제안했다. 오존은 여름에 가장 높은 수준으로 대기 중에 떠다니며, 계절에 따라서도 차이가 있다. 이는 연구자들이 한 해 중에 시간에 따라 다른 결과를 얻는 이유를 설명할 수 있다. 다른 연구자 그룹은 공기 중의 오존을 걸러주는 탄소 필터가 마이크로어레이 실험의 신뢰도를 극적으로 향상했다고 2007년 BMC 생명공학(BMC Biotechnology)저널에 게재했다. 기술적인 문제를 산출하는 것은 첫 번째 단계에 불과했다. 다양한 실험실에서 같은 유형의 마이크로어레이로 수행한 실험을 서로 비교할 수 있게 하는 소프트웨어 개발에 여러 해가 걸렸다. 그리고 연구자들은 아직도 다른 회사에서 만든 마이크로어레이를 적용한 연구를 조율하는 데 문제를 겪고 있었고, 유전자 활성을 측정하는 더 민감한 방법인 RNA 시퀸싱과 같은 새로운 기술들의 결과들과 비교하는 것은 여전히 더 많은 어려움이 있다. 새로운 기술을 채택한 연구자들은 예전 마이크로어레이로 발견한 결과를 새 시퀸서 결과와 조율하고 싶지만 지금도 하지 못하고 있다. 그러한 난관조차  극복할 수 있을 것이다. 캘리포니아주 스탠퍼드의 미국표준기술연구소 생체공학자 사라 먼로(Sarah Munro)와 동료들은 연구자들이 실험의 각 단계를 얼마나 잘 실행하는지 알기 위해 내부 품질 관리(internal quality controls)로서 사용하고자 표준화된 96개의 RNAs를 개발했다. 그러한 표준은 RNA 시퀸싱 결과를 마이크로어레이 데이터와 일치시킬 수 있고 다른 실험실의 결과와 그들의 결과를 조율할 수 있게 한다. 연구자들이 대시보드(dashboard)에 띄운 컴퓨터 소프트웨어는 과학자들이 최종 결과가 얼마나 바뀔 수 있는지 볼 수 있게 그들의 데이터를 여러 유형으로 분석할 수 있다. 먼로와 동료들은 표준화를 시도한 12곳의 실험실 중 11곳에서 일관된 효율을 보여주었다고 지난 9월 ‘네이처 커뮤니케이션스(Nature Communications)’ 저널에 보고했다. “당신은 이러한 실험을 하는데 모든 시간을 보내고, 그래서 당신은 옳은 결과를 얻었는지 알기를 원합니다.”라고 먼로는 말한다. 그녀는 표준화가 더 나은 평가와 재현 결과로 다른 연구자들에게 도움이 되기를 기대한다. “사람들이 자신의 측정값으로 다른 연구자와 소통할 수 있게 될 것이며 결과에 대한 자신감을 가질 수 있을 것입니다.” 그녀는 말한다. 과학자들이 그들의 데이터를 쉽게 비교할 수 있도록 충분한 수준으로 마이크로어레이 기술을 개발하는데 15년 이상이 걸렸다. 다른 유형의 빅 데이터 연구를 수행하는 연구자들은 일찍 이 문제를 겪었던 분야에서 배운 교훈으로 빠르게 함정을 통과해 데이터를 신뢰할 수 있는 더 안전한 수준으로 이동하는 데 도움이 되기를 희망한다. 시퀸싱 기계로부터 쏘아진 데이터와 그 밖의 소방 호스에서 뿜어져 나오는 물과 같은 대용량의 실험실 설비는 연구자들이 가능한 한 자신들의 결과를 신뢰할 수 있게 만드는 방법을 배우는 것보다 더 중요하지 않다. <끝> 원문: Tina Hesman. “Big data studies come with replication challenges”. ScienceNews, Jan 26, 2015. (https://www.sciencenews.org/article/big-data-studies-come-replication-challenges)

조회 0회댓글 0개

최근 게시물

전체 보기

©2020 by 명랑문화공작소. Proudly created with Wix.com