如何应对科学发现不可重复性危机

2016-08-28 佚名 生物谷

科学上存在可重复性危机(reproducibility crisis)吗?最近发表在Nature期刊上的一篇新闻特稿[1]只是最新的一篇文章指出这种情形可能是存在的。 针对这篇新闻特稿中接受调查的1576名研究人员而言,52%的人注意到可重复性是科学上的一个重大危机。物理学家和化学家在他们各自的领域有最大的信心重复他们的发现,而医学专家和生物学家有最少的信心实现这


科学上存在可重复性危机(reproducibility crisis)吗?最近发表在Nature期刊上的一篇新闻特稿[1]只是最新的一篇文章指出这种情形可能是存在的。

针对这篇新闻特稿中接受调查的1576名研究人员而言,52%的人注意到可重复性是科学上的一个重大危机。物理学家和化学家在他们各自的领域有最大的信心重复他们的发现,而医学专家和生物学家有最少的信心实现这一点。此外,这项调查发现24%和13%的调查对象分别地发布了成功地和不成功地重复了他们的发现,相比较之下,12%和10%的研究发现被拒绝发表的那些人分别地发布了成功地和不成功地重复了他们的发现。这些发现类似于之前的研究发现:83篇论文中仅有16篇指出多种精神治疗的疗效得到成功地重复[2],以及在发表在3篇心理学期刊上的100项实验性和关联性研究[3]当中,仅有36%的研究成功地得到重复性再现。

在科学研究中,可重复性为何至关重要?

简而言之,可重复性是相同的或不同的研究人员在每次重复实验时获得类似结果的能力。考虑到科学旨在产生可能增强我们对这个世界的理解的发现,可重复性不仅确保这些发现在手稿中的价值,而且也会阻止其他的研究人员走向死胡同。

尽管可重复性是科学的核心,但是做不到这一点在研究上是非常流行的。保持处于科学前沿有时会增加发表新结果的压力以至于科学家们能够在他们的领域继续取得进展。然而,这种压力不应当是促进科学研究的主要动力,这是因为它可能潜在地产生太多假阳性结果。事实上,根据2015年6月发表在PLoS Biology期刊上的一篇论文[4],基于对之前研究的分析结果,不可重复的临床前研究的发生率超过50%,而且它们的标价非常昂贵,将近282亿美元。此外,这个问题可能导致大众对科学家们和科学进步的不信任,而这可能威胁科学进步的未来。

科学上不可重复性的原因

除了科学上存在发表压力之外,还存在很多其他可能的因子也能够导致这种不可重复性。对结果的选择性报道、缺乏对基础统计学原理的理解和较差的实验设计都会导致这种普遍存在的现象。其他的因子包括来自资深研究人员的不充分指导;欺骗;在一种“不发表就完蛋”的环境中,实验室成员之间的高度竞争;开展研究时没有足够的资源可供使用。

另一个可能导致这种困境的主要因素是在不同实验室之间解答类似的研究问题时开展的实验存在差异性。一个常见的例子是利用细胞系理解基础的生物学过程和疾病状态。在2016年6月发表在PLoS Biology期刊上的一篇论文[5]中,Capes-Davis和Neve指出鉴于生物医学科学中的可重复性令人怀疑,应当对细胞系进行质量控制以便对这些资源进行认证。他们指出给职业早期的研究人员开展分子生物学资源认证方面的培训,以及更加强调专注的良好的科学而不是论文发表情况或大科学,可能能够缓解这一危机。此外,在近期发表在PLoS Biology期刊上的一篇论文[6]中,Almeida等提出学术界针对如何正确地使用细胞系应当采取行动,并且现存的多种认证标准,如用于STR分型的ANSI/ATCC标准(ASN-0002)和用于物种条形码分析的ASN-0003,是确保细胞系质量的关键步骤。

在发表的研究中详细实验方法的缺乏可能也导致不可重复性。如果研究人员加大力度细致地描述他们的复杂实验,那么其他的科学家可能更加容易地重复它们。如今,很多期刊正在执行特定的规则来确保作者们提供重复他们的结果所需要的所有信息。再者,一些期刊,如Nature期刊,已建立开放的存储库,在那里研究人员能够储存和分享他们的实验步骤以便科学界的其他人能够使用和评论。

还能做什么?


人们并不完全清楚如何更加可重复性地开展科学研究。然而,来自发表在Nature期刊上的这篇新闻特稿[1]的调查对象提出更好地理解统计学原则、更好地导师指导、更加强健的实验设计、更多的实验室内验证和更好的教学是改善可重复性的潜在方法。再者,期刊、资助机构和研究机构应当针对论文和实验方法的验证采取更加严格的标准,即便是付出增加同行评审时间的代价,因此更多的研究人员将会采取这种行为和为他们的科学发现提供更多的信心。

除了这些建议之外,我认为在开展类似的研究课题的科学家们之间进行更加有效的合作可能会解决这个问题。然而,这些初始的合作性沟通可能是比较困难的。在当前,不到20%的研究人员[1]说,他们被另一名不能够重复他们的研究结果的研究人员接触过。接触过其他研究人员的研究人员有风险显露出自己没有能力、面临指责,或者披露太多他们自己的项目信息[1]。尽管这种方法看起来几乎不可能的,但是它可能为研究人员能够严格地验证他们的研究成果和在他们的职业生涯中进一步取得进展提供一种讨论的机会。

尽管对科学研究而言,完全可重复性或许是不可能的,但是我鼓励职业早期的研究人员思考他们如何可能能够改善他们自己的研究的可重复性。考虑到文献中报道的大多数实验结果并没有严格地接受重复性验证(除非它们遭受质疑时),因此尽管重复研究结果可能需要更多的时间和资源,但是对研究人员而言,尽最大的努力让他们的研究结果尽可能是可靠的是非常重要的。可重复性仍然在科学中发挥着至关重要的作用,而且不可重复的研究的后果是有害的,值得人们及时关注。

原文作者:Megan Yu  

参考资料:

【1】1,500 scientists lift the lid on reproducibility
Nature, 26 May 2016, doi:10.1038/533452a

【2】Replication and contradiction of highly cited research papers in psychiatry: 10-year follow-up
British Journal of Psychiatry, Oct 2015, doi:10.1192/bjp.bp.113.143701

【3】Estimating the reproducibility of psychological science
Science, 28 Aug 2015, doi:10.1126/science.aac4716

【4】The Economics of Reproducibility in Preclinical Research
PLoS Biology, 9 June 2015, doi:10.1371/journal.pbio.1002165

【5】Authentication: A Standard Problem or a Problem of Standards?
PLoS Biology, 14 June 2016, doi:10.1371/journal.pbio.1002477

【6】Standards for Cell Line Authentication and Beyond
PLoS Biology, 14 June 2016, doi:10.1371/journal.pbio.1002476

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (3)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=1751551, encodeId=c6871e5155186, content=<a href='/topic/show?id=713d95e399f' target=_blank style='color:#2F92EE;'>#重复性#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=95739, encryptionId=713d95e399f, topicName=重复性)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=ced636322728, createdName=珙桐, createdTime=Sat May 20 01:05:00 CST 2017, time=2017-05-20, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=108628, encodeId=8bb610862836, content=好好了解下,最近各个学科都在扯这个, beContent=null, objectType=article, channel=null, level=null, likeNumber=49, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=http://cacheapi.medsci.cn/resource/upload/20160705/IMG577BD33CADE985322.jpg, createdBy=4b231744214, createdName=xueshucao, createdTime=Thu Sep 01 00:09:00 CST 2016, time=2016-09-01, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=106783, encodeId=e459106e836a, content=学习了,可重复性很重要, beContent=null, objectType=article, channel=null, level=null, likeNumber=48, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=73441710184, createdName=明崖, createdTime=Mon Aug 29 11:04:00 CST 2016, time=2016-08-29, status=1, ipAttribution=)]
    2017-05-20 珙桐
  2. [GetPortalCommentsPageByObjectIdResponse(id=1751551, encodeId=c6871e5155186, content=<a href='/topic/show?id=713d95e399f' target=_blank style='color:#2F92EE;'>#重复性#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=95739, encryptionId=713d95e399f, topicName=重复性)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=ced636322728, createdName=珙桐, createdTime=Sat May 20 01:05:00 CST 2017, time=2017-05-20, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=108628, encodeId=8bb610862836, content=好好了解下,最近各个学科都在扯这个, beContent=null, objectType=article, channel=null, level=null, likeNumber=49, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=http://cacheapi.medsci.cn/resource/upload/20160705/IMG577BD33CADE985322.jpg, createdBy=4b231744214, createdName=xueshucao, createdTime=Thu Sep 01 00:09:00 CST 2016, time=2016-09-01, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=106783, encodeId=e459106e836a, content=学习了,可重复性很重要, beContent=null, objectType=article, channel=null, level=null, likeNumber=48, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=73441710184, createdName=明崖, createdTime=Mon Aug 29 11:04:00 CST 2016, time=2016-08-29, status=1, ipAttribution=)]
    2016-09-01 xueshucao

    好好了解下,最近各个学科都在扯这个

    0

  3. [GetPortalCommentsPageByObjectIdResponse(id=1751551, encodeId=c6871e5155186, content=<a href='/topic/show?id=713d95e399f' target=_blank style='color:#2F92EE;'>#重复性#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=95739, encryptionId=713d95e399f, topicName=重复性)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=ced636322728, createdName=珙桐, createdTime=Sat May 20 01:05:00 CST 2017, time=2017-05-20, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=108628, encodeId=8bb610862836, content=好好了解下,最近各个学科都在扯这个, beContent=null, objectType=article, channel=null, level=null, likeNumber=49, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=http://cacheapi.medsci.cn/resource/upload/20160705/IMG577BD33CADE985322.jpg, createdBy=4b231744214, createdName=xueshucao, createdTime=Thu Sep 01 00:09:00 CST 2016, time=2016-09-01, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=106783, encodeId=e459106e836a, content=学习了,可重复性很重要, beContent=null, objectType=article, channel=null, level=null, likeNumber=48, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=73441710184, createdName=明崖, createdTime=Mon Aug 29 11:04:00 CST 2016, time=2016-08-29, status=1, ipAttribution=)]
    2016-08-29 明崖

    学习了,可重复性很重要

    0

相关资讯

精神疾病往往也是天才?科学家说不!

精神疾病与创造力之间是否存在关联?科学家说不。 在1998年以前开展的29项相关研究中,15项研究根本没有发现两者之间的任何关联,9项研究认为两者之间存在关联,而另外5项研究则没有给出明确说法。 科学家找不到精神疾病与创造力之间存在某种关联的科学理由。 新浪科技讯 北京时间4月3日消息,据国外媒体报道,提起文森特-威廉-梵高、弗吉尼亚-伍尔芙、罗宾-威廉姆斯等人的名字,许多人可能并不会感

这些年,科学家对癌症的认识发生了什么变化?

肿瘤的发生不是小概率事件。据统计,大约40%的成年人在一生中的某个阶段,会被诊断出某种类型的肿瘤。肿瘤的成因和发展因人而异,但患者们往往都有着不尽人意的结局。 不过,随着过去几十年内科学家深入研究肿瘤的发生机理,新的研究成果不断涌现,人们对肿瘤的认识变得更加深入,这也为提高肿瘤患者的生存率提供了机会。 20世纪70年代,人们通常认为只要能够在早期及时诊断出肿瘤,就可以最终治愈它。那

盘点:科学家教你如何利用脑洞大开的特技干掉癌细胞

近些年来,随着研究的深入,科学家们在揭示癌症发生机制及耐药的新型通路上取得了突破性的成果,同时科学家也开发出了多种抵御癌症的新型疗法及预防措施,比如我们所熟知的癌症化疗法、放疗法,以及癌症免疫疗法等方法。 而如何靶向杀灭癌细胞呢?科学家们有着不同的方法。近日,发表在国际杂志Cancer Cell上的一项研究论文中,来自卑尔根大学等机构的研究人员发现了一种可以帮助癌细胞扩散的特殊蛋白,那么

这个养蝴蝶的小哥,大概就是大家口中所说,科学家的浪漫吧

今天要讲的这位小哥,Tim Wong,28岁,是加州科学院的水生生物学家他的日常工作,是研究并照顾博物馆里的38000多种生物比如给爪哇刺鱼喂食照看白化病鳄鱼或者用装满小虾的玩具球喂章鱼工作之余,小哥有个很浪漫的爱好——养蝴蝶不是一般的蝴蝶,而是加州马兜铃燕尾蝶加州的旧金山曾是这种燕尾蝶的主要栖息地,但由于近年的城市发展,它们数量锐减濒临灭绝Tim在小学时就对蝴蝶充满兴趣,他经常花整天时间在家附近

评论:科学家当“网红”并非坏事

最近,国内某自媒体推出了“科学家直播”的“新玩法”,让一些科学家过了一把“网红”瘾,也由此引发了一场关于科学家该不该当“网红”的讨论。“网红”是“网络红人”的简称。随着新型传播手段的增多,科学家“网红”日渐涌现。今年4月,国际著名物理学家霍金开通了微博。结果不到两小时,粉丝破35万,让这位科学家在中国网友中又“火”了一把。5月,蛰伏10年后一鸣惊人的河北科技大学副教授韩春雨,同样被不少媒体评为“网

记住中国科学家周健:宫颈癌疫苗共同发明人

宫颈癌疫苗共同发明人:中国科学家周健 导读: 宫颈癌是由病毒感染而引发的癌症,是一种常见的女性癌症,发病率仅次于乳腺癌。每年,世界约有50万女性被诊断为宫颈癌,其中25万多人死亡。 1980年,德国科学家哈拉尔德·楚尔·豪森(Zur Hausen)证实,宫颈癌是由人乳头状瘤病毒(HPV)感染所致。 1991年,澳大利亚昆士兰大学免疫和代谢研究所的伊恩·弗雷泽和中国科学家周健合作,利