科学研究中数据分析的弊病-“P-值”

2016-03-15 生物谷 生物谷

世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistica

世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。

也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistically significant)。显著性差异一般是研究者们考虑文章是否能够发表的前提。但是根据美国统计学会(ASA)的说法,我们的做法是完全错误的。

“P-值从来都不是表明实验结果是否有科学性的标志”,ASA的执行主任Ron Wasserstein说道:“合理的统计学分析要包含更加丰富的信息,而非一个简单的数字以及是否该数字低于某个阈值”。ASA指的是“P值<0.05”这一通用法则。

根据一位统计学家的说法,在统计学诞生至今177年的历史中,ASA首次决定发表声明告诉大众这些检验方法的正确用法。

为什么这个时候做出这一决定呢?这是因为近年来科学研究中对P-值得依赖性越来越高,然而,很多实验都难以被重复。如果现在的研究都是这个鬼样子,那确实是一个严重的问题。

“长期以来P-值都是决定文章能否发表的阀门”,ASA的主席Jessica Utts说道:“这一明显的编辑偏好导致‘抽屉效应’的出现,即显著性越高,文章越容易发表,这间接忽视了那些虽然显著性不高,但同样有意义的工作”。

同样,这一偏好会导致研究者们为了使数据P值低于0.05而伪造数据,同时拒绝公开数据分析的详细过程。

那么,如果我们使用P值得方式是错误的,什么才是正确的使用方式呢?对此,ASA给出了6条建议:

1、 P-值能够反映数据在某一特定的统计学模型中的不相容性。

2、 P-值并不能反映研究假设的正确性,以及该数据是否是由随机过程产生的。

3、 科学结论以及商业或政策性的决定都不能仅仅依赖P-值是否高于显著性阈值。

4、 统计结果的可靠性依赖于其过程的透明程度与详细程度;

5、 P-值,或显著性差异,并不能反映某一效应的大小或结果的重要程度。

6、 P值本身并不能对实验模型或假说是否正确提供坚实的证据。

关于批评P-值使用的方式,这已经不是第一次了。去年一份杂志已经明确禁止使用P-值进行统计,许多科学家也赞成这一做法。

“如果这一决定能够早20年作出,生物医学研究就不会是现在这个鬼样子”,波士顿Dana Farber 癌症研究所的统计学家Giovanni Parmigiani说道。

然而,一些人认为这一做法并没有触碰本质问题,这不仅仅是关于P-值,更是社会对科学的不真实的期待。

“人们总是希望得到一些不可能实际获得的东西”,哥伦比亚大学统计学家Andrew Gelman说道:“他们希望百分之百的可靠”。

要先改变这一现状,科学家们还需要跟大众进行长期的沟通。毕竟科学家跟普通人对数据的解读是不一样的。

这不是一件简单的事,不过为了优化科学方法,总归是值得的。

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=87633, encodeId=48ce8e633cb, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=183, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87634, encodeId=91938e63478, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=133, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87635, encodeId=ba668e635a6, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=120, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=69564, encodeId=546a69564fb, content=P值不是绝对,只是反应这个研究中目前结果。, beContent=null, objectType=article, channel=null, level=null, likeNumber=136, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=https://wx.qlogo.cn/mmopen/Pw2csslt7CukWiabqiblnQAbAss3ANsjUWZKUgN2n3JyJDHOJJAxibetNCiaEh70YckbPPTELyyStMZ8T3Q340icNSXgj72MowgTC/0, createdBy=188f1666747, createdName=1de00086m73(暂无匿称), createdTime=Wed Mar 16 09:18:00 CST 2016, time=2016-03-16, status=1, ipAttribution=)]
    2016-05-30 lsblb

    好文章!

    0

  2. [GetPortalCommentsPageByObjectIdResponse(id=87633, encodeId=48ce8e633cb, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=183, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87634, encodeId=91938e63478, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=133, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87635, encodeId=ba668e635a6, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=120, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=69564, encodeId=546a69564fb, content=P值不是绝对,只是反应这个研究中目前结果。, beContent=null, objectType=article, channel=null, level=null, likeNumber=136, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=https://wx.qlogo.cn/mmopen/Pw2csslt7CukWiabqiblnQAbAss3ANsjUWZKUgN2n3JyJDHOJJAxibetNCiaEh70YckbPPTELyyStMZ8T3Q340icNSXgj72MowgTC/0, createdBy=188f1666747, createdName=1de00086m73(暂无匿称), createdTime=Wed Mar 16 09:18:00 CST 2016, time=2016-03-16, status=1, ipAttribution=)]
    2016-05-30 lsblb

    好文章!

    0

  3. [GetPortalCommentsPageByObjectIdResponse(id=87633, encodeId=48ce8e633cb, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=183, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87634, encodeId=91938e63478, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=133, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87635, encodeId=ba668e635a6, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=120, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=69564, encodeId=546a69564fb, content=P值不是绝对,只是反应这个研究中目前结果。, beContent=null, objectType=article, channel=null, level=null, likeNumber=136, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=https://wx.qlogo.cn/mmopen/Pw2csslt7CukWiabqiblnQAbAss3ANsjUWZKUgN2n3JyJDHOJJAxibetNCiaEh70YckbPPTELyyStMZ8T3Q340icNSXgj72MowgTC/0, createdBy=188f1666747, createdName=1de00086m73(暂无匿称), createdTime=Wed Mar 16 09:18:00 CST 2016, time=2016-03-16, status=1, ipAttribution=)]
    2016-05-30 lsblb

    好文章!

    0

  4. [GetPortalCommentsPageByObjectIdResponse(id=87633, encodeId=48ce8e633cb, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=183, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87634, encodeId=91938e63478, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=133, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=87635, encodeId=ba668e635a6, content=好文章!, beContent=null, objectType=article, channel=null, level=null, likeNumber=120, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=f9f21613855, createdName=lsblb, createdTime=Mon May 30 18:48:00 CST 2016, time=2016-05-30, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=69564, encodeId=546a69564fb, content=P值不是绝对,只是反应这个研究中目前结果。, beContent=null, objectType=article, channel=null, level=null, likeNumber=136, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=https://wx.qlogo.cn/mmopen/Pw2csslt7CukWiabqiblnQAbAss3ANsjUWZKUgN2n3JyJDHOJJAxibetNCiaEh70YckbPPTELyyStMZ8T3Q340icNSXgj72MowgTC/0, createdBy=188f1666747, createdName=1de00086m73(暂无匿称), createdTime=Wed Mar 16 09:18:00 CST 2016, time=2016-03-16, status=1, ipAttribution=)]
    2016-03-16 1de00086m73(暂无匿称)

    P值不是绝对,只是反应这个研究中目前结果。

    0

相关资讯

美国统计协会吐槽P值滥用

P值的历史 P值得历史可以追溯到1770年,数学家拉普拉斯在处理50万左右的生育数据时,发现男性的生育率超过女性,对于这个无法解释的“超越”,他计算了一个叫做“P值”的东西,以确定这个“超越”是真实的。 很多统计学家误以为关于P值的正式文献是Fisher发表的,其实不然,最早在文献中正式阐述P值及其计算的,是统计学家Karl Pearson,你可能不了解他,但是他的Pearson卡方检验你