期中分析——这条路不是“说走就能走”

2018-10-09 李楠 赵一鸣 临床流行病学和循证医学

一、从既熟悉又陌生的“前瞻性研究”说起对于绝大多数临床研究者来说,能够自己牵头做一个前瞻性的研究,并不是一个特别容易获得的机会。无论是RCT还是队列研究,只要是前瞻性开展的,都需要技术、人力和财力等多方面的支持才能完成。因此对于前瞻性研究,大家的经验更多也许停留在“参与研究”、“大会报告”、“文献学习”这样的阶段。因此,当自己进行前瞻性研究的时候,难免会有掉到坑里的时候。而研究牵头人对于一个前瞻性

一、从既熟悉又陌生的“前瞻性研究”说起

对于绝大多数临床研究者来说,能够自己牵头做一个前瞻性的研究,并不是一个特别容易获得的机会。无论是RCT还是队列研究,只要是前瞻性开展的,都需要技术、人力和财力等多方面的支持才能完成。因此对于前瞻性研究,大家的经验更多也许停留在“参与研究”、“大会报告”、“文献学习”这样的阶段。因此,当自己进行前瞻性研究的时候,难免会有掉到坑里的时候。而研究牵头人对于一个前瞻性研究来说,地位几乎等同于“上帝”,你让它往东它就不会往西,因此在前瞻性研究中万一出现了系统性的错误,也很少有机会能够补救。

二、常常埋伏在前瞻性研究中的诱惑

前瞻性研究最让人难以忍受的point之一就是——面对不确定结果的漫长等待。你说吧,要是有现成数据,分析一下瞬间就能知道结果了,就算手慢,整理个3-5天、半个月,大致结果也都知道个一二了。但是前瞻性研究则不同,断的可能几个月才能看到结果,长的就没谱了,做上5年、10年也是有可能的。因此,不少研究者往往按奈不住内心的冲动,收上一些数据就拿来分析一下看看。这种偷看的行为分两种,一种是合理的,名字叫“期中分析”,往往是事先计划好的,或是研究期间重新调整研究计划而进行的;另一种看起来和前面一模一样,但是研究者的想法和做法则完全不同:“做出阳性结果就终止研究,做不出阳性结果就当这次‘偷看’没发生”,这就变成完全不可接受的作弊行为了。

三、偷看的代价

您也许会奇怪,为什么我偷看就不行了?数据还是那些数据,我无论偷看多少次都不会改变数据本身啊?您的想法其实没错,您的确没有改变数据本身,可是您有没有想过,相同的数据真的有可能得出不同的结论呢!

这种诡异的现象就要从统计推论本身说起了。在统计推论过程中,虽然最后看的是p值,但是实际过程是通过p值大小决定是否能拒绝原假设的过程。通俗一点说,就是证明“分布与给定分布不同”、“样本来自不同群体”、“组间有差异”、“区间不包含0/1”……往往很难,因此我们先给出与我们想做出的结论相反的假定(H0),从而建立起一个等式,在计算这一等式成立的概率p。如果p太小(小于α,通常双侧时定为0.05),则认为上述假定(H0)实际上成立的概率太低,所以拒绝原假设,进而得出我们想要的结论。

这么看问题就清晰了,当我们等到研究结束的时候进行一次检验,发现p>0.05,那一定意味着不能做出拒绝原假设的结论,也就是所谓的“没有发现统计学差异/意义”。

但是当我们在研究中间“多试几次”的时候,情况就发生变化了,由于每次检验所纳入的实际样本不同(研究做了一半的时候,只有前50%的样本纳入,结束时才纳入所有样本),因此每次检验的p值也会有些差异。因此,当我们最终检验的p值接近0.05的时候,很有可能在中间“多试几次”的过程中,又那么一两次的p值就“滑落”到0.05以下去了。

而当我们反复“偷看”时,一旦试到了想要的结论,可能马上就终止研究写文章去了,而忽视了对真正结论的继续探索。因此,偷看可能带来两个结果:

1、对于一组按顺序收集的数据,中间试的次数越多,越容易得到自己想要的结果;

2、如果再试出阳性结果处终止研究,那么无论怎么验证,似乎结论都是“成立”的。

这样的结果当然是不可取的,因为理论上,当全部样本的真实p值接近0.05时(组间差异、效应量不够巨大),那么我们经过无限次尝试,得到p<0.05几乎是一定的。因此,无计划的期中分析(偷看)显然增加了假阳性(Ⅰ类错误)的风险。当我们取α=0.05时,偷看次数和实际统计学结论的假阳性风险是这样的关系:

看吧,当我们随意开展期中分析时,Ⅰ类错误并没有被给定的α控制住。因此,虽然数据就在那里,看就看了,但是我们还是要顶住诱惑,避免“见色起意”的偷看数据。但是数据也不是完全不能提前分析的,这就涉及了题目中说的“期中分析”。合理的期中分析,需要在设计阶段就考虑进来。

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (1)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=348675, encodeId=7e243486e5fd, content=了解一下,谢谢分享!, beContent=null, objectType=article, channel=null, level=null, likeNumber=35, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=http://cdnapi.center.medsci.cn/medsci/head/2019/12/23/2f51002e1349ccda5be11c1eea1e1e60.jpg, createdBy=a22097948, createdName=天地飞扬, createdTime=Tue Oct 09 22:01:35 CST 2018, time=2018-10-09, status=1, ipAttribution=)]
    2018-10-09 天地飞扬

    了解一下,谢谢分享!

    0