厉害了！百位作者借助Google Docs合作撰文讨论P值问题
2018-01-25 李延龙 医咖会
有关“P<0.05表示有统计学差异”似乎从诞生之初就备受争议，事实上，为什么把检验水准定在0.05，有什么科学道理？到现在大家也没整明白，但是这并不妨碍众多作者在研究结果中对于P<0.05的痴迷，总得有点儿“有意义”的结果，论文才“好看”。但是呢，带来的问题是各种假阳性结果的泛滥。于是乎，就不断有人提出修改目前所使用的统计学显著的标准。
有关“P<0.05表示有统计学差异”似乎从诞生之初就备受争议，事实上，为什么把检验水准定在0.05，有什么科学道理？到现在大家也没整明白，但是这并不妨碍众多作者在研究结果中对于P<0.05的痴迷，总得有点儿“有意义”的结果，论文才“好看”。但是呢，带来的问题是各种假阳性结果的泛滥。于是乎，就不断有人提出修改目前所使用的统计学显着的标准。
Daniel J. Benjamin等人提出将现行的0.05标准降低到0.005—《Redefine Statistical Significance》于2017.7.22发表在Nature Human Behaviour。
在这篇论文中，70名牛X的科学家支持在研究中提高被广泛使用的统计学显着的阈值，也就是我们常常想尽一切办法获得的P<0.05。这些科学家说，应该把检验水准调整为0.005，目的嘛，就是为了降低发现假阳性结果的可能性，提高科学的可重复性。
而来自荷兰埃因霍温科技大学的心理学家Dani？l Lakens却抱怨道：“这群优秀的人怎么就给出了如此可怕的Bad Advice”。Lakens认为一个更小的α（或者说检验水准），毫无疑问会需要更大的样本量，而这无疑会让一些研究永远无法完成（比如说一些罕见病研究，疾病发生率本来就低，难道要等到患者达到一定的数量才开始搞研究，这显然是极度违背伦理的！）。
Lakens进一步发问道，“既然科学是如此的多元化，那么为什么要把科学研究局限在一个单一的P值上？”
Lakens等人最近也发表了一篇他们自己的论文来提供另外一种选择，这篇文章同样发表Nature Human Behaviour。就文章内容而言并没有什么惊天动地大发现，但是呢，整个论文的成稿过程却绝对会让你叹为观止！ 这篇论文由来自全球100多名作者（既有国际大腕儿Prof.，亦有博士研究生Ph.D.），利用Google docs（一款在线协助编辑工具），为期两个月撰写完成。
用发起者Lakens的话来说，对于这件事应该尽可能地民主化——大家只要想参加就都可以加入进来，不一定都是业界大咖。
老实讲，P值确实不是一个容易让人理解的概念，各种误用误读的情况屡见不鲜，我们在公众号上也在不断地努力倡导大家对于统计分析结果的谨慎解读。正如Lakens提到的，“P值或者检验水准α小于0.05，并不是一个大家想象地那么靠谱儿的研究证据”。
在看到《Redefine Statistical Significance》这篇文章后，Lakens创建了一个名为《Justify Your Alpha： A Response to ‘Redefine Statistical Significance》的Google docs，其中包含了12个话题讨论，比如说“我们应不应该评论或忽略这项建议？”，“重新定义统计显着性的潜在负面影响是什么？”。
接近150名作者参与了这项大讨论，整个文件长达100页。
令Lakens没有想到的是这项讨论参与者的多元化，而那些权威的研究机构代表反而成为了少数，这其中许多贡献者都分享了他们的个人经验。一些人认为他们没有能力为了满足这项“新标准”（α=0.005）而开展一项大型研究，并且招募到足够多的研究对象。
另一些人则担心，降低α可能会强迫研究者报告所谓的“方便样本”（Convenience Samples），例如，纳入过多的本科生（最听话，也最容易获取研究样本~），或者把研究搬到网上（大家自愿参加~）。
批评者也认为大型研究同样不太可能被重复，并且一个更苛刻的α可能会迫使研究者不愿意冒风险去攻克难题。
在整个讨论过程中，尽管有各种分歧，参与者也达成了一致——即把α设定到0.005同0.05一样“武断随意”。一个关键问题在于，α=0.005的产生是依赖于已经搞清楚的研究问题，并且考虑获得一个错误答案的风险而制定的。事实上，具体问题要具体分析——在初步的探索性研究中，研究者愿意接受一个存在假阳性风险的结果；但是，在药物临床试验中却可能需要一个更低的α。
Lakens等人正是基于这项讨论的主要内容而完成了这篇论文。Lakens激动地回忆着整个过程：
看着这份文档不断变化是如此令人难以置信。每一位参与者共同增加、删除、再增加内容，不断有新的讨论出现。大家一致同意承担某些特定任务，例如，添加参考文献、检查标点符号。当我们不得不缩短整篇文章时，大家又一同商量删除哪些不必要的内容。当手稿不断接近最终的成稿时，一些参与者会因为不同意某些内容而退出，最终87名参与者同意成为这篇论文的共同作者。
Daniel Bradford，一位来自威斯康星大学麦迪逊分校临床心理学博士研究生，一开始对于这种众包式的论文撰写工作是持怀疑态度。Bradford分享道，“我之前仅仅和5位作者共同完成过数篇论文，并且认为只有少于这个数量的作者才能让论文的整个撰写过程更加高效，而这一次的经历改变了我看法”。
（众包，一种特定的获取资源的模式，这种模式下，个人或组织可以利用大量的网络用户来获取需要的服务和想法——维基百科）
最终，这篇论文建议将“Statistically Significant（统计学显着）”的标签一起摒弃，取而代之的是，研究者应该阐明对于研究设计和数据解读的考虑，包括检验水准——α可能是0.05，也可能是0.005，或者0.10。
Redefine Statistical Significance作者之一Valen Johnson教授，却认为这并不能解决什么问题，“允许每一篇论文的作者自行决定统计学显着α的标准，是一个疯狂的建议！根本没有足够的资源来对每个α的理由进行彻底和公正的考察，问题的关键是，并不清楚如何来证明作者所提出的α在实践中是否行得通。”
ps：尽管对于P值的争论仍在继续，但是作者脑洞大开地采用众包的形式开展一项学术讨论确实令人眼前一亮，传统的学术研究是否也要拥抱互联网+？
版权声明：
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章，或“梅斯号”自媒体发布的文章，仅系出于传递更多信息之目的，本站仅负责审核内容合规，其内容不代表本站立场，本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料，版权均属于梅斯医学所有。非经授权，任何媒体、网站或个人不得转载，授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章，或“梅斯号”自媒体发布的文章，仅系出于传递更多信息之目的，本站仅负责审核内容合规，其内容不代表本站立场，本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
在此留言
#Google#
49