医学研究能全信吗？答案或许没那么乐观

科学领域中，存在很多社会公众密切关注的问题。对于这些问题，主流科学界也往往会给出一个相应的说法。不过，科学家们肯定免不了会出错。有时他们的研究结论甚至会彼此矛盾。比如有些研究认为，手机辐射跟脑癌之间存在关联，有些研究又说这种关联证据不足。有时候他们说大蒜可以降低有害胆固醇，有时候又说大蒜其实不能降低有害胆固醇。这常常让公众感到无所适从。那么，遇到这种情况应该怎么办呢？

a.以最权威科学家，比如诺贝尔奖得主或者Nature杂志上论文，的意见为主。
b.以科学家中的“主流意见”（如果“主流”真的存在的话）为主。
c.以最新发表的意见为主。
d.别当真，科学新闻可以当娱乐新闻看。

如果这条新闻说的是最新的医学研究，那么理性的选择是：（d），别当真，就当娱乐新闻看吧。

那些写在晚报副刊上的各种所谓健康指南，连看都别看。而那些刊登在主流媒体上，有最新的论文支持的科学新闻，比如说英国某个团队又发现什么东西对儿童智力的新影响了，我们大概可以看，但是看完就忘了也没有太大问题。

更进一步，如果这条新闻说的是最新的营养学研究，比如吃什么什么维生素对身体有什么什么好处或坏处，那么哪怕是发表在最权威医学期刊上的那些高引用率论文，也可以全部忽略。

说这句话的人叫 John P.A. Ioannidis，他去年刚刚被任命为斯坦福大学预防医学研究中心主任。Ioannidis 说，“ignore them all”. 他攻击的不仅仅是营养学，而是整个医学研究。2005年，Ioannidis 发表两篇论文，证明大部分医学研究都存在问题。这两篇论文在医学界被引用好几百次，但是没多少人说他这个看似无比偏激的结论是错的。甚至没人表示惊讶。所有搞医学研究的科学家都知道这个秘密：医学研究确实算不上严密。

John P.A. Ioannidis | med.stanford.edu

不过，这件事一直到2010年底才引起公众的关注。首先是《亚特兰大月刊》发表充满愤怒的长文，标题采用英国首相和马克吐温发明的著名句式：“谎言，该死的谎言，和医学研究”。《时代周刊》立即跟进，并把结论进一步精简为“90%的医学研究都是错的”！《时代周刊》这篇报道说，现在已经有人开始真正认真地重新审视整个医学科研，而且立即发现了几个与我们此前的知识完全相反的结论，比如说：没事儿自己检查乳房，不但不会降低乳房癌的死亡率，没准还有坏处；其实科学家并没有足够证据说注射流感疫苗对防治流感有效。当然，以上两个更新的知识也未必可靠，但为什么Ioannidis做出如此猛烈的攻击，他说的话是否有道理？我们必须看看他到底说了什么。

2005年发布在《Plos Medicine》的文章引用次数已经超过三千次

他一篇发表在PLoS Medicine 上的文章说，在医学研究中被广泛使用的统计方法，其实是个非常脆弱的体系。如果你的一项研究是考察某种药物对人的健康是否好处，而你希望能证明有好处的话，你将很容易做到这一点。首先，现在大部分医学科研研究的效应其实都是比较微弱的，因为“不微弱”的效应别人早就研究完了。其次，也许一个病人的病情并没有什么明显好转，但因为你希望这个药物有效，你也许会完全无意识的刻意寻找他好转的证据，你可能会把本来没什么好转的病人当成好转的病人。这就是你的偏见。Ioannidis 这篇论文其实全是数学，他做了一番计算，说如果这个微弱效应有10%，而你的偏见有30%的话，你的实验得到正确结论的概率只有20%。

科学家是有偏见的。他可能因为拿了医药公司的资助而希望证明一个药物的疗效，他更可能为了能在发表有轰动效应的论文而追求惊人的结果。鉴于10%的效应率和30%的偏见率差不多就是一般流行病学研究的水平，我们大概可以说80%的流行病学研究都有问题——当然，这些研究仅仅是研究而已，它们是整个医学研究序列中的一部分，而不是直接指导人类行为的准则。根据同样的计算，小规模随机试验的可信性也只有23%。Ioannidis 这篇文章就是用数学方法证明这种偏见有多可怕。

2005年发表在美国医学会期刊的文章

光玩数学当然不行，批评现实得有真实证据。Ioannidis另一篇发表在 JAMA 上的论文干的就是这个。没有人能把所有医学论文都研究一遍，所以他的做法相当具有戏剧性：他只看1990到2003年间发表在顶级临床医学期刊上的顶级论文，入选标准是被引用超过1000次。符合这个标准的论文一共有49篇，其中45篇声称发现了某种有效的药物或者疗法。

我们都知道科学结果理应是可重复的，我们不知道的是有多少科学结果真的被人重复过。这45篇论文虽然都被引用了千次以上，其中只有34篇被重复检验过。

而后人检验的结果是其中7篇的结论错误。比如有一篇论文说维生素E对降低男子冠心病风险有好处，有一篇论文说维生素E对降低女子冠心病风险有好处，而后来的大规模随机实验则证明维生素E对降低冠心病风险根本没好处。另有7篇论文被发现是夸大了有效性。也就是说34篇经过检验的论文中的14篇（41%）被发现结论有问题。这45篇最权威的论文中只有20篇扛过了时间的考验。

顶级论文尚且如此，一般论文又能怎么样呢？真有90%都不可靠么？我从未发现 Ioannidis 说过“90%的医学研究都错了”这句话，《时代周刊》的报道的确是标题党。

事实上，Ioannidis 说的不是90%错误，而是431/432存疑。Ioannidis 的做法是选择一个热门领域，彻查这个领域内所有的论文。这个领域研究的是男女患各种疾病的风险不同，是否因为基因的影响。在2007年 JAMA 的一篇论文中，Ioannidis 与合作者找到这个领域的所有77篇论文，然后逐篇分析这些论文处理数据的方法是否足够严谨。这些论文一共提出了432个论断，其中只有60个论断可以称得上是方法严谨。而这60个拿的出手的论断中，曾经被其它研究至少重复验证了两次的，只有一个。

所以严格的说，并不是绝大多数医学研究的“错”了，而是不严谨，没有经过考验。如果我们对正确科学论断的要求是方法严谨，结果至少经过两次检验，那么这个领域的合格率只有1/432。如果我们放宽要求，只要一篇论文不被证明是错的，就算它是好论文，那么发表在最权威期刊上的被引用次数最多的医学论文中，有7/45是坏论文。

在这七篇坏论文中，有两篇说维生素E可以降低冠心病风险。但随后于2000年发表在《新英格兰医学杂志》上的一篇文章，通过对超过9000人进行的严格随机实验证明，维生素E根本不能降低冠心病风险。这一结论从此之后再也没被推翻过。那么到底有多少科学家知道这件事儿呢？Ioannidis 等人曾经专门调查了到底有多少论文还在使用“维生素E降低冠心病风险”这个错误知识，结论是一直到2005年，仍有50%的新发论文还在引用前面那两篇错误的顶级论文，并且以为它们是对的。

把学术论文的结论推广到真实世界的真理，有时候是非常危险的事情。因为不理解科学研究的思维方式，导致大多数人对科学有两个重大误解：第一，认为科学研究绝对真理；第二，认为每一项科研都是在生产我们日常决策的答案。真实的科学研究其实一个充满曲折，甚至有时候错进错出的过程。

不过，很多论文不严谨，甚至很多都是错的，这并不表明科学中没有正确答案，它只是表明得到和判断正确答案并不简单。值得注意的是，医学研究通常立足于统计学的方法。由于这些方法本身所具有的缺陷，所以出现“不靠谱”的研究结果也并不奇怪。这也并不是说所有医学研究全都是不靠谱的——因为缺陷并非不可弥补，研究者可以通过扩大研究规模，延长研究时间等方法，尽量减少干扰因素。不同的研究之间，也存在着结果上的互补关系。事实上，医学研究就是通过这样千千万万的可能会有些不靠谱的研究，逐渐明晰起来，无限逼近最终的正确解。从上述维生素E的研究案例中，我们就可以清楚地看到这一点。

科学报道都是用人类语言写成的，而科学研究使用的却不是人类传统语言。所谓“科学方法”其实是另一套很不一样的思维方式。往后的几篇小文会介绍一下“科学方法”——这种超越了人类本能的思维方式。一个简单的问题是，我们凭什么相信“维生素E不能降低冠心病风险”这个结论是对的？因为有些科学方法比另一些科学方法更可信。我们将说明为什么看新闻不如看论文，为什么看一篇论文不如把多篇论文综合在一起看（称为meta-analysis），以及为什么这么看还是不行。

注： 有一个叫做 Cochrane Collaboration 的国际组织，就正在专门严格审视各种医学研究，并且推出了很多报告，而且他们也采纳了 Ioannidis 提出的审查方法。这个组织特别强调经费只来自于政府，大学和私人捐款，而不拿医药公司的钱。