Circulation:做Meta分析,警惕生产“医学假新闻”

2017-12-04 李延龙 医咖会

说起Meta分析,那可是无人不知无人不晓!作为循证医学体系当中等级最高的证据,总是被大家寄予厚望!BUT,你能想象Meta分析也可能会是虚假新闻吗?

说起Meta分析,那可是无人不知无人不晓!作为循证医学体系当中等级最高的证据,总是被大家寄予厚望!BUT,你能想象Meta分析也可能会是虚假新闻吗?

借着Circulation最近发表的一篇文章:《Are Meta-Analyses a Form of Medical Fake News?》,一块儿聊聊那些被我们忽略的现实。

“海量”Meta分析

PubMed中标题检索“Meta-Analysis”,可以检索到75895篇,仅2017年就有13122篇发表见刊(见下图)。当然这其中还不包括那些被杂志直接毙掉的!



(截至2017年12月1日)

已经发表的Meta分析当然也并不意味“高枕无忧”,能不能指导临床实践尚且是后话,保证方法使用得当都是一件颇伤脑筋的事儿。

已经投稿过的小伙伴肯定会发现——Meta分析是越来越难投中了,一些SCI杂志要么拒绝所有的Meta分析,要么宣称只接受那些高质量的Meta分析;当然,也有例外,一些杂志还是很乐于接受的。

循证医学建立伊始,很多学者们就不断地完善Meta分析的方法学,并建立了针对不同研究类型Meta分析的报告规范(例如,经典的PRISMA)。尽管有这些指南和规范,Meta分析的质量并不与其火箭般上升的数量相一致。

质疑声自然不可避免:这些Meta分析真的有价值吗?我们所惯常认为Meta分析是一种等级更高的证据,但是这种证据力度真的比一项靠谱的临床试验更高吗?

Meta分析可能是一个并不完美的观察性研究

尽管纳入的研究类型不同,但是Meta分析归根到底还只是一个观察性研究,因为作者做的并不是原始工作。最开始一些人仅仅注意到一些文章的结果都是关于同一主题,并且它们可能反映某种相一致的结论,但是如何来揭示这一发现?

过去一个常用的方法就是系统阐述这些结果,从中发现某种规律。但是这样的做法需要对每一项研究都有比较好的掌握——追问这些研究在设计或实施方面的差异,可能会发现这些研究结果的差异。

Meta分析就比较简单粗暴——并不需要对每一项研究都了如指掌,而是在筛选文献时,严格按照纳入和排除标准,采取恰当的统计模型对结果予以合并;但是随之而来的问题是:仅仅依赖方法学上的质量并不能忽略这些研究结果的差异,而这是大多数Meta分析作者认为理所当然的——方法对了,结论自然没问题!

事实上,Meta分析仅仅是一种合并数据的方法,并根据原始研究的样本量大小予以加权,但是并没有考虑到这些原始研究的质量(不单单是论文发表时的质量评价)。

一项大样本研究可能在实际开展过程中并不理想,同时会受到来自缺失或问题数据的困扰,但是在Meta分析的效应值合并时却占据较大的权重;然而,另一项无可挑剔的小样本研究却因为结局事件发生数较少,被给予较小的权重。

Meta分析增加了结果估计的精度(合并多项研究增加了样本量),但是这并不代表会获得一个较高的准确度。问题是,为了获得这样一个更窄的置信区间,我们可能盲目地将不同设计、不同剂量或给药周期等存在明显差异的研究进行合并。

这有点儿类似于评价一个球队的季后赛表现,目光紧紧盯着几项比赛第一局结束时的比分差异(数据至上),不去关注场上比赛的两队到底是谁,球队策略是否差异(先发制人vs.后程发力)。

使用这种方法来判断某一个球队在整个季后赛表现如何,其结论可能会贻笑大方——全面分析一个球队过去一整年的表现,要比仅仅观察几局比赛结果更有说服力。这也是为什么有的学者认为相比某些Meta分析,一项大型的、设计合理的、高质量完成的研究的结果更靠谱。这个结论并不奇怪,因为这些Meta分析只能产生假说,我们更期望能通过有确证性的RCT来检验这个假说。

除此之外,即便所有的Meta分析都按照规范,严格执行纳入和排除标准,没有方法学上的问题,但是仍有某些问题是需要额外予以关注的。

1、Meta分析的结论不应该依赖于小样本事件

我们常常认为对于结局事件发生例数较少的研究,通过Meta分析合并这些研究,是一个行之有效的分析思路。即使这确实能起到一定的作用,但是合并分析的总事件例数仍然尤为重要。

假设纳入10项研究,每一项研究的结局事件数都小于5例,最后Meta分析也只能依赖于不足50例的结局事件予以合并估计。即便这种估计比单独看每一项研究要更加精确,但是依赖于如此少的结局事件仍无法提供一个可靠的结论。一项Meta分析要想得出一个稳定的、可信的估计,总的事件数应该在200-300(事实上,有多少Meta分析达到这一标准呢?)。

2、警惕那些依赖间接比较研究的Meta分析

头对头(Head to Head)临床试验是一种常见设计方法,是以临床上已使用的药物或器械为对照的临床试验,目的在于比较两种已经确认有效的治疗方法的有效性和安全性(尤其是后者)。我们在做Meta分析时,想要比较A和B两种治疗方法哪一种更优秀,纳入“头对头”临床试验自然是最佳的选择。

但是如果无法获得这样的数据呢?有的研究者尝试纳入间接比较的研究来估计两者之间的差别,比如,某项原始研究分别比较了A、B、C与共同对照D之间的疗效,就是没有比较A和B,此时可以尝试把这类研究中的A和B都提取出来,各自合并后再做比较。

然而,这样一种分析思路并不见得会得到一个靠谱的结果。例如,一项依赖间接比较的Meta分析发现萘普生比其他非甾体抗炎药物(NSAIDs)更安全[2]。然而,在随后的一项大型确证性临床试验当中,并没有观察到萘普生有任何安全性方面的优势[3]。

3、Meta分析不应该纠缠于那些已知的结论

Meta分析的价值在于比那些简要汇总数据能提供更多信息。比如,多项大型临床试验都证实3种β受体阻滞剂(比索洛尔、卡维地洛、美托洛尔)可降低接近35%的全因死亡风险。

当然可以针对β受体阻滞剂在全因死亡方面有多少优势开展一项Meta分析,但是这样的一项Meta分析并不会增加多少新的高价值信息,何况得到的结论也不一定能推论到其他β受体阻滞剂。一些Meta分析仅仅反复证明了已知的结论,反而掩盖了本可以通过描述发现的有意义的差异(数据合并非万事大吉)。

一个能够提供新发现的Meta分析才是有价值的,当然这也同时需要纳入足够多的高质量的原始研究,只有这样其可靠性才能超过单一的临床研究。然而,对于Meta分析是否更有优势的观点必须最终依赖于回答一个简单的问题:如果过去几十年没有Meta分析,我们对于医学的认知会与现在不同吗?

原始出处:

版权声明:
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题
  1. [GetPortalCommentsPageByObjectIdResponse(id=1896220, encodeId=08d1189622076, content=<a href='/topic/show?id=4a391158248' target=_blank style='color:#2F92EE;'>#MET#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=25, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11582, encryptionId=4a391158248, topicName=MET)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=395f25, createdName=爆笑小医, createdTime=Tue Jun 19 14:22:00 CST 2018, time=2018-06-19, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1887787, encodeId=1d4a188e787cb, content=<a href='/topic/show?id=d56611584ec' target=_blank style='color:#2F92EE;'>#Meta#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11584, encryptionId=d56611584ec, topicName=Meta)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=d8f4110, createdName=guojianrong, createdTime=Thu Jan 04 03:22:00 CST 2018, time=2018-01-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=292614, encodeId=a0e52926140e, content=好文献.难得的好思路, beContent=null, objectType=article, channel=null, level=null, likeNumber=53, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=b5a62240667, createdName=张新亮1853311252142e2fm, createdTime=Sat Mar 03 12:08:45 CST 2018, time=2018-03-03, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1517747, encodeId=7e6e151e74722, content=<a href='/topic/show?id=44156886664' target=_blank style='color:#2F92EE;'>#生产#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=68866, encryptionId=44156886664, topicName=生产)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=37a111112788, createdName=ms1343860338762272, createdTime=Wed Dec 06 11:22:00 CST 2017, time=2017-12-06, status=1, ipAttribution=)]
    2018-06-19 爆笑小医
  2. [GetPortalCommentsPageByObjectIdResponse(id=1896220, encodeId=08d1189622076, content=<a href='/topic/show?id=4a391158248' target=_blank style='color:#2F92EE;'>#MET#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=25, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11582, encryptionId=4a391158248, topicName=MET)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=395f25, createdName=爆笑小医, createdTime=Tue Jun 19 14:22:00 CST 2018, time=2018-06-19, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1887787, encodeId=1d4a188e787cb, content=<a href='/topic/show?id=d56611584ec' target=_blank style='color:#2F92EE;'>#Meta#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11584, encryptionId=d56611584ec, topicName=Meta)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=d8f4110, createdName=guojianrong, createdTime=Thu Jan 04 03:22:00 CST 2018, time=2018-01-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=292614, encodeId=a0e52926140e, content=好文献.难得的好思路, beContent=null, objectType=article, channel=null, level=null, likeNumber=53, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=b5a62240667, createdName=张新亮1853311252142e2fm, createdTime=Sat Mar 03 12:08:45 CST 2018, time=2018-03-03, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1517747, encodeId=7e6e151e74722, content=<a href='/topic/show?id=44156886664' target=_blank style='color:#2F92EE;'>#生产#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=68866, encryptionId=44156886664, topicName=生产)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=37a111112788, createdName=ms1343860338762272, createdTime=Wed Dec 06 11:22:00 CST 2017, time=2017-12-06, status=1, ipAttribution=)]
    2018-01-04 guojianrong
  3. [GetPortalCommentsPageByObjectIdResponse(id=1896220, encodeId=08d1189622076, content=<a href='/topic/show?id=4a391158248' target=_blank style='color:#2F92EE;'>#MET#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=25, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11582, encryptionId=4a391158248, topicName=MET)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=395f25, createdName=爆笑小医, createdTime=Tue Jun 19 14:22:00 CST 2018, time=2018-06-19, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1887787, encodeId=1d4a188e787cb, content=<a href='/topic/show?id=d56611584ec' target=_blank style='color:#2F92EE;'>#Meta#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11584, encryptionId=d56611584ec, topicName=Meta)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=d8f4110, createdName=guojianrong, createdTime=Thu Jan 04 03:22:00 CST 2018, time=2018-01-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=292614, encodeId=a0e52926140e, content=好文献.难得的好思路, beContent=null, objectType=article, channel=null, level=null, likeNumber=53, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=b5a62240667, createdName=张新亮1853311252142e2fm, createdTime=Sat Mar 03 12:08:45 CST 2018, time=2018-03-03, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1517747, encodeId=7e6e151e74722, content=<a href='/topic/show?id=44156886664' target=_blank style='color:#2F92EE;'>#生产#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=68866, encryptionId=44156886664, topicName=生产)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=37a111112788, createdName=ms1343860338762272, createdTime=Wed Dec 06 11:22:00 CST 2017, time=2017-12-06, status=1, ipAttribution=)]
    2018-03-03 张新亮1853311252142e2fm

    好文献.难得的好思路

    0

  4. [GetPortalCommentsPageByObjectIdResponse(id=1896220, encodeId=08d1189622076, content=<a href='/topic/show?id=4a391158248' target=_blank style='color:#2F92EE;'>#MET#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=25, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11582, encryptionId=4a391158248, topicName=MET)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=395f25, createdName=爆笑小医, createdTime=Tue Jun 19 14:22:00 CST 2018, time=2018-06-19, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1887787, encodeId=1d4a188e787cb, content=<a href='/topic/show?id=d56611584ec' target=_blank style='color:#2F92EE;'>#Meta#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=30, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=11584, encryptionId=d56611584ec, topicName=Meta)], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=d8f4110, createdName=guojianrong, createdTime=Thu Jan 04 03:22:00 CST 2018, time=2018-01-04, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=292614, encodeId=a0e52926140e, content=好文献.难得的好思路, beContent=null, objectType=article, channel=null, level=null, likeNumber=53, replyNumber=0, topicName=null, topicId=null, topicList=[], attachment=null, authenticateStatus=null, createdAvatar=, createdBy=b5a62240667, createdName=张新亮1853311252142e2fm, createdTime=Sat Mar 03 12:08:45 CST 2018, time=2018-03-03, status=1, ipAttribution=), GetPortalCommentsPageByObjectIdResponse(id=1517747, encodeId=7e6e151e74722, content=<a href='/topic/show?id=44156886664' target=_blank style='color:#2F92EE;'>#生产#</a>, beContent=null, objectType=article, channel=null, level=null, likeNumber=29, replyNumber=0, topicName=null, topicId=null, topicList=[TopicDto(id=68866, encryptionId=44156886664, topicName=生产)], attachment=null, authenticateStatus=null, createdAvatar=null, createdBy=37a111112788, createdName=ms1343860338762272, createdTime=Wed Dec 06 11:22:00 CST 2017, time=2017-12-06, status=1, ipAttribution=)]

相关资讯

Meta分析基本原理与分析过程介绍

无论是定性变量数据还是定量变量数据,Meta分析的基本步骤是相同的。若异质性过大,应放弃Meta分析,只对结果作统计描述。Meta分析本身并不能提高原始研究质量,并不能克服低质量原始研究的自身缺陷。系统评价遵循设计清晰、有据可循、方法学完善的原则,注意是否存在系统误差(偏倚)和随机误差(由机遇产生),减少其对科研质量的影响,更加客观、更加全面地反映了原始研究文献的观点。 一、循证医学与研究证

Lancet子刊:meta分析显示ACEI类RAS抑制剂在糖尿病视网膜病变中获益更大

最近的一些研究结果陆续表明肾素-血管紧张素系统( RAS)抑制剂对糖尿病性视网膜病变具有潜在的受益价值,但不同学者这一研究结果仍存在争议。《Lancet》最近刊登了一篇中国学者做的系统回顾和荟萃分析来评估RAS抑制剂对糖尿病性视网膜病变的影响。科研人员搜索采集来自自PubMed、Embase Cochrane图书馆主要注册的对照试验,及重要年度会议摘要。研究者将满足随机对照原则并且是比较血管紧张素

BMJ Open:中文Meta分析论文的质量问题仍较明显

研究者对发表在中文期刊的荟萃分析进行了分析,探究该类纳入观察性研究的荟萃分析的流行病学、报告特点、方法学质量等。研究者从5大中文数据库检索了1978-2014.05期间发表的观察性研究荟萃分析文章,使用MOOSE表和AMSTAR表评估荟萃分析的报告特点和方法学质量等。研究者共纳入了607篇荟萃分析,研究数据显示,只有52.2%的荟萃分析评估了原始研究的质量,85.8%的荟萃分析检索信息不全面,此外

Nat Genet:遗传meta分析揭示胶质瘤与非胶质瘤的分子奥秘

一项大规模遗传meta分析,荟萃了包括30,000多人血液样本的大规模研究成果,通过这项分析,研究人员确定了13种胶质瘤新遗传危险因素,这揭示了增加胶质瘤易感性的个体DNA的特殊差异,同时也首次为临床医师提供了一种能区分成胶质细胞瘤和非胶质母细胞瘤等胶质瘤类型的新方法。这一研究成果公布在3月27日的Nature Genetics杂志上。脑胶质瘤由神经上皮细胞恶化演进形成,是成人中枢神经系统中最常见

诊断试验Meta分析怎么做?有图有真相

1、问题与数据 Theron G 等人拟评价MTBDRsl version 1.0方法检测耐药TB患者(利福平耐药TB或MDR-TB)对氟喹诺酮类药物耐药性的准确性[1]。耐药的金标准为基于液态培养皿或固态培养皿的培养药敏测试(culture-based DST)。研究者通过检索数据库,对最终纳入的文献,提取的如下信息:作者、发表年代、真阳性值(TP)、假阳性值(FP)、假阴性值(FN)、真阴性

Int J Cancer:我国学者Meta分析称,他汀或可提高癌症患者生存率,确诊后应用似更有益

近年来,关于他汀是否与癌症有关存在一定的争议。上海曙光医院学者近日发表了一项Meta分析,对55项研究包括110万余例患者,服用他汀治疗有助于提高癌症患者生存率。