RCT的质量评价
2017-11-24 国际护理科学 国际护理科学
和大家分享了撰写RCT研究方案的SPIRIT声明和研究报告的CONSORT声明,我们明确了RCT研究方案和研究报告的撰写规范。那么对于一篇撰写完成的RCT我们应该如何评价?如何分析其研究质量的优劣呢?今天我们就来一起学习一下RCT的质量评价方面的内容。
一般来说,针对一篇科研文章,可以从两个方面进行评价,即真实性(validity)和精确性(precision)。
真实性是指一系列观察或研究所作推论的准确性(accuracy),即所得结果反映研究对象真实情况的程度。临床医学的研究目的是从样本人群中,将获得的研究变量和结局变量之间的真实联系,推广到样本以外的目标人群中。它主要包括两个方面的内容:内部真实性(internal validity)和外部真实性(external validity)。内部真实性是指:单个研究结果接近真实值的程度,即受各种偏倚因素,如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。外部真实性又称为适用性(applicability),主要是指研究结果是否可以应用于研究对象以外的其他人群,即研究结果的使用价值与推广条件,主要与研究对象的特征、干预措施和结局指标的选择标准有关。一项无内部真实性的结果,不可能具备外部真实性,但具有内部真实性,不一定就具备外部真实性。所以我们在评鉴一篇文献时,首先应该关注其内部真实性,然后再探究其外部真实性。
精确性又称可靠性(reliability)或者可重复性,是指机遇导致随机误差的可能性范围,它可以用每一项研究效应大小估计值的可信区间来表示。通俗来讲,就是进行多次重复试验或者进行多次测量,结果相符合的程度。在相同的样本量下,可信区间越窄,其研究的可靠性越高。而样本量越大,结果的估计就越精确。
在制作系统评价时,我们常常需要对纳入的每一篇文献进行质量评价。这个时候我们的评价主要是针对研究本身的评价,即为研究的内部真实性评价,了解该项研究的方法学质量如何,是否存在各种偏倚风险。目前,随着证据推荐分级的评估、制定与评价(Grades of Recommendation, Assessment,Development and Evaluation,GRADE)系统的出现,我们撰写系统评价时,不仅要对单个研究进行质量评价,更需要对证据体的总体质量进行评价。其评价也更加全面,包括5个针对RCT的降级因素(偏倚风险、不一致性、间接性、精确性和发表偏倚)和3个针对观察性研究的升级因素(效应值很大、可能的混杂因素会降低疗效和剂量效应关系)。由于GRADE系统内容较为复杂,在这里不做详述。
聚焦到RCT的质量评价上,目前最常用的RCT质量评价工具就是Cochrane风险偏倚评估工具(risk of bias, ROB),见附表。它主要是通过评价RCT设计,实施和结局评价等各个方面可能存在的偏倚风险来了解其内部真实性。它从6个领域对偏倚风险进行评价,每个指标的评价分3个等级:低偏倚风险,偏倚风险不确定,高偏倚风险。
Cochrane 风险偏倚评估工具
接下来我们就结合实例---文献漫游第8期的RCT(公众号内回复“Shelly-Anne原文”可获取原文)来对该文章的质量进行评价。
①随机序列产生:文中描述“using a sequence of random numbers generated from a computer algorithm provided by an external randomization site.”提示通过计算机随机数字生成器产生的随机序列,所以这里可以是低偏倚风险。
②分配隐藏:文中描述“The block size was unknown to the investigators to ensure allocation concealment. ”结合上一句话,该随机分配方案是由外部的随机化中心进行,而且采用区组随机化的区组大小也对研究人员进行了隐藏,可以考虑分配隐藏方面是低偏倚风险。但严格来说,该过程中从随机分配方案制定到受试对象入组的过程细节描述并非很清晰,入组过程中是否有研究人员参与其实很难判断,所以判定为偏倚风险不确定也有道理。
③对研究者和受试者实施盲法和④研究结果盲法评价:文中描述“The participants, study investigators, research assistants, and data analyst were all blinded to the randomization assignment.”提示对受试对象、研究人员和结局评价者均进行了盲法,所以这里可以是低偏倚风险。
⑤结局数据的完整性:文中的figure1患者流程图中,详细说明了从招募到纳入分析的受试者人数,失访的人数以及失访的原因,但是没有给出3个月,6个月和12个月失访人数及原因。从最初入组的50例患者,到最后纳入分析只有34人,失访率达到了32%;到12个月的时候纳入分析的只有28人,失访率达到了44%。高度怀疑缺失的结果数据原因与真实结果很可能相关,给予高偏倚风险。
⑥选择性报告研究结果:文章并未给出研究方案注册的相关信息,所以我们并不知晓其结局报告是否和研究方案一致,所以这部分偏倚风险不确定。
⑦其他偏倚:未发现。所以总体而言,这篇RCT的内部真实性较高。
外部真实性方面
其实就是回答一个问题——其研究结果能够推广到研究以外的目标人群吗?我们就可以从PICO这几个方面来进行评价。
①受试对象:这篇RCT研究的目标人群为慢性主观性耳鸣的患者。从受试对象的纳排标准来看,并非特别严格,与现实中的耳鸣患者情况较为接近,推广到目标人群可能性较大。
②干预措施:个体化的频谱改变的音乐作为声音疗法的载体。这种干预方式在其sound option公司就可以获得。这种干预方式没有明显的副作用,患者的接受度也较高。但可能还要考虑具体的治疗费用等因素。
③结局指标:结局指标主要是耳鸣障碍指数(THI)、耳鸣功能指数(TFI)、医院焦虑和抑郁量表(HADS)。这些量表是了解患者的耳鸣困扰和心理功能常用的量表。所以这篇RCT的外部推广性较高。
精确性方面
该研究属于小样本研究,一共纳入了50例患者,样本量较小,那么研究结果的精确性或者可靠性就越差,作者在其研究局限性部分也进行了说明。
本网站所有内容来源注明为“梅斯医学”或“MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明来源为“梅斯医学”。其它来源的文章系转载文章,或“梅斯号”自媒体发布的文章,仅系出于传递更多信息之目的,本站仅负责审核内容合规,其内容不代表本站立场,本站不负责内容的准确性和版权。如果存在侵权、或不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
#评价#
45
学习了受益匪浅
87