CGP数智医疗与信息化研究|基于人工智能的临床决策支持系统早期临床评估的透明化报告

本文来源

雷芳,杜亮,董敏,等. 基于人工智能的临床决策支持系统早期临床评估的透明化报告[J]. 中国全科医学, 2024, 27(10): 1267-1270.

随着人工智能（AI）在医学领域的广泛应用，越来越多基于AI的临床决策支持系统应用于临床诊断与筛查等。早期临床评估对于评价基于AI临床决策支持系统的临床性能、安全性和人为因素具有重要意义，有利于为进一步的大规模临床试验奠定基础，但相关临床研究报告的透明度和完整性尚待提高。2022年5月，基于AI的临床决策支持系统早期临床评估报告指南（DECIDE-AI）正式在线发表。本文将结合DECIDE-AI中的AI相关报告项目及相关文献，探讨基于AI的临床决策支持系统早期临床评估的透明化报告，以期帮助我国系统开发者和研究者更好地理解与应用相关指南，提高基于AI的临床决策支持系统早期临床评估报告的透明度。

01 基于AI的临床决策支持系统的预期用途

基于AI的临床决策支持系统的早期临床研究报告需要对系统的目标用户、临床应用场景和预期效果进行适当描述。基于AI的临床决策支持系统融合了多种跨学科知识和技术，对用户有一定的要求，包括专业、培训水平、计算机技术等；此外，对于基于AI的临床决策支持系统的临床应用场景和预期效果的描述，包括其适用范围、可能给现有临床路径带来的改变和影响等，不仅有利于增加临床医生或患者对基于AI的临床决策支持系统的了解，提高其对基于AI的临床决策支持系统的信任和满意度，也可促进基于AI的临床决策支持系统的传播和应用。

02 研究过程的透明化报告

2.1 参与者

AI诊断工具相关的Meta分析显示，大部分研究存在较高的患者选择偏倚风险。患者选择偏倚不仅影响AI诊断模型的推广，更重要的是，可能会产生系统错误，即输出错误的结果。因此，应加强患者招募过程的透明化报告，从患者和数据层面报告纳入与排除标准，以及患者招募数量的确定方法。基于AI的临床决策支持系统的参与者除患者以外，还包括用户，用户与基于AI的临床决策支持系统之间的交互也将对系统性能和研究结果产生影响，因此不仅需要报告用户的招募过程以及纳入与排除标准，还需要描述用户熟悉基于AI的临床决策支持系统使用所需时间和工作量，但DECIDE-AI不推荐从数据层面排除用户。此外，研究者也可在临床试验注册平台进行预注册，这是提高临床研究过程透明化的重要途径，同时这也符合《赫尔辛基宣言》、WHO和国际医学杂志编辑委员会对临床试验注册的要求。

2.2 基于AI的临床决策支持系统

基于AI的临床决策支持系统可能会经历多次迭代和更新。有研究表明，与决策支持过程相匹配的算法可在一定程度上减少系统的固有偏倚。除了算法，基于AI的临床决策支持系统的另一大核心便是数据，大多数基于AI的临床决策支持系统需要大型数据集来进行训练和验证，因此数据的获取、输入以及处理均在一定程度上决定了基于AI的临床决策支持系统的性能。基于AI的临床决策支持系统输出方面，输出内容和呈现方式一定程度上影响了用户对系统的使用和接受度，而良好的人机交互建立在合理的用户界面设计基础上。为此，研究者在研究设计和撰写研究报告时，均应仔细考虑并描述算法类型和版本、输入数据相关信息以及输出内容和交互界面设计等。

2.3 实施

在实施方面，与AI临床试验报告统一标准（CONSORT-AI）和AI临床试验方案报告指南（SPIRIT-AI）不同，DECIDE-AI除了要求报告基于AI的临床决策支持系统的输出如何应用到临床决策外，还要求清楚描述评估环境，如医疗中心的类型和规模、软硬件支持等。这些环境因素可能会影响数据的获取或测量，进一步影响输出结果。研究者还需要报告最终的临床决策是如何形成的、用户使用系统情况及对现有诊疗和护理流程的重要改变，这可能在一定程度上反映了基于AI的临床决策支持系统的可用性和临床实用性。

2.4 安全和故障

安全问题是医学AI项目的首要问题，其涉及各种法律和伦理问题，并贯穿整个临床研究和实践过程。因此，在大型临床研究前，对基于AI的临床决策支持系统进行安全评估尤为重要，可避免造成灾难性后果。当然，在使用基于AI的临床决策支持系统的过程中，安全风险或故障不仅涉及系统本身，软硬件支持和用户使用情况也可能会产生错误。如何识别这些故障、如何评估患者安全风险、如何最小化患者伤害，均需要研究者提前制定好相应的安全风险预案，并详细报告。

2.5 人为因素

人为因素的评估主要围绕用户的使用情况，即可用性。可用性是指一个产品可以被指定用户使用，并在指定使用情景中有效地、有效率地、满意地达到指定目标的程度，这直接影响了用户对系统的接受度。研究者可采用量表、问卷调查等方式，从满意度、完成任务的效率和工作量等方面进行评估。如广泛用于系统可用性研究的系统可用性量表（SUS）可快速评估可用性，该量表包含10个条目，每个条目的得分为0~4分。另外，也可采用净推荐值（NPS），即用一个简单的问题来评估用户的满意度。事实上，生活中类似的NPS调查也很常见，如"你向朋友推荐XX产品的可能性有多大？"或"你会向你的朋友推荐XX产品吗？"。关于如何选择恰当的方法，可以参考相关指导文件。

DECIDE-AI指出，报告中需要对结果是否支持基于AI的临床决策支持系统的预期用途、安全提示进行充分阐述，这充分体现了早期临床评估的目标，即临床应用性和安全性。在临床应用性方面，研究者应根据研究结果客观描述系统的临床表现，避免夸大其应用潜能，这将对后期是否继续优化和完善基于AI的临床决策支持系统以及是否进一步进行临床验证提供重要的证据支持，避免不必要的人力、物力和财力的浪费。对系统安全性的讨论可促进基于AI的临床决策支持系统优化，并增强用户或患者对系统的信任。

03 伦理

基于AI的临床决策支持系统在促进医疗服务质量提升和生产力提高的同时也带来了一系列伦理挑战，比如患者的数据隐私、系统的准确性、算法偏见等。尽管在医疗AI项目中，医疗保健数据集通常在开发人员使用前被去识别化，但软件也有可能通过与其他数据之间的交叉引用来重新识别底层个体。2022年3月，发布的我国首个国家层面的科技伦理治理指导性文件《关于加强科技伦理治理的意见》提出，科技伦理是开展科学研究、技术开发等科技活动需要遵循的价值理念和行为规范，是促进科技事业健康发展的重要保障。2023年2月由国家卫生健康委、教育部、科技部和国家中医药局联合发布的《涉及人的生命科学和医学研究伦理审查办法》强调了伦理审查的重要性，并指出"涉及人的生命科学和医学研究应当尊重研究参与者，遵循有益、不伤害、公正的原则，保护隐私权及个人信息"。在基于AI的临床决策支持系统的开发和应用中需要始终坚持"伦理先于技术"的原则，必要时可采用适当的技术方法或伦理学方法以降低相关伦理风险，如隐私计算技术可使数据"可用而不可见"，避免隐私数据泄露。AI相关的伦理内容与传统医学伦理并不完全一致，因此应当加强AI相关医学伦理的宣传与审查。学术期刊作为研究结果的重要传播平台，应发挥好宣传与审查作用。然而，根据本课题组的调查，目前鲜见医学期刊更新投稿指南或作者须知并补充AI相关的医学伦理要求。

04 数据共享

如前所述，算法和数据是基于AI的临床决策支持系统的两大核心，分享相关数据一方面可供读者验证研究结果，另一方面也可促进交流、完善算法代码，同时这也符合透明化和可重复性原则。数据获取是验证和共享AI产生的科学知识的方式。数据共享不仅是为了促进科学发展，同时也是为了提高科学的严谨性。由于AI研究与代码和数据密不可分，因此应该更加强调代码和数据共享，深化AI相关临床试验的价值，预防错误、欺诈或偏倚。因此，除了声明利益冲突外，研究者还应该声明相关数据和代码是否可获取以及如何获取。随着开放科学时代的到来，数据共享将变得越来越重要。

05 总结

随着AI在医学领域的广泛应用，为增加研究报告的完整性和透明性，相应的报告规范（指南）不断地被开发出来。DECIDE-AI为基于AI的临床决策支持系统的研究报告提供了一个框架，以帮助开发人员和研究者报告开发、实施和评估过程中的关键信息，该指南主要关注了早期临床评估的3个方面：小规模临床使用的临床实用性、安全性和人为因素。为进一步促进DECIDE-AI的传播，加强相关研究报告的规范性、完整性和透明性，同时为研究者在研究设计、方案制定和研究注册过程中提供参考标准，建议学术期刊将DECIDE-AI纳入稿约或作者须知。但由于基于AI的临床决策支持系统在临床应用中可能面临多种多样的问题和挑战，因此研究者在运用该指南时，需要根据实际情况进行调整和改进。