ACC.26 现场专访丨袁昕教授：AI模型评估心脏外科手术技术，从训练学习到质量评价的探索

研究亮点——AI在真实手术场景中评估复杂心脏外科技术

POCKETIN：首先请您为大家介绍一下此次在ACC.26大会上汇报的主要内容？

袁昕教授：当前AI研究非常热门，已渗透到人类工作和生活的方方面面。我们汇报的这项研究聚焦于人工智能在外科医生手术技术评价中的应用。与其他既往研究不同的是，心脏外科手术具有高度的复杂性和丰富的操作细节，这一点在外科业内存在广泛共识。本研究的特点在于：第一，在真实手术室实战场景下，让AI对手术技术进行评估；第二，所评价的手术类型较复杂、需要较高的手术技巧。我想我们的研究得以被ACC Investigative Horizons专场接收，正是由于这些研究独特性。

模型构建——从自我学习到模拟人类评分的两步训练法

POCKETIN：这个AI模型如何精准识别并量化反映手术熟练度的关键手术动作与操作细节？

袁昕教授：我们在数据收集阶段花费的时间并不长，但前期的准备工作，包括选择采用何种AI模型，花费了大量时间。最初我们考虑使用热力图等方法使AI的思维过程可视化，但最终决定第一步采用最朴素、最可靠的方法——深度学习模型。我们选择了一个基础的国内开源模型。

整个研究分为两个步骤。

第一步，我们将收集的手术视频输入AI，让AI进行自我监测式的模型训练。在此过程中，我们并未告知AI具体的操作细节，如某段视频中正在执行什么手术步骤。我们采用了一种被称为“mask reconstruction”模型：将视频分为多个切片（clip），每个切片遮挡一部分内容，让AI自行还原被遮挡的部分。通过这种方式，训练AI学习手术野的时空特征。

第二步，在AI掌握了上述能力后，我们让模型学习人类的评分规律，即通过训练使其能够预测人类对手术技术的评分。

应用场景——从手术质量评价到外科医生教育干预

POCKETIN：这个AI模型训练之后的主要应用场景是什么？

袁昕教授：我们研究的目标是让AI学会识别什么是好的手术操作。我们最宏大最长远的愿景是希望AI习得的知识最终能够用于打造真正的AI心脏外科医生。目前所做的工作，恰如医学生的培养过程——我们需要告诉学生哪些操作是好的，哪些是不好的。我们为这个AI模型命名为Camera，它当前的任务正如照相机一样、如实复刻手术操作的优劣。

这个AI模型可以用于多个场景，在研究中，我们设定了三个应用场景。

第一，尝试用AI模型预测患者的近期及远期临床结局，但这一结果为阴性。分析原因，可能是AI仅获取了手术操作的信息，而缺乏患者的基线特征及术后治疗信息，因此AI评分与临床结局之间尚未建立强关联。

第二，用AI评分评价手术质量。在搭桥手术后，我们会使用多普勒超声测量桥血管的血流情况。结果显示，AI评分与桥血管流量的相符程度非常好。因此，AI可用于评价这种手术的质量。

第三，我们开展了一项教育干预的探索性研究。请手术技术评分排名后50%的医生（基于人类专家打分结果）返回观看自己之前的手术视频，AI会在该视频中标注出哪些是好的操作、哪些是不好的操作。医生基于AI的反馈建议打磨手术操作细节。一个月后，我们再次录制这些医生的手术过程，采用人类评分进行评估，结果显示培训后的手术技术比培训前平均提高了9个分数点。由此可见，我们可以期待该AI模型的广泛应用前景。