述评｜刘辉：人工智能结合多模态影像融合技术在肝脏外科中的应用

肝癌是全球范围内最常见的恶性肿瘤之一，因侵袭性较强且预后较差，其发病率和病死率目前位居前列。国家癌症中心2022年发布的流行病学数据显示，肝癌在我国常见恶性肿瘤中位居第4，在肿瘤致死病因中位居第2，严重威胁着我国人民的生命健康。目前，肝癌的临床诊疗尚存在早期诊断困难、术后复发、复杂肝病缺乏有效治疗手段等问题。传统的肝功能检查、肿瘤标志物检测等临床诊断方法难以直观地反映肝脏的形态和结构变化。超声、CT和MR等影像技术是肝脏疾病诊疗的核心工具，尤其在肿瘤的诊断和分期以及手术规划等方面发挥重要作用。然而，单一的影像技术对于肿瘤的呈现各有优劣，在肝脏疾病的诊断方面存在局限。基于此，多模态影像融合技术应运而生，该技术可以将多种影像数据进行整合，提供更全面的肝脏病变特征，既能清晰显示出肝脏的解剖结构，又能反映组织的功能代谢状态。人工智能技术可以对大量的影像数据进行快速分析与处理，通过机器学习或深度学习支持模型自主学习肝脏和肿瘤的影像学特征，实现病变的智能识别，辅助术前诊断、术中治疗和术后预测等，从而有助于肝脏疾病的诊断和治疗。多模态影像融合与人工智能技术的结合，为肝脏外科的诊疗带来了新变革，具有重要的临床意义。

1多模态影像融合技术原理与特点

不同的成像技术所依据的工作原理不同，其获取影像信息的侧重点也不同。CT基于不同组织对X射线吸收程度的差异性生成影像图像，侧重于显示肝脏的解剖结构、肝内血管和胆管的走行、病变的大小及与周围组织的关系；MRI利用磁场和射频脉冲，通过多序列和多序列扫描获取肝脏的形态结构和功能信息，具有高软组织分辨能力，可以检测肝内的微小病灶，多功能成像可以呈现肝脏的代谢状态、水分子扩散情况等；超声技术根据不同组织对超声波的反射和散射特性形成图像，能够实时观察肝脏的形态和血流动力学变化；正电子发射断层成像（PET）利用放射性示踪剂，检测其在体内的代谢分布情况，反映肿瘤细胞的代谢活性。多模态影像融合技术是利用不同的成像方式对肝脏组织特性反映的差异，将多种影像数据进行整合，从而获得更多信息的融合性图像。通过特定的算法将来自不同成像技术和不同层面的影像数据在空间和时间上进行精确配准，再运用融合算法将多种影像数据进行合并，最终获得更全面的融合图像。多模态影像融合技术既能清晰显示肝脏解剖结构，又能反映组织的功能和代谢信息，辅助临床医生对疾病进行精确诊断与治疗。 

2人工智能技术在肝脏疾病中应用的技术原理与特点

在肝脏疾病的影像分析中，机器学习和深度学习是最常用的人工智能算法。机器学习算法包括支持向量机和随机森林等。支持向量机通过在特征空间中寻找最优的分类超平面，实现对肝肿瘤的有效分割；随机森林基于决策树构建多个分类器，并将多个决策树的结果进行投票或平均，得到最终的预测结果，具有抗噪声、自动筛选特征变量等优势。随着计算机辅助诊断技术的快速发展，深度学习方法在医学图像分析中的应用日益广泛，其中卷积神经网络是应用最广的处理方法。该方法通过卷积层和池化层自动提取影像中的局部特征，自主学习肝脏和肿瘤的图像特征，从而实现对肿瘤的精准分割。在深度学习中，高通量的图像特征可以直接从深度神经网络中提取，自动从图像中学习全局特征，能够实现端到端的快速分析，适用于大数据处理。在图像分析处理中，人工智能技术对多模态影像的特征提取包括形态学和纹理特征。形态学特征提取包含肝脏及病灶的大小、体积、直径和形状等参数；纹理分析则是通过量化影像灰度值的局部特征、分布模式和变化规律等，反映组织的微观结构及肿瘤进展的异质性。人工智能技术能够自动学习多种影像特征，实现对病灶的自动识别，可提高肝脏疾病诊断的效率与准确性。 

3人工智能与多模态影像融合技术在肝胆外科的实践

3.1   肝脏疾病的诊断

多模态影像融合技术整合CT、MRI和超声等多种影像模式的优势，为人工智能模型提供了更为全面和丰富的影像数据信息。人工智能对融合后的多模态影像进行分析学习，使得模型可以自动识别病变区域，从而提高诊断准确率。魏星月等利用多模态超声成像数据，结合机器学习算法搭建慢性肝病的智能分级诊断系统。研究结果显示，该系统对肝纤维化和肝脏炎症分级的诊断效能较高，其受试者操作特征曲线下面积（AUC）值均>0.8，尤其对中重度肝脂肪变性的诊断性能优异（AUC=0.92）。在肝纤维化分级研究中，多模态特征模型的AUC值均高于APRI、FIB-4、TE、SWE 4种单一模型（0.81 vs 0.40、0.57、0.69、0.49），表明多模态特征模型具有更好的诊断效能。Wang等基于CT图像，结合卷积神经网络构建了用于诊断肝纤维化分期的深度学习模型。结果显示，该模型对显著肝纤维化、进展期肝纤维化和肝硬化的诊断性能均优于临床指标模型APRI和FIB-4（显著肝纤维化AUC值：0.875、0.692、0.713，进展期肝纤维化AUC值：0.900、0.673、0.714，肝硬化AUC值：0.857、0.653、0.701），提示该模型比临床指标模型更适用于肝纤维化分期的诊断。Zhen等基于MRI和深度学习开发了肝肿瘤鉴别诊断系统，融合了6个MRI序列（T2WI、DWI、增强前期、动脉晚期、门静脉期和平衡期），对7类肝脏病变进行分类。结果显示，其在未增强图像中区分肝脏良、恶性肿瘤的诊断效能较高（AUC值分别为0.946和0.951）。将模型与临床数据结合后，进一步提高了分类性能，对肝细胞癌、转移性肿瘤和其他原发恶性肿瘤诊断的AUC值分别为0.985、0.998、0.963，研究结果显示模型诊断与病理诊断的一致度为91.9%。因此，通过将多模态影像融合技术与深度学习模型结合，可实现对影像特征的综合分析，从而提高肝肿瘤诊断的准确性。 

3.2   手术规划与评估

3.2.1   手术可切除性评估

多模态影像融合技术通过可视化和数据化显示肝脏的解剖结构和肿瘤特征，结合人工智能技术在虚拟环境中模拟不同的手术切除方案，为肿瘤可切除性评估提供重要依据。在模拟肝切除手术时，利用多模态影像融合技术可以清晰显示肿瘤边界，确定手术切除范围，还可采用三维软件自动测定剩余肝体积，计算剩余肝体积占标准肝体积的百分比。目前认为，剩余肝体积大于标准肝体积的30%（肝硬化患者需>40%）是施行手术切除的安全保证。因此，通过计算剩余肝体积，可确保术后患者有足够的肝组织维持正常生理功能，以减少术后肝功能衰竭等并发症的发生，提高围手术期的安全性。Ali等利用人工智能自动生成的肝脏虚拟模型进行肝切除复杂性的预测，通过划分特定的“肝中央区”作为三维结构框架，并提取肿瘤与“肝中央区”的空间关系等量化指标，构建手术难度预测模型。研究结果显示，该模型在145例肝细胞癌患者中的预测准确率达79.4%，AUC值为0.851，其表现优于5位高年资外科医师。该研究为基于解剖风险的肝切除手术难度评估提供了客观量化依据，有助于术前评估肿瘤的可切除性。 

3.2.2   三维重建与手术模拟

肝脏具有复杂的解剖结构和血管系统。传统的二维影像难以全面直观地显示肝脏的精细解剖结构。多模态影像融合技术结合人工智能的三维重建技术，可以整合CT或MRI等影像数据，采用深度学习算法自动分割出肝脏、肿瘤、胆管及周围血管等结构，构建肝脏的三维立体模型，直观显示肝脏的解剖结构、脉管走行变异、肿瘤的大小位置及供应血管。在肝脏三维虚拟模型中，外科医生可以从任意角度观察肝脏的解剖结构，对肝段的划分、重要血管和胆管的位置有更直观准确的认识，可以为手术规划提供更加全面的解剖学信息。在中央型、巨块型肝肿瘤切除等复杂肝脏肿瘤手术中，三维重建模型可以精准定位肿瘤，清晰显示肿瘤与周围重要结构的解剖关系，全面量化评估肿瘤及血管流域体积，辅助制定合理的肝切除方案，规划手术路径，并进行肝切除模拟。同时，利用虚拟现实和增强现实等技术，外科医生可以对手术过程进行模拟操作，提前针对手术中可能出现的问题制定应对措施。程聪等对三维可视化技术辅助肝癌手术的有效性和安全性研究结果表明，与常规肝切除术组相比，三维可视化辅助肝切除术组的术中出血量明显更少、手术时长更短、术后住院时长更短，且术后并发症发生率更低。因此，三维可视化技术不仅能实现术前对复杂肝脏解剖结构和肿瘤的可视化，还能利用模拟手术优化手术方案，从而减少手术并发症的发生。 

3.2.3   术中导航与定位

在肝脏手术中，将术前的多模态影像数据与术中的超声、荧光成像等实时影像进行融合，可以实现术中实时导航与定位。利用人工智能算法进行图像配准和分析，可以在术中实时了解肝脏的解剖结构和肿瘤的位置，为手术操作提供实时指导。Zhang等在一项原发性肝癌腹腔镜肝切除手术的研究中发现，与对照组相比，术中导航组的手术出血量更低（200 mL vs 300 mL）、术后住院时间更短（8 d vs 10 d）、术后随访患者总体复发率更低（25% vs 39%），表明该技术有助于精确手术切除范围，降低术后并发症的发生率，从而提高长期生存率。吲哚菁绿（ICG）荧光成像结合多模态影像融合技术也可用于术中导航。ICG能够在肝癌组织中特异性聚集，术中采用此技术可以实时显示肿瘤的位置和边界，从而引导手术切除，简化手术难度，提高肿瘤的根治性。岳珂珂等在腹腔镜肝切除术中应用ICG荧光成像技术进行引导，研究发现，与对照组相比，ICG引导组肝门阻断时间更短［（30.31±6.09） min vs（33.60±5.75） min］，且术后6个月随访肿瘤的复发率更低（6.45% vs 14.29%）。Hu等在ICG荧光技术引导腹腔镜肝切除术的疗效和安全性研究中发现，ICG荧光技术引导的肝切除术显著缩短了手术时间（MD=-23.25），减少了术中出血量（MD=-51.04）和输血率（OR=0.43），同时提高了R0切除率（OR=2.93），并且降低了术后并发症发生率（OR=0.59），表明ICG荧光成像技术可作为术中实时导航的有效手段，且术后安全性较高。此外，基于患者术前影像重建的肝脏三维模型可以清晰显示肝脏结构、肝动静脉、胆管的走行以及肿瘤的位置和形状，手术中利用增强现实技术将肝脏模型配准至手术视野，可获取肝脏内部组织的结构信息，为术中决策提供依据。 

3.3   肝癌术后复发预测

肝癌术后复发率较高是影响患者生存率的主要因素，而术后复发在早期出现往往提示患者预后可能更差。多模态影像融合技术结合深度学习或机器学习等方式，通过分析术前影像特征、临床数据指标及病理信息等，可构建预测模型来评估患者出现术后复发的风险。Lv等基于对比增强CT构建肝细胞癌复发率预测模型的研究结果显示，临床结合深度学习的影像组学模型（CDLRM）的诊断性能优于放射学模型（RM）和深度学习影像组学模型（DLRM），AUC值分别为0.831、0.796和0.732，表明CDLRM模型可以提高肝细胞癌术后复发的预测性能。Liu等开发了基于对比增强超声的深度学习算法，以预测射频消融或手术切除后的复发概率，其在内部验证队列中的C指数均较高（分别为0.73和0.74），该模型可以为小病灶肝细胞癌的术后复发提供有效的预测工具。Wang等基于MRI图像利用多任务深度学习建立了肝癌预测模型，证实该模型不仅可以预测肝细胞癌的微血管侵犯，还能预测无复发生存期。李鑫等基于深度学习CT影像术前预测肝癌患者微血管侵犯的研究显示，深度学习模型［AlexNet模型（AUC=0.865）、VGG16模型（AUC=0.892）、ResNet50模型（AUC=0.937）］的预测性能显著优于临床预测模型（AUC=0.84）。而微血管侵犯与肝切除术后早期复发密切相关，对肝细胞癌患者的预后有重要影响，因此该类模型可为术后复发预测提供有力参考。 

4展望

肝脏疾病的诊疗是由多学科协作共同完成的，人工智能与多模态影像融合技术的深度结合，为肝脏外科的精准诊疗带来了新变革，推动肝脏外科领域向精准化、数智化方向发展。未来，人工智能在肝脏外科的应用将更趋于多维度数据的融合分析，通过将患者既往情况、临床检查指标、病理检查结果、影像学特征以及基因组学等相结合，形成多维度的评估体系，为患者的术前诊断、术中治疗和术后预测等过程提供更全面、准确的依据。同时，随着互联网技术在医疗领域的不断发展，远程医疗的应用越来越广泛，人工智能、多模态影像融合技术与远程医疗的结合可为肝脏疾病的诊疗提供新模式。基层医院可以通过远程医疗平台上传患者的检验结果、影像信息等数据，利用人工智能进行诊断和分析，为患者提供诊断建议和个体化治疗方案。上级医院则可以通过开展远程会诊，进一步指导患者的临床治疗，提高基层医院对肝脏疾病的诊疗能力，以此改善医疗资源分布不均的情况。总体而言，人工智能与多模态影像融合技术的创新发展正以前所未有的速度重塑肝脏疾病诊疗模式，高效、高质量地服务于临床实践，使精准医疗惠及更多患者。展望未来，笔者团队牵头的“数字肝脏”项目研究将聚焦于通过多学科技术融合，重塑肝脏研究范式。通过整合从宏观至微观的多种成像模态，构建微米精度数字化全肝结构及细胞间相互作用拟态；利用超分辨率超声、柔性传感器等技术，动态监测并量化疾病进程。“数字肝脏”的一系列探索最终可为肝脏疾病的精准预防、诊断与治疗开辟新的道路。

全文下载

https://www.lcgdbzz.org/cn/article/doi/10.12449/JCp51101