Adv Sci：基于自监督学习的结直肠癌CT影像基础模型，突破标注瓶颈并领跑 TNM 分期、分子分型及预后预测

结直肠癌（CRC）是全球范围内最常见的消化道恶性肿瘤之一，五年生存率仅约65%。精准的风险分层对于制定个性化治疗方案至关重要。传统的TNM分期体系作为术后病理的金标准，尚不足以完全反映肿瘤的异质性，分子分型（如CMS分型）和微卫星不稳定性（MSI）标志物为精准治疗提供了新的视角。然而，这些分子标志物检测往往依赖昂贵且复杂的分子检测技术，且多基于术后样本，限制了其在术前风险评估中的应用。

CT作为结直肠癌术前评估的关键影像技术，能提供丰富的肿瘤形态学和浸润范围信息，近年来，伴随计算机视觉技术的飞速发展，基于CT的放射组学研究在结直肠癌诊断和预后预测中取得一定进展。但高质量标注数据的缺乏成为制约模型性能和泛化能力的重要瓶颈。 自监督学习（SSL）作为一种无需大量标注数据的深度学习范式，通过利用数据内在结构进行特征学习，近年来在自然语言处理和计算机视觉领域表现出色。医疗领域标注成本高昂，SSL为医学影像分析提供了有效解决方案，已有病理图像等领域的基础模型取得突破，但针对结直肠癌CT影像的大规模SSL基础模型尚处于起步阶段。

针对结直肠癌CT影像标注数据不足的问题，研究人员提出了CRCFound，一种基于自监督学习的结直肠癌CT影像基础模型。研究收集了6332例结直肠癌患者的三维CT图像数据，其中5137例无标注影像用于自监督预训练，剩余1195例带标注的影像用于下游任务微调和验证。自监督预训练采用基于掩码图像重建的任务（MAE），随机遮挡75%的图像块，模型学习从部分可见图像块重建完整图像，从而捕捉潜在的空间和结构信息。模型编码器采用基于Vision Transformer（ViT）结构的堆叠多头自注意力机制，具备强大的特征表达能力。 下游任务涵盖八大临床关键任务，包括TNM分期（T、N、M、整体分期）、MSI预测、CMS分型以及预后预测（整体生存期OS与无病生存期DFS）。此外，融合了中文放射学报告的文本信息，利用预训练的语言模型ChatGLM-6B提取语义特征，结合影像特征实现多模态融合，提升诊断性能。训练过程中，采用5折交叉验证保证模型稳定性，外部数据集进一步验证了模型泛化能力。

图：CRCFound 概述

主要结果

1、TNM分期诊断表现突出

模型在四个TNM分期任务中均表现出显著的优势。结合放射学报告文本信息的CRCFound_report模型在T、N、M及整体分期上的平均AUC分别达到0.889、0.847、0.830及0.774，显著优于未预训练模型。其中，N分期提升尤为明显，预训练模型相较传统模型提升幅度超过20%。Grad-CAM可视化显示，CRCFound模型能够精准聚焦肿瘤及其周围组织，表现出良好的疾病识别能力和解释性。

图：不同TNM分期中的性能比较

2、分子亚型预测能力强 在MSI预测任务中，融合文本信息的模型AUROC高达0.952，超越纯CT模型及传统训练模型约10%。CMS四分类任务中，预训练模型同样显著优于非预训练模型，尤其在CMS1亚型的识别中效果最佳，显示出模型对分子异质性的敏感性。

图：不同模型在MSI和CMS任务中的性能比较

3、预后预测显示独立预测价值 利用Cox回归模型，CRCFound在OS及DFS的风险分层中均表现出显著的统计学意义（DFS HR=4.62，OS HR=7.78，均p<0.001），且多变量分析确认CRCFound为独立预后因子，优于传统仅基于下游数据训练的模型。

图：预训练权重对CRCFound在两项预后任务中预测性能的影响

4、特征可视化揭示优秀的特征表达能力 t-SNE降维聚类分析显示，CRCFound提取的特征在多个任务中样本分类界限清晰，聚类结构明显，尤其是在样本不平衡的MSI任务中表现优异，远超未预训练模型。

图：使用与不使用CRCFound预训练权重在不同诊断任务中特征提取的聚类效果

5、多模态融合提升模型表现 融合放射学报告文本信息显著提升了模型在多个任务中的表现，尤其在TNM分期和MSI预测中尤为明显，说明影像与文本信息的互补性对精准诊断至关重要。

综上，CRCFound基于大规模无标注结直肠癌CT影像的自监督学习，成功构建了一个性能优异且泛化能力强的基础模型。该模型不仅克服了标注数据不足的瓶颈，还在多项临床关键任务中表现出色，涵盖肿瘤分期、分子分型及预后预测，展示了在结直肠癌精准诊疗中的巨大潜力。多模态融合策略进一步提升了诊断准确率，为临床决策提供了有力支持。

尽管本研究数据量较大，且包含多项任务验证，但数据主要来自单一医疗中心，未来工作需引入更多地区和多中心数据以提升模型的普适性和鲁棒性。此外，当前自监督预训练未充分利用放射学报告文本信息，未来可探索影像与文本的联合自监督训练，以挖掘更丰富的跨模态特征。结合其他影像模态（如MRI、PET）及病理图像，有望进一步提升模型对肿瘤生物学行为的理解。此外，多中心、多设备和不同扫描协议下的验证同样必要，以确保临床应用的可靠性。

原始出处

Yang J, Cai D, Liu J, et al. CRCFound: A Colorectal Cancer CT Image Foundation Model Based on Self-Supervised Learning. Adv Sci (Weinh). Published online August 12, 2025. doi:10.1002/advs.202407339