NBT：基于分层图像特征提取的AI辅助新工具，可以超分辨率预测空间基因表达，实现更快速的癌症病理诊断

导 读

近年来，空间转录组学（ST）技术的快速发展使得检测原始组织环境中的基因表达成为可能，使科研人员能够表征基因表达的空间模式、细胞间通讯以及探讨细胞发育的时空顺序等。理想的ST平台应提供单细胞分辨率、覆盖整个转录组、捕获尽可能大的组织区域并且具有成本效益，但在现有平台上生成此类ST数据仍具挑战性。人们发现采用计算方法在计算机上重建此类数据是可行的。

先前研究表明，基因表达模式与组织学图像特征相关，提示从组织学预测基因表达的可能性。但现有的方法无法充分利用高分辨率组织学图像提供的丰富细胞信息。在实践中，病理学家通常分级检查组织学图像：第一步是通过捕获全局组织结构的高级图像特征来确定感兴趣的区域；然后，进一步检查反映组织局部细胞结构的图像特征。

受此启发，近日，宾夕法尼亚大学佩雷尔曼医学院李明瑶教授课题组在Nature Biotechnology杂志上发表了题为“Inferring super-resolution tissue architecture by integrating spatial transcriptomics with histology” 的文章。研究团队使用分层图像特征提取的方法，旨在捕获局部和全局组织结构。通过利用从分层提取的图像特征中获得的高分辨率组织信息，研究团队进一步开发了超分辨率基因表达预测模型，被称为iStar（Inferring Super-resolution Tissue Architecture）。iStar能够以前所未有的清晰度解析医学图像，提供了单细胞分辨率的高精度视图和全面的基因变化信息，助力临床医生能够精准识别几乎不可见的癌变细胞。

​文章发表在Nature Biotechnology

主要研究内容

iStar的开发是作为空间转录组学领域的一部分进行的，这是一个相对较新的领域，用于绘制组织空间内的基因表达。研究团队采用分层视觉转换器 （HViT），该转换器已使用自监督学习（SSL）在公开可用的苏木精和伊红染色的组织学图像数据集上进行预训练。HViT首先在16×16像素的尺度上提取组织学特征，捕捉细粒度的组织特征；然后在256×256像素的尺度上提取组织全局结构；随后，通过弱监督学习训练的前馈神经网络使用这些特征来预测超像素级的基因表达。

该模型利用每个超像素处的组织学特征，将每个基因在给定点的基因表达量划分为多个值，每个超像素处分配一个值。此外，只要有组织学图像，该模型就可以预测斑点外以及外部组织切片中的超像素级基因表达。

总的来说，iStar首先将图像分解成不同的阶段，从小的阶段开始寻找细节，然后“捕获更广泛的组织模式”。iStar内在的人工智能系统引导的网络，使用来自分层视觉转换器的信息，然后收集所有这些信息，并以接近单细胞的分辨率预测基因活动。

​图1. iStar工作流程示意图

为测试该工具的性能，研究团队评估了iStar在许多不同类型的癌症组织上的效果，包括乳腺癌、前列腺癌、肾癌和结直肠癌，以及健康组织。结果显示，在不同肿瘤类型样本中，iStar均能自动检测出肉眼难以识别的肿瘤和癌细胞，这表明iStar预测的超分辨率基因表达是准确的，这些预测不仅在位点水平上保留了原始的基因表达，而且在各种组织结构推断任务中也有实际应用。此外，对于只有组织学图像可用的组织切片，iStar还可以进行样本外预测。

综上，iStar既提供了对单个细胞的高度精细视图，又能更广泛地揭示人类基因如何全方位运作。在iStar的支持下，未来的临床医生可能能够发现和诊断更多难以看到或难以识别的癌症。在应用场景测试中，该工具还可用于确定癌症手术的安全边界，并自动为显微图像提供注释，能够为分子水平的疾病诊断铺平道路。

除iStar提供的临床可能性之外，与其他类似的人工智能工具相比，该工具的计算速度非常快。研究团队使用乳腺癌数据集进行平行计算时，iStar仅在9分钟内就完成了数据的分析，相比之下，其他人工智能工具最少花费32个多小时才得出类似的分析，这意味着iStar的速度要快213倍。

图2. 使用iStar进行组织注释

结 语

综上所述，研究团队开发了一种基于分层图像特征提取的工具“iStar”，可将ST数据和高分辨率组织学图像相结合，以超分辨率预测基因空间表达，对实际研究具有重要意义。iStar能够以接近单细胞的分辨率生成覆盖整个转录组的ST数据，并利用从同一ST组织切片获得的高分辨率组织学图像来重建未观察到的超分辨率基因表达。值得注意的是，相较其他人工智能工具，iStar的计算效率很高，这种计算效率的优势使iStar能够从大量连续切割的组织切片和组织学图像中生成虚拟ST数据，从而能够全面表征3D组织中的基因表达变化。

文章通讯作者李明瑶教授表示：“iStar的力量源于其先进的技术，这些技术反向反映了病理学家研究组织样本的方式。就像病理学家识别更广泛的区域，然后放大详细的细胞结构一样，iStar可以捕捉总体组织结构，也可以关注组织图像中的细节。”

李教授还提到，iStar有能力自动检测关键的抗肿瘤免疫结构，比如“三级淋巴结构”，其存在与患者生存和对免疫治疗的有利反应相关，这意味着iStar可以成为一种强大的工具，用于确定哪些患者将从免疫治疗中获益最多。

研究团队接下来将扩展iStar的适用范围，并计划将iStar应用于生物银行，其储存了数千甚至数百万个样本。团队希望能够帮助研究人员更好地了解组织内的微环境，为今后的诊断和治疗提供更多的数据支持。

参考文献：

Zhang, D., Schroeder, A., Yan, H. et al. Inferring super-resolution tissue architecture by integrating spatial transcriptomics with histology. Nat Biotechnol （2024）. https://doi.org/10.1038/s41587-023-02019-9.