世界卫生组织 2022 年发布的报告指出，癌症等非传染成人两性疾病 (NCDs)) 已超越传染病，成为「全球头号杀手」。中国国家癌症中心发布的最新数据显示，2022 年中国约有 482.47 万新发癌症病例和 257.42 万新发癌症死亡病例。

非常长一段时间里，大家「闻癌色变」，但其实癌症作为一种慢性病，1/3 是可以避免的，1/3 是可以通过早发现、早诊断、早治疗达到治愈的，1/3 不可治愈，但通过适合治疗可以控制、获得较好的生活水平并延长存活期。其中，预防主如果通过提升自己免疫力、按期体检等渠道，关注个人健康。而在确诊癌症后，预后剖析十分要紧。

癌症预后是指预测癌症病人的可能病程和结局，预后剖析能够帮助提升癌症病人的存活机会。过去，研究职员基于空间转录组学 (ST) 技术，从空间基因表达的角度对肿瘤微环境 (TME) 进行表征，从而区别癌症病人的不同预后亚组。然而，ST 的高昂本钱和长实验周期妨碍了其应用于大规模癌症病人队列进行存活预测。与之相比，组织学图像具备本钱效益，在临床环境中易于获得，并且可以提供有关肿瘤形态的丰富信息，是分子水平 TME 剖析的更好替代品，可达成更精确的癌症预后。

日前，上海国家应用数学中心（上海交通大学分中心）俞章盛课题组（生命科技学院/医学院临床研究中心），王宇光课题组（自然科学研究院/数学科学学院）与合作者在 Cell Reports Medicine 发表了题为「Harnessing TME depicted by histological images to improve cancer prognosis through a deep learning system」的论文。该研究开发了一个深度学习系统，可以通过组织病理学图像，为没空间转录组数据的癌症病人预测肿瘤微环境信息，从而达成精确的癌症预后。

研究闪光点：

通过组织病理学图像为没 ST 数据的癌症病人预测 TME 信息

以 IGI-DL 为特点的 TME 提升了癌症存活预测的准确性

大幅拓展了基因空间表达信息在大型生物医学病理图像公共数据库的用法

数据集：评估 3 种实体瘤种类组织样本本研究为了评估模型在结直肠癌 (CRC)、乳腺癌和皮肤鳞状细胞癌 (cSCC) 这三种不同实体瘤种类组织样本上的性能，用了 3 种不一样的数据集。

对于结直肠癌，研究职员用了来自上海交通大学医学院附属瑞金医院 10 名 CRC 病人的 10 个 ST 数据集的 41,492 个点，这类数据集由 10× Visium 测序，作为留一病人 (leave-one-patient-out) 验证集，如下表所示。

内部 CRC 数据集的临床特点

对于乳腺癌，研究职员用了来自 27 名病人的 92 个组织样本的 34,678 个点，这类样本通过传统的 ST 技术进行了测序，作为留一病人验证集，如下表所示。

乳腺癌空间转录组数据集大全

对于皮肤鳞状细胞癌，研究职员用了来自 4 名病人的 12 个组织样本的 4,353个 点，这类样本通过传统的 ST 技术进行了测序，作为留一病人验证集，如下表所示。

cSCC 空间转录组数据集大全

模型构造：新型深度学习系统改变癌症预后在本研究中，研究职员开发了一个深度学习系统，可以借助组织学图像描绘的 TME 改变癌症预后。

该深度学习系统包括两部分

该系统包括两个部分：

第一部分（上图中 Connection 1）是基于 integrated graph 和图深度学习的模型 (integrated graph and image deep learning, IGI-DL)，该模型使用卷积神经互联网和图神经互联网将 HE 染色组织学图像 (histological images) 投射到基因表达空间 (gene expression space)。

第二部分（上图中 Connection 2），研究职员在癌症基因组图谱 (TCGA) 数据集中的结直肠癌队列和乳腺癌队列中，用 super-patch graph 和 IGI-DL 预测的空间基因表达 (spatial gene expression) 作为节点特点 (node features)，进行了预后预测，然后在外部测试集 MCO-CRC (Molecular and Cellular Oncology colorectal cancer) 中进行了验证。

深度学习系统的工作步骤

具体而言，该系统的构建包含 3 个步骤：HE 染色组织学图像预处置、空间基因表达预测模型和基于预测的空间基因表达 super-patch graph 存活模型。

HE 染色组织学图像 (HE-stained histological image) 预处置：

第一依据每一个点的坐标，将每一个 HE 染色的组织学图像分割成多个非重叠的 200×200 像素的 patches，分辨率为 0.5 μm/pixel；

空间基因表达预测模型：

对于每一个 patch，研究职员打造了一个 Nuclei-Graph，其中由 Hover-Net24 分割的每一个细胞核表示为一个节点 (node)，并且每一个细胞核对之间的距离决定了是不是存在边缘 (edge) 连接。依据上图 C 所示的构造，研究职员用 IGI-DL 模型来预测组织学图像中每一个点的目的基因表达。

基于预测的空间基因表达的 super-patch graph 存活模型：

为了进一步基于由空间基因表达勾画的 TME 进行预后预测，研究职员从每一个患有癌症的病人的 HE 染色全切片成像 (whole-slide imaging, WSI) 中构建了一个 super-patch graph，然后借助构建的 super-patch graph 和临床特点作为输入，构建了基于图的存活预测模型。

研究结果：IGI-DL 模型综合表现出色

总体来看，本研究构建的 IGI-DL 模型集成了卷积神经互联网和图神经互联网的优势，充分借助组织病理学图像中的像素强度和结构特点，达成更准确的基因空间表达水平预测。模型在结直肠癌、乳腺癌和皮肤鳞状细胞癌这 3 类型型实体瘤中均表现出色，与 5 种现有办法相比平均有关系数提高了 0.171。

IGI-DL在CRC中空间基因表达的预测性能和可视化

对于结直肠癌，研究职员将 IGI-DL 预测的 179 个基因的 Pearson 有关性与 5 个 SOTA 模型进行比较，IGI-DL 在 10 名保留病人中达成了 0.343 的平均 Pearson 有关性，明显优于其他模型，平均增加了 0.233，如上图所示。

IGI-DL在乳腺癌中空间基因表达的预测性能和可视化

对于乳腺癌，研究职员将 IGI-DL 预测的 187 个基因的 Pearson 有关性与之前的模型进行比较，IGI-DL 在 27 名保留病人中达成了 0.231 的平均有关性。如上图所示，IGI-DL 模型优于所有 SOTA 模型，平均提升了 0.142。

IGI-DL在cSCC中空间基因表达的预测性能和可视化

对于皮肤鳞状细胞癌，研究职员将 IGI-DL 预测的 487 个基因的 Pearson 有关性与之前的模型进行了比较，IGI-DL 在 4 名保留病人中达成了 0.198 的平均有关性，在所有模型中具备最好的性能，比其他 SOTA 模型的平均性能提升了 0.131，如上图所示。

在跨平台和跨癌种性能方面，如上述实验，对于不同癌症种类的内部验证和外部测试集，最好的 SOTA 模型并不固定，但 IGI-DL 模型的性能一直优于其他模型，平均改进幅度为 0.171，展示出好的跨平台泛化能力。

更进一步，研究职员还调查了 IGI-DL 的跨癌种预测性能，其在结直肠癌上练习的模型在皮肤鳞状细胞癌的内部验证和外部测试集上表现好，平均有关性分别为 0.204 和 0.143。然而，大部分跨癌种预测性能较练习和测试单一癌症种类时要低。这一结果表明，肿瘤地区的空间基因表达具备肯定的癌症特异性，跨癌种预测存在固有些困难。

TCGA 乳腺癌和结肠癌不同存活模型的预测性能

针对预后预测性能，在癌症基因组图谱乳腺癌 (TCGA-BRCA) 队列中，基于以空间基因表达为节点特点的 super-patch graph 存活模型在 5 倍交叉验证中能达到 0.747 的平均一致性指数 (C-index);在癌症基因组图谱结直肠癌 (TCGA-CRC) 队列中，该存活模型在 5 倍交叉验证 C-index 为 0.725，优于其它预后模型，如上图所示。

该存活预后模型对于早期病人 (I 期和 II 期) 的预后预测同样维持精度优势，预测得到的风险评分可以作为所有阶段病人和早期病人的独立预后指标。在包括一千多名病人数据的外部测试集 MCO-CRC 中，存活预后模型维持稳定的优势，具备泛化能力。

乳腺癌与胰腺癌先行：借势 人工智能 改变预后在癌症的诊疗过程中，癌症预后剖析可以有效防止过度治疗及医疗资源的浪费，为医务职员及家属进行医疗决策提供科学依据，已成为近年癌症研究的热点方向。

为了改变乳腺癌预后，2020 年，Salesforce 公司研究职员与南加州大学 Lawrence J. Ellison 研究所的临床大夫合作，推出了机器学习系统 ReceptorNet，其算法可以通过低本钱且易获得的组织图像来预测激素受体的状况——这是临床大夫在为乳腺癌病人决定适合的治疗路径时的一个要紧的生物标记。该系统的准确率达到了 92%。

2024 年 2 月，来自美国肯塔基大学、澳门科技大学、澳门大学、广州医科大学第一附属医院的研究职员使用神经互联网模型，打造了一个精准的预后评分系统——MIRS (metastasis and immunogenomic risk score)，用于肿瘤转移与免疫基因组风险评分，提供了一项几乎常见适用于乳腺癌病人的预测工具，为乳腺癌人群的治疗选择提供了新方向。（点击查询详细报道：剑指全球第一大癌症，中国学者打造乳腺癌预后评分系统 MIRS）

除此之外，胰腺癌作为消化道容易见到的恶性肿瘤之一，确诊后的五年存活率低于 10%。提升病人存活率的一个重点环节是准确预测病人的预后风险，以便设计针对性的治疗策略。组织病理是肿瘤科的常规检查，可在微观层面分析肿瘤特质，是评估肿瘤进展风险的要紧办法。但因为切片尺寸很大、组织成分复杂，评估结果容易受主观原因影响。

2023 年，来自南京信息工程大学、AI学院智慧医疗研究院的研究团队，发布了题为「基于多任务和注意力的胰腺癌全切片图像多组织分割模型」 的研究论文，研究了胰腺癌病理切片 8 类型别的组织分割，通过引入注意力机制并设计分层共享的多任务结构，借助有关辅助任务显著提高模型性能。

该研究提出的模型在上海长海医院的数据集上进行练习与测试，并在 TCGA 公开数据集上进行外部验证，在内部测试集上 F1 分数均高于 0.97，在外部验证集上 F1 分数均高于 0.92，且泛化性能显著优于基线办法。

值得强调的是，人工智能 并不可以替代病理学专家，而是作为一种辅助诊断技术，为病理诊断带来更多便利，进一步提升病理医师工作效率。从长远趋势来看，人工智能 在数字化生物标志物测试、医疗图像剖析、病程预测等方面，还有较大的进步空间。

参考资料：1.https://news.un.org/zh/story/2018/09/1017602

2.https://mp.weixin.qq.com/s/VE68FKL6kwpO1IFsbR-LVA

3.https://ins.sjtu.edu.cn/articles/286

4.https://www.cdstm.cn/theme/khsj/khzx/khcb/202012/t20201214_1039028.html

Tags：深度学习