admin管理员组

文章数量:1437470

多模态深度学习模型MuMo精准预测胃癌抗HER2治疗响应，登顶Nature子刊

研究背景

   胃癌是全球第五大常见恶性肿瘤，在中国发病率高居第二位。约15-30%的晚期胃癌存在HER2过表达或扩增。虽然抗HER2靶向药物（如曲妥珠单抗）联合化疗已成为标准治疗方案，但ToGA临床试验显示，仅有不到50%的患者能够从中获益。

   近年来，KEYNOTE-811研究证实，在抗HER2治疗基础上加用PD-1抑制剂（帕博利珠单抗）可将客观缓解率从74%提升至83%，但患者的总生存期改善并不一致。来自北京大学肿瘤医院等多家顶尖机构的科研团队，成功开发了全球首个针对HER2阳性胃癌治疗响应的多模态深度学习预测系统——MuMo（Multi-Modal model）（图1）。这项研究不仅技术架构创新，临床价值更是不可估量！

图1：HER2阳性胃癌患者多模态数据采集与筛选流程图

研究方法

   研究收集了429名患者的多模态数据，包括放射学、病理学和临床信息，其中310名接受HER2靶向治疗，119名接受HER2靶向治疗联合抗PD-1/PD-L1抑制剂免疫治疗。研究团队开发了一个基于Transformer的深度学习模型MuMo，整合这些数据进行精准治疗反应预测（图2）。

数据收集与预处理

  1. 患者选择：从17,787名胃癌患者中筛选出429名HER2阳性胃癌患者，包括北京大学肿瘤医院、南方医院和北京大学第三医院的数据。
  2. 数据类型：包括人口统计学信息、肿瘤特征（如位置、分化程度、Lauren分类）、治疗细节（如治疗线数和开始治疗的时间）等。
  3. 数据处理：对于缺失模态，采用可学习的嵌入作为占位符，以推断缺失信息，增强模型的鲁棒性。
图2：基于多模态数据的胃癌抗HER2治疗及联合免疫治疗疗效预测

模型开发与验证

  1. 模型架构：MuMo模型通过特征提取器从不同模态（如病理全切片图像和放射学CT扫描）中提取深度图像特征、组学特征和临床报告，然后利用多模态融合模块（包括内模态融合、跨模态融合和患者信息融合）进行信息整合。
  2. 预测性能评估：使用接收者操作特征（ROC）曲线下的面积（AUC）分数来评估模型的预测性能。此外，还通过Kaplan-Meier（KM）曲线分析了无进展生存期（PFS）和总生存期（OS）（图4）。
图3：抗HER2治疗及联合免疫治疗队列的数据特征

结果

  1. 预测性能：MuMo在HER2靶向治疗队列中实现了0.821的AUC分数（图4a），在联合免疫治疗队列中实现了0.914的AUC分数（图4c）。此外，被MuMo分类为低风险的患者显示出显著延长的PFS和OS（log-rank检验，P < 0.05）（图4d-i）。
  2. 外部验证：在外部独立测试集中，MuMo显示出强大的判别能力，AUC分数为0.884（图4b）。
  3. 稳定性与一致性：通过2000次bootstrap重复实验验证了MuMo的稳定性和一致性，其性能变化较小，且显著低于个别医生及其集体决策过程中的性能变化（图4j）。
图4：多模态模型(MuMo)性能表现

研究意义与应用前景

  1. 临床决策支持 MuMo模型能够为临床医生提供数据驱动的治疗反应预测，帮助他们制定更精准的治疗方案。通过整合多模态数据，模型可以识别出可能对治疗反应不佳的患者，从而及时调整治疗策略，避免不必要的副作用和经济负担。
  2. 个性化医疗 该研究为个性化医疗提供了新的思路和技术支持。通过深入分析患者的个体特征，MuMo模型有助于实现真正意义上的个性化治疗，提高治疗效果和患者生存率。
  3. 模型的可扩展性 MuMo模型的设计具有高度的可扩展性，可以轻松适应更多病变、模态和时间点的分析需求。这种灵活性使得模型能够不断更新和优化，以适应不断变化的临床需求和技术进步。
  4. 跨学科合作平台 MuMo模型为生物信息学家、临床医生和数据科学家之间的跨学科合作提供了一个理想的平台。通过整合不同领域的专业知识和技术，模型能够不断吸收最新的研究成果和临床反馈，实现算法的迭代更新和优化。
图5：HER2阳性胃癌患者多模态数据分析概览

未来展望

  尽管MuMo模型在预测胃癌治疗反应方面取得了显著的成果，但仍存在一些局限性和改进空间。未来的研究将致力于以下几个方向：

  1. 数据集扩展 进一步扩大和多样化数据集，以涵盖更多类型的胃癌患者和临床场景。这将有助于提高模型的普适性和预测准确性。
  2. 自动化技术集成 探索自动化技术，如大型语言模型和AI代理，以减少对人工标注的依赖，提高数据处理和分析的效率。
  3. 多模态数据整合 继续整合更多类型的模态数据，如基因表达、生活方式和健康历史信息，以进一步提高模型的预测能力和临床应用价值。
  4. 实时数据更新 开发能够实时更新和处理新数据的模型架构，以实现对患者状态的动态监测和及时干预。

总结

  MuMo模型代表了一种利用人工智能能力提高胃癌患者对HER2靶向治疗或HER2靶向联合免疫治疗反应预测准确性的有前景的策略。通过综合多模态数据，该研究朝着实现个性化治疗策略迈出了重要一步，展示了多种模态与人工智能相结合的潜力，为未来的肿瘤学研究指明了令人兴奋的方向。参考文献

Chen Z, et al. Signal Transduction and Targeted Therapy (2024)9:222

DOI: 10.1038/s41392-024-01932-y

互动福利：你对MuMo有什么看法？留言区讨论，点赞的同学可私信领取原文PDF+代码包！

本文标签： 多模态深度学习模型MuMo精准预测胃癌抗HER2治疗响应，登顶Nature子刊

版权声明：本文标题：多模态深度学习模型MuMo精准预测胃癌抗HER2治疗响应，登顶Nature子刊 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/biancheng/1747475259a2699245.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。