关于科丞

About KITH

Nat Mach Intell|熊伟/朱洪影团队开发出基于迁移学习的空间代谢组学超分辨模型

2023-07-07 11:46:35

近年来,深度学习DL在生物图像的超分辨率重建方面取得了巨大的进展,如荧光显微镜图像、电子显微镜图像和计算机断层扫描病理图像等。深度学习技术可以从大量的数据集中训练从低分辨率图像到对应的高分辨率图像的映射关系,而无需复杂的图像处理和特殊的采集程序,即可实现单幅图像的超分辨率。然而,由于目前空间代谢组学成像MSI相关的高质量数据集相对有限,因此DL很少应用于MSI领域。   为了解决上述问题,2023年6月22日,中国科学技术大学生命科学与医学部的熊伟/朱洪影教授团队在Nature Machine Intelligence期刊上发表了文章“A super-resolution strategy for mass spectrometry imaging via transfer learning”,提出了一种具有创新性的基于迁移学习的神经网络模型,称之为MOSR(MSI from Optical Super-Resolution)。MOSR模型先从光学图像中学习部分的映射关系,然后将学习到的知识转移到MSI模型中,使得所需的MSI图像数量大大降低。经过训练后,MOSR可以在不到一秒的时间内实现低分辨率MSI图像的高分辨预测。更重要的是,与传统的DL方法相比,MOSR在图像质量、训练效率和泛化性能方面均表现得更好。

   

该团队在图像可视化和量化指标两方面同时对比了双线性插值(BI)、传统的DL模型和MOSR模型。结果显示,由MOSR生成的高分辨率MSI图像看起来与ground-truth图像最相似,并成功地恢复了小脑等部位复杂的纹理信息。结合PSNR和SSIM等经典图像保真度指标,MOSR模型相较于其他两个模型均有显著性的提升。这些结果表明MOSR模型有着更好的图像质量。   该团队使用了在不同实验条件下采集的新的MSI数据来测试已经训练好的DL模型和MOSR模型。这些新的MSI数据集包括小鼠脑的水平切片,大鼠附睾切片和人脑切片,并且在此之前这些新数据集没有用于模型的训练。在这些数据集中,MOSR的各种保真度指标均要显著高于DL模型,证明MOSR有着更广泛的适用范围。


MOSR模型具有广泛的适用范围  

MOSR模型还可以在不降低成像质量的情况下大大减少样本的采集时间。对于来自人类和灵长类动物等珍贵和大型的组织样本,直接获得具有满意空间分辨率的MSI图像是非常耗时的。例如,使用MALDI-MSI对一只恒河猴的大脑切片进行扫描,需要大约数百小时才能获得满意的高空间分辨率的MSI图像,如此长的扫描时间可能会导致样本的变质。相比之下,使用MOSR辅助的快速MSI可在不降低成像分辨率的情况下将扫描时间显著缩短至约数十小时。另一方面,快速的成像速度还可以在有限时间内获得高空间分辨率MSI图像,这使得对术中临床样本进行快速MSI检测成为可能。  


MOSR模型的原理图

中国科学技术大学生命科学与医学部的廖铁鹏(博士生)同学为本文的第一作者。中国科学技术大学生命科学与医学部的朱洪影副教授、熊伟教授为本文的通讯作者。此外,本工作也得到了中国科学技术大学信息学院王子磊副教授、淮北师范大学沈龙凤副教授团队以及合肥综合性国家科学中心人工智能研究院的大力支持。

原文链接: https://doi.org/10.1038/s42256-023-00677-7