Nat Biomed Eng丨复旦大学周平红等提出数据挖掘新范式，使得内镜实现“AI全自动标注”

2025 年 9 月 16 日，复旦大学周平红、李全林、王烁共同通讯在Nature Biomedical Engineering（IF=26.6）在线发表题为“Leveraging large language and vision models for knowledge extraction from large-scale image–text colonoscopy records”的研究论文，该研究利用大型语言和视觉模型的最新进展，提出了EndoKED，这是一种用于深度知识提取和提炼的数据挖掘范式。

EndoKED自动将原始结肠镜检查记录转换为具有像素级注释的图像数据集。将EndoKED应用于原始结肠镜检查记录的多中心数据集（约100万张图像），显示了其在报告和图像级别检测息肉以及在像素级别注释息肉方面的卓越性能。通过EndoKED预训练，实现了息肉分割模型的最新性能和泛化能力。此外，EndoKED视觉主干支持光学活检的数据高效学习，在内部、外部和前瞻性验证数据集中实现专家级性能。

尽管近几十年来预后显著改善，但结直肠癌癌症仍然是全球癌症死亡的第二大原因。结肠镜检查在旨在降低癌症发病率和死亡率的结直肠癌癌症筛查计划中发挥着重要作用。它被认为是检测和切除癌前结直肠息肉的金标准。最近用于息肉检测和诊断的人工智能（AI）系统在提高腺瘤检测率4和在结肠镜检查（即光学活检）期间实时确定息肉组织学方面取得了可喜的进展。一些商业化产品正在转化为临床程序，而提高模型泛化能力和对伪影的鲁棒性仍然是现实世界环境中的一个重要挑战。

使用深度学习模型实现临床级性能需要大量带注释的病变图像数据集，前瞻性收集这些数据集的成本很高。与此同时，医院信息系统每天都会生成并存档大量的电子结肠镜检查记录，其中包含结肠镜检查截图和免费文本检查报告。这些回顾性图像代表了解决数据稀缺问题的自然数据源，但仍然需要劳动密集型的注释。对于息肉检测和分割等计算机视觉任务，专家需要识别息肉图像，然后在像素级别绘制边界框或描绘息肉边界。此外，光学活检模型的开发进一步要求收集具有确诊组织病理学的良性、癌前和恶性息肉。大量的注释要求阻碍了历史未注释数据的充分利用。从原始结肠镜检查记录中提取内在监督，以最小的注释成本训练深度学习模型，仍然是一个悬而未决的挑战。

EndoKED设计及其在息肉诊断中的应用概述（图源自Nature Biomedical Engineering）

在这里，研究人员提出了一种名为EndoKED的数据挖掘新范式，通过多示例学习和大语言模型（LLM）和视觉模型（LVM），将海量未经处理的结肠镜图文记录自动转化为带有像素级标注的图像数据集。研究结果表明，EndoKED在报告级和图像级的息肉检测以及像素级的息肉标注方面表现出色。通过EndoKED自动标注结果的预训练，息肉分割模型实现了性能和泛化能力的显著提升。此外，EndoKED的视觉骨干网络还实现了数据高效的光学活检学习，在内部、外部和前瞻性验证数据集中均达到了专家级水平。

文章来源：https://www.nature.com/articles/s41551-025-01500-x#Sec21

原文来自：iNature公众号

图片来源网络如有侵权请及时联系删除！