论文题目：Bridging the interpretability gap for medical artificial intelligence models using class‑association manifold learning

发表期刊：Nature Biomedical Engineering (2026)

发表时间：2026.5.18

DOI：https://doi.org/10.1038/s41551-026-01676-w

开源代码：https://github.com/xrtl1/XAI-CAML

深度学习模型在医学影像、病理分析、基因组学等领域的表现不断刷新纪录，部分任务甚至超越人类专家。然而，一个尴尬的现实是：模型越精准，其内部决策机制就越像黑盒，这难以获得临床医生、监管机构和患者的真正信任,引发了业界对医疗AI模型潜在错误、失控风险、偏向性等重大隐患的严重担忧。

如何让黑盒模型既保持高精度，又能输出医生看得懂、可验证、能教学的决策逻辑？这正是《Nature Biomedical Engineering》近期发表的CAML工作试图回答的问题。该研究还被邀请撰写研究简报进行推介（每期仅1篇）。该研究提出了一套“类关联流形学习”（Class-Association Manifold Learning）的数学方法，高效地将黑盒AI模型决策规律转化为低维空间的可视化流形，并且用生成式AI方法按需灵活的对数据样本进行定向修改并产生虚构对比样本，从而让医生直观理解AI所发现的隐藏知识规律，并总结为临床知识。

一、背景：何为可解释性鸿沟

近年来，深度学习模型在医学影像、基因组学等任务上频频超越传统方法，甚至达到专家级水平。然而，高精度不等于高可信。全球监管机构（FDA、欧盟）已将可解释性列为医疗AI设备的强制性要求；大量研究表明，黑盒模型可能学会“捷径学习”或隐式偏见，而这些风险无法通过单纯输出准确率来发现。

现有可解释性方法分为两类：全局方法寻求覆盖整个数据域的解释，使用所谓的透明模型（决策树、规则集、广义线性模型、蒸馏等）来增强人类可解释性，但导致准确性较低；局部方法（LIME、Grad‑CAM等）缺乏全局视野，导致无法总结常见的医学规则或准确描述临床趋势，所提出的解释通常仍然难以为人类解释并且缺乏临床相关性。此文章指出，从当前的可解释AI 方法中观察到难以捉摸的、模糊的、有偏见的、不稳定的或误导性的解释，导致“理解错觉”被称为可解释鸿沟（interpretability gap）。这种差距源于全局和局部解释技术的差异，局部实例无法聚合以形成全局图景，而全局规则描述仍然不直观和模糊。如何填补这一差距，成为医疗AI落地的核心瓶颈。

二、方法框架：让黑盒模型“开口说话”

CAML作为一个模型无关的add‑on模块，可以挂载到任何训练好的黑盒分类器上。其流程分为三步：

Step 1 类关联嵌入（class-association embedding，CAE）：学习低维全局决策空间

传统解释方法只盯着“哪些像素重要”，CAE首先将每张影像拆成两个独立子空间：类关联特征（与疾病类别相关的信息）、个体背景特征（患者自身特有、与类别无关的信息）。这就像把一个人的“长相比对特征”与“个人生活习惯”分开编码。好处是：修改类别特征时，背景不变，生成的“反事实样本”更贴近真实临床场景，修改幅度也最小。CAML提出了一种称为构建块一致性特征提取的特征提取方法，以有效地学习类关联和个体编码子空间的分离，同时保留类关联流形中数据集的拓扑特征。

Step 2 拓扑数据分析（topological data analysis TDA）：将流形“画成地图”

在类关联子空间内部，使用TDA将所有样本连接成一个数据网格。这个网格像一张地图：能自动发现类内子群（同一疾病下的不同亚型）、能画出一条跨类最短路径（一个病例如何逐步变成另一类病例）。沿着这条路径，模型可以一步步生成合成样本，可以看到如随着肺部阴影变大、纹理变粗糙等AI的判决从“良性”变成“恶性”，从而直观理解AI的决策边界。CAE 的分离编码不仅最大限度地减少了翻转样本分类结果所需的修改，而且通过将黑盒模型的行为与特征子空间中样本修改的方向连接起来，提供了全局知识的有效表示。

Step 3 连接全局规则与具体病例，对比生成 + 特征归因图

CAML不仅提供特征归因图，例如传统的局部解释方法，而且还生成虚拟对比样本，通过对同一样本进行最小的修改来显示症状类别之间的区别。医生可以对比原始图和修改图，一下子明白究竟改变了哪一处特征形成了最终的诊断。这种基于对比的解释远比单一归因图更容易让人接受和验证。

图1：CAML总体架构

三、实现结果：多项指标全面领先，临床专家盲评打call

论文在13个医疗数据集（OCT、Chest X‑ray、PALM、Brain Tumor、RFMID、Derm7pt、MIMIC‑CXR、ECG、BRCA基因等）上进行了系统验证。

1.CAML能够在低维流形中保留高精度决策能力

类别关联流形有效保留原始黑箱模型中的决策信息。在6个基准数据集上，CAML即使仅使用8维低维流形表示，平均准确率仅次于原始黑盒，且显著高于TreeExplainer、SFA、CBM等方法。跨数据集实验（NIH‑CXR → CheXpert）：CAML仅下降3.6%，甚至优于黑盒模型自身的跨域泛化能力。

图2: 低维类别关联流形中的全局决策规则与分类性能比较。

2.CAML能够挖掘潜在医学知识与疾病演化规律

利用拓扑分析探索类别关联流形中的隐藏结构。在OCT数据中，CAML自动将正常、玻璃膜疣、CNV连成路径，与临床进展一致；而DME则走向另一分支，提示不同的病理机制。29类眼底疾病数据中，生成的疾病关联网络与教科书知识高度吻合（如BRVO与CRVO相邻，DR分为两簇对应增殖/非增殖期）。

图3: 类别关联流形中的疾病演化路径与潜在医学知识发现。

3.CAML能够无监督学习医学概念知识

CAML学习到的概念表示能力。在OCT、脑瘤、胸部X光上，CAML的显著性图在所有指标上均超过Grad‑CAM、LIME、Fullgrad、ICAM等9种方法。在Brain Tumor2上，与专家标注的病灶区域相比，CAML的IoU达到0.569，远超第二名（0.447）。这表明CAML能够在没有概念监督的情况下学习医学概念知识，突破了传统概念瓶颈模型必须依赖人工标注概念的限制。

图4: 类别关联流形中的医学概念分布与疾病关系。

4.CAML的临床专家盲评

临床可用性分析。8位眼科医生对550张OCT图像（含真实和4种反事实生成方法）进行1‑10分真实性评分：CAML得分最高或第二高（仅次于真实图像）。在热力图排序和疾病鉴别模式展示中，绝大多数医生将CAML排为第一，证明其解释结果更符合临床直觉。

图5: 临床专家对CAML解释结果的盲测评估。

四、结论与展望

这篇论文提出了CAML框架，通过类关联流形学习将医疗AI模型的全局决策规则压缩到低维空间，同时能够为每个样本生成基于全局规则的局部反事实解释，从而弥合了可解释性领域中全局与局部方法的鸿沟。CAML利用类关联编码器解耦疾病相关特征与个体背景，结合拓扑数据分析揭示疾病亚型、病理演变路径等隐藏医学知识，并在13个多模态医疗数据集上取得了优于现有方法的分类准确性、解释精度及临床专家评分，证明了其在提升模型透明度和临床可信度方面的显著优势。

研究人员指出，目前方法仍存在一些局限，例如尚未实现基于自然语言的大规模临床解释生成，也尚未系统研究极端对抗样本条件下的行为。不过，未来若进一步结合多模态大语言模型，CAML有望实现“图像—概念—语言”一体化医学AI解释体系，从而推动可信医疗AI的发展。

五、启示

打破可解释算法的固有技术局限

医疗可解释 AI 不必局限于改造模型结构或事后特征归因，可优先采用特征解耦+低维流形映射的表征学习思路，剥离个体干扰信息，聚焦疾病核心决策特征，这一方案适配医学影像、心电、基因等多类医疗数据，具备通用价值。医疗场景的可解释算法必须走全局-局部协同路线。临床诊疗既需要总结群体性疾病规律，也需要针对单个患者分析病灶，单一解释范式无法满足临床需求，一体化框架是未来技术研发的主流方向。

让可解释 AI 真正服务医疗场景与知识发现

医疗可解释 AI 是面向临床用户的交叉学科研究，而非纯算法研究。算法设计、可视化形式、评估标准都必须以临床医生的认知习惯、诊疗流程为核心，脱离临床场景的纯技术解释没有实用价值。可解释 AI 的价值不止于解释现有模型，更能成为医学知识发现的新工具。未来可解释算法应主动承担知识挖掘功能，借助模型学到的隐性规则，辅助临床科研、病理机制研究、疾病分型探索，打通“AI 算法-临床诊断-医学科研”的全链条。

可拓展至下尿路疾病智慧评估

CAML在图像、时序、基因表达数据上均有效，且可挂载到任意黑盒分类器上。CAML的核心成功在于：将高维数据中的类相关模式解耦出来，压缩到低维流形中，并利用拓扑图引导反事实生成。这对于我们未来开发基于多变量时间序列数据的下尿路疾病智能评估具有指导意义。尿动力数据中，不同患者有不同的膀胱容量、腹压基线、收缩持续时间等个体背景，而疾病相关的模式更多关联到是“压力‑流率曲线形状”、“逼尿肌收缩峰值时间”等类相关特征。我们尝试使用拓扑数据分析建模时间序列流形中的分类边界。可视化不同排尿功能障碍在原始特征空间中可能非线性重叠表现。CAML的另一个重要启示是全局规则的可视化与局部解释的统一：全局规则以拓扑图的形式呈现，而每个实例的解释就是沿着图中的一条路径生成反事实序列。我们可以为尿动力模型构建“全局决策地图”，针对多变量时间序列的特点，设计“时间‑特征归因热力图”，这比传统的SHAP值（仅给出一个全局重要性）更具直观性。

六、结语

深度学习模型在医疗场景下的可解释性困境，本质上并非单一技术缺陷，而是源于全局规律与局部解释长期难以统一的结构性鸿沟。CAML的探索性价值在于，它提供了一种不同于事后归因或模型改造的技术路径。其通过特征解耦与低维流形映射，将黑盒决策知识压缩为可供人类审视的拓扑结构，并据此生成具有医学逻辑一致性的反事实对比样本。这一思路打破了高精度与可解释必须取舍的固有预设。

未来的可信医疗AI，不应止于输出热力图或特征重要性排序，而是需要构建“图像-概念-语言”一体化的解释体系，使模型能够以临床可理解的方式讲述其推理过程。这不仅是技术挑战，更是向以临床认知为中心的研究范式的转变。弥合可解释性鸿沟的最终目标，并非让医生相信AI，而是让他们能够真正理解并检验AI的决策逻辑，从而将智能工具审慎而有效地整合进医疗决策链条之中。当高精度黑盒开始透明地呈现其内在逻辑，AI与医生之间的信任桥梁才得以真正搭建，医疗智能化的下一程也将由此获得更为坚实的可解释性基础。