（来源：网易科技）
人类规定了 AI 如何学习，却未必知道它最终学会了什么。机制可解释性（Mechanistic Interpretability）通过分析模型内部机制，试图理解、预测并控制模型的行为。然而，理解模型，是否就能让它更安全？
针对这个问题，牛津大学团队联合包括深度学习三巨头之一、图灵奖得主 Yoshua Bengio在内的研究人员，系统梳理了机制可解释性的技术基础、研究方法和安全应用。他们指出，许多既有研究假定：理解模型内部机制，会直接带来更安全的系统。但这一假设还没有得到充分检验。
论文链接：https://arxiv.org/abs/2611.08438
图｜概念组织框架
第一个问题，是研究人员如何判断自己理解了模型。探针分类器可以从模型内部检测出某些信息。例如，探针可以检测模型某一层的激活中，能不能解码出句法类别、语义角色等信息。但这种检测本身只能提供描述性证据。研究人员需要进一步测试相关表示，再用这些方向去干预模型。到这一步，分析才可能具有机制性质。
图｜探针分类器
即使某项干预成功改变了目标行为，研究人员也不能就此断定，自己已经准确识别了内部机制。他们强调，“干预改变了行为”和“准确识别了内部机制”是两个强度不同的主张。
模型规模越大，这项工作就越依赖自动化。
人工逐一检查特征和计算回路，已经跟不上当前模型的规模。稀疏自编码器（Sparse Autoencoder，SAE）能够从模型激活中无监督提取数百万个特征。其他自动化流程能够识别候选回路，语言模型能够生成自然语言形式的特征解释，部分工具还能够初步验证机制假设。他们指出，人工判断仍然至关重要，但部分自动化已经成为必要条件。
图｜稀疏自编码器
不过，这些工具应该实现什么目标？不同研究并没有形成统一答案。
他们归纳出 6类研究取向，包括务实型、雄心型、发展型、跨时间型、内省型和自动化可解释性。部分研究优先追求即时的安全干预，比如行为引导、监测和概念擦除，而不要求完整理解内部机制。另一些研究则主张，即使完整的因果理解需要大量资源，研究人员仍然应当追求这一目标。还有一些研究关注训练过程中的机制形成，而不是仅仅分析某个固定检查点的行为。
这些取向分别在完整性、成本和适用性之间做权衡。他们不主张所有研究都应当采用同一种路径，而是希望厘清不同路径的假设、能力与失效模式。
不同路径仍然需要可靠的评估。他们指出，当前方法常用的指标彼此不兼容。一些解释的验证，依赖的是直觉上的合理性，而不是严格的测试。
为此，他们提出了一套统一的评估框架。框架包含归因忠实性、完整性、稳定性、因果有效性与人类可理解性 5 个维度，不同方法可以在这些维度下接受共同检验。他们将评估方法和安全基准列为该领域最迫切的开放问题。
图｜机制可解释性的统一评估框架
现有工具已经能够提取可解释特征、发现任务相关回路，并支持定向行为干预。但当前方法仍然无法完整解释许多行为，难以在分布变化下保持泛化能力，难以清晰分离相互纠缠的计算，也难以扩展到前沿模型。
因此，他们主张，研究人员、开发者和使用者应当在广泛的条件下严格评估机制可解释性工具，并将这些工具与其他安全措施结合。机制可解释性应当成为纵深防御策略的一部分，不能独立构成安全保证。
更多技术细节，详见原论文。
作者：张佳怡
