AI 黑箱正在被 AI 撬开：90% 的神经元有明确功能，意味着什么

90%。前 OpenAI 研究员、现 Goodfire 研究员 Nick Cammarata 这几天发布长文《Neural Networks Are Already Clean》，核心数字是：在 Qwen3-32B 的初步审计里，约 90% 的神经元只有一项主要功能，约 7% 有两个高度相关的功能，暂时解释不了的只有 2~4%。在参数量到万亿级的模型（如 Kimi K3）上，结果类似。

对照 2023 年：他自己在 OpenAI 参与的自动可解释性项目，用最宽松的口径，能解释的神经元是 1.7%。

旧共识：神经元是一锅粥

神经网络内部一直是黑箱。这个领域的「模式生物」是 2014 年的图像模型 InceptionV1——研究者发现它的末层几乎没有能看懂的神经元，很多单个神经元会同时响应猫脸和汽车前脸这类毫不相关的东西。

主流解释叫叠加假说（Superposition）：网络神经元不够用，只好把不相关的概念折叠编码在同一批神经元上。如果真是这样，神经元就是一团死结，得先解开才能研究——于是稀疏自编码器（SAE）成了行业标准工具：训练第二个模型，把纠缠的激活分解成独立特征。Anthropic、Google DeepMind 都在这条路上投入了大量资源。

Cammarata 的新文说：这个诊断，错了。

第一层错在显微镜：工具和架构的锅

他复盘发现，当年看到的「混乱」有两个普通原因。

一是工具不行。特征可视化这类工具在深层会出现「奖励黑客」：可视化一个汽车神经元时，梯度下降抄近路跑进了狗神经元，看起来像汽车和狗混在一起，其实是工具把输入可视化歪了。

二是架构不行。早期网络深层特征溢出，是学习本身没学好，不是网络被迫折叠。

证据：一个参数量与 InceptionV1 相当的现代卷积网络（有残差连接等改进），末层 99%~100% 的神经元都能看懂。同一个 InceptionV1 架构，用现代正则重训后能看懂的比例约 70%；老网络配新工具约 50%；只有「老网络 + 老工具」才是个位数——当年他自己估 5%，别人估接近 0。

猫和汽车，其实是 V 和 O

最出名的「猫脸 + 汽车前脸」神经元（编号 4e:55），Cammarata 盯着看了几秒，换了个问法：「如果不能用名词描述它，该怎么描述？」答案几乎立刻出来：这是一个 V 形神经元——对尖锐、向外张开的 V 形结构敏感。正向样本是尖的东西：狐狸、猫、车头、台球桌、新干线；负极是圆的：高尔夫球、网球、钟表。

另一个经典案例：2019 年「汽车特征藏进狗神经元」的叠加证据电路，实际是共享姿态——汽车和狗朝着镜头的朝向相似。InceptionV1 里有 100 多个这种「跨类别姿态神经元」，之前没人注意到。

有意思的是，叠加假说和递归泛化这两个解释，Cammarata 都是提出者之一。这次相当于他自己修正自己。

这还带来一个很实用的判断方法：很多被贴上「多义」标签的神经元，其实是一个模式被描述成了一串名词。试着用动词而不是名词去描述它，往往就通了。

递归泛化：神经元像树枝一样生长

他提出替代解释：递归泛化（Recursive Generalization）。

神经元的成长像树枝分叉：一个检测「iy」的神经元，长出检测「diy」的分支，再长出「do it yourself」——最后一个里甚至没有「iy」。容量小时，神经元覆盖更宽泛的概念（一个「车」神经元管所有车）；容量变大，它分化成很多具体的车。他在 300 倍参数范围里训练了同一架构，每一档都能看懂。

如果这是对的，神经网络只有一种学习原则——泛化，而不是「泛化 + 叠加」两种。这个区别很关键：泛化分组的背后有规律可循，叠加分组没有。有规律，就能学。

新标准：解释必须能预测

这篇文里我最看重的是方法论：解释不再只是「事后描述」，必须能预测新样本。

做法是盲测。从 200 个随机神经元里，Agent 只看解释文字、不看激活数据，先写出「5 个应该强烈激活的样本 + 5 个不应该激活的近似样本」，然后才上机测。在 183 个描述了正向功能的解释里，正例有 76% 强烈激活，反例误激活率 11%。

这个标准可以借用到任何「AI 解释 AI」的场景：一个好的解释，必须能做出可被证伪的预测。

泼三盆冷水

1. 这仍是「working hypothesis」。文章自己就这么标的，语言模型的配套论文还没发，未经同行评审。
2. 90% 这个数字依赖阈值。作者自己在脚注里说，换成强激活样本的小集合，接近 97%，但样本不大；单一「清晰度」分数只是指针，别当精确值去优化。
3. 不能和 2023 年的 1.7% 直接对比——模型、工具、评估标准都不同。叠加假说仍然有大量实验证据，这一切需要独立复现。

对普通读者意味着什么

• 安全：如果神经元可读，欺骗、偏见、危险行为就有机会在部署前被定位，而不是出事之后再补救。
• 调试：模型为什么胡说，可以从「玄学调 prompt」变成「去看是哪根神经元在管这件事」。
• 信任：可解释性给出的是证据，不是感觉。这是把 AI 从「信不信」推进到「查不查」的路径。

黑箱被撬开一条缝，不代表它已经透明。但这次至少给了一个新标准：解释要能预测，而不是听起来有道理。

可拿走的

1. 遇到「AI 说不清」的问题，先怀疑工具和观察视角，再下「不可解释」的结论。
2. 描述一个复杂对象，试试用动词替换名词。
3. 检验任何解释：它能不能预测你没见过的样本？能预测，才算解释。
4. 对「颠覆性结论」保持两个动作：看作者自己标了什么置信度，等独立复现。