推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见

亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。 作者丨高允毅 编辑丨岑 峰 “大模型把猫和汽车分为一类，不是弱智。” 在 AI 可解释性领域，有一个十年的经典案例，是 InceptionV1 模型里编号 4e:55 的神经元 。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着， 整个神经网络的底层逻辑是不可解释的 。 于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。 就在昨天， OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。 “这个神经元根本不认识猫，也不认识车。它检测的是V 字几何形状，不管是狐狸的尖脸、喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。” 他直言，这个误判的根源，或许是当年的观测工具太低级。 2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目，用现有工具只能解释大约 2% 的神经元。结果三年后，当他带着更先进的算法和 Agent 团队重新研究，发现情况完全不同。 在他们测试的现代视觉模型中，最后一层99%～100%的神经元都能找到相当清晰的解释。就连当年以 “深层混乱” 著称的 InceptionV1 本身，用新工具重新观测，可解释率大幅提升。 因此，Nick Cammarata 发表了一篇需要阅读 65 分钟的长文 《Neural Networks Are Already Clean》 ，并提出了一个惊人之论： 神经网络本身，远比我们想象的要 “干净” 。 这里的 “干净”，不是指“一个神经元只干一件事”，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一个规整的地图，想看细节就 “双击放大” 。 对此，OpenAI 核心研究员 roon 直接转发并惊呼，这是 “科学史上的重要时刻”，“我们终于可以把 AI 对齐，变成一门‘常规科学’了”。 毕竟，这篇文章一旦成立，等于把过去十年可解释性研究的核心焦虑推翻了。AI 圈过去几年，花大力气搞的稀疏自编码器（SAE）分解、特征字典、特征解缠，可能都走错了路。 或许，可解释性领域也可以用“The Bitter Lesson”来解决，即简单即高效。 01 十年共识的诞生与反转 为什么人们会认为“AI 的大脑”是一团乱麻呢？这一切要从 2014 年的 InceptionV1 视觉模型说起。 作为可解释性研究早期的 “模型生物”，研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时人们估计，最后