撰文 | 马雪薇

前言

从《超体》中以药物刺激大脑，到赛博朋克文化中用电子干预入侵脑空间，人类对人脑操纵的可能性有过不少幻想。想象一下，假如人类真的可以直接操纵人脑的每个神经元，会如何呢？

到那时，人类将可以直接理解这类神经元在感知特定物体时有哪些用途，有期望做出一些很“科幻”的事情。

在现实日常，如此的实验在人脑中几乎是很难推行的，但在人工神经互联网却是可行的。然而，因为模型总是含有数百万神经，过于庞大且复杂，理解起来需要很多人力，这就使得大规模的模型理解成为一项极具挑战性的任务。

为此，来自麻省理工学院计算机科学与AI实验室（MIT CS人工智能L）的研究团队推出了一个借助神经模型自动进行模型理解任务的系统——M人工智能A，即“多模态自动可讲解智能体”。

M人工智能A 用预练习的视觉语言模型来智能化理解神经模型的任务。模块化的设计使 M人工智能A 可以灵活地评估任意系统，并轻松地添加新的实验工具。除此之外，它可以自动实行复杂的实验，用迭代实验办法来测试假设，并依据实验结果更新假设。

加州大学伯克利分校助理教授 Jacob Steinhardt 觉得，扩大这类办法可能是理解和安全监督AI系统非常重要的渠道之一。但，研究团队觉得， 增强的 M人工智能A 并不会取代人类对AI系统的监督。M人工智能A 仍然需要人工监督来发现诸如确认偏差和图像生成/编辑失败之类的错误。

真实效果如何？

现有些智能化可讲解性办法只是一次性地对数据进行标记或可视化，而 M人工智能A 则可以生成假设，设计实验来测试它们，并通过迭代剖析来改进其理解。通过将预练习的视觉-语言模型（VLM）与可讲解性工具库相结合，该多模态办法可以通过撰写和运行针对特定模型的定向实验来响应用户查看，不断改进其办法，直到可以提供全方位的答案。

M人工智能A 框架的核心是一个由预练习的多模态模型（如 GPT-4V）驱动的智能体，该智能体可以自动实行实验以讲解其他系统的行为。它通过将可讲解性子例程组合成 Python 程序来达成这一点。

图 | M人工智能A 构造

研究团队在神经元描述范式上评估 M人工智能A，研究显示，M人工智能A 在真实模型和合成神经元数据集上均获得了优秀的描述成效，预测能力优于基线办法，并与人类专家相当。

图 | 评估 M人工智能A 描述

除此之外，M人工智能A 在移除不真实特点和揭示偏见方面都表现出好的应用潜力，可以帮助人类用户更好地理解模型行为，并改进模型的性能和公平性。

用 M人工智能A 移除不真实特点

不真实特点会干扰模型在真实世界场景中的鲁棒性。M人工智能A 可以辨别并移除模型中的不真实特点，从而提升模型的鲁棒性。研究团队用 ResNet-18 在 Spawrious 数据集上进行练习，该数据集中包括四种不同背景的狗品种。

在数据集中，每一个狗品种与特定背景（比如雪，丛林，沙漠，海滩）不真实有关，而在测试集中，品种-背景配对是混乱的。研究团队用 M人工智能A 来找到一个最后层神经元的子集，该神经元可以独立于不真实特点鲁棒地预测单个狗的品种，仅需改变用户提示中的查看。

结果显示，M人工智能A 可以有效地移除模型中的不真实特点，从而提升模型的鲁棒性。

用 M人工智能A 揭示偏见

模型可能存在偏见，致使其在某些状况下表现不佳。而 M人工智能A 可以自动揭示模型中的偏见。研究团队用 ResNet-152 在 ImageNet 上进行练习，并用 M人工智能A 检查模型输出中的偏见。

在实验过程中，M人工智能A 被提示生成与特定类别有关的图像，并察看模型对这类图像的响应。之后，M人工智能A 发现了一些模型对特定子类或与特定类别有关的图像有偏好。

这表明 M人工智能A 可以帮助辨别模型中的偏见，从而改进模型。

图｜M人工智能A 模型偏见测试

不足与展望

虽然 M人工智能A 在自动可讲解性方面展示出巨大潜力，但仍存在一些局限性。

第一，M人工智能A 的讲解能力受限于其用的工具，如 Stable Diffusion 和 GPT-4。这类工具的局限性（比如图像生成水平、本钱、访问限制）会直接影响 M人工智能A 的性能。将来可以考虑开发更强大的内部工具，或探寻开源替代策略，以提升系统的靠谱性和可访问性。

第二，M人工智能A 的讲解并不是形式化验证，而是基于实验结果和自然语言描述。这可能致使讲解存在偏差或误导。将来可以考虑将形式化验证办法（比如因果推理、理论剖析）融入 M人工智能A，以提升讲解的准确性和靠谱性。

除此之外，M人工智能A 没办法完全防止常见问题，比如确认偏差、过度讲解、小样本结论等。将来可以考虑引入自我深思机制，使 M人工智能A 可以辨别和纠正自己错误，并提升讲解的鲁棒性。

展望将来，这篇论文的一同作者 Rott Shaham 表示：“我觉得大家实验室的下一步自然是要超越人工系统，将这类类似的实验应用于人类感知。传统上，这需要手工设计和测试刺激，这是一个劳动密集型的过程。有了大家的智能体，大家可以扩大这个过程，同时设计和测试很多的刺激。”

Tags：科幻