雨说-农码一生-Transformer模仿大脑，在预测大脑成像上超越42个模型

　　Pine 发自凹非寺

　　量子位公众号 QbitAI

　　现在很多 AI 应用模型，都不得不提到一个模型结构：Transformer。

　　它抛弃了传统的 CNN 和 RNN，完全由 Attention 机制组成。

　　Transformer 不仅赋予了各种 AI 应用模型写文作诗的功能，而且在多模态方面也大放异彩。

　　尤其是 ViT（Vision Transformer）出来之后，CV 和 NLP 之间的模型壁垒被打破，仅使用 Transformer 一个模型就能够处理多模态的任务。

　　（谁看完不得感叹一句它的强大啊）

　　虽然一开始 Transformer 是为语言任务而设计的，但它在模仿大脑方面也有着很大的潜力。

　　这不，有位科学作家写了篇博客，就是关于 Transformer 是如何进行大脑建模的。

　　来康康他是怎么说的？

　　Transformer：做大脑做的事

　　首先，还得梳理一下它的演变过程。

　　Transformer 机制在 5 年前首次出现，它能够有这么强大的表现，很大程度上归功于其Self-attention 机制。

　　至于 Transformer 是如何模仿大脑的，继续往下看。

　　在 2020 年，奥地利计算机科学家 Sepp Hochreiter 的研究团队利用 Transformer 重组了 Hopfield 神经网络（一种记忆检索模型，HNN）。

　　其实，Hopfield 神经网络在 40 年前就已经被提出，而研究团队之所以时隔数十年选择重组这个模型原因如下：

　　其一，这个网络遵循一个普遍的规律：同时活跃的神经元之间彼此会建立很强的联系。

　　其二，Hopfield 神经网络在检索记忆的过程中与 Transformer 执行 Self-attention 机制时有一定的相似之处。

　　所以研究团队便将 HNN 进行重组，让各个神经元之间建立更好的联系，以便存储和检索更多的记忆。

　　重组的过程，简单来说，就是把 Transformer 的注意力机制融合进 HNN，使原来不连续的 HNN 变为可连续态。

　　△图源：维基百科

　　重组之后的 Hopfield 网络可以作为层集成到深度学习架构中，以允许存储和访问原始输入数据、中间结果等。

　　因此，Hopfield 本人和麻省理工学院沃森人工智能实验室的 Dmitry Krotov 都称：基于 Transformer 的 Hopfield 神经网络在生物学上是合理的。

　　虽说这在一定程度上与大脑的工作原理相像，但在某些方面还不够准确。

　　因此，计算神经科学家 Whittington 和 Behrens 调整了 Hochreiter 的方法，对重组后的 Hopfield 网络做出了一些修正，进一步提高了该模型在神经科学任务中（复制大脑中的神经放电模式）的表现。

　　△Tim Behrens （左） James Whittington（右）图源：quantamagazine

　　简单来说，就是在编码-解码时，模型不再把记忆编码为线性序列，而是将其编码为高维空间中的坐标。

　　具体而言，就是在模型中引入了 TEM（Tolman-Eichenbaum Machine）。

　　TEM 是为了模仿海马体的空间导航作用而构建的一个关联记忆系统。

　　它能够概括空间和非空间的结构知识，预测在空间和关联记忆任务中观察到的神经元表现，并解释在海马和内嗅皮层中的重新映射现象。

　　将拥有这么多功能的 TEM 与 Transformer 合并，组成 TEM-transformer（TEM-t）。

　　然后，再让 TEM-t 模型在多个不同的空间环境中进行训练，环境的结构如下图所示。

　　在 TEM-t 中，它依旧拥有 Transformer 的 Self-attention 机制。这样一来，模型的学习成果便能迁移到新环境中，用于预测新的空间结构。

　　研究也显示，相较于 TEM，TEM-t 在进行神经科学任务时效率更高，而且它也能在更少学习样本的情况下处理更多的问题。

　　Transformer 在模仿大脑模式的道路上越来越深入，其实换句话说，Transformer 模式的发展也在不断促进我们理解大脑功能的运作原理。

　　不仅如此，在某些方面，Transformer 还能提高我们对大脑其他功能的理解。

　　Transformer 帮助我们理解大脑

　　比如说，在去年，计算神经科学家 Martin Schrimpf 分析了 43 种不同的神经网络模型，以观察它们对人类神经活动测量结果：功能磁共振成像（fMRI）和皮层脑电图（EEG）报告的预测能力。

　　其中，Transformer 模型几乎可以预测成像中发现的所有变化。

　　倒推一下，或许我们也可以从 Transformer 模型中预见大脑对应功能的运作。

　　除此之外，最近计算机科学家 Yujin Tang 和 David Ha 设计了一个模型，可以通过 Transformer 模型以随机、无序的方式有意识地发送大量数据，模拟人体如何向大脑传输感官观察结果。

　　这个 Transformer 就像人类的大脑一样，能够成功地处理无序的信息流。

　　虽然 Transformer 模型在不断进步，但也只是朝着精确大脑模型迈出的一小步，到达终点还需要更深入的研究。

　　如果想详细了解 Transformer 是如何模仿人脑的，可以戳下方链接～

　　参考链接：