如何通向“广义人工智能”？LSTM 提出者之一Sepp Hochreiter：将符号 AI 与神经 AI 为基础

意料之中所的讶异在于，它最后无需任何的资讯专业训练就可以在30多个计算机动态执行上意味着和之前全指派的方式也可比的精度，意味着了表扬的“零结果显示努力学习”。而正如 Hochreiter 讲师所称赞，这种相对的搬迁性和鲁棒性是部署在拥有现实的资讯的工业界十分青睐的特色。

事实上，自从CLIP发明最后，全面性很多搬迁努力学习的指导都是基于CLIP的。不夸张地说，它绝对是动态语法标准化的极为重要的总括，有些像是 Bert 之于 NLP 执行。而以前流行起来的 Prompt learning（指引努力学习）的原理很多也在相结合 CLIP，或者在CLIP的框架下。

4 利用长处

特例 AI 还应借助自然语言生态环境和以往的长处，这和心灵息息之外。这一点或许Hochreiter讲师有较好的自主权，他毕竟是长短时心灵局域网的发明人之一。而在层面科学中所，有学者曾经重申过定义短时心灵，它描述的是当有机体在接受到一个诱导时候，比如一幅平面图、一个短语，马上慢速地将这些诱导转化到一个直觉的定义形式语言，并把它关联到和长时心灵之外的的资讯。“诱导-定义化-关联”这个处理过程大部分是感官地发生，但对于我们忽略日常表象、语法交流相比较相当不可忽视的作用。

平面图注：“诱导-定义化-关联”的层面处理过程

关于这一点，Hochreiter列举了Modern Hopfield networks（MHN）的指导，事实上这篇指导也在他本人的范本下启动的。Hopfield脊髓局域网要到在1982年就被重申，它是一种相辅相成存储系统设计和二元系统设计的脊髓局域网，模拟了有机体心灵的仿真。MHN指出Transformer中所的自注意力系统设计是随身携带有不间断状态的Hopfield局域网的一种新版本规章，并且从Hopfield局域网的角度对自注意力要用了更进一步推论。其中所和心灵之外的一部分推论在于它挖掘了的资讯中所的之外性结构（covariance structure），即如何使特性同时显现出在的资讯中所。MHN会转换成这种共现。这种之外性可以被指出是出现异常了心灵中所的关联部分，从而最大限度利用了已为的科学。

Hochreiter引述，MHN可以发掘出繁多化的的资讯间的之外关联，这一竞争者可以避免当代原理容易遭逢的“捷径努力学习”（shot-cut learning）的风险。“捷径努力学习”是指仿真努力学习到的并非似乎应用于对政府的“特性”，而只是找到了一些类似的之外性，如起飞似乎显现出在平面图片的上半部分等。（详细情况参考AI科技纽约时报过往介绍：浅层努力学习败于“捷径”）

5 脊髓-大写字母系统设计相辅相成

脊髓局域网与大写字母系统设计无法更容易地促进 AI 仿真对全球性科学与直觉废话等灵活性的融合。

基于理性主义的大写字母系统设计遥相呼应逻辑和大写字母相关联，实际上将有机体的废话方式也编码到机器中所，它的竞争者在于直觉灵活性庞大、使用较少的的资讯就可以达致比较好的结果。不过受限普通人全球性科学的繁复繁多以及非自然语言，无法将这些完美无缺地编码到机器比如说的规章中所。

而基于长处主义的脊髓局域网实际上利用大量的的资讯，通过隐式（无指派）或者显式（指派）地范本仿真努力学习到的资讯依赖于的相关联，无需设计繁复的规章，就可以达致惊异的精度。不过，脊髓局域网也面临着推论性弱、的资讯饥饿等难题。

将二者有机地相辅相成也是AI课题学者经常思考的一个缺陷。有趣的是，这也可以联想到有机体历史的观念之争中所，理性主义和感性主义的此消彼长同样是一个争议性的热门话题。

Hochreiter讲师则指出仍未发展了一段时间的平面图脊髓局域网（GNN）是这一方向的都是。这也是来自出版在IJCAI’20上的一篇调查结果的见解，它将GNN视作为类型1的脊髓-大写字母系统设计。篇名指出二者都有如下共同之处：都在寻求脊髓局域网可用的繁多化的向量化表示；都采用了一种树和平面图的结构去相关联的资讯和它们之间的关联。Hochreiter讲师指出它们在分子属性、社交局域网动态、工程课题的分析等等务实动态交互和废话课题都有较好的表现。

平面图注：GNN平面图结构平面图例

6 回顾

Hochreiter务实，意味着特例AI需脊髓-大写字母系统设计的相辅相成，以达致一种双向AI（bilateral AI）。而AI实证也无论如何朝着不具备更强的技能学到和缺陷化解灵活性的AI系统设计努力。他还愿景道，欧洲在这两之外都有传统的竞争者，因而要利用这些竞争者，全力地寻求特例AI的化解方案。

参考资料:

Hochreiter, Sepp. CompanyquotToward a broad AI." Communications of the ACM 65.4 (2022): 56-57.

Chollet, F. On the Measure of Intelligence (2019) ArXiv:1911.01547.

Lu%uEDs C. Lamb, Artur dCompanyaposAvila Garcez, Marco Gori, Marcelo O.R. Prates, Pedro H.C. Avelar, and Moshe Y. Vardi. 2021. Graph neural networks meet neural-symbolic computing: a survey and perspective. In IJCAICompanyapos20. Article 679, 4877–4884.