@Jocelyn

            在当前的人工智能领域当中，神经架构中做的与结构设计有关的决策，以及这些决策如何对应于某些假设和归纳偏见，是一项非常重要的讨论。“语言结构的回归”也是2017年NLP深度学习研究的四大趋势之一。不久前，Christopher Manning教授和Yann LeCun教授就以“我们应该在深度学习系统的体系结构中建立什么固有先验？”展开了讨论。

      设立在斯坦福大学人工智能实验室内的一场AI Salon聚集了诸多人工智能领域的专家级嘉宾。Manning教授和LeCun教授的讨论是在此次活动中的一场分会上进行的。在开始之前，就有许多人预测这两位教授会产生很大的分歧，但事实是两位教授既彼此认同，也各抒己见。

开场发言便确立意见分歧

      对于神经结构，Manning教授认为这是“必要的善”，而LeCun教授认为这是“必要的恶”。前者认为人们应该对神经结构持积极态度，将其纳入神经网络的设计决定中。这种结构所设计出的系统能够从更少的数据中获得更多的知识，抽象层次更高；而后者认为，如果要将神经结构纳入神经网络中，那么就必须提出一些假设。但这样会导致一些错误的产生，从而引起更多的问题。

      同时，Manning认为这种必要性是正确的，而且符合原理。例如，语言在根本上是递归的，所以NLP结构也应如此！不过他也确实承认，这在实践中是很难做出正确的结构假设的。而LeCun对结构的理想化程度要低得多，他提到一个没有结构限制的类似的网络也能工作，除了训练需要更长的时间。

有监督的端到端学习是深度学习的主导范式

      在过去的几十年中，固有先验的理论已经过时。LeCun和Manning提到，今天的深度学习研究则将有监督的端到端学习视为主导范式。他们一再强调这种范式的局限性明显，在记忆、计划、迁移学习、现实世界知识和多步推理等方面仍有待进步，而目前的研究也正是希望通过结构设计决策解决这些问题。

      不过，Manning的想法更进一步。他断言现代深度学习的大数据、大计算的范式事实上已经“颠覆了计算语言学领域”，并且“偏离了轨道”。他认为，如果人们能够访问大量的数据，并拥有强大的计算力，就可以通过构建简单但效率低下的系统来获得成功。不过，较高抽象层次学习并不需要大量数据。因此，Manning教授也认为加入适当的内在结构，才能使系统在正确的抽象层次上有效地学习概念。

      除了这类人工智能技术的核心局限以外，无监督学习或少监督学习也是一项亟待解决的问题。人类能够在不需要任何奖励任务或外部奖励的情况下通过观察了解世界，并且能够在没有明确监督的情况下学习结构零散的抽象概念。但这种本领人工智能要发展所必须进行的学习。

      不过就这一点，LeCun和Manning产生了分歧。Manning认为强加上结构是解决无监督学习的关键。但LeCun认为，进行无监督学习，并不一定需要强加结构。举例来说，人类的大脑没有任何先天的卷积结构，因为作为一个有效的无监督学习者，大脑可以学习相同的低级图像特征来完成系统学习。LeCun认为，如果人们对目前的神经架构强加上结构，那么一旦AI专家开发出了更好的无监督学习方法，那些结构设计决策就会过时。

语言究竟是不是通用智能的关键？

      在LeCun和Manning的讨论中，LeCun一再反对固有论，认为所有结构都应该从环境中学习。虽然Manning 同意很多结构应该从环境中学习，但他也认为AI系统的设计者应该在提供这种结构方面起一定的作用。虽然人们现在不应该回到人类设计复杂的系统的时代，但Manning认为科学家们应该为机器提供正确的结构以令它们更有效地学习。

      与此同时，LeCun和Manning也有都同意在理想情况下，奖励应该是内在的。也就是说，正确地理解世界，本来就应该是智能体的奖励。这点类似于，人类不断构建自己心目中的世界模型，并根据外部观察对其进行修改。

      相比之下，今天大多数机器学习系统从外部提供的与特定任务密切相关的奖励中学习。Manning认为，这些目标函数过于肤浅，他指出如果将目标函数定义在如此低的水平，我们将永远无法建立能够学习抽象概念的AI系统。

      在讨论的最后几分钟，LeCun可能有点挑衅地称，语言“并没有那么复杂”，也不是实现通用智能的关键。为了支持这一论点，LeCun还以猩猩没有语言也几乎像人一样聪明为例。但Manning也开始捍卫语言，他声称语言对于通用智能至关重要，因为语言是让个人智能得以共享并转化为社会智慧的载体和渠道。这场讨论不时充斥着一股硝烟味，关于深度学习系统体系结构的讨论，或许还将持续更长时间。

名词解释：

NLP：指计算机科学与语言学转换的领域，是人工智能和语言学领域的分支学科。