人工神经网络道路崎岖

      当前的AI热潮，与以前两次有极大不同的是，不但科研人员大量流向企业，投资主体也已经从政府转向企业。回顾计算机和互联网走过的道路，同样都有这样的路径：从军事和科研领域转向商用，再转向大规模民用，从而在全社会普及。今天的AI，正在向全社会普及之中。而这一切，与欣顿为代表的一批深度学习领域科学家在AI寒冬中顽强坚持科研方向有很大关系。

      杰夫· 欣顿1947年出生于英国。他的家族有很深的学术渊源，他的曾祖父的岳父就是大名鼎鼎的乔治·布尔（George Boole），是符号逻辑领域的先驱，这是促进计算机诞生与发展的重要基础研究之一，“布尔代数”就是以他的姓命名。

      欣顿很早就开始思考人的大脑。16岁时一位同学给他介绍关于记忆的理论：大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是像全息照片一样，分布式存储于一个巨大神经元网络里。全息照片、分布式、神经元网络，这些概念深深启发了他，让他对神经网络产生了浓厚兴趣。

      很自然地，他进入剑桥大学心理学专业并于1970年本科毕业。1978年，他取得爱丁堡大学AI专业博士学位，这所大学的AI实验室，是世界上最早建立的四个AI研究基地之一。博士毕业后，他在卡内基梅隆大学等多所欧美著名高校游学和研究，最后到加拿大多伦多大学任教。无论他走到哪里，他的研究方向始终聚焦人工神经网络。他在神经网络方面的漫长学术生涯，几乎与AI学科同龄。

      人工神经网络（ANN），简称神经网络，是AI的重要研究领域。AI研究领域一直有两大学派，一派是符号学派，被称为符号主义; 另一派是联结学派，也被称为联结主义。两大学派都从人脑得到启示，开始AI研究。符号学派从人脑的推理功能出发，认为要模拟人脑的逻辑推理思维，就要把相关的信息抽象为符号，然后进行符号运算，从而实现推理功能。联结学派则从人脑的组织出发，进行机器模拟。人脑有大量被称为神经元的脑细胞，人之所以能够进行思维，就是因为这些神经元互相联结，处理各种信息。同样，如果用机器模拟神经元，并建立人工神经元联结网络，这样的人工神经网络就能够进行思维。属于联结学派的人工神经网络，一直按照这样的思路进行研究。

      正像AI领域的所有研究一样，人工神经网络道路注定不会平坦。

      神经网络概念实际上先于AI，在20世纪40年代就出现了。AI学科的创始人之一的马文·明斯基1951年就研制出基于神经网络的学习机，他在达特茅斯会议期间拿出来交流的，正是这一神经网络系统。1957年康内尔大学心理学教授弗兰克·罗森布拉特（Frank Rosenblatt）提出的“感知器” （Perceptron），是第一次用算法来精确定义神经网络和第一个具有自组织自学习能力的数学模型，成为后来许多神经网络的基础。另一方面，这台电子感知机因为能读入并识别简单的字母和图像，而在当时引起轰动，引来对AI的无数美好遐想。

      但是，那个时代的神经网络系统根本不可能实用，马文·明斯基自己也对感知机提出严厉批评。人工神经网络的研究，很快在AI的第一次寒冬中进入低潮。