@陈宗周

正是杰夫·欣顿等科学家在人工神经网络领域锲而不舍的研究与探索，深度学习才会脱颖而出，创造出今天AI的一个个奇迹。

杰夫·欣顿

实习生培训班的老人

      2012年的一天，谷歌公司的实习生培训班里，来了一位头发花白的奇怪老人。在这群年轻实习生中，他显得非常特别，不但年龄很大，却仿佛什么都不懂。比如，培训老师说，“输入你的 LDAP（轻量目录数据库）用户登录码”，老人会立刻举手问道：“什么是 LDAP？” 培训班上的年轻人都在想，“那个老家伙是谁？为什么他连 LDAP 都不知道？”

      直到有一天，有人在餐厅午餐时发现老人，立刻走过来热情地说，“欣顿教授，我选修了你的课。你在这里做什么？” 实习生们大为惊讶，原来天天和他们坐在一起的这位老实习生，是 “深度学习教父”、加拿大多伦多大学计算机系教授杰夫·欣顿。

      不过，那时的欣顿，在AI圈子里虽然已经很有名气，但和今天的影响相比，不可同日而语。现在，欣顿引领的深度学习技术潮流，已经席卷全球，成为AI这一轮复兴的关键技术。杰夫·欣顿(Geoffrey Hinton) 也成为媒体追捧的科技巨星。

      欣顿居然在谷歌公司参加过实习生培训，这是一段颇有戏剧性的故事。谷歌大脑（Google Brain）负责人杰夫·迪恩邀请欣顿到谷歌工作，他自己也愿意到谷歌短期工作三个月，双方一拍即合。可是，怎么进入谷歌，他们遇到了麻烦。谷歌有一些古怪的规定，让短期工作的欣顿必须经过实习生培训。这样，六十多岁的他，出现在年轻实习生队伍里

      欣顿与谷歌的缘分并没有因为这点小插曲而断绝。几个月后，他和他的学生在ImageNet图像识别竞赛中取得惊人成果，谷歌不久就伸出橄榄枝了。   

      2013年春天，谷歌收购了多伦多的DNNresearch公司。这家深度神经网络研究公司，前一年刚创办，连欣顿共三人。收购后，欣顿很自然地成为谷歌公司AI顾问。大感意外的他，这样告诉别人：“我以为他们对我们的知识产权感兴趣，结果他们对我们这几个人感兴趣。”

      是的，雄心勃勃在AI领域进取的谷歌，感兴趣的正是欣顿这位深度学习领军人物。这次收购，实际上也打响了高科技公司巨头的深度学习人才争夺战第一枪。后来，曾经在欣顿门下做过博士后的纽约大学计算机系教授雅恩·乐昆(Yann LeCun，即杨立昆)、蒙特利尔大学教授约书亚·本希奥(Yoshua Bengio) 先后被Facebook、微软聘用。欣顿和这两位教授，被称为深度学习的 “加拿大黑手党三人帮”，他们都与加拿大有渊源，又共同成为深度学习的先驱人物。了解这些，就不难明白，他们先后被高科技巨头公司网罗，是深度学习人才战的标志性事件。随着越来越多的企业加入这场AI人才大战， AI在各行各业的深入应用也不断加快。

人工神经网络道路崎岖

      当前的AI热潮，与以前两次有极大不同的是，不但科研人员大量流向企业，投资主体也已经从政府转向企业。回顾计算机和互联网走过的道路，同样都有这样的路径：从军事和科研领域转向商用，再转向大规模民用，从而在全社会普及。今天的AI，正在向全社会普及之中。而这一切，与欣顿为代表的一批深度学习领域科学家在AI寒冬中顽强坚持科研方向有很大关系。

      杰夫· 欣顿1947年出生于英国。他的家族有很深的学术渊源，他的曾祖父的岳父就是大名鼎鼎的乔治·布尔（George Boole），是符号逻辑领域的先驱，这是促进计算机诞生与发展的重要基础研究之一，“布尔代数”就是以他的姓命名。

      欣顿很早就开始思考人的大脑。16岁时一位同学给他介绍关于记忆的理论：大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是像全息照片一样，分布式存储于一个巨大神经元网络里。全息照片、分布式、神经元网络，这些概念深深启发了他，让他对神经网络产生了浓厚兴趣。

      很自然地，他进入剑桥大学心理学专业并于1970年本科毕业。1978年，他取得爱丁堡大学AI专业博士学位，这所大学的AI实验室，是世界上最早建立的四个AI研究基地之一。博士毕业后，他在卡内基梅隆大学等多所欧美著名高校游学和研究，最后到加拿大多伦多大学任教。无论他走到哪里，他的研究方向始终聚焦人工神经网络。他在神经网络方面的漫长学术生涯，几乎与AI学科同龄。

      人工神经网络（ANN），简称神经网络，是AI的重要研究领域。AI研究领域一直有两大学派，一派是符号学派，被称为符号主义; 另一派是联结学派，也被称为联结主义。两大学派都从人脑得到启示，开始AI研究。符号学派从人脑的推理功能出发，认为要模拟人脑的逻辑推理思维，就要把相关的信息抽象为符号，然后进行符号运算，从而实现推理功能。联结学派则从人脑的组织出发，进行机器模拟。人脑有大量被称为神经元的脑细胞，人之所以能够进行思维，就是因为这些神经元互相联结，处理各种信息。同样，如果用机器模拟神经元，并建立人工神经元联结网络，这样的人工神经网络就能够进行思维。属于联结学派的人工神经网络，一直按照这样的思路进行研究。

      正像AI领域的所有研究一样，人工神经网络道路注定不会平坦。

      神经网络概念实际上先于AI，在20世纪40年代就出现了。AI学科的创始人之一的马文·明斯基1951年就研制出基于神经网络的学习机，他在达特茅斯会议期间拿出来交流的，正是这一神经网络系统。1957年康内尔大学心理学教授弗兰克·罗森布拉特（Frank Rosenblatt）提出的“感知器” （Perceptron），是第一次用算法来精确定义神经网络和第一个具有自组织自学习能力的数学模型，成为后来许多神经网络的基础。另一方面，这台电子感知机因为能读入并识别简单的字母和图像，而在当时引起轰动，引来对AI的无数美好遐想。

      但是，那个时代的神经网络系统根本不可能实用，马文·明斯基自己也对感知机提出严厉批评。人工神经网络的研究，很快在AI的第一次寒冬中进入低潮。

寒冬中的坚持

      杰夫·欣顿博士毕业不久，AI刚好迎来第二次高潮。一直在神经网络领域耕耘的他并没有感到好时光到来，因为那个时代符号学派占了上风，名噪一时的专家系统、智能推理机，都是符号主义的胜利。而到了AI的第二次寒冬，所有的AI项目却都受到重创，神经网络也如此。

      人工神经网络想法非常好，研究成果也大量出现。但随着对人脑研究的深入，人们发现，人脑的确是宇宙中最复杂的精灵之物，模仿人脑的人工神经网络系统，谈何容易。

      一个人类的大脑保守估计有1000亿个神经元。人们常常比喻人脑像一台电脑，实际上每一个神经元都是一台电脑。每一个神经元有无数突触与其他神经元相连，估计突触的数量在100万亿到1000万亿之间。谷歌大脑是最著名的人工神经网络系统，即使在今天，目标也不过是达到大脑某一部分的功能。

      由于人工神经网络的高度复杂性，这一研究方向一度被认为是学术死路。在AI第二次进入低谷时，很多同行开始转去研究别的领域，但是欣顿等人仍然在这里坚守，他因而被视为不可理喻的怪人，说起神经网络，人们都用不屑的眼神看着他。尽管欣顿在人工神经网络领域硕果累累，并在1998年被选为英国皇家学会院士，还获得了很多其他荣誉，但仍不能扭转人们的偏见。很长一段时间里，多伦多大学计算机系私下流行着一句对新生的警告：不要去欣顿的实验室。

      欣顿不为所动，仍然坚持自己的神经网络研究方向。据说他有一种激励自己的特殊方法，每周发泄般大吼一次：我发现大脑是怎样工作的啦！这样的习惯，几十年一直保持下来。

      在神经网络相关学术论文很难得到发表的那段时间，他坚持写了两百多篇研究论文，为后来的突破打下了坚实的基础。科研经费又成为他的大问题。但功夫不负有心人。2004年，欣顿终于从加拿大高等研究所（CIFAR）获得了每年50万美元的经费支持，如果和日本五代机等知名AI项目得到的巨额资金相比，这实在是一笔微薄的经费。但是，名为“神经计算和适应感知”的这一项目，在乐昆和本希奥两位志同道合者的良好合作下，他们将一批一流的计算机、生物学、电子工程、神经科学、物理学和心理学专家团结在一起，共同探索神经网络模拟人脑智能的新方法。

深度学习登场

      重大突破出现了。2006年7月28日，欣顿和学生题为《用神经网络降低数据维数》的论文在美国权威的《Science》杂志发表，这篇论文被认为是深度学习领域开创性论文。论文中介绍了神经网络的一些新思想和新方法，引起AI和人工神经网络界的关注。而他们和经费支持者CIFAR一起，开始把新思想和新方法，用20年前就出现过但没引起重视的一个术语“深度学习”（Deep Learning）来描述和包装。深度学习开始登场，渐渐地成为AI和神经网络最热门的研究方向，在有些场合，深度学习甚至成为神经网络的代名词。

      尽管2006年以后深度学习就开始引起关注，但震撼性的影响发生在6年后，在前面提到的2012年ImageNet图像识别竞赛上。ImageNet是斯坦福大学华裔女科学家李飞飞和普林斯顿大学华裔教授李凯2007年起合作开发的大型图像识别项目基础上创办的权威竞赛，这项竞赛已经成为图像识别领域当年最高水平者之间的较量。

 ImageNet 缔造者李飞飞

      欣顿的两位学生组成多伦多大学小组，在2012年的竞赛中采用深度学习赢得了竞赛的图像分类比赛冠军，不仅识别出猴子，而且区出分蜘蛛猴和吼猴，以及各种各样不同品种的猫。

      一次比赛的冠军也许并不重要，重要的是欣顿小组用了与其他参赛者完全不同的方法，得到颠复性的结果。竞赛中，他们采用深度学习的识别结果，准确率超过第二名东京大学10%以上，而第二到第四名都采用传统计算机图像识别方法进行分类，他们之间准确率的差别不超过1%。也就是说，采用深度学习，把图像识别的准确率进步一下子提高了一个数量级。2012年10月，在意大利佛罗伦萨的研讨会上，竞赛组织者李飞飞宣布了这一压倒性的结果，在计算机视觉领域产生了极大的震动，并迅速波及到整个AI界和产业界。

      深度学习的热潮从此掀起，一波接一波向前迅猛推进，不断进入一个又一个领域并连战连捷，势如破竹，形成今天锐不可挡的AI狂潮。