@陈宗周

深度学习就像一只雄鹰，高飞还需要强劲的翅膀。而装上这两只翅膀，两位华人发挥了很大的作用。

不是只有好算法就能成功

      深度学习迅速成为统治AI的最热门技术，除在思想和算法上有重大突破之外，它诞生时的计算环境与信息环境也有极大变化。

      深度学习是机器学习(Machine Learning, ML)领域的分支学科。机器学习思路是让计算机自动学习相关知识并解决实际问题。实现机器学习有很多方法，属于神经网络的深度学习是其中的重要方法之一。

      机器学习、神经网络都不是新东西，深度学习虽然严格说也不是新东西，而是在2006年被欣顿等重新包装推出时，有很多创造性的新思想和算法，让机器学习焕然一新。但是，AI的历史告诉我们，不是只有好算法就能成功。

      比如，深度学习用统计学方法巧妙处理深度神经网络数据的权重，把概率上相对近似度高的数据合并处理，大大降低了数据的维数，也就是降低了复杂度，由于这项关键技术，欣顿把自己构建的深度神经网络也称之为深度置信网络。维数虽然相对降低，但计算量依然惊人。

      神经网络模仿人的大脑，用学习的方法获取准确知识并用之解决问题。人工神经网络后来发展成多层神经网络，在输入层和输出层之间加上隐层，隐层还可以不断增加。夺得2015年ImageNet图像识别竞赛冠军的微软ResNet系统，就是 152 层的深度神经网络。随着深度增加，复杂度和计算量都无比巨大。 

      像人类学习可以分为有老师的学习和无老师的学习一样，机器学习可以分为监督学习和无监督学习，监督学习必须使用经过标注的数据，无监督学习使用的数据不需经过标注。

      神经网络本质上是一个数据驱动模型，需要提供数据让机器去学习，然后根据学习的结果不断调整、优化模型中的参数，达到使模型收敛，也就是达到预期学习效果。这一过程叫训练。

      一个神经网络系统研制中一般需要三个数据集，训练集、工作集、测试集。训练集规模越大，训练效果也就是学习效果越好。

      神经网络系统如果训练数据太少，会出现“过拟合”。这个专业术语的意思是学习结果太针对特定情景，不能推广。而学习结果能广泛适用，则称为“泛化”。正向人类学习能举一反三是因为掌握大量知识一样，机器学习也需要大量数据。

      形象地说，机器学习需要大量的数据“喂”进机器，“喂”进数据越多，质量越好，学习效果越好。

      欣顿想了很多办法来减少对监督学习的需求，因为这意味着大大减少工作量和提高训练速度。他的创新思路是把无监督学习和监督学习结合使用。先让机器自己进行无监督学习，也即自动处理没有经过标注的数据，进行逐层预训练。最后阶段进行监督学习，即用经过标注的数据进行训练。这样大大提高了训练的速度。欣顿形象地比喻说：“想象一下小孩子，当他们学着辨认牛时，并非需要去看几百万张妈妈们标记上‘牛’的图片，他们仅仅是自己学习牛的样子，然后问到：‘这是什么？’ 妈妈会说：‘这是一头牛’，他们就学会了。”

      这是深度学习巧妙的学习过程，但即使有这些发明，深度学习也必须在计算能力大大增强和海量数据出现的情况下，才能充分发挥作用。