原创文章，转载、引用请注明出处！
写在前面
作为一名科班出身、将来极有可能从事计算机行业的人，“追赶潮流”是我们必须要拥有的品质。倘若我们追赶不上计算机及其领域思想的更新换代，那么就相当于被淘汰掉了。对于深度学习这个概念来说更是如此，自它和它的父、子概念面世以来，就受到了世人的追捧，以至于到现在已经变得有些“泡沫“起来。“但凡是一个会写代码的人都会用深度学习方法”，这种话已经实现了大半了，诸多的开源平台已经把这门学科的门槛拉到了极低的地步。与我个人而言，现在的学习时机算不上是最早的，但却是最好的。所以将深度学习做一个系列的学习笔记，不定时记录自己的学习过程。
什么是深度学习？
深度学习（Deep Learning）的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
上述概念来源于百度百科，这样的表述对于接触过这个领域的人来说是易懂的。我们从中可以得到深度学习一个关键的来源：人工神经网络。这对于上过机器学习课程的我来说并不是陌生词汇，同时产生的疑惑却是：这不是机器学习里面的算法吗？深度学习和机器学习之间有什么关系呢？
什么是机器学习？
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
上述概念还是来源于百度百科，这样的表述还是简单易懂的。我们从中可以得到深度学习一个关键的来源：人工智能。说到这里，大多数人肯定就脱口而出了：那不就是AI么！说起这个AI来，实际上我也上过同名的课程，只不过仅仅学习了一些经典的算法，考试内容也多是关于算法，概念性的东西当时也没有在乎。所以我们可以接着往下探索了。
什么是人工智能？
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。
人工智能是一门极富挑战性的科学，从事这项工作的人必须懂得计算机知识，心理学和哲学。人工智能是包括十分广泛的科学，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。但不同的时代、不同的人对这种“复杂工作”的理解是不同的。2017年12月，人工智能入选“2017年度中国媒体十大流行语”。
上述概念你们自己猜一猜来源于哪儿。探索到这里，已经非常清晰明了了。简言之，这是以计算机科学为基础的一门学科，其目的是让计算机使用人的思考方式替代人们思考复杂工作。
至此，我们开始向上回溯。
AL、ML和DL
具象的展示这三者的关系如下：
这几者的包含关系是层次递进的。这样的递进不仅仅是概念上的递进，而且是时间上的递进。
那么，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。五十年代，人工智能曾一度被极为看好。之后，人工智能的一些较小的子集发展了起来。先是机器学习，然后是深度学习。深度学习又是机器学习的子集。
这门学科的发展流程几经波折，却又自然而然：
- 1956年，几个计算机科学家相聚在达特茅斯会议（Dartmouth Conferences），提出了“人工智能”的概念。而我们目前能实现的，一般被称为“弱人工智能”（Narrow AI）。弱人工智能是能够与人一样，甚至比人更好地执行特定任务的技术。例如，Pinterest上的图像分类；或者Facebook的人脸识别。这些是弱人工智能在实践中的例子。这些技术实现的是人类智能的一些具体的局部。
- 自被公认为是人工智能的核心以后，机器学习成为了人工智能研究最热门的分支，它的发展过程大体上可分为4个时期。第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。机器学习的最新阶段始于1986年。至今，机器学习的发展已经渐趋完善了。传统算法包括决策树学习、推导逻辑规划、聚类、强化学习和贝叶斯网络等等。众所周知，我们还没有实现强人工智能。早期机器学习方法甚至都无法实现弱人工智能。机器学习最成功的应用领域是计算机视觉。
- 随着时间的推进，学习算法的发展改变了一切。人工神经网络（Artificial Neural Networks）是早期机器学习中的一个重要的算法，历经数十年风风雨雨。神经网络的原理是受我们大脑的生理结构——互相交叉相连的神经元启发。但与大脑中一个神经元可以连接一定距离内的任意神经元不同，人工神经网络具有离散的层、连接和数据传播的方向。当人们发觉了这个模型能够在这样的分解下以任意的形态构建出解释问题的模型时，深度学习的思想被单独提了出来，发展至今。
深度学习造成了前所未有的巨大的影响，这个相信接触过的人都能够或多或少地感受过。至于我们所熟知的机器学习和深度学习，它们之间的差异说简单也简单，但也并不是能用一两句话就能够说清楚的。我将在之后的笔记中再做详细介绍。
参考链接
AI、机器学习和深度学习之间的区别是什么？：https://blog.csdn.net/ccnucb/article/details/79722714