深度学习是什么?(上)

近来,我们经常在各种媒体上看到与人工智能相关的新闻,其中炒得最热的是深度学习。深度学习是什么?神经网络跟深度学习是什么关系?看了很多“科普”还是不懂?别着急,只要你买过橙子,你就能看懂这一篇。

买橙子和机器学习


有一天,你到水果店去买橙子,当然要挑选最甜、最熟的。你是根据橙子的重量来付钱的,而不是根据橙子的甜度或者成熟度,虽然水果店有时候会把好的橙子挑出一堆单独涨价,但是这里没这么做。

你妈妈曾经告诉你,橙子要挑深橙色的,颜色有点发红的,这样的橙子最甜,不要挑那些浅黄色甚至发青的,那些还没熟透。这样你就有了一点经验,虽然这点经验是别人直接教给你的,但你也可以在挑选的时候用上:深橙色的橙子熟透了,甜。你在水果店,挑了些深橙色的橙子,称重付钱回家了。这事就这么完了?

小事儿也没那么简单。

你回到家,高高兴兴吃橙子,但是你发现并不是每个橙子都那么甜,有一些还是不够甜。看来妈妈的经验还是不足,只通过颜色判断橙子甜不甜,不是很靠谱。

你开始回忆自己吃过的橙子。到底什么样子的橙子最甜?好像是个头大而且深橙色的比较甜,那些个头小的深橙色的橙子,大概有一半是不甜的。(比如,买了100个深橙色的橙子,有50个大的,都是甜的;另外50个小的,其中有25个是不甜的。)你总算总结出了一条经验规则:大的深橙色的橙子是最甜的,哈哈。

你又高高兴兴地去买橙子。可你熟悉的那种橙子卖完了,现在卖的是另一个品种,产自不同的地方,你之前总结的经验可能行不通了。你不知道之前的经验能不能迁移过去(迁移学习),于是你重新尝试,把各种橙子买回家尝,几次之后你发现这个品种中小的、浅黄色的橙子是最甜的!

过了几天,表妹来你家玩,她想吃橙子,于是你们一起去买。她不在乎橙子甜不甜,只要多汁就好。唉,从前总结的经验又不管用了。你只能开始新的一轮实验,目标就是多汁的橙子(优化目标变了)。你又总结出,捏起来越有弹性的橙子汁越多。

后来,你出国读书,国外的橙子跟你家乡卖的又不一样了,这里果蒂小、皮细腻的最好吃。


毕业后,你结婚了,老婆不喜欢吃橙子,喜欢吃香蕉。生活是两个人的事情,从现在开始,你不光要买橙子,还要买香蕉!你积累的挑选橙子的经验规则都行不通了。你只能从头开始新的实验尝试,虽然这个过程很枯燥,但是你去做了,因为你爱她。

规则列表


你想把如何挑选橙子、香蕉等这些水果的方法和经验用程序实现,这样用计算机,甚至用你的手机摄像头扫一下,就能自动挑选出很多好吃的水果。因为你积累了一些规则,可以这么实现:

if (color is deep orange and size is big and sold by favorite vendor): orange is sweet. if (flexible): orange is juicy.
...

这些规则越来越多的话,特征之间的组合就越来越麻烦和复杂,管理和使用都很麻烦。写程序实现的时候,谁会笨到写这么多If…Then,这个时候就涉及我们的下一个问题。

组成神经网络


神经元之间的连接不是固定不变的,在人的学习和成长过程中,一些新的连接会被逐渐建立起来,还有一些连接可能会消失。外界刺激就是神经网络的输入,在接收刺激后,刺激信号将传递到整个网络中,影响所有的神经元状态,神经元之间彼此连接并相互制约影响,不断调整彼此间的连接强度,直到达到稳定状态,并最终对刺激做出反应。神经元之间的关系变迁形成了生物体的学习过程。

生物神经网络是由很多神经元相互连接的,神经网络系统是一个极为庞大又错综复杂的系统。虽然每个神经元都十分简单,但如此大量的神经元之间非常复杂的连接,却可以演化出丰富多彩的行为方式。同时,如此大量的神经元与外部感受器之间的多种多样的连接方式,也蕴含了变化莫测的反应方式。总之,连接方式的多样化导致了行为方式的多样化。


图1 脑神经系统的主要组成部分

脑神经系统的主要组成部分如图1所示。人脑具有阶层结构,其中最复杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成的神经网络,这就使它具有高度的分析和综合能力。它是人脑思维活动的物质基础,是脑神经系统的核心部分。

人们通过长期的研究,进一步探明了大脑皮层是由许多不同的功能区构成的。例如,有的区专门负责运动控制,有的区专门负责听觉,有的区专门负责视觉等。在每个功能区中,又包含许多负责某一个具体功能的神经元群。例如,在视觉神经区,存在着只对光线方向性产生反应的神经元。更进一步细分,某一层神经元仅对水平光线产生响应,而另一层神经元只对垂直光线产生反应(这个特性跟卷积神经网络有些关联度)。

看到这里大家都觉得很熟悉,这不就是之前说的自组织(Self-Organization)工厂吗?这里需要特别指出的是,大脑皮层的这种区域性结构,虽然是由人的遗传特性所决定的,是先天性的,但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织特性



所谓自组织,就是每个神经元都自己决定和另外哪些神经元链接,甚至不链接,没有从一个“领导”的角色去安排大家的工作,而这种自己决定的特性构成了神经元的自主学习(对应于神经网络模型的训练),不存在外部教师的示教。

神经元的这种自组织特性来自于神经网络结构的可塑性,即神经元之间相互连接的突触,随着动作电位脉冲激励方式与强度的变化,其传递电位的作用可增加或减弱,简单地说就是输入(树突)输出(轴突)部分是可以由链接强度来表示的,这直接决定了神经元A在传递信号给神经元B时,信号是有强度的。

还应指出,功能的分区定位并不是机械的一对一关系。许多功能,特别是高级思维功能,通常都可以分为若干子功能块,这些子功能块存在并行关系。对于一个特定功能的神经加工,往往是在大脑皮层的许多部位分布式进行的。正因为如此,某一部位的损伤才不至于导致整个功能的丧失。

大脑如何解决现实生活中的分类问题


人在学习知识,认识自然的过程中,有个基本的能力就是对已知事物进行学习,对已知或未知的事物进行分类,而对于人或物体的分类又是人类基于学习到的知识的一个逻辑推理过程。

让我们思考下面几个问题。

(1)人是如何进行垃圾邮件识别的?我们看邮件一眼,仅仅靠看标题就知道是垃圾邮件,这是如何做到的?

(2)医生是如何判断病人疾病的?

(3)我们怎么把香蕉和苹果分开?

大脑在做上面的推理时,当然涉及知识库的积累,如果有了这些知识,人在看垃圾邮件时,也许是瞥到了标题上出现的“财务”或“销售技能”,或者是看到了发送邮箱不符合正常人取名字的规律,就直接判别为垃圾邮件了。

而医生对于疾病的判断,这里不说判断,说归类更符合实际场景。医生对于疾病的诊断,除了望闻问切之外,主要是从基本的检查对疾病分类,比如先通过流鼻涕、喉咙痛、发热等症状,判别病人可能感冒,通过按压或听音排除其他炎症等,验血后得到确认,最终判别就是感冒。

我们对苹果和香蕉的形状和颜色这两个特征进行判断,香蕉是长且有小弯的,一般是黄色的有些褐色的斑;而苹果是圆形的、红绿色的,有这两种特征就很好区分香蕉和苹果了。

我们已经弄清楚人工神经网络的概念了,在“深度学习是什么(下)”中,我们来看一看如何构造一个基本的神经网络。


作者:吴岸城,菱歌科技首席数据科学家。

本文选自《神经网络与深度学习》,吴岸城 著,北京:电子工业出版社,2016年6月第一版,ISBN 978-7-121-28869-2。


Jackie Luan

继续阅读此作者的更多文章