书名：神经网络与深度学习pdf/doc/txt格式电子书下载

推荐语：从零起步了解神经网络与深度学习，AlphaGo大胜李世石的背后玄机。

作者：吴岸城著

出版社：电子工业出版社

出版时间：2016-06-01

书籍编号：30468336

ISBN：9787121288692

正文语种：中文

字数：98705

版次：1

所属分类：互联网+-人工智能

版权信息

书名：神经网络与深度学习

作者：吴岸城

ISBN：9787121288692

免责声明：本站所有资源收集整理于网络，版权归原作者所有。
本站所有内容不得用于商业用途。本站发布的内容若侵犯到您的权益，请联系站长删除，我们将及时处理！

作者简介

吴岸城

致力于深度学习在文本、图像领域的应用。曾在中兴通讯、亚信联创担任研发经理、技术经理等职务，现任菱歌科技首席算法科学家一职。

前言

很多朋友告诉我，一本书总是要加一个前言才算完整。如果书没有前言，就好像只有山没有水一样，没有意境。

对我来说，这是我的第一本技术科普类读物。之所以把它称作第一本，是因为我从前没写过书，哪怕是一篇超过4万字的文章（论文不算）都没写过，所以听编辑说写书有字数要求时，我都没有概念，心想不就写本书吗？easy！

写着写着发现不对了，自己没有为一本书建立好整体知识体系！从2014年开始断断续续地写着，中间有段时间甚至想过放弃。我之所以没放弃，无非是因为觉得做事要有始有终。如果我写得不好，那是我的能力有限；如果因为一些之前估计不到的难度就放弃了，那是态度问题！

为什么说这是一本科普类读物呢？至少在我写书时，很多人（都是IT、软件这个行业的人）对于神经网络、深度学习（Deep Learning）等都毫无概念，如果连这些人对神经网络等都没有概念，可以想象其普及程度有多低。但我觉得深度学习并不是只有大学学府或几个相关的专业学生才能研究它；并不是只有公司里这个领域的专家才能研究它，它是属于整个大众的东西。

对于技术层面的东西，将会慢慢简化再简化，如同编程语言一样，开始是汇编语言，后来是C语言，再后来有了C++，再后来有了Java，甚至出现了Python、JavaScript，它们降低了进入门槛，可以让更多人使用。对的，编程语言的进化就是让更多人更便捷地使用。对于深度学习来说，基本的算法库至少目前来讲已经很多很多了，这些算法库基本覆盖了我们的现代编程语言，让人能够更方便地使用。微软甚至出了一个图形化的深度学习在线工具，你只要拖曳下鼠标就能得到一个算法并训练它，极大地加快了学习效率。

我强调这一点是想说：技术的进步扩散了这些技术，最终目标也许就是机器像人类那样思考，让人类想什么有什么，而不仅仅局限于技术层面；而今天深度学习的进化已经可以使机器通过学习已有的知识就能推导出或预测出未知的事物，想起这点时常让我激动，让我觉得创造出一个机器生命体是有可能的！所以写本书的意义在于让人们不过多地关注公式及推导过程，而是关注它的使用方法，把人类的想法迅速转换成生产力才是目的，毕竟只有人类的想法才是最有价值的！

按以上思路，我安排书的整体目录架构如下。

第0章，介绍机器学习、神经网络的历史，好让大家有基本的了解。

第1章，解释大脑的运作结构和如何利用仿生学产生逻辑上的神经元和神经网络。

第2章，我们用仿生学的知识试着构造一个神经网络（感知机）并使用它做些事情，解释了XOR问题。在2.6节给出一些例子，让我们能更好地了解神经网络是如何分类学习和预测的。

第3章，介绍深度学习的基本概念，深度学习和神经网络的联系。

第4章，介绍深度学习的常用方法。

第5章，介绍AlphaGo。

第6章，两个重要概念，迁移学习和概率图模型PGM。

第7章，给出了一些经验以加快大家学习和研究的效率。

按照惯例，在前言的最后一部分应该做一些感谢，首先要感谢张杰同学，是他介绍了我和电子工业出版社的编辑认识。感谢我的编辑刘皎，对于一个刚刚进入写书圈子的新人，她给予了我很多帮助和支持。另外，还要感谢我的同事唐炜，他在我写书的后期给了一些很好的建议。

最后要感谢的，是我的夫人李茉，为了让我完成这本书的创作，她付出了家庭方面的很多努力，也为成书给了很多建议和帮助。

谢谢他们！

本书部分资料来源于网上，由于链接失效或无法知道原作者，因此没办法注明来源。请原作者看到后和我联系：wuanch@gmail.com。

写在前面：神经网络的历史

人工智能、神经网络、深度学习这些概念的提出和研究，基本都是在欧美科学家的主导之下开展的。毕竟，当时的中国还处于从水深火热转为解决温饱的状态，只有欧美等国具备这个研究条件。计算机类的科学研究，在早期不能不提“图灵测试”。20世纪中叶，人工智能之父图灵，也有人说人工智能之父这一称号属于约翰·麦卡锡（发明至今广泛应用于人工智能领域的 Lisp 语言、最早建立人工智能实验室等），反正都是伟人。图灵提出对计算机是否有智能进行测试，当时还提出以象棋比赛进行人工智能的测试。图灵表示，正如人类一样，在测试计算机“IQ”之前，需要对它们进行一定的训练。这一理论奠定了“图灵测试”的基础。

阿兰·麦席森·图灵

约翰·麦卡锡

图灵测试究竟是什么东西呢？下面简单介绍一下。

图灵测试（Turing test，又译图灵试验）是图灵提出的一个关于机器能否思考的著名判断原则。1950年，图灵在曼彻斯特大学任教，同时也是曼彻斯特大学计算机实验室的副主任，负责最早的真正的计算机——曼彻斯特一号的软件工作。他发表了一篇题为《机器能思考吗？》（Can Machines Think？）的论文，在这篇论文里，图灵第一次提出“机器思维”的概念。他逐条反驳了机器不能思维的论调，做出了肯定的回答。同时，他尝试定出一个决定机器是否有感觉的标准：在彼此不接触的情况下，对话者通过一种特殊的方式（如具有电报通信功能的打字机等），与一台计算机交流，也就是进行一系列的问答。如果在一段时间内，对话者无法根据这些问答判断对方是人还是计算机，那么，就可以认为这台计算机具备人类的智能，即这台计算机是能思维的。这就是著名的“图灵测试”。图灵预言2000年就可以出现骗过30%裁判的机器人。也正是这篇文章，为图灵赢得了一顶桂冠——“人工智能之父”。可以说图灵确实牛，我从心底里佩服他，在1947年图灵就已经阐述了如何对机器学习的结果进行检查的方法，而且这一方法是很有远见和可操作性的！

自图灵提出“机器与智能”后，主流观点分成了两派，一派认为实现人工智能必须用逻辑和符号系统，这一派是自顶向下的。什么意思呢？我们在大学都学习过统计学，这个逻辑和符号就有点狭义统计学的意思，可以说是预设和反馈。还有一派认为通过仿造大脑可以达到人工智能，这一派是自底向上的，他们认定如果能造一台机器，模拟大脑中的神经网络，这台机器就有智能。这两派的最大区别是，前一派想搞清楚如何思考，将思考的过程演化成逻辑，姑且叫他们“思路模拟”派，也叫控制派；后一派可以称为仿生派，想从模拟生物学大脑入手，让大脑自由形成意识。估计他们的思想来源于中国古代的原始思维，套用两个哲学词，前者属于理论型，后者更接近实践派。这两派一直是人工智能领域里的两个阶级，在两条路线中斗争，这斗争有时还你死我活。

西方科学界是很高产的，环境好，能源源不断地产出各种新思想和解决方案。实际上，在仿生派与图灵提出“图灵测试”之前，1943 年，传奇人物麦卡洛可（McCulloch）和皮茨（Pitts）就发表了模拟神经网络的原创文章。下面简单聊聊传奇人物为什么传奇。

麦卡洛可

皮茨

皮茨从小就喜欢数学和哲学，初中时就读过罗素的书——《数学原理》。有兴趣的读者可以看看罗素的《数学原理》，反正我是看不懂，皮茨同学当时才初中！皮茨读完这本书后估计是仰慕罗素，还给罗素写信。罗素爱才，邀请他到英国跟随自己学习逻辑，但皮茨家里非常穷困，他连高中都没有钱读，英国留学自然是不可能了。皮茨15岁时，他爸爸强行要他退学上班，就像所有爱读书的穷孩子一样，皮茨一怒就离家出走了。我记得我们初中那会有些同学是不愿意上学而离家出走，而皮茨和那些从小就调皮逃课的同学有着本质的区别。

后来，皮茨听说罗素要到芝加哥大学任教，就只身来到芝加哥，还真见到了罗素，罗素把他推荐给当时也在芝加哥任教的卡尔纳普。卡尔纳普想看看这孩子到底有多聪明，就把自己写的《语言的逻辑句法》（感兴趣的读者可以自己去搜）送给皮茨，没过一个月，皮茨就看完了，把写满笔记的原书还给卡尔纳普。卡尔纳普惊为天人，于是给皮茨在芝加哥大学安排了一份打扫卫生的工作。可能有读者会问，为啥都惊为天人了，只给打扫卫生的活？我想老卡主要是两层用意，第一，扫马路至少可以避免流浪街头，有份固定工作，解决吃饭问题，皮茨是穷孩子啊！第二层用意估计是要再观察下皮茨同学，毕竟他不是科班出身。皮茨后来结识了也在芝加哥的麦卡洛可。沃伦·麦卡洛可在耶鲁大学学哲学和心理学，后来在哥伦比亚大学取得了心理学硕士和医学博士学位。麦卡洛可毕业后做了几年实习医生，先去了耶鲁研究神经生理学，后来去了伊利诺伊大学芝加哥分校，做精神病学系的教授。麦卡洛可的强项是神经科学，他不懂数学，因此他和17岁的皮茨是绝配。他们合作的成果就是神经网络的第一篇文章：《神经活动中思想内在性的逻辑演算》（A Logical Calculus of Ideas Immanent in Nervous Activity），发表在《数学生物物理期刊》上。后来这篇文章成了控制论的思想源泉之一。

这个控制论是从哪儿冒出来的呢？且听我慢慢道来。

要说控制论，就必须说说控制论的始作俑者诺伯特·维纳。他早年自称神童，他爸是哈佛教授，曾经带着他到英国见过罗素，但罗素特别不喜欢这爷儿俩。自从进入20世纪后，各种门派最牛的学问，最后都能扯到罗素那儿。维纳后来也在哈佛任教，但不被主流数学家喜欢，没拿到终身教职。最后只好到麻省理工学院落脚（没错，落脚，大家趋之若鹜的名校在人家眼里和旅馆差不多）。二战时，他做枪炮控制方面的工作，引发了他对通信理论和反馈的兴趣，他写了《控制论》一书，促成了控制论的诞生。战后发生了一件怪事，他邀请了人工智能、计算机科学和神经心理学的年轻学者到麻省理工学院，这其中就包括麦卡洛可和皮茨。维纳的老婆玛格丽特是德国移民，在二战时，家里还偷藏了一本英文版的希特勒写的《我的奋斗》。麦卡洛可的老婆是犹太人，与玛格丽特形同水火。有一次，玛格丽特对维纳说，麦卡洛可小组有人（可能暗指皮茨）勾引咱们宝贝女儿芭芭拉，维纳大怒，随即断绝和麦卡洛可及其学生的所有往来。现在看来玛格丽特是有意造谣，但维纳的举动对皮茨造成巨大创伤，皮茨本来是维纳的特招学生（special student），估计他年幼时受过挫折，故秉性怪异。和维纳闹翻后，他拒绝了麻省理工学院给他的研究生学位，对学问也心灰意冷。皮茨在1969年离世，比他的长辈麦卡洛可还早去世几个月，享年46岁。从皮茨的经历我们看出两点：天才总是个性怪异的；不能因为他人的造谣中断自己的事业（皮茨多活两年能解决不少问题）。

诺伯特·维纳

迈克尔·阿比卜

科学是讲究一点传承的，得维纳真传的人不多，所以我们不得不提迈克尔·阿比卜（Michael Arbib）。他23岁就在维纳手下获得了PhD，他出名是因那本科普书《大脑、机器和数学》。阿比卜后来创办了麻省理工学院的计算机系，并延揽一帮人工智能人马，其中有后来以“强化学习”出名的巴托（Andy Barto），使麻省的人工智能一直处于领先地位。阿比卜后来转往南加州大学，担任很多系的教授，他的名片要是印出来，一堆头衔，就差“政协委员”或“人大代表”了。阿比卜到南加州后，没出过什么有影响力的原创成果。在神经网络不景气时，巴托的实验室曾经短期收容了很多人，其中就有后来的大佬级人物，如乔丹（Michael Jordan，不是那个篮球飞人），乔丹在伯克利时又培养了吴恩达（Andrew Ng）等一干人马。

接下来讲讲唐纳德·赫布（Donald Olding Hebb）。赫布是加拿大心理学家，在神经心理学领域有重要贡献，他的研究方向是神经元在心理过程中的作用。1949年，赫布出版了《行为组织学》（Organization of Behavior），提出了知名的“赫布理论”。赫布理论主要认为，当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，致使A作为能使B兴奋的细胞之一，它的效能增强了。由于对神经元的重复刺激，使得神经元之间的突触强度增加。通俗地说，两个神经元同时被某未知事件激发，它们就有可能再次被同时击中，而且，被同时击中的次数越多，再次被同时击中的概率越高。2000年，诺贝尔医学奖得主肯德尔（Eric K

....