Python高性能编程pdf/doc/txt格式电子书下载
本站仅展示书籍部分内容
如有任何咨询
请加微信10090337咨询
书名：Python高性能编程pdf/doc/txt格式电子书下载
推荐语：深刻理解Python的实现让你的Python代码运行的更快
作者：（美）MichaGorelick戈雷利克,IanOzsvald欧日沃尔德,胡世杰,徐旭彬等译
出版社：人民邮电出版社
出版时间：2017-07-01
书籍编号：30393415
ISBN：9787115454898
正文语种：中文
字数：326963
版次：
所属分类：计算机-程序设计
版权信息
书名：Python高性能编程
作者：（美）Micha Gorelick戈雷利克 Ian Ozsvald欧日沃尔德
ISBN：9787115454898
版权所有 · 侵权必究
前言
Python很容易学。你之所以阅读本书可能是因为你的代码现在能够正确运行，而你希望它能跑得更快。你可以很轻松地修改代码，反复地实现你的想法，你对这一点很满意。但能够轻松实现和代码跑得够快之间的取舍却是一个世人皆知且令人惋惜的现象。而这个问题其实是可以解决的。
有些人想要让顺序执行的过程跑得更快。有些人需要利用多核架构、集群，或者图形处理单元的优势来解决他们的问题。有些人需要可伸缩系统在保证可靠性的前提下酌情或根据资金多少处理更多或更少的工作。有些人意识到他们的编程技巧，通常是来自其他语言，可能不如别人的自然。
我们会在本书中覆盖所有这些主题，给出明智的指导去了解瓶颈并提出效率更高、伸缩性更好的解决方案。我们也会在本书中包含那些来自前人的战场故事，让你可以避免重蹈覆辙。
Python很适合快速开发、生产环境部署，以及可伸缩系统。Python的生态系统里到处都是帮你解决伸缩性的人，让你有更多时间处理那些更有挑战性的工作。
本书适合哪些人
你使用Python的时间已经足够长，了解为什么某些代码会跑得慢，也见过以本书讨论的Cython、numpy以及PyPy等技术作为解决方案。你可能还有其他语言的编程经验，因此知道解决性能问题的路不止一条。
本书主要的目标读者是那些需要解决CPU密集型问题的人，同时我们也会关注数据传输以及内存密集型问题。科学家、工程师、数据分析专家、学者通常会面临这些问题。
我们还会关注网页开发者可能面临的问题，包括数据的移动以及为了快速提升性能而使用PyPy这样的即时（JIT）编译器。
如果你有一个C（或C++，或Java）的背景可能会有帮助，但这不是必须的。Python最常用的解释器（CPython——你在命令行输入python时启动的标准解释器）是用C写的，所以各种钩子和库全都血淋淋地暴露了内部的C机制。但我们也会谈到对C一无所知的人也能使用的许多其他技术。
你可能还具有CPU、内存架构和数据总线的底层知识，还是那句话，这些也不完全是必须的。
本书不适合哪些人
本书适用于中高级Python程序员。积极的Python初学者可能可以跟上，但我们建议要具有坚实的Python基础。
我们不会探讨存储系统优化。如果你有一个SQL或NoSQL瓶颈，本书可能帮不了你。
你会学到什么
我们两位作者在业界和学术界工作了很多年，专门应对大数据应用、处理我需要更快得到答案！之类的请求、可伸缩架构等需求。我们会将自己经历千辛万苦获得的经验传授于你，让你免于重蹈覆辙。
在每一章开头，我们会列出问题，并在后续的文字中回答（如果没有回答，告诉我们，我们会在下一个版本中修正！）。
我们会覆盖下面这些主题：
• 计算机内部结构的背景知识，让你知道在底层发生了什么。
• 列表和元组——在这些基本数据结构中细微的语义和速度区别。
• 字典和集合——在这些重要数据结构中的内存分配策略和访问算法。
• 迭代器——Python风格的代码应该怎样写，用迭代打开无限数据流的大门。
• 纯Python方法——如何高效使用Python及其模块。
• 使用numpy的矩阵——像一头野兽一样使用心爱的numpy库。
• 编译和即时计算——编译成机器码可以跑得更快，让性能分析的结果指引你。
• 并发——高效移动数据的方法。
• multiprocessing——使用内建multiprocessing库进行并行计算的各种方式，高效共享numpy矩阵、进程间通信（IPC）的代价和收益。
• 集群计算——将你的multiprocessing代码转换成在研究系统以及生产系统的本地集群或远程集群上运行的代码。
• 使用更少的RAM——不需要购买大型机就能解决大型问题的方法。
• 现场教训——来自前人的战场故事，让你可以避免重蹈覆辙。
Python 2.7
Python 2.7在科学和工程计算中是占主导地位的Python版本。在*nix环境（通常是Linux或Mac）下，64位的版本占了主导地位。64位让你能够拥有更宽广的RAM寻址范围。*nix让你构建出的应用程序的行为、部署和配置方法都可以很容易地被别人所理解。
如果你是一个Windows用户，那么你就要系好安全带了。我们展示的大多数代码都可以正常工作，但有些东西是针对特定操作系统的，你将不得不研究Windows下的解决方案。Windows用户可能面临的最大的困难是模块的安装：搜索StackOverflow等站点应该可以帮助你找到你需要的答案。如果你正在使用Windows，那么使用一台安装了Linux的虚拟机（比如VirtualBox）可能可以帮助你更自由地进行实验。
Windows用户绝对应该看看那些通过Anaconda、Canopy、Python（x，y）或Sage等Python发行版提供的打包的解决方案。这些发行版也会让Linux和Mac用户的生活简单许多。
迁移至Python 3
Python 3是Python的未来，每一个人都在迁移过去。尽管Python 2.7还将在接下来的很多年里面继续跟我们做伴（有些安装版仍在使用2004年的Python 2.4），它的退役日期已经被定在2020年了。
升级到Python 3.3+让Python库的开发者伤透了脑筋，人们移植代码的速度一直都很慢（这是有原因的），所以人们转用Python 3的速度也很慢。这主要是因为要把一个混用了Python 2的string和Unicode数据类型的应用程序切换成Python 3的Unicode和byte实在太过复杂了。
通常来说，当你需要重现基于一批值得信任的库的结果时，你不会想要站在危险的技术前沿。高性能Python的开发者更有可能在接下来的几年里使用和信任Python 2.7。
本书的大多数代码只需要稍做修改就能运行于Python 3.3+（最明显的修改是print从一个语句变成了一个函数）。在一些地方，我们将特地关注Python 3.3+带来的性能提升。一个可能需要你关注的地方是在Python 2.7中 / 表示integer的除法，而在Python 3中它变成了float的除法。当然，作为一个好的开发者，你精心编写的单元测试应该已经在测试你的关键代码路径了，所以如果你的代码需要关注这点，那么你应该已经收到来自你单元测试的警告了。
scipy和numpy从2010年开始就已经兼容Python 3了。matplotlib从2012年开始兼容，scikit-learn是2013，NLTK是2014，Django是2013。这些库的迁移备忘录可以在它们各自的代码库和新闻组里查看。如果你也有旧代码需要移植到Python 3，那么就值得回顾一下这些库移植的过程。
我们鼓励你用Python 3.3+进行新项目的开发，但你要当心那些最近刚刚移植还没有多少用户的库——追踪bug将会更困难。比较明智的做法是让你的代码可以兼容Python 3.3+（学习一下__future__模块的导入），这样未来的升级就会更简单。
有两本参考手册不错：《把Python 2的代码移植到Python 3》和《移植到Python 3：深度指南》。Anaconda或Canopy这样的发行版让你可以同时运行Python 2和Python 3——这会让你的移植变得简单一些。
版权声明
本书版权符合知识共享协议“署名-非商业性使用-禁止演绎3.0”。
欢迎以非商业性目的使用本书，包括非商业性教育。本书许可完整转载，如果你需要部分转载，请联系O’Reilly（见后面“联系我们”部分）。请根据下面的提示进行署名。
我们经过协商认为本书应该使用知识共享许可证，让其内容在世界上更广泛传播。如果这个决定帮到了你，我们将十分高兴收到你的啤酒。我们估计O’Reilly的员工对啤酒的看法跟我们相同。
如何引用
如果你需要使用本书，知识共享许可证要求你署名。署名意味着你需要写一些东西让其他人能够找到本书。下面是一个不错的例子：“High Performance Python by Micha Gorelick and Ian Ozsvald（O’Reilly）．Copyright 2014 Micha Gorelick and Ian Ozsvald，978-1-449-36159-4.”
勘误和反馈
我们鼓励你在Amazon这样的公开网站上评论本书——请帮助其他人了解他们是否能从本书中受益！你也可以发E-mail给我们：feedback@highperformancepython.com。
我们特别希望听到您指出本书的错误，本书帮到你的成功案例，以及我们应该在下一版本加上的高性能技术。你可以通过O’Reilly官网给我们留言。
至于抱怨，欢迎你使用即时抱怨传输服务＞ /dev/null。
排版约定
本书采用下列排版约定：
斜体
表示新词、E-mail地址、文件名，以及文件扩展名。
等宽
用于程序列印，以及在文字中表示命令、模块和程序元素，如变量或函数名、数据库、数据类型、环境变量、语句和关键字。
等宽加粗
表示命令或其他需要用户原封不动输入的文字。
等宽斜体
表示需要被替换成用户指定的值或根据上下文决定的值。
问题
这个记号表示一个问题或练习。
备忘
这个记号表示一个备忘。
警告
这个记号表示一个警告或注意。
使用示例代码
补充材料（示例代码、练习等）可以通过GitHub下载。
本书是为了帮你搞定你的问题。通常来说，只要是本书提供的示例代码，你就可以在你的程序和文档中使用。你不需要联系我们获得许可，除非你需要对很大一部分代码进行转载。比如，写一个使用了好几段本书代码的程序不需要许可。以CD-ROM的形式销售或分发O’Reilly图书中的示例需要许可。引用本书文字和示例代码回答问题不需要许可。在你的产品文档中合并大量本书示例代码需要许可。
如果你觉得你对示例代码的使用超出了上述的许可范围，请通过permissions@oreilly.com联系我们。
Safari@在线图书
Safari在线图书是一个应需数字图书馆，它以书和视频的形式提供来自全球顶尖作者的技术和商业内容。
技术专家、软件开发者、网页设计者，以及商业和创新人员将Safari在线图书当成他们研究、解决问题、学习和资格认证训练的主要资源。
Safari在线图书为企业，政府，教育和个人提供了各种收费标准。
其成员可以通过全文搜索数据库访问成千上万的图书，训练视频，以及还未正式出版的手稿。它们来自O’Reilly Media、Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett、Course Technology，以及其他几百个出版社。更多信息请在线访问https：//www.safaribooksonline.com/。
联系我们
请将关于本书的评论和问题发给本书出版社：
O’Reilly Media，Inc.
1005 Gravenstein Highway North
Sebastopol，CA 95472
800-998-9938（in the United States or Canada）
707-829-0515（international or local）
707-829-0104（fax）
你也可以发送E-mail到bookquestions@oreilly.com对本书进行评论或询问技术问题。
关于我们的图书、课程、会议和新闻等更多信息请访问我们的网站。
我们的Facebook：http://facebook.com/oreilly
Twitter：http://twitter.com/oreillymedia
YouTube：http://www.youtube.com/oreillymedia
致谢
感谢来自Jake Vanderplas、Brian Granger、Dan Foreman-Mackey、Kyran Dale、John Montgomery、Jamie Matthews、Calvin Giles、William Winter、Christian Schou Oxvig、Balthazar Rouberol、Matt “snakes”Reiferson、Patrick Cooper和Michael Skirpan的反馈和贡献。Ian感谢他的妻子Emily让他消失10个月之久来完成本书（她真的太善解人意了）。Micha感谢Elaine及其他朋友和他的家庭能够耐心等待他学习写书。O’Reilly也是很好的合作伙伴。
第12章的提供者非常亲切地共享了他们的时间和宝贵的经验。我们感谢Ben Jackson、Radim Řehůřek、Sebastjan Trebca、Alex Kelly、Marko Tasic和Andrew Godwin花费的时间和精力。
读完本章之后你将能够回答下列问题
• 计算机架构有哪些元素？
• 常见的计算机架构有哪些？
• 计算机架构在Python中的抽象表达是什么？
• 实现高性能Python代码的障碍在哪里？
• 性能问题有哪些种类？
计算机编程可以被认为是以特定的方式进行数据的移动和转换来得到某种结果。然而这些操作有时间上的开销。因此，高性能编程可以被认为是通过降低开销（比如撰写更高效的代码）或改变操作方式（比如寻找一种更合适的算法）来让这些操作的代价最小化。
数据的移动发生在实际的硬件上，我们可以通过降低代码开销的方式来了解更多硬件方面的细节。这样的练习看上去可能没什么用，因为Python做了很多工作将我们对硬件的直接操作抽象出来。然而，通过理解数据在硬件层面的移动方式以及Python在抽象层面移动数据的方式，你会学到一些编写高性能Python程序的知识。
1.1 基本的计算机系统
一台计算机的底层组件可被分为三大基本部分：计算单元，存储单元，以及两者之间的连接。除此之外，这些单元还具有多种属性帮助我们了解它们。计算单元有一个属性告诉我们它每秒能够进行多少次计算，存储单元有一个属性告诉我们它能保存多少数据，还有一个属性告诉我们能以多快的速度对它进行读写，而连接则有一个属性告诉我们它们能以多快的速度将数据从一个地方移动到另一个地方。
通过这些基本单元，我们就可以在各种不同的复杂度级别上描述一个标准工作站。例如，一个标准工作站可以被看作是具有一个中央处理单元（CPU）作为其计算单元，两个独立的存储单元，分别是随机访问内存（RAM）和硬盘（各自有不同的容量和读写速度），最后还有一个总线将所有这些连接在一起。然而，我们还可以深入CPU并发现其内部也有多个存储单元：L1、L2，有时甚至有L3和L4缓存，它们的容量较小（从几KB到十几MB）但速度非常快。这些额外的存储单元通过一个被称为后端总线的特殊总线连接CPU。另外，新的计算机架构通常会有新的配置（比如Intel的Nehalem架构的CPU用英特尔快速通道互联技术替换了前端总线并重新构建了很多连接）。最后，在上述案例的讨论中，我们还忽略了网络连接，这是一种慢速的连接，用于连接其他许多潜在的计算单元和存储单元。
为了帮助理清这些错综复杂的结构，让我们去浏览一下这些基本单元的简要描述。
1.1.1 计算单元
一台计算机的计算单元是其中央部件——它具有将接收到的任意输入转换成输出的能力以及改变当前处理状态的能力。CPU是最常见的计算单元；然而，最初被设计用于加速计算机图像处理的图形处理单元（GPU）现在变得更加适用于数值计算了，这是因为其自身的并行模式使得大量计算能并发进行。无论哪种类型，一个计算单元都会接收一系列比特（比如代表数字的比特）并输出另外一堆比特（比如代表这些数字之和的比特）。除了实数的基本算数操作和二进制的比特操作以外，一些计算单元还提供了非常特殊的操作，比如“乘加混合计算”，接收三个数字A、B、C并返回A * B + C的值。
计算单元的主要属性是其每个周期能进行的操作数量以及每秒能完成多少个周期。第一个属性通过每周期完成的指令数（IPC）来衡量，而第二个属性则是通过其时钟速度衡量。当新的计算单元被制造出来时，它们的这两个参数总是互相竞争。比如Intel的Core系列具有非常高的IPC但时钟速度较低，而Pentium 4的芯片则完全相反。不过话又说回来，GPU的IPC和时钟速度都很高，但它们有别的问题，我们后面会提到。
另外，当时钟速度提高时，能够立即提高该计算单元上所有的程序运行速度（因为它们每秒能进行更多运算），而提高IPC则在矢量计算能力上有相当程度的影响。矢量计算是指一次提供多个数据给一个CPU并能同时被操作。这种类型的CPU指令被称为SIMD（单指令多数据）。
总之，计算单元在过去十年的进展颇为有限（图1-1）。时钟速度和IPC的提升都限于停滞，因为晶体管已经小到了物理的极限。结果就是芯片制造商开始依靠其他手段来获得更高的速度，包括超线程技术，更聪明的乱序执行和多核架构。
图1-1 CPU的时钟速度随时间的变化（数据来自CPU DB）
超线程技术为主机的操作系统（OS）虚拟了第二个CPU，而聪明的硬件逻辑则试图将两个指令线程交错地插入单个CPU的执行单元。如果成功插入，能比单线程提升30％。一般来讲，当两个线程的工作分布在不同的执行单元上时，这样做效果不错——比如一个操作浮点而另一个操作整数时。
乱序执行允许编译器检测出一个线性程序中某部分可以不依赖于之前的工作，也就是说两个工作能够以各种顺序执行或同时执行。只要两个工作的成果都能够在正确的时间点上依次得到，哪怕它们的计算次序跟程序设计不同，程序也能继续正确运行。这使得当一些指令被阻塞时（比如等待一次内存访问），另一些指令得以执行，以此来提升资源的利用率。
最后也是对于高级程序员来说最重要的是多核架构的普及。这些架构在同一个计算单元中包含了多个CPU，提高了总体计算能力，而且无须等待内存屏障，让单个核心可以跑得更快。这就是为什么现在已经很难找到少于双核的计算机了——双核意味着计算机有两个互连的物理计算单元。虽然这增加了每秒可以进行的操作总数，但是想要让两个计算单元都达到最大利用率的话还需要考虑很多错综复杂的因素。
给CPU增加更多的核心并不一定能提升程序运行的速度。这是由阿姆达尔定律决定的。简单地说，阿姆达尔定律认为如果一个可以运行在多核上的程序有某些执行路径必须运行在单核上，那么这些路径就会成为瓶颈导致最终速度无法通过增加更多核心来提高。
比如，假设我们有一个调查需要100个人参与，该调查需要花费1分钟，如果我们只有一位提问者（该提问者向第一位参与者提问，等待回答，然后移向下一位参与者），那么我们可以用100分钟完成这个任务。这个单人提问并等待回答的流程就是一个顺序执行的过程。对于一个顺序执行的过程，我们每次只能完成一个操作，后面的操作必须等待前面的操作完成。
然而，如果我们有两位提问者，他们就可以同时进行测试，用50分钟完成任务。这是由于两位提问者之间不需要互相了解，没有依赖关系，所以整个任务就很容易划分。
增加更多提问者可以进一步提速，直到我们有100位提问者。此时，整个流程仅需要1分钟就可以完成，仅取决于参与者回答问题所需要的时间。继续增加提问者将不会带来任何速度提升，因为这些多余的提问者无事可干——所有的参与者都已经在接受调查！此时，唯一能够降低整体时间的办法是降低单个参与者完成调查的时间，也就是降低顺序部分所需要的执行时间。同样，对于CPU，我们可以增加更多的核心直到某个必须单核执行的任务成为瓶颈。也就是说，任何并行计算的瓶颈最终都会落在其顺序执行的那部分任务上。
另外，对于Python来说，充分利用多核性能的阻碍主要在于Python的全局解释器锁（GIL）。GIL确保Python进程一次只能执行一条指令，无论当前有多少个核心。这意味着即使某些Python代码可以使用多个核心，在任意时间点仅有一个核心在执行Python的指令。以前面调查的例子来说，即使我们有100位提问者，然而一次仅有一位可以提问和接受回答，并没有什么用！这看上去是个严重的阻碍，特别是当现在计算机发展的趋势就是拥有更多而非更快的计算单元的时候。好在这个问题其实可以通过一些方法来避免，比如标准库的multiprocessing，或numexpr、Cython等技术，或分布式计算模型等。
1.1.2 存储单元
计算机的存储单元被用于保存比特。这些比特可能代表程序中的变量，或一幅图片的像素。存储单元的概念包括了主板上的寄存器、RAM以及硬盘。所有这些不同类型的存储单元的主要区别在于其读写数据的速度。更复杂的问题在于，其读写数据的速度还与数据的读写方式息息相关。
比如，大多数存储单元一次读一大块数据的性能远好于读多次小块数据（顺序读取VS随机数据）。将这些存储单元中的数据想象成一本书中的书页，大多数存储单元的读写速度在连续翻页时高于经常从一张随机页跳至另一张随机页。
所有的存储单元或多或少都受到这一影响，但不同类型存储单元受到的影响却大不相同。
除了读写速度以外，存储单元还有一个延时的属性，表示了设备为了查找到需要的数据所花费的时间。一个旋转硬盘的延时可能较高，因为磁盘必须物理旋转到一定速度且读取磁头必须移动到正确的位置。而从另一方面来说，RAM的延时就比较小，因为一切都是固态的。下面是一个标准工作站内常见的各类存储单元的简短描述，以读写速度排序：
旋转硬盘
计算机关机也能保持的长期存储。读写速度通常较慢，因为磁盘必须物理旋转和等待磁头移动。随机访问性能下降但容量很高（TB级别）。
固态硬盘
类似旋转硬盘，读写速度较快但容量较小（GB级别）。
RAM
用于保存应用程序的代码和数据（比如用到的各种变量）。具有更快的读写速度且在随机访问时性能良好，但通常受限于容量（GB级别）。
L1/L2缓存
极快的读写速度。进入CPU的数据必须经过这里。很小的容量（KB级别）。
图1-2展示了当今市面上可以见到的这几类存储单元的区别。
一个清晰可见的趋势是读写速度和容量成反比——当我们试图加快速度时，容量就下降了。因此，很多系统都实现了一个分层的存储：数据一开始都在硬盘里，部分进入RAM，然后很小的一个子集进入L1/L2缓存。这种分层使得程序可以根据访问速度的需求将数据保存在不同的地方。在试图优化程序的存储访问模式时，我们只是简单优化了数据存放的位置、布局（为了增加顺序读取的次数），以及数据在不同位置之间移动的次数。另外，异步I/O和缓存预取等技术还提供了很多方法来确保数据在被需要时就已经存在于对应的地方而不需要浪费额外的计算时间——这些过程可以在进行其他计算时独立进行！
图1-2 各类存储单元的特征（2014年2月的数据）
1.1.3 通信层
最后，让我们看看这些基本单元如何互相通信。通信有很多模式，但它们都是同一样东西的变种：总线。
比如说，前端总线是RAM和L1/L2缓存之间的连接。它将已经准备好被处理器操作的数据移入一个集结场所以备计算所需，又将计算结果移出。除此之外还有其他总线，如外部总线就是硬件设备（如硬盘和网卡）通向CPU和系统内存的主干线。该总线通常比前端总线慢。
事实上，L1/L2缓存的很多好处实际上是来自更快的总线。因为可以将需要计算的数据在慢速总线（连接RAM和缓存）上攒成大的数据块，然后以非常快的速度从后端总线（连接缓存和CPU）传入CPU，这样CPU就可以进行更多计算而无须等待这么长的时间。
同样，使
....
本站仅展示书籍部分内容
如有任何咨询
请加微信10090337咨询
