书名：信息论基础（第2版）pdf/doc/txt格式电子书下载

推荐语：

作者：田宝玉、

出版社：人民邮电出版社

出版时间：2016-01-01

书籍编号：30471018

ISBN：9787115391513

正文语种：中文

字数：372849

版次：2

所属分类：教材教辅-大学

版权信息

书名：信息论基础（第2版）

作者：田宝玉　杨洁　贺志强等

ISBN：9787115391513

版权所有 · 侵权必究

第2版前言

信息论基础即香农（C.E.Shannon）信息论，是用概率论与随机过程的方法研究通信系统传输有效性和可靠性极限性能的理论，是现代通信与信息处理技术的理论基础，也是通信与电子信息类专业的重要基础课。信息论基础课程以信息熵为基本概念，以香农三个编码定理——无失真信源编码定理、有噪信道编码定理和限失真信源编码定理——为核心内容，研究通信系统中信息的度量、信源的压缩及信息通过信道有效和可靠传输等问题。

学习本课程的主要目的是，理解香农信息论的基本原理，掌握信息与熵的基本计算方法，培养利用信息论的基本原理分析和解决实际问题的能力，为今后进行更深入的研究奠定良好的理论基础。信息论课程是一门理论性较强的课程，通常采用以理论教学为主，以实验教学为辅的教学方式，但是在主要以工科学生为主的理论教学中，还要结合工科学生的特点，合理地选择教学内容和知识的传授方式。

《信息论基础》（第1版）作为普通高等教育“十一五”国家级规划教材，于2008年由人民邮电出版社出版。第1版教材强调基础理论中物理概念和结论的理解和掌握，简化而不陷入烦琐的数学推导，注重使用明确或直观的数学或物理模型，尽量通过实例巩固所学的理论知识，力求让讲述的内容更适合工科专业学生的学习；第1版教材遵循与时俱进的原则，在内容的选择上既考虑基础性又考虑先进性和时代性，同时也注重信息理论与技术的应用，从而受到高等院校电子与信息类专业学生的欢迎，已经多次印刷出版。当前，为了更好地满足广大读者学习信息与通信理论知识的需要，作者结合近几年的教学和科研实践，在保留原书特色的基础上，对教材内容进行了整合、修改、补充和完善，形成了现在的第2版。

第2版教材沿用原版的基本框架，分为11章。修改、充实或增加的内容主要如下。第2章：离散熵的性质、熵的可加性和有根概率树；第3章：变长扩展信源、马尔可夫信源有限状态 FSM 模型；第 4 章：高斯马尔可夫过程的熵率、最大熵率定理和熵功率不等式；第 5章：算术编码和LZ编码；第7章：序列最大似然译码和卷积码基本知识；第8章：高斯信道编码定理的解释；第9章：率失真函数的计算和香农下界；第10章：中继信道和分布信源编码。

本次修订的另一项重要工作就是重新核对了各章的思考题，并增加了相当数量的习题。这些题主要是从我们最近几年的本科教学和国内外经典名著中提炼和精选而来。本修订版不但习题总数显著增加，而且也扩大了知识覆盖面。通过完成这些习题可使学生不仅能更好地理解和掌握所学的知识，而且在解题技能方面也会得到一定的提高。

第2版与第1版相比虽然篇幅有所增加，但经过教材内容的科学取舍，可以适合不同学时和不同专业方向本科教学的需要。北京邮电大学的教学实践证明，本教材可适用于电子信息类本科工科和理科两类不同专业，也适用于总学时不同的专业要求。同时，本教材也可作为信息与通信及相关专业研究生的参考书。顺便指出，为配合信息论课程教学和信息论知识的普及，作者所在的课程组为读者提供了一个学习信息论和相互交流的平台——信息论课程网站（http://sice.bupt.edu.cn/xxl/），通过上网可查询关于信息论课程的教学课件及其他与信息论学习有关的信息。

第2版由田宝玉担任主编，杨洁、贺志强、许文俊参与编写。本教材在写作过程中，作者得到北京邮电大学信息与通信工程学院的领导及广大教师的支持与帮助，很多教师和同学也为本教材的修订做出了贡献，作者在此一并表示感谢。

因作者水平所限，书中错误与疏漏之处在所难免，敬请诸位读者批评指正。

编者

2014年12月于北京邮电大学

第1章 绪论

信息论即香农（Claude Elwood Shannon，1916—2001）信息论，也称经典信息论，是研究通信系统极限性能的理论。从信息论产生到现在几十年来，随着人们对信息的认识不断深化，对信息论的研究日益广泛和深入，信息论的基本思想和方法已经渗透到许多学科。在人类社会已经进入信息时代的今天，信息理论在自然科学和社会科学研究领域还会发挥更大的作用。

本章简要介绍香农信息论的概况，内容安排如下：首先介绍信息的基本概念，说明香农信息属于语法信息中的概率信息；然后以通信系统模型为基础，简单介绍香农信息论所研究的内容；最后介绍香农信息论产生的背景、主要的研究进展及其应用。

1.1 信息的基本概念

1.1.1 信息论的产生

我们知道，组成客观世界三大基本要素是：物质、能量和信息。人类社会从农业时代经过工业时代发展到信息时代，特别是在今天的信息时代，社会的发展都离不开物质（材料）、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什么都不存在，没有能量什么都不发生，没有信息什么都没意义。”（“Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense.”）因此，关于信息的课程本应该像物理、化学、生物等课程一样，是基础课。但由于信息的抽象性及当前人们对信息的认识并不完全清楚等原因，在当前只能是专业课。

人们普遍认为，1948年美国工程师和数学家香农发表的《通信的数学理论》（A Matematical Theory of Communication，BSTJ，1948）这篇里程碑性的文章标志着信息论的产生，而香农本人也成为信息论的奠基人。

香农指出，通信的基本问题是在一点精确地或近似地恢复另一点所选择的消息。人们从这个基本问题出发，对通信系统制定了三项性能指标：传输的有效性、传输的可靠性、传输的安全性。

有效性就是有效地利用资源，包括时间、空间和频谱等，具体体现为：①对于离散信源，信源符号平均代码长度应尽量短；②信息传输速率应尽量快，即高的传信率（单位时间传送信息的速率），就是有效利用时间资源；③信息传送应该有高的频谱利用率，实际上是有效利用频谱资源。

可靠性是指，传输差错要尽量少，对于数字传输就是要求低的误码率。

安全性是指，传输的信息不能泄露给未授权人。

三项性能指标所对应的三项基本技术是：数据压缩、数据纠错和数据加密。

香农信息论解决了前两项技术的理论问题：提高有效性可通过信源编码（即信源压缩编码）来实现，并给出了压缩编码最低码率的极限；提高可靠性可通过信道编码来实现，并给出实现可靠传输最高信息传输速率的极限。所以说，香农揭示了数据压缩和传输的基本定律。

实际上，传输安全性的理论问题也是香农首先解决的。不过关于传输安全性的问题往往被认为属于信息安全或密码学领域。早在二战期间，香农就对密码学感兴趣。他认识到，密码学中的基本问题与通信中的问题密切相关。1945年，他写了《密码学的数学理论》（A Mathematical Theory of Cryptography），1949年改名为《保密系统的通信理论》（Communication Theory of Secrecy System）公开发表。这篇文章建立了保密系统的数学理论，对密码学产生了很大的影响。人们认为，是香农的工作才把密码学从艺术变成科学。

所以我们说，香农建立了通信中的三项基本技术的理论基础,信息论是前两项技术的理论基础。

1.1.2 信息的基本概念

信息论的产生引起了很多专家学者对信息研究的兴趣，他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”“信息是物质与能量在时间与空间分布的不均匀性”“信息是收信者事先不知道的东西”等。

正因为信息的定义种类繁多，所以当前还没有一个公认的关于信息的定义，但这并不影响我们对信息的基本特征的认识。信息有许多与物质、能量相同的特征，例如，信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。

实际上，信息可以划分为两个大的层次：本体论层次和认识论层次。从本体论层次上看，信息是客观的，即它是独立于人或其他有感知的事物而存在的，这就是说，在人类出现以前信息就存在了。从认识论层次上看，信息是通过认识主体的感受而体现出来的。现在我们所说的信息实际上是指认识论层次的信息。

威沃（Weaver）在《对通信的数学理论当前的贡献》（Recent Contributions to the Mathematical Theory of Communication）一文中讲到通信问题的三个层次：第一层，通信符号如何精确传输？（技术问题）；第二层，传输的符号如何精确携带所需要的含义？（语义问题）；第三层，所接收的含义如何以所需要的方式有效地影响行为？（效用问题）。Weaver 认为香农的通信的数学理论属于第一层，但与第二、三层有重叠，而且至少在很大程度上也是第二、三层的理论之一。

当前一种比较普遍的描述信息的说法是：信息是认识主体（人、生物、机器）所感受的或所表达的事物运动的状态和运动状态变化的方式。以这种定义为基础，可以把信息分成三个基本层次，即语法（Syntactic）信息，语义（Semantic）信息和语用（Pragmatic）信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。

可以看到，现在这种比较普遍认同的对信息的描述与Weaver的说法基本一致。

语法信息是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。像语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为概率信息、偶发信息、确定信息、模糊信息等。

语义信息是事物运动的状态和变化方式的含义。在语言学里，研究“词与词结合方式的含义”的学科称为语义学。

语用信息是事物运动状态及其状态变化方式的效用。

下面举例说明信息三个层次的含义。有一个情报部门，其主要任务是对经济情报进行收集、整理与分析，以提供给决策机构。该部门设三个组：信息收集组、信息处理组和信息分析组。信息收集组的任务是将收集到的资料按中文、英文或其他文字、明文、密文进行分类，不管这些资料的含义如何，都交到信息处理组。信息处理组根据资料的性质进行翻译或破译得到这些资料的含义，然后交到信息分析组。信息分析组从这些资料中挑选出有价值的情报提交给决策机构。可见，信息收集组是根据所得到的消息提取出语法信息，信息处理组是根据所得到的语法信息提取出语义信息，而信息分析组是根据所得到的语义信息提取出语用信息。

可以看到，研究语义信息要以语法信息为基础，研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实用的层次。

现在，让我们再完整地引用香农在1948年的经典论断：“通信的基本问题是在一点精确地或近似地恢复另一点所选择的消息。通常，这些消息是有含义的，即它对于某系统指的是某些实在的或抽象的实体。这些通信的语义方面与通信问题无关，而重要的是，实际消息是从一个可能消息集合中选择出的一条消息。”

可见，香农在研究信息理论时，排除了语义信息与语用信息的因素，先从语法信息入手，解决当时最重要的通信工程一类的信息传递问题。同时他还把信源看成具有输出的随机过程，所研究的事物运动状态和变化方式的外在形式遵循某种概率分布。因此香农信息论所研究的信息是语法信息中的概率信息。不过，随着信息论研究的深入，香农信息论的方法已经渗透到语义信息领域，如最大熵建模方法用于机器翻译等自然语言处理问题。

有人还提出通信信息（应属于语法信息）也有三个层次，即信号、消息与信息。其中信号为最低的层次，信息是最高层次。消息是信息的携带者，信息包含于消息之中，信号是消息的载体，消息是信号的具体内容。

信息各层次之间的关系如图1.1描述。

图1.1 信息各层次之间关系

1.2 香农信息论研究的内容

本节在介绍通信系统模型中各主要模块功能的基础上，简单讲述香农信息论的研究的主要问题。

1.2.1 通信系统模型

如前面所述，香农创立信息论是从研究通信系统开始的，并首先建立了通信系统模型。由于技术发展水平的限制，当时的通信基本限制在点对点的通信，所以这种通信系统模型是指“从一个地方向另一个地方传送信息的系统”。例如，电话、电报、电视、无线通信、光通信等。而存储系统在某种意义上也可视为从现在向将来发送信息的通信系统。例如，磁盘或光盘驱动器、磁带记录器、视频播放器等。所以，一般的通信系统是从空间的一点到另一点传送信息的，而存储系统是从时间的一点到另一点传送信息的。

随着通信与信息网（其中包括电信网、互联网、移动通信网、广播电视网、光通信网等）的飞速发展，需要将传统的通信系统模型进行扩展，以适应新的研究需要。实际上，多个点对点的通信系统通过一个公用信道，就构成多点对多点的通信系统模型。因此关于传统的点对点通信模型的知识是最基本的。

一般通信系统模型框图，如图1.2所示。下面对模型的主要组成部分进行简单描述。

图1.2 通信系统模型

1.信源

信源(information source)是信息的来源，其功能是直接产生可能包含信息的消息。信源按输出符号的取值，分为离散和连续信源两大类。在离散时间发出取值离散符号的信源为离散信源，例如，字符序列，包括文件、信件、书报、杂志、电报、电传等都是离散信源。而连续信源又分为两种，一种是在离散时间发出取值连续符号的信源，称为离散时间连续信源，另一种是输出为连续时间波形（连续时间，符号取值连续）的信源，称为波形信源或模拟信源。无线广播信号、电视信号、语音、图像信号及多媒体信号等都是模拟信源，而模拟信源在时间域、频率域的抽样或通过其他变换方式得到的等价的离散时间序列都是离散时间连续信源。

离散信源和离散时间连续信源也有共性，就是它们的输出都是序列，只不过是符号的取值范围不同，前者取自可数符号集，而后者取自实数集。

信源按输出符号之间的依赖关系分类，可分为无记忆和有记忆信源。如果信源输出符号的概率与以前输出的符号无关，就称为无记忆信源，否则就称为有记忆信源。离散信源和离散时间连续信源可以是无记忆的，也可以是有记忆的，而模拟信源大多是有记忆的。

2.编码器

编码器（encoder）的功能是将消息变成适合于信道传输的信号。在通信系统中称作发信机, 而在存储系统中称作记录器或写入器。编码器包括信源编码器（source encoder）、信道编码器（channel encoder）和调制器（modulator），如图1.3所示。应该指出,在模拟通信系统中的编码器仅包含调制器。编码器中主要部分的功能如下：信源编码器的功能是将信源消息变成符号，目的是提高传输有效性，也就是压缩每个信源符号传输所需代码（通常为二进制代码）的数目（对二进制代码称比特数）。例如，一个信源含4个符号{a,b,c,d}，概率分别为1/2，1/4，1/8，1/8。如果不采用信源编码，每个信源符号至少需要用2个二进制代码传输。如果采用信源编码，分别将a，b，c，d编码成为0，10，110，111，那么平均每信源符号只需1.75个二进制代码传输。可见，采用合适的信源编码确实能通过压缩码率提高传输有效性。所以，信源编码也称信源压缩编码。

图1.3 编码器的组成

信道编码器给信源编码符号序列增加冗余符号，目的是提高传输可靠性。信源编码输出直接传送，不能保证传输可靠性。利用信道编码给信源编码器的输出符号序列增加一些冗余符号，并让这些符号满足一定的数学规律，可使传输具有纠错或检错能力。因为出现传输错误会破坏这种数学规律，在接收端就会发现错误。例如，最简单的奇偶纠错编码方式是将信源编码输出的每个码组的尾补一个1或0，使得整个码组“1”的个数为奇或偶（或模二加为1或0）。这样，当传输发生奇数差错时，就打乱了“1”数目的奇偶性，从而可以检测出错误。这是最简单的检错方式，而实际使用的信道编码技术要复杂得多。

图1.4说明增加冗余符号可以提高传输可靠性。图中1.4（a）：4个消息用4个2维矢量传送，没有冗余符号。如果出现任何差错都会使传送的码字变成另一个码字，所以无检错能力；图1.4（b）：在图1.4（a）的基础上每个码字增加一个校验符号，构成奇校验，4个消息用4个三维矢量传送。如果出现任何奇数差错都会使传送的码字变成不是码字的三维矢量，这样就能检测出错误，但不能纠正错误；图1.4（c）：用两个汉明距离为3的三维矢量传送两个消息。如果出现一个错误，可以根据接收矢量和码字汉明距离的大小判决是哪个消息被传输，因此可以纠一个错误。

图1.4 增加冗余符号提高传输可靠性示意图（图中，有阴影的点表示码字）

调制器功能是，将编码器的输出符号变成适合信道传输的信号，目的是提高传输效率（使远距离传输成为可能）。因为信道编码输出符号不能直接通过信道传递，要将其变成适合信道传输的信号，例如，0，1符号变成两个电平，为远距离传输，还需进行载波调制，例如，ASK、FSK、PSK等。

3.信道

信道（channel）是信号从编码器传输到译码器的中间媒介。信道可以分为狭义信道和广义信道。狭义信道是某些种类的物理通信信道，也可以是物理的存储介质。例如，有线、无线、光纤、磁盘、光盘等。广义信道是一种逻辑信道，它和信息所通过的介质无关，只反映信源与信宿的连接关系。信息论中只研究广义信道。

信道还分为无噪声信道和有噪声信道。通常，系统中其他部分的噪声和干扰都等效成信道噪声。通信系统中主要有两种噪声：加性噪声和乘性噪声。一般地讲，背景噪声为加性，而衰落为乘性。这里主要研究加性噪声。在信息论中研究最多的是理想加性高斯白噪声（AWGN）信道。研究高斯噪声的主要原因是它的普遍性和易于处理的特性。

高斯分布的普遍性主要基于两种原因：①根据中心极限定理，无数独立随机变量的和的分布趋近高斯分布，因此高斯噪声普遍存在；②在限功率条件下产生最大熵的信源分布为高斯分布，而最大熵分布是最容易被观察到的分布。

与信源的分类类似，信道还分为离散信道、离散时间连续信道和波形信道（或模拟信道），其中，离散信道和离散时间连续信道输入与输出都是符号序列，只不过符号取值不同，前者取离散值，而后者取连续值；而波形信道的输入与输出均为时间的连续波形。

信道也可有无记忆和有记忆的区分，离散信道和离散时间连续信道可以是无记忆的，也可以是有记忆的；而波形信道通常是有记忆的。

4.译码器

译码器（decoder）实现与编码器相反的功能，即从信号中恢复消息。在通信系统中称做接收机，而在存储系统中称做回放系统或读出器。译码器包括解调器、信道译码器、信源译码器，如图1.5所示。解调器功能是，将信道输出信号恢复成符号；信道译码器的功能是，去掉解调器输出符号中的冗余符号；信源译码器的功能是，将信道译码器输出符号变成消息。总之，数字系统中的译码器功能与编码器中的对应部分功能相反，而在模拟系统中仅包含解调器。

图1.5 译码器的组成

5.信宿

信宿（destination）的功能是接收信息，包括人或设备。当前人们对信宿的研究也取得某些成果。例如，利用人的视觉残留效应，可以对图像采用不连续传输的方式达到连续的视觉效果，从而进一步压缩码率。利用人听觉的掩蔽效应，可以压缩在大幅度频率分量附近的信号而不影响听觉效果。总之，对信宿的研究和压缩编码结合，可以在不影响视听效果的条件下，显著压缩码率。

6.通信系统性能指标的评价

有效性用频谱复用程度（模拟系统）或频谱利用率（数字系统）来衡量。提高有效性的措施是，采用性能好的信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽。

可靠性用输出信噪比（模拟系统）和传输错误率（数字系统）来衡量。提高可靠性的措施是，采用宽带调制以换取信嗓比，采用高性能的信道编码以降低错误率。

安全性用信息加密强度来衡量，提高安全性的措施是，采用强度高的密码与信息隐藏或伪装方法。

1.2.2 香农信息论的主要内容

信息论是在概率论、随机过程和通信技术相结合的基础上发展起来的学科，可分为狭义信息论和广义信息论。狭义信息论即香农信息论或经典信息论，所研究的基本问题是：信源、信道及编码问题，核心是三个编码定理。广义信息论包括香农的或经典的信息论、信源编码、信道编码、近代信息论、统计通信理论、通信网理论、信号与信息处理、保密通信等。

香农信息论的内容可用一句话概括为“一个概念，三个定理”，就是信息熵的概念和三个编码定理。

1.关于信息的度量

为使信息有效和可靠地传输，首先要解决信息度量问题，它与信息论的三个基本定理密切相关。在信息传输过程中，信源作为信息产生的源头发出消息，使通信系统的各节点产生与信源相关的消息。因为香农将信源限制为具有某一先验概率的随机过程，所以在通信系统中各节点产生消息的实体也是随机过程（有时也简称为过程）。对包括信源在内的通信系统中所有过程的输出所含信息的度量称为信息的度量。这就是说，在香农信息论中，信息度量的对象是随机过程的输出，其中对信源输出的信息度量是最重要的内容。因为随机过程在每一给定时刻表现为随机变量，所以信息的度量也可视为是对随机变量的信息度量。有两种含义不同但又密切相关的信息度量方式，一种是随机变量本身所含信息量多少的量度，另一种是随机变量之间相互提供信息量多少的量度。前者用信息熵来描述，后者用互信息来描述。

信息熵是信息论中最重要的概念，信息熵的含义与应用以及信息的量度方法是研究的主要内容。

2.关于无失真信源编码

无失真信源编码定理，也称香农第一定理，是信源压缩编码的理论基础，其内容是：如果信源编码码率（编码后传送每个信源符号平均所需比特数）不小于信源的熵，就存在无失真编码，反之，不存在无失真编码。可以简述为

R≥H ⇔ 存在无失真信源编码

其中，R为信源编码码率，H为信源的熵。例如，英文字母加空共27符号，用代码传送，每个符号需5比特。但通过试验发现，实际的英文字母信源熵大约为1.4比特/符号，所以根据香农第一定理，存在某种信源编码方式，使得每字母仅用 1.4 个二进制符号就能无失真传送，这样可以显著提高传输效率。

由于定理解决的是信源无损压缩极限的理论问题，并未给出普遍的信源编码的方法，所以寻找接近或达到信源熵的压缩编码技术、分析其性能并有效实现是研究的主要问题。

3.关于信道容量与信息的可靠传输

有噪信道编码定理（香农第二定理）是信道编码的理论基础，其内容是：如果信息传输速率小于信道容量，则总可找到一种编码方式使得当编码序列足够长时传输差错任意小，反之不存在使差错任意小的编码。可以简述为

R≤C ⇔ 存在译码差错任意小的信道编码

其中，R为信息传输速率，也称信道编码码率，C为信道容量。例如，一个带宽为3kHz的系统，用二进制符号传输，如果不进行信道编码，无码间干扰的最大传输速率为6kbit/s，按照香农AWGN信道容量公式可知，通过合适的信道编码，在信噪比为26dB的条件下，实现可靠传输的最大速率可达到25.6kbit/s。

由于信道类型的复杂性，所以根据实际研究的问题建立信道模型，分析其特性，计算其容量以及评价在这些信道条件下各类通信系统的性能是研究的主要问题。此外，定理解决的是信息传输极限的理论问题，并未给出普遍的信道编码的方法，所以寻找接近或达到信源信道容量的信道编码技术、分析其性能并有效实现也是研究的主要问题。不过这些内容主要归入信道编码理论与技术的范畴。

4.信息率失真理论（有损数据压缩的理论基础）

实际上，在很多情况下，我们并不需要信息精确的传输，而是容许有一定限度差错的传输。这样在保证获取足够信息的前提下，可以提高传输效率，降低通信成本。香农指出：“实际上，当我们有一个连续信源时，我们感兴趣的不是精确的传输，而只是在一个给定容限内的传输。问题就是，当我们仅需要一定的以合适方式度量的恢复保真度时，我们能不能给连续信源分配一个确定的速率。”为实现限失真传输的有效性，我们总是希望在满足一定的失真要求条件下，使编码器的码率最小，这是一个最优有损数据压缩编码的理论问题，其理论基础就是信息率失真理论，核心是限失真信源编码定理。

限失真信源编码定理（香农第三定理）是有损压缩编码的理论基础，其内容是：对任何失真测度D≥0，只要码字足够长，总可找到一种编码，使得当信源编码的码率≥R(D)时，码的平均失真≤D；反之，如果信源编码的码率＜R(D)，就不存在平均失真≤D 的编码。可

....