书名：信息论与编码原理pdf/doc/txt格式电子书下载

推荐语：

作者：宋鹏、

出版社：电子工业出版社

出版时间：2011-01-01

书籍编号：30466469

ISBN：9787121126178

正文语种：中文

字数：114625

版次：1

所属分类：教材教辅-大学

版权信息

书名：信息论与编码原理

作者：宋鹏　等

ISBN：9787121126178

版权所有 · 侵权必究

前言

信息论是通信的数学理论，它是一门应用概率论与随机过程等方法研究信息传输、存储、处理、控制和利用一般规律的科学。它主要研究如何提高通信系统的可靠性、有效性和保密性，以使通信系统最优化。近年来信息与通信技术的应用越来越广泛、越来越深入。特别是移动通信、卫星通信、深空远程通信、通信网的应用，涉及信息论与编码理论的一些深层次的、新的理论，这就需要我们在进行深入研究的同时，更加重视基础理论的教学，使本科学生在大学期间学好这门课。“信息论与编码”是电子信息类专业的必修课程，该课程理论性较强，学生学习起来感觉比较难，这就更需要加强理论基础教学，在此基础上培养学生的实践能力，为学生未来的发展奠定坚实的基石。

本书是编者根据“信息论与编码”课程的特点和本科生的知识基础，总结多年来为本科生讲授信息论课程的教学经验，在使用多年的教学讲义的基础上编写而成的。信息论涉及的内容非常抽象，本书强调基本概念和基本方法的讲解，对于难以理解的抽象概念用具体例子说明。在不影响内容完整性的前提下，省略了一部分烦琐的定理证明，以适合本科教学使用，可读性强。信息论内容抽象，阅读对象是电子、通信领域的学生或科研技术人员，因此在介绍理论时，注重与通信技术、电子系统的联系，让学生对理论与工程应用有一个具体的了解，即强调信息理论与通信技术的结合。本书采用Matlab作为虚拟实验室，给出了解决教材中涉及的有关方面问题的分析思路、方法、Matlab代码文件和处理结果示例，还给出了许多可供学生自学和研讨的Matlab习题。

全书共11章，系统地介绍了信息论与编码理论的基本内容。第1～4章为香农信息论基础理论，主要内容包括：信息测度、信道容量、信息率失真函数以及与这3个概念相对应的香农三大定理、即无失真信源编码定理、信道编码定理、保真度准则下的信源编码定理。第5章简要介绍了网络信息理论的一些基本内容。第6～10章为编码理论的基本内容，第6章介绍了信源编码的基本理论和方法，具体讨论了6种常用的信源编码方法。第7～10章是信道编码的内容，主要讨论了线性分组码、循环码和卷积码的编码理论与方法。第11章简要介绍了TCM与Turbo码的基本概念和方法。部分章节后面提供了相应内容的Matlab仿真源程序，可依据教学需要选择使用，既可作为课后作业，有可作为单独的实验题目。

本书可作为高等院校电子信息工程、通信工程等专业本科生的教材，也可供从事相关专业的科研和工程技术人员参考。使用本书作为教材时，授课教师可依据实际情况对书中内容进行取舍。

本书第1章、第6～9章由宋鹏编写，第2～5章由范锦宏编写，第11章及Matlab仿真源程序由肖珂编写，第10章由齐建中编写。全书由宋鹏统稿。

本书提供免费的电子课件、Matlab仿真程序，读者可登录华信教育资源网www.hxedu.com.cn，注册后免费下载。

感谢北方工业大学信息工程学院、教务处对本书编写的支持。

由于编者水平所限，书中难免有漏误不当之处，敬请广大读者批评指正。

编 者

2010年12月

第1章 概论

1.1 信息的概念及其分类

当今社会，“信息”一词广泛应用于各种场合，人们在各种生产实践、科学研究和社会活动中，无处不涉及信息的交换和利用。可以说在我们周围充满了信息，我们正处于信息社会中。物质、能源和信息构成了现代社会生存、发展的三大基本支柱，可见信息的重要性。

信息的重要性不言而喻，那么究竟信息是什么呢?

信息的概念非常广泛，不同的定义有百种以上。数学家认为“信息是使概率分布发生改变的东西”，哲学家认为“信息是物质成分的意识成分按完全特殊的方式融合起来的产物”，美国数学家香农认为“信息就是一种消息”，美国数学家、控制论的主要奠基人维纳认为“信息既不是物质又不是能量，信息就是信息”……

在信息论和通信理论中经常会遇到信息、消息和信号这3个既有联系又有区别的名词。在学习信息论与编码技术之前，先介绍这几个基本概念。

信息：是系统传输、交换、存储和处理的对象，信息载荷在语言、文字、数据和图像等消息之中。人们在对周围世界的观察中获得信息，信息是抽象的意识或知识，它是看不见、摸不着的。而且信息仅仅与随机事件的发生相关，非随机事件的发生不包含任何信息。从这一点上我们可以得知，信息量的大小与随机事件发生的概率有直接的关系，概率越小的随机事件一旦发生，它所包含的信息量就越大，而出现概率大的随机事件一旦发生，它所包含的信息量就比较小。

消息：是信息的载体。例如：包含有信息的语言、文字和图像等。在世界各地的人要想知道其他地方发生事情的内容，只能从各种各样的消息中得到，这些消息可以是广播中的语言、报纸上的文字、电视中的图像或互联网上的文字与图像等。可见，消息是具体的，它载荷信息，但它不是物理性的。信息只与随机事件的发生有关。每时每刻在世界上的每个地方，都会有各种事件发生，这些事件的发生绝大多数是随机的，即这些随机事件的消息中含有信息；如果事件的发生不是随机而是确定的，那么该消息中就不含信息，该消息的传输也就失去了意义。

信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。以人类的语言为例，当人们说话时，发出声信号，这种声信号经过麦克风的转换变成了电信号。这里的声信号和电信号都是我们所指的信号，在本书中涉及的信号主要是指电信号。

按照信息论的观点，信息不等于消息。在日常生活中，人们往往对消息和信息不加区别，认为得到了消息，就是获得了信息。例如，当人们收到一封电报，接到一个电话，收听了广播或看了电视等以后，就认为获得了“信息”。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是，信息与消息并不等同。人们收到消息后，如果消息告诉了我们很多原来不知道的新内容，我们会感到获得了很多的信息，而如果消息是我们基本已经知道的内容，我们得到的信息就不多。所以信息应该是可以测度的。在电报、电话、广播、电视（也包括雷达、导航、遥测）等通信系统中传输的是各种各样的消息，这些被传送的消息有着各种不同的形式，如文字、数据、语言、图像等。所有这些不同形式的消息都是能被人们的感觉器官所感知的，人们通过通信，接收到消息后，得到的是关于描述某事物状态的具体内容。例如，电视中转播亚运会，人们从电视图像中看到了亚运会进展情况，而电视的活动图像则是对亚运会运动状态的描述。当然，消息也可用来表达人们头脑里的思维活动。例如，朋友给您打电话说：“我想上大学”，您从这条消息得知了您的朋友的想法，该语言消息反映了人的主观世界——大脑物质的思维运动所表现出来的思维状态。因此，用文字、符号、数据、语言、音符、图像等能够被人们的感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。所以，消息中包含信息，是信息的载体，得到消息，进而获得信息。同一则信息可用不同的消息形式来载荷，如前所述的亚运会进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。而一则消息也可载荷不同的信息，它可能包含非常丰富的信息，也可能只包含很少的信息。因此，信息与消息是既有区别又有联系的。

在各种实际通信系统中，为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合于信道传输的信号。信号携带着消息，它是消息的运载工具。如前例中，携带亚运会进展情况的电视图像转换成电信号，电信号经过调制变成高频调制电信号，才能在信道中传输；在通信系统的接收端，通过解调还原出原始电信号，在电视屏幕中呈现给观众，从而使观众获得信息。同样，同一消息可用不同的信号来表示，同一信号也可表示不同的消息。例如，红、绿灯信号：若在十字路口，红、绿灯信号表示能否通行的信息；而在电子仪器面板上，红绿灯信号却表示仪器是否正常工作或者表示高低电压等信息。所以，信息、消息和信号是既有区别又有联系的3个不同的概念。从以上的讨论中可以看到，信息、消息和信号之间有着密切的关系。信息是一切通信系统所要传递的内容，而消息作为信息的载体可能是一种“高级”载体；信号作为消息的物理体现，是信息的一种“低级”载体。作为系统设计人员，我们所接触的只是信号，而信号最终要变成消息的形式才能被大众接受。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。因此，我们说，信息、消息和信号是紧密相联的3个不同的概念，它们之间的关系如图1-1所示。

图1-1 信息、消息与信号之间的关系示意图

对信息的定义虽然各不相同，实质内容并无太大的差异，主要差异在于侧面不同、详略不同、抽象的程度不同和概括的层次高低不同。根据不同的条件，区分不同的层次，可以给信息下不同的定义。最高的层次是最普遍的层次，也是无约束条件的层次，定义事物的信息是该事物运动的状态和状态改变的方式。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。每引入一个约束条件，定义的层次就降低一点，使用的范围就变窄一点。例如，引入一个最有实际意义的约束条件，即认识主体，站在认识主体的立场上定义信息，这时本体论层次的信息定义就转化为认识论层次的信息定义，即信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。

虽然认识论比本体论的层次要低一些，所定义信息的使用范围也要窄一些，但是信息概念的内涵比本体论层次要丰富得多。因为认识主体具有感觉能力、理解能力和目的性，能够感觉到事物运动状态及其变化方式的外在形式和内在含义，并能够判断其效用价值。对认识主体来说，这三者之间是相互依存、不可分割的关系：因此，在认认论层次上研究信息的时候，“事物的运动状态及其变化方式”就不再像本体论层次上那样简单了，它必须同时考虑到形式、含义和效用3个方面的因素。事实上，认识主体只有在感知了事物运动状态及其变化的形式、理解了它的含义、判明了它的效用之后，才算真正掌握了这个事物的认识论层次信息，才能做出正确的决策。把同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息称为“全信息”，而把仅仅考虑其中形式因素的部分称为“语法信息”，把考虑其中含义因素的部分称为“语义信息”，把考虑其中效用因素的部分称为“语用信息”。换句话说，认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。

香农信息论仅考虑了事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。从这个角度出发，可以对信息下这样的定义：信息是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（生物或机器）获取和利用。从数学观点出发研究香农信息论，可以认为信息是对消息统计特性的一种定量描述。

信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。语言是信息的最早载体；文字和图像使信息保存得更持久，传播范围更大；电磁波则使载荷信息的容量和速度大为提高。信息本身既看不见，又摸不着，没有气味，没有颜色，没有形状，没有大小，没有重量……总之，它是非常抽象的东西。但信息又处处存在，它既区别于物质和能量，又与物质和能量有相互依赖的关系。

综合起来，信息具有以下特征：

（1）信息是可以识别的：我们知道信息离不开物理载体，人们可以通过对这些物理载体的识别来获得信息。有些可以用人的感官直接识别信息，例如承载于语言、文字中的信息可以直接用耳、目接收进而识别；而有些则需借助于各种传感器间接识别信息，例如在遥感测量中要利用对电磁波敏感的传感器来间接进行。

（2）信息是可以存储、传输与携带的：信息可以用多种方式存储起来，在需要的时候把存储的信息调取出来。相同的信息可以用文字的形式记录在书刊笔记中，也可以用录音、录像的方式存储在磁性介质中，或者利用计算机存储设备存储起来。信息可以通过多种途径进行传递，人与人之间的信息传递，既可以通过语言、文字，也可以通过体态、动作或表情；社会规模的信息传递，常通过报纸、杂志、电话、广播、电视和网络等。从原则上来说，各种物质的运动形式都可以用于信息的传递。信息依附于信息载体而存在，而任何物质都可以成为信息的载体，既然物质可以存储、传输和携带，所以信息可通过信息载体以多种形式存储、传输和携带。

（3）信息是可以量度的：信息量有大小的差别，出现概率越大的随机事件一旦发生，它所包含的信息量就越小；出现概率越小的随机事件一旦发生，它所包含的信息量就越大。

（4）信息是可以加工的：人们在收到各种原始信息之后，经过各种方式的加工可以产生新的信息，如研究人员通过收集资料或实验获得的原始信息，经过加工处理可能提出新的见解；计算机通过对输入的信息加工处理，可为人们提供更有意义的结果。

（5）信息的可替代性：信息能替代劳动力、资本、物质材料甚至时间，正确、及时、有效地利用信息，可创造更多的物质财富，开发或节约更多的能量，节省更多的时间，收到巨大的经济效益。

（6）信息是可以共享的：信息可以像实物一样作为商品出售，但信息的知识特性使其交易又不同于一般的实物交易，信息交易后，信息出售者与信息购买者共同享有信息。

（7）信息的载体是可以转换的：同样内容的信息，可以有不同的形态，可以被包含在不同的物体变化之中，可以从一种形态转换到另一种形态。如我们用感官识别出来的声音、味道、颜色等信息可以转换成语言、文字等形式。在这种转换中，信息的物理载体发生了变化，但信息的内容可以保持完好无损。信息的这个特性，为人们借助于仪器间接地识别信息提供了基础，也为信息的传递、存储和处理带来了方便。

由前述可知，信息是一种十分复杂的研究对象。要找到一种通用的方法来描述各种各样的信息以及用统一的方法来恰如其分地描述信息的方方面面，显然是非常困难的。要清楚、具体地认识信息，必须对信息进行分类。

信息分类有许多不同的准则和方法。按照性质，信息可以分成语法信息、语义信息和语用信息；按照携带信息的信号性质，信息还可以分成连续信息、离散信息和半连续信息；还可以按照地位、作用、应用部门等方式分类。我们研究信息的目的，是要准确地把握信息的本质和特点，以便更有效地利用信息。因此，在众多的分类原则和方法中，最重要的就是按照信息性质的分类。

按照性质的不同可以把信息划分成语法信息、语义信息和语用信息3个基本类型。其中最基本也最抽象的类型是语法信息，它是迄今为止在理论上研究得最多的类型。

语法信息考虑的是事物运动状态和变化方式的外在形式。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。

1.2 信息论研究的对象和内容

由前面关于信息概念的讨论中已经看到：各种通信系统如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的，都是信息传输系统。为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如图1-2所示，通常称它为通信系统模型。

图1-2 通信系统模型

该通信系统模型也适用于其他信息流通系统，如生物有机体的遗传系统、神经系统、视觉系统等，甚至人类社会的管理系统都可概括成这个模型。所以这种统一的理论模型又可统称为信息传输系统模型。

信息论研究的对象正是这种统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律。通信系统模型主要分成下列5个部分。

（1）信源

信源是产生消息和消息序列的源。它可以是人、生物、机器或其他事物。它是事物各种运动状态或存在状态的集合。例如，“篮球比赛的实况”，“各种气象状态”等客观存在是信源。人的大脑思维活动也是一种信源。信源可能出现的状态（即信源输出的消息）是随机的、不确定的，但又有一定的规律性。

（2）编码器

编码是把消息变换成信号的方法。而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载体。编码器可分为两种，即信源编码器和信道编码器。信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。而信道编码是为了提高信息传输的可靠性而对消息进行的变换和处理。对于各种实际的通信系统，编码器还应包括换能、调制、发射等各种变换处理。

（3）信道

信道是指通信系统把载荷消息的信号从A地传输到B地的媒介。在狭义的通信系统中实际信道有明线、电缆、波导、光纤、无线电波传播空间等，这些都是属于传输电磁波能量的信道。对广义的通信系统来说，信道还可以是其他的传输媒介。信道除了传送信号以外，还有存储信号的作用。如书写通信方式就是一例。在信道中引入噪声和干扰，这是一种简化的表达方式。为了分析方便，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。这样，信道输出的已是叠加了干扰的信号。由于干扰或噪声往往具有随机性，所以信道的特性也可以用概率空间来描述。而噪声源的统计特性又是划分信道的依据。

（4）译码器

译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。要从受干扰的编码信号中最大限度地提取出有关信源输出的信息。译码器也可分成信源译码器和信道译码器。

（5）信宿

信宿是消息传送的对象，即接收消息的人或机器。信源和信宿可处于不同地点和不同时刻。

图1-2的通信系统模型是最基本的。近年来，随着通信技术和计算机技术尤其是互联网的建立和发展，对信息传输的质量要求更高了。不但要求既快速有效又能可靠地传递信息，而且还要求信息传递过程中保证信息的安全保密，不被伪造和窜改。因此，在编码器这一环节中还需加入加密编码。相应地，在译码器中加入解密译码。为此，我们把图1-2的通信系统模型中编（译）码器分成信源编码（译码）、信道编码（译码）和加密编码（解密译码）3个部分。这样，信息传输系统的基本模型如图1-3所示。

图1-3 通信系统模型的细分

研究这样一个概括性很强的信息传输系统，其目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性和保密性，使其达到最优化。

所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。

后面我们会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。例如，为了兼顾有效性（考虑经济效果），有时就不一定要求绝对准确地在接收端再现原来的消息，而是可以允许一定的误差或一定的失真，或者说允许近似地再现原来的消息。所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。有效性、可靠性和保密性三者才体现了现代通信系统对信息传输的全面要求。

信息传输系统模型不是不变的，它根据信息传输的要求而定。如果研究信息传输有效性时，可只考虑信源与信宿之间的信源编（译）码，将其他部分都看成一个无干扰信道。如果研究信息传输可靠性时，将信源、信源编码和加密编码都等效成一个信源，而将信宿、信源译码和解密译码都等效成一信宿。

目前，对信息论研究的内容一般有以下3种理解。

（1）信息论基础

亦称香农信息论或狭义信息论，主要研究信息的测度、信道容量和信息率失真函数、与这3个概念相对应的香农三定理以及信源和信道编码。其研究的各部分内容可用图1-4来描述。

图1-4 香农信息论的科学体系

（2）一般信息论

主要研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳为代表。虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题，但它们之间有一个重要的区别。维纳研究的重点是在接收端，研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来。在此基础上，建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。香农定理指出：只要在传输前后对消息进行适当的编码和译码，就能保证在有干扰的情况下，最佳地传送消息，并准确或近似地再现消息。为此，发展了信息测度理论、信道容量理论和编码理论等。

（3）广义信息论

广义信息论是一门综合性的新兴学科，至今并没有严格的定义。概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的所有研究内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学，甚至社会学和经济管理中有关信息的问题。反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用和信息量大小的一般规律以及实现这些原理的技术手段的工程学科，也都属于广义信息论的范畴。

1.3 信息论的形成和发展

信息论自诞生到现在不到60年，在人类科学史上是相当短暂的，但它的发展对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用和共享，是人们普遍关心的问题。在人类历史的长河中，信息传输和传播手段经历了5次重大变革，正是在不断的变化中，人们逐渐认识到信息的存在及重要作用。第一次变革是语言的产生。人们用语言准确地传递感情和意图，使语言成为传递信息的重要工具。第二次变革是文字的产生。人类发明了纸张，就开始用书信的方式交换信息，使信息传递的准确性大为提高。第三次变革是印刷术的发明。它使信息能大量存储和大量流通，并显著扩大了信息的传递范围。第四次变革是电报、电话的发明，开始了人类电信时代，通信理论和技术迅速发展。1924年，奈奎斯特解释了信号带宽和信息速率之间的关系。

20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。1936年，阿姆斯特朗指出增大带宽可以使抗干扰能力加强，并根据这一思想提出了宽频移的频率调制方法。1939年，达德利发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语言数据压缩系统。这一时期还诞生了无线电广播和电视广播。通信技术的进步使人们更深入地考虑问题：究竟如何定量地研究通信系统中的信息?怎样才能更有效和更可靠地传递信息?现有的各种通信体制如何改进等等。

1928年，哈特莱首先提出了用对数度量信息的概念。哈特莱的工作给香农很大的启示，他在1941～1944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。他阐明了通信系统传递的对象就是信息，并对信息给予科学的定量描述，提出了信息熵的概念，指出通信系统的中心问题是在噪声下如何有效而可靠地传递信息，以及实现这一目标的方法是编码等等。这些成果于1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。与此同时，维纳在研究火控系统和人体神经系统时，提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。

20世纪50年代，信息论在学术界引起了巨大反响。1951年，美国无线电工程师协会成立了信息论组，并于1955年正式出版了信息论汇刊。这一时期，包括香农本人在内的一些科学家做了大量工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。信源编码的研究落后于信道编码。1959年，香农在发表的“保真度准则下的离散信源编码定理”（Coding theorems for a discrete source at the fidelity criterion）一文中系统地提出了信息率失真理论，为信源压缩编码的研究奠定了理论基础。在香农编码定理的指导下，信道编码理论和技术逐步发展成

....