信息论基础教程

出版时间：2008-10  出版社：北京邮电大学出版社  作者：李梅，李亦农 著  页数：217  

前言

　　信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理的一般规律的科学，因此目前各高等院校相关专业的本科生、研究生都开设了这门课。　　在借鉴了国内外众多的信息论优秀教材和参考资料之后，作者根据多年的教学实践经验编写了《信息论基础教程》。本书以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大专院校都在削减学时，本书只是讲述经典信息论的内容，没有涉及过多的分支。　　本书以使读者掌握基本概念和方法为目的，力图以读者最易接受的方式介绍信息论的基本内容及应用。本书可作为通信及电子信息类相关专业高年级本科生和研究生教材，也可作为相关专业科研人员的参考书。　　本书一共分为7章，外加两个附录。第1章绪论，主要介绍了香农信息论的研究对象、目的和内容；第2章介绍了关于信息度量的几个重要概念：自信息、互信息、信息熵、平均互信息以及数据处理定理；第3章研究定量度量信源产生信息的能力和信源冗余度的问题；第4章研究定量描述信道传递信息能力的问题，并介绍了信道容量的计算方法；第5章的核心内容是香农的无失真信源编码定理。围绕这个定理我们介绍了无失真信源编码的基本概念，讲述了几种实用的无失真信源编码方法。第6章讲述香农的有噪信道编码定理以及纠错编码的主要内容，介绍了信道编码的基本概念、基本理论；第7章介绍香农的限失真信源编码定理，引入了信息率失真函数的概念并介绍了信息率失真函数的性质以及计算方法，然后还介绍了几种常用的熵压缩编码算法。附录A是一些学习本课程需要用到的数学知识。附录B为上机作业。带星号部分为根据学时安排的选修内容。

内容概要

　　信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理的一般规律的科学。我们在借鉴了国内外众多的信息论优秀教材和参考资料之后编写了《信息论基础教程》。本书以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大专院校都在削减学时，本书只是讲述经典信息论的内容，没有涉及过多的分支。　　本书可作为通信及电子信息类相关专业高年级本科生和研究生教材，也可作为相关专业科研人员的参考书。

书籍目录

第1章　绪论1.1　信息的概念1.2　信息论的研究对象、目的和内容第2章　信息的度量2.1　自信息和互信息2.1.1　自信息2.1.2　互信息2.2　平均自信息2.2.1　平均自信息的概念2.2.2　熵函数的性质2.2.3　联合熵与条件熵2.3　平均互信息2.3.1　平均互信息的概念2.3.2　平均互信息的性质2.3.3　数据处理定理习题2第3章　信源及信源熵3.1　信源的分类及其数学模型3.2　离散单符号信源3.3　离散多符号信源3.3.1　离散平稳无记忆信源3.3.2　离散平稳有记忆信源3.3.3　马尔可夫信源3.3.4　信源的相关性和剩余度3.4　连续信源3.4.1　连续信源的微分熵3.4.2　连续信源的最大熵3.4.3　连续信源的熵功率习题3第4章　信道及信道容量4.1　信道的分类4.2　离散单符号信道及其信道容量4.2.1　离散单符号信道的数学模型4.2.2　信道容量的概念4.2.3　几种特殊信道的信道容量4.2.4　离散对称信道的信道容量4.2.5　一般离散信道的信道容量4.2.6　信道容量定理4.2.7　信道容量的迭代算法4.3　离散多符号信道及其信道容量4.4　组合信道及其信道容量4.4.1　独立并联信道4.4.2　级联信道4.5　连续信道及其信道容量4.5.1　连续随机变量的互信息4.5.2　高斯加性信道的信道容量4.5.3　多维高斯加性信道的信道容量4.6　波形信道及其信道容量习题4第5章　无失真信源编码5.1　信源编码的相关概念5.1.1　编码器5.1.2　码的分类5.2　定长码及定长信源编码定理5.3　变长码及变长信源编码定理5.3.1　Kraft不等式和McMman不等式5.3.2　唯一可译码的判别准则5.3.3　紧致码平均码长界限定理5.3.4　无失真变长信源编码定理（香农第一定理）5.4　变长码的编码方法5.4.1　香农编码5.4.2　香农一费诺一埃利斯编码5.4.3　二元霍夫曼码5.4.4　r元霍夫曼码5.4.5　费诺码5.5　实用的无失真信源编码方法5.5.1　游程编码5.5.2　算术编码5.5.3　LZW编码习题5第6章　有噪信道编码6.1　信道编码的相关概念6.1.1　错误概率和译码规则6.1.2　错误概率与编码方法6.2　有噪信道编码定理6.3　错误概率的上界6.4　纠错编码6.4.1　纠错码分类6.4.2　纠错码的基本概念6.4.3　线性分组码6.4.4　卷积码习题6第7章　限失真信源编码7.1　失真测度7.1.1　失真函数7.1.2　平均失真7.2　信息率失真函数7.2.1　D失真许可信道7.2.2　信息率失真函数的定义7.2.3　信息率失真函数R（D）的性质7.3　限失真信源编码定理7.4　信息率失真函数的计算7.4.1　应用参量表示式计算R（D）7.4.2　率失真函数的迭代算法7.5　常用的限失真信源编码方法7.5.1　量化编码7.5.2　子带编码7.5.3　预测编码7.5.4　变换编码习题7附录A　数学预备知识A.1　概率论与随机过程A.1.1　概率论的基本概念A.1.2　随机变量及其分布A.1.3　多维随机变量及其分布A.1.4　随机变量的数字特征A.1.5　随机过程A.2　凸函数及Jensen不等式A.3　信道容量定理引理A.4　渐进等分割性和￡典型序列附录B　上机作业B.1　信道容量的迭代算法B.2　唯一可译码判决准则B.3　Shannon编码B.4　Huffman编码B.5　Fano编码B.6　LZW编码B.7　BSC模拟器B.8　Hamming（7，4）编译码器B.9　通信系统仿真参考文献

章节摘录

　　第1章 绪论　　信息论是通信的数学基础，它是随着通信技术的发展而形成和发展起来的一门新兴的橫断学科。　　信息论创立的标志是1948年香农发表的论文“A Mathematical Therory of Communication”。为了解决在噪声信道中有效传输信息的问题，香农在这篇文章中创造性地采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。　　在日常生活中，人们往往对消息和信息不加区别，认为消息就是信息。例如，当人们收到一封电报，或者听了天气预报，人们就说得到了信息。　　人们收到消息后，如果消息告诉了我们很多原来不知道的新内容，我们会感到获得了很多的信息，而如果消息是我们基本已经知道的内容，我们得到的信息就不多，所以信息应该是可以度量的。那么怎样度量信息呢?人们需要有一个可以用数学模型来表示的信息概念。　　1928年，哈特莱(Hartley)首先提出了对数度量信息的概念，即一个消息所含有的信息量用它的所有可能的取值的个数的对数来表示。比如，抛掷一枚硬币可能有两种结果：正面和反面，所以当我们得知抛掷结果后获得的信息量是log22—1bit。而一个十进制数字可以表示O～9中的任意一个符号，所以一个十进制数字含有log210=3．322 bit的信息量。这里对数取以2为底，信息量的单位为bit。　　哈特莱的工作给了香农很大的启示，他进一步注意到消息的信息量不仅与它的可能值的个数有关，还与消息本身的不确定性有关。例如，抛掷一枚偏畸硬币，如果正面向上的可能性是90％，那么当我们得知抛掷结果是反面时得到的信息量会比得知抛掷结果是正面时得到的信息量大。　　一个消息之所以会含有信息，正是因为它具有不确定性，一个不具有不确定性的消息是不会含有任何信息的，而通信的目的就是为了消除或部分消除这种不确定性。比如，在得知硬币的抛掷结果前，我们对于结果会出现正面还是反面是不确定的，通过通信，我们得知了硬币的抛掷结果，消除了不确定性，从而获得了信息，因此，信息是对事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。　　……

编辑推荐

　　本书以使读者掌握基本概念和方法为目的，力图以读者最易接受的方式介绍信息论的基本内容及应用。本书可作为通信及电子信息类相关专业高年级本科生和研究生教材，也可作为相关专业科研人员的参考书。 本书一共分为7章，外加两个附录。第1章绪论，主要介绍了香农信息论的研究对象、目的和内容；第2章介绍了关于信息度量的几个重要概念：自信息、互信息、信息熵、平均互信息以及数据处理定理；第3章研究定量度量信源产生信息的能力和信源冗余度的问题；第4章研究定量描述信道传递信息能力的问题，并介绍了信道容量的计算方法；第5章的核心内容是香农的无失真信源编码定理。围绕这个定理我们介绍了无失真信源编码的基本概念，讲述了几种实用的无失真信源编码方法。第6章讲述香农的有噪信道编码定理以及纠错编码的主要内容，介绍了信道编码的基本概念、基本理论；第7章介绍香农的限失真信源编码定理，引入了信息率失真函数的概念并介绍了信息率失真函数的性质以及计算方法，然后还介绍了几种常用的熵压缩编码算法。附录A是一些学习本课程需要用到的数学知识。附录B为上机作业。带星号部分为根据学时安排的选修内容。