信息论与纠错编码

出版时间：2009-8  出版社：电子工业出版社  作者：孙丽华，陈荣伶 编  页数：222  

内容概要

　　《信息论与纠错编码（第2版）》重点介绍了信息论与纠错编码的基础内容及应用，共分10章，内容包括：信息及信息的度量、离散信源及信源熵、离散信道及信道容量、信源编码定理和信道编码定理、平均失真测度和信息率失真函数、率失真编码定理、纠错编码代数基础、线性分组码、循环码和卷积码。　　《信息论与纠错编码（第2版）》文字通顺，深入浅出，概念清晰，对一些较难理解的概念，配有较多的例题。并配有免费电子课件、习题解答等教辅资料。　　《信息论与纠错编码（第2版）》适合作为高等院校理工类本科电子技术、信息工程、通信工程、雷达、计算机、自动化、仪器仪表等相关专业的教材，也可作为信息科学及系统工程等专业教学人员及科研人员的参考书。

书籍目录

第1章　信息论基础1.1　信息的概念1.2　数字通信系统1.3　信源及其数学模型1.3.1　离散无记忆信源1.3.2　离散有记忆信源1.3.3　波形信源1.4　信道及其数学模型1.4.1　离散无记忆信道1.4.2　离散无记忆扩展信道本章小结思考题与习题第2章　信息的度量2.1 自信息量和互信息量2.1.1 自信息量和条件自信息量2.1.2　互信息量和条件互信息量2.2　离散集的平均自信息量2.2.1　信息熵2.2.2　熵函数的性质2.3　离散集的平均互信息量2.3.1　平均互信息量2.3.2　平均互信息量的性质2.3.3　有关平均互信息量的两条定理2.4　N维扩展信源的熵和平均互信息量2.4.1　N维扩展信源的熵2.4.2　N维扩展信源的平均互信息量2.4.3　有关N维平均互信息量的两条定理本章小结思考题与习题第3章　离散信源无失真编码3.1　概述3.1.1　码的分类3.1.2　平均码长的计算3.1.3　信息传输速率3.2　等长码及等长编码定理3.3　变长码及变长编码定理3.3.1 变长码3.3.2　克拉夫特不等式3.3.3　变长编码定理3.4　变长码的编码方法3.4.1　香农编码法3.4.2　费诺编码法3.4_3　霍夫曼编码法本章小结思考题与习题第4章　离散信道的信道容量4.1　信道容量的定义4.2　离散无记忆信道容量的计算4.2.1　达到信道容量的充要条件4.2.2　几类特殊的信道4.3　组合信道的容量4.3.1　独立并行信道4.3.2　和信道4.3.3　串行信道本章小结思考题与习题第5章　有噪信道编码5.1　信道编码的基本概念5.2　译码规则及错误概率5.3　信道编码定理5.4　费诺引理及信道编码逆定理5.4.1　费诺不等式5.4.2　信道编码逆定理本章小结思考题与习题第6章　率失真编码6.1　失真测度与平均失真6.2　信息率失真函数R（D）6.2.1　率失真函数的定义6.2.2　率失真函数的值域、定义域6.2.3　率失真函数的性质6.3　率失真函数的计算6.3.1　两种特殊情况下的求解6.3.2　R（D）的参数表示法6.4　率失真信源编码定理本章小结思考题与习题第7章　纠错编码代数基础第8章　线性分组码第9章　循环码第10章　卷积码附录A　GF（2m）中元素的最小多项式和本原多项式（1附录B　熵函数计算用简明对数表参考文献

章节摘录

　　第1章　信息论基础　　1.1　信息的概念　　人们认为，物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。物质、能量和信息三者相辅相成，缺一不可。没有物质和能量就不存在事物的运动，也就没有运动状态和规律，当然也就没有信息；反过来，事物在运动，这种运动的状态和规律就成为信息。　　因此可以说，没有了信息也就没有了一切！　　那么，到底什么是信息呢？　　信息有以下三种不同层次的定义。　　？语法信息：它是事物运动状态和规律的本身。它只研究事物运动可能出现的各种状态以及这些状态之间的关系，不涉及状态的含义和效用。　　？语义信息：它是事物运动状态和规律的具体含义。它研究各种状态和实体间的关系，即研究信息的具体含义。　　？语用信息：它是事物运动状态和规律及其含义对观察者的效用。它研究事物运动状态　　和规律与使用者的关系，即研究信息的使用价值。　　语法信息是最抽象最基本的层次，通信工程中的信息传递问题正是基于语法信息。　　我们知道，通信系统中形式上传输的是消息，消息与信息有何区别呢？　　信息是一个抽象的概念，而消息是具体的，如一场足球赛事的状况，我们可以分别通过电视、广播和报纸来了解，这其中就涉及图像、语言、文字等不同形式的消息。可以说，消息是能被人们的感觉器官感知的客观物质和主观思维的运动状态（或存在状态）。在通信之前，收信者无法判断发信者将发送何种状态的消息。通过消息的传递，收信者知道了消息的具体内容，我们说收信者获得了信息。由此看来，通信系统中形式上传输的是消息，实质上传输的是信息。换句话说，消息中包含信息，消息是信息的载体，信息是消息中包含的有意义的内容。不同形式的消息可以包含相同的信息，如语言和文字发送同一天的天气预报，信息内容是相同的。