信息论基础

出版时间：2010-11  出版社：电子工业出版社  作者：黄佳庆，程文青　编著  页数：204  
Tag标签：无  

前言

信息论是通信技术的重要理论基础之一。经典香农信息论对当代通信技术的发展具有重要理论意义，例如指导信源编码、信道编码等的发展。而目前受到较大关注并在不断发展的网络信息论（多用户信息论），将对未来网络的发展产生重大和深远的影响。网络信息论的每一次突破性进展都将带来通信发展的历史性革命，例如新兴理论——网络编码的诞生就是一个生动的印证！为更好地学习和发展网络信息论，掌握经典香农信息论十分必要。但读者在学习过程中经常遇到的难题是，大量繁复、抽象的数学公式对理解信息论的内容构成较大障碍，容易打击学习信息论的信心和兴趣。针对此突出问题，本书在编写过程中遵循了如下基本原则：注重知识的系统性和条理性，注重阐明概念和原理的物理意义，力求深入浅出，通俗易懂。本书特色如下：注重知识的系统性和条理性，每章都配有知识结构框图，便于读者掌握各知识点之间的逻辑联系，也便于读者明晰本书的脉络。注重阐明概念和原理的物理意义，并辅以实例加深理解；同时，实例之间也是相互关联的，通过实例的相关性来进一步加深对知识点之间逻辑联系的理解。每个重要概念都有相应的中英文对照，以便于与英文文献中的概念相对应。每章均有“历史和启示”，选择信息论和编码研究中具有代表性的重要进展和变革性的历史事件加以回顾，分析这些创新思想的诞生过程以及重要概念、原理的形成过程，启迪读者的创新思维。从长远意义上说，启迪创新思维和培养创新能力的重要程度比知识本身更重要。同时，通过一些生动有趣的案例，让读者感受到信息论离我们并没有想象的那么遥远，从而增强读者学习信息论的信心和兴趣，同时也增强了本书的可读性。

内容概要

本书系统地阐述了信息论的基本概念和原理，主要包括：香农信息论的三个基本概念（信源熵、信道容量、信息率失真函数）；香农信息论的三个基本定理（无失真信源编码定理、信道编码定理、限失真信源编码定理）；信源编码；信道编码；网络信息论（多用户信息论）及其新兴理论分支——网络编码。本书注重知识点的系统性和条理性，注重阐明概念和原理的物理意义，力求深入浅出，通俗易懂。    本书可作为高等院校通信、信息、计算机、电子、网络等相关专业的本、专科生教材或教学参考书，也可作为从事上述专业的科研人员和工程技术人员的参考书。

书籍目录

第1章  绪论  1.1  信息的概念  1.2  信息论的历史和发展  1.3  本书的组织结构第2章  信源熵  2.1  概述  2.2  单符号离散信源的熵（离散熵）    2.2.1  信息量    2.2.2  平均信息量（熵）  2.3  多符号离散信源的熵（离散熵）    2.3.1  离散无记忆平稳信源的N次扩展信源的熵    2.3.2  N维离散有记忆平稳信源的熵    2.3.3  马尔可夫信源的极限熵    2.3.4  离散信源冗余度  2.4  连续信源的熵（连续熵）    2.4.1  连续信源的熵（微分熵）    2.4.2  特殊连续信源的熵    2.4.3  连续信源冗余度  2.5  无失真信源编码定理（香农第一定理）  历史与启示  本章小结  本章附录  习题第3章  信道容量  3.1  概述  3.2  基本概念    3.2.1  信道模型    3.2.2  互信息量    3.2.3  平均互信息量（互熵）    3.2.4  互熵和熵之间的关系  3.3  单符号离散信道的信道容量    3.3.1  特殊离散信道的信道容量    3.3.2  一般离散信道的信道容量    3.3.3  单符号离散信道的串联信道的信道容量  3.4  多符号离散信道的信道容量    3.4.1  单符号离散信道的N次扩展信道的信道容量    3.4.2  单符号离散信道的N个独立并联信道的信道容量  3.5  连续信道    3.5.1  时间离散的加性连续信道的信道容量    3.5.2  时间连续的加性连续信道的信道容量  3.6  信道冗余度  3.7  信道编码定理（香农第二定理）  历史和启示  本章小结  本章附录  习题第4章  信息率失真函数  4.1  概述  4.2  基本概念    4.2.1  失真函数和失真矩阵    4.2.2  平均失真函数 和允许平均失真D  4.3  信息率失真函数R(D)    4.3.1  信息率失真函数R(D)的定义    4.3.2  信息率失真函数R(D)与信道容量C    4.3.3  信息率失真函数R(D)的性质  4.4  离散信源的信息率失真函数R(D)  4.5  连续信源的信息率失真函数R(D)  4.6  限失真信源编码定理（香农第三定理）  历史和启示  本章小结  习题第5章  信源编码  5.1  概述  5.2  基本概念  5.3  统计特性已知的离散无记忆信源编码    5.3.1  香农编码    5.3.2  费诺编码    5.3.3  香农-费诺-埃利斯编码    5.3.4  霍夫曼编码  5.4  统计特性已知的离散有记忆信源编码    5.4.1  游程编码    5.4.2  算术编码  5.5  统计特性未知的离散信源编码——通用编码    5.5.1  字典码LZ-77    5.5.2  字典码LZ-78    5.5.3  字典码LZW  历史和启示  本章小结  习题第6章  信道编码  6.1  概述  6.2  基本概念和原理    6.2.1  差错控制的方式    6.2.2  检错、纠错能力与码重、码距的关系    6.2.3  简单的信道编码  6.3  线性分组码    6.3.1  生成矩阵    6.3.2  校验矩阵    6.3.3  伴随矩阵    6.3.4  完备码、汉明码和极大最小距离码  6.4  循环码    6.4.1  生成多项式和生成矩阵    6.4.2  校验多项式和校验矩阵    6.4.3  伴随多项式和伴随矩阵    6.4.4  BCH码和RS码    6.4.4.1  BCH码    6.4.4.2  RS码  6.5  卷积码    6.5.1  卷积码的组成结构    6.5.2  卷积码的解析表示法    6.5.3  卷积码的图解表示法    6.5.4  卷积码的译码方法  历史和启示  本章小结  习题第7章  网络信息论  7.1  概述  7.2  网络信道分类    7.2.1  多址接入信道    7.2.2  广播信道    7.2.3  中继信道    7.2.4  串扰信道    7.2.5  双向信道    7.2.6  反馈信道    7.2.7  网络信道  7.3  多址接入信道    7.3.1  二址接入信道的信道容量区域    7.3.2  多址接入信道的信道容量区域    7.3.3  二址接入信道的信道容量区域的求解实例  7.4  广播信道    7.4.1  单输入二输出广播信道分类    7.4.2  单输入二输出降阶广播信道的信道容量区域    7.4.3  广播信道实例及其广义含义  7.5  相关信源编码    7.5.1  相关信源编码模型的分类    7.5.2  Slepian-Wolf相关信源编码    7.5.3  相关信源编码与二址接入信道  历史和启示  本章小结  习题第8章  网络编码  8.1  概述  8.2  网络编码的优势和劣势    8.2.1  网络编码的优势    8.2.2  网络编码的劣势  8.3  网络编码的可行性和本质    8.3.1  随机网络编码    8.3.2  网络编码的本质  8.4  有向无环网络中的网络编码    8.4.1  局部编码矩阵和全局编码矩阵    8.4.2  线性网络编码的四个特性  8.5  有向有环网络中的网络编码    8.5.1  有向有环网络中的局部编码矩阵和全局编码矩阵    8.5.2  卷积网络编码的四个特性  8.6  无向网络中的网络编码  8.7  网络编码典型应用    8.7.1  应用层的网络编码应用    8.7.2  网络层的网络编码应用    8.7.3  物理层的网络编码应用  8.8  网络编码的展望  历史和启示  本章小结  习题  参考文献参考书目

章节摘录

插图：单用户信息论主要讨论单信源和单信宿之间点到点的通信问题，当点到点通信已经发展到网络通信的时候，就须考虑网络中多信源和多信宿的情况，而且还须考虑网络中众多的中继节点。这均属于网络信息论（Network Information Theory）或称为多用户信息论（Multiuser Information Theory）要讨论的范围。单用户信息论对点到点通信具有重要的理论指导意义，同样，网络信息论对当前和未来网络通信的规划和发展具有极其重要的理论指导意义。但是，目前网络信息论的发展存在许多未解决和未完善的问题，任何网络信息论的新成果和新突破都将对未来网络的发展构成重要和深远的影响。本章重点内容：多址接入信道（属于多输入单输出信道）和广播信道（属于单输入多输出信道）的可达速率区域和信道容量区域；相关信源编码的可达速率区域问题。本章难点内容：相关信源和多址接入信道的联合问题。

编辑推荐

《信息论基础》特色：注重知识的系统性和条理性，每章都配有知识结构框图，便于读者掌握知识点之间的逻辑联系。注重阐明概念和原理的物理意义，并辅以实例加深理解，力求深入浅出，通俗易懂。每个重要概念都有中英文对照，便于与英文文献中的概念相对应。每章均有“历史和启示”，通过回顾信息论和编码研究中具有代表性的重要进展和变革，分析这些创新思想的产生过程和重要概念、原理的形成过程，以启迪读者的创新思维。介绍网络信息论及其重要理论分支——阿络编码，便于读者在掌握经典香农信息论的基础上，了解当前信息论领域的重要进展。

用户评论 (总计1条)

•   信息论是很理论很抽象的。这本书用很直观的论证方式解释了信息论的概念，同时讲述了这些抽象的概念在实际通信系统中是如何运用的。理论与实际结合的很紧密。自学起来非常方便易懂。