信息论与编码

出版时间：2003-12  出版社：高等教育出版社  作者：仇佩亮  页数：504  

前言

信息论与编码理论是50多年前由美国科学家C．E．Shannon、R．W．Hamming等人创立的。它以Shannon的不朽名著《通信的数学理论》为里程碑。几十年来许多优秀的学者、工程师共同努力推动了信息论与编码的理论和实践的发展，现在信息论与编码理论已成为信息科学的基础理论，也成为20世纪后半叶数字化革命的主要理论和技术支柱。国外的一流学校在20世纪50年代末就开始设立信息论与编码课程，目前国内各高等院校的电子信息类专业本科生、研究生也都已把信息论与编码作为一门重要的专业基础理论课。由于信息论与编码的许多思想和方法已广泛地渗透到许多领域，它的许多研究成果也具有普遍意义，因此信息论与编码在许多领域，如在计算机、系统科学、统计学、物理学、生物学、经济学甚至社会学中都获得了成功的应用。信息论与编码理论对于从事这些相关领域工作和学习的人员来说也极具参考价值。本书在作者多年教学经验和研究实践的基础上编写而成，由于信息论与编码本身既是一门工程科学，同时又是一门应用数学，因此作为教材必须既保持论述的科学性、严谨性，又要求深入浅出、通俗易懂，能为工程师所理解。本书中对于抽象的概念辅以必要的例子予以说明，对于复杂的证明则着重讲清证明思路而忽略繁琐的细节。本书所要求的数学基础是初等的，只要具有概率论、随机过程、线性代数和离散数学中的初等知识就足够了，但也要求读者具有一定的抽象思维能力。对于像Shannorl理论中的精华——典型列理论和随机编码方法必须要慢慢地咀嚼、细细地品味才能体会它的真谛。信息论与编码是一门应用科学，它最基本的应用背景是通信。著名的通信理论家Viterbi说过，如果把现代通信技术比喻成飞船，则晶体管是它的引擎而信息论是它的方向盘。在本书中突出了信息论和编码的应用，特别强调在通信中的应用。这样理论与应用结合，有助于读者了解产生理论和解决问题的实际背景，也提高了工科学生的学习兴趣。

内容概要

　　《信息论与编码》是“十五”国家级规划教材。信息论和编码是研究信息传输和信息处理过程中一般规律和具体实现的一门应用科学，是现代信息科学和技术工程的基础理论。《信息论与编码》是在吸取了国内外经典教材的优点，结合作者教学经验的基础上编写而成。《信息论与编码》写得深入浅出，既保持理论的完整性、系统性，又概念清楚、易读好懂，同时介绍了信息论的新发展。教材主要介绍Shannon信息理论和相关的编码技术。内容包括如下11章：绪论、嫡和互信息、离散无记忆信源的无损编码、信道、信道容量及信道编码定理、率失真理论和保真度准则下的信源编码、受限系统和受限系统编码、线性分组纠错编码、循环码、卷积码、Turbo码与选代译码、多用户信息论与多用户编码。　　《信息论与编码》适合作为高等院校电子信息类专业的高年级本科生和研究生教材，对于从事信息科学和技术领域工作和研究的人员也极具参考价值。

书籍目录

第1章　绪论第2章　熵和互信息2．1　随机变量的熵和互信息2．1．1事件的自信息和互信息2．1．2条件事件的互信息与联合事件的互信息2．1．3随机变量的平均自信息——熵2．1．4熵的性质2．1．5凸函数2．1.6随机变量间的平均互信息2．1．7概率分布的散度（相对熵）2．1．8关于疑义度的Fano不等式2．1．9马尔可夫链和数据处理定理2．1．10Shamon信息度量与集合论之间的联系2．1．11信息论与博弈之间的关系2．2　连续随机变量的互信息和微分熵2．2．1连续随机变量的互信息2．2.2连续随机变量的熵——微分熵2．2．3微分熵的极大化2．3　平稳离散信源的熵2．3．1平稳离散信源的一般概念2．3．2平稳信源的熵2．3．3马尔可夫信源2．4平稳随机过程的信息量与熵习题第3章　离散无记忆信源（DMs）的无损编码3．1　离散无记忆信源的等长编码3．1．1等长编码3．1．2Shannon编码定理和典型列解释3．1．3渐近等分性质（AEP）与Shamon定理的证明3．2　离散无记忆源（DMs）的不等长编码3．2．1不等长编码的惟一可译性和译码延时3．2．2Kraf不等式3．2．3不等长编码定理3．3　几种不等长编码算法3．3．1最佳不等长编码（Huffman编码）3．3．2Shannon编码法3．3．3Fano编码3．3．4ShannOn-Fano-EIias编码3．3．5算术编码3．3．6通用信源编码算法3．3．7压缩编码与离散随机数发生3．4　平稳信源和马尔可夫信源的编码定理3．4．1平稳信源的编码3．4．2马尔可夫信源的编码习题第4章　信道、信道容量及信道编码定理4．1　信道、信道模型和分类4．2　离散无记忆信道（DMC）及其容量4．2．1信道容量定义及例子4．2．2离散无记忆信道（DMC）的容量定理4．2．3对称离散无记忆信道容量的计算4.　2．4转移概率矩阵可逆信道的容量计算4．2．5离散无记忆信道（DMC）容量的迭代计算4．3　信道的组合4．3．1积信道（平行组合信道）4．3．2和信道4．3．3级联信道4．4　离散无记忆信道（DMC）的编码定理4．4．1几个有关定义4．4．2二元对称信道编码定理的证明4．4．3一般离散无记忆信道编码定理的证明（典型列方法）4．4．4信道编码定理之逆4．4．5具有理想反馈的离散无记忆信道的容量4.　4．6信源、信道编码分离定理和信源、信道联合编码4．5　加性高斯噪声（AwGN）信道4．5.1高斯信道的容量4．5．2高斯信道编码定理4．5．3高斯信道编码定理之逆4．5．4带有独立高斯噪声的平行信道4．5．5带有相关高斯噪声的平行信道4.　5．6MIMO高斯信道的容量4．6　模拟信道的信道容量4．6．1带限、加性白高斯噪声信道4．6．2带限、有色高斯噪声信道习题第5章　率失真理论和保真度准则下的信源编码5．1　率失真函数的定义5．2　简单信源的率失真函数计算5．2．1Hamming失真度量下的贝努利信源5．2．2高斯信源5．2．3高斯矢量信源5．3　率失真函数的性质5．3．1R（D）的非零区域（Dmin,Dmax）5．3．2R（D）的向下凸性5．3．3R（D）为单调递减的连续函数5．3．4利用信源的对称性来计算率失真函数5．4　率失真函数解的充要条件和参数方程5．5　率失真函数的交替迭代计算5．6　保真度准则下离散无记忆信源编码定理5．6．1可达性证明5．6．2逆定理证明5．6．3信道编码定理与限失真信源编码定理之间的对偶5．7　无记忆连续信源的率失真函数5．7．1无记忆连续信源的率失真函数定义5．7．2平方误差失真度量下连续随机变量的率失真函数的上、下限5．8　平方误差失真度量下有记忆高斯信源的率失真函数5．8．1有记忆信源的率失真函数定义5．8．2高斯信源的特征5．8．3离散时间平稳高斯信源的率失真函数5．8．4连续时间平稳高斯信源的率失真函数习题第6章　受限系统和受限系统编码6．1　受限系统概述6．1．1受限信道6．1．2序列的自相关函数和功率谱6．2　受限系统的表示和容量计算6．2．1受限系统的概念6．2．2RLL（d，k）序列6．2．3受限系统的有限状态转移图表示6．2．4受限系统的容量6．2．5受限系统容量的计算6．2．6最大熵游程受限序列的功率谱6．3　受限系统编码方法6．3．1定长分组编码6．3．2码长最短的定长分组码6．3．3可变长度固定速率编码6．3．4向前看（LA）编码技术6．4　基于ACH状态分裂算法的有限状态编码器6．4．1状态分裂6．4．2近似本征矢量6.　4．3一致分裂6．4．4ACH状态分裂算法第7章　线性分组纠错编码7．1分组纠错编码的一般概念7．1．1用于纠错和检错的信道编码7．1．2二元对称信道的差错概率和差错分布7．1．3检错和纠错……第8章　循环码第9章　卷积码第10章　Turbo编码与迭代译码算法第11章　多用户信息论与多用户编码参考文献

章节摘录

插图：

用户评论 (总计1条)

•   在国内算是非常好的了