信息论基础

出版时间：2005-5  出版社：机械工业出版社  作者：[美] Thomas M.Cover,Joy A.Thomas  页数：435  
Tag标签：无  

内容概要

　　本书介绍信息论及其应用，内容丰富，涉及信息、统计，计算机科学等领域，系统和全面地介绍了香农信息论的基本理论与多类应用问题，其中包括作者的许多研究成果。本书包含大量的例题与背景说明，涉及信息处理与信息世界中的许多问题。本书是美国斯坦福大学、莱斯大学等使用的信息论教材，是学习信息论的主要参考书。　　本书全面系统地介绍了香农信息论的基本理论以及多类应用问题，其中包括了作者的许多研究成果。本书阐述了熵、相对熵和互信息之间的基本代数关系，论述了渐近均分性（AEP）、随机过程和数据压缩的熵率、Kolmogorov复杂度、信道容量定理、微分熵以及网络信息理论等内容，并采用“使用不等式串、中间不加任何文字、最后直接加以解释”的创新表述方式，使读者学习了一定数量的证明后，在没有任何解释的情况下就能理解其中的大部分步骤，并给予必要的解释。　　本书适合作为通信理论、计算机科学和数学等专业学生学习信息论的教材。章后提供的习题便于老师的教学，以及增强学生对信息论的理解。

作者简介

　　Thomas M.cover是国际著名的信息论教授，1964年获美国斯坦福大学电子工程博士学位，1972年起任美国斯坦福大学电子工程与数理统计学教授，妆兼任IEEE、AAAS、IMS学会特别会员及多项重要学会理事。 Joy A.Thomas，1990年获美国斯坦福大学电子工程博士学位，1984-1985年被授予IEEE Chareles LeGeyt Fortescue Fellowship，1987-1990年被授予IBM Graduate Fellowship。

书籍目录

译者序前言第1章　绪论与概览第2章　熵、相对熵和互信息2.1　熵2.2　联合熵和条件熵2.3　相对熵和互信息2.4　熵与互信息的关系2.5　熵、相对熵和互信息的链式法则2.6　Jensen不等式及其结果2.7　对数和不等式及其应用2.8　数据处理不等式2.9　热力学第二定律2.10　充分统计量2.11　Fano不等式要点习题历史回顾第3章　渐近均分性3.1　渐近均分性的定义3.2　AEP的结果应用：数据压缩3.3　高概率集与典型集要点习题历史回顾第4章　随机过程的熵率4.1　马尔可夫链4.2　熵率4.3　例子：加权图上随机游动的熵率4.4　隐马尔可夫模型要点习题历史回顾第5章　数据压缩5.1　有关编码的例子5.2　Kraft不等式5.3　最优码5.4　最优码长的界5.5　惟一可译码的Kraft不等式5.6　赫夫曼码5.7　有关赫夫曼码的评论5.8　赫夫曼码的最优性5.9　Shannon-Fano-Elias编码5.10　算术编码5.11　香农码的竞争最优性5.12　由均匀硬币投掷生成离散分布要点习题历史回顾第6章　博弈与数据压缩6.1　马赛6.2　博弈与边信息6.3　相依的马赛及其熵率6.4　英文的熵6.5　数据压缩与博弈6.6　英文的熵的博弈估计要点习题历史回顾第7章　Kolmogorov复杂度7.1　计算模型7.2　Kolmogorov复杂度：定义和例子7.3　Kolmogorov复杂度与熵7.4　整数的Kolmogorov复杂度7.5　算法随机序列与不可压缩序列7.6　普适概率7.7　停止问题和Kolmogorov复杂度的不可计算性7.8 Ω7.9　普适投注策略7.10　奥克姆剃刀7.11　Kolmogorov复杂度与普适概率7.12　Kolmogorov充分统计量要点习题历史回顾第8章　信道容量8.1　信道容量的例子8.2　对称信道8.3　信道容量的性质8.4　信道编码定理预览8.5　定义8.6　联合典型序列8.7　信道编码定理8.8　零误差码8.9　Fano不等式与编码定理的逆定理8.10　信道编码定理的逆定理中的等式8.11　汉明码8.12　反馈容量8.13　联合信源信道编码定理要点习题历史回顾第9章　微分熵9.1　定义9.2　连续随机变量的AEP9.3　微分熵与离散熵的关系9.4　联合微分熵和条件微分熵9.5　相对熵和互信息9.6　微分熵、相对熵以及互信息的性质9.7　离散熵的微分熵界要点习题历史回顾第10章　高斯信道10.1　高斯信道的定义10.2　高斯信道编码定理的逆定理10.3　有限带宽信道10.4　并联高斯信道10.5　彩色高斯噪声信道10.6　带反馈的高斯信道要点习题历史回顾第11章　最大熵与谱估计11.1　最大熵分布11.2　例子11.3　反常的最大熵问题11.4　谱估计11.5　高斯过程的熵率11.6　Burg最大熵定理要点习题历史回顾第12章　信息论与统计学12.1　型方法12.2　大数定律12.3　通用信源编码12.4　大偏差理论12.5　Sanov定理的例子12.6　条件极限定理12.7　假设检验12.8　Stein引理12.9　Chernoff界12.10　Lempel-Ziv编码12.11　Fisher信息与Cram巖-Rao不等式要点习题历史回顾第13章　率失真理论13.1　量化13.2　定义13.3　率失真函数的计算13.4　率失真定理的逆定理13.5　率失真函数的可达性13.6　强典型序列与率失真13.7　率失真函数的特征13.8　信道容量与率失真函数的计算要点习题历史回顾第14章　网络信息论14.1　高斯多用户信道14.2　联合典型序列14.3　多接入信道14.4　相关信源的编码14.5　Slepian-Wolf编码与多接入信道之间的对偶性14.6　广播信道14.7　中继信道14.8　具有边信息的信源编码14.9　具有边信息的率失真14.10　一般多端网络要点习题历史回顾第15章　信息论与股票市场15.1　股票市场：定义15.2　对数最优投资组合的Kuhn-Tucker特征15.3　对数最优投资组合的渐近最优性15.4　边信息与双倍率15.5　平稳市场中的投资15.6　对数最优投资组合的竞争最优性15.7　Shannon-McMillan-Breiman定理要点习题历史回顾第16章　信息论的不等式16.1　信息论的基本不等式16.2　微分熵16.3　熵与相对熵的界16.4　型的不等式16.5　子集的熵率16.6　熵与Fisher信息16.7　熵幂不等式与Brunn-Minkowski不等式16.8　行列式的不等式16.9　行列式的比值的不等式全书要点习题历史回顾参考文献索引

媒体关注与评论

　　本书是美国斯坦福大学、莱斯大学等使用的信息论教材，是学习信息论的主要参考书。　　本书特色：　　·包含大量新的素材，如信息论与博弈的关系；　　·采用典型序列的方法对编码理论进行描述与证明；　　·采用随机码方法证明信道与有失真信源编码定理。

用户评论 (总计30条)

•   　　信息论基础
  　　评分：8.5 权重8 （课程共耗时6361，其中本书2339）
  　　从课程讲到典型集之后换用这本书学信息论部分。目前只自己看了这本书的很小一部分，包括二三五七章的部分。使用了本书之后感觉《信息论与编码理论》真是本傻逼教材，受不了它了。。这本书总体比信息论与编码的书好多了，第二章只发现了一个错误。层次分明的排版，简洁明了的公式、定理及其证明，让人赏心悦目，在阅读的时候有一种美学享受（不要小看这一点，这是非常影响学习情绪从而影响学习效率的；）。我在学习这本书的时候，常常是刚刚洗澡完，然后一回来就情不自禁如饥似渴的对着本书一直看，等到一抬头已经12点多，舍友都在催我睡觉了；可以说完全进入了一种高度专注的“心流”的学习状态，这不仅要拜我当时的良好状态所赐，也与教材有极大关联；那些错漏百出的烂书是绝对不可能如此吸引我并且能提供如此连续而密集的智力活动体验的。本书的每个章节的最后还都有专门列举了本章所有的重要公式定理，简直是太贴心了。这本书还将每个知识点的外延也都包括在书中，列举了大量的信息论知识在其他领域如统计、随机过程、博弈论的应用（后面章节还有更多方面的，我还没看到）。最能说明其效力的莫过于渐进均分性这一章，我当时没有这本教材，听老师上课讲了两节课基本什么都没有听懂，完全一头雾水（当然，不能完全怪老师，我本来就不是audio learner，上课就当是预习/复习，而是明显的visual learner，课下自己看才是重头戏）,在用短短几个小时看了本书的这一章节后就豁然开朗，很快就融会贯通了。这本书的习题量也非常多，而且有理由相信它们都是很经典的，可惜只有很少的部分在网上有英文版的答案。这本书文字和公式都太精要了，以至于我想画一些重点和做高亮记号都无从下手，因为几乎所有内容都没有什么废话，所有内容都是信息量很大的重点，复习的时候可以直接阅读。但是这本书似乎有点太精要了，经常出现不认识的符号或者没有说明清楚的地方，似乎不是面向初学者的，以至于我有不少地方不太看得懂或者感觉牵扯了太多非课程内容。因此，这本书如果在掌握了更高深的知识后过来复习，会有更大的效力，能够打通并构建出更完整庞大的知识网络。我与这本书的缘分必然不会就此终结，以后必然还会继续复习以及学习这本书的其他部分，届时对它的理解可能更加深入，本书的评分也可能会相应的继续提高。
  　　
•   　　比起同类书，是相当容易懂。但是数学的条理逻辑性就不明显了。具体说来，其他书基本都是直接先把用到的数学基础摆出来，在后面章节中直接用（如El Gamal & Kim的NETWORK INFORMATION THEORY）。而这本书不是的。
  　　
  　　组织结构上可能有些难以把握。仅仅在通信上的应用，最起码包括信道编码和信源编码，两者是对偶，需要跳来跳去，会弄的读者一头雾水。本书又包括了算法复杂度，还有股票投资什么的，建议这部分先跳过去。
  　　
  　　此书入门，入门后看El Gamal & Kim的书。然后再后头看这本另有收获。BTW，本书主要用弱典型，El Gamal & Kim的是强典型。强典型容易点。
•   　　刚刚读完这本书，的确是一本好书，把信息论的主要思想，以及这些思想在包括博弈、金融、数学、物理、算法复杂性等理论的应用都讲出来了，而且能够把信息论之中蕴含的深刻科学思想讲出来，的确是一本好书。
  　　但我认为，这本书仍然存在以下一些不足之处：
  　　1、这并不是一本入门级别的书
  　　不知道评价这本书的其他朋友怎么看，不知道各位都是什么级别的人士。但是，我作为一名也算是理工科背景出身的高校教师，仍然觉得这本书很难真正读懂。信息论中有很多艰深的思想以及数学证明包含了本书之中，这些证明不花上一定的力气不可能学会。所以，相比较来说，我并不觉得这是一本信息论入门书籍。（相比较来说，入门书籍应该更加浅显一些，而且不要涉及太多的数学证明）。
  　　2、内容过于分散，很难让初学者抓住主线
  　　本书的优点之一就是将信息论设计的很多相关学科也介绍的非常清楚，例如金融、博弈、物理、最大熵原理、统计等等，但是这也恰恰形成了读者，尤其是初学者阅读这本书的障碍。我更不能理解的是，作者似乎按照两条主线来叙述这些东西。一条主线是比较清晰的传统信息论和编码、通信理论，另外一条主线是信息论涉及到的边边角角的知识，而且这两条主线是交错地在各个章节呈现的。
  　　3、翻译的语言过于学术化
  　　翻译还是不好，有些语言太死板了，有把简单的概念复杂化的趋势。
  　　
  　　但是，这本书还是有相当多的闪光点，比如对Entropy这个概念的完整介绍，比如Kolmogorov复杂性理论的介绍。我觉得作者应该进一步突出Entropy这个概念，用它贯穿所有的内容。
•   　　公认的
  　　书中包括的内容极其丰富
  　　并且定理推导都不算复杂
  　　可谓是初学者接触信息论的最好教材
  　　再加上是二版
  　　这个是标准的美版
  　　哎
  　　只可惜俺没钱买
  　　长期只能pdf……
•   　　感觉挺明白浅显的，本科的老师用的这本教材，不过她明显没有好好备课，讲的乱七八糟的，都是自己看的，还不错，现在还记得一些印象。
  　　不过我对翻译的书都没什么好印象，所以还是建议大家去读英文版的吧。
•   　　Cover先生是牛人，IEEE的Fellow。
  　　
  　　这本书网上也有英文的电子版。可以试一试直接看英文版。也是不错的。
  　　讲的最后两章指明了现在和将来信息论可能的研究方向。
•   　　虽然概念比较难懂，但如果能找到切入点很容易明白。建议看
  　　www.googlechinablog.com 的数学之美系列文章。
•   Cover的数学条理逻辑很好的啊，由道入术。
•   说是入门书的，都是在装逼，不用介意。
•   基础不是入门啊，这个是专业基础，外行人不知道什么叫基础吧，呵呵
•   我承认，这本书的不少证明我都是跳过去了的，但是这也似乎是国内能找到最好的信息论入门教材了，不然就得去看给学通信的工科生写的教材....
  至于贴近普及读物的一本信息论介绍的书，至今还没找到
•   我觉得信息论和概率统计都需要极深厚的赌博业背景``
•   Obviously, information theory is more complex than what they said in the book~
•   我感觉着本书还是比较基础的，至少对于相关专业而言。
  其实，熵只是一个简单的概念。更为重要的如何去在传递过程中尽量降低信息的损失。
  信息论涉及到的数学主要是初等概率论，以及一些重要的不等式。
•   实话实说，对于信息论来说，这还真就是个入门的书籍。这个入门不是指得科普读物，而是在大学教育过程中，接触信息论的第一本书籍。而且Cover已经在刻意降低理论的深度，把这个口子开得很宽，没有说太深奥的东西。
  几项基本的东西像 Jenson 不等式，数据处理不等式，Fano不等式，利用typical set 给出的证明，还有就是 random binning 。再深的东西都没有涉及，像dirty paper coding, Gelfand-Pinsker定理，degraded broadcast channel, interference channel统统都涉猎不深。
  还有，学习又不是玩，信息论这样的东西更是需要大量的脑力劳动。不客气地说，在国内信息论的研究几乎就是个0，如果学生想靠自己从头研究是不现实的。如果你想走马观花的看看，那也没这个必要，什么也学不到；如果想认认真真地学，那就需要花点时间。
  如果去看看Csiszar的书，才知道什么叫难懂。
  如果是做研究，Abbas El Gamal的书其实不错，属于可以指导研究的讲义。
•   就是基础才要把证明写得很清楚啊……
•   这本书书名翻译的有问题，人家写的是elements of information theory
  又不是basics of information theory或者introduction to information theory
•   这本书在第一版前言明确说明本书适合大四（senior year) 和研究生一年级的教材， 并且学过概率，有扎实的数学基础（with a background of at least one good semester course in probability and a solid background in mathematics.），这样的教材怎么能叫入门教材？我理解的入门教材应该
  是有高中甚至初中数学背景的人都能读懂，国外的很多intro 开头的教材都是这样
•   这就是信息论的入门经典，但是需要花很大力气才能读懂并理解的。这就是这么学科的特点，信息论本身属于概率统计，应用数学的分支之一。读这本书一方面要有较扎实的数学功底，另一方面对于无线通信、编码要有一定了解，这样就能很好的入门。这是经典学术著作，而不是科普。十分同意@dcc1031的说法。
•   楼上去看看introduction to algorithms http://book.douban.com/subject/3904676/就知道什么是入门教材了，附录怕你不知道求和号，写着[\[\sum_{i=1}^n a_i=a_1+a_2+...+a_n\]]，第1145页
•   信息论不用大量证明就不是信息论了。Shannon的信息熵本身就是对probabilistic uncertainty的量化。Cover把很多基于概率统计（我指的是三年级以上的概率统计）的理论都recast了一下，反而比统计理得更清楚。
•   作为非EE专业的学生 个人觉得读起来相当有意思 花些时间和耐心可以读得很懂 但是problem好难! 这个Problem肯定不是入门级的!
•   翻译的有问题。Elements of Information Theory，又不是Elementary。
•   楼主可能把这书当科普类的看了，不过这可是教材
  教材的话，数学多才是负责任的表现
  数学的参与是大部分学科目前的趋势，所以呢，读者不应该建议作者，反而应该改变自己
•   确实是基础，只不过这个基础知识，需要两三年才能建立好。我目前都6年了，也就那样。
•   哪里有pdf下？急需555
•   gigapedia上面肯定有，你可以google下书名加PDF，多找找，应该也有的。我的是别人直接拷给我的
•   嗯，的确写得不错。推荐。
•   我看了数学之美才找到这本书的，太有感触了！
•   信息论也很美