信息論基礎

譯者序
第2版前言
第1版前言
第2版致謝
第1版致謝
第1章 緒論與概覽
第2章 熵、相對熵與互信息
　2.1 熵
　2.2 聯合熵與條件熵
　2.3 相對熵與互信息
　2.4 熵與互信息的關系
　2.5 熵、相對熵與互信息的鏈式法則
　2.6 Jensen不等式及其結果
　2.7 對數和不等式及其應用
　2.8 數據處理不等式
　2.9 充分統計量
　2.10 費諾不等式
　要點
　習題
　歷史回顧
第3章 漸近均分性
　3.1 漸近均分性定理
　3.2 AEP的推論︰數據壓縮
　3.3 高概率集與典型集
　要點
　習題
　歷史回顧.
第4章 隨機過程的熵率
　4.1 馬爾可夫鏈
　4.2 熵率
　4.3 例子︰加權圖上隨機游動的熵率
　4.4 熱力學第二定律
　4.5 馬爾可夫鏈的函數
　要點
　習題
　歷史回顧
第5章 數據壓縮
　5.1 有關編碼的幾個例子
　5.2 Kraft不等式
　5.3 最優碼
　5.4 最優碼長的界
　5.5 惟一可譯碼的Kraft不等式
　5.6 赫夫曼碼
　5.7 有關赫夫曼碼的評論
　5.8 赫夫曼碼的最優性
　5.9 Shannon-Fano-Elias編碼
　5.10 香農碼的競爭最優性
　5.11 由均勻硬幣投擲生成離散分布
　要點
　習題
　歷史回顧
第6章 博弈與數據壓縮
　6.1 賽馬
　6.2 博弈與邊信息
　6.3 相依的賽馬及其熵率
　6.4 英文的熵
　6.5 數據壓縮與博弈
　6.6 英文的熵的博弈估計
　要點
　習題
　歷史回顧
第7章 信道容量
　7.1 信道容量的幾個例子
　　7.1.1 無噪聲二元信道
　　7.1.2 無重疊輸出的有噪聲信道
　　7.1.3 有噪聲的打字機信道
　　7.1.4 二元對稱信道
　　7.1.5 二元擦除信道
　7.2 對稱信道
　7.3 信道容量的性質
　7.4 信道編碼定理預覽
　7.5 定義
　7.6 聯合典型序列
　7.7 信道編碼定理
　7.8 零誤差碼
　7.9 費諾不等式與編碼定理的逆定理
　7.10 信道編碼定理的逆定理中的等式
　7.11 漢明碼
　7.12 反饋容量
　7.13 信源信道分離定理
　要點
　習題
　歷史回顧
第8章 微分熵
　8.1 定義
　8.2 連續隨機變量的AEP
　8.3 微分熵與離散熵的關系
　8.4 聯合微分熵與條件微分熵
　8.5 相對熵與互信息
　8.6 微分熵、相對熵以及互信息的性質
　要點
　習題
　歷史回顧
第9章 高斯信道
　9.1 高斯信道︰定義
　9.2 高斯信道編碼定理的逆定理
　9.3 帶寬有限信道
　9.4 並聯高斯信道
　9.5 高斯彩色噪聲信道
　9.6 帶反饋的高斯信道
　要點
　習題
　歷史回顧
第10章 率失真理論
　10.1 量化
　10.2 定義
　10.3 率失真函數的計算
　　10.3.1 二元信源
　　10.3.2 高斯信源
　　10.3.3 獨立高斯隨機變量的同步描述
　10.4 率失真定理的逆定理
　10.5 率失真函數的可達性
　10.6 強典型序列與率失真
　10.7 率失真函數的特征
　10.8 信道容量與率失真函數的計算
　要點
　習題
　歷史回顧
第11章 信息論與統計學
　11.1 型方法
　11.2 大數定律
　11.3 通用信源編碼
　11.4 大偏差理論
　11.5 Sanow定理的幾個例子
　11.6 條件極限定理
　11.7 假設檢驗
　11.8 Chernoff-Stein引理
　11.9 Chemoff信息
　11.10 費希爾信息與Cramer-Rao不等式
　要點
　習題
　歷史回顧
第12章 最大熵
　12.1 最大熵分布
　12.2 幾個例子
　12.3 奇異最大熵問題
　12.4 譜估計
　12.5 高斯過程的熵率
　12.6 Burg最大熵定理
　要點
　習題
　歷史回顧
第13章 通用信源編碼
　13.1 通用碼與信道容量
　13.2 二元序列的通用編碼
　13.3 算術編碼
　13.4 Lempel-Ziv編碼
　　13.4.1 帶滑動窗口的Lernpel-Ziv算法
　　13.4.2 樹結構Lernpel-Ziv算法
　13.5 Lempel-Ziv算法的最優性
　　13.5.1 帶滑動窗口的Lempel-Ziv算法
　　13.5.2 樹結構Lempel-Ziv壓縮的最優性
　要點
　習題
　歷史回顧
第14章 科爾莫戈羅夫復雜度
　14.1 計算模型
　14.2 科爾莫戈羅夫復雜度︰定義與幾個例子
　14.3 科爾莫戈羅夫復雜度與熵
　14.4 整數的科爾莫戈羅夫復雜度
　14.5 算法隨機序列與不可壓縮序列
　14.6 普適概率
　14.7 科爾莫戈羅夫復雜度
　14.8 Ω
　14.9 萬能博弈
　14.10 奧克姆剃刀
　14.11 科爾莫戈羅夫復雜度與普適概率
　14.12 科爾莫戈羅夫充分統計量
　14.13 最短描述長度準則
　要點
　習題
　歷史回顧
第15章 網絡信息論
　15.1 高斯多用戶信道
　　15.1.1 單用戶高斯信道
　　15.1.2 陰個用戶的高斯多接人信道
　　15.1.3 高斯廣播信道
　　15.1.4 高斯中繼信道
　　15.1.5 高斯干擾信道
　　15.1.6 高斯雙程信道
　15.2 聯合典型序列
　15.3 多接人信道
　　15.3.1 多接人信道容量區域的可達性
　　15.3.2 對多接人信道容量區域的評述
　　15.3.3 多接人信道容量區域的凸性
　　15.3.4 多接人信道的逆定理
　　15.3.5 m個用戶的多接人信道
　　15.3.6 高斯多接人信道
　15.4 相關信源的編碼
　　15.4.1 Slepian-wolf定理的可達性
　　15.4.2 Slepian-Wolf定理的逆定理
　　15.4.3 多信源的Slepian-Wolf定理
　　15.4.4 Slepian-Wolf編碼定理的解釋
　15.5 Slepian-Wolf編碼與多接人信道之間的對偶性
　15.6 廣播信道
　　15.6.1 廣播信道的定義
　　15.6.2 退化廣播信道
　　15.6.3 退化廣播信道的容量區域
　15.7 中繼信道
　15.8 具有邊信息的信源編碼
　15.9 具有邊信息的率失真
　15.10 一般多終端網絡
　要點
　習題
　歷史回顧
第16章 信息論與投資組合理論
　16.1 股票市場︰一些定義
　16.2 對數最優投資組合的庫恩-塔克特征
　16.3 對數最優投資組合的漸近最優性
　16.4 邊信息與增長率
　16.5 平穩市場中的投資
　16.6 對數最優投資組合的競爭最優性
　16.7 萬能投資組合
　　16.7.1 有限期萬能投資組合
　　16.7.2 無限期萬能投資組合
　16.8 Shanon-McMillan-Breiman定理(廣義漸近均分性質)
　要點
　習題
　歷史回顧
第17章 信息論中的不等式
　17.1 信息論中的基本不等式
　17.2 微分熵
　17.3 熵與相對熵的界
　17.4 關于型的不等式
　17.5 熵的組合界
　17.6 子集的熵率
　17.7 熵與費希爾信息
　17.8 熵冪不等式與布倫-閔可夫斯基不等式
　17.9 有關行列式的不等式
　17.10 關于行列式的比值的不等式
　要點
　習題
　歷史回顧
參考文獻
索引

Cover M．Thomas與Joy A．Thomas的信息論基礎可謂跨世紀的一本好書，其讀者人數在信息論領域名列榜首。說本書是信息論領域中的Bible(聖經)，也不算過分。本書涉及的相關知識領域廣泛，我們第一次接到翻譯此書的任務時，多少有些惶恐，擔心無法準確地將Cover的精神和深刻的內涵活靈活現地呈現給讀者。1985年Cover曾經是沈世鎰教授的老師。沈先生回國後在南開大學帶出了許許多多的優秀學生。他們在國內乃至國際上都是信息論的骨干和學術帶頭人(比如，楊恩輝，孫鳳文，張箴，符方偉，葉中行，岳殿武，陳魯生等，他們曾以南開大學的信息論為榮，南開大學的信息論現在又以他們為榮)。為報Cover之師恩，也為更多不曾在南開大學學習的廣大信息論學子能夠領略Cover的大師風範，我們欣然接受了此項翻譯任務，並且力爭不辱使命。

本書可謂信息量巨大的好書。在熵、信道、信源、數據壓縮與編碼理論，復雜度理論等方面獨具特色，網絡信息論更是一個新的亮點。本書還以賽馬模型為出發點，將證券市場的研究納入信息論的框架內研究，給證券市場研究以一個新的視角。更難得的是，作者利用自己深厚的研究功力，將這三部分有機地結合在一起，不僅增加了信息論的內涵，也增加了讀者群。特別是研究投資組合者，在適當學習第2章與第11章的基礎上，讀懂第6章與第16章，將會帶來全新的投資理念和證券研究的新技巧。

本書的寫作風格獨特，橫跨信息論、信號學、計算機邏輯、概率論、圖論以及金融等若干領域。因此，為了使得本書的翻譯風格盡可能完整，並保持其在各領域的特色，我們在翻譯中頗費心思，字斟句酌，反復思考，同時，虛心地請教南開大學從事相應領域的同事，在此，對他們表示感謝。我們的許多研究生在第1版和第2版的翻譯和校對的過程中也做出了貢獻。而且，在第2版翻譯時，我們虛心听取了第1版的讀者的反饋意見，特在此向他們表示衷心感謝。最後，我們要對機械工業出版社華章分社表示感謝，編輯們的認真、仔細和熱情合作提高了本書的翻譯質量。