信息论与编码
出版时间：2011年版
内容简介
《信息论与编码》系统阐述了经典信息论和编码的基本原理及应用，主要内容包括：绪论、信源描述及信息的度量、离散信源的信源编码、离散信道的信道容量、有扰离散信道的编码定理、连续信源和连续信道、信息率失真理论及其应用、网络信息理论基础、差错控制基础、线性分组码、卷积码、纠突发错误码、保密通信基础和信息论的应用等。本书语言描述通俗易懂，原理阐述深入浅出，逻辑推理严谨简洁，并配合丰富的应用实例，力图将经典理论的研究成果与现代通信的实际应用相结合。 《信息论与编码》可作为高等学校信息与通信工程及电子类、计算机科学与工程类、自动控制类等学科的高年级本科生或硕士研究生的教材，也适合作为有关的科研、技术和管理人员的参考书目。
目录
第1章 绪论 1
1.1 通信与信息的基本概念 1
1.1.1 消息和信号 1
1.1.2 信息 2
1.2 信息论及信息科学 4
1.2.1 信息科学的创立 4
1.2.2 信息科学与信息产业的发展 4
1.3 信息论的研究范畴 6
1.3.1 香农信息论（狭义信息论） 6
1.3.2 一般信息论 7
1.3.3 广义信息论 7
本章小结 8
习题 8
第2章 信源描述及信息的度量 9
2.1 信源的数学模型及分类 9
2.1.1 离散信源 9
2.1.2 连续信源 12
2.1.3 平稳信源 13
2.1.4 自然语信源 14
2.2 信息的度量 15
2.2.1 度量信息的基本思路 16
2.2.2 自信息量与不确定度的关系 17
2.3 离散信源的信息熵 17
2.3.1 信源的信息熵 17
2.3.2 条件自信息量和条件熵 19
2.4 互信息量 20
2.4.1 互信息量 20
2.4.2 条件互信息量 22
2.4.3 平均互信息量 23
2.4.4 疑义度和噪声熵 25
2.5 数据处理中的信息变化 26
2.5.1 n维随机变量的熵 26
2.5.2 n维随机变量的信息传递 27
2.5.3 数据处理中的信息变化 27
2.6 离散平稳信源 28
2.7 离散信源的熵和时间熵 31
2.7.1 离散信源的熵 31
2.7.2 离散信源的时间熵 35
本章小结 37
习题 37
第3章 离散信源的信源编码 41
3.1 信源的冗余度 41
3.2 信源符号序列分组定理 43
3.3 信源编码模型及最佳编码 45
3.3.1 信源编码模型 45
3.3.2 最佳编码 46
3.4 变长码的信源编码 48
3.4.1 唯一可译码与即时码 48
3.4.2 Kraft不等式 49
3.4.3 平均码长界定定理 51
3.5 等长码的信源编码定理 53
3.6 无失真信源编码 55
3.6.1 香农第一定理 55
3.6.2 香农编码 57
3.6.3 费诺编码 58
3.6.4 霍夫曼编码 59
3.6.5 算术编码 61
3.6.6 游程编码 64
3.6.7 Lempel-Ziv编码 64
3.7 信源编码的错误扩散 66
本章小结 67
习题 67
第4章 离散信道的信道容量 70
4.1 信道的分类及数学模型 70
4.1.1 信道的分类 70
4.1.2 离散信道的数学模型 70
4.2 单符号离散信道的数学模型 71
4.2.1 二进制对称信道 72
4.2.2 二进制删除信道 73
4.3 单符号离散信道的信道容量 74
4.3.1 信息传输速率和信道容量 74
4.3.2 几种特殊离散信道的信道容量 75
4.3.3 独立并联信道的信道容量 77
4.3.4 串联信道的信道容量 78
4.4 多符号离散信道的信道容量 80
4.4.1 多符号离散对称信道的信道容量 80
4.4.2 离散无记忆扩展信道的信道容量 81
本章小结 83
习题 83
第5章 有扰离散信道编码定理 86
5.1 译码准则 86
5.1.1 最小错误概率准则 86
5.1.2 最大似然译码准则 88
5.2 费诺不等式 89
5.3 汉明距离 90
5.3.1 错误概率与编码方法 90
5.3.2 汉明距离 92
5.4 有扰离散信道的信道编码定理 93
本章小结 98
习题 99
第6章 连续信源和连续信道 101
6.1 连续消息的信息度量 101
6.1.1 连续信源的相对熵 102
6.1.2 几种典型连续信源的相对熵 103
6.1.3 连续消息的条件熵 107
6.1.4 连续消息的平均互信息量 108
6.2 最大相对熵定理 109
6.2.1 相对熵的性质 109
6.2.2 最大相对熵定理 109
6.3 熵功率 112
6.3.1 连续信源熵的变换 112
6.3.2 熵功率 113
6.3.3 熵功率不等式 114
6.3.4 噪声 114
6.4 香农信道容量公式 115
6.4.1 连续信道的信道容量 115
6.4.2 香农信道容量公式 117
6.5 连续信源编码 118
6.5.1 标量量化与理想接收机 118
6.5.2 矢量量化编码 120
6.5.3 预测编码 121
本章小结 123
习题 123
第7章 信息率失真理论及其应用 126
7.1 失真度和平均失真度 126
7.1.1 失真度 126
7.1.2 平均失真度 128
7.2 信息率失真函数 129
7.2.1 保真度准则及D0失真许可的试验信道 129
7.2.2 信息率失真函数 130
7.2.3 信息率失真函数的性质 132
7.3 信息率失真函数的计算 136
7.3.1 误码失真条件下离散信源的信息率失真函数 136
7.3.2 离散信源的R(D)参量表示 138
7.3.3 连续信源的信息率失真函数 141
7.4 保真度准则下的信源编码定理 142
7.5 信息价值 142
本章小结 145
习题 145
第8章 网络信息理论基础 148
8.1 多用户信息传输系统模型 148
8.2 多址接入信道及其信道容量 149
8.2.1 基本概念 149
8.2.2 二进制接入信道 150
8.2.3 N进制接入信道 152
8.2.4 高斯加性多址信道 153
8.2.5 广播信道的信道容量 153
8.3 相关信源的基本理论 156
8.3.1 离散无记忆相关信源的编码定理 156
8.3.2 相关信源通过接入信道的传输定理 157
8.3.3 相关信源的边信息与公信息 158
本章小结 159
习题 160
第9章 差错控制基础 161
9.1 差错控制的途径和基本方式 161
9.1.1 插入冗余度 161
9.1.2 差错随机化 163
9.1.3 参量权衡 164
9.2 纠错编码的基本概念 164
9.2.1 纠错编码的分类 164
9.2.2 纠错编码的基本概念 166
9.3 纠错编码的检、纠错能力 169
9.4 近世代数基础 171
9.4.1 整数 171
9.4.2 群 172
9.4.3 环 173
9.4.4 域 174
9.4.5 多项式环和域 177
9.4.6 GF(2)的扩域GF(2m) 178
9.4.7 矢量空间 182
本章小结 183
习题 183
第10章 线性分组码 185
10.1 线性分组码的基本概念 185
10.1.1 线性分组码的描述 185
10.1.2 生成矩阵和校验矩阵 186
10.1.3 系统码 187
10.2 线性分组码的编译码 188
10.2.1 线性分组码的编码 188
10.2.2 线性分组码的译码 189
10.3 线性分组码的纠、检错性能 192
10.3.1 线性分组码的距离与重量的关系 192
10.3.2 极大最小距离码（MDC） 193
10.3.3 伴随式译码的性能 193
10.4 汉明码和格雷码 193
10.4.1 完备码 194
10.4.2 汉明码 194
10.4.3 格雷码 195
10.5 循环码 196
10.5.1 循环码的定义与描述 196
10.5.2 循环码的生成矩阵和校验矩阵 199
10.5.3 循环码的编码 200
10.5.4 循环码的译码 203
10.5.5 循环码的缩短与扩展 207
10.6 BCH码 208
10.6.1 BCH码的编码 209
10.6.2 BCH码的译码 211
10.7 R-S码 216
本章小结 218
习题 218
第11章 卷积码 221
11.1 基本概念 221
11.2 卷积码的编码 221
11.2.1 生成矩阵描述 221
11.2.2 多项式描述 224
11.2.3 状态图描述 225
11.2.4 树图描述 226
11.3 卷积码的译码 227
11.3.1 网格图 227
11.3.2 维特比译码 228
11.3.3 序列译码 231
11.4 卷积码的特性 236
11.4.1 卷积码的码率 236
11.4.2 卷积码的距离特性 236
11.4.3 恶性卷积码及译码的错误扩展 238
本章小结 238
习题 239
第12章 纠突发错误码 241
12.1 纠突发错误码的基本概念 241
12.2 纠突发错误循环码 243
12.2.1 法尔码 243
12.2.2 交织码 244
12.2.3 伯顿码 247
12.3 纠突发错误循环码的译码 248
12.4 纠突发错误卷积码 249
12.4.1 纠突发错误卷积码的基本概念 249
12.4.2 卷积交织 250
12.5 纠突发和随机错误码 251
12.5.1 循环乘积码 251
12.5.2 级联码 253
12.5.3 Turbo码 254
本章小结 256
习题 257
第13章 保密通信基础 258
13.1 保密通信的技术体制及数学模型 258
13.1.1 加密和解密过程的模型 258
13.1.2 密码系统安全性 259
13.1.3 常规密码 260
13.2 信息保密技术的基础知识 262
13.2.1 基本度量 262
13.2.2 理想保密性 263
13.2.3 单一性距离 264
13.3 数据加密标准DES 266
