稀疏感知导论
作者：李廉林 著
出版时间：2018年版
内容简介
在大数据时代，信息科学必须发展信息表征、获取及复原的新理论、新方法。基于信号的稀疏性，“稀疏感知”用少量的测量数据实现高质量的信号复原，缓解大数据信息问题的压力。
实现稀疏感知的关键是：(1)有效地获取数据，(2)有效地处理数据，实现信息复原。对于数据获取，《稀疏感知导论》研究了信号稀疏性与信号采样之间的关系，讨论了压缩感知、矩阵填充、稀疏反卷积和相位复原等稀疏感知问题，从三个不同的角度讨论了测量矩阵的设计。对于数据处理和信息复原，《稀疏感知导论》研究了梯度迭代优化算法、Bayesian算法和信息传递算法；特别地针对大数据处理问题，《稀疏感知导论》研究了乘子交替迭代优化算法、随机坐标优化算法和随机梯度优化算法等；《稀疏感知导论》还讨论了若干贪婪算法。
目录
目录
前言
符号使用和约定
缩写词表
绪论 1
参考文献 5
第1章 信号采样、表征与稀疏感知 8
1.1 Nyquist-Shannon 采样定理 8
1.2 信号表征 15
1.2.1 信号的确定性表征 15
1.2.2 信号的一般性统计描述 17
1.2.3 白化信号的统计表征 19
1.3 稀疏信号与稀疏感知 22
1.3.1 信号的稀疏性与表征 22
1.3.2 稀疏感知问题 24
附录1A 广义信号采样方法 27
参考文献 29
第2章 稀疏感知的若干数学问题 31
2.1 压缩感知 31
2.2 低秩矩阵感知 41
2.3 稀疏卷积感知 45
2.4 相位复原 49
附录2A 三个常用的概率不等式 52
参考文献 53
第3章 RIP 分析与 L1-正则化优化 55
3.1 广义 RIP 定义及其特性分析 55
3.2 广义 RIP 与 L1-最小化 64
3.3 广义 RIP 与 L1/L2-最小化 67
3.4 统计 RIP 与 L1 最优化 70
3.5 最优测量矩阵设计 (1) 75
附录3A L1 优化估计的无偏性分析 77
参考文献 81
第4章 贪婪算法 82
4.1 匹配追踪算法 82
4.1.1 正交匹配追踪算法 82
4.1.2 CoSaMP 算法 85
4.2 迭代硬门限算法 92
4.3 低秩矩阵感知的迭代硬门限算法 99
4.3.1 低秩矩阵的硬门限投影 99
4.3.2 迭代硬门限方法复原低秩矩阵 103
附录4A SURE 估计 104
参考文献 106
第5章 梯度类凸优化方法 108
5.1 凸优化的有关概念 109
5.1.1 凸函数的定义及基本性质 109
5.1.2 拉格朗日乘子法 114
5.1.3 Fenchel 共轭函数 116
5.1.4 Bregman 距离 118
5.2 基于 Nesterov 光滑化方法的梯度优化方法 120
5.2.1 Nesterov 光滑化 120
5.2.2 梯度迭代算法的一般性描述 122
5.2.3 加速梯度迭代优化方法 131
5.3 邻近算子方法 137
5.3.1 邻近算子 138
5.3.2 迭代软门限方法 141
5.3.3 加速迭代软门限方法 145
5.4 亚梯度与 Bregman 算法 146
附录5A Wirtinger 导数 150
附录5B Pareto 曲线 151
附录5C 基于深度神经网络的迭代软门限算法 153
附录5D 最优测量矩阵设计 (2) 155
参考文献 156
第6章 面向大数据的优化方法 158
6.1 乘子交替迭代优化方法 158
6.1.1 稀疏优化问题的拉格朗日方法 158
6.1.2 ADMM 算法 161
6.1.3 Scaled-ADMM 算法 163
6.1.4 ADMM 算法的收敛性 165
6.2 随机梯度优化方法 169
6.3 随机坐标优化算法 176
6.3.1 随机坐标优化算法及收敛性分析 176
6.3.2 加速随机坐标优化算法 181
6.4 Robust 优化方法 183
6.5 维度约化 186
6.5.1 主成分分析 186
6.5.2 线性判别分析 188
6.5.3 流形学习 193
附录6A 增强拉格朗日乘子法在矩阵分解中的应用 195
参考文献 196
第7章 贝叶斯分析 198
7.1 贝叶斯分析的基本概念 198
7.1.1 贝叶斯建模 200
7.1.2 贝叶斯方法与确定性方法的关系 212
7.2 最大期望算法 216
7.3 Laplace EM-贝叶斯分析 220
7.3.1 Laplace 信号建模 221
7.3.2 Lapalce 模型的 EM-贝叶斯算法 223
7.4 最大期望-变分贝叶斯算法 227
7.5 混合高斯模型的 EM-贝叶斯分析 234
7.5.1 标准 EM-贝叶斯算法 235
7.5.2 基于分层模型的 EM-贝叶斯算法 239
7.6 基于蒙特卡罗的贝叶斯分析 242
7.6.1 蒙特卡罗采样的 Metropolis 算法 242
7.6.2 限制 Boltzmann 机 246
7.6.3 对比散度算法 247
附录7A 常用的概率密度函数表 250
附录7B 贝叶斯分析在盲反卷积中的应用例 251
附录7C 最优测量矩阵设计 (3) 254
附录7D 稀疏高斯随机过程 254
附录7E 重要性采样 256
参考文献 259
第8章 信息传递算法 262
8.1 信息传递算法基本概念 262
8.2 求解 y = Ax + n 的信息传递算法 267
8.2.1 Sum-Product 近似信息传递算法 270
8.2.2 Max-Product 近似信息传递 275
8.3 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅰ：Krzakala 方法 280
8.4 Gaussian-Bernoulli 稀疏感知近似信息传递算法Ⅱ：Schniter 方法 289
附录8A 对 Max-Product 传递模式和 Sum-Product 传递模式的进一步 讨论 296
参考文献 298
