面向语音与面部表情信号的多模式情感识别技术研究
作者：韩志艳 著
出版时间： 2017年版
内容简介
《面向语音与面部表情信号的多模式情感识别技术研究》系统研究了面向语音与面部表情信号的多模式情感识别技术。全书共分为7章。第1章介绍了课题的国内外研究现状、意义和需要解决的难题；第2章介绍了情感语音信号预处理技术；第3章介绍了面部表情信号预处理技术；第4章介绍了语音情感特征参数提取技术，着重介绍了一种自适应语音情感动态特征提取方法；第5章介绍了面部表情特征参数提取技术，着重介绍了一种基于差值模板和PcA的面部表情特征提取方法；第6章介绍了特征参数融合与识别技术，着重介绍了一种基于FASPC的多模式情感信息融合方法；第7章归纳全书并对今后工作提出展望。
《面向语音与面部表情信号的多模式情感识别技术研究》的主要特点是在面向语音与面部表情信号的多模式情感识别技术方面提出了开创性的设计和分析方法，书中的内容来源于作者近几年来的创新性研究成果，新颖实用，研究方法先进，尤其注重多模式情感识别的鲁棒性和实用性，属于当前所属研究领域的前沿问题，具有重要的理论与应用价值。
目录
第1章 绪论
1．1 情感识别研究背景概述
1．2 情感的定义
1．3 情感的分类
1．4 情感计算
1．5 情感识别国内外研究现状
1．6 情感识别的研究意义及应用
1．7 情感识别研究中的难点
1．8 章节安排
第2章 情感语音信号预处理技术
2．1 概述
2．2 语音生成系统和语音感知系统
2．2．1 语音生成系统
2．2．2 语音感知系统
2．3 语音信号的产生模型
2．4 语音信号的时域波形
2．5 音素与音节
2．6 基音与四声
2．7 语音信号的采样和量化
2．8 语音信号的预加重
2．9 语音信号的分帧和加窗处理
2．10 端点检测
2．10．1 几种常用的端点检测算法
2．10．2 4种端点检测方法比较总结
2．10．3 基于短时能零积和鉴别信息的语音端点检测算法
2．11 本章小结
第3章 面部表情信号预处理技术
3．1 视觉认知心理
3．2 人脸面部结构
3．3 面部肌肉结构
3．4 面部动作编码系统
3．5 面部表情图像预处理在系统中的重要作用
3．6 表情图像的光照补偿
3．6．1 线性变换法
3．6．2 对数变换法
3．6．3 指数变换法
3．6．4 直方图均衡化法
3．7 表情图像的尺寸归一化
3．7．1 眼睛定位算法
3．7．2 尺寸、角度归一化
3．8 本章小结
第4章 语音情感特征参数提取
4．1 语音情感表达概述
4．2 时域特征
4．2．1 短时能量
4．2．2 短时平均幅度
4．2．3 短时过零率
4．2．4 短时自相关函数
4．2．5 短时平均幅度差函数
4．3 倒谱特征
4．3．1 基于线性预测的倒谱参数LPCC
4．3．2 基于Mel频率的倒谱参数MFCC
4．4 感知线性预测参数
4．5 共振峰特征参数
4．6 基因特征参数
4．7 谐振强度特征参数
4．8 基于边际谱的长时特征参数
4．9 语音序列的相空间重构特征参数
4．10 自适应语音情感动态特征参数
4．11 本章小结
第5章 面部表情特征参数提取
5．1 概述
5．2 NMF面部表情特征
5．3 Gabor小波特征
5．4 基于光流法的动态表情提取
5．4．1 时空梯度法
5．4．2 匹配法
5．4．3 基于能量的方法
5．4．4 基于相位的方法
5．5 基于时序模板的动态特征提取
5．6 基于分数阶傅里叶变换的表情特征提取
5．6．1 一维分数阶傅里叶变换的定义和相关性质
5．6．2 一维分数阶傅里叶变换的离散算法
5．6．3 二维分数阶傅里叶变换
5．6．4 二维分数阶傅里叶变换性质
5．6．5 分数阶傅里叶变换提取表情信息
5．7 基于HOG的表情特征提取
5．8 基于主动外观模型的表情特征提取
5．8．1 特征点检测方法
5．8．2 建立形状模型
5．8．3 建立外观模型
5．8．4 联合形状和外观建立模型
5．8．5 面部特征点检测
5．8．6 面部动画参数提取
5．9 基于差值模板和PCA的面部表情特征提取
5．10 本章小结
第6章 特征参数融合与识别
6．1 概述
6．2 基于遗传小波神经网络的语音情感识别
6．2．1 小波神经网络的设计
6．2．2 优化方法
6．2．3 实验结果与分析
6．3 基于局部保持投影和主元分析的语音情感识别
6．3．1 PCA和LPP算法分析
6．3．2 算法描述
6．3．3 仿真实验及结果分析
6．4 基于模糊核聚类的多模式情感识别算法
6．4．1 参数提取
6．4．2 算法描述
6．4．3 仿真实验及结果分析
6．5 基于FASPC的多模式情感信息融合方法
6．5．1 系统结构框架
6．5．2 常用算法介绍
6．5．3 融合识别算法具体步骤
6．5．4 仿真实验及结果分析
6．6 本章小结
第7章 总结与展望
7．1 主要工作及创新点
7．2 进一步研究的展望
