2018, Vol. 33
2. 上海飞机客户服务有限公司，上海 200241;
3. 南京邮电大学 自动化学院，南京 210023
2. Shanghai Aircraft Customer Service Co., Ltd., Shanghai 200241, China;
3. School of Automation, Nanjing University of Posts and Telecommunications, Nanjing 210023, China
随着世界各国对航空安全的不断重视, 以及飞行器设计制造技术的不断进步, 飞机的可靠性和安全性有了很大的提高, 由飞机机械故障导致事故的比例从80 %下降到了20 %, 但人为因素造成事故的比例则逐渐增多[1-3].通过调查发现, 美国国家安全局近40年来最关心的人为因素为飞行员疲劳, 据其统计发现, 由于飞行员疲劳造成的航空事故多达300多起.因此, 减少因飞行员疲劳造成的飞行事故, 对提高航空安全有很大意义.
飞行员疲劳, 即飞行员长时间高应激状态的飞行驾驶, 心理生理产生疲劳, 有机体的生理心理过程不能使其机能继续维持在安全飞行这一特定的水平上, 多表现为身体工作能力下降, 思维和操纵警觉水平下降[4-5].在目前已有的技术中, 大多通过主观评价和客观测量的方法进行飞行员疲劳监测.主观评价通过主观调查表、飞行员自我记录表、皮尔逊疲劳量表或斯坦福睡眠尺度表等评定飞行员的疲劳状态.客观测量则是通过测量眼睑闭合、头部运动、手部运动、心率、脉搏等生理特征变化来判断飞行员的疲劳状态.相较于主观评价, 客观测量更能量化地反映飞行员的疲劳程度, 因此逐渐成为疲劳检测的主流发展方向[6-7].
大脑神经中枢控制大量神经原的活动, 从而控制人的行为意识, 因此可以通过记录神经细胞活动时产生的突触后电位变化来研究人的行为意识.如Ghaemi等[8]用脑电信号来识别左右手的活动, 平均准确率达到76.24 %; Xu等[9]使用EEG信号对受试者特异性情感状态进行分类, 在高低唤醒分类中得到86.67 %、86.60 %和86.69 %的平均F1分数.因此, 采用脑电信号监测飞行员疲劳状态具有实际应用价值.
特征提取在脑电图检测中起着至关重要的作用.近50年来, 已经开发了许多特征提取方法, 包括时域分析、频域方法、时频域分析[10].传统脑电信号特征提取方法主要集中在信息熵领域, 如Slanzi等[11]提取了脑电信号的近似熵等特征, 用逻辑回归预测实验者是否点击网页, 准确率为71.09 %.但人工提取脑电时频特征受制于专家自身研究水平的局限, 不足以表征脑电信息.而目前出现的深度学习方法可以弥补这些方面的不足, 深度学习能自主学习特征并进行分类处理, 可以最大化保留原始数据特征, 给出比人工提取特征更好的描述[12]. Yan等[13]利用稀疏自动编码器来无监督学习正常人和病患的脑电信号, 并取得高达100 %的识别率.对于飞行员非疲劳、微疲劳、极度疲劳状态下的脑电信号, 不仅需要提取各自有代表性的信息, 还需要去除冗余信息增加计算效率, 以保障高效率高准确率的疲劳状态识别, 达到及时告警的目的.此外, 深度学习的编码器具有自主学习特征的无意识性、输出结果的不定性、缺乏后续可验证性的特征.基于此, 为了突出非疲劳、微疲劳、极度疲劳状态之间的微小变化对输出值的影响, 本文在稀疏自动编码器(Sparse auto-encoder, SAE)的基础上, 引入多层学习的方法, 提出一种新的深度收缩稀疏自编码网络(Deep contractive sparse auto-encoding network, DCSAEN), 以求极大化提取表征脑电信号的特征, 增加模型的可验证性和稳定性.
为了实现飞行员不同疲劳状态的精确分类, 本文使用Softmax分类器实现脑电信号的分类. Softmax分类器[14]是一种多类分类器, 是逻辑回归分类器的推广, 通过最大似然估计求解分类模型, 最大化保留不同类别的代表性特征, 适合作为深度学习的顶层分类器, 进行飞行员疲劳状态(非疲劳、微疲劳、极度疲劳)识别.通过以上分析, 提出一种基于DCSAEN-Softmax的飞行员脑电特征自学习和状态识别模型, 并与目前常用的DAEN-Softmax模型和传统的PCA-Softmax模型进行比较.
1 DCSAEN-Softmax模型 1.1 自动编码器标准自动编码器分为3层, 分别为输入层x、隐藏层h和输出层y, 自动编码器(Auto-encoder, AE)包含编码和解码两部分.
编码过程:通过非线性映射函数将输入变量x以一定的方式映射到隐层h, 由此h便成为了输入x的另一种表现形式.编码的原理为
|
(1) |
|
(2) |
其中: x∈[0, 1]d, h∈[0, 1]d, W为d×d'的权重矩阵, b为输入层偏置向量, θ={W, b}, s(·)为Sigmoid函数.
解码过程:将隐藏层形成的编码h映射到输出层y, 输出层具有与输入层相同的单元数, 映射关系如下所示:
|
(3) |
其中: y∈[0, 1]d; W'为隐藏层到输出层的权重矩阵, 且有W'=WT; b'为隐藏层的偏置向量; θ'={W', b'}, 将参数合并为θ={θ, θ'}={W, b, b'}.通过训练来调节参数θ, 使得输入与输出之间的重构误差函数——代价函数最小.传统AE采用的代价函数为均方误差(MSE), 即
|
(4) |
其中: m为样本的数量, xi为输入向量, yi为输出向量, θ为网络中所有参数的集合.
1.2 稀疏自动编码器由于AE学习到的抽象特征有冗余的缺陷, 为了克服这一不足, 在AE的基础上, 增加L1的正则化限制(L1主要是约束每一层中的大部分节点都要为0, 只有少数不为0), 得到一种稀疏自动编码器(Sparse auto-encoder, SAE). SAE在编码解码过程中, 对其中大多数神经元进行稀疏约束, 去除特征冗余情况.它通过对每个隐藏层单元的响应添加约束条件, 使隐藏层单元的大多数神经元处于“抑制”状态, 只有少数神经元处于“兴奋”状态, 在数学模型中, 这种约束通过向代价函数中添加稀疏约束项来实现.
在AE的代价函数中, 添加以下稀疏约束条件:
|
(5) |
|
(6) |
|
(7) |
其中: ρj是隐藏层单元神经元的平均激活度; ρ是人为设置的参数, 一般比较小; β决定了稀疏约束项在代价函数中所起的作用.从式(7)可以看出, ρj与ρ越接近, 代价函数越小.
1.3 收缩稀疏自动编码器为了增强SAE的可验证性及稳定性, 引入雅克比矩阵作为惩罚项, 构建新的最优化问题.雅可比矩阵是对某给定点的可微方程提供最优线性逼近, 其中包含信号的各个方向信息特点, 反应了原始空间微小变化引发的值域空间变化的敏感度.因此, 对SAE的代价函数中增加关于雅克比矩阵的约束, 可以抑制信息在所有方向上的扰动, 从而增强SAE特征学习的可验证性和模型的稳定性.收缩稀疏自动编码器[12] (Contractive sparse auto-encoder, CSAE)的代价函数由式(5)变换得到, 有
|
(8) |
其中:雅克比矩阵为
与逻辑回归分类解决的是二分类问题相对应, Softmax分类解决的是多分类问题, Softmax分类是逻辑回归分类的一种扩展, 通过最大似然估计求解分类模型, 最大化地提取信息中本质特点, 从而区分不同类别.记类标y可以取r个不同的值, 对于训练集{(x(1), y(1)), …, (x(m), y(m))}, 类标签为ym∈{1, 2, …, r}, r为分类数.对于给定的输入x(n), 用假设函数hλ(x(n))针对每一类k估算出概率值P=(y(n)=k|x(n)), k=1, 2, …, r. hλ(x(n))输出一个r维列向量(和为1), 每行表示当前类的概率.假定假设函数hλ(x(n))为
|
(9) |
其中: λ1, λ2, …, λr是模型参数; 将x(n)分为第k类的概率记为
|
(10) |
对于样本x(n), 选择概率p(y(n)=k|x(n); λ)最大的值对应的类别k作为当前样本的分类标签, 并与样本本身的标签做对比, 如果一致, 则分类正确, 否则分类错误.分类准确率(Accuracy rate)可以表示为
|
(11) |
深度收缩稀疏自编码网络(Deep contractive sparse auto-encoding network, DCSAEN)结合了深度稀疏自编码网络和深度收缩自编码网络的优势, 由若干个CSAE组成, 原始数据作为第一层CSAE的输入, 逐层训练, 训练好的L-1层的输出作为第L层的输入.该网络充分体现了深度理论的优势, 能够弥补传统浅层结构的不足, 增加实验结果的可验证性和模型的稳定性.在此基础上, 建立一种基于DCSAEN的飞行员疲劳状态识别框架:首先采用一种无监督的DCSAEN逐层学习获取较为优化的网络初始权值, 然后通过在网络顶层附加Softmax分类器对整体网络参数进行进一步细微调节, 最终输出模型的识别准确率.
2 基于脑电信号的飞行员疲劳状态识别 2.1 脑电信号采集采集和处理的脑电数据来源于航空公司飞行员模拟飞行实验.实验使用BCI 2000系统, 包含国际10-20系统中的64个参考电极, 采样频率为160 Hz, 如图 1(a)所示.实验情形设置如下:共有40名飞行员(身体素质良好, 且有3年以上飞行经验)参与飞行实验, 飞行员连续6个小时从旧金山到洛杉矶来回模拟飞行, 飞行路径如图 1(b)所示, 飞行时间安排如表 1所示, 持续飞行时间段为8: 00 ~ 14: 00, 分别采集不同时段的脑电信号作为非疲劳、微疲劳、极度疲劳状态的数据.
|
图 1 脑电信号采集环境示意图 |
|
表 1 不同时间段的模拟飞行实验 |
由于实际需求中需要实时监测飞行员的疲劳状态, 会产生大量的脑电信号数据, 但在较长时间内飞行员的疲劳状态界限不明显, 因此需要截取一段长度为19 200的脑电数据, 得到每名飞行员一个状态下的64×19 200个脑电信号数据; 另外, 并非所有脑区上采集到的脑电信号都与疲劳有关, 因此为了降低脑电信号中信息冗余和干扰, 同时减少数据处理的复杂度, 根据疲劳的相关文献[15-16], 挑选出与疲劳相关的工作区域, 选取的电极位置为FP1.
2.2 脑电信号预处理由于脑电信号幅值较小, 在采集过程中极易受到干扰, 往往参杂大量噪声, 在分类识别之前需进行滤波处理.一般, 脑电信号的基本特征包括频率、周期、幅值、相位等, 其中频率特性具有突出的特点.根据频率和幅值的特性, 脑电信号主要可分为delta波(0.5 ~ 4Hz)、theta波(5 ~ 8Hz)、alpha波(7 ~ 14Hz)和beta波(14 ~ 30Hz).不同特性的波在不同的状态下信号的表现不同[17].采用滤波器对脑电信号进行处理, 提取出delta波(0.5 ~ 4Hz)、theta波(5 ~ 8Hz)、alpha波(7 ~ 14Hz)和beta波(14 ~ 30Hz) 4种节律波段, 再对4种节律波段重组形成较纯净的脑电信号.
2.3 飞行员疲劳状态识别模型搭建根据深度网络对比浅层网络的优势, 一般情况下, 层数越多, 其学习能力越强, 但是对硬件的需求以及时间的要求则越高.考虑到实用性以及条件的限制, 选择搭建含有3层隐藏层的收缩稀疏编码网络.同时, 过低的输入信号维度会造成识别准确率下降, 因此选择信号的输入维度为19 200.深度模型通常用更高维的映射来描述学习到的特征, 但是过多的神经元对时间以及硬件的成本要求过高, 而过少的神经元则会影响到识别的准确率.在飞行员的疲劳状态识别中, 需保证在高准确率的情况下提高时效性, 因此在选择隐藏层神经元数量时, 要尽可能地保证高的识别正确率. 图 2是在不同隐藏层节点下的识别结果.根据识别的准确率以及实际的条件, 设置隐藏层节点数为3 000-800-200.
|
图 2 不同隐藏层节点下的识别正确率 |
综上, 搭建每层节点数为19 200-3 000-800-200- 39的5层深度收缩稀疏自编码网络.以Matlab为编程工具, 对120×19 200的信号矩阵进行DCSAEN处理.设置CSAE的参数如下: hiddennumber=3, Sparsity Proportion=0.05, L2 Weight Regularization= 0.001, Sparsity Regularization=4, lambda=0.05, contraction level=0.3, gradspeed=0.01.得到120×39的训练结果, 以此作为优化特征进行Softmax分类的输入, 并采用5折交叉验证方法来评估Softmax分类器的分类结果.
将数据集进行如下划分:
1) 40个非疲劳信号矩阵, 按4: 1进行划分, 32个数据集作为训练样本, 8个数据集作为测试样本;
2) 40个微疲劳信号矩阵, 按4: 1进行划分, 32个数据集作为训练样本, 8个数据集作为测试样本;
3) 40个极度疲劳信号矩阵, 按4: 1进行划分, 32个数据集作为训练样本, 8个数据集作为测试样本.
2.4 飞行员疲劳状态识别根据DCSAEN-Softmax模型的原理, 研究实现了飞行员疲劳状态识别, 具体技术路线如图 3所示.首先, 对飞行员脑电信号进行降噪滤波预处理, 获取脑电动态节律; 然后, DCSAEN对飞行员脑电动态节律重组后的信号进行特征学习, 得出飞行员疲劳状态的抽象特征; 最后, 将抽象特征作为顶层分类器Softmax输入, 对飞行员疲劳状态进行识别.
|
图 3 基于脑电信号的飞行员疲劳状态识别流程 |
采用5折交叉验证, 得到基于DCSAEN-Softmax模型的飞行员疲劳状态识别结果如图 4所示.其中: *表示的是标注的标签, △表示的是实际识别的结果; 纵坐标1表示非疲劳状态, 纵坐标2表示微疲劳状态, 纵坐标3表示极度疲劳状态.
|
图 4 不同维度下DCSAEN-Softmax, DAEN-Softmax和PCA-Softmax模型的分类结果 |
同时, 为了说明所提出方法的有效性和可比性, 选择与DCSAEN具有相同结构的5层深度自编码网络(DAEN)和传统PCA方法进行对比, 提取飞行员疲劳状态的特征, 并设置不同的特征提取维度, 利用Softmax进行分类识别, 得到的识别结果如下.
1) 39维特征模式:采用DCSAEN模型提取信号的39维特征, 利用Softmax模型进行分类, 得到的平均识别准确率为91.67 %, 如图 4(a)所示; DAEN模型的平均识别准确率为83.33 %, 如图 4(b)所示; PCA方法的平均识别准确率为20.83 %, 如图 4(c)所示.
2) 20维特征模式:采用DCSAEN模型提取信号的20维特征, 利用Softmax模型进行分类, 得到的平均识别准确率为87.50 %, 如图 4(d)所示; DAEN模型的平均识别准确率为79.17 %, 如图 4(e)所示; PCA方法的平均识别准确率为8.33 %, 如图 4(f)所示.
3) 10维特征模式:采用DCSAEN模型提取信号的10维特征, 利用Softmax模型进行分类, 得到的平均识别准确率为79.17 %, 如图 4(g)所示; DAEN模型的平均识别准确率为70.83 %, 如图 4(h)所示; PCA方法的平均识别准确率为20.83 %, 如图 4(i)所示.
4) 3维特征模式:采用DCSAEN模型提取信号的3维特征, 利用Softmax模型进行分类, 得到的平均识别准确率为75.00 %, 如图 4(j)所示; DAEN模型的平均识别准确率为58.33 %, 如图 4(k)所示; PCA的平均识别准确率为37.50 %, 如图 4(l)所示.
由图 4的识别结果可知: DAEN-Softmax模型在较高维度下的识别效果较好, 但总体的识别效果都低于DCSAEN-Softmax模型; 对比于PCA-Softmax模型, 深度模型明显取得了较好的识别效果, 通过PCA提取的脑电信号特征, 不能很好地表征脑电信息; 相比于目前常用的DAEN-Softmax模型和传统的PCA-Softmax模型, DCSAEN-Softmax模型在不同维度下都能更好地识别飞行员的3种疲劳状态(非疲劳、微疲劳和极度疲劳).
此外, 为了验证所提方法的可验证性, 给出多次使用模型的情况, 用所提模型训练的特征及飞行员疲劳状态识别精度进行模型验证.首先, 设置DCSAEN-Softmax模型中各个CSAE的参数, 进而多次使用所提模型获取3维特征, 并采用Softmax模型得出分类结果; 其次, 多次使用DCSAEN-Softmax模型去除雅克比行列式影响后的情形, 再获取3维特征, 并采用Softmax模型得出分类结果; 最后, 对比DCSAEN-Softmax模型和其去除雅克比行列式影响后的情形, 结果如图 5和图 6所示.其中: Δ表示极度疲劳, ○表示微疲劳, *表示非疲劳.
|
图 5 使用DCSAEN-Softmax模型的特征提取 |
|
图 6 去除DCSAEN-Softmax模型中的雅克比列式影响的特征提取 |
最终的实验结果如下:第1次使用DCSAEN-Softmax模型获取3维特征, 分类结果准确率为75 %, 第1次去除DCSAEN-Softmax模型中雅克比行列式的影响获取3维特征, 分类结果准确率为50 %; 第2次使用DCSAEN-Softmax模型获取3维特征, 分类结果准确率为66.67 %, 第2次去除DCSAEN-Softmax模型中雅克比行列式的影响获取3维特征, 分类结果准确率为33.33 %; 第3次使用DCSAEN-Softmax模型获取3维特征, 分类结果准确率为75 %, 第3次去除DCSAEN-Softmax模型中雅克比行列式的影响获取3维特征, 分类结果准确率为66.67 %.实验结果表明, DCSAEN-Softmax模型识别结果比较稳定, 多次学习的特征结果变化不大, 同时识别准确率也较高.
通过深度收缩稀疏自编码网络对脑电信号进行降维, 提高了飞行员疲劳状态识别的效率, 但是深度学习对训练时间的要求较高, 表 2给出了相同结构的DCSAEN-Softmax和DAEN-Softmax模型以及直接采用PCA-Softmax模型在实验中的耗时.实验环境为Matlab R2016a, i7-6700处理器, 16 G内存, win10 64位系统.
|
|
表 2 不同模型的训练时间比较 |
由表 2可知, PCA-Softmax模型的训练时间仅为2分钟多, 而深度网络由于输入的数据维数较多, 隐藏层中含有神经元数量较多, 训练时间则需要8个多小时.相比于基础的DAEN-Softmax模型, 所提出的DCSAEN-Softmax模型在训练时间和计算效率上没有太大差异, 但是识别的准确率却有了明显的提高.
3 结论飞行员疲劳状态识别的研究一直以来都具有重要的意义, 而脑电信号对于判断人的疲劳状态具有极高的参考价值, 因此学者们始终在尝试用不同的方法分析脑电信号以提高识别效果.本文提出了基于深度收缩稀疏自编码网络-Softmax模型, 将该模型与深度自编码网络-Softmax模型和传统方法PCA-Softmax模型相比较, 比较结果表明, 基于深度收缩自编码网络-Softmax模型能够很好地识别飞行员的疲劳状态, 其识别准确率可达91.67 %, 明显高于另外两种模型.同时, 实验结果也说明了该模型多次所学的特征具有很小的变化范围, 保证了模型的稳定性和重复验证性, 基于DCSAEN-Softmax模型的飞行员疲劳状态识别具有良好的实验结果.
| [1] |
Caldwell J A, Mallis M M, Caldwell J L, et al. Fatigue countermeasures in aviation[J]. Aviation Space & Environmental Medicine, 2009, 80(1): 29-59. |
| [2] |
Avers K, Johnson W B. A review of federal aviation administration research:Transitioning scientific results to the aviation industry[J]. Aviation Psychology and Applied Human Factors, 2011, 1(2): 87-98. DOI:10.1027/2192-0923/a000016 |
| [3] |
田利军, 陈甜甜, 王景博. 内部控制、安全文化与航空安全[J]. 中国安全科学学报, 2016, 26(8): 1-6. (Tian L J, Chen T T, Wang J B. Internal control, safety culture and aviation safety[J]. China Safety Science J, 2016, 26(8): 1-6.) |
| [4] |
Bongers P M, Hulshof C T, Dijkstra L, et al. Back pain and exposure to whole body vibration in helicopter pilots[J]. Ergonomics, 1990, 33(8): 1007-1026. DOI:10.1080/00140139008925309 |
| [5] |
Reis C, Mestre C, Canhão H. Prevalence of fatigue in a group of airline pilots[J]. Aviation Space & Environmental Medicine, 2013, 84(8): 828-833. |
| [6] |
刘俊杰, 张丽娟. 飞行疲劳事件语义网络分析[J]. 中国安全科学学报, 2016, 26(1): 34-39. (Liu J J, Zhang L J. Semantic network analysis of flight fatigue events[J]. China Safety Science J, 2016, 26(1): 34-39.) |
| [7] |
Borghini G, Astolfi L, Vecchiato G, et al. Measuring neurophysiological signals in aircraft pilots and car drivers for the assessment of mental workload, fatigue and drowsiness[J]. Neuroscience & Biobehavioral Reviews, 2014, 44: 58-75. |
| [8] |
Ghaemi A, Rashedi E, Pourrahimi A M, et al. Automatic channel selection in EEG signals for classification of left or right hand movement in brain computer interfaces using improved binary gravitation search algorithm[J]. Biomedical Signal Processing and Control, 2017, 33: 109-118. DOI:10.1016/j.bspc.2016.11.018 |
| [9] |
Xu H, Plataniotis K N. Affective states classification using EEG and semi-supervised deep learning approaches[C]. Int Workshop on Multimedia Signal Processing. Montreal: IEEE, 2017: 1-6. https://ieeexplore.ieee.org/document/7813351
|
| [10] |
Iscan Z, Dokur Z, Tamer D. Classification of electroencephalogram signals with combined time and frequency features[J]. Expert Systems with Applications, 2011, 38(8): 10499-10505. DOI:10.1016/j.eswa.2011.02.110 |
| [11] |
Slanzi G, Balazs J A, Velásquez J D. Combining eye tracking, pupil dilation and EEG analysis for predicting web users click intention[J]. Information Fusion, 2017, 35: 51-57. DOI:10.1016/j.inffus.2016.09.003 |
| [12] |
Schmidhuber J. Deep learning in neural networks:An overview[J]. Neural Networks, 2014, 61: 85-117. |
| [13] |
Yan B, Wang Y, Li Y H, et al. An EEG signal classification method based on sparse auto-encoders and support vector machine[C]. Int Conf on Communication in China. Chengdu: IEEE, 2016: 1-6. https://ieeexplore.ieee.org/document/7636897
|
| [14] |
Patriche C V, Pirnau R, Grozavu A, et al. A comparative analysis of binary logistic regression and analytical hierarchy process for landslide susceptibility assessment in the Dobrov, River basin, Romania[J]. Pedosphere, 2016, 26(3): 335-350. DOI:10.1016/S1002-0160(15)60047-9 |
| [15] |
张驰.基于脑/肌/眼电的疲劳驾驶检测技术的研究[D].沈阳: 东北大学, 机械工程与自动化学院, 2012: 15-25. (Zhang C. Research of driver fatigue detection technology based on EEGj EMG and EOG[D]. Shenyang: School of Mechanical Engineering and Automation, Northeastern University, 2012: 15-25.) http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=J0124156 |
| [16] |
Li P, Jiang W, Su F. Single-channel EEG-based mental fatigue detection based on deep belief network[C]. Int Conf of the IEEE Engineering in Medicine and Biology Society. Orlaudo: IEEE, 2016: 367-370. https://ieeexplore.ieee.org/document/7590716
|
| [17] |
Ji Q, Zhu Z, Lan P. Real-time nonintrusive monitoring and prediction of driver fatigue[J]. IEEE Trans on Vehicular Technology, 2004, 53(4): 1052-1068. DOI:10.1109/TVT.2004.830974 |