当前位置:主页 > 技术文章 > 基于心电信号的飞行员疲劳状态识别
基于心电信号的飞行员疲劳状态识别
更新时间:2024-07-19 点击次数:527

 

研究背景

 

疲劳是影响飞行安全的一个重要因素,可能导致飞行员操作能力下降、错误判断和飞行错觉,甚至会引发严重飞行事故。当飞行员疲劳时,其自主神经系统会发生相应的变化,心率与自主神经系统活动存在一定的相关性,心电信号可以在一定程度上反映人的疲劳状态。

研究目的

为了满足飞行员自然驾驶和安全飞行的需求,本研究选择了采样率高、数据可靠、操作方便、非侵入性强的ECG心电传感器,并结合主观自我评估来识别飞行员的疲劳状态,从而保证了飞行员疲劳数据的实时性和准确性。

研究方法

 

 

 

研究框架

 

通过飞行模拟实验收集飞行员心电(ECG)和Samn–Perell7级疲劳量表数据识别飞行员的疲劳状态。对采集的ECG数据进行预处理后,通过弗里德曼检验和主成分分析(PCA)选择并提取ECG数据的时域、频域和非线性特征指标。基于特征选择和提取的结果,利用学习向量化算法神经网络(LVQ)建立了飞行员的疲劳状态识别模型,并确定飞行员的非疲劳、轻度疲劳和疲劳状态。最后将鉴定结果与反向传播神经网络(BPNN)、支持向量机(SVM)等传统方法进行了比较。

研究框架

 

 

 

实验设备和流程

 

招募30名获得飞行资格证的飞行员。飞行员在 Cessna 172模拟飞行器执行飞行任务,佩戴津发科技BIO无线可穿戴ECG传感器采集ECG信号,并通过ErgoLAB人机环境同步云平台记录和处理ECG信号,Cessna 172模拟飞行器和无线可穿戴ECG传感器的佩戴如下图。每个飞行员每天在上午、下午、晚上分别执行一次模拟飞行,共持续30天。

飞行模拟实验设备(a)Cessna172飞行模拟器;(b)Cessna172飞行模拟器的控制面板;(c)无线可穿戴心电数据采集装置

飞行任务包括滑行,起飞,爬升,转向,下降,着陆等。

飞行任务流程示意图

飞行员和主试在每次飞行前后根据飞行员的疲劳状态在Samn–Perelli7级疲劳量表中选择最靠近的疲劳水平,结果取其平均值,并将疲劳量表得分不大于3定义为非疲劳状态,大于3但不大于5定义为轻度疲劳状态,大于5定义为疲劳状态。

实验流程图

研究结果

 

 

 

疲劳量表分析

 

飞行员的疲劳水平在9:00-11:00、14:00-16:00和19:00-21:00的三个时间段内有显著差异,这三个时间段对应的飞行员疲劳状态可分为非疲劳、轻度疲劳和疲劳。使用非疲劳、轻度疲劳和疲劳状态作为模型训练的标签。

Samn–Perell7级疲劳量表数据统计

 

 

 

疲劳状态特征选择

 

选择22人数据(1152样本)为训练集,剩下8人数据(288样本)为测试集,通过弗里德曼检验得出差异显著的ECG 的4个时域指标( AVNN、AVHR、RMSSD、PNN50)、3个频域指标(LFnorm、HFnorm、LF/HF)和3个非线性指标(SD1、A++、B++)。以时域指标为例弗里德曼检验的箱图如下。

特征选择后时域指标的箱图 (a)AVNN的箱图;(b)AVHR的箱图;(c)RMSSD的箱图;(d)PNN50的箱图

 

 

 

疲劳状态特征提取

 

采用主成分分析,进一步消除了特征提取之间的相互作用,主成分分析结果见下图,选择PC1、PC2、PC3、PC4和PC5作为模型训练的新特征指标。

主成分分析结果

主成分分析的因子加载矩阵

 

 

 

疲劳状态识别

 

选择均方误差(MSE)作为损失函数。MSE值越小,模型输出分布和样本标签分布越接近。基于LVQ模型的飞行员疲劳状态识别的准确率和MSE如下图所示。当神经元个数为13时,准确率最高,MSE相对较小。

LVQ模型中对不同数量神经元的识别准确率和MSE

 

 

 

识别结果分析

 

测试集中飞行员疲劳识别结果如图10,其中“0”、“1”、“2”分别代表非疲劳、轻度疲劳和疲劳状态。LVQ模型的平均识别准确率为82.29%。

基于LVQ模型的飞行员疲劳识别结果

 

 

 

模型性能评估

 

对比LVQ模型与BPNN模型和SVM模型的准确率、精确度、召回率、F1指数和ROC曲线,结果表明:LVQ模型在飞行员疲劳状态识别上更为准确、可信、稳定、有效。

 

LVQ模型的混淆矩阵

各分类模型识别准确率

各分类模型性能评估结果

各分类模型的ROI曲线

讨论及建议

本研究利用ErgoLAB人机环境同步云平台在模拟飞行任务中采集和分析飞行员心电信号进行疲劳状态识别的计算机建模,这为将来基于心电信号的飞行员疲劳状态识别研究奠定了基础,为减少飞行员疲劳引起的飞行事故提供了理论依据。同时研究结果也为飞行员疲劳风险管理和智能飞机自动驾驶系统的发展提供实际的参考。

仅用于学术交流,原文版权归原作者和原发刊所有。
参考文献

1.Pan T, Wang H, Si H, Li Y, Shang L. Identification of Pilots' Fatigue Status Based on Electrocardiogram Signals. Sensors (Basel). 2021 Apr 25;21(9):3003. doi: 10.3390/s21093003.

2.Caldwell, J.A.; Mallis, M.M.; Caldwell, J.L.; Paul, M.A.; Miller, J.C.; Neri, D.F. Fatigue counter measures in aviation. Aviat. Space Environ. Med. 2009, 80, 29–59.

3.Avers, K.; Johnson, W.B. A review of federal aviation administration fatigue research: Transitioning scientifific results to the aviation industry. Aviat. Appl. Hum. Factors 2011, 1, 87–98.

 

 

 

 

 

 

 

 

 

 

 

 

人因工程与工效学

人机工程、人的失误与系统安全、人机工效学、工作场所与工效学负荷等

安全人机工程

从安全的角度和着眼点,运用人机工程学的原理和方法去解决人机结合面安全问题

交通安全与驾驶行为

人-车-路-环境系统的整体研究,有助于改善驾驶系统设计、提高驾驶安全性、改善道路环境等

用户体验与交互设计

ErgoLAB可实现桌面端、移动端以及VR虚拟环境中的眼动、生理、行为等数据的采集,探索产品设计、人机交互对用户体验的影响

建筑与环境行为

研究如何通过城市规划与建筑设计来满足人的行为心理需求,以创造良好环境,提高工作效率

消费行为与神经营销

通过ErgoLAB采集和分析消费者的生理、表情、行为等数据,了解消费者的认知加工与决策行为,找到消费者行为动机,从而产生恰当的营销策略使消费者产生留言意向及留言行为

扫一扫,加微信

版权所有 © 2024北京津发科技股份有限公司(www.88jf.com)
备案号:京ICP备14045309号-4 技术支持:智慧城市网 管理登陆 GoogleSitemap