WO2020151075A1 - 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 - Google Patents

一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 Download PDF

Info

Publication number
WO2020151075A1
WO2020151075A1 PCT/CN2019/079258 CN2019079258W WO2020151075A1 WO 2020151075 A1 WO2020151075 A1 WO 2020151075A1 CN 2019079258 W CN2019079258 W CN 2019079258W WO 2020151075 A1 WO2020151075 A1 WO 2020151075A1
Authority
WO
WIPO (PCT)
Prior art keywords
cnn
data
fatigue
lstm
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/079258
Other languages
English (en)
French (fr)
Inventor
王洪涛
刘旭程
吴聪
唐聪
裴子安
岳洪伟
陈鹏
李霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University Fujian
Original Assignee
Wuyi University Fujian
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University Fujian filed Critical Wuyi University Fujian
Priority to US16/629,931 priority Critical patent/US20200367800A1/en
Publication of WO2020151075A1 publication Critical patent/WO2020151075A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/307—Input circuits therefor specially adapted for particular uses
    • A61B5/31—Input circuits therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/319—Circuits for simulating ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analogue processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the invention relates to a method for identifying driving fatigue, in particular to a method for identifying driving fatigue based on a CNN-LSTM deep learning model.
  • Electroencephalogram ECG
  • event-related potential EMP
  • electrooculogram EOG
  • electrocardiogram ECG
  • EMG electromyography
  • ECG Electrocardiograph
  • HR heart rate
  • HRV heart rate variability
  • EMG Electromyography
  • the EOG Electro-oculogram
  • the movement of the eyeball can also provide fatigue signals.
  • the state of the eyes and the blinking frequency can be analyzed through the changes in the waveform of the ocular electrical signal to reflect the awake state of the brain, thereby detecting the driver's fatigue.
  • Event-related Potential is a potential evoked by external stimuli, which records the electrophysiological response of the brain when it processes information to external stimuli.
  • P300 is the most researched ERP signal. Experiments show that the driver's reaction speed to external stimuli decreases when the driver is in a fatigue state.
  • Electroencephalograph Electroencephalograph signal is the most predictive and reliable indicator. It has a very close relationship with people's mental activity. The physiological activities produced by driving fatigue are all reflected in EEG. Different brain states will have different laws of EEG signal change. These characteristics that can represent each state are extracted and classified, such as power spectral density and information entropy, so that the fatigue state of the brain can be effectively distinguished.
  • SVM Support Vector Machine
  • ANN Artificial Neural Networks
  • DT Decision Tree
  • KNN K-nearest Neighbour
  • RF Random Forest
  • EEG EEG
  • EMG EEG
  • the signal of the EOG is only an external reflection of the body, and there is no way to accurately evaluate the fatigue state of the driver.
  • the external environment has a great influence on the driver's eyes, and it is also difficult to simulate the complexity of the real environment in the simulation experiment.
  • the heart rate index in the ECG signal will also be greatly affected by physical exertion. In practical applications, there is no stimulus that can induce stable ERP. If the stimulus is introduced, it may have a certain impact on the main task.
  • EEG most reflects the optimal physiological signal of fatigue state, it still has certain defects in the method of analysis and classification.
  • SVM processes complex data, it consumes a lot of memory and computing time.
  • KNN will also slow down the classification speed due to excessive data load.
  • these classifiers strictly rely on training data instead of general data, and they do not make full use of the timing characteristics of EEG signals.
  • most of the researches rely on manual extraction, which has a lot to do with the researcher's own level and cannot accurately represent EEG information.
  • the purpose of the present invention is to provide a driving fatigue recognition method based on the CNN-LSTM deep learning model, which is suitable for processing big data, directly acting on the original data, automatically learning features layer by layer, and can also express The internal connection and structure of data to improve the driver's ability to detect driving fatigue.
  • a driving fatigue recognition method based on CNN-LSTM deep learning model including the following steps:
  • the feature extraction data is reshaped and sent to the LSTM network for classification.
  • the rule for dividing fatigue data and non-fatigue data by the EEG signal is: when the reaction time is less than ⁇ 1 , the data before the time point is marked as awake data, and when the reaction time is between ⁇ 1 and ⁇ 2 , , The data between the two thresholds are marked as intermediate state data, when the reaction time is higher than ⁇ 2 , the data after the time point is marked as fatigue data.
  • the thresholds ⁇ 1 and ⁇ 2 are derived from training experiments, where the calculation method of ⁇ 1 is that during the training experiment, from the beginning of the experiment to the first time the subject is fatigued or the vehicle driving path deviates from normal The average of the reaction time during the time period of the running track; the calculation method of ⁇ 2 is the average of the reaction time during the training experiment process, the subject's external manifestation is fatigued or the vehicle driving path deviates from the normal running track value.
  • the network parameters of the CNN-LSTM model are respectively, CNN network: the number of convolutional layers is 3 layers, the parameter is set to 5*5, the maximum pooling layer is 3 layers, and the parameter is set to 2*2/ 2; LSTM network: the number of hidden layer neurons is 128, the number of network layers is 128, the learning rate is 0.001, the training batch size is 50, and the training period is 50.
  • the entire model network has a total of 134 layers.
  • the number of columns is adjusted to meet the requirements of convolution and pooling.
  • the process of the CNN network for feature extraction of EEG signal data includes the following steps: a1) EEG signal data is subjected to feature extraction through a convolutional layer to obtain a convolution feature output map; a2) A maximum pooling method is used to The convolution feature map is pooled to obtain the pooled feature map; a3) repeat steps a1) and a2) twice.
  • step a2) when the step a2) is pooling, the maximum pooling output corresponding to the convolution kernel of the same length will be used to connect to form a continuous feature sequence window; the maximum pooling output corresponding to different convolution kernels will be performed again Connect to obtain multiple feature sequence windows that maintain the original relative order.
  • the first layer f t is the forget gate layer, which determines what information is discarded from the cell state
  • h t-1 represents the output of the previous unit
  • x t represents the input of the current unit
  • f t represents the output of the forgetting layer
  • ⁇ represents the sigmoid activation function
  • W f and b f respectively represent the weighting term and the bias term
  • the second layer i t is the input gate layer, which is the sigmoid function, which determines the information that needs to be updated;
  • i t is used to confirm the update state and added to the unit to update, before output h t-1 represents a unit, x t represents the current time input unit, [delta] represents a sigmoid activation function, W i, b i respectively, Represents weighted items and bias items;
  • h t-1 represents the output of the previous unit
  • x t represents the input of the unit at the current moment
  • ⁇ represents the sigmoid excitation function
  • W c and b c represent the weighting terms and Bias term
  • the second and third layers work together to update the cell state of the neural network module
  • the fourth layer o t is other related information update layer, used to update cell state changes caused by other factors;
  • h t-1 represents the output of the previous unit
  • x t represents the input of the unit at the current moment
  • ⁇ represents the sigmoid excitation function
  • W o and b o represent the weighting term and the bias term, respectively
  • o t is used as an intermediate term and C t outputted item obtained h t;
  • f t represents the output layer is forgotten, i t and It was used to confirm the update state and added to the cell to update, after the cell is a C t-1 before update units, C t is the update, o t term and is used as an intermediate to give output term C t h t.
  • the present invention constructs a CNN-LSTM model through a deep learning method.
  • the CNN network has a strong advantage in processing large and complex data, and it directly acts on the original data when extracting features.
  • Automatic feature learning layer by layer compared with the traditional manual extraction of features, it can get a better characterization of general data features, without being overly dependent on training data.
  • the EEG signal is a typical time series signal, classification with LSTM network can better play its timing characteristics.
  • the experimental results show a high accuracy rate, which is 96.3 ⁇ 3.1% (total mean ⁇ total standard deviation).
  • Figure 1 is an electrode placement diagram of the improved international 10-20 system of the present invention.
  • Figure 2 is a diagram of the CNN network structure of the present invention.
  • Figure 3 is a diagram of the LSTM network structure of the present invention.
  • the driving fatigue identification method based on the CNN-LSTM deep learning model of the present invention includes the following steps:
  • Collect the EEG signals of the subject during simulated driving within the duration T First, collect the EEG signals of the subject during simulated driving through the EEG acquisition device.
  • the time length used in this example is 90 minutes, and a total of 31 data are collected.
  • the electrodes used for EEG acquisition adopt the improved international 10-20 standard to place electrodes, with a total of 24 leads.
  • the electrode placement method is shown in Figure 1.
  • the reaction time When the reaction time is less than ⁇ 1 , the time before the time point is marked as awake data. When the reaction time is between ⁇ 1 and ⁇ 2 , the data between the two thresholds are marked as intermediate. When the reaction time is high At ⁇ 2 , the data after the time point is marked as fatigue data.
  • the threshold is derived from the training experiment. Due to the individual differences of the subjects, the time interval threshold setting is not uniform. Therefore, it is necessary to obtain the time interval threshold for individual subjects through training experiments before testing experiments.
  • the calculation method of ⁇ 1 is in the process of training experiment, from the beginning of the experiment to the first time the subject is fatigued (such as yawning) or the vehicle driving path deviates from the normal running track, the reaction time is The average value; the calculation method of ⁇ 2 is the average value of the reaction time during the time period when the subject is fatigued (such as yawning) or the vehicle path deviates from the normal running track during the training experiment.
  • the sampling frequency of the collected data is 250 Hz.
  • EEG signals are susceptible to interference from other signals during extraction, such as ocular electricity, ECG, EMG, and power frequency noise. Therefore, it is necessary to design a reasonable algorithm that can remove interference to improve the signal-to-noise ratio of the signal. Therefore, this technical solution next preprocesses the collected signal.
  • the two segments of driving fatigue EEG signal data for ten minutes are marked as awake state and fatigue state with a time window of 1 second and a step length of 0.5 seconds. 70% of the experimental data is used for training, and the rest 30% is used for classification testing.
  • the next step is to establish a CNN-LSTM model, which is composed of two main parts: the regional convolutional neural network layer regional CNN and the long and short memory neural network layer LSTM.
  • the deep learning network has a strong learning ability, it also needs to set some hyperparameters based on model requirements and manual experience to make the algorithm search faster and have higher classification accuracy.
  • Convolution The convolutional layer is used for feature extraction. The larger the size and number of convolution kernels, the more features will be extracted. At the same time, the amount of calculation will increase significantly.
  • the step size is usually set to 1.
  • Max-Pooling The maximum pooling layer is used to reduce the feature map, which may affect the accuracy of the network.
  • the learning rate will affect the update speed of the weights of each neuron connection. If the learning rate is large, the weights will update quickly. At the later stage of training, the loss function may oscillate near the optimal value. If the learning rate is small, the weight update will be slow, too small. The weight of may cause the optimization loss function to decrease too slowly.
  • the batch training sample size and network weight update are based on the feedback of the results of the small batch training data set.
  • the batch training sample is too small, it is easy to cause network instability or underfitting.
  • the batch training sample is too large, it will cause a significant increase in the amount of calculation.
  • Train_Times Training times, as the training times continue to increase, the accuracy of the network is higher, but when the number of training times reaches a certain value, the accuracy of the LSTM network will no longer improve or improve very little, but the amount of calculations will continue to increase. Therefore, in specific operations, the appropriate number of training times should be selected according to the needs of the research problem.
  • the preprocessed data may not be able to perform feature extraction and classification through the constructed model due to dimensional or other problems, which requires further processing of the data.
  • the pre-processed data is then input into the CNN-LSTM model, but since the pre-processed EEG signal data 24*250 cannot be convolved and pooled three times, the last two columns are removed to obtain 24*248 , And then input the data into the CNN network for feature extraction.
  • the CNN network structure diagram is shown in Figure 2. The specific process is as follows:
  • the maximum pooling layer "discards" non-maximum values by taking the maximum value operation, reducing the calculation amount of the next layer, and extracting Dependent information within each area.
  • the convolution feature map is pooled to obtain the pooled feature map.
  • the maximum pooling output corresponding to the convolution kernel of the same length will be used to connect to form a continuous sequence to form a window.
  • the output obtained by the convolution kernel performs the same operation to obtain multiple windows maintaining the original relative order;
  • the sequence vector in the feature sequence window layer is used as the input of the next layer of LSTM network.
  • the data output by the CNN network after feature extraction is input to the LSTM network for classification. Since the LSTM network processes time series data, it is necessary to reshape 3*31*128 to 93*128, that is, input a vector of length 93 each time , A total of 128 times, and finally get the judgment result of the tag data.
  • the LSTM network structure is shown in Figure 3.
  • the first layer f t is the forget gate layer, which determines what information is discarded from the cell state.
  • h t-1 represents the output of the previous unit
  • x t represents the input of the current unit
  • f t represents the output of the forgetting layer
  • ⁇ represents the sigmoid excitation function
  • W f and b f represent the weighting term and the bias term, respectively.
  • the second layer i t is the input gate layer, generally a sigmoid function, which determines the information that needs to be updated.
  • i t is used to confirm the update state and added to the unit to update, before output h t-1 represents a unit, x t represents the current time input unit, [delta] represents a sigmoid activation function, W i, b i respectively, Represents the weighting term and bias term.
  • the third floor For the tanh layer, update the cell state by creating a new candidate value vector.
  • h t-1 represents the output of the previous unit
  • x t represents the input of the unit at the current moment
  • ⁇ represents the sigmoid excitation function
  • W c and b c represent the weighting terms and Bias item.
  • the second and third layers work together to update the cell state of the neural network module.
  • the fourth layer o t is the other relevant information update layer, used to update cell state changes caused by other factors.
  • h t-1 represents the output of the previous unit
  • x t represents the input of the unit at the current moment
  • ⁇ represents the sigmoid excitation function
  • W o and b o represent the weighting term and the bias term, respectively
  • o t is used as an intermediate term And C t to get the output term h t .
  • f t represents the output layer is forgotten, i t and It was used to confirm the update state and added to the cell to update, after the cell is a C t-1 before update units, C t is the update, o t term and is used as an intermediate to give output term C t h t.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Power Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

一种基于CNN‑LSTM深度学习模型的驾驶疲劳识别方法，包括以下步骤：采集受试者模拟驾驶时的脑电信号；在模拟驾驶时随机发布操作命令，根据受试者完成操作指令的反应时间将脑电信号划分为疲劳数据和非疲劳数据；对脑电信号进行带通滤波以及去均值预处理，提取需要检测的疲劳与非疲劳各N分钟的脑电信号数据；对脑电信号数据进行独立分量分析以去除干扰信号；建立CNN‑LSTM模型，并设置CNN‑LSTM模型的网络参数；将去除干扰信号后的脑电信号数据送入CNN网络进行特征提取；将特征提取的数据重塑，并送入LSTM网络进行分类。实验结果表明有较高的准确率，准确率为96.3±3.1％(总均值±总标准差)。

Description

一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法 技术领域
本发明涉及驾驶疲劳识别方法，特别是一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法。
背景技术
当今社会，随着科学技术和交通运输技术的发展，我国在交通领域取得了巨大的进展。可是，在享受交通带来便利的同时，交通事故也日益增多，而且造成事故的主要原因是驾驶疲劳。因此建立起一个可以有效实时监测驾驶员疲劳状态的机制，是现在智能交通发展的重要内容。
生理信号作为目前判断疲劳驾驶最广泛的方法，可以通过机体所表现的生理差异来有效的区别驾驶员的疲劳状态。脑电图(EEG)、事件相关电位(ERP)、眼电信号(EOG)、心电信号(ECG)和肌电信号(EMG)都是目前常用的基于生理信号的测量指标。
一般研究心电信号ECG(Electrocardiograph)，主要是研究心率(Heart Rate，HR)和心率变异性(Heart Rate Variability，HRV)，心率和心率变异性与自主神经系统有着密切的关系。研究表明，驾驶员在疲劳时，心率会减慢，心率变异性会发生改变。
肌电信号EMG(Electromyography)可以通过贴于肌肉表面的电极来记录，它可以反映不同状态下神经和肌肉的功能状态。研究发现，当驾驶员疲劳时，肌电信号的频率和幅值都会有所改变。
当人在睁眼、闭眼时，眼电信号EOG(Electro-oculogram)的波形会发生比较明显的变化，而且眼球的运动也可以提供疲劳信号。这样就可以通过眼电信号的波形变化，分析出眼睛的状态和眨眼频率，以此反映大脑的清醒状态，从而检测驾驶员的疲劳程度。
事件相关电位(Event-related Potential，ERP)是被外界刺激所诱发的电位，记录了大脑对外界刺激进行信息加工时的电生理反映。ERP信号中研究较多的是P300，实验表明，驾驶员在疲劳状态下，对外界刺激的反应速度下降。
脑电图(Electroencephalograph)信号是最具有预测性和可靠性的指标，它与人的精神活动有非常紧密的联系，驾驶疲劳所产生的生理活动都反应在EEG中。不同的大脑状态会出现不同的脑电信号变化规律，将这些可以代表各个状态的特征提取出来加以分类，如功率谱密度和信息熵等，这样就可以有效的区分大脑的疲劳状态。
现阶段的分类方法大部分采用机器学习的方法，例如：支持向量机(Support Vector Machine，SVM)，人工神经网络(Artificial Neural Networks，ANN)、决策树(Decision Tree，DT)、K近邻(k-Nearest Neighbour，KNN)和随机森林(Random Forest，RF)等。将经过预处理、特征提取的脑电信号送入识别模型完成训练，这样就可以将训练好的模型去分类等待测试的数据。
虽然许多的生理指标都已被证明可以有效的反映驾驶员的疲劳状态，但其中只有脑电信号有很强的精准性，它和大脑的精神状态密切相关，而其它类似心电、肌电、眼电的信号只是机体的外在反映，没有办法精准的评测驾驶员的疲劳状态。外在的环境状态对驾驶员眼睛的影响较大，在模拟实验中模拟现实环境的复杂性也有一定的难度。而心电信号中的心率指标，也会因为体力的消耗受到较大的影响。在实际的应用中，也没有可以诱发稳定ERP的刺激，如果引入刺激可能会对 主任务产生一定的影响。EEG虽然最为反映疲劳状态最优的生理信号，但是在分析分类的方法上还有一定的缺陷。SVM在处理复杂的数据时，会消耗大量的内存和运算时间，相同的，KNN也会因为数据过于负载而拖累分类速度。而且这些分类器严格的依赖训练数据而不是一般数据，并且也没有充分利用脑电信号的时序特征。在特征提取这一方面，大部分的研究是靠人工提取，这就与研究者自身的水平有很大的关系，不能准确地表征脑电信息。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，可适合处理大数据，直接作用于原始数据，自动逐层进行特征学习，并且还可以表达数据内在联系和结构，以提高驾驶员驾驶疲劳的检测能力。
本发明采用的技术方案是：
一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，包括以下步骤：
在时长T内采集受试者模拟驾驶时的脑电信号；
在模拟驾驶时随机发布操作命令，根据受试者完成操作指令的反应时间将所述脑电信号划分为疲劳数据和非疲劳数据；
对所述脑电信号进行带通滤波以及去均值预处理，提取需要检测的疲劳与非疲劳各N分钟的脑电信号数据；
对所述脑电信号数据进行独立分量分析以去除干扰信号；
建立主要由CNN网络和LSTM网络组成的CNN-LSTM模型，并设置CNN-LSTM模型的网络参数；
将所述去除干扰信号后的脑电信号数据送入CNN网络进行特征提取；
将特征提取的数据重塑，并送入LSTM网络进行分类。
进一步，所述脑电信号划分疲劳数据和非疲劳数据的规则为：当反应时间低于θ 1时，所在时间点之前的数据标记为清醒数据，当反应时间位于θ 1和θ 2之间时，两个阈值所在时间点间的数据标记为中间状态数据，当反应时间高于θ 2时，所在的时间点之后的数据标记为疲劳数据。
进一步，所述阈值θ 1和θ 2来源于训练实验，其中θ 1的计算方法为在训练实验的过程中，从开始进行实验到第一次受试者表现为疲劳状态或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值；其θ 2计算方法是训练实验过程中，受试者外在表现为疲劳状态或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值。
其中，所述CNN-LSTM模型的网络参数分别为，CNN网络：卷积层层数为3层，参数设置为5*5，最大池化层层数为3层，参数设置为2*2/2；LSTM网络：隐藏层神经元个数128，网络层数128，学习率0.001，训练批次大小50，训练周期50。整个模型网络一共134层。
特别的，所述脑电信号数据送入CNN网络进行特征提取之前进行列数调整以使其满足卷积和池化要求。
进一步，所述CNN网络对脑电信号数据进行特征提取的过程包括以下步骤：a1)脑电信号数据经过卷积层进行特征提取，得到卷积特征输出图；a2)采用最大池化方法，对卷积特征图进行池化处理，得池化特征图；a3)再重复两次步骤a1)、a2)。
更进一步，所述步骤a2)进行池化时，将使用相同长度卷积核对应的最大池化输出，进行连接形成一个连续的特征序列窗口；不同卷积核对应的最大池化输出，再进行连接得到多个维持原有相对顺序的特征序列窗口。
进一步，所述LSTM网络的分类过程如下：
第一层f t为遗忘门层，它决定从细胞状态中丢弃什么信息；
f t＝δ(W f[h t-1，x t]+b f)
式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，f t代表遗忘层的输出，δ表示sigmoid激励函数，W f、b f分别表示加权项与偏置项；
第二层i t为输入门层，为sigmoid函数，决定需要更新的信息；
i t＝δ(W i[h t-1，x t]+b i)
式中i t被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W i、b i分别表示加权项与偏置项；
第三层
Figure PCTCN2019079258-appb-000001
为tanh层，通过创建一个新的候选值向量更新细胞状态；
Figure PCTCN2019079258-appb-000002
式中
Figure PCTCN2019079258-appb-000003
被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W c、b c分别表示加权项与偏置项；
第二层和第三层共同作用，更新神经网络模块的细胞状态；
第四层o t为其他相关信息更新层，用于更新由其他因素导致的细胞状态变化；
o t＝δ(W o[h t-1，x t]+b o)
式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W o、b o分别表示加权项与偏置项，o t作为中间项被用来与C t得到输出项h t；
Figure PCTCN2019079258-appb-000004
h t＝o t*tanh(C t)
式中f t代表遗忘层的输出，i t与
Figure PCTCN2019079258-appb-000005
被用来确认更新状态并加入到更新单元中去，C t-1为更新前的单元，C t即为更新后的单元，o t作为中间项被用来与C t得到输出项h t。
本发明的有益效果：本发明通过深度学习的方法构造了一种CNN-LSTM模型， CNN网络在处理大的复杂的数据方面有很强的优势，而且在进行特征提取时，直接作用于原始数据，自动逐层进行特征学习，比起传统的人工提取特征，可以得到更好地表征一般数据的特征，而不会过分依赖于训练数据。并且脑电信号是典型的时间序列信号，用LSTM网络进行分类可以更好地发挥它的时序特征。实验结果表明有较高的准确率，准确率为96.3±3.1％(总均值±总标准差)。
附图说明
下面结合附图对本发明的具体实施方式做进一步的说明。
图1是本发明改进国际10-20系统电极放置图；
图2是本发明CNN网络结构图；
图3是本发明LSTM网络结构图。
具体实施方式
本发明的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，包括以下步骤：
在时长T内采集受试者模拟驾驶时的脑电信号：首先通过脑电采集设备采集受试者模拟驾驶时的脑电信号，本实施例所采用的时间长度为90分钟，一共采集了31位受试者的脑电数据。脑电采集时的电极采用改进的国际10-20标准放置电极，共24个导联。电极放置方式如图1所示。
在模拟驾驶时随机发布操作命令，根据受试者完成操作指令的反应时间将所述脑电信号划分为疲劳数据和非疲劳数据；具体的，在受试者进行模拟驾驶时，由屏幕中引导车随机发出刹车命令，记录受试者在看到命令和做出反应的时间间隔，统计反应时间。
当反应时间低于θ 1时，所在的时间点之前标记为清醒数据，当反应时间位于θ 1和θ 2之间时，两个阈值所在时间点间的数据标记为中间状态，当反应时间高于θ 2时，所在的时间点之后的数据标记为疲劳数据。
阈值来源于训练实验，由于受试者的个体差异，时间间隔阈值设置不统一。因此在测试实验前需要通过训练实验获得面向个体受试者的时间间隔阈值。其中θ 1的计算方法为在训练实验的过程中，从开始进行实验到第一次受试者表现为疲劳状态(如打呵欠)或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值；其θ 2计算方法是训练实验过程中，受试者外在表现为疲劳状态(如打呵欠)或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值。为保证受试者都进入了疲劳状态，统计反应时间的变化，反应时间增长，则保留数据。采集数据的采样频率为250Hz。
为了将采集数据中的干扰信号去除。脑电信号在提取时及其容易受到其他信号的干扰，例如眼电、心电、肌电和工频噪声，所以需要设计合理的可以去除干扰的算法，来提高信号的信噪比。因此，本技术方案接下来对采集到的信号进行预处理。首先对模拟驾驶疲劳实验采集到的脑电信号进行1-30Hz带通滤波以及 去均值预处理，提取出需要检测的疲劳与非疲劳各十分钟的脑电数据，然后将其进行独立分量分析(ICA)以去除眼电信号干扰(也可以是心电、肌电和工频噪声)，ICA过程是在以时间为窗口以及步长均为5秒的脑电信号数据中进行处理。
具体的，ICA原理如下：
若有未知的原信号s，构成一个列向量s＝(s 1，s 2，…，s m) T，假设在某个时刻t，有x＝(x 1，x 2，…，x n) T为n维随机观测列向量，且满足下列方程：
Figure PCTCN2019079258-appb-000006
其中a i表示混合矩阵A的第m个行向量中的第i个。ICA的目的就是求出一个解混矩阵B，使得x通过它后得到y是s的最优逼近。用数学公式可以表示为：
y(t)＝Bx(t)＝BAs(t)
以上预处理后的两段各十分钟驾驶疲劳脑电信号数据以时间窗口为1秒，步长为0.5秒分别标记为清醒状态和疲劳状态，将实验数据中的70％用作训练，剩下的30％用于分类测试。
要想分类结果准确，选取跟能表征数据特点的特征就变得尤为关键，特征选择之后，如何选择分类器也是至关重要的，因为不同的分类器有不同的特点，分类器选择的是否合适将直接影响到分类的结果。
因此，接下来是建立CNN-LSTM模型，该模型由两个主要部分组成，分别是：区域卷积神经网络层regional CNN和长短记忆神经网络层LSTM。深度学习网络虽然学习能力强大，但也要基于模型要求和人工经验，设置一些超参数，使算法的寻优速度更快、分类准确度更高。
网络参数：
(1)Convolution。卷积层，用它进行特征提取，卷积核大小以及个数越多，所提取的特征也越多，同时计算量也会大幅增加，其步长通常设置为1。
(2)Max-Pooling。最大池化层，用于特征图缩小，有可能影响网络的准确度。
(3)Hidden_Size。隐藏层神经元个数，其个数越多，LSTM网络越强大，但计算参数和计算量会因此急剧增加；而且，要注意隐藏层神经元个数不能超过训练样本条数，否则容易出现过拟合。
(4)Learning_Rate。学习率，会影响各神经元连接的权值更新速度，学习率大，权值更新就快，到训练后期损失函数可能在最优值附近振荡，学习率小， 权值更新就慢，过小的权值可能导致优化损失函数下降速度过慢。
(5)Num_Layers。网络的层数，层数越多，LSTM网络越大，学习能力越强大，同时计算量也会大幅增加。
(6)batch_size。批量训练样本大小，网络权重的更新基于对小批量训练数据集结果的反馈，当批量训练样本过小时容易造成网络不稳定或者欠拟合，当批量训练样本过大时会导致计算量显著增长。
(7)Train_Times。训练次数，随着训练次数的不断增加，网络的准确性越高，但当训练次数达到一定值后，LSTM网络的准确性将不再提高或提升很小，而计算量却不断增加。因此在具体操作时，应结合研究问题的需要，选择合适的训练次数。
本发明的参数设置详见下表1。
Figure PCTCN2019079258-appb-000007
表1 CNN-LSTM网络参数
当构造好特征提取和分类的模型之后，预处理后的数据可能因为维度或者其他方面的一些问题，无法通过构造的模型进行特征提取和分类，这就需要对数据进行进一步的加工。
因此，接着将预处理的数据输入CNN-LSTM模型，但是由于预处理后的脑电信号数据24*250不能够进行3次卷积与池化，因此将其去掉最后两列后得到24*248，接着将数据输入CNN网络进行特征提取，CNN网络结构图如图2所示。具体过程如下：
首先经过卷积层进行特征提取，得到卷积特征输出图，然后进入最大池化层，最大池化层通过取最大值操作来“抛弃”非最大值，减少下一层的计算量，同时提取各个区域内部的相依信息。采用最大池化方法，对卷积特征图进行池化处理， 得池化特征图，将使用相同长度卷积核对应的最大池化输出，进行连接形成一个连续的序列，形成一个窗口，对不同卷积核得到的输出进行相同操作，得到多个维持原有相对顺序的窗口；
经过三次卷积和池化后，将特征序列窗口层中的序列向量作为下一层LSTM网络的输入。
将CNN网络输出的特征提取后的数据输入LSTM网络进行分类，由于LSTM网络处理的是时间序列数据，因而需要将3*31*128重塑为93*128，即每次输入长度为93的向量，共计128次，最后得出该标签数据的判断结果。LSTM网络结构如图3所示。
LSTM网络的计算过程如下：
第一层f t为遗忘门层，它决定从细胞状态中丢弃什么信息。
f t＝δ(W f[h t-1，x t]+b f)
式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，f t代表遗忘层的输出，δ表示sigmoid激励函数，W f、b f分别表示加权项与偏置项。
第二层i t为输入门层，一般为sigmoid函数，决定需要更新的信息。
i t＝δ(W i[h t-1，x t]+b i)
式中i t被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W i、b i分别表示加权项与偏置项。
第三层
Figure PCTCN2019079258-appb-000008
为tanh层，通过创建一个新的候选值向量更新细胞状态。
Figure PCTCN2019079258-appb-000009
式中
Figure PCTCN2019079258-appb-000010
被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W c、b c分别表示加权项与偏置项。
第二层和第三层共同作用，更新神经网络模块的细胞状态。
第四层o t为其他相关信息更新层，用于更新由其他因素导致的细胞状态变化。
o t＝δ(W o[h t-1，x t]+b o)
式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W o、b o分别表示加权项与偏置项，o t作为中间项被用来与C t得到输出项h t。
Figure PCTCN2019079258-appb-000011
h t＝o t*tanh(C t)
式中f t代表遗忘层的输出，i t与
Figure PCTCN2019079258-appb-000012
被用来确认更新状态并加入到更新单元中去，C t-1为更新前的单元，C t即为更新后的单元，o t作为中间项被用来与C t得到输出项h t。
应用此模型，进行5次实验并求平均与标准差，实现了96.3±3.1％(总均值±总标准差)的分类精度，详细见表2。
Figure PCTCN2019079258-appb-000013
Figure PCTCN2019079258-appb-000014
表2 各受试者分类精度及总分类精度
以上所述仅为本发明的优先实施方式，本发明并不限定于上述实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。

Claims (8)

  1. 一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于，包括以下步骤：
    在时长T内采集受试者模拟驾驶时的脑电信号；
    在模拟驾驶时随机发布操作命令，根据受试者完成操作指令的反应时间将所述脑电信号划分为疲劳数据和非疲劳数据；
    对所述脑电信号进行带通滤波以及去均值预处理，提取需要检测的疲劳与非疲劳各N分钟的脑电信号数据；
    对所述脑电信号数据进行独立分量分析以去除干扰信号；
    建立主要由CNN网络和LSTM网络组成的CNN-LSTM模型，并设置CNN-LSTM模型的网络参数；
    将所述去除干扰信号后的脑电信号数据送入CNN网络进行特征提取；
    将特征提取的数据重塑，并送入LSTM网络进行分类。
  2. 根据权利要求1所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述脑电信号划分疲劳数据和非疲劳数据的规则为：当反应时间低于θ 1时，所在时间点之前的数据标记为清醒数据，当反应时间位于θ 1和θ 2之间时，两个阈值所在时间点间的数据标记为中间状态数据，当反应时间高于θ 2时，所在的时间点之后的数据标记为疲劳数据。
  3. 根据权利要求2所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述阈值θ 1和θ 2来源于训练实验，其中θ 1的计算方法为在训练实验的过程中，从开始进行实验到第一次受试者表现为疲劳状态或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值；其θ 2计算方法是训练实验过程中，受试者外在表现为疲劳状态或汽车行车路径偏离正常运行轨迹的时间段内，反应时间的平均值。
  4. 根据权利要求1所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述CNN-LSTM模型的网络参数分别为，CNN网络：卷积层层数为3层，参数设置为5*5，最大池化层层数为3层，参数设置为2*2/2；LSTM网络：隐藏层神经元个数128，网络层数128，学习率0.001，训练批次大小50，训练周期50。
  5. 根据权利要求1所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述脑电信号数据送入CNN网络进行特征提取之前进行列数调整以使其满足卷积和池化要求。
  6. 根据权利要求1或4或5所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述CNN网络对脑电信号数据进行特征提取的过程包括以下步骤：a1)脑电信号数据经过卷积层进行特征提取，得到卷积特征输出图；a2)采用最大池化方法，对卷积特征图进行池化处理，得池化特征图；a3)再重复两次步骤a1)、a2)。
  7. 根据权利要求6所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述步骤a2)进行池化时，将使用相同长度卷积核对应的最大池化输出，进行连接形成一个连续的特征序列窗口；不同卷积核对应的最大池化输出，再进行连接得到多个维持原有相对顺序的特征序列窗口。
  8. 根据权利要求1所述的一种基于CNN-LSTM深度学习模型的驾驶疲劳识别方法，其特征在于：所述LSTM网络的分类过程如下：
    第一层f t为遗忘门层，它决定从细胞状态中丢弃什么信息；
    f t＝δ(W f[h t-1，x t]+b f)
    式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，f t代表遗忘层的输出，δ表示sigmoid激励函数，W f、b f分别表示加权项与偏置项；
    第二层i t为输入门层，为sigmoid函数，决定需要更新的信息；
    i t＝δ(W i[h t-1，x t]+b i)
    式中i t被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W i、b i分别表示加权项与偏置项；
    第三层
    Figure PCTCN2019079258-appb-100001
    为tanh层，通过创建一个新的候选值向量更新细胞状态；
    Figure PCTCN2019079258-appb-100002
    式中
    Figure PCTCN2019079258-appb-100003
    被用来确认更新状态并加入到更新单元中去，h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W c、b c分别表示加权项与偏置项；
    第二层和第三层共同作用，更新神经网络模块的细胞状态；
    第四层o t为其他相关信息更新层，用于更新由其他因素导致的细胞状态变化；
    o t＝δ(W o[h t-1，x t]+b o)
    式中h t-1代表前一单元的输出，x t表示当前时刻单元的输入，δ表示sigmoid激励函数，W o、b o分别表示加权项与偏置项，o t作为中间项被用来与C t得到输出项h t；
    Figure PCTCN2019079258-appb-100004
    h t＝o t*tanh(C t)
    式中f t代表遗忘层的输出，i t与
    Figure PCTCN2019079258-appb-100005
    被用来确认更新状态并加入到更新单元中去，C t-1为更新前的单元，C t即为更新后的单元，o t作为中间项被用来与C t得到输出项h t。
PCT/CN2019/079258 2019-01-23 2019-03-22 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 Ceased WO2020151075A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/629,931 US20200367800A1 (en) 2019-01-23 2019-03-22 Method for identifying driving fatigue based on cnn-lstm deep learning model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910063299.8 2019-01-23
CN201910063299.8A CN109820525A (zh) 2019-01-23 2019-01-23 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法

Publications (1)

Publication Number Publication Date
WO2020151075A1 true WO2020151075A1 (zh) 2020-07-30

Family

ID=66861891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/079258 Ceased WO2020151075A1 (zh) 2019-01-23 2019-03-22 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法

Country Status (3)

Country Link
US (1) US20200367800A1 (zh)
CN (1) CN109820525A (zh)
WO (1) WO2020151075A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733774A (zh) * 2021-01-18 2021-04-30 大连海事大学 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法
CN112998710A (zh) * 2021-03-12 2021-06-22 复旦大学 一种驾驶员状态监测装置
CN113490181A (zh) * 2021-05-20 2021-10-08 南京邮电大学 一种基于lstm神经网络的车辆传输时延优化方法
CN113743297A (zh) * 2021-09-03 2021-12-03 重庆大学 基于深度学习的储罐穹顶位移数据修复方法及装置
CN113812933A (zh) * 2021-09-18 2021-12-21 重庆大学 基于可穿戴式设备的急性心肌梗死实时预警系统
CN114063787A (zh) * 2021-11-23 2022-02-18 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
CN114081491A (zh) * 2021-11-15 2022-02-25 西南交通大学 基于脑电时序数据测定的高速铁路调度员疲劳预测方法
CN114202561A (zh) * 2021-12-03 2022-03-18 广东海聊科技有限公司 一种长跑运动轨迹异常检测方法
CN114343644A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种疲劳驾驶检测方法和设备
CN114343643A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种危险驾驶检测方法和设备
CN114504329A (zh) * 2022-01-30 2022-05-17 天津大学 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统
CN114548216A (zh) * 2021-12-31 2022-05-27 南京理工大学 基于Encoder-Decoder注意力网络与LSTM的异常驾驶行为在线识别方法
CN114818867A (zh) * 2022-03-29 2022-07-29 中国电子科技集团公司第五十四研究所 一种基于注意力机制的网络流量分类方法
CN114913296A (zh) * 2022-05-07 2022-08-16 中国石油大学(华东) 一种modis地表温度数据产品重建方法
CN115299916A (zh) * 2022-08-29 2022-11-08 北京工业大学 一种基于cnn-gru网络模型的脑血流检测方法
CN115515092A (zh) * 2022-07-01 2022-12-23 重庆邮电大学 一种基于cnn-lstm特征融合网络的室内定位方法
CN115919315A (zh) * 2022-11-24 2023-04-07 华中农业大学 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法
CN115935232A (zh) * 2022-11-28 2023-04-07 安徽信息工程学院 基于cnn-lstm模型的工业机器人故障检测方法
CN116170192A (zh) * 2023-02-08 2023-05-26 大连交通大学 基于深度学习的区块链网络入侵检测方法
CN116898438A (zh) * 2023-06-26 2023-10-20 国网江苏省电力有限公司建设分公司 一种基于ecg传感器的高空作业人员疲劳检测装置和检测方法
CN117653114A (zh) * 2023-12-23 2024-03-08 西安交通大学 基于多生理参数的疲劳抑制与情绪调控系统及反馈方法
CN119792802A (zh) * 2025-01-20 2025-04-11 湖北益健堂科技股份有限公司 一种多功能盆底肌康复治疗系统及方法
CN119837529A (zh) * 2025-01-08 2025-04-18 北京繁星与你文化科技有限公司 一种基于机器学习的多模态精神压力评估方法及系统
CN119928878A (zh) * 2025-01-09 2025-05-06 奇瑞汽车股份有限公司 基于车内微波信号和疲劳信号的安全驾驶判断方法及系统
CN120408296A (zh) * 2025-04-08 2025-08-01 浙江嘉恒科创有限公司 基于分数阶长短期记忆网络的智能安全帽作业疲劳风险预警分类方法

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110151203B (zh) * 2019-06-06 2021-11-23 常熟理工学院 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
CN110367975A (zh) * 2019-07-10 2019-10-25 南京邮电大学 一种基于脑机接口的疲劳驾驶检测预警方法
CN110575163B (zh) * 2019-08-01 2021-01-29 深圳大学 一种检测驾驶员分心的方法及装置
CN110420016B (zh) * 2019-08-28 2023-10-24 成都理工大学工程技术学院 一种运动员疲劳度的预测方法及系统
CN110464371A (zh) * 2019-08-29 2019-11-19 苏州中科先进技术研究院有限公司 基于机器学习的疲劳驾驶检测方法及系统
CN110717389B (zh) * 2019-09-02 2022-05-13 东南大学 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法
CN112438738A (zh) * 2019-09-03 2021-03-05 西安慧脑智能科技有限公司 基于单通道脑电信号睡眠分期的方法、装置及存储介质
CN110558975B (zh) * 2019-10-14 2020-12-01 齐鲁工业大学 一种心电信号分类方法及系统
CN110738190A (zh) * 2019-10-28 2020-01-31 北京经纬恒润科技有限公司 一种疲劳驾驶的判断方法、装置及设备
CN110772268A (zh) * 2019-11-01 2020-02-11 哈尔滨理工大学 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法
CN112949015A (zh) * 2019-12-10 2021-06-11 奥迪股份公司 建模装置、辅助系统、车辆、方法和存储介质
CN111184512B (zh) * 2019-12-30 2021-06-01 电子科技大学 一种脑卒中患者上肢及手部康复训练动作识别方法
CN111543982A (zh) * 2020-04-01 2020-08-18 五邑大学 一种疲劳驾驶检测方法、装置及存储介质
CN111711661A (zh) * 2020-05-25 2020-09-25 五邑大学 车辆智能监测方法及其系统
CN111544017A (zh) * 2020-05-25 2020-08-18 五邑大学 基于gpdc图卷积神经网络的疲劳检测方法、装置及存储介质
CN112187413B (zh) * 2020-08-28 2022-05-03 中国人民解放军海军航空大学航空作战勤务学院 基于cnn-lstm的识别sfbc的方法及装置
CN112057047A (zh) * 2020-09-11 2020-12-11 首都师范大学 用于实现运动想象分类的装置及其混合网络系统构建方法
CN112237421B (zh) * 2020-09-23 2023-03-07 浙江大学山东工业技术研究院 一种基于视频的动态心率变异性分析模型
CN112257847A (zh) * 2020-10-16 2021-01-22 昆明理工大学 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112232254B (zh) * 2020-10-26 2021-04-30 清华大学 一种考虑行人激进度的行人风险评估方法
CN112890827B (zh) * 2021-01-14 2022-09-20 重庆兆琨智医科技有限公司 一种基于图卷积和门控循环单元的脑电识别方法及系统
CN112804253B (zh) * 2021-02-04 2022-07-12 湖南大学 一种网络流量分类检测方法、系统及存储介质
CN113098664B (zh) * 2021-03-31 2022-10-11 中国人民解放军海军航空大学航空作战勤务学院 基于mdmsffn的空时分组码自动识别方法和装置
CN113283288B (zh) * 2021-04-08 2023-08-18 中广核检测技术有限公司 基于lstm-cnn的核电站蒸发器涡流信号类型识别方法
CN113139449A (zh) * 2021-04-15 2021-07-20 重庆大学 一种基于生理信号的具身学习认知负荷评估系统
CN113180696A (zh) * 2021-04-28 2021-07-30 北京邮电大学 一种颅内脑电的检测方法、装置、电子设备及存储介质
CN113128459B (zh) * 2021-05-06 2022-06-10 昆明理工大学 一种基于多层次脑电信号表达下的特征融合方法
US20220386915A1 (en) * 2021-06-04 2022-12-08 Rockwell Collins, Inc. Physiological and behavioural methods to assess pilot readiness
CN113317780A (zh) * 2021-06-07 2021-08-31 南开大学 一种基于长短时记忆神经网络的异常步态检测方法
CN113485986B (zh) * 2021-06-25 2024-08-02 国网江苏省电力有限公司信息通信分公司 一种电力数据修复方法
CN113425312B (zh) * 2021-07-30 2023-03-21 清华大学 脑电数据处理方法及装置
CN113815679B (zh) * 2021-08-27 2023-01-13 北京交通大学 一种高速列车自主驾驶控制的实现方法
CN113988357B (zh) * 2021-09-03 2024-06-21 重庆大学 基于深度学习的高层建筑风致响应预测方法及装置
CN113848884B (zh) * 2021-09-07 2023-05-05 华侨大学 一种基于特征融合和时空约束的无人驾驶工程机械决策方法
TWI800034B (zh) * 2021-10-14 2023-04-21 財團法人工業技術研究院 基於多模態資料進行辨識的方法、電子裝置及電腦可讀儲存媒體
CN114254556A (zh) * 2021-11-17 2022-03-29 中国华能集团清洁能源技术研究院有限公司 光伏发电功率的预测方法、装置、电子设备和存储介质
CN114159079B (zh) * 2021-11-18 2023-05-02 中国科学院合肥物质科学研究院 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法
CN113977557B (zh) * 2021-11-18 2023-03-21 杭州电子科技大学 一种基于运动想象时频空特征的外骨骼机器人控制方法
CN114366025B (zh) * 2021-12-28 2023-12-26 河北体育学院 一种运动员生理指标检测系统及方法
CN114343645A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种脑机接口疲劳驾驶检测分类器优化方法和设备
CN114403878B (zh) * 2022-01-20 2023-05-02 南通理工学院 一种基于深度学习的语音检测疲劳度方法
CN114461069A (zh) * 2022-02-07 2022-05-10 上海图灵智算量子科技有限公司 一种基于量子cnn-lstm的情绪识别方法
CN114548164A (zh) * 2022-02-18 2022-05-27 北京理工大学 一种用于智能网联操控极微风险识别的无干扰监测方法
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN114861715B (zh) * 2022-04-26 2024-12-13 中国科学院重庆绿色智能技术研究院 一种基于深度学习的肌电信号手势识别方法及装置
CN114821968B (zh) * 2022-05-09 2022-09-13 西南交通大学 动车司机疲劳驾驶干预方法、装置、设备及可读存储介质
CN114947882A (zh) * 2022-05-24 2022-08-30 天津宇迪智能技术有限公司 一种基于卷积神经网络和eeg的大脑疲劳检测方法
CN114970718B (zh) * 2022-05-26 2024-09-24 常州图灵工具科技有限公司 一种切削加工过程中的动态切削力监测方法及系统
CN115366101B (zh) * 2022-08-22 2025-03-18 桂林电子科技大学 一种基于cnn-lstm的机器人气动夹持力的建模估计方法
CN115281676B (zh) * 2022-10-08 2023-01-31 齐鲁工业大学 基于gru神经网络和ecg信号的疲劳检测方法
CN115836868B (zh) * 2022-11-25 2024-08-23 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法
CN115828159B (zh) * 2022-12-13 2025-12-30 吉林大学 一种基于深度学习的油页岩热解状态识别方法
CN116236201A (zh) * 2022-12-16 2023-06-09 大连海事大学 一种脑电信号对船舶驾驶员进行疲劳程度识别方法
CN116152176A (zh) * 2022-12-30 2023-05-23 长春理工大学 一种基于cnn-lstm的超声切面的检测方法
CN116746931B (zh) * 2023-06-15 2024-03-19 中南大学 一种基于脑电的增量式驾驶员不良状态检测方法
CN116842427A (zh) * 2023-06-29 2023-10-03 重庆邮电大学 一种基于多源传感器的下肢肌肉疲劳检测方法及系统
CN119157540A (zh) * 2023-12-19 2024-12-20 东北电力大学 一种基于多生理信号的电力作业人员疲劳状态检测方法
CN117643470B (zh) * 2024-01-30 2024-04-26 武汉大学 基于脑电解译的疲劳驾驶检测方法及装置
CN118303883B (zh) * 2024-02-27 2025-06-10 电子科技大学 基于脑电信号和眼电信号特征融合的疲劳检测方法
CN119014881A (zh) * 2024-08-16 2024-11-26 天津工业大学 一种双通道脑电疲劳检测方法、装置、设备、介质及产品
CN119578201B (zh) * 2024-09-19 2025-07-15 崂山国家实验室 一种基于机载高度计沿轨数据反演sla的方法和系统
CN119669876B (zh) * 2024-10-24 2025-10-28 电子科技大学 一种基于分层多尺度拓扑增强网络的驾驶员警戒估计方法
CN120257039B (zh) * 2025-02-08 2026-01-30 五邑大学 脑电情感识别方法和相关装置
CN120396971B (zh) * 2025-04-27 2026-03-27 中国特种设备检测研究院 一种基于水凝胶电极的多模态驾驶安全监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028362A1 (en) * 2002-09-24 2004-04-08 University Of Technology, Sydney Eeg-based fatigue detection
US20160090097A1 (en) * 2014-09-29 2016-03-31 The Boeing Company System for fatigue detection using a suite of physiological measurement devices
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109389059A (zh) * 2018-09-26 2019-02-26 华南理工大学 一种基于cnn-lstm网络的p300检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113879A (zh) * 2009-12-30 2011-07-06 上海东方脑科学研究所 一种脑波实时评价系统及其评价方法
US9949714B2 (en) * 2015-07-29 2018-04-24 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106913350A (zh) * 2015-12-28 2017-07-04 西南交通大学 一种验证持续性注意水平下降的方法
CN107495962B (zh) * 2017-09-18 2020-05-05 北京大学 一种单导联脑电的睡眠自动分期方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028362A1 (en) * 2002-09-24 2004-04-08 University Of Technology, Sydney Eeg-based fatigue detection
US20160090097A1 (en) * 2014-09-29 2016-03-31 The Boeing Company System for fatigue detection using a suite of physiological measurement devices
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304917A (zh) * 2018-01-17 2018-07-20 华南理工大学 一种基于lstm网络的p300信号检测方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109389059A (zh) * 2018-09-26 2019-02-26 华南理工大学 一种基于cnn-lstm网络的p300检测方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733774A (zh) * 2021-01-18 2021-04-30 大连海事大学 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法
CN112998710A (zh) * 2021-03-12 2021-06-22 复旦大学 一种驾驶员状态监测装置
CN113490181A (zh) * 2021-05-20 2021-10-08 南京邮电大学 一种基于lstm神经网络的车辆传输时延优化方法
CN113490181B (zh) * 2021-05-20 2023-07-28 南京邮电大学 一种基于lstm神经网络的车辆传输时延优化方法
CN113743297A (zh) * 2021-09-03 2021-12-03 重庆大学 基于深度学习的储罐穹顶位移数据修复方法及装置
CN113812933A (zh) * 2021-09-18 2021-12-21 重庆大学 基于可穿戴式设备的急性心肌梗死实时预警系统
CN114081491A (zh) * 2021-11-15 2022-02-25 西南交通大学 基于脑电时序数据测定的高速铁路调度员疲劳预测方法
CN114081491B (zh) * 2021-11-15 2023-04-25 西南交通大学 基于脑电时序数据测定的高速铁路调度员疲劳预测方法
CN114063787B (zh) * 2021-11-23 2023-09-19 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
CN114063787A (zh) * 2021-11-23 2022-02-18 哈尔滨工程大学 一种基于emg和imu数据的深度学习处理分析方法
CN114202561A (zh) * 2021-12-03 2022-03-18 广东海聊科技有限公司 一种长跑运动轨迹异常检测方法
CN114343644A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种疲劳驾驶检测方法和设备
CN114343643A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种危险驾驶检测方法和设备
CN114548216A (zh) * 2021-12-31 2022-05-27 南京理工大学 基于Encoder-Decoder注意力网络与LSTM的异常驾驶行为在线识别方法
CN114504329B (zh) * 2022-01-30 2023-09-22 天津大学 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统
CN114504329A (zh) * 2022-01-30 2022-05-17 天津大学 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统
CN114818867A (zh) * 2022-03-29 2022-07-29 中国电子科技集团公司第五十四研究所 一种基于注意力机制的网络流量分类方法
CN114913296A (zh) * 2022-05-07 2022-08-16 中国石油大学(华东) 一种modis地表温度数据产品重建方法
CN114913296B (zh) * 2022-05-07 2023-08-11 中国石油大学(华东) 一种modis地表温度数据产品重建方法
CN115515092A (zh) * 2022-07-01 2022-12-23 重庆邮电大学 一种基于cnn-lstm特征融合网络的室内定位方法
CN115299916A (zh) * 2022-08-29 2022-11-08 北京工业大学 一种基于cnn-gru网络模型的脑血流检测方法
CN115919315A (zh) * 2022-11-24 2023-04-07 华中农业大学 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法
CN115919315B (zh) * 2022-11-24 2023-08-29 华中农业大学 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法
CN115935232A (zh) * 2022-11-28 2023-04-07 安徽信息工程学院 基于cnn-lstm模型的工业机器人故障检测方法
CN116170192A (zh) * 2023-02-08 2023-05-26 大连交通大学 基于深度学习的区块链网络入侵检测方法
CN116170192B (zh) * 2023-02-08 2025-08-15 大连交通大学 基于深度学习的区块链网络入侵检测方法
CN116898438A (zh) * 2023-06-26 2023-10-20 国网江苏省电力有限公司建设分公司 一种基于ecg传感器的高空作业人员疲劳检测装置和检测方法
CN117653114A (zh) * 2023-12-23 2024-03-08 西安交通大学 基于多生理参数的疲劳抑制与情绪调控系统及反馈方法
CN117653114B (zh) * 2023-12-23 2024-11-22 西安交通大学 基于多生理参数的疲劳抑制与情绪调控系统及反馈方法
CN119837529A (zh) * 2025-01-08 2025-04-18 北京繁星与你文化科技有限公司 一种基于机器学习的多模态精神压力评估方法及系统
CN119928878A (zh) * 2025-01-09 2025-05-06 奇瑞汽车股份有限公司 基于车内微波信号和疲劳信号的安全驾驶判断方法及系统
CN119792802A (zh) * 2025-01-20 2025-04-11 湖北益健堂科技股份有限公司 一种多功能盆底肌康复治疗系统及方法
CN120408296A (zh) * 2025-04-08 2025-08-01 浙江嘉恒科创有限公司 基于分数阶长短期记忆网络的智能安全帽作业疲劳风险预警分类方法

Also Published As

Publication number Publication date
US20200367800A1 (en) 2020-11-26
CN109820525A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
WO2020151075A1 (zh) 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
Han et al. Classification of pilots’ mental states using a multimodal deep learning network
US8862581B2 (en) Method and system for concentration detection
US10849526B1 (en) System and method for bio-inspired filter banks for a brain-computer interface
CN108960182B (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN101219048B (zh) 想象单侧肢体运动的脑电特征的提取方法
US9149719B2 (en) Device and method for generating a representation of a subject's attention level
CN114970599B (zh) 注意缺陷关联脑电信号的识别方法、识别装置、存储介质
Hasan et al. Validation and interpretation of a multimodal drowsiness detection system using explainable machine learning
CN103955270B (zh) 一种基于p300的脑机接口系统的字符高速输入方法
CN102499677A (zh) 基于脑电非线性特征的情绪状态识别方法
CN106108894A (zh) 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
Wang et al. LGNet: Learning local–global EEG representations for cognitive workload classification in simulated flights
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
JP2007502630A (ja) 認知処理
CN101987017A (zh) 用于驾车司机警觉度测定的脑电信号识别检测方法
Rahman et al. Mental stress recognition using K-nearest neighbor (KNN) classifier on EEG signals
Shangguan et al. Feature extraction of EEG signals based on functional data analysis and its application to recognition of driver fatigue state
CN107292296A (zh) 一种使用脑电信号的人类情感唤醒度分类识别方法
Maaoui et al. Unsupervised stress detection from remote physiological signal
Guleva et al. Personality traits classification from EEG signals using EEGNet
Latreche et al. An optimized deep hybrid learning for multi-channel EEG-based driver drowsiness detection
Garg et al. Analysis of wrist pulse signal: emotions and physical pain
Lu et al. The detection of p300 potential based on deep belief network
Chen et al. Study on tower crane drivers’ fatigue detection based on conditional empirical mode decomposition and multi-scale attention convolutional neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911731

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911731

Country of ref document: EP

Kind code of ref document: A1