WO2020156589A1 - 一种疲劳检测方法、装置及其存储介质 - Google Patents

一种疲劳检测方法、装置及其存储介质 Download PDF

Info

Publication number
WO2020156589A1
WO2020156589A1 PCT/CN2020/078294 CN2020078294W WO2020156589A1 WO 2020156589 A1 WO2020156589 A1 WO 2020156589A1 CN 2020078294 W CN2020078294 W CN 2020078294W WO 2020156589 A1 WO2020156589 A1 WO 2020156589A1
Authority
WO
WIPO (PCT)
Prior art keywords
entropy
wave
signal
signals
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/078294
Other languages
English (en)
French (fr)
Inventor
王洪涛
吴聪
刘旭程
唐聪
裴子安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University Fujian
Original Assignee
Wuyi University Fujian
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University Fujian filed Critical Wuyi University Fujian
Publication of WO2020156589A1 publication Critical patent/WO2020156589A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms

Definitions

  • the invention relates to the field of human body state detection, in particular to a fatigue detection method, device and storage medium.
  • Fatigue is a common physiological phenomenon in the human body, manifested as weakening of body function or reaction ability. Long-term or long-distance driving can easily lead to fatigue driving, and fatigue driving has now become a road killer, and millions of people all over the world lose their lives every year. Therefore, fatigue detection is often used in vehicle driving, and how to accurately detect the fatigue state of the driver is very important.
  • Physiological characteristics can reflect the fatigue status of the driver in different states. Therefore, the driver’s fatigue status can be judged by detecting changes in physiological characteristics.
  • the physiological characteristics commonly used for fatigue detection are electroencephalogram (EEG), electro-oculogram (EOG), electrocardiogram and electromyographic signals.
  • EEG electroencephalogram
  • EOG electro-oculogram
  • electrocardiogram electrocardiogram
  • electromyographic signals but the human body signal has the characteristics of multi-dimensional and nonlinear.
  • fatigue detection is mostly linear detection based on a single signal.
  • the information source is single and not comprehensive enough; it is easily interfered by other external signals and has low noise immunity; linear analysis methods cannot reflect the nonlinear characteristics of human signals; these reasons also lead to The current fatigue detection accuracy rate is not high.
  • the purpose of the embodiments of the present invention is to provide a fatigue detection method, device and storage medium thereof, which can realize multi-dimensional and nonlinear fatigue detection and improve the noise resistance and accuracy of fatigue detection.
  • the first aspect of the present invention provides a fatigue detection method, including:
  • performing feature extraction and feature fusion on EEG signals and EOG signals to obtain feature values includes:
  • the first sample entropy of the electrooculogram signal and the multiple fusion feature entropies of the electroencephalogram signal form the feature value.
  • the reconstruction of the EEG signal according to the frequency range specifically includes: using the discrete wavelet transform method to reconstruct the EEG signal according to the frequency range to obtain four sub-band waveforms of ⁇ wave, ⁇ wave, ⁇ wave and ⁇ wave; wherein ,
  • the frequency range of delta wave is 0.01-3.91Hz
  • the frequency range of theta wave is 3.91-7.81Hz
  • the frequency range of alpha wave is 7.81-13.67Hz
  • the frequency range of beta wave is 13.67-31.25Hz.
  • the extracted first sample entropy of the electrooculogram signal is specifically:
  • the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal are specifically as follows:
  • the dimensional reduction fusion of the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal to obtain multiple fused feature entropies is specifically:
  • the first fusion feature entropy is obtained by reducing the dimensionality of ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn and ⁇ -wave spectral entropy ⁇ SpeEn ;
  • the third fusion feature entropy is obtained by reducing the dimensionality of ⁇ wave approximate entropy ⁇ AppEn , ⁇ wave approximate entropy ⁇ AppEn , ⁇ wave approximate entropy ⁇ AppEn and ⁇ wave approximate entropy ⁇ AppEn .
  • classification according to the characteristic value to confirm the fatigue state of the user is specifically:
  • y(x i ; w) is the output of the RVM classifier
  • w is the weight of the RVM classifier
  • K(x,x i ) is the kernel function
  • p(t i 1
  • w) is the probability value of the user in the fatigue state
  • p(t i 0
  • w) is the probability value of the user in the non-fatigue state ;
  • w) and p(t i 0
  • the preprocessing brain electrical signals and ocular electrical signals includes:
  • Band-pass filtering is performed on EEG signals and ocular signals.
  • the second aspect of the present invention provides a fatigue detection device, including:
  • Preprocessing module used for preprocessing EEG signals and EOG signals
  • the feature value acquisition module is used to perform feature extraction and feature fusion on brain electrical signals and eye electrical signals to obtain feature values
  • Confirmation module used to classify according to characteristic values and confirm the fatigue state of users
  • the characteristic value acquisition module includes:
  • the reconstruction unit is used to reconstruct the EEG signal according to the frequency range
  • the first extraction unit is used to extract the first sample entropy of the electrooculogram signal
  • the second extraction unit is used to extract the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal;
  • the fusion unit is used to reduce the dimensionality and fusion of the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal to obtain multiple fused feature entropies;
  • the synthesis unit is used to form the first sample entropy of the electrooculogram signal and the multiple fusion feature entropies of the electroencephalogram signal to form a feature value.
  • the preprocessing unit includes:
  • De-trend unit used to de-trend the EEG signal and EOG signal
  • De-averaging unit used for de-averaging EEG signals and EOG signals
  • the band-pass filter unit is used to perform band-pass filter processing on EEG signals and EOG signals.
  • the first extraction unit includes:
  • the first extraction subunit is used to extract the vertical sample entropy y SamEn of the ocular electrical signal
  • the second extracting subunit is used to extract the horizontal sample entropy x SamEn of the electrooculogram signal ;
  • the second extraction subunit includes:
  • the third extraction subunit is used to extract ⁇ wave EEG signals to obtain ⁇ wave spectral entropy ⁇ SpeEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave approximate entropy ⁇ AppEn ;
  • the fourth extraction subunit is used to extract theta wave EEG signal to obtain theta wave spectrum entropy ⁇ SpeEn , theta wave sample entropy ⁇ SamEn and theta wave approximate entropy ⁇ AppEn ;
  • the fifth extraction subunit is used to extract the alpha wave EEG signal to obtain the alpha wave spectrum entropy ⁇ SpeEn , the alpha wave sample entropy ⁇ SamEn and the ⁇ wave approximate entropy ⁇ AppEn ;
  • the sixth extraction subunit is used to extract ⁇ wave EEG signals to obtain ⁇ wave spectral entropy ⁇ SpeEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave approximate entropy ⁇ AppEn .
  • the fusion unit includes:
  • the first fusion subunit is used to reduce the dimensionality of ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn and ⁇ -wave spectral entropy ⁇ SpeEn to obtain the first fusion feature entropy;
  • the second fusion subunit is used to reduce the dimensionality of ⁇ wave sample entropy ⁇ SamEn , ⁇ wave sample entropy ⁇ SamEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave sample entropy ⁇ SamEn to obtain the second fusion feature entropy;
  • the third fusion subunit is used to reduce the dimensionality of ⁇ -wave approximate entropy ⁇ AppEn , ⁇ -wave approximate entropy ⁇ AppEn , ⁇ -wave approximate entropy ⁇ AppEn and ⁇ -wave approximate entropy ⁇ AppEn to obtain the third fusion feature entropy.
  • the confirmation unit includes:
  • Input port used to input feature value to RVM classifier
  • y(x i ; w) is the output of the RVM classifier
  • w is the weight of the RVM classifier
  • K(x,x i ) is the kernel function
  • p(t i 1
  • w) is the probability value of the user in the fatigue state
  • p(t i 0
  • w) is the probability value of the user in the non-fatigue state ;
  • w) and p(t i 0
  • a third aspect of the present invention provides a fatigue detection device, which includes a processor and a memory communicatively connected with the at least one processor; the memory stores instructions executable by the processor, and the instructions are The processor executes, so that the processor can execute the fatigue detection method according to the first aspect of the present invention.
  • a storage medium stores computer-executable instructions, and the computer-executable instructions are used to make a computer execute the fatigue detection method described in the first aspect of the present invention.
  • the feature value is obtained by extracting and fusing features of EEG signal and EOG signal, and confirming the fatigue state of the user according to the feature value; combining EEG signal and EOG signal, from multi-dimensional Analyze and detect from the angle of view, and introduce a variety of entropy to analyze EEG signals and ocular signals from a non-linear perspective to express fatigue status, thereby improving the noise resistance and accuracy of fatigue detection.
  • FIG. 1 is a flowchart of a fatigue detection method according to an embodiment of the present invention
  • FIG. 2 is a specific flowchart of step S300 in FIG. 1;
  • Fig. 3 is a structural diagram of a fatigue detection device according to an embodiment of the present invention.
  • the first aspect of the present invention provides a fatigue detection method, including:
  • S100 Collect the user's brain electrical signals and eye electrical signals
  • the electrooculogram signal is an electrical signal generated by eye movement, which can be measured by setting electrodes on the skin around the eyes.
  • the size of the electrooculogram signal is determined according to the changes in the displacement of the eyeball, which contains rich information and intuitively reflects the degree of fatigue.
  • the brain electrical signal is formed by the sum of the post-synaptic potentials synchronized by a large number of neurons when the brain is active. It records the electrical signal changes during brain activity. It is the overall reflection of the electrophysiological activities of brain nerve cells on the cerebral cortex or scalp surface, and can specifically reflect the degree of fatigue.
  • the user's EEG signal is collected by the wireless dry electrode EEG acquisition device, and the user's EOG signal is collected by the EOG signal collection device. Then, the collected EEG signals and EOG signals are stored in the database.
  • S200 Preprocess brain electrical signals and eye electrical signals
  • step S200 includes:
  • S203 Perform band-pass filtering processing on the EEG signal and the EOG signal.
  • data of brain electrical signals and ocular electrical signals are retrieved from the database.
  • set the time window for the EEG signal and the EOG signal the time window size of the EEG signal is 4s, and the step size is 1s; the time window size of the EOG signal is 10s, and the step size is 1s.
  • the EEG signal and the EOG signal are de-trended by spatial filtering; preferably, the spatial filtering method is a common average reference filtering method.
  • the EEG signal and the EOG signal are de-averaged to remove high-frequency noise interference and improve the signal-to-noise ratio; finally, band-pass filtering is performed with the 0.01-32Hz frequency band signal to further improve the signal-to-noise ratio.
  • the preprocessing of EEG signals and EOG signals is convenient for later feature extraction.
  • S300 Perform feature extraction and feature fusion on the EEG signal and the EOG signal to obtain a feature value
  • step S300 includes:
  • the reconstruction of the EEG signal according to the frequency range is: using the discrete wavelet transform method to reconstruct the EEG signal according to the frequency range to obtain four sub-band waveforms of ⁇ wave, ⁇ wave, ⁇ wave and ⁇ wave; wherein,
  • the frequency range of the delta wave is 0.01-3.91 Hz
  • the frequency range of the theta wave is 3.91-7.81 Hz
  • the frequency range of the alpha wave is 7.81-13.67 Hz
  • the frequency range of the beta wave is 13.67-31.25 Hz.
  • step S320 includes:
  • A(i) [a(i),a(i+1),K,a(i+m-1)], 1 ⁇ i ⁇ N-m+1;
  • A(j) [a(j),a(j+1),K,a(j+m-1)], 1 ⁇ j ⁇ N-m+1;
  • A(i) and A(j) The distance between A(i) and A(j) is: d
  • max
  • the specific value of the parameter m is 2; SD is the standard deviation of the sequence; num ⁇ d
  • step S330 includes:
  • the specific value of the parameter m is 2; SD is the standard deviation of the sequence.
  • SpeEn is the result of spectral entropy
  • f is the frequency corresponding to the frequency component
  • N(f) is the total number of frequency components
  • Q(f) is the normalized power spectral density component
  • P(f) is the power spectral density Component
  • the specific values of f L , f H , f 1 and f 2 are 0.01, 31.25, 7.81 and 13.67 respectively
  • Is the coefficient of the spectral entropy model is the result of spectral entropy
  • Approximate entropy, sample entropy and spectral entropy are all nonlinear dynamic parameters, which can reflect the regularity of the input signal.
  • the EEG signal and EOG signal are calculated from the perspective of nonlinearity.
  • step S340 includes:
  • the ⁇ wave approximate entropy ⁇ AppEn , the ⁇ wave approximate entropy ⁇ AppEn , the ⁇ wave approximate entropy ⁇ AppEn and the ⁇ wave approximate entropy ⁇ AppEn are dimensionally reduced and merged to obtain the third fused feature entropy.
  • step S341 the dimensionality reduction of two of the ⁇ wave spectrum entropy ⁇ SpeEn , the ⁇ wave spectrum entropy ⁇ SpeEn , the ⁇ wave spectrum entropy ⁇ SpeEn and the ⁇ wave spectrum entropy ⁇ SpeEn is fused to obtain the first fusion result. Then the other two entropy dimensionality reductions are fused to obtain the second fusion result, and finally the first fusion result and the second fusion result are dimensionally reduced and fused to finally obtain the first fusion feature entropy.
  • Step S342 and step S343 adopt the same dimensionality reduction fusion method.
  • Wc and W d are the projection vectors of the input entropy c and d
  • Wc and W d are determined by Decide
  • E[] is the correlation matrix.
  • Wc and W d have optimal values.
  • the canonical correlation analysis method is used to maximize the correlation between c and d to maintain the independence of the two.
  • the eigenvalue is a feature matrix composed of the first sample entropy of the electrooculogram signal and multiple fusion feature entropies of the EEG signal, and the fusion feature entropy is obtained by the dimensionality reduction fusion of the entropy corresponding to multiple frequency bands; it is achieved by step S350 Analyze and detect the fatigue state of users from a multi-dimensional perspective to improve noise resistance and accuracy.
  • S400 Classify according to the characteristic value and confirm the fatigue state of the user
  • classification according to the characteristic value to confirm the fatigue state of the user is specifically:
  • y(x i ; w) is the output of the RVM classifier
  • w is the weight of the RVM classifier
  • K( x,x i ) exp(-g
  • 2 ) is the kernel function that determines the mapping method of eigenvalues from low-dimensional space to high-dimensional space
  • p(t i 1
  • w) is the The probability value of the fatigue state
  • p(t i 0
  • w) is the probability value of the user in the non-fatigue state.
  • w) and p(t i 0
  • the method provided by the first aspect of the present invention obtains feature values by extracting and fusing features of EEG signals and ocular signals, and confirms the fatigue state of the user according to the feature values; combining both EEG signals and ocular signals, Analyze and detect from a multi-dimensional perspective, and introduce a variety of entropies to analyze EEG signals and ocular signals from a non-linear perspective to express fatigue status, thereby improving the noise resistance and accuracy of fatigue detection.
  • the second aspect of the present invention provides a fatigue detection device, which can perform the fatigue detection method described in the first aspect of the present invention, including:
  • the collection module 10 is used to collect the user's brain electrical signals and eye electrical signals;
  • the preprocessing module 20 is used for preprocessing brain electrical signals and eye electrical signals;
  • the feature value acquisition module 30 is used to perform feature extraction and feature fusion on brain electrical signals and eye electrical signals to obtain feature values;
  • the confirmation module 40 is used to classify according to the characteristic value and confirm the fatigue state of the user
  • the characteristic value acquisition module includes:
  • the reconstruction unit 31 is used to reconstruct the EEG signal according to the frequency range
  • the first extraction unit 32 is configured to extract the first sample entropy of the electrooculogram signal
  • the second extraction unit 33 is configured to extract the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal;
  • the fusion unit 34 is configured to reduce the dimensionality and fuse the spectrum entropy, the second sample entropy and the approximate entropy of the reconstructed EEG signal to obtain multiple fusion feature entropies;
  • the synthesis unit 35 is configured to form a feature value by the first sample entropy of the electrooculogram signal and the multiple fused feature entropies of the electroencephalogram signal.
  • the preprocessing unit 20 includes:
  • De-trend unit used to de-trend the EEG signal and EOG signal
  • De-averaging unit used for de-averaging EEG signals and EOG signals
  • the band-pass filter unit is used to perform band-pass filter processing on EEG signals and EOG signals.
  • the first extraction unit 32 includes:
  • the first extraction subunit is used to extract the vertical sample entropy y SamEn of the ocular electrical signal
  • the second extracting subunit is used to extract the horizontal sample entropy x SamEn of the electrooculogram signal ;
  • the second extraction unit 33 includes:
  • the third extraction subunit is used to extract ⁇ wave EEG signals to obtain ⁇ wave spectral entropy ⁇ SpeEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave approximate entropy ⁇ AppEn ;
  • the fourth extraction subunit is used to extract theta wave EEG signal to obtain theta wave spectrum entropy ⁇ SpeEn , theta wave sample entropy ⁇ SamEn and theta wave approximate entropy ⁇ AppEn ;
  • the fifth extraction subunit is used to extract the alpha wave EEG signal to obtain the alpha wave spectrum entropy ⁇ SpeEn , the alpha wave sample entropy ⁇ SamEn and the ⁇ wave approximate entropy ⁇ AppEn ;
  • the sixth extraction subunit is used to extract ⁇ wave EEG signals to obtain ⁇ wave spectral entropy ⁇ SpeEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave approximate entropy ⁇ AppEn .
  • the fusion unit 34 includes:
  • the first fusion subunit is used to reduce the dimensionality of ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn , ⁇ -wave spectral entropy ⁇ SpeEn and ⁇ -wave spectral entropy ⁇ SpeEn to obtain the first fusion feature entropy;
  • the second fusion subunit is used to reduce the dimensionality of ⁇ wave sample entropy ⁇ SamEn , ⁇ wave sample entropy ⁇ SamEn , ⁇ wave sample entropy ⁇ SamEn and ⁇ wave sample entropy ⁇ SamEn to obtain the second fusion feature entropy;
  • the third fusion subunit is used to reduce the dimensionality of ⁇ -wave approximate entropy ⁇ AppEn , ⁇ -wave approximate entropy ⁇ AppEn , ⁇ -wave approximate entropy ⁇ AppEn and ⁇ -wave approximate entropy ⁇ AppEn to obtain the third fusion feature entropy.
  • the confirmation unit 40 includes:
  • Input port used to input feature value to RVM classifier
  • the probability calculation unit is used to calculate the probability of the fatigue state according to the following formula:
  • y(x i ; w) is the output of the RVM classifier
  • w is the weight of the RVM classifier
  • K(x,x i ) is the kernel function
  • p(t i 1
  • w) is the probability value of the user in the fatigue state
  • p(t i 0
  • w) is the probability value of the user in the non-fatigue state ;
  • w) and p(t i 0
  • a third aspect of the present invention provides a fatigue detection device, including a processor and a memory communicatively connected with the at least one processor; the memory stores instructions executable by the processor, and the instructions are The processor executes, so that the processor can execute the fatigue detection method according to the first aspect of the present invention.
  • a storage medium stores computer-executable instructions, and the computer-executable instructions are used to make a computer execute the fatigue detection method described in the first aspect of the present invention.
  • Table 1 is a comparison table of the accuracy of the present invention and the five comparison methods.
  • the five comparison methods are all detection methods based on a single signal source.
  • Comparison method 1 (Delta EEG) is a fatigue detection method based on delta-wave EEG signals
  • comparison method 2 (Gamma EEG) is based on gamma-wave EEG signals.
  • Comparison method 3 (Alpha EEG) is a fatigue detection method based on ⁇ -wave EEG signals
  • comparison method 4 (Beta EEG) is a fatigue detection method based on ⁇ -wave EEG signals.
  • Comparison method 5 (EOG) ) Is a fatigue detection method judged based on the ocular electrical signal; as described in Table 1, the present invention has a great improvement in accuracy compared with other detection methods.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种疲劳检测方法、装置及其存储介质；疲劳检测方法通过对脑电信号和眼电信号进行特征提取和特征融合以得到特征值（S300），并根据特征值进行分类以确认使用者的疲劳状态（S400）。疲劳检测装置及其存储介质采用了方法实现疲劳检测，结合脑电信号和眼电信号两者，从多维的角度进行分析检测，并引入多种熵从非线性的角度分析脑电信号和眼电信号来表达疲劳状态，从而提高疲劳检测的抗噪性和准确率。

Description

一种疲劳检测方法、装置及其存储介质 技术领域
本发明涉及人体状态检测领域，特别是一种疲劳检测方法、装置及其存储介质。
背景技术
疲劳是人体常见的一种生理现象，表现为身体机能或反应能力减弱。长时间或长距离驾驶容易导致疲劳驾驶，而疲劳驾驶现在已经成为了马路杀手，每年全世界有百万人因此失去生命。因此疲劳检测常应用于车辆驾驶方面，而如何能够准确地检测出驾驶者的疲劳状态就非常重要。
生理特征可以反映出驾驶者不同状态下的疲劳状况。因此，可以通过检测生理特征的变化来判断驾驶员的疲劳状况，目前常用于实施疲劳检测的生理特征为脑电信号(EEG)、眼电信号(EOG)、心电信号和肌电信号。但人体信号具有多维和非线性的特点。目前，疲劳检测多为基于单一信号的线性检测，信息来源单一，不够全面；容易受到外界其他信号的干扰，抗噪性低；线性的分析方法难以反映人体信号非线性的特点；这些原因也导致了目前的疲劳检测准确率不高。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种疲劳检测方法、装置及其存储介质，实现多维和非线性的疲劳检测，提高疲劳检测的抗噪性和准确性。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，提供了一种疲劳检测方法，包括：
采集使用者的脑电信号和眼电信号；
预处理脑电信号和眼电信号；
对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；根据特征值
进行分类，确认使用者的疲劳状态；
其中，对脑电信号和眼电信号进行特征提取和特征融合以得到特征值包括：
对脑电信号按频率范围进行重构；
提取眼电信号的第一样本熵；
提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
将眼电信号的第一样本熵以及脑电信号的多个融合特征熵构成特征值。
进一步地，所述对脑电信号按频率范围进行重构具体为：利用离散小波变换方法对脑电信号按频率范围重构得到δ波、θ波、α波和β波四个子频带波形；其中，δ波的频率范围为0.01-3.91Hz，θ波的频率范围为3.91-7.81Hz，α波的频率范围为7.81-13.67Hz，β波的频率范围为13.67-31.25Hz。
进一步地，所述提取眼电信号的第一样本熵具体为：
提取眼电信号的垂直方向样本熵y SamEn；
提取眼电信号的水平方向样本熵x SamEn；
所述提取重构后的脑电信号的频谱熵、第二样本熵和近似熵具体为：
提取δ波脑电信号得到δ波频谱熵δ SpeEn、δ波样本熵δ SamEn和δ波近似熵δ AppEn；
提取θ波脑电信号得到θ波频谱熵θ SpeEn、θ波样本熵θ SamEn和θ波近似熵 θ AppEn；
提取α波脑电信号得到α波频谱熵α SpeEn、α波样本熵α SamEn和α波近似熵α AppEn；
提取β波脑电信号得到β波频谱熵β SpeEn、β波样本熵β SamEn和β波近似熵β AppEn。
进一步地，所述将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵具体为：
将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱熵β SpeEn两两之间降维融合得到第一融合特征熵；
将δ波样本熵δ SamEn、θ波样本熵θ SamEn、α波样本熵α SamEn和β波样本熵β SamEn两两之间降维融合得到第二融合特征熵；
将δ波近似熵δ AppEn、θ波近似熵θ AppEn、α波近似熵α AppEn和β波近似熵β AppEn两两之间降维融合得到第三融合特征熵。
进一步地，所述根据特征值进行分类，确认使用者的疲劳状态具体为：
输入特征值到RVM分类器；
根据下式计算疲劳状态的概率：
Figure PCTCN2020078294-appb-000001
p(t i＝0|w)＝1-p(t i＝1|w)；
Figure PCTCN2020078294-appb-000002
其中，x＝[x 1,...x i,...x 5]为输入RVM分类器的特征值；y(x i；w)为RVM分类器的输出；w为RVM分类器的权重；K(x,x i)为核函数；p(t i＝1|w)为使用者处于疲劳状态的概率值；p(t i＝0|w)为使用者处于非疲劳状态的概率值；
根据p(t i＝1|w)和p(t i＝0|w)的值确认使用者的疲劳状态。
进一步地，所述预处理脑电信号和眼电信号包括：
对脑电信号和眼电信号进行去趋势处理；
对脑电信号和眼电信号进行去均值处理；
对脑电信号和眼电信号进行带通滤波处理。
本发明的第二方面，提供了一种疲劳检测装置，包括：
采集模块，用于采集使用者的脑电信号和眼电信号；
预处理模块，用于预处理脑电信号和眼电信号；
特征值获取模块，用于对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；
确认模块，用于根据特征值进行分类，确认使用者的疲劳状态；
其中，特征值获取模块包括：
重构单元，用于对脑电信号按频率范围进行重构；
第一提取单元，用于提取眼电信号的第一样本熵；
第二提取单元，用于提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
融合单元，用于将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
合成单元，用于将眼电信号的第一样本熵以及脑电信号的多个融合特征熵构成特征值。
具体地，所述预处理单元包括：
去趋势单元，用于对脑电信号和眼电信号进行去趋势处理；
去均值单元，用于对脑电信号和眼电信号进行去均值处理；
带通滤波单元，用于对脑电信号和眼电信号进行带通滤波处理。
具体地，所述第一提取单元包括：
第一提取子单元，用于提取眼电信号的垂直方向样本熵y SamEn；
第二提取子单元，用于提取眼电信号的水平方向样本熵x SamEn；
具体地，所述第二提取子单元包括：
第三提取子单元，用于提取δ波脑电信号得到δ波频谱熵δ SpeEn、δ波样本熵δ SamEn和δ波近似熵δ AppEn；
第四提取子单元，用于提取θ波脑电信号得到θ波频谱熵θ SpeEn、θ波样本熵θ SamEn和θ波近似熵θ AppEn；
第五提取子单元，用于提取α波脑电信号得到α波频谱熵α SpeEn、α波样本熵α SamEn和α波近似熵α AppEn；
第六提取子单元，用于提取β波脑电信号得到β波频谱熵β SpeEn、β波样本熵β SamEn和β波近似熵β AppEn。
具体地，融合单元包括：
第一融合子单元，用于将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱熵β SpeEn两两之间降维融合得到第一融合特征熵；
第二融合子单元，用于将δ波样本熵δ SamEn、θ波样本熵θ SamEn、α波样本熵α SamEn和β波样本熵β SamEn两两之间降维融合得到第二融合特征熵；
第三融合子单元，用于将δ波近似熵δ AppEn、θ波近似熵θ AppEn、α波近似熵α AppEn和β波近似熵β AppEn两两之间降维融合得到第三融合特征熵。
具体地，所述确认单元包括：
输入端口，用于输入特征值到RVM分类器；
概率计算单元，用于根据下式计算疲劳状态的概率：
Figure PCTCN2020078294-appb-000003
p(t i＝0|w)＝1-p(t i＝1|w)；
Figure PCTCN2020078294-appb-000004
其中，x＝[x 1,...x i,...x 5]为输入RVM分类器的特征值；y(x i；w)为RVM分类器的输出；w为RVM分类器的权重；K(x,x i)为核函数；p(t i＝1|w)为使用者处于疲劳状态的概率值；p(t i＝0|w)为使用者处于非疲劳状态的概率值；
判断单元，用于根据p(t i＝1|w)和p(t i＝0|w)的值确认使用者的疲劳状态。
本发明的第三方面，提供了一种疲劳检测装置，包括处理器以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行本发明第一方面所述的疲劳检测方法。
本发明的第四方面，提供了一种存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本发明第一方面所述的疲劳检测方法。
本发明的有益效果是：通过对脑电信号和眼电信号特征提取和特征融合以得到特征值，并根据特征值确认使用者的疲劳状态；结合脑电信号和眼电信号两者，从多维的角度进行分析检测，并引入多种熵从非线性的角度分析脑电信号和眼电信号来表达疲劳状态，从而提高疲劳检测的抗噪性和准确率。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例的一种疲劳检测方法的流程图；
图2是图1中步骤S300的具体流程图；
图3是本发明实施例的一种疲劳检测装置的结构图。
具体实施方式
参照图1和图2，本发明的第一方面，提供了一种疲劳检测方法，包括：
S100、采集使用者的脑电信号和眼电信号；
眼电信号是眼睛运动产生的一种电信号,可以通过在眼睛周围的皮肤设置电极来测量。眼电信号的大小根据眼球的位移变化来确定，包含丰富的信息,直观地反映疲劳的程度。
脑电信号是大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电信号变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映，能具体反映出疲劳的程度。
在本步骤中，通过无线干电极脑电采集设备采集使用者的脑电信号，以及通过眼电信号采集设备采集使用者的眼电信号。然后，将收集的脑电信号和眼电信号存储到数据库内。
S200、预处理脑电信号和眼电信号；
具体地，步骤S200包括：
S201、对脑电信号和眼电信号进行去趋势处理；
S202、对脑电信号和眼电信号进行去均值处理；
S203、对脑电信号和眼电信号进行带通滤波处理。
进一步地，在该步骤中，从数据库中取出脑电信号和眼电信号的数据。首先对脑电信号和眼电信号设置时间窗；脑电信号的时间窗大小为4s，步长为1s；眼电信号的时间窗大小为10s，步长为1s。然后利用空间滤波的方式对脑电信号 和眼电信号进行去趋势处理；优选地，空间滤波方法为普通平均参考滤波方法。接着对脑电信号和眼电信号进行去均值处理以去除高频噪声干扰和提高信噪比；最后用0.01-32Hz的频带信号进行带通滤波进一步提高信噪比。对脑电信号和眼电信号的预处理方便于之后的特征提取。
S300、对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；
进一步地，步骤S300包括：
S310、对脑电信号按频率范围进行重构；
具体地，所述对脑电信号按频率范围进行重构为：利用离散小波变换方法对脑电信号按频率范围重构得到δ波、θ波、α波和β波四个子频带波形；其中，δ波的频率范围为0.01-3.91Hz，θ波的频率范围为3.91-7.81Hz，α波的频率范围为7.81-13.67Hz，β波的频率范围为13.67-31.25Hz。
S320、提取眼电信号的第一样本熵；
具体地，步骤S320包括：
S321、提取眼电信号的垂直方向样本熵 ySamEn；
S322、提取眼电信号的水平方向样本熵x SamEn。
样本熵通过以下式子给出：
N个信号样本的序列为：A＝[a(1)，a(2)L a(N)]；
则A的两个子序列为：
A(i)＝[a(i),a(i+1),K,a(i+m-1)]，1≤i≤N-m+1；
A(j)＝[a(j),a(j+1),K,a(j+m-1)]，1≤j≤N-m+1；
A(i)和A(j)间的距离为：d|A(i),A(j)|＝max|a(i+k)-a(j+k)|；
进一步，样本熵的结果表达为：
Figure PCTCN2020078294-appb-000005
Figure PCTCN2020078294-appb-000006
Figure PCTCN2020078294-appb-000007
r＝0.2*SD；
其中，参数m具体取值为2；SD为序列的标准偏差；num{d|A(i),A(j)|≤r}是i和j满足条件d|A(i),A(j)|≤r的统计数据数。
S330、提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
具体地，步骤S330包括：
S331、提取δ波脑电信号得到δ波频谱熵δ SpeEn、δ波样本熵δ SamEn和δ波近似熵δ AppEn；
S332、提取θ波脑电信号得到θ波频谱熵θ SpeEn、θ波样本熵θ SamEn和θ波近似熵θ AppEn；
S333、提取α波脑电信号得到α波频谱熵α SpeEn、α波样本熵α SamEn和α波近似熵α AppEn；
S334、提取β波脑电信号得到β波频谱熵β SpeEn、β波样本熵β SamEn和β波近似熵β AppEn。
近似熵通过以下式子给出：
对于N个信号序列的样本，近似熵的结果表达为：
Figure PCTCN2020078294-appb-000008
r＝0.2*SD；
其中，参数m具体取值为2；SD为序列的标准偏差。
频谱熵通过以下式子给出：
Figure PCTCN2020078294-appb-000009
Figure PCTCN2020078294-appb-000010
Figure PCTCN2020078294-appb-000011
Figure PCTCN2020078294-appb-000012
其中，SpeEn为频谱熵的结果，f为频率分量对应的频率，N(f)为频率分量的总数；Q(f)为归一化后的功率谱密度分量；P(f)为功率谱密度分量；f L、f H、f 1和f 2具体取值分别为0.01、31.25、7.81和13.67；
Figure PCTCN2020078294-appb-000013
为频率分量的最小二乘误差；
Figure PCTCN2020078294-appb-000014
为频谱熵模型的系数。
近似熵、样本熵和频谱熵均是非线性动态参数，能反映出输入信号的规律性。通过近似熵、样本熵和频谱熵的计算从非线性的角度对脑电信号和眼电信号进行计算。
S340、将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
具体地，步骤S340包括：
S341、将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱 熵β SpeEn两两之间降维融合得到第一融合特征熵；
S342、将δ波样本熵δ SamEn、θ波样本熵θ SamEn、α波样本熵α SamEn和β波样本熵β SamEn两两之间降维融合得到第二融合特征熵；
S343、将δ波近似熵δ AppEn、θ波近似熵θ AppEn、α波近似熵α AppEn和β波近似熵β AppEn两两之间降维融合得到第三融合特征熵。
具体地，在步骤S341中，将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱熵β SpeEn其中的两个熵降维融合得到第一融合结果，再将另外的两个熵降维融合得到第二融合结果，最后将第一融合结果和第二融合结果降维融合最终得到第一融合特征熵。步骤S342和步骤S343采用同样的降维融合方式。
进一步，在降维融合得到融合特征熵中的融合特征熵的具体表达式为：F＝Wc*Wc T*c+Wd*Wd T*d；
其中Wc和W d是输入的熵c和d的投影向量，Wc和W d由
Figure PCTCN2020078294-appb-000015
决定，E[]为相关矩阵。当ρ(c,d)取最大值时，Wc和W d有最优值。这里采用典型相关分析方法来最大限度地提高c和d之间的相关性，以保持两者的独立性。
S350、将眼电信号的第一样本熵以及脑电信号的多个融合特征熵组成特征矩阵，构成特征值。
特征值是由眼电信号的第一样本熵以及脑电信号的多个融合特征熵组成的特征矩阵，同时融合特征熵是由多个频带对应的熵降维融合得到；通过步骤S350实现了从多维的角度分析检测使用者的疲劳状态，提高抗噪性和准确率。
S400、根据特征值进行分类，确认使用者的疲劳状态；
进一步地，所述根据特征值进行分类，确认使用者的疲劳状态具体为：
S410、输入特征值到RVM分类器。
S420、根据下式计算疲劳状态的概率：
Figure PCTCN2020078294-appb-000016
p(t i＝0|w)＝1-p(t i＝1|w)；
Figure PCTCN2020078294-appb-000017
其中，x＝[x1,...xi,...x5]为输入RVM分类器的特征值；y(x i；w)为RVM分类器的输出；w为RVM分类器的权重；K(x,x i)＝exp(-g||x-x i|| 2)为决定特征值从低维空间到高维空间的映射方式的核函数；p(t i＝1|w)为使用者处于疲劳状态的概率值；p(t i＝0|w)为使用者处于非疲劳状态的概率值。
在步骤S420中，各变量独立分布，则RVM分类器的似然函数为：
Figure PCTCN2020078294-appb-000018
根据Michael E.Tipping提出的基于拉普拉斯的逼近方法(Laplace approximation procedure)可求出p(t i＝1|w)和p(t i＝0|w)的值。
S430、根据p(t i＝1|w)和p(t i＝0|w)的值确认使用者的疲劳状态。
具体地，当p(t i＝1|w)>p(t i＝0|w)时，确认使用者处于疲劳状态；当p(t i＝1|w)＝p(t i＝0|w)时，确认使用者处于过渡状态；当p(t i＝1|w)<p(t i＝0|w)时，确认使用者处于非疲劳状态。
本发明的第一方面提供的方法通过对脑电信号和眼电信号特征提取和特征融合以得到特征值，并根据特征值确认使用者的疲劳状态；结合脑电信号和眼电信号两者，从多维的角度进行分析检测，并引入多种熵从非线性的角度分析脑电信号和眼电信号来表达疲劳状态，从而提高疲劳检测的抗噪性和准确率。
将该方法利用于汽车驾驶方面，能准确地检测驾驶者的疲劳状态；当发现 驾驶者处于疲劳状态时，向驾驶者发出警告，有利于减少交通事故率。
参照图3，本发明的第二方面，提供了一种疲劳检测装置，能执行本发明第一方面所述的疲劳检测方法，包括：
采集模块10，用于采集使用者的脑电信号和眼电信号；
预处理模块20，用于预处理脑电信号和眼电信号；
特征值获取模块30，用于对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；
确认模块40，用于根据特征值进行分类，确认使用者的疲劳状态；
其中，特征值获取模块包括：
重构单元31，用于对脑电信号按频率范围进行重构；
第一提取单元32，用于提取眼电信号的第一样本熵；
第二提取单元33，用于提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
融合单元34，用于将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
合成单元35，用于将眼电信号的第一样本熵以及脑电信号的多个融合特征熵构成特征值。
具体地，所述预处理单元20包括：
去趋势单元，用于对脑电信号和眼电信号进行去趋势处理；
去均值单元，用于对脑电信号和眼电信号进行去均值处理；
带通滤波单元，用于对脑电信号和眼电信号进行带通滤波处理。
具体地，所述第一提取单元32包括：
第一提取子单元，用于提取眼电信号的垂直方向样本熵y SamEn；
第二提取子单元，用于提取眼电信号的水平方向样本熵x SamEn；
具体地，所述第二提取单元33包括：
第三提取子单元，用于提取δ波脑电信号得到δ波频谱熵δ SpeEn、δ波样本熵δ SamEn和δ波近似熵δ AppEn；
第四提取子单元，用于提取θ波脑电信号得到θ波频谱熵θ SpeEn、θ波样本熵θ SamEn和θ波近似熵θ AppEn；
第五提取子单元，用于提取α波脑电信号得到α波频谱熵α SpeEn、α波样本熵α SamEn和α波近似熵α AppEn；
第六提取子单元，用于提取β波脑电信号得到β波频谱熵β SpeEn、β波样本熵β SamEn和β波近似熵β AppEn。
具体地，融合单元34包括：
第一融合子单元，用于将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱熵β SpeEn两两之间降维融合得到第一融合特征熵；
第二融合子单元，用于将δ波样本熵δ SamEn、θ波样本熵θ SamEn、α波样本熵α SamEn和β波样本熵β SamEn两两之间降维融合得到第二融合特征熵；
第三融合子单元，用于将δ波近似熵δ AppEn、θ波近似熵θ AppEn、α波近似熵α AppEn和β波近似熵β AppEn两两之间降维融合得到第三融合特征熵。
具体地，所述确认单元40包括：
输入端口，用于输入特征值到RVM分类器；
概率计算单元，用于根据下式计算疲劳状态的概率：
Figure PCTCN2020078294-appb-000019
p(t i＝0|w)＝1-p(t i＝1|w)；
Figure PCTCN2020078294-appb-000020
其中，x＝[x 1,...x i,...x 5]为输入RVM分类器的特征值；y(x i；w)为RVM分类器的输出；w为RVM分类器的权重；K(x,x i)为核函数；p(t i＝1|w)为使用者处于疲劳状态的概率值；p(t i＝0|w)为使用者处于非疲劳状态的概率值；
判断单元，用于根据p(t i＝1|w)和p(t i＝0|w)的值确认使用者的疲劳状态。
本发明的第三方面，提供了一种疲劳检测装置，包括处理器以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行本发明第一方面所述的疲劳检测方法。
本发明的第四方面，提供了一种存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行本发明第一方面所述的疲劳检测方法。
表1是本发明与5个对比方法的正确率对比表。该5种对比方法均为单一信号源的方法检测方法，对比方法1(Delta EEG)为根据δ波脑电信号判断的疲劳检测方法，对比方法2(Gamma EEG)为根据γ波脑电信号判断的疲劳检测方法，对比方法3(Alpha EEG)为根据α波脑电信号判断的疲劳检测方法，对比方法4(Beta EEG)为根据β波脑电信号判断的疲劳检测方法，对比方法5(EOG)为根据眼电信号判断的疲劳检测方法；如表1所述，本发明较其他检测方法在正确率上有了很大的提高。
方法 正确率
对比方法1(Delta EEG) 90.2％
对比方法2(Gamma EEG) 95.1％
对比方法3(Alpha EEG) 92.7％
对比方法4(Beta EEG) 94.2％
对比方法5(EOG) 93.1％
本发明 98.9％
表1
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (9)

  1. 一种疲劳检测方法，其特征在于，包括：
    采集使用者的脑电信号和眼电信号；
    预处理脑电信号和眼电信号；
    对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；根据特征值进行分类，确认使用者的疲劳状态；
    其中，对脑电信号和眼电信号进行特征提取和特征融合以得到特征值包括：
    对脑电信号按频率范围进行重构；
    提取眼电信号的第一样本熵；
    提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
    将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
    将眼电信号的第一样本熵以及脑电信号的多个融合特征熵构成特征值。
  2. 根据权利要求1所述的一种疲劳检测方法，其特征在于，所述对脑电信号按频率范围进行重构具体为：利用离散小波变换方法对脑电信号按频率范围重构得到δ波、θ波、α波和β波四个子频带波形；其中，δ波的频率范围为0.01-3.91Hz，θ波的频率范围为3.91-7.81Hz，α波的频率范围为7.81-13.67Hz，β波的频率范围为13.67-31.25Hz。
  3. 根据权利要求2所述的一种疲劳检测方法，其特征在于，所述提取眼电信号的第一样本熵具体为：
    提取眼电信号的垂直方向样本熵y SamEn；
    提取眼电信号的水平方向样本熵x SamEn；
    所述提取重构后的脑电信号的频谱熵、第二样本熵和近似熵具体为：提取δ波脑电信号得到δ波频谱熵δ SpeEn、δ波样本熵δ SamEn和δ波近似熵δ AppEn；
    提取θ波脑电信号得到θ波频谱熵θ SpeEn、θ波样本熵θ SamEn和θ波近似熵θ AppEn；
    提取α波脑电信号得到α波频谱熵α SpeEn、α波样本熵α SamEn和α波近似熵α AppEn；
    提取β波脑电信号得到β波频谱熵β SpeEn、β波样本熵β SamEn和β波近似熵β AppEn。
  4. 根据权利要求3所述的一种疲劳检测方法，其特征在于，所述将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵具体为：
    将δ波频谱熵δ SpeEn、θ波频谱熵θ SpeEn、α波频谱熵α SpeEn和β波频谱熵β SpeEn两两之间降维融合得到第一融合特征熵；
    将δ波样本熵δ SamEn、θ波样本熵θ SamEn、α波样本熵α SamEn和β波样本熵β SamEn两两之间降维融合得到第二融合特征熵；
    将δ波近似熵δ AppEn、θ波近似熵θ AppEn、α波近似熵α AppEn和β波近似熵β AppEn两两之间降维融合得到第三融合特征熵。
  5. 根据权利要求4所述的一种疲劳检测方法，其特征在于，所述根据特征值进行分类，确认使用者的疲劳状态具体为：
    输入特征值到RVM分类器；
    根据下式计算疲劳状态的概率：
    Figure PCTCN2020078294-appb-100001
    p(t i＝0|w)＝1-p(t i＝1|w)；
    Figure PCTCN2020078294-appb-100002
    其中，x＝[x 1,...x i,...x 5]为输入RVM分类器的特征值；y(x i；ω)为RVM分类器的输出；w为RVM分类器的权重；K(x,x i)为核函数；p(t i＝1|w)为使用者处于疲劳状态的概率值；p(t i＝0|w)为使用者处于非疲劳状态的概率值；
    根据p(t i＝1|w)和p(t i＝0|w)的值确认使用者的疲劳状态。
  6. 根据权利要求5所述的一种疲劳检测方法，其特征在于，所述预处理脑电信号和眼电信号包括：
    对脑电信号和眼电信号进行去趋势处理；
    对脑电信号和眼电信号进行去均值处理；
    对脑电信号和眼电信号进行带通滤波处理。
  7. 一种疲劳检测装置，其特征在于，包括：
    采集模块，用于采集使用者的脑电信号和眼电信号；
    预处理模块，用于预处理脑电信号和眼电信号；
    特征值获取模块，用于对脑电信号和眼电信号进行特征提取和特征融合以得到特征值；
    确认模块，用于根据特征值进行分类，确认使用者的疲劳状态；其中，特征值获取模块包括：
    重构单元，用于对脑电信号按频率范围进行重构；
    第一提取单元，用于提取眼电信号的第一样本熵；
    第二提取单元，用于提取重构后的脑电信号的频谱熵、第二样本熵和近似熵；
    融合单元，用于将重构后的脑电信号的频谱熵、第二样本熵和近似熵降维融合得到多个融合特征熵；
    合成单元，用于将眼电信号的第一样本熵以及脑电信号的多个融合特征熵构成特征值。
  8. 一种疲劳检测装置，其特征在于，包括处理器以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行如权利要求1-6任一项所述的方法。
  9. 一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-6任一项所述的方法。
PCT/CN2020/078294 2019-02-01 2020-03-06 一种疲劳检测方法、装置及其存储介质 Ceased WO2020156589A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910102663.7A CN109875552B (zh) 2019-02-01 2019-02-01 一种疲劳检测方法、装置及其存储介质
CN201910102663.7 2019-02-01

Publications (1)

Publication Number Publication Date
WO2020156589A1 true WO2020156589A1 (zh) 2020-08-06

Family

ID=66927738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/078294 Ceased WO2020156589A1 (zh) 2019-02-01 2020-03-06 一种疲劳检测方法、装置及其存储介质

Country Status (2)

Country Link
CN (1) CN109875552B (zh)
WO (1) WO2020156589A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113679396A (zh) * 2021-08-13 2021-11-23 北京脑陆科技有限公司 疲劳识别模型的训练方法、装置、终端及介质
CN114048784A (zh) * 2021-11-17 2022-02-15 江苏科技大学 基于共空间模式模糊小波包的脑电信号疲劳特征提取方法
CN116304643A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN116467574A (zh) * 2022-01-11 2023-07-21 浙江大学 脑功能状态判断方法、装置及存储介质
CN117171658A (zh) * 2023-09-18 2023-12-05 西安科技大学 一种基于脑智能技术的认知负荷评判方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109875552B (zh) * 2019-02-01 2021-09-28 五邑大学 一种疲劳检测方法、装置及其存储介质
CN110367967B (zh) * 2019-07-19 2021-11-12 南京邮电大学 一种基于数据融合的便携型轻量化人脑状态检测方法
CN111603158B (zh) * 2020-04-21 2023-06-16 苏州乐达纳米科技有限公司 基于电生理信号人工智能分析的疲劳驾驶告警方法及系统
CN113598792B (zh) * 2021-08-04 2024-01-30 杭州电子科技大学 基于有监督特征融合算法的癫痫脑电分类方法
CN114287940A (zh) * 2021-12-17 2022-04-08 深圳市海清视讯科技有限公司 疲劳检测方法、装置和电子设备
CN116301378A (zh) * 2023-03-20 2023-06-23 华南理工大学 一种可疲劳检测的脑机接口轮椅系统
CN121059165B (zh) * 2025-11-04 2026-04-24 中国民用航空西南地区空中交通管理局 基于多层感知机的疲劳检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100087701A1 (en) * 2008-10-07 2010-04-08 Advanced Brain Monitoring, Inc. Systems and Methods for Optimization of Sleep and Post-Sleep Performance
CN104970773A (zh) * 2015-07-21 2015-10-14 西安交通大学 一种基于双重特征筛选的自动睡眠分期方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
CN107280694A (zh) * 2017-07-18 2017-10-24 燕山大学 一种基于多源信息融合的疲劳检测方法
CN108670260A (zh) * 2018-03-09 2018-10-19 广东小天才科技有限公司 一种基于移动终端的用户疲劳检测方法及移动终端
CN109875552A (zh) * 2019-02-01 2019-06-14 五邑大学 一种疲劳检测方法、装置及其存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5743860A (en) * 1996-03-20 1998-04-28 Lockheed Martin Energy Systems, Inc. Apparatus and method for epileptic seizure detection using non-linear techniques
US7920914B2 (en) * 2007-04-12 2011-04-05 Yuan Ze University Method for monitoring the depth of anesthesia
CN103584840B (zh) * 2013-11-25 2015-05-27 天津大学 基于脑电、心率变异及两者相干性的自动睡眠分期方法
WO2016019526A1 (zh) * 2014-08-06 2016-02-11 中国科学院自动化研究所 脑活动检测方法和系统
CN104794505A (zh) * 2015-04-28 2015-07-22 上海大学 一种多通道的脑电信号数据融合降维方法
CN107280663A (zh) * 2017-07-07 2017-10-24 南京邮电大学 一种基于不同实验难度的疲劳脑电特征研究的方法
CN108272463A (zh) * 2017-08-07 2018-07-13 上海交通大学 一种基于脑电信号的飞行员疲劳检测方法
CN108320800A (zh) * 2018-04-16 2018-07-24 吉林大学 癫痫病发作检测和发作前预测的脑电数据分析系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100087701A1 (en) * 2008-10-07 2010-04-08 Advanced Brain Monitoring, Inc. Systems and Methods for Optimization of Sleep and Post-Sleep Performance
CN104970773A (zh) * 2015-07-21 2015-10-14 西安交通大学 一种基于双重特征筛选的自动睡眠分期方法
CN106108893A (zh) * 2016-06-20 2016-11-16 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
CN107280694A (zh) * 2017-07-18 2017-10-24 燕山大学 一种基于多源信息融合的疲劳检测方法
CN108670260A (zh) * 2018-03-09 2018-10-19 广东小天才科技有限公司 一种基于移动终端的用户疲劳检测方法及移动终端
CN109875552A (zh) * 2019-02-01 2019-06-14 五邑大学 一种疲劳检测方法、装置及其存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113679396A (zh) * 2021-08-13 2021-11-23 北京脑陆科技有限公司 疲劳识别模型的训练方法、装置、终端及介质
CN114048784A (zh) * 2021-11-17 2022-02-15 江苏科技大学 基于共空间模式模糊小波包的脑电信号疲劳特征提取方法
CN116467574A (zh) * 2022-01-11 2023-07-21 浙江大学 脑功能状态判断方法、装置及存储介质
CN116304643A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN116304643B (zh) * 2023-05-18 2023-08-11 中国第一汽车股份有限公司 脑力负荷检测及模型训练方法、装置、设备及存储介质
CN117171658A (zh) * 2023-09-18 2023-12-05 西安科技大学 一种基于脑智能技术的认知负荷评判方法

Also Published As

Publication number Publication date
CN109875552A (zh) 2019-06-14
CN109875552B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
WO2020156589A1 (zh) 一种疲劳检测方法、装置及其存储介质
US12011281B2 (en) Quantifying motor function using eeg signals
Wu et al. Automatic epileptic seizures joint detection algorithm based on improved multi-domain feature of cEEG and spike feature of aEEG
CN112741638B (zh) 一种基于eeg信号的医疗诊断辅助系统
CN105520732B (zh) 用于评估脑功能的方法和便携式自动脑功能评估设备
Bono et al. Hybrid wavelet and EMD/ICA approach for artifact suppression in pervasive EEG
CN112426162A (zh) 一种基于脑电信号节律熵的疲劳检测方法
Gangadharan et al. Drowsiness detection using portable wireless EEG
Wei et al. A multi-class automatic sleep staging method based on long short-term memory network using single-lead electrocardiogram signals
Wang et al. EEG characteristic analysis of coach bus drivers based on brain connectivity as revealed via a graph theoretical network
CN107280663A (zh) 一种基于不同实验难度的疲劳脑电特征研究的方法
WO2018053968A1 (zh) 睡眠状态分析中去除眼电伪迹的设备
WO2025130992A1 (zh) 一种脑电信号实时伪迹处理与特征提取的方法和系统
CN103767702A (zh) 一种脑电非线性双测度特征提取与融合处理方法
CN107411738A (zh) 一种基于静息脑电相似性的情绪跨个体识别方法
CN115316957A (zh) 基于多参数指标的围术期麻醉深度监测系统
CN115005837A (zh) 目标脑电信号的获取方法、装置、电子设备和存储介质
Chandel et al. Epileptic eeg signal classification using machine learning based model
Roy Effective EEG artifact removal from EEG signal
Mirzaei et al. Surrogate data test for nonlinearity of EEG signals: A newborn EEG burst suppression case study
Ghuli et al. Quantification of EEG Characteristics for Epileptic Seizure Detection and Monitoring of Anaesthesia Using Spectral Analysis
ElSayed et al. Multimodal analysis of electroencephalographic and electrooculographic signals
Fang et al. Hybrid MVMD-ICA framework for EOG artifacts removal from few-channel EEG signals
Patel et al. Sleep Stages Classification Based on Diverse Resting-State Multi-Channel EEG Using Deep Learning
Kiamini et al. Elimination of Ocular Artifacts from EEG signals using the wavelet transform and empirical mode decomposition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20748771

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20748771

Country of ref document: EP

Kind code of ref document: A1