KR20190130925A - 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 - Google Patents
뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 Download PDFInfo
- Publication number
- KR20190130925A KR20190130925A KR1020180055648A KR20180055648A KR20190130925A KR 20190130925 A KR20190130925 A KR 20190130925A KR 1020180055648 A KR1020180055648 A KR 1020180055648A KR 20180055648 A KR20180055648 A KR 20180055648A KR 20190130925 A KR20190130925 A KR 20190130925A
- Authority
- KR
- South Korea
- Prior art keywords
- fatigue
- concentration
- drowsiness
- nervous system
- autonomic nervous
- Prior art date
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 319
- 210000003403 autonomic nervous system Anatomy 0.000 title claims abstract description 173
- 230000007177 brain activity Effects 0.000 title claims abstract description 169
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 210000001747 pupil Anatomy 0.000 claims description 81
- 208000032140 Sleepiness Diseases 0.000 claims description 73
- 230000037321 sleepiness Effects 0.000 claims description 73
- 210000004556 brain Anatomy 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 34
- 230000033001 locomotion Effects 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000012706 support-vector machine Methods 0.000 claims description 21
- 238000010832 independent-sample T-test Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 210000000653 nervous system Anatomy 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 42
- 238000000537 electroencephalography Methods 0.000 description 157
- 238000010586 diagram Methods 0.000 description 25
- 210000001508 eye Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 210000003169 central nervous system Anatomy 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012352 Spearman correlation analysis Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 210000001428 peripheral nervous system Anatomy 0.000 description 3
- 238000012353 t test Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001442654 Percnon planissimum Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
- A61B5/4035—Evaluating the autonomic nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4884—Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
Abstract
본 발명은, 자율신경계 생체신호와 상기 자율신경계 생체신호로부터 추정한 뇌 활동의 특징을 입력하여 생성된, 빅데이터 기반의 기계학습모델을 이용하여, 운전자의 생체신호에 따른 뇌활동도를 판단하고, 상기 뇌활동도에 따라 운전자의 집중도 및 피로도 상태를 출력하는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템에 관한 것이다.
본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템은, PPG(광용적 맥파) 검출부를 포함하며, 운전자로부터, PPG 신호를 포함하되 뇌파를 제외한 자율신경계 신호를 검출하고, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는, 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하여, 검출된 자율신경계 신호의 특징을 입력벡터로서 입력되면, 심층신경망(DNN)의 회귀모델을 이용하여, 뇌활성도를 출력하는, 뇌활성도 검출부; 뇌활성도 검출부로부터 검출된 뇌활성도가 입력되면 심층신경망(DNN)의 회귀모델을 이용하여, 졸음정도를 나타내는 졸음 점수를 출력하는, 졸음상태 분류기;를 포함하는 것을 특징으로 한다.
본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템은, PPG(광용적 맥파) 검출부를 포함하며, 운전자로부터, PPG 신호를 포함하되 뇌파를 제외한 자율신경계 신호를 검출하고, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는, 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하여, 검출된 자율신경계 신호의 특징을 입력벡터로서 입력되면, 심층신경망(DNN)의 회귀모델을 이용하여, 뇌활성도를 출력하는, 뇌활성도 검출부; 뇌활성도 검출부로부터 검출된 뇌활성도가 입력되면 심층신경망(DNN)의 회귀모델을 이용하여, 졸음정도를 나타내는 졸음 점수를 출력하는, 졸음상태 분류기;를 포함하는 것을 특징으로 한다.
Description
본 발명은, 자율신경계 생체신호와 상기 자율신경계 생체신호로부터 추정한 뇌 활동의 특징을 입력하여 생성된, 빅데이터 기반의 기계학습모델을 이용하여, 운전자의 생체신호에 따른 뇌활동도를 판단하고, 상기 뇌활동도에 따라 사용자(예로 운전자)의 집중도 또는 피로도 또는 졸음 상태를 출력하는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템에 관한 것이다.
일반적으로 신경계는 크게 보았을 때, 중추신경계와 말초신경계로 나눌 수 있으며, 중추신경계는 뇌와 척수로 구성되며 말초신경계는 뇌와 척수에서 들어오고 나가는 신경다발들로 구성된다. 말초신경계는 신체 내외의 정보를 중추신경계로 보내는 역할을 맡고 있으며, 중추신경계는 이를 종합, 분석하여 신체가 적절한 반응을 일으킬 수 있도록 해준다. 중추신경계의 신호로서, 뇌파를 들 수 있다.
또한, 자율신경은 말초신경의 하나로, 호흡, 순환, 대사, 체온, 소화, 분비, 생식 등 생명활동의 기본이 되는 기능이 항상성(homeostasis)을 유지하는 데 중요한 역할을 하며, 무의식적으로 작용한다. 자율신경계 신호로서, PPG(광용적맥파), GSR(피부 전기 전도도), SKT(피부 온도), 동공 위치(움직임), 동공 크기 등을 들 수 있다.
운전자의 집중도 또는 피로도를 검출하기 위한 다양한 종래 기술들이 있다.
첫번째로, 차체 센서나 동작 감지 센서 등으로 차량 외부 환경을 모니터링하여 간접적으로 집중도 및 피로도를 추정하는 기술이 있다. 예를 들어 차량 전방 카메라 센서 및 조향각의 변화를 통해 취득된 차량 운행상태 정보를 근거로 운전자의 운전 집중도를 판단하는 시스템이 있다. 이러한 기술들은 운전자의 생체상태와 직접적 연관성이 없기 때문에, 집중도/피로도 등을 정확하게 추적하기 어렵다는 한계를 가진다.
두번째로, 뇌파 이외의 생체신호(즉, 자율신경계 신호)를 이용하여 집중도 및 피로도를 검출하는 시스템이 있다. 예를 들어, 운전자의 시선을 추적하여, 운전자의 자세에 따른 압력을 측정하거나 하여 집중도를 측정하는 기술이 있다. 이들 생체신호를 이용한 기술들은 운전자 상태의 검출이 비교적 용이하다는 장점은 있지만, 이들 생체신호가 내포하고 있는 집중 및 피로도 상태에 관한 정보량이 적어, 운전자의 집중 및 피로도 상태를 정확하게 나타내는 데는 한계가 있다.
세번째로, 뇌 활동을 검출하여, 이로써 운전자의 집중도/피로도를 검출하는 시스템이 있다. 이는 다른 기술방법에 비해 정확도가 높지만, 뇌파를 측정하기 위해 머리에 전극을 부착해야 하는 등, 복잡하거나 번거로운 장치를 필요로 하며, 그 분석을 위해서도 복잡한 과정을 거쳐야 하기 때문에, 다른 기술에 비해, 편리성 및 실용성이 매우 떨어져 실제 산업적 이용 가능성이 낮다.
그러므로 손쉽게 검출할 수 있는 자율신경계 신호를 이용하여 뇌활동 신호를 추정하고, 추정된 뇌활동 신호를 이용하여 운전자의 집중 및 피로도를 검출하는 시스템이 요망된다.
따라서, 본 발명에서는 상대적으로 습득이 용의한 자율신경계 신호로부터 뇌 활동의 특징을 추정하여 빅데이터 기반 기계학습모델을 통해 운전자의 집중 및 피로도를 검출하는 기술을 제안한다.
뇌파란 뇌의 전기적활동을 머리 표면에 부착한 전극을 이용하여 측정하는 전기신호이다. 다음 표와 같이, 일반적으로 뇌파는 진동하는 주파수의 범위에 따라 델타파(0.5~4.99Hz), 세타파(5~7.99Hz), 알파파(8~11.99Hz), 베타파(12~35Hz), 감마파(30~50Hz)로 구분된다.
알파파는 긴장이완과 같은 편안한 상태에서 주로 나타나는데, 안정되고 편안한 상태일수록 진폭이 증가한다. 안정된 알파파가 나타나는 때는 눈을 감고 진정한 상태에 있을 때 나타나고, 눈을 뜨고 물체를 주시하거나 정신적으로 흥분하게 되면 알파파는 억제된다.
세타파는 졸리거나 의식이 흐릿할 때 나타나는 뇌파로, "졸음파" 또는 "서파수면파(徐波睡眠波)"라고 불리며, 잠에 빠져들 때 나타나는 뇌파이다.
베타파는 의식이 깨어 있을 때의 뇌파로, 스트레스파라고도 하며 불안, 긴장 등의 활동파이다. 다음 표와 같이, 베타파는 SMR 베타파, Mid 베타파, High베타파로 나뉜다.
SMR 베타파(sensory motor Rhythm, low beta)는 12~15Hz이며, 주의 상태로 외부정보에 대한 집중력이 강화될때 나타나는 뇌파이다.
Mid(미드) 베타파는 16~20Hz이며, 집중, 활동상태로 각성상태이며, 과제 수행시의 상태이다.
High 베타파는 21~35Hz이며, 긴장, 흥분 상태, 스트레스 상태로, 억제와 관련있다.
측정된 뇌파속에서 각 진동성분이 얼마만큼의 비중을 차지하고 있는지를 정량적으로 파악하는 것이 필요하며, 이를 위해 주로 파워스펙트럼에 의해 분석한다. 파워 스펙트럼이란, 자기상관함수를 푸리에변환하는 것으로, 일반적으로 뇌파신호를 STFT(단기 푸리에 변환)나 웨이블릿 변환(wavelet transform) 등을 행하여, log 스케일의 power(단위는 dB)로 나타낸 것을 말한다.
일반적으로, 뇌파 집중지표는 SMR 베타파의 파워스펙트럼과 Mid 베타파의 파워스펙트럼을 더한 값을 세타파 파워스펙트럼으로 나눈 값이 뇌파 집중지표이다. 그러나, 이 방법은 단순히 파워의 비율을 계산한 것으로 해당 지표만을 이용하여 집중도를 정확히 검출하지 못한다.
선행기술로, 국내 등록특허 제10-1693716호의 뇌파를 이용한 졸음정도 및 집중정도의 판단 방법 및 이를 이용한 집중력저감 알림 시스템이 있다. 이는 뇌파를 검출하여 졸음정도 및 집중정도를 판단하는 것으로, 뇌파를 측정하기 위해서는, 피검자(사용자)의 머리에 다수의 뇌파 전극을 소정 위치들에 장착해야 하는 데, 이때 뇌파 전극을 머리카락 등을 피해 머리의 피부에 접촉하게 장착해야 하며 피검자의 움직임에 따라 많은 잡음이 혼입된다. 따라서 뇌파를 검출하여 졸음정도 및 집중정도를 판단하는 방법을 현실적으로 문제가 많다.
다른 선행기술로, 국내 공개특허 제10-2016-0110371호는 차량 탑승자의 요구에 따른 자동차를 조작하는 방법 및 장치에 관한 것으로, 운전자의 손발 움직임에 따른 신호 이외에, 뇌전도를 측정하여 뇌활동도를 검출하고, 이들을 이용하여 자동차를 조작한다.
그러나 이 발명 또한, 뇌파를 측정하기 위해서는, 머리에 다수의 뇌전도 전극을 소정 위치들에 장착해야 하는 데, 이때 뇌전도 전극을 머리카락 등을 피해 머리의 피부에 접촉하게 장착해야 한다. 따라서 뇌파를 직접적으로 검출하여 자동차를 조작하는 방법을 현실적으로 운전자에게 적용하는 것은, 문제가 많다.
따라서, 국내 공개특허 제10-2016-0110371호에서, 뇌파를 측정하여 뇌활동도를 검출하고, 이들을 이용하여 자동차를 조작하는 방법은, 실제적으로 상용화되기 어렵다.
또 다른 선행기술로, 국내 공개특허 제10-2016-0038914호는 생체신호를 이용한 졸음운전 판단장치에 관한 것으로, 뇌파센서, 안구전도센서, 광용적맥파센서를 포함한 생체정보센서를 운전자의 두부에 구비하여 운전자의 뇌파, 안구전도, 광용적맥파를 획득하고, 가속도센서 및 자이로센서로부터 머리의 움직임 상태 신호를 획득하여, 회득된 생세신호와 머리 움직임신호를 분석하여 운전자의 졸음여부를 판단하고, 이를 경보한다. 즉, 국내 공개특허 제10-2016-0038914호는 PPG, 뇌파, 운전자의 머리 움직임 신호을 이용하여 졸음운전여부를 판단한다. 그러나, 이와같이 뇌파를 검출하여 졸음여부를 판단하는 방법은, 앞선 선행기술과 같은 이유로 문제가 많다.
빅데이터 처리기술이 지향하는 모델은 딥러닝(Deep Learning)으로, 기계학습(Machine Learning, 머신러닝)으로도 불리며, 이의 궁극적 목표는 이를 기반 삼아 컴퓨터에 인공지능을 부여하는 것이다.
자율신경계 신호와 뇌 활동 신호 간의 관계를 관찰하는 연구들에 대해서는 시작단계로, 아직 이렇다 할 연구 성과가 현재로서는 보고되어 있지 않다.
본 발명이 이루고자 하는 기술적 과제는, 자율신경계 생체신호와, 이 자율신경계 생체신호로부터 추정한 뇌 활동의 특징을 입력하여 생성된, 빅데이터 기반의 기계학습모델을 이용하여, 운전자의 생체신호에 따른 뇌활동도를 판단하고, 상기 뇌활동도에 따라 운전자의 집중도 또는 피로도 또는 졸음 상태를 출력하는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 두 개의 빅데이터 기반 기계학습모델을 이용하되, 제 1 기계학습모델에, 입력신호로서, PPG(광용적맥파)(본 발명에서는 '맥파'로 통칭함), GSR(피부 전기 전도도), SKT(피부 온도), 동공 위치(움직임), 동공 크기를 입력하면, 제 1 기계학습모델로부터, 뇌활동도가 출력되며, 제 2 기계학습모델에, 입력신호로서, 출력된 뇌활동도를 입력하면, 제 2 기계학습모델로부터, 집중도 또는 피로도 또는 졸음상태가 출력되는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 빅데이터 기반의 기계학습모델을 이용하되, 심층신경망(DNN, deep neural network) 등을 통해 기계학습모델을 학습시키기 위해, 뇌파로 부터 검출된 파워 스펙트럼(PSD) 및 위상, GSR(피부 전기 전도도), SKT(피부 온도), PPG(맥파)로부터 검출된 피크 간격(심박 주기) 및 심박 변이, 동공 위치(움직임), 동공 크기의 데이터를, 기계학습모델에 입력하여, 학습된 제 1 기계학습모델과, 제 1 기계학습모델로부터 출력된 뇌활동도와 자율신경계 특징, 집중도/피로도/졸음 상태점수 데이터를, 기계학습모델에 입력하여 학습된 제 2 기계학습모델을 이용하는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템을 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템은, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부를 포함하며, 뇌파를 제외한 자율신경계 신호를 검출하여, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하고, 검출된 자율신경계 신호의 특징을 입력벡터로서 심층신경망(DNN)으로 이루어진 뇌활성도 학습모델에 입력하여, 뇌활성도 학습모델로부터 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 출력하게 하며, 출력된 뇌활성도와 자율신경계 신호의 특징을 인공지능의 회귀모델로 이루어진 집중도/피로도/졸음 학습모델에 입력하여 집중도/피로도/졸음 학습모델로부터 집중도/피로도/졸음의 정도를 점수를 출력하는 연산처리부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템은, 뇌파를 제외하며, PPG(광용적 맥파) 신호를 포함하는 자율신경계 신호를 검출하여, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호를 이용하여 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 추출하는 연산처리부를 포함하는 집중도 또는 피로도 또는 졸음 모니터링 시스템에 있어서, 연산처리부는, 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는 특징 검출부; 특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는 뇌활성도 판단부; 뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는 집중도/피로도/졸음 판단부를 포함하는 것을 특징으로 한다.
인공지능의 회귀모델은 서포트 벡터 머신(SVM) 또는 서포트 벡터 회귀(Support Vector Regression, SVR)이다.
뇌활성도 학습모델의 학습시에는. 생체신호 검출부는 뇌파를 검출하는 뇌파검출부를 더 포함하여, 집중도/피로도/졸음 시에, PPG를 포함하는 자율신경계 신호뿐만아니라, 뇌파를 동시에 검출하고, 연산처리부는, 상기 뇌파 및 자율신경계 신호로부터, 심박변이를 포함하는 자율신경계 신호의 특징뿐만 아니라, 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파의 특징을 검출하며, 뇌파의 특징 및 자율신경계 신호의 특징을, 뇌활성도 학습모델에 입력하여 학습시킨다.
인공지능의 회귀모델의 학습시에는.연산처리부는, 뇌파 및 자율신경계 신호뿐만아니라, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수를 집중도/피로도/졸음 학습모델에 입력하여 학습시킨다.
집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수는, 뇌활성도 학습모델의 학습을 위한 뇌파 및 자율신경계 신호의 검출시에, 입력도구에 의해 사용자로부터 입력하거나, 상기 뇌파 또는 자율신경계 신호로부터 검출된, 집중도/피로도/졸음 점수이다.
생체신호 검출부는, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부, 피부 컨덕턴스(skin conductance)를 검출하는 GSR(피부 전기 전도도) 검출부, 피부 온도를 검출하는 SKT(피부 온도) 검출부, 사용자의 눈을 촬영하는 카메라를 포함한다.
특징 검출부는. 생체신호 검출부로부터 수신된 맥파(PPG) 신호로부터 심박 주기를 검출하고, 연이은 심박 주기의 차를 심박 변이(PAV)로서 검출하며, 생체신호 검출부로부터 수신된 피부 컨덕턴스 신호를 미분하여 피부 컨덕턴스 반응(SCR)을 검출하며, 생체신호 검출부로부터 수신된 눈의 영상으로부터 동공을 추출하고, 추출된 동공의 위치(움직임) 및 크기를 검출하며, 맥파(PPG) 신호, 피부 컨덕턴스 신호, 피부 온도(SKT), 동공 위치, 동공 크기를 자율신경계 신호로하며, 피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를, 자율신경계 신호의 특징으로서 출력한다.
자율신경계 신호의 특징은, 자율신경계 신호의 진폭 (amplitude) 또는 자율신경계 신호의 표준편차를 더 포함한다.
뇌활성도 학습모델 및 인공지능의 회귀모델의 학습시에, 연산처리부는, 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하며, 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파 특징들을 검출하는 특징 검출부; 특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 부여된 집중도/피로도/졸음 점수를 상태점수 기준치와 비교하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누고, 제1 뇌파 특징군 및 제2 뇌파 특징군의 평균치를 구하고, 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군을 집중도/피로도/졸음의 뇌파지표로 출력하거나, 또는, 특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징을 검출하여 집중도/피로도/졸음의 뇌파지표로 출력하는, 집중도/피로도/졸음 뇌파지표 추출부; 집중도/피로도/졸음 뇌파지표 추출부로부터 수신된 집중도/피로도/졸음 뇌파지표와, 특징 검출부로부터 수신된 자율신경계 신호의 특징으로, 뇌활성도 학습모델을 학습시키는, 뇌활성도 학습부; 특징 검출부로부터 수신된 뇌파 특징과, 특징 검출부로부터 수신된 자율신경계 신호의 특징과, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수로, 집중도/피로도/졸음 학습모델을 학습시키는, 집중도/피로도/졸음 학습부;를 포함한다.
자율신경계 신호의 특징은, 피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를 포함하며, 뇌파의 주파수 대역에 따른 파워스펙트럼은 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워스펙트럼이다.
자율신경계 신호의 특징은, 자율신경계 신호의 진폭 (amplitude) 또는 자율신경계 신호의 표준편차를 더 포함하며, 뇌파 특징은, 세타/베타 비율(theta/beta ratio)을 포함하는 뇌파의 주파수 대역에 대한 파워 비율, 위상(Phase)을 이용한 영역 간 기능적 연결성, 정보 엔트로피(Shannon entropy), 독립성분(Individual component), 발산지수(Lyapunov exponent), 프랙탈 차원(fractal dimension)을 더 포함한다.
집중도/피로도/졸음 학습모델은 학습된 이진 또는 다 클래스(multiclass) 분류기이다.
뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는, 기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로, 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누었을때, 제1 뇌파 특징군과 제2 뇌파 특징군을 이용하여 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군이다.
또는, 뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는, 기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로, 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징이다.
또한, 본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법은, 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 연산처리부는, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는, 특징 검출단계; 연산처리부에서, 특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는, 뇌활성도 판단 단계; 연산처리부에서, 뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는, 집중도/피로도/졸음 분류 단계;를 포함하여 이루어진다.
특징 검출 단계는. 연산처리부가 생체신호 검출부로부터 수신된 맥파(PPG) 신호로부터 심박 주기를 검출하고, 연이은 심박 주기의 차를 심박 변이(PAV)로서 검출하며, 연산처리부가 생체신호 검출부로부터 수신된 피부 컨덕턴스 신호를 미분하여 피부 컨덕턴스 반응(SCR)을 검출하며, 연산처리부가 생체신호 검출부로부터 수신된 눈의 영상으로부터 동공을 추출하고, 추출된 동공의 위치(움직임) 및 크기를 검출하며, 맥파(PPG) 신호, 피부 컨덕턴스 신호, 피부 온도(SKT), 동공 위치, 동공 크기를 자율신경계 신호로 하며, 피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를, 자율신경계 신호의 특징으로서 출력한다.
또한, 본 발명은 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체를 특징으로 한다.
본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템은, 자율신경계 생체신호와, 이 자율신경계 생체신호로부터 추정한 뇌 활동의 특징을 입력하여 생성된, 제 1 기계학습모델을 이용하여, 운전자의 생체신호에 따른 뇌활동도를 판단하고, 상기 뇌활동도에 따라 제 2 기계학습모델을 이용하여 운전자의 집중도 또는 피로도 또는 졸음상태를 출력하여, 연산 등에 시간소모가 없으며, 간편하고, 보다 정확하게 운전자의 집중도 또는 피로도 또는 졸음상태를 검출한다.
또한, 본 발명은, 빅데이터 기반의 기계학습모델을 이용하되, 기계학습모델에, 입력신호로서, PPG(맥파), GSR(피부 전기 전도도), GSR(피부 전기 전도도), SKT(피부 온도), 동공 위치(움직임), 동공 크기를 입력하면, 기계학습모델로 부터, 뇌활동도가 출력되도록 이루어져, 복수의 자율신경계 신호를 이용하여 뇌활동도를 검출하는 데, 연산 등에 의한 시간소모가 없으며, 간편하고, 보다 정확하게 검출할 수 있다.
본 발명은, 빅데이터 기반의 기계학습모델을 이용하되, 심층신경망(DNN) 등을 통해 기계학습모델을 학습하기 위해, 뇌파로 부터 검출된 파워 스펙트럼(PSD) 및 위상, GSR(피부 전기 전도도), SKT(피부 온도), PPG(맥파)로부터 검출된 피크 간격(심박 주기) 및 심박 변이, SCR(피부 컨덕턴스 반응), 동공 위치(움직임), 동공 크기의 데이터를, 기계학습모델에 입력하여 학습(트래닝)시켜진 기계학습모델을 이용하므로, 뇌파 또는 자율신경계신호 만을 이용하여 집중도/피로도/졸음 상태를 판단하는 것보다, 정확도를 높인다.
본 발명의 주된 효과는, 첫번째로, 자율신경계 신호로부터 자율신경계 특징뿐만 아니라 집중도/피로도/졸음과 관련된 뇌 활동의 특징을 반영하기 때문에, 종래의 일반적인 자율신경계 신호특성만을 추출하는 것에 비해 보다 정확하게 운전자의 집중도/피로도/졸음 상태를 판단할 수 있다는 것이고, 두번째로, 뇌 활동을 측정하지 않고 자율신경계 신호만을 측정하여 집중도/피로도/졸음을 판단하므로 사용자의 편의성이 충족된다는 것이다.
도 1은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개념을 설명하기위한 모식도이다.
도 2는 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 사용 상태의 일예를 설명하는 설명도이다.
도 3은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개략적인 구성을 설명하는 블럭도이다.
도 3은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 다양한 실시예를 설명하는 모식도이다.
도 4은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개략적인 전체적 구성을 설명하는 블럭도이다.
도 5는 도 4의 집중도 또는 피로도 또는 졸음 모니터링 시스템에서의 학습부와 실시부를 설명하는 블럭도이다.
도 6은 도 2의 연산처리부에서 심층신경망에 입력되는 입력벡터를 검출하는 과정을 설명하기 위한 블럭도이다.
도 7은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 실시 시의 구성를 간략히 나타내는 블럭도이다.
도 8은 도 5의 학습부의 학습원리를 설명하기 위한 모식도이다.
도 9는 도 5의 뇌활성도 학습부의 구동을 설명하기 위한 설명도이다.
도 10은 도 5의 뇌활성도 학습모델(215)이 학습되는 원리를 설명하는 설명도이다.
도 11은 도 5의 학습부에서 기계학습모델의 갱신 과정을 설명하는 설명도이다.
도 12는 도 5의 집중도/피로도/졸음 학습부의 구동을 설명하기 위한 설명도이다.
도 13은 도 5의 뇌활성도 학습부 및 집중도/피로도/졸음 학습부에서 학습하는 과정 및 구성을 설명하기 위한 블럭도이다.
도 2는 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 사용 상태의 일예를 설명하는 설명도이다.
도 3은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개략적인 구성을 설명하는 블럭도이다.
도 3은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 다양한 실시예를 설명하는 모식도이다.
도 4은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개략적인 전체적 구성을 설명하는 블럭도이다.
도 5는 도 4의 집중도 또는 피로도 또는 졸음 모니터링 시스템에서의 학습부와 실시부를 설명하는 블럭도이다.
도 6은 도 2의 연산처리부에서 심층신경망에 입력되는 입력벡터를 검출하는 과정을 설명하기 위한 블럭도이다.
도 7은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 실시 시의 구성를 간략히 나타내는 블럭도이다.
도 8은 도 5의 학습부의 학습원리를 설명하기 위한 모식도이다.
도 9는 도 5의 뇌활성도 학습부의 구동을 설명하기 위한 설명도이다.
도 10은 도 5의 뇌활성도 학습모델(215)이 학습되는 원리를 설명하는 설명도이다.
도 11은 도 5의 학습부에서 기계학습모델의 갱신 과정을 설명하는 설명도이다.
도 12는 도 5의 집중도/피로도/졸음 학습부의 구동을 설명하기 위한 설명도이다.
도 13은 도 5의 뇌활성도 학습부 및 집중도/피로도/졸음 학습부에서 학습하는 과정 및 구성을 설명하기 위한 블럭도이다.
이하, 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템을 첨부된 도면을 참조하여 상세히 설명한다.
본 발명에서 집중도는 주의를 집중하는 정도를 나타내며, 피로도는 피로를 느끼는 정도를 나타내며, 여기서 피로는 정신적 및 육체적 작업에 수반해서 발생하는 심신기능의 저하상태를 말한다.
일반적으로 졸음은 잠이오는 느낌이나 상태로, 본 발명에서 졸음 정도(이하 설명의 편의상 '졸음' 이라 칭함)는 졸음을 느끼는 정도를 말한다.
또한, 이하, 설명의 편의상, '집중도 또는 피로도 또는 졸음'을, '집중도/피로도/졸음' 이라한다.
도 1은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 개념을 설명하기위한 모식도이고, 도 2는 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 사용 상태의 일예를 설명하는 설명도이고, 도 3은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 다양한 실시예를 설명하는 모식도이다.
도 1에서와 같이, 운전자로부터, 뇌파를 제외한 자율신경계 신호인, PPG(맥파), GSR(피부 전기 전도도), SKT(피부 온도), 동공 위치(움직임), 동공 크기 등을 검출하고, 검출된 자율신경계 신호를 심층신경망에 입력하고, 이에 따라, 심층신경망(DNN)은 뇌활성도, 즉, 상기 자율신경계 신호에 따른 뇌활성도를 출력하며, 출력된 뇌활성도를 집중도/피로도/졸음 판단부(집중도/피로도/졸음 분류기)(227)에 입력하여 운전자의 상태 점수를 출력하고, 운전자의 집중도 상태 또는 피로도 상태 또는 졸음 상태 점수가 위험수준일 경우는 출력부(270)를 통해 알람을 울리게 한다.
도 2에서와 같이, 운전자의 전방에는 카메라(150)가 장착되어 운전자의 눈(안구)를 촬영하고, 촬영된 영상은 차량에 장착된 연산처리부(200)로 전송되며, 연산처리부(200)는 촬영된 영상으로부터 운전자의 동공 위치(움직임) 및 동공 크기를 검출한다.
또한, 운전자의 손목에 장착된 스마트 단말기에 PPG(맥파) 검출부(110), GSR(피부 전기 전도도) 검출부(120), SKT(피부 온도) 검출부(130)를 구비하여, 운전자의 PPG(맥파), 피부 컨덕턴스, SKT(피부 온도)를 검출하며, 연산처리부(200)로 전송한다.
연산처리부(200)는 PPG(맥파) 검출부(110)로부터 수신된 PPG(맥파)로부터, 심박 주기 및 심박 변이(Pulse rate variability, PAV)를 검출하고, GSR(피부 전기 전도도), 다시말해, 피부 컨덕턴스로부터 SCR(피부 컨덕턴스 반응)를 검출한다.
연산처리부(200)는 심박 주기, 심박 변이(PAV), SCR(피부 컨덕턴스 반응), SKT(피부 온도), 동공 위치(움직임), 동공 크기를 입력벡터로서, 기계학습 회귀모델에 입력한다. 본 발명의 기계학습 회귀모델은 심층신경망(DNN)과 서포트 벡터 머신(SVM, Support Vector Machine)을 이용한다. 그 중 심층신경망(DNN)은 후술되는 뇌활성도 학습모델, 뇌활성도 판단부에서 이루어진다. 서포트 벡터 머신(SVM)은 인공지능의 회귀모델 중 하나로, 집중도/피로도/졸음 학습모델, 집중도/피로도/졸음 판단부에서 이루어진다. 심층신경망(DNN)은 이들 입력벡터에 따라 뇌활성도 학습모델(215)로 부터 뇌활성도를 출력하며, 출력된 뇌활성도와 자율신경계 특징(즉, 심박 주기, 심박 변이, SCR, SKT 동공 위치, 동공 크기)의 입력벡터를 집중도/피로도/졸음 학습모델(225)에 입력하여 운전자의 집중도/피로도/졸음 상태를 분석하고, 위험수준일 경우는 출력부(270)를 통해 알람을 울리게 한다.
또한, 본 발명은 다양한 실시예를 가질 수 있다.
예를 들어, 도 3의 (a)에서와 같이 학생들의 집중도를 확인하고 알리기 위해 사용될 수 있다. 학생들로부터, 뇌파를 제외한 자율신경계 신호인, PPG(맥파), GSR(피부 전기 전도도), SKT(피부 온도), 동공 위치(움직임), 동공 크기 등을 검출하고, 검출된 자율신경계 신호를 심층신경망(DNN)에 입력하고, 이에 따라, 심층신경망(DNN 등)은 뇌활성도, 즉, 상기 자율신경계 신호에 따른 뇌활성도를 출력하며, 출력된 뇌활성도를 집중도/피로도/졸음 분류기(227)에 입력하여 학생들의 상태를 분석하고, 학생들의 집중도 상태가 기설정된 기준치 이하일 경우는 출력부(270)를 통해 진동 등으로 학생에게 피드백을 줄 수 있다.
즉, 도 3의 (a)는 학생에게 장착된 자율신경계 신호 측정기(미도시)로 뇌파를 제외한 자율신경계 신호를 측정하여, 뇌 활성도를 추정하고, 수업 집중도를 평가하는 것이다. 모든 학생들에게 뇌파 측정기기를 보급하는 것은 경제성 및 효율성이 떨어지므로, 본 발명과 같이 이미 학습된 심층신경망을 이용하여 집중도를 평가하는 것이 유용하다. 이에 따라 매 수업마다 객관적인 평가가 가능하고 피드백을 줄 수 있어 학업능력 향상에 도움이 된다.
또한, 도 3의 (b)에서와 같이 노동자들의 피로도를 측정하여 피로를 해소시키기 위해 사용될 수 있다. 예를 들어, 텔레마케터와 같은, 모두 동일한 단조로운 노동을 수행하는 업무 노동자들에게 장착된 자율신경계 신호 측정기로부터, 뇌파를 제외한 자율신경계 신호인, PPG(맥파), 피부 컨덕턴스, SCR(피부 컨덕턴스 반응), SKT(피부 온도), 동공 위치(움직임), 동공 크기 등을 검출하고, 검출된 자율신경계 신호를 심층신경망에 입력하고, 이에 따라, 심층신경망은 뇌활성도, 즉, 상기 자율신경계 신호에 따른 뇌활성도를 출력하며, 출력된 뇌활성도를 집중도/피로도/졸음 분류기(220)에 입력하여 노동자의 상태를 분석하고, 노동자의 피로도가 기설정된 기준치 이상일 경우는 출력부(270)를 통해 진동, 알람 등으로 노동자에게 피드백을 주고, 또한, 노동자의 업무 분배 관리자에게 이를 알릴 수도 있다. 이에 따라 노동자는 휴식을 취하여 피로도를 낮출 수 있으며, 노동자의 업무 분배 관리자는 피로도가 낮은 노동자에게 우선 업무를 분배할 수 있다.
즉, 도 3의 (b)는 노동자들로부터 기록한 자율신경계 신호를 통해서 뇌 활성도를 추정하고 노동자의 피로도를 평가하는 것이다. 일반적으로, 동일한 단조로운 노동을 수행하는 업무 노동자들의 경우에, 노동자들의 피로도에 따라, 노동자별 업무의 분배가 중요하다. 새로운 업무 발생 시, 피로도가 낮은 노동자에게, 높은 우선순위로 업무를 할당하는 것이 필요하다. 또한, 각 노동자에게서는 피로도가 심할 경우 적정히 쉴 수 있다. 이로써 전체 노동자들의 업무 효율을 높이고, 피로를 감소시켜 복지를 향상시키는 데 도움이 된다.
또한, 도 3의 (c)에서와 같이 운전자에게 적용할 수 있다.
도 3의 (c)의 경우, 뇌파를 제외한 자율신경계 신호를 검출하기 위해, 손가락에 장착된 전극들을 이용하여 검출하여 운전자의 졸음 상태를 평가한다. 도 3의 (c)는, 손가락에 장착된 전극들을 이용하여 자율신경계 신호를 검출하는 것 이외에는 도 2와 동일하다.
즉, 운전자의 졸음을 검출하기 위해서, 뇌파는 편의성이 떨어지며, 움직이는 운전자의 머리카락 위에서 검출되는 뇌파의 데이터에는 잡음 등이 많이 혼입되어 있어 제대로된 뇌파를 검출하기 어렵다. 따라서, 본 발명에서는 뇌파를 제외한 자율신경계 신호를 이용하여 뇌활성도를 추정하여 집중도, 피로도, 졸음의 정도를 판단한다.
도 4은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)의 개략적인 전체적 구성을 설명하는 블럭도이고, 도 5는 도 4의 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)에서의 학습부(101)와 실시부(102)를 설명하는 블럭도이고, 도 6은 도 2의 연산처리부에서 심층신경망에 입력되는 입력벡터를 검출하는 과정(즉, 특징 검출부(205)의 구동과정)을 설명하기 위한 블럭도이고, 도 7은 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)의 실시 시의 구성(즉, 도 5의 실시부(102))를 간략히 나타내는 블럭도이고, 도 8은 도 5의 학습부(101)의 학습원리를 설명하기 위한 모식도이고, 도 9는 도 5의 뇌활성도 학습부(210)의 구동을 설명하기 위한 설명도이고, 도 10은 도 5의 뇌활성도 학습모델(215)이 학습되는 원리를 설명하는 설명도이고, 도 11은 도 5의 학습부(101)에서 기계학습모델(215, 225)의 갱신 과정을 설명하는 설명도이고, 도 12는 도 5의 집중도/피로도/졸음 학습부(220)의 구동을 설명하기 위한 설명도이고, 도 13은 도 5의 뇌활성도 학습부(210) 및 집중도/피로도/졸음 학습부(220)에서 학습하는 과정 및 구성을 설명하기 위한 블럭도이다.
도 4에서와 같이, 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)은 생체신호 검출부(100), 연산처리부(200), 출력부(270), 데이터베이스(300)을 포함한다. 그러나, 도 5에서와 같이, 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)은, 연산처리부(200)에서 심층신경망을 학습시키는 학습부와, 기 학습된 신경망을 이용하여 집중도 또는 피로도 또는 졸음의 정도을 판단하는 실시부로 분리된다. 다시말해, 도 5에서와 같이, 실시 시의 경우(즉, 실시부)에는 생체신호 검출부(100), 연산처리부(200)의 구성이, 학습시(즉, 학습부)와 달라진다.
본 발명에서, 학습부(101)는 공장 출하전에 심층신경망의 학습을 위해 최종적으로 적용되고, 시판된 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)은 실시부(102)만 구비할 수도 있다. 따라서, 본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템(10)의 실시 시의 구성(즉, 도 5의 실시부(102))을 간략화하면 도 7과 같다.
도 4에서와 같이, 생체신호 검출부(100)는 EEG(뇌파) 검출부(107), 자율신경계 신호 검출부(105), 카메라(150), EEG(뇌파) 검출부(107), 신호 전처리부(170)를 포함한다.
생체신호 검출부(100)는 자율신경계 신호, 즉, PPG(맥파), GSR(피부 전기 전도도), SKT(피부 온도)를 검출하여 전처리(증폭 및 잡음제거)하여 연산처리부(200)로 전송하고, 또한, 카메라(150)로부터 사용자(운전자, 학생, 노동자 등)의 동공 또는 눈을 촬영하여 디지탈 영상으로 변환하여 연산처리부(200)로 전송하고, EEG(뇌파) 검출부(107)로 부터 뇌파를 검출하여 전처리하여 연산처리부(200)로 전송한다.
특히, 학습(meching learning)시에는, 생체신호 검출부(100)가, EEG(뇌파) 검출부(107)로부터 뇌파를 검출하고, 자율신경계 신호 검출부(105)로부터 자율신경계 신호(즉, PPG GSR, SKT)를 검출하고, 카메라(150)로부터 사용자(운전자, 학생, 노동자 등)의 동공 또는 눈을 촬상하고, EEG(뇌파) 검출부(107)로부터 뇌파를 검출한다. 즉, 학습시에, 생체신호 검출부(100)는 자율신경계 신호와, 뇌파와, 눈 영상을 동시에 검출한다.
반면, 실제 적용시(이하 '실시 시'라고 함)에는, 생체신호 검출부(100)가, 자율신경계 신호 검출부(105)로부터 자율신경계 신호를 검출하고, 카메라(150)로부터 사용자(운전자, 학생, 노동자 등)의 동공 또는 눈을 촬영한다. 즉, 실시 시에, 생체신호 검출부(100)는 뇌파를 제외한 자율신경계 신호와, 눈 영상을 동시에 검출한다. 경우에 따라서는 카메라(150)로부터 사용자(운전자, 학생, 노동자 등)의 동공 또는 눈을 촬영하는 것은 생략하고, 자율신경계 신호만을 검출하여 뇌활성도를 추정하고, 집중도 또는 피로도 또는 졸음의 정도을 판단할 수 있다.
EEG(뇌파) 검출부(107)는 피검자의 머리에 뇌 전극을 장착하여 EEG(뇌파)를 검출한다. 이때 뇌전극은 10-20 전극배치법에 의해 뇌 전극이 배치될 수있다.
도 4 및 도 5에서와 같이, 자율신경계 신호 검출부(105)는, 뇌파를 제외한 자율신경계 신호, 즉, PPG(맥파), GSR(피부 전기 전도도), SKT(피부 온도)를 검출한다.
PPG(맥파) 검출부(110)는 발광부(예로 발광다이오드) (미도시) 및 수광부(예로 포토다이오드 또는 포토 센서)(미도시)를 포함하며, 발광부로부터 출사된 광이 체내 혈류들에서 반사된 광을 수광부에서 검출하여 전기적 신호 변환하며, 이 전기적 신호를 맥파로서 출력한다.
GSR(피부 전기 전도도) 검출부(120)는 피부에 미세전류를 흘리는 전류전극과, 상기 미세전류에 반응된 피부 전압을 검출하는 전압전극을 구비하여, 피부 컨덕턴스를 검출한다.
SKT(피부 온도) 검출부(130)는 온도검출센서(예로 써미스터)를 구비하여 피부 온도(체온)를 검출한다.
여기서, PPG(맥파) 검출부(110), GSR(피부 전기 전도도) 검출부(120), SKT(피부 온도) 검출부(130)를 자율신경계 신호 검출부(105)라 한다.
카메라(150)는 운전자의 눈(안구, 동공)를 촬영하며, 신호전처리부(17)에서 디지탈신호로 변환하여 연산처리부(200)로 전송한다. 경우에 따라서 카메라(150)가 디지탈 카메라일 경우, 디지털 영상 변환부(151)이 필요없이, 카메라(150)에서 검출된 영상은 연산처리부(200)로 전송된다.
신호 전처리부(170)는 PPG 신호 전처리부(175), GSR 신호 전처리부(172), SKT 신호 전처리부(173), EEG 신호 전처리부(176), A/D 변환부(177), 디지털 영상 변환부(151) 등을 포함한다.
PPG 신호 전처리부(175)는 PPG(광용적맥파로, 여기서는 '맥파'라 칭함) 검출부(110)에 검출된 맥파를 증폭하고 잡음을 제거한다.
GSR 신호 전처리부(172)는 GSR 검출부(120)에 검출된 피부 컨덕턴스(피부 전도도)를 증폭하고 잡음을 제거한다.
SKT 신호 전처리부(173)는 SKT 검출부(130)에 검출된 피부 온도를 증폭하거나 잡음을 제거한다.
A/D 변환부(177)는 PPG 신호 전처리부(175), GSR 신호 전처리부(172), SKT 신호 전처리부(173)로부터 수신된 맥파(PPG) 신호, 피부컨덕턴스(피부 전도도) 신호, 피부온도 신호를 디지탈신호로 변환하여 연산처리부(200)로 전송한다.
디지털 영상 변환부(151)는 카메라(150)로부터 수신된 아날로그 영상을 디지탈로 변환하여 연산처리부(200)로 전송한다. 경우에 따라서 카메라(150)가 디지탈 카메라일 경우, 디지털 영상 변환부(151)는 생략될 수 있다. 디지털 영상 변환부(151)는 프레임그레버 등으로 이루어질 수 있다.
연산처리부(200)는 A/D 변환부(177)로부터 맥파(PPG) 신호, 피부컨덕턴스 신호, 피부온도 신호를 수신하고, 카메라(150)으로 부터의 눈의 영상을 수신하고, 이들 신호로부터 심박 주기, 심박 변이(PAV), 피부 컨덕턴스, SCR(피부 컨덕턴스 반응), SKT(피부 온도), 동공 위치(움직임), 동공 크기를 구하고, 이들 신호를 이용하여, 사용자의 상태, 즉, 졸음의 정도 또는 피로도의 정도 또는 집중의 정도를 분석한다. 연산처리부(200)는, 특징 검출부(205), 집중도 또는 피로도 또는 졸음(여기서, 설명의 편의상, 이를 '집중도/피로도/졸음' 이라 함)의 뇌파지표 추출부(207). 뇌활성도 학습부(210), 뇌활성도 학습 모델(215), 뇌활성도 판단부(217), 집중도/피로도/졸음 학습부(220), 집중도/피로도/졸음 학습모델(225), 집중도/피로도/졸음 판단부(227)를 포함한다.
특징 검출부(205)는. 도 6에서와 같이, A/D 변환부(177)로부터 수신된 피부 컨덕턴스(skin conductance)를 미분하여 SCR(피부 컨덕턴스 반응, skin conductance response)를 검출하며, 피부 컨덕턴스(skin conductance) 신호, SCR(피부 컨덕턴스 전도도, skin conductance response)를 피부전도도 관련 특징 값으로 한다.
또한, 특징 검출부(205)는. A/D 변환부(177)로부터 수신된 맥파(PPG) 신호로부터 기설정된 진폭 문턱치이상의 맥파신호에서 최대점(peak)을 검출하고, 연이은 최대점(peak) 사이의 간격을 심박 주기(peak to peak interval)로 검출한다. 또한 심박 변이(Pulse rate variability, PAV)로서, 연이은 심박 주기의 차를 검출한다.
또한, 특징 검출부(205)는. 카메라(150) 또는 디지탈 영상변환부(151)로 부터 수신된 눈의 영상으로부터 관심영역을 설정하고, 설정된 관심영역에서 동공을 추출하고, 추출된 동공의 위치(움직임) 및 크기를 검출한다.
또한, 특징 검출부(205)는. A/D 변환부(177)로부터 수신된 EEG(뇌파) 신호로부터 델타(δ)파(0.5~4.99Hz), 세타(θ)파(5~7.99Hz), 알파(α)파(8~11.99Hz), 베타(β)파(12~35Hz), 감마(γ)파(30~50Hz)에 대한 파워스펙트럼을 구한다. 즉, EEG(뇌파)신호를 STFT(단기 푸리에 변환)을 수행하여, 델타파, 세타파, 알파파, 베타파, 감마파의 주파수 대역에 대한 log 스케일의 power(단위는 dB)로 나타낸다. 뇌파 신호에 대한 특징값은 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워 스펙트럼이다. 여기서, 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워스펙트럼을, 뇌파의 주파수대역의 파워스펙트럼이라고 할 수 있다.
경우에 따라서는, 특징 검출부(205)는 뇌파로부터 파워스펙트럼(PSD) 이외에, 세타/베타 비율(theta/beta ratio) 등의 주파수 대역에 대한 파워 비율(다시말해, 뇌파 신호에 대한 특징값의 파워 비율)이나, 위상(Phase)을 이용한 영역 간 기능적 연결성, 정보 엔트로피(Shannon entropy), 독립성분(Individual component), 발산지수(Lyapunov exponent), 프랙탈 차원(fractal dimension) 등이 뇌파 신호에 대한 특징값으로 추가될 수 있다. 정보 엔트로피는 뇌파가 비정상성임을 고려하여 각 주파수 대역으로 필터링한 뇌파 시계열 신호의 무질서도를 측정한 것을 나타낸다. 독립성분은 독립성분석법에 의해, 즉, 통계적으로, 독립인 신호원 성분으로 특정 자극에 의해 유발된 청각 반응, 체성감각 반응 등 독립적인 뇌 반응을 나타낸다. 발산지수는 뇌파 시계열 신호로부터 위상궤적을 구현한 후 위상궤적의 정보 중 동역학적 특성의 안정성을 계산한 것으로 신호의 혼동 과정(chaotic process)을 나타낸다. 프랙탈 차원은 뇌파의 비정상성을 차원으로 계산한 것으로 뇌파의 복잡성 정도를 나타낸다.
집중도/피로도/졸음 뇌파지표 추출부(207)는 특징 검출부(205)로부터 수신된 뇌파 특징, 예를들어, 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워스펙트럼, 세타/베타 비율, 위상 등에 대해서, 집중도/피로도/졸음의 상태점수를 부여한다. 그 다음, 집중도/피로도/졸음 뇌파지표 추출부(207)는 상태점수 기준치에 따라서, 상태점수 기준치 보다 같거나 높은 뇌파 특징들(즉, 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징)과, 상태점수 기준치 보다 낮은 뇌파 특징들(즉, 집중도/피로도/졸음이 낮은 상태조건에서 뇌파 특징)로 나누고, 이들의 평균치를 구한다. 그 다음, 집중도/피로도/졸음 뇌파지표 추출부(207)는 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징의 평균치와 집중도/피로도/졸음이 낮은 상태조건에서 뇌파 특징의 평균치를 독립표본 t 검정(independent sample t-test)을 수행하여 통계적으로 유의하게 차이가 나는 뇌파 특징, 즉, 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징을 검출한다.
이렇게 검출된 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징에서. 집중도가 높은 상태의 뇌파 특징을, 집중도 뇌파지표라 하며, 피로도가 높은 상태의 뇌파 특징을, 피로도 뇌파지표라 하며, 졸음이 높은 상태의 뇌파 특징을, 졸음 뇌파지표라 한다.
독립표본 t 검정은 두 집단 간에 평균의 차이가 있는지 검증하는 분석으로, 이에 대해서는 위키 백과사전, 네이버 지식백과 사전 등에 공지된 것으로, 여기서는, 이에 대한 상세한 설명을 생략한다.
경우에 따라서는, 집중도/피로도/졸음 뇌파지표 추출부(207)는 특징 검출부(205)로부터 검출된 뇌파 특징과 집중도/피로도/졸음 상태점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징을 검출할 수도 있다.
일반적으로, 스피어만 상관계수(Spearman correlation coefficient) 는 데이터가 서열척도인 경우 즉 자료의 값 대신 순위를 이용하는 경우의 상관계수로서, 데이터를 작은 것부터 차례로 순위를 매겨 서열 순서로 바꾼 뒤 순위를 이용해 상관계수를 구하며, 두 변수 간의 연관 관계가 있는지 없는지를 밝혀준다. 스피어만 상관계수는 -1과 1 사이의 값을 가지는데 두 변수 안의 순위가 완전히 일치하면 +1이고, 두 변수의 순위가 완전히 반대이면 -1이 된다. 스피어만 상관 분석에 대해서는 위키 백과사전, 네이버 지식백과 사전 등에 공지된 것으로, 여기서는, 이에 대한 보다 상세한 설명은 생략한다.
다시말해, 집중도/피로도/졸음 뇌파지표 추출부(207)는 특징 검출부(205)로부터 검출된 뇌파 신호에 대한 특징이 너무 많기 때문에 뇌활성도 학습부(210)에서 자율신경계 입력으로부터 뇌활성도의 정답으로서 이들 뇌파특징 모두를 학습시키는 데에 계산 시간의 한계가 있으며 비효율적이므로 학습하고자 하는 뇌파 특징의 수를 줄이기 위함이다. 따라서, 특징 검출부(205)로부터 검출된 뇌파 특징 중 집중도/피로도/졸음 상태와 관련성이 높은 특징을 추출하여 뇌활성도 학습부(210)에 입력한다.
집중도/피로도/졸음 뇌파지표 추출부(207)는 집중도/피로도/졸음 상태점수를 각각 높은 점수와 낮은 점수로 이분하여 집중도/피로도/졸음이 높은 상태와 낮은 상태에 대한 조건을 만들 수 있다. 이후 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징의 평균치와 집중도/피로도/졸음이 낮은 상태조건에서 뇌파 특징의 평균치를 독립표본t검정 등을 수행하여 통계적으로 유의하게 차이가 나는 뇌파 특징을 검출한다.
뇌활성도 학습부(210)는 심층신경망(Deep Neural Network, DNN)을 이용하여, 집중도/피로도/졸음 뇌파지표 추출부(207)로부터 수신된, 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표와, 특징 검출부(205)로부터 수신된 심박 변이, 피부 컨덕턴스(skin conductance), SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기을 수신하여, 뇌활성도 학습모델(215)을 학습시킨다.
경우에 따라서, 뇌활성도 학습부(210)의 입력데이터는 집중도/피로도/졸음 뇌파지표, 심박 변이, 피부 컨덕턴스(skin conductance), SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기 이외에, 다른 것이 입력될 수도 있다. 예를 들어, 뇌파, 맥파, 피부 컨덕턴스(skin conductance) 등의 생체신호의 진폭 (amplitude), 생체신호의 표준편차, 생체신호의 주파수성분을 분해하여 주파수 대역의 평균 파워(알파파, 베타파 등의 대역의 파워스펙트럼)가 될 수도 있고, 영역간 기능적 연결성(위상 동기화), 신호의 무질서도(샤넌 엔트로피), 신호의 복잡성 정도(프랙탈차원) 등 다양한 것들을 추출하여 입력할 수 있다.
즉, 뇌활성도 학습부(210)와 집중도/피로도/졸음 학습부(220)는 기계학습모델을 학습시키기 위한 학습 데이터를 입력해야 한다. 학습 데이터는 (샘플×특징) 2차원 행렬로 되어있다. 특징이란 측정한 신호로부터 얻은 특성을 의미한다. 신호의 특성은 신호 그 자체 진폭 (amplitude)이 될 수도 있고, 표준 편차가 될 수도 있고, 신호의 주파수성분을 분해하여 주파수 대역의 평균 파워(알파파, 베타파 등의 대역의 파워스펙트럼)가 될 수도 있고, 영역간 기능적 연결성(위상 동기화), 신호의 무질서도(샤넌 엔트로피), 신호의 복잡성정도(프랙탈차원) 등 다양한 것들을 추출할 수 있다. 여기서, 샘플이란 30초~5분 사이로 정한 하나의 시간 간격을 의미한다. 예를 들어, 뇌파로 졸음 상태를 분류하고자 할 경우 졸음 학습 데이터가 총 3000초이고, 30초마다 시간 간격을 정했으면 30초마다 졸음점수(정답), 특징 값 샘플을 얻는다. 따라서 집중도/피로도/졸음 학습부(220)가 졸음을 분류할 때, 샘플 수는 100개이라면, 이 100개 샘플에서 특징 값을 통해 졸음이냐 아니냐를 구분하는 학습을 한다
뇌활성도 학습모델(215)은 특징 검출부(205)로부터 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기가 입력되면, 이에 따라 추정된, 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 출력한다. 뇌활성도 학습모델(215)은 학습된 회귀모델이라 할 수 있다. 뇌활성도 학습모델(215)은 데이터베이스(300)의 기계학습모델 저장부(310)에 저장되어 있으며, 뇌활성도 학습모델(215)의 구동시, 연산처리부(200)와 기계학습모델 저장부(310)가 연동되어 구동된다.
뇌활성도 학습모델(215)을 학습시키고자 할 때 입력은 자율신경계 신호, 즉 자율신경계 특징벡터, 출력은 뇌활성도가 된다. 이 때 뇌활성도는 집중/피로도/졸음 뇌파지표 추출부(207)에서 검출된 집중/피로도/졸음 뇌파지표를 뜻한다. 예를 들어, {SCR:0.2, SKT:0.7, PRV:0.3} 데이터가 입력될 경우, 출력은 {FP1-theta power:4, FP2-alpha power:7, O1-theta power:9...} 되며, 이런한 방식으로, 입력에 따른 출력이 생성된다. 여기서 FP1, FP2, 01 등은 국제 10-20 시스템에 따라 뇌전극이 배치된 위치를 나타낸다. FP1-theta power:4는 뇌 전극 위치가 FP1에서의 세타 파워 스펙트럼의 뇌활성 점수가 4임을 나타낸다.
신호 전처리부(170) 및 특징 검출부(205)를 통해 얻은 뇌파신호 특징은 앞서 언급한 바와 같이 신호 특성을 천 개, 만 개, 십만 개 등 계산하는 대로 얻게 된다. 이 중 대다수는 집중도/피로도/졸음이냐 아니냐를 구분하는데 필요가 없는 데이터이다. 즉, {SCR:0.2, SKT:0.7, PRV:0.3} 데이터에서 출력을 {어떤 채널의 뇌파 파워, 기능적 연결성, 무질서도...} 수십만 개를 모두 다 학습할 수는 없고 무의미하므로 졸음과 관련된 뇌파 특징만을 학습시키기 위해 수만 개의 뇌파특징에서 특정상태와 관련된 특징만을 집중/피로도/졸음 뇌파지표 추출부(207)를 통해 뇌파지표로 추출한다. 따라서, 뇌활성도 학습모델(215)은 이를 이용하여 학습하여, 만약. 뇌활성도 판단부(217)를 통해, 뇌활성도 학습모델(215)에 {SCR:0.2, SKT:0.7, PRV:0.3} 데이터가 입력될 경우, 뇌활성도 학습모델(215)의 출력은 {졸음상태와 관련된 뇌파지표}이다.
신호 전처리부(170) 및 특징 검출부(205)를 통해 계산된 뇌파신호 특징으로부터 집중/피로도/졸음 뇌파지표 추출부(207)에서 '독립표본t검정' 또는 '스피어만 상관분석'을 수행하여 '특정상태와 관련된 뇌 특징(뇌파지표)'을 검출한다. 즉, 집중도/피로도/졸음이 높은 상태조건에서 뇌파 특징의 평균치와 집중도/피로도/졸음이 낮은 상태조건에서 뇌파 특징의 평균치를 독립표본 t 검정(independent sample t-test)등을 수행하여 통계적으로 유의하게 차이가 나는 뇌파 특징을 검출한다. 혹은 특징 검출부(205)로부터 검출된 뇌파 특징과 집중도/피로도/졸음 상태점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징을 검출한다.
예를 들어, 뇌파로 졸음 상태를 분류하고자 할 경우 무작정 뇌파의 모든 채널, 모든 주파수대역 파워 특징을 다 넣고 기계학습을 시키는 것이아니라 졸음 상태일 때와 아닐 때 특징 값이 유의한 차이를 보이는 특징만을 선택해서 학습시킨다. 예를 들어 FP1-theta, FP2-theta, O1-theta, O2-theta, FP1-alpha, FP2-alpha, O1-alpha, O2-alpha의 8개 특징 값과 100개의 샘플(졸음 50개, 정상 50개)을 얻었을 때, t검정(졸음 vs. 정상)을 수행(50개:50개)하여 유의한 차이를 보이는 특징만을 선택한다. 8개의 t검정 결과 유의확률이 (FP1-theta:p=0.01, FP2-theta:p=0.04, O1-theta:p=0.8, O2-theta:p=0.9 , FP1-alpha:p=0.001, FP2-alpha:p=0.07, O1-alpha:p=0.7, O2-alpha:p=0.6) 이고 3개의 특징만을 선택하여 기계학습을 시키고자 할 경우 선택된 특징은 FP1-alpha, FP1-theta, FP2-theta 이다. 이 3개의 특징으로 100개 샘플에 대해 졸음분류기 학습을 시킨다.
이를 정리하면, 졸음에 대한 뇌활성도 학습모델에 자율신경계 신호 특징이 입력되며, 뇌활성도 학습모델은 졸음과 관련된 뇌파특징, t검정 또는 상관분석으로 얻은 뇌활성도, 즉, 뇌파 지표를 출력한다. 또한, 졸음에 대한 집중도/피로도/졸음 학습모델에 뇌파 지표 및 자율신경계 신호 특징이 입력되며, 집중도/피로도/졸음 학습모델은 졸음 정도를 나타내는 졸음의 점수를 출력한다.
집중도/피로도/졸음 학습부(220)는, 도 11 및 도 13에서와 같이, 회귀모델(인공지능)의 일종인 서포트벡터머신(Support Vector Machine, SVM) 또는 서포트 벡터 회귀(Support Vector Regression, SVR)을 이용하며, 집중도/피로도/졸음 뇌파지표 추출부(207)로부터 수신된 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표와, 특징 검출부(205)로부터 수신된 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기을 수신하고, 집중도/피로도/졸음 점수 기록부(370)에 기 저장된 점수와 연동하여 집중도/피로도/졸음 학습모델(225)을 학습시킨다.
집중도/피로도/졸음 학습부(220)에 입력되는 집중도/피로도/졸음 점수 기록부(370)의 초기 학습(트래닝) 데이터는, 사용자(피검자) 또는 전문의에 의해 분류된 집중도/피로도/졸음 점수의 시계열적 데이터 일 수 있다.
집중도/피로도/졸음 학습모델(225)은 도 11 및 도 13에서와 같이, 집중도/피로도/졸음 뇌파지표 추출부(207)로부터 수신된 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표와. 특징 검출부(205)로부터 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기가 입력되면, 이에 따라 추정된, 집중도 점수(즉, 집중도 정도(상태)의 점수), 또는 피로도 점수(즉, 피로도 정도(상태)의 점수), 또는 졸음 점수(즉, 졸음 정도(상태)의 점수)를 출력한다.
집중도/피로도/졸음 학습모델(225)은 학습된 이진 또는 다 클래스(multiclass) 분류기라고 할 수 있다. 집중도/피로도/졸음 학습모델(225)은 데이터베이스(300)의 기계학습모델 저장부(310)에 저장되어 있으며, 집중도/피로도/졸음 학습모델(225)의 구동시, 연산처리부(200)와 기계학습모델 저장부(310)가 연동되어 구동된다.
뇌활성도 판단부(217)는 실시 시 구동되는 수단으로, 기계학습모델 저장부(310)에 저장된 뇌활성도 학습모델(215)과 연동되어 구동되며, 특징 검출부(205)로부터 수신된 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기을 수신하면, 이에 따라 추정된, 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 출력한다.
집중도/피로도/졸음 판단부(227)는 실시 시 구동되는 수단으로, 기계학습모델 저장부(310)에 저장된 집중도/피로도/졸음 학습모델(225)과 연동되어 구동되며, 뇌활성도 판단부(217)로부터 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 수신하고, 특징 검출부(205)로부터 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기가 입력되면, 이에 따라 추정된, 집중도 점수(즉, 집중도 정도(상태)의 점수), 또는 피로도 점수(즉, 피로도 정도(상태)의 점수), 또는 졸음 점수(즉, 졸음 정도(상태)의 점수)를 출력한다.
출력부(270)은 집중도/피로도/졸음 판단부(227)의 결과를 출력하는 수단으로, 알람부, 스피커, 디스플레이, 프린터 등일질 수 있다.
여기서, 연산처리부(200)는 마이크로프로세서, 마이크로콘트롤러, CPU, 컴퓨터, 노트북, 개인용 스마트 기기 중 어느 하나 일 수 있다.
본 발명에서, 실시 시에 사용되는, 뇌활성도 학습모델(215), 집중도/피로도/졸음 학습모델(225), 뇌활성도 판단부(217), 집중도/피로도/졸음 판단부(227)를, 인공지능 집중도/피로도/졸음 분류부라 할 수 있다.
데이터베이스(300)는 기계학습모델 저장부(310)와 집중도/피로도/졸음의 점수기록부(370)를 포함한다.
기계학습모델 저장부(310)는, 집중도/피로도/졸음 학습모델(225)과, 뇌활성도 학습모델(215)을 저장하고 있으며, 집중도/피로도/졸음 학습부(220)와, 뇌활성도 학습부(210)에 의해 갱신된다. 또한, 실시 시에 기계학습모델 저장부(310)는, 뇌활성도 판단부(217) 또는 집중도/피로도/졸음 판단부(227)와 연동된다.
도 8의 (a)는 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 학습과정의 원리를 설명한다. 즉, 도 8의 (a)는 자율신경계 신호와 뇌파 신호를 동시에 검출하고, 또한 검출된 신호에 대해 시계열적(즉, 시간이 지남에 따라 순차적)으로 집중도/피로도/졸음의 점수를 부여하고, 이들 데이터에 의해 집중도/피로도/졸음 학습모델(225), 뇌활성도 학습모델(215)을 학습시킨다.
이때, 기록된 뇌파와 자율신경계 신호로부터 약 30초에서 5분 길이 이내에 해당하는 시간 구간마다 특징 값을 계산하여 이에 따른 뇌활성도 학습모델(215) 및 집중도/피로도/졸음 학습모델(225)을 학습시킨다. 약 30초에서 5분 길이 이내에 해당하는 시간 구간이 하나의 학습 샘플이 된다. 각 샘플마다 특징 검출부(205)로부터 심박 변이, 피부 컨덕턴스(skin conductance), SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기를 입력으로 하여 집중도/피로도/졸음 뇌파지표 추출부(207)에서 추출된 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 출력으로 하는 뇌활성도 학습모델(215)을 학습시킨다. 또한 특징 검출부(205)로부터 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기와 집중도/피로도/졸음 뇌파지표 추출부(207)에서 추출된 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 입력으로 하여 집중도 점수(즉, 집중도 정도(상태)의 점수), 또는 피로도 점수(즉, 피로도 정도(상태)의 점수), 또는 졸음 점수(즉, 졸음 정도(상태)의 점수)를 출력으로 하는 집중도/피로도/졸음 학습모델(225)을 학습시킨다.
도 8의 (b)는 본 발명의 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템의 실시과정의 원리를 설명한다. 즉, 도 8의 (b)는, 뇌활성도 판단부(217)와 집중도/피로도/졸음 판단부(227)가, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기을 수신하면, 도 8의 (a)에서 학습된 뇌활성도 학습모델(215)을 이용하여 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표를 출력한다. 추정된 집중도 뇌파지표 또는 피로도 뇌파지표 또는 졸음 뇌파지표와 특징 검출부(205)로부터 심박 변이, SCR(피부 컨덕턴스 반응), 피부 온도, 동공의 위치(움직임), 동공 크기를 입력하여 도 8의 (a)에서 학습된 집중도/피로도/졸음 학습모델(225)을 통해 집중도/피로도/졸음의 점수를 출력한다.
도 10은 자율신경계 신호관련 특징값을 입력하고, 집중도/피로도/졸음 점수와 관련성이 높은 뇌파 지표를 출력으로 하는 뇌활성도 학습모델을 나타낸다.
도 9 및 도 12는 서로 다른 학습부의 구동과정을 나타낸다.
도 9의 경우, 학습시 사용되는 데이터로서, 집중도/피로도/졸음 점수 기록부에서는 훈련에 참여하는 사용자가 약 30초에서 5분 사이의 매 시간 간격마다 집중도/피로도/졸음 상태가 기록되어 있다.
집중도의 경우 실시 단계에서 적용하고자 하는 상황에 최적화된 집중력 시험을 시행하여 행동 반응을 기록한다. 예를 들어, 시각적인 자극에 대한 집중력을 평가하고자 할 경우 영상을 시청하는 동안 사용자가 집중하고 있는 정도를 연속적으로 평가한다.
예를들어, 레버(또는 스위치) 등의 입력도구로 이용하여 사용자가 집중하는 정도가 높을수록 사용자 스스로 레버를 위로 위치하게 하는 등의 방식으로 측정한다. 이후 레버가 위치한 정도를 3점/5점/7점 등의 이산적인 (distrete) 리커트 척도로 변환할 수 있다. 약 30초에서 5분 사이에서 정한 매 시간 간격마다 연속적으로 평가한 점수들의 평균 점수를 계산한다. 일반적으로 리커트 척도(Likert scale)는, 응답자(즉, 사용자)가 측정대상에 대한 태도를 측정하는 것으로 간주되는 일련의 문항들에 대해 “강한 찬성, 찬성, 중간, 반대, 강한 반대” 등의 다섯 가지 눈금 중 하나에 자신의 견해를 표시하게 되고 이 결과 얻은 반응값들을 모든 문항에 대해서 합친 총점 혹은 그것을 문항 수로 나누어 얻은 평균값을 특정 대상에 대한 개인의 태도 점수(즉, 집중도/피로도/졸음 상태)로 보는 것으로, 이는 네이버 백과 사전등에 공지된 것으로 이에 대한 상세한 설명은 생략한다.
운전상황에 대한 집중력의 경우 사용자가 운전 시뮬레이터에서 운전을 하는 동안 시뮬레이션 프로그램 상에서 앞에 위치한 차량이 급정지를 하는 이벤트가 특정 빈도 범위에서 무작위로 제시된다. 앞 차량이 급정지를 하면서 정지등을 사용자가 인식하여 속도를 줄이기 위해 정지 페달을 밟는 데 까지 걸리는 시간을 행동 반응으로 기록한다. 매 시간 간격마다 해당 시간동안 제시된 이벤트에서의 반응 시간들의 평균 반응시간을 집중력 점수로 산정한다.
청각 자극에 대한 집중력의 경우 음악이나 뉴스 등의 청각 자극을 듣는 동안 사용자가 해당 자극에 집중하는 정도를 연속적으로 평가한다. 시각 자극에서 레버를 이용하여 집중력을 평가한 방법과 마찬가지로 평가할 수 있다.
운전 상황에 대한 피로도를 평가하고자 할 경우, 사용자는 운전 시뮬레이터에서 불시에 다양한 사건이 발생하는 도로를 운전하며 사용자의 안면을 카메라로 촬영한다. 예를 들어 운전 중 차체가 흔들려 주행 차선을 벗어나거나, 앞 차량이 급브레이크를 밟거나, 옆 차량이 끼어들기를 하는 상황 등이 발생할 수 있다. 여기서, 운전 시뮬레이터는 운전 실습용의 운전 시뮬레이터이라도, 게임용의 운전 시뮬레이터이라도 상관없다. 이후 촬영한 영상과 운전 시뮬레이터에서 기록된 차량의 핸들 움직임, 위치, 속도 등의 정보를 통해 사건 발생에 따른 운전자의 반응시간을 고려하여 리커트 척도로 피로도 점수를 산정한다.
학습 상황에서 피로도를 평가하는 경우, 사용자는 수학 문제를 약 3시간 가량 풀이하는 시험을 수행할 수 있다. 수학 문제는 사칙연산 문제에 대한 정답을 맞추거나 좌변과 우변 항의 크기 비교 등을 할 수 있다. 문제에 대한 정답률, 일정 시간 마다 사용자가 피로한 정도를 자가 평가하여 피로도 점수를 산정할 수 있다.
운전 상황에 대한 졸음 정도를 평가하고자 할 경우, 사용자는 운전 시뮬레이터에서 오랫동안 반복되는 단조로운 도로를 운전하며 사용자의 안면을 카메라로 촬영한다. 이후 촬영한 영상을 통해 사용자가 운전을 하는 동안 피로한 정도를 매 시간 간격마다 9점 리커트 척도로 KSS (Karolinska Sleepiness Scale, KSS) 점수를 평가한다.
집중/피로도/졸음 뇌파지표 추출부에서는 뇌파 신호 전처리부를 통해 계산한 뇌파 특징 중 집중도/피로도/졸음과 관련성이 높은 뇌파지표를 선택한다.
매 시간 간격마다 계산한 뇌파 특징과 집중도/피로도/졸음 점수 간의 상관관계를 분석하여 가장 높은 상관관계를 보이는 뇌파 특징을 지표로 선택할 수 있다. 예를 들어 64채널 뇌파를 기록하여 4개 주파수 대역 (델타, 세타, 알파, 감마)의 뇌파 파워를 계산할 경우 256 개의 뇌파 특징을 얻는다. 이 중 집중도와 가장 높은 상관관계를 보이는 뇌파 특징을 상관관계가 높은 순으로 상위 20 개를 선택할 수 있다.
이외에도 집중도/피로도/졸음 점수가 높을 때와 낮을 때 뇌파 특징의 조건 간 차이를 독립표본 t검정을 통해 관찰하여 다중비교 검정 (multiple comparison correction) 후 유의한 차이를 보이는 특징을 유의확률이 낮은 순으로 선택하는 방법 등이 있다. 뇌 활성도 학습부에서는 자율신경계 신호특징을 입력으로 하고, 뇌파 특징을 출력으로 하는 회귀모델을 학습시킨다. 회귀모델로는 심층 신경망 (deep neural network, DNN)을 이용하며 그 중 콘볼루션 신경망 (convolutional neural network, cNN)을 적용해볼 수 있다.
먼저, 매 시간 간격마다 평가된 집중도/피로도/졸음 점수와 뇌파 특징, 자율신경계 신호 특징이 존재하며 하나의 시간 간격을 하나의 시행으로 정의한다.
이후 하나의 시행을 다수로 분할한다. 예를 들어 10분 마다 점수와 특징 값을 계산하였으며 분할 단위를 30초로 설정하고 중첩 없이 분할할 경우 하나의 시행에서 20개의 분할을 얻는다.
20개의 분할은 모두 동일한 출력 값 (집중도/피로도/졸음 점수)을 가진다.
여기서 2차원의 입력 벡터를 구성한다. 1차원 (x축)은 분할 단위이고, 2차원 (y축)은 자율신경계 신호로부터 계산한 특징들을 종합한 것이다.
자율신경계 신호의 특징은 평균과 표준편차를 계산한 값으로 예를 들어 30초 동안의 심박변화량 신호로부터 평균 심박수와 심박변화량 표준편차를 얻는다.
따라서 입력벡터의 2차원 (y축)은 [평균 SC, 표준편차 SC, 평균 SCR, 표준편차 SCR, 평균 HRV, 표준편차 HRV,…,표준편차 눈 움직임]의 형태로 구성할 수 있다. 출력벡터는 각 입력벡터 당 이에 대응하는 집중도/피로도/졸음 점수가 된다. 학습 시 활성함수 (activation function)로 square, ReLU (rectified linear unit) 함수 등을 사용한다.
도 12의 경우, 학습시 사용되는 데이터로서, 매 시간 간격마다 뇌파신호 특징, 자율신경계 신호특징, 집중도/피로도/졸음 점수를 얻는다. 집중도/피로도/졸음 점수는 점수가 높음/낮음 으로 이분화하거나 여러 계층으로 층화하여 출력벡터를 만들 수 있다. 뇌파의 특징으로는 해당 시간 간격동안 주파수 대역 파워의 평균 값을 계산하여 얻는다. 자율신경계 신호의 특징으로는 해당 시간 간격동안 각 자율신경계 신호의 평균 및 표준편차 값을 계산하여 얻는다.
이후, 뇌파와 자율신경계 신호 특징을 조합하여 하나의 입력벡터를 구성한다. 각 시간 간격마다 얻어진 (입력벡터, 출력벡터)가 하나의 학습 샘플이 된다.
집중도/피로도/졸음 점수가 이분화된 경우 SVM (support vector machine)을 사용하여 이진분류 (binary classification)학습을 수행한다. 삼분화 또는 사분화된 경우 SVM을 다수 사용하여 다계층 분류 (multi-class classification)학습을 수행하거나 SVR (support vector regression) 분류기를 학습시킬 수 있다. 더 많은 계층으로 분화된 경우 SVR을 이용한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 졸음 모니터링 시스템 17 : 신호전처리부
100 : 생체신호 검출부 101 : 학습부
102 : 실시부 105 : 자율신경계 신호 검출부
107 : EEG(뇌파) 검출부 110 : PPG(맥파) 검출부
120 : GSR(피부 전기 전도도) 검출부 130 : SKT(피부 온도) 검출부
150 : 카메라 151 : 디지털 영상 변환부
170 : 신호 전처리부 172 : GSR 신호 전처리부
173 : SKT 신호 전처리부 175 : PPG 신호 전처리부
176 : EEG 신호 전처리부 177 : A/D 변환부
200 : 연산처리부 205 : 특징 검출부
207 : 집중도/피로도/졸음 뇌파지표 추출부 210 : 뇌활성도 학습부
215 : 뇌활성도 학습모델 217 : 뇌활성도 판단부
220 : 집중도/피로도/졸음 학습부 225 : 집중도/피로도/졸음 학습모델
227 : 집중도/피로도/졸음 판단부 270 : 출력부
300 : 데이터베이스 310 : 기계학습모델 저장부
370 : 집중도/피로도/졸음 점수 기록부
100 : 생체신호 검출부 101 : 학습부
102 : 실시부 105 : 자율신경계 신호 검출부
107 : EEG(뇌파) 검출부 110 : PPG(맥파) 검출부
120 : GSR(피부 전기 전도도) 검출부 130 : SKT(피부 온도) 검출부
150 : 카메라 151 : 디지털 영상 변환부
170 : 신호 전처리부 172 : GSR 신호 전처리부
173 : SKT 신호 전처리부 175 : PPG 신호 전처리부
176 : EEG 신호 전처리부 177 : A/D 변환부
200 : 연산처리부 205 : 특징 검출부
207 : 집중도/피로도/졸음 뇌파지표 추출부 210 : 뇌활성도 학습부
215 : 뇌활성도 학습모델 217 : 뇌활성도 판단부
220 : 집중도/피로도/졸음 학습부 225 : 집중도/피로도/졸음 학습모델
227 : 집중도/피로도/졸음 판단부 270 : 출력부
300 : 데이터베이스 310 : 기계학습모델 저장부
370 : 집중도/피로도/졸음 점수 기록부
Claims (22)
- PPG(광용적 맥파) 신호를 검출하는 PPG 검출부를 포함하며, 뇌파를 제외한 자율신경계 신호를 검출하여, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는 생체신호 검출부;
생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하고, 검출된 자율신경계 신호의 특징을 입력벡터로서 심층신경망(DNN)으로 이루어진 뇌활성도 학습모델에 입력하여, 뇌활성도 학습모델로부터 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 출력하게 하며, 출력된 뇌활성도와 자율신경계 신호의 특징을 인공지능의 회귀모델로 이루어진 집중도/피로도/졸음 학습모델에 입력하여 집중도/피로도/졸음 학습모델로부터 집중도/피로도/졸음의 정도를 점수를 출력하는 연산처리부;
를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 뇌파를 제외하며, PPG(광용적 맥파) 신호를 포함하는 자율신경계 신호를 검출하여, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는 생체신호 검출부;
생체신호 검출부로부터 수신된 자율신경계 신호를 이용하여 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 추출하는 연산처리부를 포함하는 집중도 또는 피로도 또는 졸음 모니터링 시스템에 있어서,
연산처리부는
생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는 특징 검출부;
특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는 뇌활성도 판단부;
뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는 집중도/피로도/졸음 판단부;
를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제1항에 있어서,
인공지능의 회귀모델은 서포트 벡터 머신(SVM) 또는 서포트 벡터 회귀(Support Vector Regression, SVR)인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제1항 내지 제3항 중 어느 한 항에 있어서,
뇌활성도 학습모델의 학습시에는.
생체신호 검출부는 뇌파를 검출하는 뇌파검출부를 더 포함하여, 집중도/피로도/졸음 시에, PPG를 포함하는 자율신경계 신호뿐만아니라, 뇌파를 동시에 검출하고,
연산처리부는, 상기 뇌파 및 자율신경계 신호로부터, 심박변이를 포함하는 자율신경계 신호의 특징뿐만 아니라, 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파의 특징을 검출하며, 뇌파의 특징 및 자율신경계 신호의 특징을, 뇌활성도 학습모델에 입력하여 학습시키는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제3항에 있어서,
인공지능의 회귀모델의 학습시에는.
연산처리부는, 뇌파 및 자율신경계 신호뿐만아니라, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수를 집중도/피로도/졸음 학습모델에 입력하여 학습시키는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제5항에 있어서,
집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수는, 뇌활성도 학습모델의 학습을 위한 뇌파 및 자율신경계 신호의 검출시에, 입력도구에 의해 사용자로부터 입력하거나, 상기 뇌파 또는 자율신경계 신호로부터 검출된, 집중도/피로도/졸음 점수인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제1항에 있어서,
연산처리부는
생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는 특징 검출부;
특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는 뇌활성도 판단부;
뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는 집중도/피로도/졸음 판단부
를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제2항 또는 제7항 중 어느 한 항에 있어서,
생체신호 검출부는, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부, 피부 컨덕턴스(skin conductance)를 검출하는 GSR(피부 전기 전도도) 검출부, 피부 온도를 검출하는 SKT(피부 온도) 검출부, 사용자의 눈을 촬영하는 카메라를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제8항에 있어서,
특징 검출부는.
생체신호 검출부로부터 수신된 맥파(PPG) 신호로부터 심박 주기를 검출하고, 연이은 심박 주기의 차를 심박 변이(PAV)로서 검출하며,
생체신호 검출부로부터 수신된 피부 컨덕턴스 신호를 미분하여 피부 컨덕턴스 반응(SCR)을 검출하며,
생체신호 검출부로부터 수신된 눈의 영상으로부터 동공을 추출하고, 추출된 동공의 위치(움직임) 및 크기를 검출하며,
맥파(PPG) 신호, 피부 컨덕턴스 신호, 피부 온도(SKT), 동공 위치, 동공 크기를 자율신경계 신호로하며,
피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를, 자율신경계 신호의 특징으로서 출력하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제9항에 있어서,
자율신경계 신호의 특징은, 자율신경계 신호의 진폭 (amplitude) 또는 자율신경계 신호의 표준편차를 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제5항에 있어서,
뇌활성도 학습모델 및 인공지능의 회귀모델의 학습시에,
연산처리부는,
생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하며, 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파 특징들을 검출하는 특징 검출부;
특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 부여된 집중도/피로도/졸음 점수를 상태점수 기준치와 비교하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누고, 제1 뇌파 특징군 및 제2 뇌파 특징군의 평균치를 구하고, 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군을 집중도/피로도/졸음의 뇌파지표로 출력하거나,
또는, 특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징을 검출하여 집중도/피로도/졸음의 뇌파지표로 출력하는, 집중도/피로도/졸음 뇌파지표 추출부;
집중도/피로도/졸음 뇌파지표 추출부로부터 수신된 집중도/피로도/졸음 뇌파지표와, 특징 검출부로부터 수신된 자율신경계 신호의 특징으로, 뇌활성도 학습모델을 학습시키는, 뇌활성도 학습부;
특징 검출부로부터 수신된 뇌파 특징과, 특징 검출부로부터 수신된 자율신경계 신호의 특징과, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수로, 집중도/피로도/졸음 학습모델을 학습시키는, 집중도/피로도/졸음 학습부;
를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제11항에 있어서,
자율신경계 신호의 특징은, 피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를 포함하며,
뇌파의 주파수 대역에 따른 파워스펙트럼은 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워스펙트럼인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제12항에 있어서,
자율신경계 신호의 특징은, 자율신경계 신호의 진폭 (amplitude) 또는 자율신경계 신호의 표준편차를 더 포함하며,
뇌파 특징은, 세타/베타 비율(theta/beta ratio)을 포함하는 뇌파의 주파수 대역에 대한 파워 비율, 위상(Phase)을 이용한 영역 간 기능적 연결성, 정보 엔트로피(Shannon entropy), 독립성분(Individual component), 발산지수(Lyapunov exponent), 프랙탈 차원(fractal dimension)을 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제1항 또는 제2항 중 어느 한 항에 있어서,
집중도/피로도/졸음 학습모델은 학습된 이진 또는 다 클래스(multiclass) 분류기인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제2항 또는 제7항 중 어느 한 항에 있어서,
뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는,
기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로,
뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누었을때, 제1 뇌파 특징군과 제2 뇌파 특징군을 이용하여 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 제2항 또는 제7항 중 어느 한 항에 있어서,
뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는,
기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로,
뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템. - 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 연산처리부는, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는, 특징 검출단계;
연산처리부에서, 특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는, 뇌활성도 판단 단계;
연산처리부에서, 뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는, 집중도/피로도/졸음 분류 단계;
를 포함하여 이루어진 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법. - 제17항에 있어서,
생체신호 검출부는, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부, 피부 컨덕턴스(skin conductance)를 검출하는 GSR(피부 전기 전도도) 검출부, 피부 온도를 검출하는 SKT(피부 온도) 검출부, 사용자의 눈을 촬영하는 카메라를 포함하며,
특징 검출 단계는.
연산처리부가 생체신호 검출부로부터 수신된 맥파(PPG) 신호로부터 심박 주기를 검출하고, 연이은 심박 주기의 차를 심박 변이(PAV)로서 검출하며,
연산처리부가 생체신호 검출부로부터 수신된 피부 컨덕턴스 신호를 미분하여 피부 컨덕턴스 반응(SCR)을 검출하며,
연산처리부가 생체신호 검출부로부터 수신된 눈의 영상으로부터 동공을 추출하고, 추출된 동공의 위치(움직임) 및 크기를 검출하며,
맥파(PPG) 신호, 피부 컨덕턴스 신호, 피부 온도(SKT), 동공 위치, 동공 크기를 자율신경계 신호로 하며,
피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를, 자율신경계 신호의 특징으로서 출력하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법. - 제18항에 있어서,
자율신경계 신호의 특징은, 자율신경계 신호의 진폭 (amplitude) 또는 자율신경계 신호의 표준편차를 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법. - 제17항에 있어서,
뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는,
기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로,
뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누었을때, 제1 뇌파 특징군과 제2 뇌파 특징군을 이용하여 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법. - 제17항에 있어서,
뇌활성도 판단부에서 출력되는 집중도/피로도/졸음의 뇌파지표는,
기 학습된 뇌활성도 학습모델이, 입력벡터로서 입력된 자율신경계 신호의 특징에 따라 출력한 것으로,
뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법. - 제17항 내지 제21항 중 어느 한 항의 집중도 또는 피로도 또는 졸음 모니터링 시스템의 구동방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180055648A KR102143343B1 (ko) | 2018-05-15 | 2018-05-15 | 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180055648A KR102143343B1 (ko) | 2018-05-15 | 2018-05-15 | 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190130925A true KR20190130925A (ko) | 2019-11-25 |
| KR102143343B1 KR102143343B1 (ko) | 2020-08-13 |
Family
ID=68730738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180055648A KR102143343B1 (ko) | 2018-05-15 | 2018-05-15 | 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102143343B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111345800A (zh) * | 2020-03-16 | 2020-06-30 | 华中师范大学 | 一种mooc环境下的学习注意力检测方法及系统 |
| KR102225149B1 (ko) * | 2020-10-21 | 2021-03-10 | 주식회사 스카이칩스 | 지능형 제어 기반 생체신호 처리 장치 |
| CN113367704A (zh) * | 2021-06-04 | 2021-09-10 | 智慧精灵(厦门)科技有限公司 | 基于脑电数据的大脑相关指标的智能测评分析方法 |
| CN114202794A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于人脸ppg信号的疲劳检测方法和装置 |
| CN114504329A (zh) * | 2022-01-30 | 2022-05-17 | 天津大学 | 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统 |
| KR20220064699A (ko) * | 2020-11-12 | 2022-05-19 | 경북대학교 산학협력단 | 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템 |
| KR20230045681A (ko) * | 2021-09-27 | 2023-04-05 | 주식회사 에이블에듀테크 | 웨어러블 기기를 이용한 ai 기반의 온라인 학습 제공 장치 및 방법 |
| KR102520188B1 (ko) * | 2021-10-29 | 2023-04-10 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230105821A (ko) | 2022-01-05 | 2023-07-12 | (주)베테랑소사이어티 | 휴대용 무선 fNIRS 기술을 이용한 집중도 모니터링 장치, 그를 이용한 집중도 모니터링 방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100132592A (ko) * | 2009-06-10 | 2010-12-20 | 연세대학교 산학협력단 | 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법 |
| KR20120098365A (ko) * | 2011-02-28 | 2012-09-05 | 중앙대학교 산학협력단 | 스트레스 분석 장치 및 방법 |
| KR20120124772A (ko) * | 2011-05-04 | 2012-11-14 | 경북대학교 산학협력단 | 사용자 집중도 분석장치 및 방법 |
-
2018
- 2018-05-15 KR KR1020180055648A patent/KR102143343B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100132592A (ko) * | 2009-06-10 | 2010-12-20 | 연세대학교 산학협력단 | 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법 |
| KR20120098365A (ko) * | 2011-02-28 | 2012-09-05 | 중앙대학교 산학협력단 | 스트레스 분석 장치 및 방법 |
| KR20120124772A (ko) * | 2011-05-04 | 2012-11-14 | 경북대학교 산학협력단 | 사용자 집중도 분석장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Kim Gyeong-hwan, development of core source technology for driver concentration/fatigue monitoring based on physiological signals measured by wrist wearable sensor modules, Yonsei University Wonju Industry-Academic Cooperation Foundation, research period (2017-04-01 ~ 2018-12-31) * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111345800A (zh) * | 2020-03-16 | 2020-06-30 | 华中师范大学 | 一种mooc环境下的学习注意力检测方法及系统 |
| KR102225149B1 (ko) * | 2020-10-21 | 2021-03-10 | 주식회사 스카이칩스 | 지능형 제어 기반 생체신호 처리 장치 |
| KR20220064699A (ko) * | 2020-11-12 | 2022-05-19 | 경북대학교 산학협력단 | 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템 |
| CN113367704A (zh) * | 2021-06-04 | 2021-09-10 | 智慧精灵(厦门)科技有限公司 | 基于脑电数据的大脑相关指标的智能测评分析方法 |
| KR20230045681A (ko) * | 2021-09-27 | 2023-04-05 | 주식회사 에이블에듀테크 | 웨어러블 기기를 이용한 ai 기반의 온라인 학습 제공 장치 및 방법 |
| KR102520188B1 (ko) * | 2021-10-29 | 2023-04-10 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 |
| WO2023075161A1 (ko) * | 2021-10-29 | 2023-05-04 | 전남대학교 산학협력단 | 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 |
| CN114504329A (zh) * | 2022-01-30 | 2022-05-17 | 天津大学 | 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统 |
| CN114504329B (zh) * | 2022-01-30 | 2023-09-22 | 天津大学 | 基于40导联脑电采集设备的人脑疲劳状态自主辨识系统 |
| CN114202794A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于人脸ppg信号的疲劳检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102143343B1 (ko) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102143343B1 (ko) | 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템 | |
| Lohani et al. | A review of psychophysiological measures to assess cognitive states in real-world driving | |
| Zhang et al. | Cognitive load measurement in a virtual reality-based driving system for autism intervention | |
| Lanatà et al. | How the autonomic nervous system and driving style change with incremental stressing conditions during simulated driving | |
| Schmidt et al. | Wearable affect and stress recognition: A review | |
| EP0699413B1 (en) | Apparatus and method for analyzing information relating to physical and mental condition | |
| Marshall | Identifying cognitive state from eye metrics | |
| Kästle et al. | Correlation between Situational Awareness and EEG signals | |
| EP3153097B1 (en) | A method and system for assessing learning experience of a person | |
| Jraidi et al. | Student's uncertainty modeling through a multimodal sensor-based approach | |
| Wu et al. | Understanding the relationship between physiological signals and digital game-based learning outcome | |
| Siegel et al. | HP Omnicept cognitive load database (HPO-CLD)–developing a multimodal inference engine for detecting real-time mental workload in VR | |
| Giusti et al. | A noninvasive system for evaluating driver vigilance level examining both physiological and mechanical data | |
| Bläsing et al. | Influence of complexity and noise on mental workload during a manual assembly task | |
| Vettivel et al. | System for detecting student attention pertaining and alerting | |
| Andruccioli et al. | Arousal effects on fitness-to-drive assessment: algorithms and experiments | |
| Chatterjee et al. | Real time estimation of task specific self-confidence level based on brain signals | |
| Angkan et al. | Multimodal Brain–Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines | |
| Karim et al. | An EEG-based Cognitive Fatigue Detection System | |
| Zhu et al. | Visceral versus verbal: Can we see depression? | |
| JPH09262216A (ja) | 集中度推定装置 | |
| Fernandes | Driver drowsiness detection using non-intrusive eletrocardiogram and steering wheel angle signals | |
| Jobdas et al. | BCI in classroom, system for assessing dynamic state of cognitive performance using EEG signals | |
| İLERİ et al. | Analysis of the electrodermal activity signals for different stressors using empirical mode decomposition | |
| RU2736397C1 (ru) | Система и способ определения состояния стресса на основе биометрического сигнала ЭЭГ и электродермальной активности |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |