KR20180001367A - 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 - Google Patents

운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 Download PDF

Info

Publication number
KR20180001367A
KR20180001367A KR1020160080410A KR20160080410A KR20180001367A KR 20180001367 A KR20180001367 A KR 20180001367A KR 1020160080410 A KR1020160080410 A KR 1020160080410A KR 20160080410 A KR20160080410 A KR 20160080410A KR 20180001367 A KR20180001367 A KR 20180001367A
Authority
KR
South Korea
Prior art keywords
bio
driver
signal
signals
measured
Prior art date
Application number
KR1020160080410A
Other languages
English (en)
Inventor
허남웅
전슬기
김현상
김응환
전성찬
안상태
장효중
Original Assignee
현대자동차주식회사
광주과학기술원
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 광주과학기술원, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160080410A priority Critical patent/KR20180001367A/ko
Priority to US15/356,083 priority patent/US10022082B2/en
Priority to DE102016123159.2A priority patent/DE102016123159A1/de
Priority to CN201611081026.9A priority patent/CN107536617A/zh
Publication of KR20180001367A publication Critical patent/KR20180001367A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A61B5/0456—
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Abstract

본 발명은 운전자의 뇌 혈류량, 뇌전도 및 심전도를 이용하여 운전자가 정상 상태일 경우와 피로한 경우로 분류 및 분석하여 분석된 생체 신호를 통해 운전자의 피로 지수를 정량화할 수 있는 운전자의 생체 신호 검출 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치는 운전자의 뇌전도(EEG), 심전도(ECG) 및 기능적 근적외선 분광법(fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정하는 생체 신호 측정부, 상기 측정된 생체 신호를 통합하거나, 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합하는 생체 신호 통합부 및 상기 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별하는 운전자 상태 판별부를 포함한다.

Description

운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법{Apparatus and Method for detecting state of driver based on biometric signals of driver}
본 발명은 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법에 관한 것으로, 보다 상세하게는 운전자의 뇌 혈류량, 뇌전도 및 심전도를 이용하여 운전자의 생체 신호를 검출하는 기술에 관한 것이다.
운전자가 운전중 졸음운전으로 인해 대형 사고로 이어지는 교통사고의 많은 부분을 차지하고 있다. 이를 방지하기 위하여 최근 많은 다양한 방법과 장치들이 연구되고 있다.
예를 들어, 운전자의 졸음을 감지하기 위하여 운전자의 신체적 변화 즉, 눈꺼풀의 움직임, 눈의 응시방향, 끄덕거림 등을 카메라로 관측하고, 감지하여 영상을 분석한 후 일정 값 이상이면, 졸음운전으로 판단하고, 이를 운전자에게 경보함으로써 졸음운전을 방지하도록 한다.
또 다른 방법으로 운전자의 졸음이나 수면상태를 판단하기 위하여 운전자의 다양한 생체 신호를 감지하고, 분석하여 졸음여부를 판단하는 것이다,
즉, 운전자의 뇌전도(Electroencephalography, EEG), 안구전도(Electrooculography, EOG), 심전도(Electrocardiography, ECG) 등의 변화를 측정하고, 분석하는 방법이다.
이러한 운전자의 물리적 상태 및 정신적 상태는 심전도(ECG) 센서 및 GSR(Galvanic Skin Resistance) 센서를 이용하여 운전자의 양 손에 흐르는 미세한 전류 신호를 통해 검출이 가능하며, 더 나아가, 뇌전도(EEG) 센서, 안구전도(EOG) 센서를 이용하여 운전자의 두뇌 활동 시 머리 주변의 피부에서 검출이 가능한 미세 전류 신호를 통해 보다 직접적으로 검출할 수 있다.
특히, 뇌전도(EEG) 센서 및 안구전도(EOG) 센서를 활용하면 운전자의 졸음 운전 상황 또는 운전자가 주의가 흐트러지는 상태가 운전자의 뇌전도 및 안구전도의 변화를 통해 감지될 수 있다.
그런데, 각종 센서를 이용하여 운전자의 생체 신호를 수집하는 경우에도, 수집된 생체 신호에 잡음이 섞여있는 경우 운전자의 정확한 상태를 진단하기 어렵다는 문제점이 있다. 이에 따라, 운전자의 졸음 상태 및 감정 상태 등을 정확하게 진단하고, 이를 운전자에게 피드백하기 위해서 주변 환경 요인(예를 들어, 잡음 등)이 제거된 운전자의 생체 신호가 수집될 필요가 있다.
[특허문헌]한국공개특허 2014-0022312호.
본 발명은 운전자의 뇌 혈류량, 뇌전도 및 심전도를 이용하여 운전자가 정상 상태일 경우와 피로한 경우로 분류 및 분석하여 분석된 생체 신호를 통해 운전자의 피로 지수를 정량화할 수 있는 운전자의 생체 신호 검출 장치 및 방법을 제공한다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일실시예에 따른 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치는 운전자의 뇌전도(EEG), 심전도(ECG) 및 기능적 근적외선 분광법(fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정하는 생체 신호 측정부, 상기 측정된 생체 신호를 통합하거나, 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합하는 생체 신호 통합부 및 상기 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별하는 운전자 상태 판별부를 포함한다.
또한, 상기 생체 신호 측정부는 뇌에서 발생하는 뇌전도를 측정하기 위한 뇌전도 측정 장치, 상기 뇌의 혈류량을 측정하기 위하여 근적외선을 발생시키는 이미터 및 상기 이미터로부터 근적외선 발생 후에 반사되는 근적외선을 검출하여 전기신호를 획득하는 검출기를 포함할 수 있다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 운전자의 두피에 부착한 전극을 통해 상대적 파워 레벨(relative power level, RPL)의 특징을 추출하여 뇌전도의 특징을 추출할 수 있다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 심전도의 P, Q, R, S T 성분 중 R 성분을 추출하고, 추출된 R 성분을 이용하여 심장 박동수를 계산함으로써 심전도의 특징을 추출할 수 있다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 검출기로 반사량을 측정하고, 빛의 흡수도를 이용하여 빛의 세기값(light intensity)을 산소 및 비산소의 헤모글로빈 농도로 변환하며, 산소 및 비산소의 헤모글로빈 농도를 이용하여 운전자의 뇌 혈류량을 측정할 수 있다.
또한, 상기 운전자 상태 판별부는 뇌전도, 심전도, 뇌 혈류량의 값들을 동일한 가중치로 부여하여 운전자 상태 지수(Driving Condition Level)를 계산할 수 있다.
본 발명의 일실시예에 따른 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법은 운전자의 뇌전도(EEG), 심전도(ECG) 및 기능적 근적외선 분광법(fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정하는 단계, 상기 측정된 생체 신호를 통합하거나, 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합하는 단계 및 상기 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별하는 단계를 포함한다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 운전자의 두피에 부착한 전극을 통해 상대적 파워 레벨(relative power level, RPL)의 특징을 추출하여 뇌전도의 특징을 추출할 수 있다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 심전도의 P, Q, R, S T 성분 중 R 성분을 추출하고, 추출된 R 성분을 이용하여 심장 박동수를 계산함으로써 심전도의 특징을 추출할 수 있다.
또한, 상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 검출기로 반사량을 측정하고, 빛의 흡수도를 이용하여 빛의 세기값(light intensity)을 산소 및 비산소의 헤모글로빈 농도로 변환하며, 산소 및 비산소의 헤모글로빈 농도를 이용하여 운전자의 뇌 혈류량을 측정할 수 있다.
또한, 상기 뇌전도, 심전도, 뇌 혈류량의 값들을 동일한 가중치로 부여하여 운전자 상태 지수(Driving Condition Level)를 계산할 수 있다.
본 기술은 운전자의 뇌 혈류량, 뇌전도 및 심전도를 이용하여 운전자가 정상 상태일 경우와 피로한 경우로 분류 및 분석하여 분석된 생체 신호를 통해 운전자의 피로 지수를 정량화할 수 있는 기술이다.
도 1은 본 발명의 일실시예에 따른 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치를 설명하는 구성도이다.
도 2는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 측정부를 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부를 설명하는 도면이다.
도 4는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부의 멀티 모달리티 생체신호를 통합하는 방법을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 뇌전도의 특징을 추출하는 방법을 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 심전도의 특징을 추출하는 방법을 설명하는 도면이다.
도 7은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 기능적 근적외선 분광법의 특징을 추출하는 방법을 설명하는 도면이다.
본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
도면들에 있어서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 본 명세서에서 특정한 용어들이 사용되었으나. 이는 본 발명을 설명하기 위한 목적에서 사용된 것이며, 의미 한정이나 특허 청구 범위에 기재된 본 발명의 권리 범위를 제한하기 위하여 사용된 것은 아니다.
본 명세서에서 '및/또는'이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, '연결되는/결합되는'이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 '포함한다' 또는 '포함하는'으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작 및 소자의 존재 또는 추가를 의미한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치를 설명하는 구성도이다.
도 1을 참조하면, 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치는 생체 신호 측정부(100), 생체 신호 통합부(110) 및 운전자 상태 판별부(120)를 포함한다.
생체 신호 측정부(100)는 운전자의 뇌전도(Electro-encephalography, EEG), 심전도(Electro-cardiography, ECG) 및 기능적 근적외선 분광법(Functional Near-Infrared Spectroscopy, fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정한다.
뇌전도(EEG)는 운전자의 신경계에서 뇌신경 사이에 신호가 전달될 때 발생하는 전기의 흐름으로, 운전자의 심신의 상태에 따라 각각 다르게 나타나기 때문에 뇌의 활동을 측정하는 중요한 지표이다. 이러한 뇌전도는 뇌의 전기적 활동에 대한 신경 생리학적 측정방법으로써, 운전자의 두피에 부착된 전극을 통해 측정 가능하다.
심전도(ECG)는 정해진 시간 동안의 인간의 심장의 전기적 활동을 해석하는 지표로써, 심장 박동의 비율과 일정 주기, 심장의 크기와 위치 또는 심장의 손상여부 등의 판단에 중요한 역할을 한다. 운전자의 피부에 부착된 전극과 운전자의 신체와 연결된 외부의 장비에 의해서 측정이 가능하다.
기능적 근적외선 분광법(fNIRS)은 가시광선과 중적외선 사이에 존재하는 800nm-1300nm의 근적외선을 운전자의 두피에 부착된 분광기를 통해 두피 표면에 분광하고, 그 빛이 두피를 투과하여 혈류의 산소포화도의 정도에 따라 흡수된다. 그 빛이 일정 거리 떨어져서 부착된 측정기로 측정되면, 빛의 흡수율에 따라 혈류산소포화도가 계산할 수 있고, 뇌의 뉴런들의 활동과 이와 연관된 뇌 활동에 대한 혈류역학적인 정보의 획득이 가능하다.
이러한 생체 신호 측정부(100)는 생체 신호 측정 장치를 이용하여 측정된 생체 신호들이 하드웨어의 제어부(MCU)에 프로그래밍 되어 있는 데이터 패킷 구조에 따라 데이터 패킷을 구성하고, 지그비(Zigbee) 통신 네트워크를 통해 매초 250Kbit의 속도로 개인용 컴퓨터(PC)에 전송된다. 이러한 개인용 컴퓨터(PC)에 설치되어 있는 소프트웨어에서는 생체 신호의 데이터 패킷을 수신하여 변환 알고리즘을 거쳐서 생체 신호를 화면상에 출력해줄 수 있으며, 생체 신호는 채널과 시간 형태가 조합된 행렬 구조로 제어부(MCU)에 저장이 될 수 있다.
생체 신호 통합부(110)는 측정된 운전자의 생체 신호를 분석하고, 분석된 생체 신호를 통합한다.
생체 신호 통합부(110)는 한 번에 또는 동시에 다양한 종류의 생체 신호를 측정하는 멀티 모달리티(Multi-Modality)를 이용한 생체 신호를 측정할 수 있다.
예를 들어, 생체 신호 통합부(110)는 생체 신호 측정부(100)에서 측정된 생체 신호 데이터들을 통합하여 이를 활용하고, 각각의 생체 신호(뇌전도, 심전도, 뇌 혈류량 등)를 동시에 측정한 후에 이들 각각의 생체 신호의 특성을 가장 잘 나타낼 수 있는 특징들을 각각 추출하며, 추출한 특징들을 하나로 통합하여 신뢰성이 높은 데이터들을 생성한다.
여기서, 추출된 생체 신호의 특성을 가장 잘 나타낼 수 있는 특징들은 다양한 종류의 분류기로 분류된 후에 다양한 종류의 분류기의 최종 출력값을 하나로 통합할 수 있다.
운전자 상태 판별부(120)는 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별한다.
도 2는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 측정부를 설명하는 도면이다.
도 2를 참조하면, 생체 신호 측정부(100)는 생체 신호 측정 장치를 이용하여 측정된 생체 신호들이 하드웨어의 제어부(MCU)에 프로그래밍 되어 있는 데이터 패킷 구조에 따라 데이터 패킷을 구성하고, 지그비(Zigbee) 통신 네트워크를 통해 매초 250Kbit의 속도로 개인용 컴퓨터(PC)에 전송된다. 이러한 개인용 컴퓨터(PC)에 설치되어 있는 소프트웨어에서는 생체 신호의 데이터 패킷을 수신하여 변환 알고리즘을 거쳐서 생체 신호를 화면상에 출력해줄 수 있으며, 생체 신호는 채널과 시간 형태가 조합된 행렬 구조로 제어부(MCU)에 저장이 될 수 있다.
예를 들어, 생체 신호 측정부(100)는 뇌전도를 측정하기 위하여 뇌전도 측정 장치(200), 검출기(Detector, 210) 및 이미터(Emitter, 220)를 포함한다.
뇌전도 측정장치(200)는 뇌에서 발생하는 전기신호를 두피에서 측정(EEG 측정)한다.
검출기(210)는 뇌의 혈류량을 측정하기 위하여 이미터(220)에서 근적외선 발생한 후에 반사되는 근적외선을 검출하여 전기신호로 획득할 수 있는 장치이다.
이러한 검출기(210)는 근적외선 검출기 또는 광자(photon) 검출기로 명명할 수 있다.
이미터(220)는 뇌의 혈류량을 측정하기 위한 근적외선 발생 장치이다. 예를 들어, 이미터(220)는 LED(Light Emitting Diode)를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부를 설명하는 도면이다.
도 3을 참조하면, 생체 신호 통합부는 한 번에 또는 동시에 다양한 종류의 생체 신호를 측정하는 멀티 모달리티(Multi-Modality, A)를 이용한 생체 신호를 측정할 수 있다.
이러한 생체 신호 통합부는 생체 신호 측정부에서 측정된 생체 신호를 통합하거나, 생체 신호 측정부에서 측정된 생체 신호에서 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합할 수 있다.
예를 들어, 생체 신호 통합부는 측정된 생체 신호 데이터들을 통합하여 이를 활용하고, 각각의 생체 신호(뇌전도, 심전도, 뇌 혈류량 등)를 동시에 측정한 후에 이들 각각의 생체 신호의 특성을 가장 잘 나타낼 수 있는 특징들을 각각 추출하며, 추출한 특징들을 하나로 통합하여 신뢰성이 높은 데이터들을 생성하고, 각각의 생체 신호를 동시에 측정하고 난 후에 각각의 생체 신호의 특성을 가장 잘 나타낼 수 있는 특징들을 추출한다. 추출된 특징들은 여러 분류기로 분류가 된 후에 이들 분류기의 최종 출력값을 하나로 통합할 수 있다.
도 4는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부의 멀티 모달리티 생체신호를 통합하는 방법을 설명하는 도면이다.
도 4의 (a)를 참조하면, 생체 신호 통합부는 생체 신호 측정부에서 측정된 생체 신호(로우 데이터)를 즉시 통합(X)할 수 있다.
도 4의 (b)를 참조하면, 생체 신호 통합부는 생체 신호 측정부에서 측정된 생체 신호에서 생체 신호의 특징을 추출한 후, 추출된 생체 신호의 특징을 통합(Y)할 수 있다.
도 4의 (c)를 참조하면, 생체 신호 통합부는 추출된 생체 신호의 특징을 분류한 후, 분류된 생체 신호를 통합(Z)할 수 있다.
도 5는 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 뇌전도의 특징을 추출하는 방법을 설명하는 도면이다.
도 5를 참조하면, 운전자의 상태 판별 장치 내 생체 신호 통합부에서 뇌전도의 특징을 추출하는 방법은 운전자의 두피에 부착한 전극을 통해 상대적 파워 레벨(relative power level, RPL) 특징을 추출하거나, 시간열 데이터를 푸리에 변환을 통하여 주파수 데이터로 변환하거나, 주파수 데이터로 변환 후 알파파(8Hz ~ 13Hz) 및 베타파(13Hz ~ 30Hz)를 추출하거나, 알파파 및 베타파를 1Hz ~ 50Hz의 파워 값으로 나누어 표준화(normalization)함으로써 뇌전도의 특징을 추출할 수 있다.
예를 들어, 정상인 운전자 그룹(정상 그룹)과 인위적으로 피로하게 만든 운전자 그룹(비정상 그룹 또는 피로 그룹)의 뇌전도(EEG)를 비교한 것으로, 도 5에서 도시된 바와 같이 정상인 운전자 그룹보다 인위적으로 피로하게 만든 운전자 그룹에서 알파파의 상대적 파워레벨 (RPL)값이 훨씬 크게 나타난다.
도 5는 운전자의 머리가 위치한 상부에서 내려다 본 것으로, 운전자의 머리의 상부는 전두엽이고, 하부는 후두엽이며, 좌측부 및 우측부는 측두엽이라고 명명할 수 있다.
여기서, 알파파는 비정상 그룹에서 측두엽(B)에서 크게 나타나고(색이 진하거나 어두운 색으로 나타냄), 베타파는 비정상 그룹의 전두엽(C)에서 더 낮게 나타난다.
도 6은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 심전도의 특징을 추출하는 방법을 설명하는 도면이다.
도 6을 참조하면, 운전자의 상태 판별 장치 내 생체 신호 통합부에서 심전도의 특징을 추출하는 방법은 심전도의 P, Q, R, S T 성분 중 R 성분을 추출하고, 추출된 R 성분을 이용하여 심장 박동수를 계산함으로써 심전도의 특징을 추출할 수 있다.
예를 들어, 운전자의 심전도를 측정하되, 1분 동안 R 성분을 계산하고, 계산된 R 성분을 이용하여 심장 박동수를 계산할 수 있다.
도 7은 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 생체 신호 통합부에서 기능적 근적외선 분광법의 특징을 추출하는 방법을 설명하는 도면이다.
도 7을 참조하면, 운전자의 상태 판별 장치 내 생체 신호 통합부에서 기능적 근적외선 분광법의 특징을 추출하는 방법은 검출기(detector)로 반사량을 측정하고, modified Beer-Lambert Law (mBLL)와 같은 빛의 흡수도를 이용하여 빛의 세기값(light intensity)을 산소 및 비산소의 헤모글로빈 농도로 변환하며, 산소 및 비산소의 헤모글로빈을 특징으로 이용하여 산소 헤모글로빈 농도(HbO) 및 비산소 헤모글로빈 농도(HbR)를 알 수 있고, 이러한 산소 헤모글로빈 농도 및 비산소 헤모글로빈 농도를 이용하여 운전자의 뇌 혈류량을 측정할 수 있다.
구체적으로, 도 7에서는 이미터(D)에서 근적외선을 발생시키고, 검출기(E)로 반사 또는 산란되는 근적외선을 측정한다.
측정된 근적외선 값은 빛의 세기 값이 되고, 이를 Modified Beer-Lambert Law(mBLL)을 사용하여 뇌의 산화 및 비산화 헤모글로빈 농도(HbO/HbR)를 측정할 수 있다.
구체적으로, 본 발명의 일실시예에 따른 운전자의 상태 판별 장치 내 운전자 상태 판별부에서는 운전자의 운전 상태 지수를 추출하는 방법을 설명하고자 한다.
운전자의 상태 판별 장치 내 운전자 상태 판별부에서 운전 상태 지수를 추출하는 방법은 뇌전도(알파파, 베타파), 심전도(심박수), 뇌 혈류량(산소 헤모글로빈 농도)의 값들을 하기 수학식 1을 이용하여 계산한다.
[수학식 1]
Figure pat00001
여기서, norm(x)는 서로 다른 범위의 크기를 갖는 3가지 신호들을 0부터 1로 맵핑 시키는 수식이고, x는 각 신호들에서 추출된 특징을 의미하며, 뇌전도에서는 알파파 및 베타파를 의미하고, 심전도에서는 심박수를 의미하며, 뇌 혈류량에서는 산호헤모글로빈 농도(HbO)를 의미한다.
다음으로, 운전 상태 지수(Driving Condition Level, DCL)는 뇌전도(알파파, 베타파), 심전도(심박수), 뇌 혈류량(산소 헤모글로빈 농도)의 값들을 동일한 가중치를 부여하되, 하기 수학식 2와 같이 계산한다.
[수학식 2]
Figure pat00002
Figure pat00003
전술한 바와 같이, 본 기술은 운전자의 뇌 혈류량, 뇌전도 및 심전도를 이용하여 운전자가 정상 상태일 경우와 피로한 경우로 분류 및 분석하여 분석된 생체 신호를 통해 운전자의 피로 지수를 정량화할 수 있는 기술이다.
이상, 본 발명은 비록 한정된 구성과 도면에 의해 설명되었으나, 본 발명의 기술적 사상은 이러한 것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해, 본 발명의 기술적 사상과 하기 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 실시가 가능할 것이다.

Claims (11)

  1. 운전자의 뇌전도(EEG), 심전도(ECG) 및 기능적 근적외선 분광법(fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정하는 생체 신호 측정부;
    상기 측정된 생체 신호를 통합하거나, 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합하는 생체 신호 통합부; 및
    상기 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별하는 운전자 상태 판별부
    를 포함하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  2. 청구항 1에 있어서,
    상기 생체 신호 측정부는
    뇌에서 발생하는 뇌전도를 측정하기 위한 뇌전도 측정 장치;
    상기 뇌의 혈류량을 측정하기 위하여 근적외선을 발생시키는 이미터; 및
    상기 이미터로부터 근적외선 발생 후에 반사되는 근적외선을 검출하여 전기신호를 획득하는 검출기를 포함하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  3. 청구항 1에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 운전자의 두피에 부착한 전극을 통해 상대적 파워 레벨(relative power level, RPL)의 특징을 추출하여 뇌전도의 특징을 추출하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  4. 청구항 1에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 심전도의 P, Q, R, S T 성분 중 R 성분을 추출하고, 추출된 R 성분을 이용하여 심장 박동수를 계산함으로써 심전도의 특징을 추출하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  5. 청구항 1에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 검출기로 반사량을 측정하고, 빛의 흡수도를 이용하여 빛의 세기값(light intensity)을 산소 및 비산소의 헤모글로빈 농도로 변환하며, 산소 및 비산소의 헤모글로빈 농도를 이용하여 운전자의 뇌 혈류량을 측정하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  6. 청구항 1에 있어서,
    상기 운전자 상태 판별부는 뇌전도, 심전도, 뇌 혈류량의 값들을 동일한 가중치로 부여하여 운전자 상태 지수(Driving Condition Level)를 계산하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치.
  7. 운전자의 뇌전도(EEG), 심전도(ECG) 및 기능적 근적외선 분광법(fNIRS)을 이용하여 운전자의 뇌 혈류량을 포함하는 생체 신호를 측정하는 단계;
    상기 측정된 생체 신호를 통합하거나, 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출한 후에 이를 통합하거나, 추출된 생체 신호의 특징을 분류한 후에 통합하는 단계; 및
    상기 통합된 생체 신호를 기반으로 하여 운전자의 상태를 판별하는 단계를 포함하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법.
  8. 청구항 7에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 운전자의 두피에 부착한 전극을 통해 상대적 파워 레벨(relative power level, RPL)의 특징을 추출하여 뇌전도의 특징을 추출하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법.
  9. 청구항 7에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 심전도의 P, Q, R, S T 성분 중 R 성분을 추출하고, 추출된 R 성분을 이용하여 심장 박동수를 계산함으로써 심전도의 특징을 추출하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법.
  10. 청구항 7에 있어서,
    상기 측정된 생체 신호에서 각각의 생체 신호의 특징을 추출할 경우에 검출기로 반사량을 측정하고, 빛의 흡수도를 이용하여 빛의 세기값(light intensity)을 산소 및 비산소의 헤모글로빈 농도로 변환하며, 산소 및 비산소의 헤모글로빈 농도를 이용하여 운전자의 뇌 혈류량을 측정하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법.
  11. 청구항 7에 있어서,
    상기 뇌전도, 심전도, 뇌 혈류량의 값들을 동일한 가중치로 부여하여 운전자 상태 지수(Driving Condition Level)를 계산하는 것을 특징으로 하는 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 방법.
KR1020160080410A 2016-06-27 2016-06-27 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법 KR20180001367A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160080410A KR20180001367A (ko) 2016-06-27 2016-06-27 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
US15/356,083 US10022082B2 (en) 2016-06-27 2016-11-18 Apparatus and method for detecting a state of a driver based on biometric signals of the driver
DE102016123159.2A DE102016123159A1 (de) 2016-06-27 2016-11-30 Vorrichtung und Verfahren zum Detektieren eines Fahrerzustands basierend auf biometrischen Signalen des Fahrers
CN201611081026.9A CN107536617A (zh) 2016-06-27 2016-11-30 基于驾驶员的生物识别信号检测驾驶员状态的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160080410A KR20180001367A (ko) 2016-06-27 2016-06-27 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180001367A true KR20180001367A (ko) 2018-01-04

Family

ID=60579777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080410A KR20180001367A (ko) 2016-06-27 2016-06-27 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법

Country Status (4)

Country Link
US (1) US10022082B2 (ko)
KR (1) KR20180001367A (ko)
CN (1) CN107536617A (ko)
DE (1) DE102016123159A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110507319A (zh) * 2019-09-04 2019-11-29 杭州回车电子科技有限公司 一种疲劳度检测方法及设备
WO2021010749A1 (ko) * 2019-07-17 2021-01-21 주식회사 이엠텍 근적외선 조사부를 구비하는 뇌전도 측정 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10379535B2 (en) 2017-10-24 2019-08-13 Lear Corporation Drowsiness sensing system
US10836403B2 (en) 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
US10210409B1 (en) * 2018-02-07 2019-02-19 Lear Corporation Seating system with occupant stimulation and sensing
WO2019185303A1 (en) * 2018-03-28 2019-10-03 Robert Bosch Gmbh In-vehicle system for estimating a scene inside a vehicle cabin
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
CN108742614B (zh) * 2018-06-11 2021-03-30 上海交通大学 一种联合表面肌电肌音与近红外光谱的肌肉疲劳检测方法
CN109044379A (zh) * 2018-06-26 2018-12-21 深圳市元征科技股份有限公司 一种疲劳驾驶判断方法、系统、设备及计算机存储介质
CN109710065B (zh) * 2018-12-18 2021-12-28 苏州大学 基于大脑血红蛋白信息的行走调节意图的识别方法
CN109620205B (zh) * 2018-12-26 2022-10-28 上海联影智能医疗科技有限公司 心电数据分类方法、装置、计算机设备和存储介质
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
CN110742602B (zh) * 2019-10-15 2021-02-19 武汉理工大学 一种基于脑电与车辆行驶数据的激进驾驶状态识别方法
US11813060B2 (en) * 2020-06-29 2023-11-14 Lear Corporation System and method for biometric evoked response monitoring and feedback
CN112190235B (zh) * 2020-12-08 2021-03-16 四川大学 一种基于不同情况下欺骗行为的fNIRS数据处理方法
CN113261974A (zh) * 2021-06-07 2021-08-17 吉林大学 一种基于多生理信号的运动疲劳监测方法
CN116350190B (zh) * 2023-05-29 2023-08-18 中国第一汽车股份有限公司 一种驾驶能力确定方法、电子设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110546A (ja) 2002-09-19 2004-04-08 Denso Corp 表示装置、音響装置、およびアクチュエータ制御装置
DE10312519A1 (de) 2003-03-20 2004-10-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Auslösen insassenunterstützter Maßnahmen in einem Fahrzeug
JP2006280512A (ja) 2005-03-31 2006-10-19 National Institute Of Information & Communication Technology 乗り物操縦者への危険信号提示方法及び装置
CN101375796B (zh) * 2008-09-18 2010-06-02 浙江工业大学 疲劳驾驶实时检测系统
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
JP5188652B2 (ja) * 2010-03-12 2013-04-24 タタ コンサルタンシー サービシズ リミテッド 車両の防犯、カスタマイズを行うと共に運転者の心臓活動をモニタリングするシステム
KR20120068625A (ko) 2010-12-17 2012-06-27 대구대학교 산학협력단 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
KR102013609B1 (ko) 2012-08-14 2019-08-23 엘지전자 주식회사 운전자의 생체 신호 측정 장치
KR20140096609A (ko) 2013-01-28 2014-08-06 주식회사 라이프사이언스테크놀로지 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법
JP2014167438A (ja) 2013-02-28 2014-09-11 Denso Corp 情報通知装置
KR20140127977A (ko) 2013-04-26 2014-11-05 주식회사 라이프사이언스테크놀로지 생체신호를 이용한 운전자의 졸음운전 판단장치
KR101526672B1 (ko) 2013-07-24 2015-06-05 현대자동차주식회사 졸음 상태 판별 장치 및 방법
KR20150078476A (ko) 2013-12-30 2015-07-08 광운대학교 산학협력단 차량 내 운전자의 생체 신호 모니터링 시스템 및 생체 신호 모니터링 방법
US9636063B2 (en) * 2014-03-18 2017-05-02 J. Kimo Arbas System and method to detect alertness of machine operator
KR101669436B1 (ko) 2014-08-08 2016-10-26 최상식 사용자의 상태를 관리하는 머리착용형 장치 및 사용자의 상태를 관리하는 방법
CN104665849B (zh) * 2014-12-11 2017-03-01 西南交通大学 一种基于多生理信号多模型交互的高铁调度员应激检测方法
KR20160080410A (ko) 2014-12-29 2016-07-08 주식회사 레이언스 박막 두께측정 센서모듈 및 이를 포함한 박막 증착 장비
CN105559760B (zh) * 2015-12-10 2018-10-19 塔普翊海（上海）智能科技有限公司 头戴设备的人身模式识别方法
CN105438174B (zh) * 2016-01-02 2016-11-16 刘更新 出租车驾驶员状态自动预警平台

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010749A1 (ko) * 2019-07-17 2021-01-21 주식회사 이엠텍 근적외선 조사부를 구비하는 뇌전도 측정 장치
CN110507319A (zh) * 2019-09-04 2019-11-29 杭州回车电子科技有限公司 一种疲劳度检测方法及设备
CN110507319B (zh) * 2019-09-04 2022-04-15 杭州回车电子科技有限公司 一种疲劳度检测方法及设备

Also Published As

Publication number Publication date
US10022082B2 (en) 2018-07-17
CN107536617A (zh) 2018-01-05
US20170367635A1 (en) 2017-12-28
DE102016123159A1 (de) 2017-12-28

Similar Documents

Publication Publication Date Title
KR20180001367A (ko) 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
Lohani et al. A review of psychophysiological measures to assess cognitive states in real-world driving
Zhang et al. Webcam-based, non-contact, real-time measurement for the physiological parameters of drivers
EP2371286B1 (en) Organism fatigue evaluation device and organism fatigue evaluation method
KR101739058B1 (ko) 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치
US20190159675A1 (en) Point-of-care tele monitoring device for neurological disorders and neurovascular diseases and system and method thereof
KR102075503B1 (ko) 치매 예측 시스템 및 그 구동방법
KR101669436B1 (ko) 사용자의 상태를 관리하는 머리착용형 장치 및 사용자의 상태를 관리하는 방법
Park et al. Wireless dry EEG for drowsiness detection
CN112244765B (zh) 一种大脑暂时性异常态的检测方法、装置和系统
US20220148728A1 (en) System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein
Punsawad et al. Weighted-frequency index for EEG-based mental fatigue alarm system
Rajan et al. Feasibility analysis of portable electroencephalography based abnormal fatigue detection and tele-surveillance system
Kesedžić et al. Classification of cognitive load based on neurophysiological features from functional near-infrared spectroscopy and electrocardiography signals on n-back task
Mindoro et al. Drowsy or not? Early drowsiness detection utilizing arduino based on electroencephalogram (eeg) neuro-signal
Zeng et al. Infrared video based non-invasive heart rate measurement
KR101527273B1 (ko) 전두엽 부착형 뇌파신호 검출 및 뇌파기반 집중력 분석 방법 및 장치
CN113288174B (zh) 一种精神分裂患者认知功能的检测方法
JP2006280512A (ja) 乗り物操縦者への危険信号提示方法及び装置
CN116434959A (zh) 一种基于手机摄像头的人体疲劳度监测系统
Sengupta Study of cognitive fatigue using EEG entropy analysis
Iampetch et al. EEG-based mental fatigue prediction for driving application
CN116369853A (zh) 一种基于脑机交互技术的嗅觉功能标准化评估装置及方法
Sharma et al. Non-contact measurement of human heart rate using low cost video camera
Dolezalek et al. Physiological signal monitoring system to analyze driver attentiveness

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application