KR20110017883A - 졸음 이벤트의 검출을 위한 방법 및 장치 - Google Patents
졸음 이벤트의 검출을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20110017883A KR20110017883A KR1020107028212A KR20107028212A KR20110017883A KR 20110017883 A KR20110017883 A KR 20110017883A KR 1020107028212 A KR1020107028212 A KR 1020107028212A KR 20107028212 A KR20107028212 A KR 20107028212A KR 20110017883 A KR20110017883 A KR 20110017883A
- Authority
- KR
- South Korea
- Prior art keywords
- moxibustion
- eye
- factors
- drowsiness
- detection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 206010041349 Somnolence Diseases 0.000 claims abstract description 86
- 210000000744 eyelid Anatomy 0.000 claims abstract description 38
- 230000004399 eye closure Effects 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 25
- 208000032140 Sleepiness Diseases 0.000 claims description 14
- 230000037321 sleepiness Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 230000003001 depressive effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000193 eyeblink Effects 0.000 description 2
- 208000007590 Disorders of Excessive Somnolence Diseases 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 206010020765 hypersomnia Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003631 narcolepsy Diseases 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6821—Eye
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Mechanical Engineering (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Dentistry (AREA)
- Anesthesiology (AREA)
- Acoustics & Sound (AREA)
- Hematology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Image Processing (AREA)
Abstract
대상자의 졸음 이벤트를 검출하는 방법에 대해 개시한다. 상기 방법은 일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 일련의 눈 뜸 인자(eye openness factor)를 결정하는 단계를 포함한다. 그런 다음 눈 뜸 인자의 그래픽 표현을 작성한다. 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure patten)을 상관시킨다. 졸음 이벤트 검출 장치에 대해서도 개시한다.
Description
본 발명은 졸음 이벤트의 검출을 위한 방법 및 장치에 관한 것이다.
졸음 시작(sleep onset)과 관련된 운전 실수를 정량화하는 방법들은 졸음 운전의 횟수를 줄이기 위해 중요하다. 미국에서는, 운전자 졸음이 자동차 사고의 주요 원인이고 매년 약 40,000명이 부상당하고 1,500명이 사망한다. 한 연구에 따르면, 설문조사에 응한 운전자 1000명 중 55%가 졸린 상태에서 운전하였고 23%가 차에서 잠들었다고 하였다. 이것은 실수로 다른 원인이 되는 차량 사고에서 졸음 또는 졸음 시작이 원인이 될 수 있다는 다른 연구를 뒷받침한다.
졸음 이벤트는 졸음 개시의 유용한 인디케이터이다. 졸음 이벤트는 수면 부족, 또는 정신적 피로, 수면시 무호흡(sleep apnea), 발작성 수면(narcolepsy) 또는 졸음 과다(hypersomnia)의 결과로서 흔히 발생한다.
졸음을 감시하는 표준화된 방법들이 있는데, 이러한 방법들로는, 뇌전도(EEG: electroencephalogram) 및 안전도(EOG: electrooculogram)를 감시하는 것, 비디오, 성능 테스트 등을 포함한다. 모든 이러한 방법 중에서, 졸음을 감시하는 데는 EEG기 가장 신뢰가 있는 것으로 고려되고 있다. 그렇지만, EEG 및 EOG는 전극을 사용해야 하는데, 이러한 전극은 상기 방법들로, 피로하기 쉬운 작업을 수행하는 오퍼레이터, 예를 들어 차량 운전자를 정기적으로 감시하는데 부적당하다. 다른 방법들은 설치하는 것이 어렵고 사람이 집중적인 데이터 분석을 해야 하므로 데이터 처리를 자동화하는 것이 어렵기 때문에 비현실적이다.
순간적인 수면 발현을 확인할 수 있는 방법은 다양하게 있다. 일부의 전문가들은 행동 기준(눈꺼풀 감김)에 따라 순간적인 수면을 정의하는 반면, 다른 전문가들은 3-15초 이차 발현(이보다 더 짧은 시간은 시각적으로 검출하는 하는 것이 어려울 수 있으며 이보다 더 긴 시간이 졸음 개시로서 적격일 수 있다)과 같이 뇌전도 마커에 의존하기도 하는데, 이 시간 동안 4-7 Hz(세타 파) 작동이 14-20 Hz(알파 파)의 깨우는 배경 리듬을 대체한다.
"꾸벅거리는" 감각에 주관적으로 관련된 졸음은 완전한 각성 상태(full wakefulness)에서 깜박거리는 사람의 특징(blinking artifacts characteristic)의 방해와 관련이 있다. 졸음 이벤트 동안, 주의 일탈은 중대한 자극 및 이벤트를 검출하고 반응하는 능력에 손상을 줄 수 있다. 예를 들어, 지속적으로 조심해야 하는 상황 동안, 예를 들어 차량을 운전 중이거나 기계를 작동하고 있는 동안에 졸음(또는 순간적인 수면 발현)이 생기면 지극히 위험할 수 있다. 졸음을 겪어 본 사람들은 통상적으로는 이것들을 눈치채지 못하는데, 대신에, 자신들이 모든 시간 동안 깨어 있는 것으로 믿거나 "멍해 있다(spacing out)"는 것을 느낀다. 졸음 운전자는 순간적인 수면 발현 동안 사고를 낼 매우 위험한 상황에 처해 있다. 많은 사고는 순간적인 수면 발현으로 인해 생긴다.
분명하게, 졸음 이벤트를 검출하는 능력은 졸리는 운전자에게 이러한 이벤트를 경보를 발하고 경고하는 수단으로서 유용할 것이다.
몇몇 연구에서는 운전자 졸음을 식별하기 위해 "양적" EEG 방법들 사용하고 있다. 세타 파워(EEG 파), 및 세타 버스트(theta burst)의 주파수는 통상적으로 운전이 길어지는 동안 증가하며, 형편없는 운전 실력과도 관련이 있다. 불리하게, 이러한 기술들은 통상적으로 수 초 동안(1분 이내) EEG 액티비티를 평균화하므로, 3초 내지 15초 동안의 단시간의 졸음 이벤트를 검출하는 데는 사용할 수 없다.
졸음이 오려고 하는 운전자에게 경고하기 위해 다양한 생리학적 측정이 제안되었다.
가장 진행된 연구 중의 하나가 PERCLOS(또는 PERcent CLOSure)인데, 이것은
운전자의 눈이 일정한 시간 동안 감기는 시간에 대한 백분율로서 졸음을 측정한다. 충분한 횟수의 눈 뜸/눈 감음 패턴이 획득되면, PERCLOS는 경고를 트리거링한다. PERCLOS는 80%보다 큰 백분율로 작동하는 데, 이것은 통상적으로 1분 이내에, 경고가 트리거링되기 전에 개개인의 눈이 48초 동안 감겨 있어야 한다는 것을 의미한다. 분명하게도, PERCLOS가 경고를 활성화할 즈음에는 운전자가 이미 잠들어 버렸을 것이거나 잠이 들 찰나에 있을 것이기 때문에, 차량을 운전하는 것과 같은 작업에서는 이러한 지연은 받아들일 수 없다. 그러므로 불리하게 PERCLOS는 운전자와 같은 개개인이 최초의 졸음 징조를 경험하기 전에 예방 동작이 취해질 수 있도록 하기에는 시스템이 너무 느리다.
EEG 레코드 동안 잠재적인 인공물을 배척하도록 되어 있는 EOG 레코드도, 정상적인 눈 깜박거림이 졸음 이벤트 동안 종종 지속되어 눈이 적어도 부분적으로 떠져 있다는 것을 나타낸다는 것을 보여주고 있다.
눈 감김에 기초하면서 아마도 운전자에게 졸음의 시작을 경고하는 다른 생리학적 측정은 미국특허 7071831B2에 개시되어 있는 바와 같은, 피크 깜박거림 속도(peak blink velocity)의 측정이다. 이 문헌에 개시되어 있는 시스템은 눈 깜박거림의 발생을 감시하기 위해 개인이 쓰는 한 쌍의 안경 또는 안경 프레임을 포함한다. 그렇지만, 이러한 종류의 장치는 오퍼레이터가 가지고 다니거나 쓰고 있어야만 한다(즉, 휴대용 장치이다).
그러므로 전극 또는 그외 휴대형 장치를 사용할 필요없이 짧은 졸음 이벤트를 일찍 검출할 수 있는, 수면 시작의 인디케이터로서 졸음 이벤트의 검출을 위한 검출 방법 및 장치가 요망된다.
졸음 검출 프로세스를 사용하여 시간의 경과에 따른 눈꺼풀의 깜박거림 패턴을 측정하고, 그 측정으로부터 수집된 미가공 데이터를 그래프로 변환한 다음 이 그래프를 저장되어 있는 표준화된 졸음 패턴의 그래프와 비교함으로써 졸음 이벤트를 쉽고 용이하게 검출할 수 있다는 것을 뜻밖에 알게 되었다.
따라서, 한 관점에서, 대상자의 졸음을 검출하는 검출 방법이 제공되며, 상기 검출 방법은, 일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계; 상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure pattern)을 상관시키는 단계를 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 대상자의 얼굴을 조사하는 단계; 및 얼굴 이미지를 기록하는 단계를 더 포함한다. 적외선 방출원(infrared source)을 구비하는 디지털 카메라를 사용하여 상기 대상자에 조사하고 상기 얼굴 이미지를 기록한다.
상기 검출 방법은, 전술한 바와 같이, 얼굴 특징 인식 알고리즘을 사용하여 눈 및 눈꺼풀을 인식하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 복수의 눈 뜸 인자를 눈의 깜박거림 주기에 대한 시간의 함수로서 측정함으로써, 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검증하는 단계를 더 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 적어도 하나의 눈 뜸 인자를 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 하나 이상의 눈 뜸 레벨 및 5개 이하의 눈 뜸 레벨을 포함한다. 상기 복수의 눈 뜸 인자는 5개의 눈 뜸 레벨을 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 뜬 눈, 눈꺼풀의 감김, 부분적으로 감긴 눈 또는 감긴 눈 및 눈꺼풀의 뜸과 관련이 있다.
상기 검출 방법은, 전술한 바와 같이, 상기 복수의 눈 뜸 인자는 5개의 연속적인 눈 뜸 레벨을 포함하고, 상기 5개의 연속적인 눈 뜸 레벨의 순차적인 검출은 졸음 특징을 나타낸다. 상기 검출 방법은 5개의 연속적인 눈 뜸 인자 레벨 미만이 검출되면 추가의 눈 뜸 인자들을 결정하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 눈 뜸 표현 곡선 및 눈 감김 표현 곡선을 계산하는 단계를 더 포함한다. 상기 눈 감김 표현 곡선은, 제1 및 제2 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 네거티브 슬로프를 사용해서 계산된다. 상기 복수의 눈 뜸 인자는, 제4 및 제5 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 포지티브 슬로프를 사용해서 계산된다. 상기 검출 방법은, 상기 제1 및 제2 눈 뜸 계수 레벨과 관련된 눈 감김 표현 곡선 및 상기 제4 및 제5 눈 인자 레벨과 관련된 눈 뜸 표현 곡선으로 이루어지는 피어슨 계수(Pearson coefficient)를 계산함으로써 순간적인 눈 뜸 및 감김 표현 곡선의 존재를 검증하는 단계를 더 포함한다. 상기 피어슨 계수가 미리 정해진 임계값보다 크거나 같을 때 상기 대상자에게 알려준다.
상기 얼굴의 이미지를 10 Hz 내지 60 Hz의 주파수로 샘플링한다.
상기 검출 방법은, 전술한 바와 같이, 20 Hz의 이미지 샘플링 주파수에서 순간적인 특징 눈 뜸 인자 레벨을 검출하는 서브-프로세스를 더 포함한다. 상기 서브-프로세스는, 뜬 눈(open eye)에 대응하는 6개 이상의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제1 레벨을 검출하는 것을 검증하는 단계를 포함한다.
상기 검출 방법은, 전술한 바와 같이, 일련의 4개 이상의 연속으로 감소하는 눈 뜸 인자의 존재를 확인함으로써 제2 레벨을 검출하는 것을 검증하는 단계를 더 포함한다. 상기 검출 방법은, 전술한 바와 같이, 일련의 최소 5개, 최대 백 개 및 20개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제3 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 일련의 최소 4개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제4 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 뜬 눈에 대응하는 일련의 최소 6개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제5 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 대상자에게 졸음 이벤트의 발생을 경고하는 단계를 더 포함한다.
다른 관점에 따르면, 졸음 이벤트 검출 장치가 제공되며, 상기 거물 장치는,
대상자의 하나 이상의 눈에 조사하기 위한 적외선 방출원을 가지며, 상기 대상자의 시간의 경과에 따른 얼굴 이미지를 샘플링하는 얼굴 이미지 샘플러;
상기 샘플러에 연결되어 상기 샘플링된 얼굴 이미지를 수신하고, 전자적으로 실행 가능한 졸음 검출 프로세스가 전자적으로 저장되어 있는 마이크로프로세서로서, 상기 수신된 얼굴 이미지는 복수의 눈 뜸 인자의 그래픽 표현으로 변화되는, 상기 마이크로프로세서; 및
복수의 기준 눈 감김 패턴이 저장되어 있고, 상기 복수의 눈 뜸 인자와 상기 복수의 기준 눈 감김 패턴을 전자적으로 상관시키기 위해, 상기 마이크로프로세서에 연결되어 있는 메모리
를 포함한다.
상기 검출 장치는, 전술한 바와 같이,
상기 대상자에게 상기 졸음 이벤트를 경고하기 위해 상기 마이크로프로세서에 연결되어 있는 경보기(alert)를 더 포함한다.
따라서, 다른 관점에서, 수송 수단 운전자에게 졸음 이벤트를 경고하는 경고 방법이 제공되며, 상기 경고 방법은,
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계;
일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure pattern)을 상관시키는 단계; 및
상기 수송 수단 운전자에게 상기 졸음을 경고하기 위해 알람을 트리거링하는 단계를 포함한다.
따라서, 또 다른 관점에서, EEG 및 EOG 졸음 패턴을 눈 감김 패턴과 상관시키는 상관 방법이 제공되며, 상기 상관 방법은,
대상자의 EEG 및 EOG 졸음 패턴을 측정하는 단계;
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및
상기 복수의 눈 뜸 인자와 상기 EEG 및 EOG 졸음 패턴을 상관시키는 단계를 포함한다.
본 발명의 실시예를 첨부된 도면을 참조하여 단지 예를 들어 설명할 것이다.
도 1은 본 발명의 예시적인 실시예에 따라, 대상자에 대해 사용되고 있는 졸음 검출 장치의 블록도이다.
도 2는 도 1의 졸음 검출 장치에 의해 사용될 수 있는 졸음 검출 프로세스에 대한 흐름도이다.
도 3a 및 도 3b는 눈 뜸 인자와 관련된 완전히 뜬 눈(도 3a) 및 완전히 감긴 눈(도 3b)에 대한 개략도이다.
도 4는 눈 뜸 인자의 변동의 예를 깜박거림 주기에 대한 시간의 함수로서 나타낸 일련의 개략도이다.
도 5는 졸음의 순간에, 완전히 감긴 눈(주기 L4 및 L5)에 대한 예시도이다.
도 6은 20Hz의 이미지 샘플링 주파수에 있어서 도 2의 순간적인 이벤트 검출 프로세스와 함께 사용될 수 있는 졸음을 특징짓는 눈 뜸 인자 레벨 검출 서브프로세스에 대한 흐름도이다.
도 1은 본 발명의 예시적인 실시예에 따라, 대상자에 대해 사용되고 있는 졸음 검출 장치의 블록도이다.
도 2는 도 1의 졸음 검출 장치에 의해 사용될 수 있는 졸음 검출 프로세스에 대한 흐름도이다.
도 3a 및 도 3b는 눈 뜸 인자와 관련된 완전히 뜬 눈(도 3a) 및 완전히 감긴 눈(도 3b)에 대한 개략도이다.
도 4는 눈 뜸 인자의 변동의 예를 깜박거림 주기에 대한 시간의 함수로서 나타낸 일련의 개략도이다.
도 5는 졸음의 순간에, 완전히 감긴 눈(주기 L4 및 L5)에 대한 예시도이다.
도 6은 20Hz의 이미지 샘플링 주파수에 있어서 도 2의 순간적인 이벤트 검출 프로세스와 함께 사용될 수 있는 졸음을 특징짓는 눈 뜸 인자 레벨 검출 서브프로세스에 대한 흐름도이다.
대체로 말해, 본 발명의 비제한적인 실시예는 졸음 이벤트 동안 일어나는 적어도 한쪽 눈, 통상적으로 양쪽 눈의 눈 감김 패턴의 분석에 기초해서 대상자의 졸음 이벤트의 검출을 위한 방법 및 장치를 제공한다.
EEG 및 EOG에 의해 측정된 졸음 이벤트 동안, 대상자의 시간의 경과에 따른 위 눈꺼풀과 아래 눈꺼풀 간의 거리의 진행성 변화를 관찰하였다.
차량 운전자, 항공기 조종사, 항공 교통 관제사 등과 같이, 졸린 직업의 오퍼레이터에게 졸음이 온다는 보완 증거(complementary evidence)를 눈 감김 패턴을 사용해서 제공하는 방법 및 장치에 대해 설명하며, 검출되면, 졸린 오퍼레이터에게 눈꺼풀이 감기기 전에 불완전한 상황을 경고하여 EEG 및 EOG 졸음 패턴을 눈 감김 패턴과 상관시킨다.
또한, 눈 감김 패턴의 분석하여 정상적인 눈꺼풀 감김과 졸린 눈꺼풀 감김을 구분할 수 있는 방법에 대해 설명한다.
도 1을 참조하면, 졸음 이벤트 검출 장치(100)의 예가 도시되어 있는데, 검출 장치(100)는 적외선 방출원(104)과 연결된 디지털 카메라(102)와 같은 얼굴 이미지 샘플러(facial image sampler), 및 메모리(108), 알람/디스플레이(110) 및 입출력 인터페이스(112)와 연결된 마이크로프로세서(106)를 포함한다.
그러므로 일례에서는, 대상자에서 졸음 이벤트를 검출하기 위해 검출 장치(100)를 사용하는 방법에 대해 설명한다. 방법은 시간이 경과함에 따라 적어도 한쪽 눈의, 통상적으로는 양쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계; 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및 시간의 경과에 따른 복수의 눈 뜸 인자의 변화를 졸음 이벤트를 나타내는 기준 눈 감김 패턴과 상관시키는 단계를 포함한다.
동작에서, 디지털 카메라(102)는 대상자(10)의 얼굴을 향하고 있고 적외선 방출원(104)을 사용해서 눈(12)을 조사하여 눈 뜸 인자, 즉 위 눈꺼풀(14a)과 아래 눈꺼풀(14b) 간의 거리를 나타내는 값을 결정한다. 디지털 카메라(102)가 포착한 이미지들은 그런 다음 프로세서(106)가 관련 메모리(108)에 저장되어 있는 졸음 이벤트 검출 프로세스를 실행하여 처리한다. 졸음 이벤트를 검출하면, 졸음 이벤트 검출 장치(100)는 일체화되어 있는 알람 및/또는 디스플레이(110)를 트리거링함으로써 순간적인 이벤트를 사용자에게 알리거나, 입출력 인터페이스(112)를 통해 추가의 프로세스 또는 장치에 그 정보를 제공한다. 예를 들어 사용자 인터페이스 및 무선 통신 장치와 같은 다른 구성성분을 졸음 이벤트 검출 장치(100)에 추가할 수 있음은 물론이다.
도 2를 참조하면, 도 1의 졸음 이벤트 검출 장치(100)의 프로세서(106)가 전자적으로 실행할 수 있는 순간적인 이벤트 검출 프로세스(200)에 대한 흐름도가 도시되어 있다. 프로세스(200)의 단계는 블록(202 내지 212)으로 표시되어 있다. 프로세스(200)는 디지털 카메라(102)를 사용하여 대상자(100의 얼굴 이미지를 샘플링함으로써 블록(202)에서 시작한다. 디지털 카메라(102)는 약 10 내지 60Hz의 주파수(즉, 샘플링 주파수)에서 이미지를 샘플링할 수 있다 블록(204)에서, 프로세스(200)는 그 샘플링된 디지털 이미지에서, 대상자(10)의 눈(12) 및 눈꺼풀(14a 및 14b)을 식별한다. 이것은 프로세서(106)에 의해 수행된 얼굴 특징 인식 알고리즘을 사용해서 달성될 수 있다. 그런 다음 눈 뜸 인자를 계산한다.
도 3a 및 도 3b를 참조하면, 눈 뜸 인자를, 완전히 떠진 눈(12)(도 3a 참조)을 나타내는 1과 완전히 감긴 눈(12)(도 3b 참조)을 나타내는 0 사이의 값을 가지는 δ로서 나타낼 수 있다. δ의 값은 예를 들어 직각좌표계(X,Y)에서의 위 눈꺼풀(14a) 위치와 아래 눈꺼풀(14b) 위치 사이의 측정된 거리를 완전히 떠진 눈 D의 기준 측정으로 나누어서 계산할 수 있다. 그러므로:
δ = (위 눈꺼풀 위치(Xu,Yu) - 아래 눈꺼풀 위치(Xl,Yl))/D
여기서, D = 위 눈꺼풀 위치 (XU,YU) - 아래 눈꺼풀 위치 (XL,YL)이고, (Xu,Yu) = 순간 위 눈꺼풀 위치이고, (Xl,Yl) = 순간 아래 눈꺼풀 위치이며, (XU,YU) = 최대 눈 뜸에서의 위 눈꺼풀 위치이고, (XL,YL) = 최대 눈 뜸에서의 아래 눈꺼풀 위치이다.
도 2를 다시 참조하면, 블록(206)에서, 프로세스는 졸음을 특징짓는 눈 뜸 인자 레벨들이 있는지를 검증한다.
도 4를 참조하면, 눈 뜸 인자의 변화를, 깜박거림 주기에 대한 시간의 함수로서 나타내는 예를 도시하고 잇다. 깜박거림 주기는 완전히 뜬 눈(12)(눈 뜸 인자 δ = 1.00)으로 시간 t1에서 시작해서, 시간 t2에서 눈 뜸 인자가 δ = 1.00에서 유지하고, 그런 다음 시간 ti 및 시간 ti +1에서 δ = 0.80 및 δ = 0.50을 지나면서 감소하여 시간 tj에서 δ = 0.00(완전히 감긴 눈(12))에 도달한 다음, 다시 시간 tk 및 시간 tk +1에서 δ = 0.50 및 δ = 0.80을 지나면서 증가하여 시간 tn에서 다시 δ = 1.00에 도달한다. 도 4에 도시된 깜박거림 주기는 예시를 위한 것일 뿐이며 실제의 주기는 샘플링 주파수에 따라 일련의 샘플 시간을 포함한다는 것을 이해해야 한다.
도 5를 참조하면, 이와 같이 시간의 함수로서 계산된 눈 뜸 인자를 그래프에 나타낼 수 있는데, 대체적으로 5개의 연속적인 레벨, L1 내지 L5로 특징지어진다. 최초 레벨 및 최종 레벨, L1 및 L5는 뜬 눈(즉, δ = 1.00)과 관련되어 있고, 두 번째 레벨 L2는 눈꺼풀 14a, 14b(즉, 0.00>δ>0.00, δ가 감소)의 감김과 관련되어 있고, 세 번째 레벨 L3은 부분적으로 감긴 눈 또는 완전히 감긴 눈(예를 들어, 0.00>δ>0.5)과 관련되어 있고, 네 번째 레벨 L4는 눈꺼풀 14a, 14(즉, 0.00<δ<0.00, δ가 증가)의 떠짐과 관련되어 있다.
도 2를 다시 참조하면, 프로세스(200)는 모두 5개의 레벨, 즉 L1 내지 L5를 검출하고, 그런 다음 블록(208)으로 진행한다. 그렇지 않으면, 다음 이미지 샘플을 위해 다시 블록(202)으로 진행한다. 블록(208)에서, 프로세스는 눈 감김(21 또는 26) 및 눈 뜸(25 또는 27) 표현 곡선을 계산한다. 눈 감김 표현 곡선(21 또는 26)은 네거티브 슬로프 2차 다항식 회귀(포물선)를 사용해서 계산하며, 즉
Y = d0 + d1.X + d2X2.
여기서 Y는 각각의 도(degree)에 대한 회귀 계수 d1 내지 d2 및 Y 절편 d1(Y intercept d1)을 가지는 다항 모형에 대한 예측된 출력값이며; 제1 및 제2 눈 뜸 인자 레벨, 즉 L1 및 L2를 포함하는 눈 뜸 인자에 적용된다. 눈 뜸 표현 곡선(25 또는 27)과 관해서는, 제4 및 제5 눈 뜸 인자 레벨, L4 및 L5를 포함하는 포지티브 슬로프 2차 다항식 회귀를 사용해서 계산된다. 그런 다음, 블록(210)에서, 프로세스(220)는 순간적인 눈 뜸 및 감김 표현 곡선이 있는지를 검증한다. 이것은 피어슨 계수(Pearson coefficient), r을 계산함으로써 달성된다:
X 및 Y는 데카르트 표현(Cartesian representation)에서의 위치이고; 눈 뜸 인자 레벨 L1 및 L2를 구성하는 눈 뜸 인자와 관련해서 눈 감김 표현 곡선(21 또는 26) 중에서 그리고 눈 뜸 인자 레벨 L4 및 L5를 구성하는 눈 뜸 인자와 관련해서 눈 감김 표현 곡선(25 또는 27) 중에서의 위치이다. 양쪽의 피어슨 계수가 예를 들어 0.9와 같은 주어진 임계값보다 크거나 같으면, 프로세스(200)는 블록(212)으로 진행한다. 그렇지 않으면, 다음 이미지 샘플을 위해 블록(202)으로 진행한다. 마지막으로, 블록(212)에서, 순간적인 이벤트 검출 장치(100)는 통합된 알람 및/또는 디스플레이(110)를 통해 순간적인 이벤트 상태의 검출을 사용자에게 알리거나 예를 들어 블루투스, WiFi 등과 같은 유선 또는 무선 통신 링크를 사용하여 입출력 인터페이스(112)(도 1 참조)를 통해 추가의 프로세스 또는 장치에 그 정보를 제공한다.
피어슨 계수 임계값은 0.9에 제한되는 것을 의미하지 않음은 물론이며, 원하는 한정 레벨에 맞추도록 조정될 수 있다. 또한, 디지털 카메라(102)(도 1 참조)의 해상도에 따라 가변할 수 있다.
눈 감김 패턴은 이러한 특별한 관찰들, 감김, 눈꺼풀의 완전한 또는 부분적인 감김 또는 다시 뜸의 기간에 근거한다. 더 구체적으로, 눈 감김 패턴은 점진적인 감김에 뒤이어 눈꺼풀이 완전하게 감긴 다음 다시 뜨는 베이스라인 주기(baseline period)가 뒤이어진다. 이러한 모든 것이 일어나면, 졸음이 검출된다.
20
GHz
의 이미지 샘플링 주파수에서 졸음을 특징짓는 눈 뜸 인자 레벨의 예
도 6을 참조하면, 20Hz의 이미지 샘플링 주파수에 있어서 5개의 졸음을 특징짓는 눈 뜸 인자 레벨, 즉 L1 내지 L5(도 5 참조)의 존재를 검출하도록 프로세스(200)의 블록(206)에서 수행될 수 있는 졸음을 특징짓는 눈 뜸 인자 레벨 검출 서브-프로세스(300)에 대한 흐름도가 도시되어 있다. 서브-프로세스(300)의 단계가 블록(301 내지 305)으로 표시되어 있다.
블록(301)에서, 서브-프로세스(300)는 제1 레벨 L1이 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 1.00의 값을 가지는 일련의 최소 6개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(302)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
블록(302)에서, 서브-프로세스(300)는 제2 레벨 L2가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.99 및 δ = 0.01의 값을 가지는 일련의 4개의 연속으로 감소하는 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(303)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
그런 다음, 블록(303)에서, 서브-프로세스(300)는 제3 레벨 L3이 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.00의 값을 가지는 일련의 최소 5개의 연속적인 눈 뜸 인자 및 일련의 최대 120개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(304)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
블록(304)에서, 서브-프로세스(300)는 제4 레벨 L4가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.01 및 δ = 0.99의 값을 가지는 일련의 최소 4개의 연속으로 증가하는 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(305)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
마지막으로, 블록(305)에서, 서브-프로세스(300)는 제5 레벨 L5가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 1.00의 값을 가지는 일련의 최소 6개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 프로세스(200)의 블록(208)으로 진행하고(도 2 참조), 모두 5개의 졸음을 특징짓는 눈 뜸 인자 레벨이 존재한다. 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조). 각각의 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검출하는데 사용되는 눈 뜸 인자의 수는 변할 수 있는데, 예를 들어, 이미지 샘플링 주파수에 따라 변할 수 있고, 이것은 단지 예시로서만 의미한다는 것을 이해해야 한다.
전술한 바와 같은 마이크로프로세서와 관련된 메모리에는 복수의 기준 눈 감김 패턴이 포함되어 있는 것을 이해해야 한다. 도 5에 도시된 바와 같은 그래프는 이러한 기준 눈 감김 패턴과 비교된다. 일치하는 경우, 졸음 이벤트가 검증되어 알람이 활성화된다.
본 발명을 특별한 실시예 및 예를 들어 설명하였으나, 본 발명의 범주를 벗어남이 없이 이러한 특별한 실시예에 대한 변형이 적용될 수 있다는 것은 당업자에게는 자명하다는 것을 이해해야 한다.
Claims (28)
- 대상자의 졸음 이벤트를 검출하는 검출 방법에 있어서,
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및
상기 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure patten)을 상관시키는 단계
를 포함하는 검출 방법. - 제1항에 있어서,
상기 대상자의 얼굴을 조사하는 단계; 및
얼굴 이미지를 기록하는 단계
를 더 포함하는 검출 방법. - 제2항에 있어서,
적외선 방출원(infrared source)을 구비하는 디지털 카메라를 사용하여 상기 대상자에 조사하고 상기 얼굴 이미지를 기록하는 검출 방법. - 제1항에 있어서,
얼굴 특징 인식 알고리즘을 사용하여 눈 및 눈꺼풀을 인식하는 단계를 더 포함하는 검출 방법. - 제1항에 있어서,
상기 복수의 눈 뜸 인자를 눈의 깜박거림 주기에 대한 시간의 함수로서 측정함으로써, 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검증하는 단계를 더 포함하는 검출 방법. - 제5항에 있어서,
상기 졸음을 특징짓는 눈 뜸 인자 레벨은 적어도 하나의 눈 뜸 인자를 포함하는, 검출 방법. - 제5항에 있어서,
상기 졸음을 특징짓는 눈 뜸 인자 레벨은 하나 이상의 눈 뜸 레벨 및 5개 이하의 눈 뜸 레벨을 포함하는, 검출 방법. - 제5항에 있어서,
상기 복수의 눈 뜸 인자는 5개의 눈 뜸 레벨을 포함하는, 검출 방법. - 제5항에 있어서,
상기 졸음을 특징짓는 눈 뜸 인자 레벨은, 뜬 눈, 눈꺼풀의 감김, 부분적으로 감긴 눈 또는 감긴 눈, 및 눈꺼풀의 뜸과 연관되어 있는, 검출 방법. - 제1항에 있어서,
상기 복수의 눈 뜸 인자는 5개의 연속적인 눈 뜸 레벨을 포함하고, 상기 5개의 연속적인 눈 뜸 레벨의 순차적인 검출은 졸음의 특징을 나타내는, 검출 방법. - 제10항에 있어서,
5개의 연속적인 눈 뜸 인자 레벨 미만이 검출되면 추가의 눈 뜸 인자들을 결정하는 단계를 더 포함하는 검출 방법. - 제5항에 있어서,
눈 뜸 표현 곡선 및 눈 감김 표현 곡선을 계산하는 단계를 더 포함하는 검출 방법. - 제12항에 있어서,
상기 눈 감김 표현 곡선은, 제1 및 제2 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 네거티브 슬로프를 사용해서 계산되는, 검출 방법. - 제12항에 있어서,
상기 복수의 눈 뜸 인자는, 제4 및 제5 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 포지티브 슬로프를 사용해서 계산되는, 검출 방법. - 제12항에 있어서,
상기 제1 및 제2 눈 뜸 계수 레벨과 관련된 눈 감김 표현 곡선 및 상기 제4 및 제5 눈 인자 레벨과 관련된 눈 뜸 표현 곡선으로 이루어지는 피어슨 계수(Pearson coefficient)를 계산함으로써 졸음 눈 뜸 및 감김 표현 곡선의 존재를 검증하는 단계를 더 포함하는 검출 방법. - 제15항에 있어서,
상기 피어슨 계수가 미리 정해진 임계값보다 크거나 같을 때 상기 대상자에게 알리는, 검출 방법. - 제3항에 있어서,
상기 얼굴의 이미지를 10 Hz 내지 60 Hz의 주파수로 샘플링하는, 검출 방법. - 제5항에 있어서,
20 Hz의 이미지 샘플링 주파수에서 순간적인 특징 눈 뜸 인자 레벨을 검출하는 서브-프로세스를 더 포함하는 검출 방법. - 제18항에 있어서,
상기 서브-프로세스는, 뜬 눈(open eye)에 대응하는 6개 이상의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제1 레벨을 검출하는 것을 검증하는 단계를 포함하는, 검출 방법. - 제19항에 있어서,
일련의 4개 이상의 연속으로 감소하는 눈 뜸 인자의 존재를 확인함으로써 제2 레벨을 검출하는 것을 검증하는 단계를 포함하는, 검출 방법. - 제20항에 있어서,
일련의 최소 5개, 최대 백 개 및 20개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제3 레벨을 검출하는 것을 검증하는 단계를 포함하는, 검출 방법. - 제21항에 있어서,
일련의 최소 4개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제4 레벨을 검출하는 것을 검증하는 단계를 포함하는, 검출 방법. - 제22항에 있어서,
뜬 눈에 대응하는 일련의 최소 6개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제5 레벨을 검출하는 것을 검증하는 단계를 포함하는, 검출 방법. - 제1항에 있어서,
상기 대상자에게 졸음 이벤트의 발생을 경고하는 단계를 더 포함하는 검출 방법. - 졸음 이벤트 검출 장치에 있어서,
대상자의 하나 이상의 눈에 조사하기 위한 적외선 방출원을 가지며, 상기 대상자의 시간의 경과에 따른 얼굴 이미지를 샘플링하는 얼굴 이미지 샘플러;
상기 얼굴 이미지 샘플러에 연결되어 상기 샘플링된 얼굴 이미지를 수신하고, 전자적으로 실행 가능한 졸음 검출 프로세스가 전자적으로 저장되어 있는 마이크로프로세서로서, 상기 수신된 얼굴 이미지는 복수의 눈 뜸 인자의 그래픽 표현으로 전환되는, 상기 마이크로프로세서; 및
복수의 기준 눈 감김 패턴이 저장되어 있고, 상기 복수의 눈 뜸 인자와 상기 복수의 기준 눈 감김 패턴을 전자적으로 상관시키기 위해, 상기 마이크로프로세서에 연결되어 있는 메모리
를 포함하는 졸음 이벤트 검출 장치. - 제25항에 있어서,
상기 대상자에게 상기 졸음 이벤트를 경고하기 위해 상기 마이크로프로세서에 연결되어 있는 경보기(alert)를 더 포함하는 검출 장치. - 수송 수단 운전자에게 졸음 이벤트를 경고하는 경고 방법에 있어서,
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계;
일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure patten)을 상관시키는 단계; 및
상기 수송 수단 운전자에게 상기 졸음 이벤트를 경고하기 위해 알람을 트리거링하는 단계
를 포함하는 경고 방법. - EEG 및 EOG 졸음 패턴을 눈 감김 패턴과 상관시키는 상관 방법에 있어서,
대상자의 EEG 및 EOG 졸음 패턴을 측정하는 단계;
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및
상기 복수의 눈 뜸 인자와 상기 EEG 및 EOG 졸음 패턴을 상관시키는 단계
를 포함하는 상관 방법.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US7196608P | 2008-05-28 | 2008-05-28 | |
US61/071,966 | 2008-05-28 | ||
US12/340,017 US8570176B2 (en) | 2008-05-28 | 2008-12-19 | Method and device for the detection of microsleep events |
US12/340,017 | 2008-12-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110017883A true KR20110017883A (ko) | 2011-02-22 |
KR101551262B1 KR101551262B1 (ko) | 2015-09-08 |
Family
ID=41360181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020107028212A KR101551262B1 (ko) | 2008-05-28 | 2009-05-27 | 졸음 이벤트의 검출을 위한 방법 및 장치 |
Country Status (15)
Country | Link |
---|---|
US (1) | US8570176B2 (ko) |
EP (1) | EP2285265B1 (ko) |
JP (1) | JP5722767B2 (ko) |
KR (1) | KR101551262B1 (ko) |
CN (1) | CN102098955B (ko) |
AU (1) | AU2009253692B2 (ko) |
BR (1) | BRPI0912299B8 (ko) |
CA (1) | CA2667035C (ko) |
HK (1) | HK1158481A1 (ko) |
MX (1) | MX2010012924A (ko) |
MY (1) | MY153476A (ko) |
NZ (1) | NZ589640A (ko) |
RU (1) | RU2540901C2 (ko) |
WO (1) | WO2009143620A1 (ko) |
ZA (1) | ZA201008131B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017204406A1 (ko) * | 2016-05-25 | 2017-11-30 | 엠텍비젼 주식회사 | 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5210773B2 (ja) * | 2008-09-16 | 2013-06-12 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
KR101032726B1 (ko) * | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
EP2637563A4 (en) * | 2010-11-08 | 2014-04-30 | Optalert Australia Pty Ltd | WORK ABILITY TEST |
EP2497670B1 (en) * | 2011-03-11 | 2015-07-01 | Johnson Controls Automotive Electronics GmbH | Method and apparatus for monitoring the alertness of the driver of a vehicle |
JP6215944B2 (ja) * | 2012-08-20 | 2017-10-18 | オートリブ ディベロップメント エービー | 眠気を検知するための、まぶたの動きに関する処理 |
KR101526672B1 (ko) * | 2013-07-24 | 2015-06-05 | 현대자동차주식회사 | 졸음 상태 판별 장치 및 방법 |
JP6462209B2 (ja) * | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
CN104257392B (zh) * | 2014-09-26 | 2016-06-22 | 马天驰 | 一种疲劳驾驶检测提醒的方法及检测提醒装置 |
DE102015200697A1 (de) * | 2015-01-19 | 2016-07-21 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs |
JP6399311B2 (ja) * | 2015-05-07 | 2018-10-03 | スズキ株式会社 | 居眠り検知装置 |
DE102015218306A1 (de) * | 2015-09-23 | 2017-03-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers |
CN105249961B (zh) * | 2015-11-02 | 2017-11-24 | 东南大学 | 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法 |
DE102016205311A1 (de) * | 2016-03-31 | 2017-10-05 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug |
RU2644847C1 (ru) * | 2016-11-21 | 2018-02-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации | Способ прогнозирования результативности моделируемой когнитивной деятельности на основе комплекса физиологических показателей и логит регрессионного анализа |
CN109472224A (zh) * | 2018-10-26 | 2019-03-15 | 蓝色传感(北京)科技有限公司 | 基于eeg与eog融合的疲劳驾驶检测系统 |
KR102161908B1 (ko) | 2019-01-25 | 2020-10-05 | 주식회사 에프에스솔루션 | 운전자 상태 모니터링 방법 및 장치 |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
CN112016347B (zh) * | 2019-05-29 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种基于眼睑特征信息的人员状态检测方法及装置 |
CN114283559B (zh) * | 2022-03-04 | 2022-05-17 | 西南交通大学 | 一种驾驶员疲劳预警方法、装置、设备及存储介质 |
CN115810253A (zh) * | 2022-11-25 | 2023-03-17 | 同济大学 | 一种驾驶员微入睡事件短临预测的方法及系统 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3863243A (en) * | 1972-01-19 | 1975-01-28 | Max Skolnick | Sleep inhibiting alarm |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
US5469143A (en) * | 1995-01-10 | 1995-11-21 | Cooper; David E. | Sleep awakening device for drivers of motor vehicles |
US5689241A (en) * | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
US5570698A (en) * | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
US5729619A (en) * | 1995-08-08 | 1998-03-17 | Northrop Grumman Corporation | Operator identity, intoxication and drowsiness monitoring system and method |
JP3183161B2 (ja) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
US6542081B2 (en) * | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
US6070098A (en) * | 1997-01-11 | 2000-05-30 | Circadian Technologies, Inc. | Method of and apparatus for evaluation and mitigation of microsleep events |
FR2773521B1 (fr) * | 1998-01-15 | 2000-03-31 | Carlus Magnus Limited | Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci |
DE19803158C1 (de) * | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
US5990795A (en) * | 1998-02-06 | 1999-11-23 | Miller; Bernard J. | Sleep warning device for mobile vehicles |
US6087941A (en) * | 1998-09-01 | 2000-07-11 | Ferraz; Mark | Warning device for alerting a person falling asleep |
US6154559A (en) * | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
US6130617A (en) * | 1999-06-09 | 2000-10-10 | Hyundai Motor Company | Driver's eye detection method of drowsy driving warning system |
CN1144166C (zh) * | 1999-06-17 | 2004-03-31 | 现代自动车株式会社 | 瞌睡驾驶警告系统的驾驶员瞌睡检测方法 |
US6218947B1 (en) * | 2000-05-23 | 2001-04-17 | Ronald L. Sutherland | Driver sleep alarm |
WO2003012758A1 (en) | 2001-07-30 | 2003-02-13 | Sankaran Manoj | A device for detecting sleep |
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
AUPR872301A0 (en) * | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
US6822573B2 (en) * | 2002-01-18 | 2004-11-23 | Intelligent Mechatronic Systems Inc. | Drowsiness detection system |
GB0203035D0 (en) * | 2002-02-08 | 2002-03-27 | Univ Bristol | A method of and an apparatus for measuring a person's ability to perform a motor control task |
RU2197895C1 (ru) * | 2002-02-27 | 2003-02-10 | Общество с ограниченной ответственностью "ТелекомЭксперт" | Способ контроля состояния человека и устройство для его осуществления |
US20040151347A1 (en) | 2002-07-19 | 2004-08-05 | Helena Wisniewski | Face recognition system and method therefor |
US7202792B2 (en) * | 2002-11-11 | 2007-04-10 | Delphi Technologies, Inc. | Drowsiness detection system and method |
JP2004314750A (ja) | 2003-04-15 | 2004-11-11 | Denso Corp | 車両機器操作制御装置 |
CN1225375C (zh) * | 2003-07-02 | 2005-11-02 | 北京交通大学 | 基于多特征融合的困倦驾驶检测方法 |
US7435227B2 (en) * | 2004-09-13 | 2008-10-14 | Biocognisafe (Bcs) Technologies | Method and apparatus for generating an indication of a level of vigilance of an individual |
CN1613425A (zh) * | 2004-09-15 | 2005-05-11 | 南京大学 | 司机疲劳预警生物识别的方法和系统 |
ATE526866T1 (de) | 2005-03-04 | 2011-10-15 | Sleep Diagnostics Pty Ltd | Wachheitsmessung |
RU2411586C2 (ru) | 2005-08-11 | 2011-02-10 | Слип Дайэгностикс Пти. Лтд | Очки с контролем внимательности |
US7918807B2 (en) * | 2005-08-17 | 2011-04-05 | General Electric Company | System, method and computer instructions for assessing alertness of an operator of an image review system |
JP4864541B2 (ja) * | 2006-05-23 | 2012-02-01 | 旭化成株式会社 | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 |
JP4677963B2 (ja) * | 2006-09-11 | 2011-04-27 | トヨタ自動車株式会社 | 居眠り検知装置、居眠り検知方法 |
JP4967559B2 (ja) * | 2006-09-19 | 2012-07-04 | 株式会社豊田中央研究所 | 居眠り運転防止装置及びプログラム |
JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
CN100462047C (zh) * | 2007-03-21 | 2009-02-18 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
-
2008
- 2008-12-19 US US12/340,017 patent/US8570176B2/en active Active
-
2009
- 2009-05-27 CN CN200980125759.XA patent/CN102098955B/zh active Active
- 2009-05-27 KR KR1020107028212A patent/KR101551262B1/ko active IP Right Grant
- 2009-05-27 MY MYPI2010005533A patent/MY153476A/en unknown
- 2009-05-27 AU AU2009253692A patent/AU2009253692B2/en active Active
- 2009-05-27 JP JP2011510790A patent/JP5722767B2/ja not_active Expired - Fee Related
- 2009-05-27 MX MX2010012924A patent/MX2010012924A/es active IP Right Grant
- 2009-05-27 NZ NZ589640A patent/NZ589640A/xx unknown
- 2009-05-27 CA CA2667035A patent/CA2667035C/en active Active
- 2009-05-27 BR BRPI0912299A patent/BRPI0912299B8/pt active IP Right Grant
- 2009-05-27 EP EP09753381.4A patent/EP2285265B1/en active Active
- 2009-05-27 RU RU2010146449/14A patent/RU2540901C2/ru active
- 2009-05-27 WO PCT/CA2009/000732 patent/WO2009143620A1/en active Application Filing
-
2010
- 2010-11-12 ZA ZA2010/08131A patent/ZA201008131B/en unknown
-
2011
- 2011-12-01 HK HK11113038.4A patent/HK1158481A1/xx unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017204406A1 (ko) * | 2016-05-25 | 2017-11-30 | 엠텍비젼 주식회사 | 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP2285265A1 (en) | 2011-02-23 |
BRPI0912299A2 (pt) | 2015-10-20 |
EP2285265B1 (en) | 2019-08-07 |
BRPI0912299B1 (pt) | 2021-02-02 |
CN102098955B (zh) | 2015-07-15 |
AU2009253692B2 (en) | 2014-11-13 |
CA2667035C (en) | 2014-10-14 |
JP2011523867A (ja) | 2011-08-25 |
BRPI0912299B8 (pt) | 2021-06-22 |
JP5722767B2 (ja) | 2015-05-27 |
US8570176B2 (en) | 2013-10-29 |
CA2667035A1 (en) | 2009-11-28 |
MY153476A (en) | 2015-02-13 |
CN102098955A (zh) | 2011-06-15 |
HK1158481A1 (en) | 2012-07-20 |
US20090299209A1 (en) | 2009-12-03 |
AU2009253692A1 (en) | 2009-12-03 |
KR101551262B1 (ko) | 2015-09-08 |
RU2010146449A (ru) | 2012-07-20 |
ZA201008131B (en) | 2012-02-29 |
RU2540901C2 (ru) | 2015-02-10 |
NZ589640A (en) | 2013-08-30 |
MX2010012924A (es) | 2011-05-02 |
WO2009143620A1 (en) | 2009-12-03 |
EP2285265A4 (en) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20110017883A (ko) | 졸음 이벤트의 검출을 위한 방법 및 장치 | |
EP2281506B1 (en) | Method and system for determining an individual's state of attention | |
KR101189008B1 (ko) | 경계 상태 측정 방법 | |
JP4910547B2 (ja) | 眠気判定装置及び眠気判定プログラム | |
JP5007975B2 (ja) | 居眠り検知装置 | |
JP6375496B2 (ja) | 眠気検出方法及び眠気検出装置 | |
JPWO2013035704A1 (ja) | 居眠り検出方法と装置 | |
Bittner et al. | Detecting of fatigue states of a car driver | |
Svensson | Blink behaviour based drowsiness detection: method development and validation | |
JP5333284B2 (ja) | 生体状態判定装置 | |
JPH10272960A (ja) | 覚醒度推定装置 | |
Sommer et al. | A measure of strong driver fatigue | |
Antunes et al. | An intelligent system to detect drowsiness at the wheel | |
Pilkington-Cheney et al. | The i-DREAMS intervention strategies to reduce driver fatigue and sleepiness for different transport modes | |
Chatterjee et al. | Smartphone-based drowsiness detection system for drivers in real-time | |
Balasubrahmanyan et al. | Quantification of Alertness and Evaluation Method for Vision Based Driver Drowsiness and Alertness Warning System | |
Golz et al. | Microsleep detection in electrophysiological signals | |
Muralidharan et al. | Smart Safety and Accident Prevention System | |
Hanke et al. | Automated vigilance classification based on EOG signals: preliminary results | |
Dhanalakshmi et al. | A Deep Learning Technique For Detecting Drowsiness And Notifying Through Mails And Alarm | |
Murata et al. | Prediction of point in time with high crash risk by integration of Bayesian estimation of drowsiness, tracking error, and subjective drowsiness | |
Suzuki et al. | Algorithm detecting low arousal states of car drivers based on the driver's eye blinking pattern | |
Svensson | Blinkbeteendebaserad trötthetsdetektering: metodutveckling och validering | |
Schreib et al. | Detecting of Fatigue States of a Car Driver | |
Michailidou et al. | On Intelligent Driver Monitoring based on smart-devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181211 Year of fee payment: 4 |