KR101551262B1 - 졸음 이벤트의 검출을 위한 방법 및 장치 - Google Patents

졸음 이벤트의 검출을 위한 방법 및 장치 Download PDF

Info

Publication number
KR101551262B1
KR101551262B1 KR1020107028212A KR20107028212A KR101551262B1 KR 101551262 B1 KR101551262 B1 KR 101551262B1 KR 1020107028212 A KR1020107028212 A KR 1020107028212A KR 20107028212 A KR20107028212 A KR 20107028212A KR 101551262 B1 KR101551262 B1 KR 101551262B1
Authority
KR
South Korea
Prior art keywords
eye
moxibustion
factors
drowsiness
factor
Prior art date
Application number
KR1020107028212A
Other languages
English (en)
Other versions
KR20110017883A (ko
Inventor
브루노 파보스
Original Assignee
7352867 캐나다 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7352867 캐나다 인코포레이티드 filed Critical 7352867 캐나다 인코포레이티드
Publication of KR20110017883A publication Critical patent/KR20110017883A/ko
Application granted granted Critical
Publication of KR101551262B1 publication Critical patent/KR101551262B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6821—Eye
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Anesthesiology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

대상자의 졸음 이벤트를 검출하는 방법에 대해 개시한다. 상기 방법은 일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 일련의 눈 뜸 인자(eye openness factor)를 결정하는 단계를 포함한다. 그런 다음 눈 뜸 인자의 그래픽 표현을 작성한다. 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure patten)을 상관시킨다. 졸음 이벤트 검출 장치에 대해서도 개시한다.

Description

졸음 이벤트의 검출을 위한 방법 및 장치{METHOD AND DEVICE FOR THE DETECTION OF MICROSLEEP EVENTS}
본 발명은 졸음 이벤트의 검출을 위한 방법 및 장치에 관한 것이다.
졸음 시작(sleep onset)과 관련된 운전 실수를 정량화하는 방법들은 졸음 운전의 횟수를 줄이기 위해 중요하다. 미국에서는, 운전자 졸음이 자동차 사고의 주요 원인이고 매년 약 40,000명이 부상당하고 1,500명이 사망한다. 한 연구에 따르면, 설문조사에 응한 운전자 1000명 중 55%가 졸린 상태에서 운전하였고 23%가 차에서 잠들었다고 하였다. 이것은 실수로 다른 원인이 되는 차량 사고에서 졸음 또는 졸음 시작이 원인이 될 수 있다는 다른 연구를 뒷받침한다.
졸음 이벤트는 졸음 개시의 유용한 인디케이터이다. 졸음 이벤트는 수면 부족, 또는 정신적 피로, 수면시 무호흡(sleep apnea), 발작성 수면(narcolepsy) 또는 졸음 과다(hypersomnia)의 결과로서 흔히 발생한다.
졸음을 감시하는 표준화된 방법들이 있는데, 이러한 방법들로는, 뇌전도(EEG: electroencephalogram) 및 안전도(EOG: electrooculogram)를 감시하는 것, 비디오, 성능 테스트 등을 포함한다. 모든 이러한 방법 중에서, 졸음을 감시하는 데는 EEG기 가장 신뢰가 있는 것으로 고려되고 있다. 그렇지만, EEG 및 EOG는 전극을 사용해야 하는데, 이러한 전극은 상기 방법들로, 피로하기 쉬운 작업을 수행하는 오퍼레이터, 예를 들어 차량 운전자를 정기적으로 감시하는데 부적당하다. 다른 방법들은 설치하는 것이 어렵고 사람이 집중적인 데이터 분석을 해야 하므로 데이터 처리를 자동화하는 것이 어렵기 때문에 비현실적이다.
순간적인 수면 발현을 확인할 수 있는 방법은 다양하게 있다. 일부의 전문가들은 행동 기준(눈꺼풀 감김)에 따라 순간적인 수면을 정의하는 반면, 다른 전문가들은 3-15초 이차 발현(이보다 더 짧은 시간은 시각적으로 검출하는 하는 것이 어려울 수 있으며 이보다 더 긴 시간이 졸음 개시로서 적격일 수 있다)과 같이 뇌전도 마커에 의존하기도 하는데, 이 시간 동안 4-7 Hz(세타 파) 작동이 14-20 Hz(알파 파)의 깨우는 배경 리듬을 대체한다.
"꾸벅거리는" 감각에 주관적으로 관련된 졸음은 완전한 각성 상태(full wakefulness)에서 깜박거리는 사람의 특징(blinking artifacts characteristic)의 방해와 관련이 있다. 졸음 이벤트 동안, 주의 일탈은 중대한 자극 및 이벤트를 검출하고 반응하는 능력에 손상을 줄 수 있다. 예를 들어, 지속적으로 조심해야 하는 상황 동안, 예를 들어 차량을 운전 중이거나 기계를 작동하고 있는 동안에 졸음(또는 순간적인 수면 발현)이 생기면 지극히 위험할 수 있다. 졸음을 겪어 본 사람들은 통상적으로는 이것들을 눈치채지 못하는데, 대신에, 자신들이 모든 시간 동안 깨어 있는 것으로 믿거나 "멍해 있다(spacing out)"는 것을 느낀다. 졸음 운전자는 순간적인 수면 발현 동안 사고를 낼 매우 위험한 상황에 처해 있다. 많은 사고는 순간적인 수면 발현으로 인해 생긴다.
분명하게, 졸음 이벤트를 검출하는 능력은 졸리는 운전자에게 이러한 이벤트를 경보를 발하고 경고하는 수단으로서 유용할 것이다.
몇몇 연구에서는 운전자 졸음을 식별하기 위해 "양적" EEG 방법들 사용하고 있다. 세타 파워(EEG 파), 및 세타 버스트(theta burst)의 주파수는 통상적으로 운전이 길어지는 동안 증가하며, 형편없는 운전 실력과도 관련이 있다. 불리하게, 이러한 기술들은 통상적으로 수 초 동안(1분 이내) EEG 액티비티를 평균화하므로, 3초 내지 15초 동안의 단시간의 졸음 이벤트를 검출하는 데는 사용할 수 없다.
졸음이 오려고 하는 운전자에게 경고하기 위해 다양한 생리학적 측정이 제안되었다.
가장 진행된 연구 중의 하나가 PERCLOS(또는 PERcent CLOSure)인데, 이것은
운전자의 눈이 일정한 시간 동안 감기는 시간에 대한 백분율로서 졸음을 측정한다. 충분한 횟수의 눈 뜸/눈 감음 패턴이 획득되면, PERCLOS는 경고를 트리거링한다. PERCLOS는 80%보다 큰 백분율로 작동하는 데, 이것은 통상적으로 1분 이내에, 경고가 트리거링되기 전에 개개인의 눈이 48초 동안 감겨 있어야 한다는 것을 의미한다. 분명하게도, PERCLOS가 경고를 활성화할 즈음에는 운전자가 이미 잠들어 버렸을 것이거나 잠이 들 찰나에 있을 것이기 때문에, 차량을 운전하는 것과 같은 작업에서는 이러한 지연은 받아들일 수 없다. 그러므로 불리하게 PERCLOS는 운전자와 같은 개개인이 최초의 졸음 징조를 경험하기 전에 예방 동작이 취해질 수 있도록 하기에는 시스템이 너무 느리다.
EEG 레코드 동안 잠재적인 인공물을 배척하도록 되어 있는 EOG 레코드도, 정상적인 눈 깜박거림이 졸음 이벤트 동안 종종 지속되어 눈이 적어도 부분적으로 떠져 있다는 것을 나타낸다는 것을 보여주고 있다.
눈 감김에 기초하면서 아마도 운전자에게 졸음의 시작을 경고하는 다른 생리학적 측정은 미국특허 7071831B2에 개시되어 있는 바와 같은, 피크 깜박거림 속도(peak blink velocity)의 측정이다. 이 문헌에 개시되어 있는 시스템은 눈 깜박거림의 발생을 감시하기 위해 개인이 쓰는 한 쌍의 안경 또는 안경 프레임을 포함한다. 그렇지만, 이러한 종류의 장치는 오퍼레이터가 가지고 다니거나 쓰고 있어야만 한다(즉, 휴대용 장치이다).
그러므로 전극 또는 그외 휴대형 장치를 사용할 필요없이 짧은 졸음 이벤트를 일찍 검출할 수 있는, 수면 시작의 인디케이터로서 졸음 이벤트의 검출을 위한 검출 방법 및 장치가 요망된다.
졸음 검출 프로세스를 사용하여 시간의 경과에 따른 눈꺼풀의 깜박거림 패턴을 측정하고, 그 측정으로부터 수집된 미가공 데이터를 그래프로 변환한 다음 이 그래프를 저장되어 있는 표준화된 졸음 패턴의 그래프와 비교함으로써 졸음 이벤트를 쉽고 용이하게 검출할 수 있다는 것을 뜻밖에 알게 되었다.
따라서, 한 관점에서, 대상자의 졸음을 검출하는 검출 방법이 제공되며, 상기 검출 방법은, 일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계; 상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure pattern)을 상관시키는 단계를 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 대상자의 얼굴을 조사하는 단계; 및 얼굴 이미지를 기록하는 단계를 더 포함한다. 적외선 방출원(infrared source)을 구비하는 디지털 카메라를 사용하여 상기 대상자에 조사하고 상기 얼굴 이미지를 기록한다.
상기 검출 방법은, 전술한 바와 같이, 얼굴 특징 인식 알고리즘을 사용하여 눈 및 눈꺼풀을 인식하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 복수의 눈 뜸 인자를 눈의 깜박거림 주기에 대한 시간의 함수로서 측정함으로써, 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검증하는 단계를 더 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 적어도 하나의 눈 뜸 인자를 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 하나 이상의 눈 뜸 레벨 및 5개 이하의 눈 뜸 레벨을 포함한다. 상기 복수의 눈 뜸 인자는 5개의 눈 뜸 레벨을 포함한다. 상기 졸음을 특징짓는 눈 뜸 인자 레벨은 뜬 눈, 눈꺼풀의 감김, 부분적으로 감긴 눈 또는 감긴 눈 및 눈꺼풀의 뜸과 관련이 있다.
상기 검출 방법은, 전술한 바와 같이, 상기 복수의 눈 뜸 인자는 5개의 연속적인 눈 뜸 레벨을 포함하고, 상기 5개의 연속적인 눈 뜸 레벨의 순차적인 검출은 졸음 특징을 나타낸다. 상기 검출 방법은 5개의 연속적인 눈 뜸 인자 레벨 미만이 검출되면 추가의 눈 뜸 인자들을 결정하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 눈 뜸 표현 곡선 및 눈 감김 표현 곡선을 계산하는 단계를 더 포함한다. 상기 눈 감김 표현 곡선은, 제1 및 제2 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 네거티브 슬로프를 사용해서 계산된다. 상기 복수의 눈 뜸 인자는, 제4 및 제5 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 포지티브 슬로프를 사용해서 계산된다. 상기 검출 방법은, 상기 제1 및 제2 눈 뜸 계수 레벨과 관련된 눈 감김 표현 곡선 및 상기 제4 및 제5 눈 인자 레벨과 관련된 눈 뜸 표현 곡선으로 이루어지는 피어슨 계수(Pearson coefficient)를 계산함으로써 순간적인 눈 뜸 및 감김 표현 곡선의 존재를 검증하는 단계를 더 포함한다. 상기 피어슨 계수가 미리 정해진 임계값보다 크거나 같을 때 상기 대상자에게 알려준다.
상기 얼굴의 이미지를 10 Hz 내지 60 Hz의 주파수로 샘플링한다.
상기 검출 방법은, 전술한 바와 같이, 20 Hz의 이미지 샘플링 주파수에서 순간적인 특징 눈 뜸 인자 레벨을 검출하는 서브-프로세스를 더 포함한다. 상기 서브-프로세스는, 뜬 눈(open eye)에 대응하는 6개 이상의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제1 레벨을 검출하는 것을 검증하는 단계를 포함한다.
상기 검출 방법은, 전술한 바와 같이, 일련의 4개 이상의 연속으로 감소하는 눈 뜸 인자의 존재를 확인함으로써 제2 레벨을 검출하는 것을 검증하는 단계를 더 포함한다. 상기 검출 방법은, 전술한 바와 같이, 일련의 최소 5개, 최대 백 개 및 20개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제3 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 일련의 최소 4개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제4 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 뜬 눈에 대응하는 일련의 최소 6개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제5 레벨을 검출하는 것을 검증하는 단계를 더 포함한다.
상기 검출 방법은, 전술한 바와 같이, 상기 대상자에게 졸음 이벤트의 발생을 경고하는 단계를 더 포함한다.
다른 관점에 따르면, 졸음 이벤트 검출 장치가 제공되며, 상기 거물 장치는,
대상자의 하나 이상의 눈에 조사하기 위한 적외선 방출원을 가지며, 상기 대상자의 시간의 경과에 따른 얼굴 이미지를 샘플링하는 얼굴 이미지 샘플러;
상기 샘플러에 연결되어 상기 샘플링된 얼굴 이미지를 수신하고, 전자적으로 실행 가능한 졸음 검출 프로세스가 전자적으로 저장되어 있는 마이크로프로세서로서, 상기 수신된 얼굴 이미지는 복수의 눈 뜸 인자의 그래픽 표현으로 변화되는, 상기 마이크로프로세서; 및
복수의 기준 눈 감김 패턴이 저장되어 있고, 상기 복수의 눈 뜸 인자와 상기 복수의 기준 눈 감김 패턴을 전자적으로 상관시키기 위해, 상기 마이크로프로세서에 연결되어 있는 메모리
를 포함한다.
상기 검출 장치는, 전술한 바와 같이,
상기 대상자에게 상기 졸음 이벤트를 경고하기 위해 상기 마이크로프로세서에 연결되어 있는 경보기(alert)를 더 포함한다.
따라서, 다른 관점에서, 수송 수단 운전자에게 졸음 이벤트를 경고하는 경고 방법이 제공되며, 상기 경고 방법은,
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계;
일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음을 나타내는 기준 눈 감김 패턴(reference eye closure pattern)을 상관시키는 단계; 및
상기 수송 수단 운전자에게 상기 졸음을 경고하기 위해 알람을 트리거링하는 단계를 포함한다.
따라서, 또 다른 관점에서, EEG 및 EOG 졸음 패턴을 눈 감김 패턴과 상관시키는 상관 방법이 제공되며, 상기 상관 방법은,
대상자의 EEG 및 EOG 졸음 패턴을 측정하는 단계;
일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및
상기 복수의 눈 뜸 인자와 상기 EEG 및 EOG 졸음 패턴을 상관시키는 단계를 포함한다.
본 발명의 실시예를 첨부된 도면을 참조하여 단지 예를 들어 설명할 것이다.
도 1은 본 발명의 예시적인 실시예에 따라, 대상자에 대해 사용되고 있는 졸음 검출 장치의 블록도이다.
도 2는 도 1의 졸음 검출 장치에 의해 사용될 수 있는 졸음 검출 프로세스에 대한 흐름도이다.
도 3a 및 도 3b는 눈 뜸 인자와 관련된 완전히 뜬 눈(도 3a) 및 완전히 감긴 눈(도 3b)에 대한 개략도이다.
도 4는 눈 뜸 인자의 변동의 예를 깜박거림 주기에 대한 시간의 함수로서 나타낸 일련의 개략도이다.
도 5는 졸음의 순간에, 완전히 감긴 눈(주기 L4 및 L5)에 대한 예시도이다.
도 6은 20Hz의 이미지 샘플링 주파수에 있어서 도 2의 순간적인 이벤트 검출 프로세스와 함께 사용될 수 있는 졸음을 특징짓는 눈 뜸 인자 레벨 검출 서브프로세스에 대한 흐름도이다.
대체로 말해, 본 발명의 비제한적인 실시예는 졸음 이벤트 동안 일어나는 적어도 한쪽 눈, 통상적으로 양쪽 눈의 눈 감김 패턴의 분석에 기초해서 대상자의 졸음 이벤트의 검출을 위한 방법 및 장치를 제공한다.
EEG 및 EOG에 의해 측정된 졸음 이벤트 동안, 대상자의 시간의 경과에 따른 위 눈꺼풀과 아래 눈꺼풀 간의 거리의 진행성 변화를 관찰하였다.
차량 운전자, 항공기 조종사, 항공 교통 관제사 등과 같이, 졸린 직업의 오퍼레이터에게 졸음이 온다는 보완 증거(complementary evidence)를 눈 감김 패턴을 사용해서 제공하는 방법 및 장치에 대해 설명하며, 검출되면, 졸린 오퍼레이터에게 눈꺼풀이 감기기 전에 불완전한 상황을 경고하여 EEG 및 EOG 졸음 패턴을 눈 감김 패턴과 상관시킨다.
또한, 눈 감김 패턴의 분석하여 정상적인 눈꺼풀 감김과 졸린 눈꺼풀 감김을 구분할 수 있는 방법에 대해 설명한다.
도 1을 참조하면, 졸음 이벤트 검출 장치(100)의 예가 도시되어 있는데, 검출 장치(100)는 적외선 방출원(104)과 연결된 디지털 카메라(102)와 같은 얼굴 이미지 샘플러(facial image sampler), 및 메모리(108), 알람/디스플레이(110) 및 입출력 인터페이스(112)와 연결된 마이크로프로세서(106)를 포함한다.
그러므로 일례에서는, 대상자에서 졸음 이벤트를 검출하기 위해 검출 장치(100)를 사용하는 방법에 대해 설명한다. 방법은 시간이 경과함에 따라 적어도 한쪽 눈의, 통상적으로는 양쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계; 눈 뜸 인자의 그래픽 표현을 작성하는 단계; 및 시간의 경과에 따른 복수의 눈 뜸 인자의 변화를 졸음 이벤트를 나타내는 기준 눈 감김 패턴과 상관시키는 단계를 포함한다.
동작에서, 디지털 카메라(102)는 대상자(10)의 얼굴을 향하고 있고 적외선 방출원(104)을 사용해서 눈(12)을 조사하여 눈 뜸 인자, 즉 위 눈꺼풀(14a)과 아래 눈꺼풀(14b) 간의 거리를 나타내는 값을 결정한다. 디지털 카메라(102)가 포착한 이미지들은 그런 다음 프로세서(106)가 관련 메모리(108)에 저장되어 있는 졸음 이벤트 검출 프로세스를 실행하여 처리한다. 졸음 이벤트를 검출하면, 졸음 이벤트 검출 장치(100)는 일체화되어 있는 알람 및/또는 디스플레이(110)를 트리거링함으로써 순간적인 이벤트를 사용자에게 알리거나, 입출력 인터페이스(112)를 통해 추가의 프로세스 또는 장치에 그 정보를 제공한다. 예를 들어 사용자 인터페이스 및 무선 통신 장치와 같은 다른 구성성분을 졸음 이벤트 검출 장치(100)에 추가할 수 있음은 물론이다.
도 2를 참조하면, 도 1의 졸음 이벤트 검출 장치(100)의 프로세서(106)가 전자적으로 실행할 수 있는 순간적인 이벤트 검출 프로세스(200)에 대한 흐름도가 도시되어 있다. 프로세스(200)의 단계는 블록(202 내지 212)으로 표시되어 있다. 프로세스(200)는 디지털 카메라(102)를 사용하여 대상자(100의 얼굴 이미지를 샘플링함으로써 블록(202)에서 시작한다. 디지털 카메라(102)는 약 10 내지 60Hz의 주파수(즉, 샘플링 주파수)에서 이미지를 샘플링할 수 있다 블록(204)에서, 프로세스(200)는 그 샘플링된 디지털 이미지에서, 대상자(10)의 눈(12) 및 눈꺼풀(14a 및 14b)을 식별한다. 이것은 프로세서(106)에 의해 수행된 얼굴 특징 인식 알고리즘을 사용해서 달성될 수 있다. 그런 다음 눈 뜸 인자를 계산한다.
도 3a 및 도 3b를 참조하면, 눈 뜸 인자를, 완전히 떠진 눈(12)(도 3a 참조)을 나타내는 1과 완전히 감긴 눈(12)(도 3b 참조)을 나타내는 0 사이의 값을 가지는 δ로서 나타낼 수 있다. δ의 값은 예를 들어 직각좌표계(X,Y)에서의 위 눈꺼풀(14a) 위치와 아래 눈꺼풀(14b) 위치 사이의 측정된 거리를 완전히 떠진 눈 D의 기준 측정으로 나누어서 계산할 수 있다. 그러므로:
δ = (위 눈꺼풀 위치(Xu,Yu) - 아래 눈꺼풀 위치(Xl,Yl))/D
여기서, D = 위 눈꺼풀 위치 (XU,YU) - 아래 눈꺼풀 위치 (XL,YL)이고, (Xu,Yu) = 순간 위 눈꺼풀 위치이고, (Xl,Yl) = 순간 아래 눈꺼풀 위치이며, (XU,YU) = 최대 눈 뜸에서의 위 눈꺼풀 위치이고, (XL,YL) = 최대 눈 뜸에서의 아래 눈꺼풀 위치이다.
도 2를 다시 참조하면, 블록(206)에서, 프로세스는 졸음을 특징짓는 눈 뜸 인자 레벨들이 있는지를 검증한다.
도 4를 참조하면, 눈 뜸 인자의 변화를, 깜박거림 주기에 대한 시간의 함수로서 나타내는 예를 도시하고 잇다. 깜박거림 주기는 완전히 뜬 눈(12)(눈 뜸 인자 δ = 1.00)으로 시간 t1에서 시작해서, 시간 t2에서 눈 뜸 인자가 δ = 1.00에서 유지하고, 그런 다음 시간 ti 및 시간 ti +1에서 δ = 0.80 및 δ = 0.50을 지나면서 감소하여 시간 tj에서 δ = 0.00(완전히 감긴 눈(12))에 도달한 다음, 다시 시간 tk 및 시간 tk +1에서 δ = 0.50 및 δ = 0.80을 지나면서 증가하여 시간 tn에서 다시 δ = 1.00에 도달한다. 도 4에 도시된 깜박거림 주기는 예시를 위한 것일 뿐이며 실제의 주기는 샘플링 주파수에 따라 일련의 샘플 시간을 포함한다는 것을 이해해야 한다.
도 5를 참조하면, 이와 같이 시간의 함수로서 계산된 눈 뜸 인자를 그래프에 나타낼 수 있는데, 대체적으로 5개의 연속적인 레벨, L1 내지 L5로 특징지어진다. 최초 레벨 및 최종 레벨, L1 및 L5는 뜬 눈(즉, δ = 1.00)과 관련되어 있고, 두 번째 레벨 L2는 눈꺼풀 14a, 14b(즉, 0.00>δ>0.00, δ가 감소)의 감김과 관련되어 있고, 세 번째 레벨 L3은 부분적으로 감긴 눈 또는 완전히 감긴 눈(예를 들어, 0.00>δ>0.5)과 관련되어 있고, 네 번째 레벨 L4는 눈꺼풀 14a, 14(즉, 0.00<δ<0.00, δ가 증가)의 떠짐과 관련되어 있다.
도 2를 다시 참조하면, 프로세스(200)는 모두 5개의 레벨, 즉 L1 내지 L5를 검출하고, 그런 다음 블록(208)으로 진행한다. 그렇지 않으면, 다음 이미지 샘플을 위해 다시 블록(202)으로 진행한다. 블록(208)에서, 프로세스는 눈 감김(21 또는 26) 및 눈 뜸(25 또는 27) 표현 곡선을 계산한다. 눈 감김 표현 곡선(21 또는 26)은 네거티브 슬로프 2차 다항식 회귀(포물선)를 사용해서 계산하며, 즉
Y = d0 + d1.X + d2X2.
여기서 Y는 각각의 도(degree)에 대한 회귀 계수 d1 내지 d2 및 Y 절편 d1(Y intercept d1)을 가지는 다항 모형에 대한 예측된 출력값이며; 제1 및 제2 눈 뜸 인자 레벨, 즉 L1 및 L2를 포함하는 눈 뜸 인자에 적용된다. 눈 뜸 표현 곡선(25 또는 27)과 관해서는, 제4 및 제5 눈 뜸 인자 레벨, L4 및 L5를 포함하는 포지티브 슬로프 2차 다항식 회귀를 사용해서 계산된다. 그런 다음, 블록(210)에서, 프로세스(220)는 순간적인 눈 뜸 및 감김 표현 곡선이 있는지를 검증한다. 이것은 피어슨 계수(Pearson coefficient), r을 계산함으로써 달성된다:
X 및 Y는 데카르트 표현(Cartesian representation)에서의 위치이고; 눈 뜸 인자 레벨 L1 및 L2를 구성하는 눈 뜸 인자와 관련해서 눈 감김 표현 곡선(21 또는 26) 중에서 그리고 눈 뜸 인자 레벨 L4 및 L5를 구성하는 눈 뜸 인자와 관련해서 눈 감김 표현 곡선(25 또는 27) 중에서의 위치이다. 양쪽의 피어슨 계수가 예를 들어 0.9와 같은 주어진 임계값보다 크거나 같으면, 프로세스(200)는 블록(212)으로 진행한다. 그렇지 않으면, 다음 이미지 샘플을 위해 블록(202)으로 진행한다. 마지막으로, 블록(212)에서, 순간적인 이벤트 검출 장치(100)는 통합된 알람 및/또는 디스플레이(110)를 통해 순간적인 이벤트 상태의 검출을 사용자에게 알리거나 예를 들어 블루투스, WiFi 등과 같은 유선 또는 무선 통신 링크를 사용하여 입출력 인터페이스(112)(도 1 참조)를 통해 추가의 프로세스 또는 장치에 그 정보를 제공한다.
피어슨 계수 임계값은 0.9에 제한되는 것을 의미하지 않음은 물론이며, 원하는 한정 레벨에 맞추도록 조정될 수 있다. 또한, 디지털 카메라(102)(도 1 참조)의 해상도에 따라 가변할 수 있다.
눈 감김 패턴은 이러한 특별한 관찰들, 감김, 눈꺼풀의 완전한 또는 부분적인 감김 또는 다시 뜸의 기간에 근거한다. 더 구체적으로, 눈 감김 패턴은 점진적인 감김에 뒤이어 눈꺼풀이 완전하게 감긴 다음 다시 뜨는 베이스라인 주기(baseline period)가 뒤이어진다. 이러한 모든 것이 일어나면, 졸음이 검출된다.
20 GHz 의 이미지 샘플링 주파수에서 졸음을 특징짓는 눈 뜸 인자 레벨의 예
도 6을 참조하면, 20Hz의 이미지 샘플링 주파수에 있어서 5개의 졸음을 특징짓는 눈 뜸 인자 레벨, 즉 L1 내지 L5(도 5 참조)의 존재를 검출하도록 프로세스(200)의 블록(206)에서 수행될 수 있는 졸음을 특징짓는 눈 뜸 인자 레벨 검출 서브-프로세스(300)에 대한 흐름도가 도시되어 있다. 서브-프로세스(300)의 단계가 블록(301 내지 305)으로 표시되어 있다.
블록(301)에서, 서브-프로세스(300)는 제1 레벨 L1이 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 1.00의 값을 가지는 일련의 최소 6개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(302)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
블록(302)에서, 서브-프로세스(300)는 제2 레벨 L2가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.99 및 δ = 0.01의 값을 가지는 일련의 4개의 연속으로 감소하는 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(303)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
그런 다음, 블록(303)에서, 서브-프로세스(300)는 제3 레벨 L3이 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.00의 값을 가지는 일련의 최소 5개의 연속적인 눈 뜸 인자 및 일련의 최대 120개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(304)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
블록(304)에서, 서브-프로세스(300)는 제4 레벨 L4가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 0.01 및 δ = 0.99의 값을 가지는 일련의 최소 4개의 연속으로 증가하는 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 블록(305)으로 진행하고, 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조).
마지막으로, 블록(305)에서, 서브-프로세스(300)는 제5 레벨 L5가 검출되었는지를 검증한다. 결국, 서브-프로세스(300)는 δ = 1.00의 값을 가지는 일련의 최소 6개의 연속적인 눈 뜸 인자가 존재하는지를 검증한다. 존재하면, 서브-프로세스(300)는 프로세스(200)의 블록(208)으로 진행하고(도 2 참조), 모두 5개의 졸음을 특징짓는 눈 뜸 인자 레벨이 존재한다. 존재하지 않으면, 프로세스(200)의 블록(202)으로 되돌아간다(도 2 참조). 각각의 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검출하는데 사용되는 눈 뜸 인자의 수는 변할 수 있는데, 예를 들어, 이미지 샘플링 주파수에 따라 변할 수 있고, 이것은 단지 예시로서만 의미한다는 것을 이해해야 한다.
전술한 바와 같은 마이크로프로세서와 관련된 메모리에는 복수의 기준 눈 감김 패턴이 포함되어 있는 것을 이해해야 한다. 도 5에 도시된 바와 같은 그래프는 이러한 기준 눈 감김 패턴과 비교된다. 일치하는 경우, 졸음 이벤트가 검증되어 알람이 활성화된다.
본 발명을 특별한 실시예 및 예를 들어 설명하였으나, 본 발명의 범주를 벗어남이 없이 이러한 특별한 실시예에 대한 변형이 적용될 수 있다는 것은 당업자에게는 자명하다는 것을 이해해야 한다.

Claims (28)

  1. 수송 수단 운전자에게 졸음 이벤트를 경고하는 경고 방법에 있어서,
    일정한 시간 구간에 걸쳐 적어도 한쪽 눈의 위 눈꺼풀과 아래 눈꺼풀 간의 복수의 거리를 측정함으로써 복수의 눈 뜸 인자(eye openness factor)를 결정하는 단계;
    상기 복수의 눈 뜸 인자의 그래픽 표현을 작성하는 단계;
    상기 일정한 시간 구간에 걸쳐 상기 복수의 눈 뜸 인자의 변화와 상기 졸음 이벤트를 나타내는 기준 눈 감김 패턴(reference eye closure patten)을 상관(correlating)시키는 단계; 및
    기준 눈 감김 패턴과 비교되는 상기 복수의 눈 뜸 인자가 상기 졸음 이벤트를 나타내는 경우에, 상기 수송 수단 운전자에게 경고하기 위해 알람을 트리거링하는 단계
    를 포함하는 경고 방법.
  2. 제1항에 있어서,
    상기 수송 수단 운전자의 얼굴을 조사하는 단계; 및
    얼굴 이미지를 기록하는 단계
    를 더 포함하는 경고 방법.
  3. 제2항에 있어서,
    적외선 방출원(infrared source)을 구비하는 디지털 카메라를 사용하여 상기 얼굴에 조사하고 상기 얼굴 이미지를 기록하는 경고 방법.
  4. 제3항에 있어서,
    상기 얼굴의 이미지를 10 Hz 내지 60 Hz의 주파수로 샘플링하는 경고 방법.
  5. 제1항에 있어서,
    상기 복수의 눈 뜸 인자를 눈의 깜박거림 주기에 대한 시간의 함수로서 측정함으로써, 졸음을 특징짓는 눈 뜸 인자 레벨의 존재를 검증하는 단계를 더 포함하는 경고 방법.
  6. 제5항에 있어서,
    상기 졸음을 특징짓는 눈 뜸 인자 레벨은 적어도 하나의 눈 뜸 레벨을 포함하는, 경고 방법.
  7. 제5항에 있어서,
    상기 복수의 눈 뜸 인자는 1개 내지 5개의 눈 뜸 레벨을 포함하는, 경고 방법.
  8. 제5항에 있어서,
    상기 복수의 눈 뜸 인자는 5개의 눈 뜸 레벨을 포함하는, 경고 방법.
  9. 제5항에 있어서,
    상기 눈 뜸 레벨은, 뜬 눈, 눈꺼풀의 감김, 부분적으로 감긴 눈 또는 감긴 눈, 및 눈꺼풀의 뜸과 연관되어 있는, 경고 방법.
  10. 제5항에 있어서,
    20Hz의 이미지 샘플링 주파수에서 졸음을 특징짓는 눈 뜸 인자 레벨을 검출하기 위한 서브-프로세스를 더 포함하는, 경고 방법.
  11. 제10항에 있어서,
    상기 서브-프로세스는 뜬 눈에 대응하는 6개 이상의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제1 레벨의 검출을 검증하는 단계를 더 포함하는, 경고 방법.
  12. 제11항에 있어서,
    4개 이상의 연속으로 감소하는 눈 뜸 인자의 존재를 확인함으로써 제2 레벨의 검출을 검증하는 단계를 더 포함하는, 경고 방법.
  13. 제12항에 있어서,
    최소 5개에서 최대 120개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제3 레벨의 검출을 검증하는 단계를 더 포함하는, 경고 방법.
  14. 제13항에 있어서,
    4개 이상의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제4 레벨의 검출을 검증하는 단계를 더 포함하는, 경고 방법.
  15. 제14항에 있어서,
    뜬 눈에 대응하는 최소 6개의 연속적인 눈 뜸 인자의 존재를 확인함으로써 제5 레벨의 검출을 검증하는 단계를 더 포함하는, 경고 방법.
  16. 제1항에 있어서,
    상기 복수의 눈 뜸 인자는 5개의 연속적인 눈 뜸 레벨을 포함하고, 상기 5개의 연속적인 눈 뜸 레벨의 순차적인 검출은 졸음의 특징을 나타내는, 경고 방법.
  17. 제16항에 있어서,
    5개 미만의 연속적인 눈 뜸 레벨이 검출되면 추가의 눈 뜸 인자들을 결정하는 단계를 더 포함하는 경고 방법.
  18. 제5항에 있어서,
    눈 뜸 표현 곡선 및 눈 감김 표현 곡선을 계산하는 단계를 더 포함하는 경고 방법.
  19. 제18항에 있어서,
    상기 눈 감김 표현 곡선은, 제1 및 제2 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 네거티브 슬로프를 사용해서 계산되는, 경고 방법.
  20. 제19항에 있어서,
    상기 복수의 눈 뜸 인자는, 제4 및 제5 눈 뜸 인자 레벨의 눈 뜸 인자에 적용된 2차 다항식 회귀 및 포지티브 슬로프를 사용해서 계산되는, 경고 방법.
  21. 제20항에 있어서,
    상기 제1 및 제2 눈 뜸 인자 레벨과 관련된 눈 감김 표현 곡선 및 상기 제4 및 제5 눈 뜸 인자 레벨과 관련된 눈 뜸 표현 곡선의 피어슨 계수(Pearson coefficient)를 계산함으로써 졸음 눈 뜸 및 감김 표현 곡선의 존재를 검증하는 단계를 더 포함하는 경고 방법.
  22. 제21항에 있어서,
    상기 피어슨 계수가 미리 정해진 임계값보다 크거나 같을 때 상기 수송 수단 운전자에게 알리는, 경고 방법.
  23. 제1항에 있어서,
    상기 수송 수단 운전자에게 졸음 이벤트의 발생을 경고하는 단계를 더 포함하는 경고 방법.
  24. 졸음 이벤트 검출 장치에 있어서,
    대상자의 하나 이상의 눈에 조사하고 대상자의 위 눈꺼풀과 아래 눈꺼풀 간의 거리를 측정하기 위한 적외선 방출원을 가지며, 상기 대상자의 시간의 경과에 따른 얼굴 이미지를 샘플링하는 얼굴 이미지 샘플러;
    상기 얼굴 이미지 샘플러에 연결되어 상기 샘플링된 얼굴 이미지를 수신하고, 상기 샘플링된 얼굴 이미지는 복수의 눈 뜸 인자의 그래픽 표현으로 전환되는, 마이크로프로세서;
    복수의 기준 눈 감김 패턴이 저장되어 있고, 상기 마이크로프로세서에 전자적으로 연결되어 있는 비-일시적(non-transitory) 메모리; 및
    기준 눈 감김 패턴과 비교되는 상기 복수의 뜬 눈 인자가 졸음 이벤트를 나타내는 경우에, 상기 대상자에게 경고하기 위해 상기 마이크로프로세서에 연결되어 있는 경보기(alert)를 포함하는 검출 장치.
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
KR1020107028212A 2008-05-28 2009-05-27 졸음 이벤트의 검출을 위한 방법 및 장치 KR101551262B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US7196608P 2008-05-28 2008-05-28
US61/071,966 2008-05-28
US12/340,017 2008-12-19
US12/340,017 US8570176B2 (en) 2008-05-28 2008-12-19 Method and device for the detection of microsleep events

Publications (2)

Publication Number Publication Date
KR20110017883A KR20110017883A (ko) 2011-02-22
KR101551262B1 true KR101551262B1 (ko) 2015-09-08

Family

ID=41360181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107028212A KR101551262B1 (ko) 2008-05-28 2009-05-27 졸음 이벤트의 검출을 위한 방법 및 장치

Country Status (15)

Country Link
US (1) US8570176B2 (ko)
EP (1) EP2285265B1 (ko)
JP (1) JP5722767B2 (ko)
KR (1) KR101551262B1 (ko)
CN (1) CN102098955B (ko)
AU (1) AU2009253692B2 (ko)
BR (1) BRPI0912299B8 (ko)
CA (1) CA2667035C (ko)
HK (1) HK1158481A1 (ko)
MX (1) MX2010012924A (ko)
MY (1) MY153476A (ko)
NZ (1) NZ589640A (ko)
RU (1) RU2540901C2 (ko)
WO (1) WO2009143620A1 (ko)
ZA (1) ZA201008131B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092739A (ko) 2019-01-25 2020-08-04 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
WO2012061871A1 (en) * 2010-11-08 2012-05-18 Optalert Australia Pty Ltd Fitness for work test
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
US9220454B2 (en) * 2012-08-20 2015-12-29 Autoliv Development Ab Device and method for detecting drowsiness using eyelid movement
KR101526672B1 (ko) * 2013-07-24 2015-06-05 현대자동차주식회사 졸음 상태 판별 장치 및 방법
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
CN104257392B (zh) * 2014-09-26 2016-06-22 马天驰 一种疲劳驾驶检测提醒的方法及检测提醒装置
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
JP6399311B2 (ja) * 2015-05-07 2018-10-03 スズキ株式会社 居眠り検知装置
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
CN105249961B (zh) * 2015-11-02 2017-11-24 东南大学 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法
DE102016205311A1 (de) * 2016-03-31 2017-10-05 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
JP2019514302A (ja) * 2016-05-25 2019-05-30 エムテクビジョン カンパニー リミテッド 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
RU2644847C1 (ru) * 2016-11-21 2018-02-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации Способ прогнозирования результативности моделируемой когнитивной деятельности на основе комплекса физиологических показателей и логит регрессионного анализа
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感（北京）科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN112016347B (zh) * 2019-05-29 2022-06-24 魔门塔(苏州)科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN114283559B (zh) * 2022-03-04 2022-05-17 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5573006A (en) 1994-03-10 1996-11-12 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus
JP2004314750A (ja) 2003-04-15 2004-11-11 Denso Corp 車両機器操作制御装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3426060B2 (ja) 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP3350296B2 (ja) 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US5729619A (en) 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
JP3183161B2 (ja) 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6070098A (en) 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US5990795A (en) 1998-02-06 1999-11-23 Miller; Bernard J. Sleep warning device for mobile vehicles
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6130617A (en) 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
CN1144166C (zh) 1999-06-17 2004-03-31 现代自动车株式会社 瞌睡驾驶警告系统的驾驶员瞌睡检测方法
US6218947B1 (en) 2000-05-23 2001-04-17 Ronald L. Sutherland Driver sleep alarm
WO2003012758A1 (en) 2001-07-30 2003-02-13 Sankaran Manoj A device for detecting sleep
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6822573B2 (en) 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
GB0203035D0 (en) 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
RU2197895C1 (ru) * 2002-02-27 2003-02-10 Общество с ограниченной ответственностью "ТелекомЭксперт" Способ контроля состояния человека и устройство для его осуществления
US20040151347A1 (en) 2002-07-19 2004-08-05 Helena Wisniewski Face recognition system and method therefor
US7202792B2 (en) 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
CN1225375C (zh) * 2003-07-02 2005-11-02 北京交通大学 基于多特征融合的困倦驾驶检测方法
US7435227B2 (en) 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
JP2008531142A (ja) * 2005-03-04 2008-08-14 スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド 覚醒の測定
EP1913566B1 (en) 2005-08-11 2010-09-15 Sleep Diagnostics Pty Ltd Alertness sensing spectacles
US7918807B2 (en) 2005-08-17 2011-04-05 General Electric Company System, method and computer instructions for assessing alertness of an operator of an image review system
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP4967559B2 (ja) * 2006-09-19 2012-07-04 株式会社豊田中央研究所 居眠り運転防止装置及びプログラム
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5573006A (en) 1994-03-10 1996-11-12 Mitsubishi Denki Kabushiki Kaisha Bodily state detection apparatus
JP2004314750A (ja) 2003-04-15 2004-11-11 Denso Corp 車両機器操作制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200092739A (ko) 2019-01-25 2020-08-04 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치

Also Published As

Publication number Publication date
WO2009143620A1 (en) 2009-12-03
EP2285265A1 (en) 2011-02-23
NZ589640A (en) 2013-08-30
BRPI0912299B8 (pt) 2021-06-22
MX2010012924A (es) 2011-05-02
EP2285265A4 (en) 2013-11-13
BRPI0912299A2 (pt) 2015-10-20
CA2667035C (en) 2014-10-14
KR20110017883A (ko) 2011-02-22
US20090299209A1 (en) 2009-12-03
CA2667035A1 (en) 2009-11-28
EP2285265B1 (en) 2019-08-07
ZA201008131B (en) 2012-02-29
HK1158481A1 (en) 2012-07-20
US8570176B2 (en) 2013-10-29
MY153476A (en) 2015-02-13
CN102098955A (zh) 2011-06-15
JP5722767B2 (ja) 2015-05-27
JP2011523867A (ja) 2011-08-25
AU2009253692A1 (en) 2009-12-03
RU2010146449A (ru) 2012-07-20
BRPI0912299B1 (pt) 2021-02-02
AU2009253692B2 (en) 2014-11-13
RU2540901C2 (ru) 2015-02-10
CN102098955B (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
KR101551262B1 (ko) 졸음 이벤트의 검출을 위한 방법 및 장치
KR101189008B1 (ko) 경계 상태 측정 방법
US8433095B2 (en) Drowsiness detector
JP4910547B2 (ja) 眠気判定装置及び眠気判定プログラム
US20100219955A1 (en) System, apparatus and associated methodology for interactively monitoring and reducing driver drowsiness
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
JP6375496B2 (ja) 眠気検出方法及び眠気検出装置
KR20090089841A (ko) 각성도 판정 장치 및 각성도 판정 방법
WO2007149553A2 (en) Alertness/drowsiness and cognitive capacity index
JPWO2013035704A1 (ja) 居眠り検出方法と装置
JP2009018091A (ja) 居眠り検知装置
US9693726B2 (en) Alertness device, seat, and method for determining alertness
CN113415285B (zh) 一种驾驶员警觉度评估方法及系统
JP5333284B2 (ja) 生体状態判定装置
JPH10272960A (ja) 覚醒度推定装置
KR20140074567A (ko) 차량 운전자 졸음운전 방지방법 및 그 시스템
Sommer et al. A measure of strong driver fatigue
Pilkington-Cheney et al. The i-DREAMS intervention strategies to reduce driver fatigue and sleepiness for different transport modes
KR102021932B1 (ko) 운전자 졸음 검출 방법
JPH0779937A (ja) 覚醒度判定装置
Balasubrahmanyan et al. Quantification of Alertness and Evaluation Method for Vision Based Driver Drowsiness and Alertness Warning System
Hanke et al. Automated vigilance classification based on EOG signals: preliminary results
Funke et al. Monitoring Task Fatigue in Contemporary and Future Vehicles: A Review
KR101947830B1 (ko) 졸음운전 감지시스템 및 방법
JP2020057198A (ja) 眠気発生予測装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 4