KR101189008B1 - 경계 상태 측정 방법 - Google Patents

경계 상태 측정 방법 Download PDF

Info

Publication number
KR101189008B1
KR101189008B1 KR20077020073A KR20077020073A KR101189008B1 KR 101189008 B1 KR101189008 B1 KR 101189008B1 KR 20077020073 A KR20077020073 A KR 20077020073A KR 20077020073 A KR20077020073 A KR 20077020073A KR 101189008 B1 KR101189008 B1 KR 101189008B1
Authority
KR
South Korea
Prior art keywords
drowsiness
amplitude
eyelid
movement
eyelids
Prior art date
Application number
KR20077020073A
Other languages
English (en)
Other versions
KR20070114731A (ko
Inventor
머레이 존스
Original Assignee
슬립 다이애그노틱스 피티와이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2005901026A external-priority patent/AU2005901026A0/en
Application filed by 슬립 다이애그노틱스 피티와이 엘티디 filed Critical 슬립 다이애그노틱스 피티와이 엘티디
Publication of KR20070114731A publication Critical patent/KR20070114731A/ko
Application granted granted Critical
Publication of KR101189008B1 publication Critical patent/KR101189008B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Separation Of Suspended Particles By Flocculating Agents (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

특히 차량 운전자의 졸음 상태를 측정하는 방법 및 장치가, 깜박거림 중에 눈꺼풀의 닫힘 및 열림 동작에 대한 진폭 대 속도 비율을 측정하며 마찬가지로 열림 및 닫힘 동작의 지속시간을 측정한다. 경계 상태 및 졸린 상태의 대상으로부터 수집한 데이터에 근거하여, 졸음 상태의 스케일과 비교되는 졸음 측정값을 획득하도록, 닫힘 및 열림 동작에 대한 진폭 대 속도에 대한 평균값이 가중되고 더해진다. 다른 눈의 움직임이 가중된 알고리즘에서 사용될 수 있다. 졸음 상태의 스케일이, 운전자(또는 작동자)가 계속하기에 적합하지 않은 졸음 레벨의 시작을 예측한다.

Description

경계 상태 측정 방법{Measuring Alertness}
본 발명은 차량 동작에서 경계 상태(alterness)를 모니터하는 방법에 관한 것이다.
졸음을 검출하는 것은 매우 중요하다. 왜냐하면 졸음이, 자동 차량, 기차, 항공기 및 보트와 산업 기계를 포함하는 넓은 범위의 장치의 조작자의 능력을 손상시키기 때문이다. 졸음이 느껴질 때 이를 해결하기 위한 동작을 취하라고 운전자에 교육을 하는 것으로는 졸음 운전의 문제가 해결될 수 없다. 깨어난 후에 그들이 졸았다는 것을 알게 되더라도, 많은 사람이 그 시점에서 졸음을 인식하지 못한다는 것이 문제이다. 이는 졸음의 단계가 위험 포인트로 넘어가는 경우에도 사이 예측할 수 없다는 것을 의미한다. 왜냐하면 졸음 상태가 현재의 의식을 잃어버리는 것, 즉 의식의 무의식적 상실을 포함하기 때문이다.
미국 특허 5 745 038은 졸음 표시기로서 깜박거리는 행동을 검출하기 위해 눈으로부터 반사되는 빛을 검사하는 눈 모니터에 대해 개시하고 있다.
미국 특허 5 867 587은 조작자의 얼굴과 눈의 디지털 이미지를 사용하고, 눈의 깜박거림에 대해 기여할 수 있는 파라미터를 추론하며 이를 파라미터의 임계값과 비교하는 시스템에 대해 개시하고 있다. 파라미터가 임계값 이하로 떨어지는 경우에, 경고 신호가 주어진다.
특허 명세서 WO 98/49028은 눈의 움직임의 범위를 조사하는 눈 응시 모니터로서 비디오 이미지를 사용하고 경계 상태(alertness)의 정도를 분석 및 계산한다.
미국 특허 6091334는 머리 움직임을 모니터하고 안정성에 주목하는 졸음 분석을 위한 시스템에 대해 개시하고 있다.
미국 특허 6102870은 스캐닝, 읽기, 찾기, 생각 및 선택을 위한 집중과 같은 조작자의 정신 상태를 추론하기 위해 고정 및 멈춤과 같은 눈 추적 데이터를 이용한다. 이는 컴퓨터 소프트웨어 응답성을 강화하는 시스템이다.
미국 특허 6097295는 눈의 동공(pupil) 크기에 근거하여 이미지 분석을 하는 시스템을 포함한다.
미국 특허 6147612는 눈꺼풀 움직임을 검출하고 눈꺼풀 움직임이 졸음을 나타낼 때 알람을 활성화하는 졸음 방지 시스템을 포함한다.
미국 특허 6346887은 경계(alterness) 상황을 예정하는 데 사용될 수 있는 눈의 활동을 표현하는 신호를 생성하도록 눈의 활동성 및 동공의 지름 그리고 위치를 추적하는 눈 추적 시스템에 근거한 비디오를 이용한다.
유럽 특허 WO 03/039358은 눈꺼풀의 진폭 및 속도를 측정하기 위한 적외선과 혈중 알코올 레벨의 계측에 관련될 수 있는 스케일(scale)에 대한 경계 상태 측정을 추론하는 눈의 움직임을 이용하는 경계 모니터를 포함한다. 이러한 모니터는 조작자의 경계 상태의 측정 결과를 제공할 수 있는 실시간 경계 상태 모니터를 포함한다.
본 발명의 목적은 유럽 특허 WO 03/039358에 개시된 유형의 경계 상태 모니터를 개선하기 위한 것이다.
이러한 목적을 위해, 본 발명이 다음과 같은 구성요소를 포함하는 경계 상태 모니터 시스템을 제공한다:
a) 눈꺼풀 움직임을 측정하는 수단과;
b) 상기 측정 결과를 지속적으로 기록하는 저장 수단과;
c) 눈꺼풀의 닫힘 및 열림 동작의 진폭 및 속도에 대한 측정값을 지정된 시간 간격에 대해 평균하고, 경계 상태의 대상에 대해 지정된 값으로부터의 편차를 측정하도록, 눈꺼풀의 닫힘 및 열림 동작의 진폭 및 속도에 대한 측정값 얻기 위해 눈꺼풀 움직임을 분석하는 데이터 프로세서와;
d) 경계 상태의 측정값을 나타내는 디스플레이와; 그리고
e) 지정된 값에 도달한 측정값에 의해 시작되는 경고 수단.
눈꺼풀의 열림 및 닫힘 동작에 대한 진폭 대 속도 비율이 졸음상태 시작에 대한 주요 측정값을 사용된다. 눈을 깜박거리는 동안에, 열림 및 닫힘 동작 모두에 대한 최대 속도(AVR) 대 진폭의 비율이 졸음 상태에서 감소하고, 경계 상태의 중단을 예측하는 데 사용될 수 있다. 본 발명은 눈의 닫힘 치 재 열림에 대한 AVR이 동일한 진폭에 대해 다르다는 사실에 입각한다. 일반적으로 눈꺼풀이 다시 열리는 것보다 닫힐 때 속도가 더 빠르고, 두 속도가 상당히 연관된다. 본 발명에 따르면, 잠을 자지 않도록 함으로써 닫힘과 다시 열림 상태 모두에 대한 AVR을 증가시킬 수 있다는 사실은 알 수 있다. 결과적으로, 이러한 움직임의 지속시간이 졸음에 의해 증가한다. 열림 속도와 진폭의 비율이 졸음 상태를 나타내는 주요한 식별자라는 것이 알려졌다. 열림 동작의 지폭 대 열림 동작의 최대 속도의 비율(AVR)이 시간의 단위를 가지며, 경계 상태의 대상에서는 비교적 일정하나, 졸림 상태에서는 점차 증가한다. 또한 계측을 필요로 하지 않는다.
비교의 목적으로 계산된 값을 지정된 시간 구간에 대해 평균을 내는 것이 필요하다. 측정된 눈꺼풀 파라미터와 평균을 내기 위해 선택된 값이 시험을 수행하여 결정될 수 있으며, 파라미터와 평균의 적합한 조합일 수 있다. 바람직하게는 속도 대 진폭의 비율이 각각의 검출된 움직임에 대해 계산되며, 이후에 지정된 구간에 평균을 구한다. 닫힘 및 열림 동작의 지속시간과 같은 다른 파라미터에 대해 평균을 구할 수도 있으며, 이는 최종 계산 값에 포함된다. 추가 파라미터와 같은 단속적 운동와 같은 눈의 움직임을 포함하는 것이 바람직하다. 바람직하게는 다양한 파라미터가 최종 계산을 할 때 가중된다. 이러한 최종 계산이 졸음 상태를 나타내는 작은 값과 졸음 상태의 레벨이 증가함을 나타내는 더 큰 값을 가지는 졸음 인덱스일 수 있다. 눈꺼풀 및 눈의 움직임이 식별 및 적합한 눈의 움직임을 측정하기 위한, 비디오 또는 디지털 카메라 기술을 포함하는 적합한 기술을 이용하여 모니터 될 수 있다.
저장 수단이, 검출기에 의해 감지는 신호나 신호처리된 신호 또는 데이터 프로세서에 사용되는 신호 표현 이벤트를 저장하는 데 사용된다. 이하에서 더 상세히 설명되는 바와 같이, 진폭 및 속도의 절대적 측정치가 사용되더라도, 척도alibration)에 대한 필요성을 없애기 위해 상대적인 진폭 및 속도의 측정값을 사용하는 것이 바람직하다. 평균값이 복수의 읽기 동작에 대한 적합한 통계적 분석을 이용하여 계산되고, 이후에 이하에서 더 상세히 설명된 평균값 또는 중간값을 사용하여 계산된다.
디스플레이가 스크린, 숫자 디스플레이, 음향 디스플레이 또는 인쇄된 리포트상에 도식적으로 디스플레이될 수 있다. 경고 시스템이 빛을 번쩍이거나 잡음을 낼 수 있으며, 링 톤, 진동 등과 같은 이동 전화를 이용하는 경고를 어느 것이나 포함할 수 있다. 차량 내에서, 경고가 진동 시트이거나 안전 벨트를 조이는 것일 수 있다. 경고는 졸고 있는 운전자를 깨워서 즉각 멈추도록 하기에 충분한 것일 필요가 있다.
경고용으로 사용되며, 분석기로부터의 출력 데이터가 기록으로 보관되거나 제어 센터에 전송될 수 있다. 트럭이 위치에 대해 모니터 될 수 있으며, 경계 신호가 위치 정보와 함께 무선으로 전송되어, 중앙 트럭 스테이션이 데이터를 분석하고 운전자가 온라인 상태이지 분석할 수 있다. 경고 신호 발생과 마찬가지로 출력 신호가 모니터 되는 사람에 의해 사용되는 차량이나 기계의 동작 상태를 변경할 수 있다. 이는 차량을 제동하거나, 전원을 해제하거나 동작의 안전 모드로 스위치하는 것을 포함할 수 있다.
도 1은 경계 상태의 대상에 대해 본 발명에 따른 방법을 이용하는 기록을 나타내는 그래프이다.
도 2는 졸음 상태의 대상에 대해 본 발명에 따른 방법을 이용하여 깜박거림을 기록하는 그래프이다.
도 3은 깜박거림 중에 닫힌 눈꺼풀에 대한 진폭 대 최대 속도를 나타내는 그래프이다.
도 4는 깜박거림 중에 눈꺼풀의 재 열림에 대한 진폭 대 최대 속도를 나타내는 그래프이다.
도 5는 본 발명에 따른 방법을 이용하여 졸림 상태의 대상에서 깜박거림 및 긴 눈꺼풀 닫힘을 나타내는 그래프이다.
도 6은 24시간에 걸쳐 대상이 깨어있도록 하기 위해 본 발명에 따른 졸음 인덱스(Drowsiness)를 나타내는 그래프이다.
도 7은 동일한 구간에 걸친 경계 테스트를 이용하여 경과 퍼센트를 나타내는 도면이다.
도 8은 존스 졸음 스케일(Johns Drowsiness Scale:JDS)과 혈중 알콜 농도 사이의 관계를 나타내는 도면이다.
도 9는 존스 졸음 스케일에 대한 수치 및 평균 반응 시간 사이의 관계를 나타내는 도면이다.
도 10은 존스 졸음 스케일에 대한 수치 및 "중단" 퍼센트 사이의 관계를 나타내는 도면이다.
하나 또는 양쪽 눈으로부터의 기록
본 발명에 사용되는 눈 모니터 장치가 선출원인 WO 03/039358의 발명에 개시된 바와 동일한 종류이다.
WO 03/039358는 양쪽 눈에 트랜스듀서(IR_LED 및 포토트랜지스터)를 포함하는 유리에 대해 개시하고 있다. 이의 이유는 양쪽 눈으로부터 기록을 중요하게 하는 졸음에 따라 변하는 양 눈의 등위 관계 때문이다. 그러나, 발명자에 의한 추가 연구에 따라, 양 눈의 등위 관계에 대한 측정이 졸음 진행 상태로서는 부정확하다는 것이 분명하다. 따라서, 양 눈의 등위 관계의 측정이 필요하지않는 경우에, 한 눈으로부터의 기록으로도 모든 다른 파라미터에 대해 충분하다.
두 개의 적외선 방출기와 한쪽 눈 하부에 위치한 하부 프레임 장치에 배치된 하나 이상의 포토 트랜지스터 검출기를 사용하는 것이 바람직하다.
현재, 졸림 현상을 모니터하기 위한 비디오 카메라 방법이 현실적 및 이론적으로 모두 문제가 되고 있다. 카메라의 프레임 속도가 약 500Hz로 증가할 수 있다면, 후자의 일부는 가까운 장래 해결될 수 있으며, 프레임 속도의 증가는 속도와 AVR이 계측되도록 할 수 있다. 이 경우에, 적외선 방출 및 검출이 선호되는 기술이다.
도 1은 경계 상태의 대상에 대해 본 발명에 따른 방법을 이용하는 기록을 나타낸다.
속도 축에서, 위치가 임의의 단위(A)를 가지며, 속도가 A에서 50 msec 마다 변한다.
도 2는 졸음 상태의 대상에 대해 본 발명에 따른 방법을 이용하여 깜박거림 을 기록하는 그래프이다.
amp= 깜박거림의 진폭
mcv= 눈꺼풀의 최대 닫힘 속도
mov= 눈꺼플의 최대 재 열림 속도
inter-event time= 깜박거림 지속시간의 측정
velocity= 50msec 당 위치의 변화
도 5는 본 발명에 따른 방법을 이용하여 졸림 상태의 대상에서 깜박거림 및 긴 눈꺼풀 닫힘을 나타내는 진폭 속도 비율(AVR:Amplitude Velocity Ratio)이다.
경계 상태에서, 각 깜박거림이나 단속적 운동(saccade)의 진폭이 최대 속도와 밀접하게 상관되는 것을 국제공개 특허 WO 03/039358로부터 알 수 있다. 이 발명이 졸음에 의해 속도가 변한다는 사실의 발견에 부분적으로 입각한다. 진폭 속도 비율(AVR)이 졸음 상태의 중요 측정값이다.
국제공개 특허 WO 03/039358는 단속적 운동에 대해서와 마찬가지로 깜박거림에 대한 AVR을 측정하였다. 이제, 단속적 운동 및 다른 동작을 제외하고, 깜박거림에 대한 AVR만을 참조한다.
국제공개 특허 WO 03/039358는 눈꺼풀 움직임의 진폭의 비율로서(위치의 전체 변화), 각 AVR을 측정하고, 임의의 단위(A)에서 측정하였으며, 움직임의 최대 속도에 의해 나뉘고, 10msec 마다 A의 최대 변화로서 측정하였다. 발명자는 이것이, 졸음 상태에서 발생하는 느린 깜박거림이 아닌, 대부분의 깜박거림과 모든 단속적 운동의 상태 속도를 정확히 정의한다는 사실을 알아내었다.
이제 속력이 50msec 당 A에서의 최대 변화로서 속도가 측정되야 한다는 것을 알 수 있다. 우리는 AVR(10) 대신에 AVR(50)로 이를 구별한다.
국제공개 특허 WO 03/039358는 주요하게는, 깜박거림 중에 눈꺼풀의 닫힘 동작과 관련된 AVR(10)에 관한 것이다. 이 발명이 닫히고 열리는 동작이 분리되어 고려되어야 한다는 사실에 부분적으로 입각한다. 본 발명은 눈풀의 닫힘 동작(PAVR(50))과 눈꺼풀의 재 열림 동작(NAVR(50))을 별개의 변수로 다룬다. 이들은 구체적으로 다르나(P<0.001), 적절히 연관된다.
도 3은 깜박거림 중에 눈꺼풀 닫힘 동작에 대한 진폭 대 최대 속도를 나타내는 그래프이다.
도 4는 깜박거림 중에 눈꺼풀의 재 열림 동작에 대한 진폭 대 최대 속도를 나타내는 그래프이다.
눈꺼풀 움직임 지속시간
눈꺼풀 닫힘 동작의 지속시간이 속도 신호에서 0과 크로싱(crossing) 사이의 구간으로 측정되며, 포지티브 제로 크로싱 구간(PZCI:Positive Zero Crosssing Interval)이라 일컫는다. 눈꺼풀의 재 열림 동작의 지속시간이 네거티브 제로 크로싱 구간(NZCI)으로 구별되어 측정된다. 동일한 대상(r=approx 0.5)에서도, 이러한 PZCI와 후속 NZCI가 적절히 상관된다. 이러한 지속시간이 깊이 연관되나 닫힘 동작과 열림 동작에 대한 개별적인 AVR 과 동일하지는 않다.
경계 대상에서 눈을 깜박거리는 동안, 눈꺼풀이 일반적으로 1-2msec보다 더 긴 시간 동안 닫힌 상태로 유지되지는 않는다. 그너나, 졸음 상태에서는, 닫힘 상태의 지속시간이 눈에 띄게 증가한다.
이는 별개의 변수(눈꺼풀이 닫힌 상태의 지속시간)로 측정된다.
눈꺼풀이 깜박거림의 끝에 다시 열리는 때에, 약 절반이 열린 상태에서 최대 속도에 이르고, 후에 나머지 움직임은 매우 느리다. 이는 움직임의 지속시간을 정확히 측정하고, 이에 따른 깜박거림의 전체 지속시간을 측정하는 것을 항상 어렵게 한다. 다른 연구자들은, 닫힘 및 재 열림 동작시, 개별적인 진폭의 절반에 다다른 눈꺼풀 사이의 구간으로부터 깜박거림의 지속시간을 측정함으로써, 이러한 문제를 극복하는 시도를 해왔다.
본 발명은 다른 선택적인 측정 방법을 이용한다. 사건 중간 시간(inter-event time)이라 불리는, 닫힘 동작의 최대 속도 지점과 후속의 재 열림 동작의 최대 속도 사이의 구간을 이용한다. 이는 한쪽 편을 보고 이어서 다른 쪽 편을 보는 연속적인 단속적 운동(이는 일반적으로 경계 상태의 사람에게 일어남) 사이의 구간과 구별되어야 한다. 깜박거림에 대하여, 하부 방향으로(네거티브 위상) 눈꺼풀의 닫힘 운동의 위상(phase)이나 방향이 항상 동일하다.
본질 무엇이건 간에(적절한 위상의 일부 연속적이 단속적 운동을 포함한다), 네거티브 사건 중간 시간(NIET)이 연속되는 포지티브 및 네거티브 움직임의 최대 속도 사이의 시간으로 측정된다. 네거티브 사건 중간 시간이, 눈꺼풀의 움직임이 시작되고 끝나는 시점의 불 확실성에 의존하지 않는 깜박거림의 전체 지속 시간에 대한 측정치를 제공한다.
움직임의 상대 진폭
컴퓨터 기반 수행 테스트를 하면서, 가만히 앉아있을 때가 운전시보다, 대상물의 다른 눈과 눈꺼풀의 깜박거림을 구별하는 것이 훨씬 쉽다는 것이 증명되었다. 운전시 다른 종류의 눈의 움직임이 AVR 측정에 사용되는 동일한 진폭 및 속도의 법칙에 따른 않는다.
결과적으로, 본 발명에서, 다른 움직임과 깜박거림을 구별하는 것이 바람직하다. 이러한 동작을 수행하는 본 발명에 따른 방법이 자가 계측이다(self-calibrating)
일반적인 깜박거림이 다소 변화하더라도, 이들의 지속시간과 상대적으로 큰 진폭에 의해, 다른 움직임에 관하여 특성화될 수 있다.
참조 범위가 눈꺼풀 닫힘 동작에 대한 "보통의" 지속 시간(PZCI)에 대해, 그리고 깜박거림 중에 네거티브 사건 중간 시간(NIET)에 대해 설정된다. 졸음 상태에서는, 대부분의 깜박거림이 이러한 "보통" 범위를 초과하나, 다른 동작은 여전히 이 범위 내에 있다. 이러한 "보통의" 깜박거림의 진폭이 모든 움직임(또는 운동)의 상대적인 진폭을 측정하는 기준으로 사용된다.
어떤 움직임의 상대적인 진폭을 측정하기 위해, 그 시점에서 특정 대상에 대해 "보통의" 깜박거림에 대한 "기준" 진폭이 먼저 설정되어야 하며, 이는 그 시점의 빛의 세기와 같은 서로 다른 조건하에서 변경될 수 있다. 각각의 양의-위상 움직임의 진폭이 측정된다. 이러한 진폭은 "보통의" 깜박거림 중의 눈꺼풀의 닫힘 동 작에 대한 기준 범위(예, PZCI=80~250) 내의 지속시간을 가지며, 기준 범위(예, 60~200msec) 내의 NIET를 포함하는 네거티브 위상 움직임이 뒤를 잇는다. 이러한 진폭이 연속적으로 누적되며, 20개가 누적되면, 85번째 백분위수(percentile)가 계산된다. 이는 "기준" 진폭이 되고, 다른 경우에는(20개가 누적되지 않으면) 계측되지 않으며, 기록(recoding) 중에 20개의 가장 최근의 측정값에 따라 계속 갱신된다. 모든 다른 움직임의 상대적인 진폭이, 포지티브 또는 네거티브이든, 위상 85번째 백분위수로서 계산된다.
깜박거림 이외의 눈과 눈꺼풀의 대부분의 움직임의 상대적인 진폭이 < 70%이다. 즉, 대부분의 수평 및 수직 단속성 운동에 대해 그리고 운전 중에 대상의 머리 움직임을 보상하는 전정동안반사 (前庭動眼反射 vestibulo-ocular reflex)에 대해 특히 그러하다. 따라서, 거의 모든 깜박거림이 상대적인 진폭( > 70%)에 의해 구별될 수 있다. 이러한 방식으로 구별되며, 모든 깜박거림이 정량화되며, 졸린 상태에서 지속시간이 얼마나 길던지 상관이 없다.
상대적인 속도가, 초당 상대적인 진폭의 단위에 대한 변화 계산된다.
찡그린 얼굴이 강력한 자유의지에 의한 눈꺼풀 깜박거림일 수 있으며, 이는 눈이 과민하게 느낄 때, 졸린 상태에서만 볼 수 있는 현상이다. 이는 높은 상대 진폭(일반적으로 > 150%)에 의해 보통의 깜박거림과 구별될 수 있다. 이전에는 눈과 눈꺼풀의 움직임을 모니터하는 방법이 찡그린 얼굴을 구별하지 못했다. 따라서 이는 본 발명의 특유한 특성이다.
상대 위치
눈꺼풀이 움직이지 않을 때, 그 시점에서 눈꺼풀이 열려있는지 아니면 닫혀있는지를 구별하는 것이 중요하다. 이를 위해, 눈꺼풀의 상대적인 위치를 알고 있어야 한다. 이는 본 발명에서, 위에 정의된 바와 같이, "보통의" 범위 내에 속하는 사건에 대해 제로의 속도가 시작되고 끝나는 매 구간마다 위치를 기록함으로써 얻어질 수 있다. 모든 위치 값이 분 단위로 계산된다. 이후에, 10번째 및 90번째 백분위수가 계산되며, 이러한 백분위수 간의 차도 계산된다. 이는 상대적으로 높은(눈꺼풀 닫힘) 및 낮은(눈꺼풀 열림) 위치 사이의 차이에 대한 기준 범위로 주어진다. 특정 위치가 이후에 이러한 차의 퍼센트로 기록된다. 실질적인 목적을 위해, 실제로 약간 초과하지만, 후자가 "중성"위치로 간주한다. 이에 따라 특정 시간에서의 상대적인 위치가 이전 움직임의 10번째와 90번째 백분위수 사이의 차에 대한 퍼센트이다.
상대적인 진폭과 상대적인 위치 사이의 차(difference), 및 분석에서 양쪽에 대한 필요성이 즉시로 분명해지지 않을 수 있다. 전자가 최대 속도에서 측정된 시스템의 이득과 등가이며, 후자가 제로의 속도에서 측정된, DC 오프셋(offset)과 등가이다.
포토트랜지스터에 직접적인 햇빛이 비치는 경우에, 증폭기 출력이 거의 제로로 갈 수 있다. 이 시점에서의 기록은 졸음을 검출하는 데에 쓸모가 없으며, 분석에서 제거되어야 한다. 이는 (즉) 200 이하의 (절대) 위치에 대한 모든 데이터 포인트를 제거함으로써 간단히 수행된다. 반면에, 대부분의 다른 값이 1000-2000의 범위 내에 존재한다.
존스 졸림 스케일( Johns Drowsiness Scale )
현재 일반적으로 적용가능하며 특정 시간에 목적적으로 졸음 상태의 대상의 레벨을 측정하는 계측된 스케일이 존재하지 않는다. 스탠포드 졸음 스케일(SSS:Stanford Sleepiness Scale) 이나 카롤린스카 졸음 스케일(KSS: Karolinska Sleepinsess Scale)과 같은 졸음 상태에 관련된 느낌(feeling)을 개인적으로 보고하는 방법이 존재하며, 이는 대상에 내의 상대적인 변화를 측정할 수 있으나, 대상들 사이의 차이를 정확히 반영하지 못한다.
본 발명은 존스 졸림 스케일(JDS)을 제공한다. JDS는, 졸림 상태에 따라 변화되며 본 발명에 따른 장치에 의해 목적의식적으로 측정되는, 눈꺼풀(또는 눈)의 움직임의 특성을 표현하는 변수를 가중치에 따라 조합하는 것에 근거한다.
다음 표 1은 본 발명에 따른 실시예에서 변수와 가중치를 나타낸다.
변수 B 가중치 통계적 의미(P<)
Logn 표준 편차 1.1575 0.00000
사건 중간 시간
평균 포지티브 AVR -4.7422 0.00000
평균 네거티브 AVR 2.6295 0.00000
닫힌 눈꺼풀의 Logn 평균 지속시간 0.5116 0.00000
깜박거림의 Logn 평균 전체 지속시간 -1.9377 0.00002
표준 편차 네거티브 AVR 2.3916 0.0008
인터셉트(상수) 7.9719 0.00000
이러한 회귀(regression)는 "경계 상태" 및 "실책 상태" 데이터(R=0.785: p<0.0000)에 대한 60초 구간 사이의 모든 변화의 62%에 대해 설명한다. 이러한 변수가 약 20(모든 변수에 대한 평균 및 표준 편차 모두를 포함)으로부터 통계적으로 선택된다. 대상이 경계 상태(n=28)일 때 만들어진 기록들 간의 비교로부터 B 가중치가 생성되고, 경계 상태에 대한 존스 테스트(JTV: Johns Test of Vigilance)에서 제공되는 98% 이상의 가시적인 자극에 2초 내에서 반응할 수 있다. 그리고 대상이 매우 졸린 상태에서(n=9)(이는 JTV에서 5% 이상의 시간이 지남(2초 내의 가시 자극에 대한 반응에 실패함)), 24-38 시간 동안 잠을 자지 않은 후에, 동일한 기록이 만들어진다. 운전자가 후자의 조건에서는 운전에 적합하지 않다.
도 6 및 7은 졸음 인덱스와 잠을 재우지 않은 대상에서의 경계 상태의 소멸 사이의 상관관계를 나타낸다.
이러한 변수에 대한 평균값과 표준 편차가 JTV 기록의 각 분(minute) 단위에 대해 계산된다. 보통의 분포를 가지지 않는 일부 변수가 log(In) 변환에 의해 표준화된다. "소멸" 조건에서보다 "경계" 상태에 대해 더 많은 데이터가 존재한다. 왜냐하면, 잠을 재우지 않았으나 JTV에서 소멸되지 않은 대상 및, 그 시점에서 매우 졸리지 않은 것으로 정의된 대상에 대한 데이터가 배제되기 때문이다.
통계적 분석이, 계단 모양의 판별식 분석을 이용하여 반복되고, 이후에 기호 논리학 회귀 분석(logistic regression analysis)을 이용하여 반복된다.각각이 동일한 결과를 만든다. 데이터베이스가 두 개의 반쪽으로 분할되고, 별개의 여러 회귀 분석 각각의 반쪽 데이터베이스에 대해 수행된다. 이는 역시 매우 유사한 결과를 준다. 이는 JDS가 대상에 대해 광범위하게 적용되는 것을 뒷받침한다. 이러한 선택된 변수와 가중치가 확장된 데이터베이스를 이용하여 조금 변경될 수 ldT다
다른 실험에서, 대상이 27 시간 동안 지속적으로 깨어있고, 매 3시간 마다 15분의 JTV를 수행한다. JTV의 수행에서 소멸되는 퍼센트와 같이, 자정 이후에, 평균 JDS가 점진적으로 증가한다. (P<0.001)
혈중 알콜 농도가 증가하는 상태에서 JTV에 대한 수행에 있어, 감쇠율 면에서, JDS의 계측이 이루어질 수 있다. 이는 이러한 관계를 입증할 수 있는 동일한 라인을 따라 이루어진 이전의 파일럿 연구를 따른다. 마찬가지로, 또한 JDS가 운전 시뮬레이터에서의 운전 기술의 감소 정도에 대해 계측될 수 있으며, 경계 상태 및 잠을 자지 않은 상태에서의 성능과 비교된다.
본 발명의 제 2 실시에에서, 알고리즘이 변경된 가중치와, 분 단위당 눈의 정지 상태의 평균 지속시간(DOQ:Duration of Ocular Quiescence)과 같은 새로운 변수를 고려하도록 변경된다. 이는 연속적인 눈과 눈꺼풀의 모든 종류의 움직임(단속성 운동, 깜박거림, 전정동안반사 등) 사이의 구간에 대한 평균을 의미한다. 또 다른 새로운 변수가 단속성 운동의 퍼센트이다(이는 주어진 문턱값(% 하이 AVR 단속성 운동)을 넘는 AVR을 가진다). 이러한 퍼센트가 졸음에 의해 증가한다.
표 2는 본 발명의 제 2 실시예에 대한 변수 및 가중치를 나타낸다.
변수 B 가중치 통계적 의미 (P<)
Ln 평균 네거티브 제로 크로싱 구간 2.66 0.00001
Ln 표준 편차 사건 중간 시간 0.99 0.00001
눈꺼풀 닫힌 상태의 Ln 표준 지속시간 0.07 0.003
Ln 표준 편차 네거티브 AVR 0.22 0.00001
높은 AVR을 가진 단속성 운동 페센트 0.01 0.001
전정동안반사의 Ln 평균 지속시간 -1.49 0.00001
상수 13.83 0.00001
출원인에 의한 많은 실험의 결과는 JDS가 졸음(일반적으로 더 큰 정확성과 감도로, JDS 값을 정신 생리학적 수행 테스트의 결과와 비교함으로써 적용됨)의 "임계 레벨"의 측면에 계측할 수 있다는 것을 보여준다.
매 분 마다, 반응 시간 테스트(존스 경계 테스트 또는 JTV:Johns Test of Vigilance) 중에, 어는 정도 잠을 자지 않아서 졸리거나, 다른 양의 알콜을 마셨거나, 다른 졸음 원인을 가지는 졸린 상태의 많은 대상에 대해 JDS 값이 측정되었다. 다른 레벨의 졸음이, JDS 스코어에 반영되었듯이, 이후에 이러한 표준화된 테스트의 수행시 (능력) 감소의 레벨의 측면에서 설명되었다. 표준화된 테스트는 시각 반응 시간의 느려짐 및 얼마나 자주 대상이 의미 있는 시각적 자극에 대해 반응하지 못하는 가 등이다. 이러한 결과는, 운전자의 졸음 상태가 "임계" 레벨에 도달했을 때, 즉 JDS 상 5.0과 동일하거나 이보다 큰 경우에, 그/그녀가 더 이상 운전하는데 적합한 상태가 아니라는 것을 나타낸다. 이러한 JDS 스코어가 시각 영역에서 나타나는 의미 있는 시각적인 자극에 합리적으로 매우 높은 빈도로 반응하지 못하는는 것과 관계된다. 안전한 운전을 위해, 명확하고 적절한 시각적 자극(가령, 차량 앞의 정지 라이트나 휘어질 길)에 반응하는 능력이 중요하다.
도 8은 19 대상에서, 존스 졸음 스케일(Johns Drowsiness Scale:JDS)과 혈중 알콜 농도(g%) 사이의 관계를 나타내는 도면이다.(에러 바(bar)가 95% 신뢰구간이다. ANOVA p<0.0001)
JDS 스코어(19명의 지원자 대상에 대해 표준화된 테스트(10-min JTV) 중에 측정됨)와 BAC(6pm 및 자정 사이에 점점 더 많은 알콜을 마신 경우에 저녁에 음주측정기에 의해 측정됨) 사이에 통계적으로 두드러진 관계가 존재한다.
JTV에서, 컴퓨터 스크린에 모양의 변화를 본 후에, 대상에게 가능한 빨리 (그/그녀의 주된 손에 들고 있는) 버튼을 누를 것을 요청한다. 변화는 5와 15sec사이의 불규칙한 구간에서 일어난다. 화면상의 세 개의 원이 400msec 동안 대한 정사각형 또는 다이아몬드로 변화한다. 이는 대상에게 변화를 볼 수 있는 충분한 시간 동안 경고를 하며, 경계 상태에서는 응답에 좀처럼 실패하지 않는다. 이들의 반응 시간(RT:reaction time)(각각 2msec의 정밀도도 측정됨)이 보통 500msec보다 짧다.
졸음 상태에서, 이들의 반응이 몇 가지로 변화한다.
1. 이들이 각 자극에 대해 반응하는 데 더 오래 걸린다(더 긴 반응시간).
2. 이들이 반응하는 데 더 자주 실패한다. 즉, 누락하는 오류를 더 많이 저지른다.
졸음에 의한 이러한 변화가 각 JTV 테스트에 대한 평균 RT를 계산함으로써 평가되며, 대상이 특정한 시간 제한(0.5, 1.0, 도는 2.0sec) 내에 반응에 실패하는 시간 퍼센트가 계산된다.
잠을 자지 못함으로써 서로 다른 레벨은 졸림 상태에 있는 많은 대상에 대해, JTV 중에, JDS 스코어와 RT가 40 시간까지 지속적으로 잠들지 않는 상태에서 측정된다. 또한, 서로 다른 레벨의 혈중 알콜 농도를 가지는 19 명의 대상에 대한 JDS 스코어와 RT가 도 8에 도시된 바와 같이 측정된다. 51명의 잠을 자지 않은 대상(빨간 트라이앵글 및 점선) 및 19 명의 알콜에 영향을 받은 대상(파란 원 및 연속적인 선)에 의해 행해진 전체 221번의 JTV를 수행한 70 명의 대상에 대한 조합된 결과가 도 9에 도시된다.
각 대상 그룹에서 S와 RT 사이에 매우 두드러지는 선형적인 관계가 존재하며, 이들의 능력 감소가 유사하다. 더 높은 JDS 스코어는 JTV(더 높은 RT)에서 시각 자극에 대해 더 느리게 반응한다는 것과 연관된다. 5의 JDS가 500msec의 초과시 평균 RT와 관련된다. 각 RT에 대해 일반적으로 수용되는 임계값은 없으나, 증가한 충돌 위험에 기여하는 느린 반응이 존재한다.
JDS가 눈의 기능에 대한 객관적인 생리학적 측정값이며, RT는 운전 수행에 명확히 관계되는 행동에 대한 측정값이다.
정신 생리학적 연구에서, 이러한 크기의 데이터 베이스에서 0.6-0.7에 존재하는 변수 사이의 연관(correlation)을 가지는 것이 일반적인 것은 않다.
도 10은 존스 졸음 스케일에 대한 스코어와, 그리고 51인의 잠을 자지 않은 대상(빨간 삼각형 및 점선)과 19 명의 알콜의 영향을 받은 대상(파란 원 및 연속 라인)에 의해 수행된 221 JTV에서의 "중단(lapses)" 퍼센트 사이의 관계를 나타내는 도면이다.
도 10은, RT>500msec에서 응답이 없거나 지연된 응답이 존재하는 경우에, 도 9에 도시된 바와 동일한 두 그룹의 대상에서, JDS 스코어와 JTV의 "중단" 퍼센트 사이의 유사한 관계를 도시한다. 이는 응답에 실패하거나 임계적 중요성이 있는 명확한 시각적 자극에 대해 충분히 빨리 응답하는 운전 상황에 구체적으로 관련도힌다. JDS의 정당성에 대한 추가 증거를 제공하는, 매우 두드러진 관계가 존재한다. 5의 JDS가 테스트 수행시에 그리고 가정한 운전 상황에서 많은 양이 중단 동작과 관련된다.
위의 설명으로부터, 본 발명이 졸음의 고유 측정치를 제공하고, 경계필요한 기계나 차량을 운전하는 사람의 능력에 대한 신뢰할만한 예측장치를 제공한다는 것을 알 수 있다.
본 발명의 중심 사상을 벗어나지 않는 범위에서 기술된 바와 다른 장치 및 방법론에 대한 구현 예에 의해 본 발명의 이점이 성취될 수 있다는 것은 당업자에게 자명하다.

Claims (11)

  1. a) 대상의 하나 이상의 눈에 대한 눈꺼풀의 움직임을 지속적으로 모니터하는 단계와;
    b) 눈꺼풀 움직임의 진폭을 측정하는 단계와;
    c) 눈꺼풀의 열림 및 닫힘 동작에 대한 최대 속도를 측정하는 단계와;
    d) 눈꺼풀의 열림 및 닫힘 동작에 대한 진폭 대 속도 비율에 대한 값을 얻는 단계와;
    e) 지정된 구간에 대해 열림 및 닫힘 동작에 대한 상기 진폭 대 속도 비율에 대한 값을 평균하여 평균값을 구하는 단계와; 그리고
    f) 각 구간에 대해 상기 평균값을 기록하고, 경계 상태 및 졸음 상태의 대상으로부터 수집된 데이터에 근거하여 졸음 상태의 스케일과 비교되는 졸음상태 측정값을 얻도록 상기 평균값을 가중하고 더하는 단계
    를 포함하는 것을 특징으로 하는, 대상의 졸음상태 측정 방법.
  2. 제 1 항에 있어서,
    상기 졸음상태 측정값은 모든 종류의 연속적인 눈과 눈꺼풀 움직임 사이의 구간의 평균값을 더 포함하는 것을 특징으로 하는, 대상의 졸음상태 측정 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    지정된 구간 내의 상기 눈꺼풀의 깜박거림 및 눈꺼풀의 닫힘 상태의 평균 지속 시간이 졸음상태 측정값에 포함되는 것을 특징으로 하는, 대상의 졸음상태 측정 방법.
  5. a) 눈꺼풀 움직임을 측정하는 수단과;
    b) 상기 측정 결과를 지속적으로 기록하는 저장 수단과;
    c) 제 1 항에 따르는 방법을 수행하도록 프로그램된 데이터 프로세서와;
    d) 경계상태의 측정값을 나타내는 디스플레이와; 그리고
    e) 지정된 값에 도달한 측정값에 의해 시작되는 경고 수단
    을 포함하는, 경계 상태 모니터 시스템.
  6. 제 5 항에 있어서,
    상기 눈꺼풀의 움직임을 측정하는 수단은 카메라인 것을 특징으로 하는, 경계 상태 모니터 시스템.
  7. 제 5 항에 있어서,
    상기 눈꺼풀의 움직임을 측정하는 수단은, 스펙타클 프레임에 장착된, 하나 이상의 적외선 방출 장치와 상기 스펙타클 프레임에 장착된 하나 이상의 적외선 검출기를 포함하는 것을 특징으로 하는, 경계 상태 모니터 시스템.
  8. 제 5 항에 있어서,
    열림 및 닫힘 동작에 대한 진폭 대 속도 비율의 평균값이, 경계 상태 및 졸음 상태의 대상으로부터 수집된 데이터에 근거하여, 졸음 상태의 스케일과 비교되는 졸음상태 측정값을 얻도록, 가중되고 더해지는 것을 특징으로 하는, 경계 상태 모니터 시스템.
  9. 제 5 항에 있어서,
    상기 경고가 차량이나 기계의 동작 상태에 대해 변화를 주는 상기 차량이나 기계의 조작자에게 맞춰지는 것을 특징으로 하는, 경계 상태 모니터 시스템.
  10. 삭제
  11. 삭제
KR20077020073A 2005-03-04 2006-03-06 경계 상태 측정 방법 KR101189008B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2005901026 2005-03-04
AU2005901026A AU2005901026A0 (en) 2005-03-04 Measuring Alertness
PCT/AU2006/000277 WO2006092022A1 (en) 2005-03-04 2006-03-06 Measuring alertness

Publications (2)

Publication Number Publication Date
KR20070114731A KR20070114731A (ko) 2007-12-04
KR101189008B1 true KR101189008B1 (ko) 2012-10-15

Family

ID=36940790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20077020073A KR101189008B1 (ko) 2005-03-04 2006-03-06 경계 상태 측정 방법

Country Status (14)

Country Link
US (1) US7791491B2 (ko)
EP (1) EP1853155B1 (ko)
JP (1) JP2008531142A (ko)
KR (1) KR101189008B1 (ko)
CN (1) CN101132729A (ko)
AT (1) ATE526866T1 (ko)
BR (1) BRPI0609394A2 (ko)
CA (1) CA2599984C (ko)
IL (1) IL185179A (ko)
MX (1) MX2007010513A (ko)
NZ (1) NZ560528A (ko)
RU (1) RU2423070C2 (ko)
WO (1) WO2006092022A1 (ko)
ZA (1) ZA200707092B (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
CN102068237A (zh) 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
JP2009528600A (ja) * 2006-03-01 2009-08-06 オプタラート・プロプライアタリー・リミテッド 無能力モニタ
DE102008007150B4 (de) 2007-03-30 2019-05-02 Volkswagen Ag Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers
DE102008007152B4 (de) 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
DE102008007149B4 (de) * 2007-03-30 2019-05-02 Volkswagen Ag Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
WO2008144908A1 (en) 2007-05-29 2008-12-04 Christopher Mott Methods and systems for circadian physiology predictions
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
US8781796B2 (en) 2007-10-25 2014-07-15 Trustees Of The Univ. Of Pennsylvania Systems and methods for individualized alertness predictions
JP5301815B2 (ja) * 2007-11-20 2013-09-25 浜松ホトニクス株式会社 瞬目計測装置
JP5055166B2 (ja) * 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
US8647253B2 (en) * 2008-03-11 2014-02-11 Toyota Jidosha Kabushiki Kaisha Sleep control device and control method therefor
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
DE102008056343B4 (de) * 2008-11-07 2024-07-25 Bayerische Motoren Werke Aktiengesellschaft Warnsystem für ein Kraftfahrzeug
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8794976B2 (en) 2009-05-07 2014-08-05 Trustees Of The Univ. Of Pennsylvania Systems and methods for evaluating neurobehavioural performance from reaction time tests
US8521439B2 (en) 2009-05-08 2013-08-27 Pulsar Informatics, Inc. Method of using a calibration system to generate a latency value
JP5399777B2 (ja) * 2009-05-27 2014-01-29 浜松ホトニクス株式会社 瞬目計測装置及び瞬目計測方法
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
KR101045776B1 (ko) * 2010-05-12 2011-07-04 김기문 카메라가 구비된 진동시트
WO2012061871A1 (en) * 2010-11-08 2012-05-18 Optalert Australia Pty Ltd Fitness for work test
CN102109903A (zh) * 2010-12-28 2011-06-29 中兴通讯股份有限公司 保护视力的方法及装置
SE535765C2 (sv) * 2011-04-20 2012-12-11 Scania Cv Ab Fordon med ett säkerhetssystem med prediktion av förartrötthet
JP5666383B2 (ja) * 2011-05-26 2015-02-12 パナソニック株式会社 眠気推定装置及び眠気推定方法
DE102011078641A1 (de) 2011-07-05 2013-01-10 Robert Bosch Gmbh Radarsystem für Kraftfahrzeuge sowie Kraftfahrzeug mit einem Radarsystem
JP2012139562A (ja) * 2012-04-26 2012-07-26 Hamamatsu Photonics Kk 瞬目計測装置
CN102961141B (zh) * 2012-08-15 2015-09-30 中国人民解放军第三军医大学 基于红外发射接收技术的眨眼活动多通道记录系统
EP2885150B1 (en) * 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US9524269B1 (en) 2012-12-19 2016-12-20 Allstate Insurance Company Driving event data analysis
US20150213634A1 (en) * 2013-01-28 2015-07-30 Amit V. KARMARKAR Method and system of modifying text content presentation settings as determined by user states based on user eye metric data
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2014179558A1 (en) 2013-05-01 2014-11-06 Musc Foundation For Research Development Monitoring neurological functional status
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
DE102013220815A1 (de) 2013-10-15 2015-04-16 Robert Bosch Gmbh Semi-transparente Solarzelle und Verfahren zur Herstellung einer solchen semi-transparenten Solarzelle
US20150182291A1 (en) 2013-12-30 2015-07-02 L'oreal Devices and methods for protecting the eye from adjacent skin treatments
RU2014101664A (ru) * 2014-01-21 2015-07-27 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы для определения степени утомления оператора
JP2015207163A (ja) * 2014-04-21 2015-11-19 株式会社デンソー 状態推定装置、および状態推定プログラム
US10620700B2 (en) 2014-05-09 2020-04-14 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2015192171A1 (en) * 2014-06-20 2015-12-23 Sdip Holdings Pty Ltd Monitoring drowsiness
JP6656166B2 (ja) * 2014-12-09 2020-03-04 株式会社ジンズホールディングス プログラム、情報処理装置、及びアイウエア
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
DE102015204247A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs
RU2590857C1 (ru) * 2015-04-03 2016-07-10 Анатолий Павлович Ефимочкин Устройство для оценки и развития способности различения объектов на маскирующем фоне
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
WO2017086991A1 (en) * 2015-11-20 2017-05-26 Ford Global Technologies, Llc Enhanced message delivery
DE102015225109A1 (de) 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
CN106073805B (zh) * 2016-05-30 2018-10-19 南京大学 一种基于眼动数据的疲劳检测方法和装置
US20180125406A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using relationship of pupil dynamics between eyes
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
US20180125405A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using feature of eye movement
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
WO2018097204A1 (ja) 2016-11-22 2018-05-31 国立研究開発法人宇宙航空研究開発機構 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体
DE102017216328B3 (de) 2017-09-14 2018-12-13 Audi Ag Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
KR102032487B1 (ko) * 2018-05-29 2019-10-15 상명대학교산학협력단 시각 피로 측정 장치 및 방법
US20210378568A1 (en) * 2018-10-23 2021-12-09 Sdip Holdings Pty Ltd Devices and processing systems configured to enable physiological event prediction based on blepharometric data analysis
RU2700253C1 (ru) * 2018-12-29 2019-09-13 Федеральное государственное бюджетное образовательное учреждение высшего образования "Волгоградский государственный технический университет" (ВолгГТУ) Способ предупреждения засыпания водителя транспортного средства
RU2741932C1 (ru) * 2019-11-14 2021-01-29 Федеральное государственное бюджетное учреждение "4 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Устройство контроля уровня бодрствования водителя многоосного шасси
CN115996666A (zh) 2020-09-11 2023-04-21 哈曼贝克自动系统股份有限公司 用于确定认知需求的系统和方法
US20220117517A1 (en) 2020-10-19 2022-04-21 Harman Becker Automotive Systems Gmbh System and method for determining heart beat features
US20240260872A1 (en) 2021-05-28 2024-08-08 Harman International Industries, Incorporated System and method for quantifying a mental state
EP4364662A1 (en) * 2022-11-04 2024-05-08 Koninklijke Philips N.V. Cognitive assessment of a subject

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233061A1 (en) * 2001-11-08 2004-11-25 Murray Johns Alertness monitor

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4359724A (en) * 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
US4838681A (en) * 1986-01-28 1989-06-13 George Pavlidis Method and means for detecting dyslexia
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
JPH06107032A (ja) * 1992-09-30 1994-04-19 Mazda Motor Corp 車両用制御装置
JPH06266981A (ja) 1993-03-15 1994-09-22 Aisin Seiki Co Ltd 居眠り運転警報装置
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6163281A (en) * 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
WO1999055220A1 (en) * 1998-04-29 1999-11-04 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
JPH11339200A (ja) * 1998-05-28 1999-12-10 Toyota Motor Corp 居眠り運転検出装置
FR2784887B1 (fr) 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
JP3746916B2 (ja) 1999-06-24 2006-02-22 三菱自動車工業株式会社 瞬目状態検出方法
US6346887B1 (en) * 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
GB0023172D0 (en) * 2000-09-20 2000-11-01 Minter Kemp Martin J Wakeup vizor
JP4687266B2 (ja) * 2004-10-20 2011-05-25 富士ゼロックス株式会社 注意喚起装置および方法ならびに情報処理システム
JP2006130010A (ja) * 2004-11-04 2006-05-25 Denso Corp 視覚認識支援装置
US7344251B2 (en) * 2005-02-23 2008-03-18 Eyetracking, Inc. Mental alertness level determination
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233061A1 (en) * 2001-11-08 2004-11-25 Murray Johns Alertness monitor

Also Published As

Publication number Publication date
ZA200707092B (en) 2008-10-29
EP1853155A4 (en) 2010-04-21
JP2008531142A (ja) 2008-08-14
US20080150734A1 (en) 2008-06-26
US7791491B2 (en) 2010-09-07
EP1853155A1 (en) 2007-11-14
IL185179A0 (en) 2007-12-03
MX2007010513A (es) 2008-01-16
CA2599984A1 (en) 2006-09-08
RU2007136788A (ru) 2009-04-10
RU2423070C2 (ru) 2011-07-10
BRPI0609394A2 (pt) 2010-03-30
IL185179A (en) 2010-11-30
WO2006092022A1 (en) 2006-09-08
KR20070114731A (ko) 2007-12-04
EP1853155B1 (en) 2011-10-05
ATE526866T1 (de) 2011-10-15
CN101132729A (zh) 2008-02-27
NZ560528A (en) 2010-02-26
CA2599984C (en) 2015-09-29

Similar Documents

Publication Publication Date Title
KR101189008B1 (ko) 경계 상태 측정 방법
KR100905167B1 (ko) 경고 모니터
KR101259663B1 (ko) 무력상태 모니터
JPH11316884A (ja) 覚醒状態を求める装置
AU2002336816A1 (en) Alertness monitor
CA2667035A1 (en) Method and device for the detection of microsleep events
JP2009528600A5 (ko)
AU2006220243B2 (en) Measuring alertness

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160812

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170817

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 8