KR100296534B1 - 각성도추정장치 - Google Patents

각성도추정장치 Download PDF

Info

Publication number
KR100296534B1
KR100296534B1 KR1019970013123A KR19970013123A KR100296534B1 KR 100296534 B1 KR100296534 B1 KR 100296534B1 KR 1019970013123 A KR1019970013123 A KR 1019970013123A KR 19970013123 A KR19970013123 A KR 19970013123A KR 100296534 B1 KR100296534 B1 KR 100296534B1
Authority
KR
South Korea
Prior art keywords
time
blinking
eye
driver
blink
Prior art date
Application number
KR1019970013123A
Other languages
English (en)
Other versions
KR970069637A (ko
Inventor
토루 하라
요시히로 고이
사에 고바야시
Original Assignee
나까무라히로까즈
미쯔비시 지도샤 고교 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나까무라히로까즈, 미쯔비시 지도샤 고교 가부시끼가이샤 filed Critical 나까무라히로까즈
Publication of KR970069637A publication Critical patent/KR970069637A/ko
Application granted granted Critical
Publication of KR100296534B1 publication Critical patent/KR100296534B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

본 발명은 소정 시간마다 운전자의 눈 영역을 포함하는 얼굴 영역을 촬영하고, 상기 촬영된 얼굴 영역의 화상 데이터에 의거하여 운전자의 눈 깐박거림 시간(τ)을-검출하고, 이 눈 깜박거림 시간(τ)이 역치(임계치) 이상으로 되는 횟수(Cs)를 구하여, 제 2 소정 기간에 있어서의 전체 눈 깜박거림 횟수(Cb)에 대한 이눈 깜박거림 시간(τ)이 역치 이상으로 되는 횟수(Cs)의 비율(LBR)을 구해 각성도를 추정하는 각성도 추정 장치에 관한 것으로, 운전 개시로부터 제 1 소정 기간 사이에 검출되는 상기 눈 깜박거림 시간(τ)의 빈도 분포(α)에 의거하여 눈 깜박거림 시간의 긴 눈 깜박거림을 판정하기 위한 상기 역치(Ts)를 설정하도록 하였기 때문에 눈 깜박거림의 개인차에 영향을 받지 않고 운전자의 각성도를 추정할 수 있다.

Description

각성도 추정 장치
본 발명은 운전자의 눈 깜박거림 시간에 의거하여, 이 운전자의 각성도를 판정하는 각성도 추정 장치에 관한 것이다.
최근 들어, 다수의 정보에 의거하여 운전자의 각성도를 추정하고, 각성도의 저하가 판정된 때에 경보를 발생시키는 것 등 안전 운전에 대한 주의력의 향상을 만족시키는 시스템이 다수 개발되었다. 각성도를 추정하는 방법의 하나로서 운전자의 눈 깜박거림에 착안한 것이 있으며, 예를 들어 일본 특개소61-175129 호 공보에서는 단위 시간당의 눈 깜박거림 횟수를 세어 각성도의 저하를 판정하는 방법이 명시되어 있다. 또, 특개평6-270711 호 공보에는 동공 영역의 형상 변화로부터 눈 깜박거림 시간과 눈 깜박거림 빈도를 구해 각성도를 추정하는 방법이 명시되어 있고, 또한 특개평7-156682 호 공보에는 단위 시간당 눈 깜박거릴 때의 눈이 닫히는(폐안시) 시간의 합산치에 의거하여 각성도를 추정하는 방법이 개시되어 있다.
그런데, 눈 깜박거림 시간이나 눈 깜박거림 빈도는 개인차가 있다. 거기에다 동일인이라도 눈 깜박거림 시간이나 눈 깜박거림 빈도가 그 개인의 각성도 변화와는 무관하게 항상 변화하는 경우가 많다. 이 때문에, 단위 시간당의 눈 깜박거림 횟수로 표시하는 눈 깜박거림 빈도나, 폐안 개시로부터 그 종료까지의 시간으로서 나타내는 눈 깜박거림 시간을, 예를 들어 미리 설정된 비교 기준과 비교하여도 그 비교 결과에서 개인의 각성도를 정확하게 판정하는 것은 곤란하다. 다시 말하면, 눈 깜박거림 시간의 빈도 자체의 개인차가 크며, 또 항상 변동하고 있기 때문에 이것을 하나로 설정되는 비교 기준과 비교하여도 양호한 정밀도로 추정할 수 없다는 불리한 점이 있다.
본 발명은 이와 같은 사정을 고려하여 이루어진 것으로서, 그 목적은 눈 깜박거림 개인차를 흡수한 후에, 운전자의 눈 깜박거림 시간에 의거하여 양호한 정밀도로 각성도를 추정할 수 있는 각성도 추정 장치를 제공하는 것이다.
도 1은 본 발명의 한 실시예에 따른 차량에 탑재되는 각성도 추정 장치의 구성을 개념적으로 도시한 도면.
도 2는 도 1에 도시한 실시예 장치의 기능적인 블록 구성을 도시한 도면.
도 3은 고각성시 및 각성도가 저하되었을 때, 눈 깜박거림 시간의 빈도 분포(
Figure kpo00001
,
Figure kpo00002
)를 도시한 도면.
도 4도는 고성각시의 눈 깜박거림 시간의 빈도 분포와, 이 빈도 분포에 의거하여 설정되는 판정 역치(Ts) 관계를 도시한 도면.
도 5는 도 4에 도시한 분포에 대한 슬라이스율(X %)과 슬라이드비(Y %)를 변화시켰을 때의 판정 역치(Ts)에 의거하여 판정되는 긴 눈 깜박거림 비율과, 얼굴의 표정에서 추정되는 각성도 저하와의 상관을 도시한 도면.
도 6은 실시예 장치에 있어서 특징적인 각성도 추정 처리를 실행하는 일련의 처리 순서를 도시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
1 : 차량
2 : TV 카메라
3 : 디스플레이
4 : 스피커
10 : 깜박거림 시간 검출 수단
20 : 눈 깜박거림 역치 설정 수단
21 : 눈 깜박거림 메모리
22 : 역치 계산부
30 : 긴 눈 깜박거림 비율 산출 수단
31 : 눈 깜박거림 횟수 카운터(Cb)
32 : 긴 눈 깜박거림 판정부
33 : 긴 눈 깜박거림 횟수 카운터(Cs)
34 : 긴 눈 깜박거림 비율 계산부
40 : 긴 눈 깜박거림 비율 표시부
50 : 각성도 판정 수단
51 : 경보 판정부
52 : 경보부
60 : 눈 깜박거림 타이머
70 : 눈 깜박거림 비율 산출용 타이머
80 : 전체 제어부
상기 목적을 달성하기 위해 본 발명은, 차량 운전자의 각성도를 추정하는 각성도 추정 장치에 있어서, 소정 시간 마다 운전자의 눈 영역을 포함하는 얼굴 영역을 촬영하는 TV 카메라인 촬영 수단(2)과, 상기 촬영 수단(2)에 의해 촬영된 얼굴 영역의 화상데이터에 의거하여 운전자의 눈 깜박거림 시간(τ)을 검출하는 눈 깜박거림 시간 검출 수단(10)과, 운전 개시로부터 제 1 소정 기간 사이에 검출되는 상기 눈 깜박거림 시간(τ)의 빈도 분포(α)에 의거하여 눈 깜박거림 시간의 긴 눈 깜박거림을 판정하기 위한 역치(Ts)를 설정하는 역치 설정 수단(20)과, 상기 역치 설정 수단(20)에 의해 설정된 역치(Ts)에 의거하여 상기 눈 깜박거림 시간 검출 수단(10)에 의해 검출되는 눈 깜박거림 시간을 판정하고, 제 2 소정 기간에 있어서 눈 깜박거림 횟수(Cb)에 대한 상기 눈 깜박거림 시간의 긴 눈 깜박거림 횟수(Cs)의 비율(LBR)을 산출하는 비율 산출 수단(30)과, 상기 비율 산출 수단(30)에 의해 구해진 상기 비율(LBR)로부터 운전자의 각성도를 판정하는 각성도 판정 수단(50)으로 각성도 추정 장치를 구성한 것이다.
이와 같이 구성되는 것에 의해, 운전자 각각의 특성에 따라서 긴 눈 깜박거림을 판정하는 역치를 설정할 수 있기 때문에, 눈 깜박거림의 개인차에 영향을 받지 않고도 운전자의 각성도를 고정밀도로 추정할 수 있으며, 거기에다 비교적 간단한 처리에 의해 각성도의 저하를 높은 신뢰성으로 평가할 수 있다.
여기에서, 상기 역치 설정 수단(20)은 운전 개시로부터 제 1 소정 기간 사이에 검출된 상기 눈 깜박거림 시간의 빈도 분포(α)로부터 운전자의 표준적인 눈 깜박거림 시간의 분포 영역의 시간폭(A)과 이 시간폭(A)에 있어서의 중심 시간(Tc)을 구하며, 상기 시간폭(A)에 따라서 설정되는 일정 시간과 상기 중심 시간(Tc)을 가산한 값을 상기 역치(Ts)로서 설정하는 것에 의해 실현된다. 또한 상기 시간폭(A)은 상기 빈도 분포(α)의 분포 영역에서 최빈값(Mode)에 제 1 소정 비율(X)를 곱한 값을 취하는 범위로서 정의되며, 상기 일정 시간은 상기 시간폭(A)에 제 2 소정 비율(Y)를 곱한 값으로서 정의되는 것에 의해 실현 가능하다.
또한, 상기 각성도 판정 수단(50)은, 상기 비율(LBR)이 미리 정해진 판정치(K) 이상으로 된 경우에 출력 신호를 출력하는 각성도 판정부(51)와, 상기 출력 신호를 받았을 때 운전자에게 경보를 발생시키는 경보부인 경보 수단(52)을 포함하도록 구성해도 좋다. 이것에 의해 각성도가 저하된 경우에 운전자에게 통지하여 안전성을 높일수 있다.
또한, 비율 산출 수단(30)에 의해 산출된 상기 눈 깜박거림 비율(LBR)을 표시하는 디스플레이인 표시 수단(3)을 설치하여도 좋다. 이것에 의해 운전자에게 현재의 각성도가 어느 정도에 있는지를 눈으로 볼 수 있게 할 수 있다.
또한, 상기 눈 깜박거림 시간 검출 수단(10)은, 상기 TV카메라인 촬영 수단(2)에 의해 촬영된 얼굴 영역의 화상 데이터를 순서대로 기억하는 복수의 기억 영역과, 상기 복수의 기억 영역에 기억된 화상 데이터로부터 눈 영역을 추출하고, 이 추출된 눈 영역 데이터로부터 닫힌 눈(폐안: 閉眼)의 개시와 닫힌 눈의 종료를 특정하고, 폐안 개시에서 폐안 종료의 시간을 눈 깜박거림 시간으로서 검출하는 눈 깜박거림 시간 검출 수단을 구비하는 구성에 의해 달성가능 하다.
이하, 도면을 참조하여 본 발명에 따른 각성도 추정 장치의 일 실시예에 관하여 설명한다.
도 1은 차량(1)에 탑재되는 실시예 장치의 구성을 개념적으로 나타내는 것으로서, 도면에서 부호 2는 운전자(D)의 얼굴, 특히 눈 영역을 촬영하는 TV 카메라이다. 또한 부호 3은 여러 가지 정보를 화상으로서 표시하여 운전자(D)에 제시하는 디스플레이(다중 정보 표시 장치), 부호 4는 음성 메시지나 경보음 등을 출력하는 스피커이다. 이것들의 TV 카메라(2), 디스플레이(3), 스피커(4)는 예를 들면 운전석 전방의 계기판에 조립되어 있다.
본 실시예에 따른 각성도 추정 장치는, TV 카메라(2)에 의해 촬영되는 운전자의 얼굴 화상으로부터 상기 운전자의 눈 깜박거림을 검출하여 운전자의 각성도를 추정하고, 각성도의 저하시에, 예를 들어 디스플레이(3)를 통해 메시지를 표시하고, 또한 스피커(4)로부터 경보를 발생시켜 운전 주의력의 환기를 촉구하는 것으로서, 개략적으로는 눈 깜박거림 시간 검출 수단(10), 눈 깜박거림 역치 설정 수단(20), 긴 눈 깜박거림 비율 산출 수단(30), 긴 눈 깜박거림 비율 표시부(40), 각성도 판정 수단(50), 또한 눈 깜박거림 역시 타이머(60)와 눈 깜박거림 비율 산출용 타이머(70)에 의거하여 장치 전체의 작동을 제어하는 전체 제어부(80)를 구비하여 구성된다. 이들의 각부는, 예를 들어 마이크로 프로세서를 주체로 하는 전자제어유닛(ECU)에 의해 실현된다.
즉, 본 실시예의 장치는 도 2에 그 기능적인 블록 구성을 나타내었듯이 TV 카메라(2)로부터 촬영 입력되는 운전자의 얼굴 화상을 눈 깜박거림 시간 검출 수단(10)에서 인식 처리하는 것으로, 예를 들어, 눈꺼풀의 경시적 변화(열리고 닫힘)로부터 그 눈 깜박거림을 검출하는 것으로서, 눈 깜박거림이 검출될 때마다 그 폐안 개시로부터 종료까지의 폐안 시간으로 나타나는 눈 깜박거림 시간을 검출한다.
눈 깜박거림 역시 설정 수단(20)은, 상기 화상 처리에 의해 검출되는 눈 깜박거림 경보에 따라서 운전자(D)의 표준적인 눈 깜박거림 시간보다도 시간이 긴 눈 깜박거림을 검출하기 위한 판정 역치를 설정하는 것으로서, 운전 개시 초기에 소정 기간에 있어서 검출되는 상기 눈 깜박거림 시간을 순서대로 기억하는 눈 깜박거림 시간 메모리(21)와, 이 눈 깜박거림 시간 메모리(21)에 기억된 눈 깜박거림 시간에 따라서 그 빈도 분포를 구하며, 이 빈도 분포에 의거하여 판정 역치를 설정하는 역치 계산부(22)를 구비하고 있다. 이 역치 계산부(22)에서의 판정 역치 설정에 관해서는 후술한다.
긴 눈 깜박거림 비율 산출 수단(30)은 상기 역치 설정 수단(20)에서 설정된 판정 역치에 의거하며, 상기 눈 깜박거림 시간 검출 수단(10)에서 검출되는 모든 횟수에 대해서, 상기 표준적인 눈 깜박거림 시간보다도 시간이 긴 눈 깜박거림 횟수의 비율을 구하는 것이다. 즉, 긴 눈 깜박거림 비율 산출 수단(30)은 소정 기간에서의 전체 눈 깜박거림 횟수(Cb)를 세는 눈 깜박거림 횟수 카운터(31)와, 상기 눈 깜박거림 시간과 상기 판정 역치를 비교하는 것으로서 이 역치를 상회하는 눈 깜박거림 시간이 긴 것을 검출하는 긴 눈 깜박거림 판정부(32)와, 이 긴 눈 깜박거림 판정부(32)의 판정 출력에 따라서 시간이 긴 눈 깜박거림 횟수(Cs)를 세는 긴 눈 깜박거림 횟수 카운터(33), 그리고 이들 카운터(31, 33)에서 각각 센 눈 깜박거림 횟수에서 소정 기간에 있어서의 전체 눈 깜박거림 횟수(Cb)에 대한 시간이 긴 눈 깜박거림 (Cs)의 비율
Figure kpo00003
을 산출하는 긴 눈 깜박거림 비율 계산부(34)에 의해 구성된다.
상기와 같이 하여 긴 눈 깜박거림 비율 산출 수단(30: 긴 눈 깜박거림 비율 계산부(34))에서 산출되는 상기 비율(LBR) 정보는 긴 눈 깜박거림 비율 표시부(40)에 부여되며, 예를 들면 막대 그래프 등으로 디스플레이(3)에 표시된다. 또한 각성도 판정 수단(50)은 상기 긴 눈 깜박거림 비율 산출 수단(30: 긴 눈 깜박거림 비율 계산부(34))에서 산출되는 상기 비율(LBR)에 의거하여 각성도를 추정하여 각성도의 저하를 판정하는 경보 판정부(51)와, 이 경보 판정부(51)에서 각성도의 저하가 검출되었을 때, 스피커(4)를 통해 경보음을 발생하거나 운전 주의력의 환기를 촉구하는 음성 메시지를 출력하는 경보부(52)를 구비하고 있다.
그런데 상기 눈 깜박거림 역치 설정 수단(20)은 다음과 같이 하여 운전자(D)의 표준적인 눈 깜박거림 시간보다도 시간이 긴 눈 깜박거림을 검출하기 위한 판정 역치를 설정한다.
이 판정 역치를 설정한 이후의 본 발명에서의 기본적인 기술 사상에 관하여 설명하자면, 사람의 눈 깜박거림 시간에는 개인차가 있지만, 일반적으로는 각성도가 저하함에 따라서 눈 깜박거림 시간이 길게 되는 경향이 있는 것에 착안하였다. 구체적으로는, 도 3에 고각성시 및 각성도 저하시에 있어서의 눈 깜박거림 시간의 빈도 분포(α, β)를 나타내었듯이 인간의 눈 깜박거림 시간은 고각성시에 있어서는 시간이 짧은 눈 깜박거림 시간에 빈도가 집중되는 분포(
Figure kpo00004
)로 나타나지만, 각성도가 저하함에 따라서 눈 깜박거림 시간이 점차 연장되며, 시간이 긴 눈 깜박거림에 빈도가 집중되는 분포(
Figure kpo00005
)로 변화되어 가는 경향이 있다. 즉, 각성도의 저하에 따라서 빈도가 높은 눈 깜박거림 시간(빈도 분포의 중심)이 도 3의
Figure kpo00006
에서 도 3의
Figure kpo00007
로 점차 변화되어 길게 된다. 이 경우 일반적으로는 빈도 분포의 형상 자체도 변화된다.
그러나 상기 눈 깜박거림 빈도 분포(α, β)의 형상이나 그 분포 천이 과정은 일반적으로 개인차가 크다. 따라서, 예를 들어 도 3의 τ로 나타내듯이 혹은 긴 시간을 판정 역치로서 기본적으로 정해 두고, 그 시간 이상의 눈 깜박거림이 검출되었을 때 이것을 각성도 저하에 기인하는 시간이 긴 눈 깜박거림이라고 판정하는데는 문제가 있다. 다시 말하면, 고각성시에서의 눈 깜박거림 시간의 빈도 분포(α)에 의거하여, 각 개인의 눈 깜박거림 시간에 대한 판정 역치를 설정하여야 한다.
그런데, 차량(1) 운전자(D)의 각성도는 통상적으로, 운전 개시시에는 충분히 높다고 생각할 수 있다. 즉, 운전 개시시에는 『운전을 개시한다(개시했다)』고 말하는 의식이 강하게 작용하기 때문에 운전자(D)의 각성도는 충분히 높고, 운전 상태가 길어지면서 운전 조작의 단조로움이나 나태, 또는 피로 등에 기인하여 각성도의 저하가 발생한다고 생각할 수 있다. 따라서 운전 개시시에서의 운전자(D)의 눈 깜박거림 경향을 조사하면 개인차가 흡수된, 즉 운전자(D) 고유의 표준적인 눈 깜박거림 정보 즉, 고각성시에서의 눈 깜박거림 시간의 빈도 분포(α)를 얻을 수 있다.
덧붙여서 어떤 개인의 고각성시에서의 눈 깜박거림 시간의 빈도 분포(α)는 도 4에 도시한 바와 같이 구할 수 있으며, 그 피크를 포함하는 주요 빈도 분포 영역, 즉 표준적인 눈 깜박거림의 시간 범위는 시간이 짧은 영역에 위치한다. 따라서, 상기 빈도 분포로부터 구해지는 표준적인 눈 깜박거림 시간의 범위에 의거하여 그 개인의 각성도에 저하에 따른 시간이 긴 눈 깜박거림을 판정하기 위한 역치를 설정하면, 개인차의 영향을 받는 일 없이 그 개인에게 특유한 시간이 긴 눈 깜박거림을 검출하는 것이 가능하게 된다.
그래서, 상기 눈 깜박거림 역치 설정 수단(20)에서는 도 4에 도시한 바와 같이 구해지는 고성각시에 있어서의 눈 깜박거림 시간의 빈도 분포로부터, 그 최빈값(Mode)에 대하여 X %로 되는 위치에서 상기 빈도 분포를 슬라이스한 때의 시간 범위를 그 개인에 고유한 표준적인 눈 깜박거림 시간의 범위 즉, 표준적인 눈 깜박거림 시간의 분포 영역의 시간폭(A)으로서 구하고 있다. 또한 상기 시간폭(A)의 중심 값을 표준적인 눈 깜박거림 시간(Tc: 중심시간)으로서 구하며, 이 눈 깜박거림 시간(Tc)보다도 일정시간 이상 긴 눈 깜박거림을 그 개인 고유의 시간의 긴 눈 깜박거림으로서 판정하는 것으로 하고 있다. 이 예에서는 눈 깜박거림 시간(Tc)보다도 길게 설정하기 위해 상기 일정 시간을 상기 시간폭(A)의 Y %의 시간으로 하고, 표준적인 눈 깜박거림 시간과 비교하여 시간이 긴 눈 깜박거림을 판정하는 판정 역치(Ts)를,
Figure kpo00008
·
Figure kpo00009
으로 구하도록 하고 있다.
도 5는 상기 슬라이스율(X %)과 시간의 슬라이드비(Y %)를 변화시키면서 판정 역치(Ts)를 설정했을 때의 표준적인 눈 깜박거림 시간보다도 길다고 판정되는 눈 깜박거림의 비율과, 얼굴 표정에서 추정되는 각성도의 저하와의 상관에 관하여 시뮬레이션(simulation)하고, 상기 슬라이스율(X %)와 슬라이드비(Y %)를 파라미터로서 도시한 것이다. 이 시뮬레이션 결과에서 슬라이스율을 40 X %, 슬라이드비를 70 %로 하였을 때, 그 상관이 가장 크게 되는 것으로 밝혀졌다. 또한 이 시뮬레이션의 결과는 복수 샘플(운전자)의 평균값으로서 나타내었지만, 각 샘플을 개별적으로 보아도 상기 슬라이스율과 슬라이드비의 위치 부근의 상관이 가장 높게 되며, 각성도의 저하에 따라서 길게 되는 눈 깜박거림을, 그 눈 깜박거림 시간으로부터 판정하기에 적합한 역치를 설정할 수 있는 것이 확인되었다. 즉, 눈 깜박거림 시간의 개인차를 흡수하여 그 개인의 표준적인 눈 깜박거림 시간보다도 긴 눈 깜박거림을 효과적으로 판정할 수 있는 것이 확인되었다.
본 발명은 이와 같은 고찰 하에서, 상술한 바와 같이 구성되는 장치에 있어서의 운전자(D)의 표준적인 눈 깜박거림 시간보다도 긴 눈 깜박거림을 검출하여 이 운전자(D)의 각성도를 추정하는 것으로, 예를 들어 도 6에 도시하는 처리 순서에 따라서 그 특징적인 각성도 추정 처리를 실행한다.
도 6에 나타내는 처리 순서에 따라서 본 장치의 작용에 관하여 설명하면, 우선 전체 제어부(80)는 운전 개시시의 소정 기간에 있어서의 고각성 상태에서의 운전자(D)의 눈 깜박거림 시간의 빈도 분포를 구하며, 눈 깜박거림 역치 타이머(60)를 기동하여 역치 설정용 타이머를 작동시킨다(스텝: S1). 이 상태에서 상기 눈 깜박거림 역시 타이머(60)에 의해 계측되는 시간이 10분을 넘을 때까지(스텝: S2), 상기 눈 깜박거림 시간 검출 수단(10)에서 눈 깜박거림이 검출될 때마다, 그 눈 깜박거림 시간(τ)을 추출하고(스텝: S3), 이것을 눈 깜박거림 시간 메모리(21)에 순서대로 보존한다(스텝: S4).
또한, 여기에서는 운전 개시시의 10 분에 걸쳐 운전자(D)의 눈 깜박거림 시간(τ)을 수집하는 것으로 설명하였지만, 예를 들어 눈 깜박거림이 100 회 검출될 때까지, 그 눈 깜박거림 시간(τ)을 수집하도록 해도 좋다. 즉, 운전 개시시에 있어서의 소정 기간을 미리 규정한 시간으로 해도 좋고, 도는 소정 횟수의 눈 깜박거림 시간(τ)이 수집될 때까지의 기간으로 설정하여도 좋다.
그래서, 눈 깜박거림 시간 메모리(21)에 운전 개시시에서의 눈 깜박거림 시간(τ)의 정보가 수집되면 역치 계산부(22)가 기동된다. 그리고 상기 눈 깜박거림 시간 메모리(21)에 보존된 정보로부터 도 4에 도시한 운전 개시시의 운전자(D)가 고각성 상태로 있을 때 눈 깜박거림 시간의 빈도 분포가 구해지며, 이 눈 깜박거림 시간의 빈도 분포에 기초하여 긴 눈 깜박거림 판정 역치(Ts)의 설정이 수행된다(스텝: S5). 이 판정 역치(Ts)는 상술한 바와 같이, 눈 깜박거림 시간의 빈도 분포로 부터 운전자(D)의 표준적인 눈 깜박거림 시간폭(A)과 그 중심 시간(Tc)을 산출하고, 도 5에 의해서 미리 설정된 슬라이스율(X)과 슬라이드비(Y)를 사용하여 설정된다.
이상과 같이 하여 눈 깜박거림 판정 역치(Ts)가 설정되면, 이어서 긴 눈 깜박거림 비율 산출 수단(30)이 기동된다. 이 긴 눈 깜박거림 비율 산출 수단(30)에서는 우선 눈 깜박거림 비율 산출용 타이머(70)나 상기 카운터(31, 33)를 초기화한 후(스텝: S6), 상기 눈 깜박거림 시간 검출 수단(10)에서의 운전자(D)의 눈 깜박거림이 검출될 때 마다, 이 눈 깜박거림 시간(τ)을 추출한다(스텝: S7). 그리고 먼저 눈 깜박거림 횟수 카운터(31)를 증가시키고(스텝: S8), 상기 눈 깜박거림 시간(τ)을 상기 판정 역치(Ts)와 비교한다(스텝: S9). 이 비교 판정에 있어서 그 눈 깜박거림 시간(τ)이 사익 판정 역치(Ts)를 넘는 경우에는, 이것을 표준적인 눈 깜박거림 시간 보다도 긴 눈 깜박거림으로서 긴 눈 깜박거림 횟수 카운터(33)를 증가시킨다(스텝: S10).
이와 같은 눈 깜박거림 시간(τ)의 판정 처리를 상기 눈 깜박거림 비율 산출용 타이머(70)에서 미리 설정된 소정 시간, 예를 들어 1 분간이 계측될 때까지, 반복적으로 실행한다(스텝: S11). 즉 눈 깜박거림 비율 산출용 타이머(70)에서 설정된 소정 시간에 걸쳐서 운전자(D)의 눈 깜박거림 횟수(Cb)를 눈 깜박거림 횟수 카운터(31)에서 세며, 또한 판정 역치(Ts)를 넘는 시간이 긴 눈 깜박거림을 검출하며, 그 긴 눈 깜박거림 횟수(Cs)를 긴 눈 깜박거림 횟수 카운터(33)에서 센다. 또한, 이 경우에 있어서도, 예를 들어 눈 깜박거림 횟수(Cb)가 100 회로 될 때까지의 기간에 있어서 긴 눈 깜박거림 횟수(Cs)를 구하도록 하여도 좋다.
이와 같이 하여 눈 깜박거림 횟수 카운터(31)에 소정 시간에 걸쳐서 눈 깜박거림 횟수(Cb: 전체 눈 깜박거림 횟수)가 구해지며, 또한 긴 눈 깜박거림 횟수 카운터(33)에 상기 소정 시간에 있어서의 긴 눈 깜박거림 횟수(Cs)가 구해지며 긴 눈 깜박거림 비율 계산부(34)가 기동되며, 전체 눈 깜박거림 횟수(Cb)에 대한 긴 눈 깜박거림 횟수(Cs)의 비율(LBR)이 계산된다(스텝: S12). 그리고 이 계산된 비율(LBR) 정보를 긴 눈 깜박거림 비율 표시부(40) 아래에 막대 그래프로 표시한 후(스텝: S13), 상기 경보 판정부(51)에서 상기 비율(LBR)을 소정의 판정 레벨(K)과 비교하고 (스텝: S14), 예를 들어 비율(LBR)이 판정 레벨(K)을 상회하는 경우에는 표준적인 눈 깜박거림 시간보다도 긴 눈 깜박거림 빈도가 높고, 운전자(D)의 각성도가 저하되어 있다고 판정하여 상기 경보부(52)에서 경보를 발한다(스텝: S15). 이 경보출력에 관해서는 상기 스피커(4)로부터 경보음이나 음성 메시지를 출력하는 것만이 아닌 드스플레이(3)에서 상기 비율(LBR)의 정보인 바 그래프 표시로 변화시켜 경보 메시지를 표시하도록 하여 운전자(D)를 시각적을로 자극하여 운전 의식의 향상을 촉진하도록 하여도 좋다.
이상의 스텝(S6 내지 S15)에 의해 나타나는 처리는 상기 눈 깜박거림 비율산출용 타이머(70)에 의한 관리 하에 소정 시간에 걸쳐 눈 깜박거림 비율(LBR)이 구해질 대 마다 반복적으로 실행된다. 즉, 소정 시간마다 그 시간 내에서의 눈 깜박거림 횟수(Cb)에 대한 긴 눈 깜박거림 횟수(Cs)의 비율(LBR)이 구해지며, 이 비율 정보의 그래프 표시가 실행된다. 동시에 상기 비율(LBR)의 판정이 항상 실행되며, 이 비율(LBR)로부터 운전자(D)의 각성도의 저하가 검출되었을 때 신속하게 경보가 발생되도록 이루어져 있다.
이와 같이하여 상술한 바와 같이 기능하는 본 발명의 장치에 의하면, 운전 개시시에 있어서의 고각성 상태에서의 운전자(D)의 눈 깜박거림 시간의 빈도 분포에서 그 운전자(D)의 표준적인 눈 깜박거림 시간폭을 구하고, 이 시간폭에 따라서 운전자(D)의 표준적인 눈 깜박거림 시간보다도 길고, 운전자(D)의 각성도 저하에 기인하는 시간이 긴 눈 깜박거림을 판정하기 위한 역치(Ts)를 설정하고 있기 때문에, 눈 깜박거림 시간의 개인차에 상관없이 그 운전자(D)에게 고유한, 각성도 저하에 기인하는 긴 눈 깜박거림을 확실하게 검출할 수 있다.
그리고 나서 소정 시간에서의 전체 눈 깜박거림 횟수(Cb)에 대한 시간이 긴 눈 깜박거림 횟수(Cs)의 비율(LBR)을 구하고, 이것을 각성도 저하의 평가에 이용하기 때문에 눈 깜박거림의 개인차에 영향을 받는 일없이 운전자(D)의 각성도 저하를 고정밀도로 및 고신뢰성으로 판정하는 일이 가능하게 된다. 거기에다 상술한 것과 같이 비교적 간단한 처리로서 각성도의 저하를 판정할 수 있기 때문에 그 실용적 장점이 크고 많다.
또한 본 발명은 상술한 실시예에 한정되는 것이 아니며, 예를 들면, 긴 눈 깜박거림을 판정하기 위한 역치(Ts)를 설정하는 상태에서의 상술한 스라이스율(X %)나 슬라이드비(Y %)에 관하여서는, 장치에 요구되는 각성도의 추정 정밀도나 눈 깜박거림 시간과 각성도와의 상관에 따라서 적응적으로 설정하면 좋은 것이다. 또한 눈 깜박거림 시간의 빈도 분포에 의거하여 별도의 알고리즘을 채용하여 상기 역치(Ts)를 설정하는 것도 물론 가능하다. 또한 운전 개시시의 고각성도 상태에서의 눈 깜박거림 시간의 빈도 분포를 구하는 소정 시간이나 눈 깜박거림을 구하는 상태에서의 소정 기간에 관해서도, 장치의 사양에 따라서 결정하면 좋을 것이다.
또한 응용예로서, 산출된 눈 깜박거림 비율(LBR)을 경시적으로 막대 그래프 표시하는 것으로서 소정 시간에 걸쳐 눈 깜박거림 비율(LBR)의 변화 이력으로서 표시하는 것도 가능하다. 또한 각성도의 저하가 검출되었을 때, 차량(1) 브레이크 기구를 작동시켜 감속시키거나, 도로상의 백선 인식이나 다른 차량과의 차간 거리 제에 등에 의거하여 자동 주행 모드를 기동하고, 운전자(D)의 각성도가 회복되는 사이에서의 주행 안전성을 높이는 것도 물론 가능하다. 또한, 운전자 이외의 각성도 저하의 판정에 응용 가능한 것도 말할 것도 없다. 그 외에 본 발명은 그 요지를 벗어나지 않는 범위에서 여러 가지로 변형하여 실시할 수 있다.

Claims (7)

  1. (정정) 차량 운전자의 각성도를 추정하는 각성도 추정 장치에 있어서,
    소정 시간마다 운전자 눈 영역을 포함하는 얼굴 영역을 촬영하는 촬영 수단(2)과,
    상기 촬영 수단(2)에 의해 촬영된 얼굴 영역의 화상 데이터에 의거하여 운전자의 눈 깜박거림 시간(τ)을 검출하는 눈 깜박거림 시간 검출 수단(10)과,
    운전 개시부터 제 1 소정 기간 사이에 검출되는 상기 눈 깜박거림 시간(τ)의 빈도 분포(α)에 의거하여 눈 깜박거림 시간이 긴 눈 깜박거림을 판정하기 위한 역치(Ts)를 설정하는 역치 설정 수단(20)과,
    상기 역치 설정 수단(20)에 의해 설정된 역치(Ts)에 의거하여 상기 눈 깜박거림 시간 검출 수단(10)에 의해 검출되는 눈 깜박거림 시간을 판정하고, 제 2 소정 시간에서의 전체 눈 깜박거림 횟수(Cb)에 대한 상기 눈 깜박거림 시간이 긴 눈 깜박거림 횟수(Cs)의 비율(LBR)을 산출하는 비율 산출 수단(30)과,
    상기 비율 산출 수단(30)에 의해 구해진 상기 비율(LBR)로부터 운전자의 각성도를 판정하는 각성도 판정 수단(50)를 구비하는 것을 특징으로 하는 각성도 추정 장치.
  2. (정정) 제 1 항에 있어서,
    상기 역치 설정 수단(20)은,
    운전 개시로부터 제 1 소정 기간 사이에 검출되는 상기 눈 깜박거림 시간의 빈도 분포(α)로부터, 운전자의 표준적인 눈 깜박거림 시간의 분포 영역의 시간폭(A)과 해당 시간폭(A)에서의 중심 시간(Tc)을 구하고, 상기 시간폭(A)에 따라서 설정되는 일정 시간과 상기 중심 시간(Tc)을 가산한 값을 상기 역치(Ts)로서 설정하는 것을 특징으로 하는 각성도 추정 장치.
  3. (정정) 제 2 항에 있어서,
    상기 시간폭(A)은 상기 빈도 분포(α)의 분포 영역에서 최빈값(Mode)에 제 1 소정 비율(X)을 곱한 값을 취하는 범위로서 정의되는 것을 특징으로 하는 각성도 추정 장치.
  4. (정정) 제 3 항에 있어서,
    상기 일정 시간은 상기 시간폭(A)에 제 2 소정 비율(Y)을 곱한 값으로 정의 되는 것을 특징으로 하는 각성도 추정 장치.
  5. (정정) 제 1 항에 있어서,
    상기 각성도 판정 수단(50)은,
    상기 비율(LBR)이 미리 정해진 판정치(K) 이상으로 된 경우에 출력 신호를 출력하는 각성도 판정부(51)와,
    상기 출력 신호를 받았을 때에 운전자에 대하여 경보를 발생하는 경보 수단(52)을 포함하는 것을 특징으로 하는 각성도 추정 장치.
  6. (정정) 제 1 항에 있어서,
    상기 비율 산출 수단(30)에 의해 산출된 상기 눈 깜박거림 비율(LBR)을 표시하는 표시 수단(3)을 추가로 구비하고 있는 것을 특징으로 하는 각성도의 추정 장치.
  7. (정정) 제 1 항에 있어서,
    상기 눈 깜박거림 시간 검출 수단(10)은,
    상기 촬영 수단(2)에 의해 촬영된 얼굴 영역의 화상 데이터를 순서대로 기억하는 복수의 기억 영역과,
    상기 복수의 기억 영역에 기억된 화상 데이터로부터 눈 영역을 추출하고, 해당 추출된 눈 영역 데이터로부터 폐안 개시와 폐안 종료를 특정하고, 폐안 개시로 부터 폐안 종료의 시간을 눈 깜박거림 시간으로서 검출하는 눈 깜박거림 시간 검출 수단을 구비하는 것을 특징으로 하는 각성도 추정 장치.
KR1019970013123A 1996-04-12 1997-04-10 각성도추정장치 KR100296534B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP09132496A JP3183161B2 (ja) 1996-04-12 1996-04-12 覚醒度推定装置
JP96-91324 1996-04-12

Publications (2)

Publication Number Publication Date
KR970069637A KR970069637A (ko) 1997-11-07
KR100296534B1 true KR100296534B1 (ko) 2001-11-22

Family

ID=14023284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970013123A KR100296534B1 (ko) 1996-04-12 1997-04-10 각성도추정장치

Country Status (5)

Country Link
US (1) US5786765A (ko)
JP (1) JP3183161B2 (ko)
KR (1) KR100296534B1 (ko)
DE (1) DE19715519A1 (ko)
FR (1) FR2747346B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10307608B2 (en) 2013-12-30 2019-06-04 Samsung Display Co., Ltd Awareness glasses, car mirror unit, and display apparatus configured to increase user awareness

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
DE19818239A1 (de) 1998-04-23 1999-10-28 Volkswagen Ag Vorrichtung zur Einschlafwarnung eines Kraftfahrzeugführers
DE19818236A1 (de) * 1998-04-23 1999-10-28 Volkswagen Ag Vorrichtung zur Überwachung eines Fahrspurwechsels eines Kraftfahrzeuges
US6236968B1 (en) 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
FR2784887B1 (fr) * 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
US6496724B1 (en) 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
WO2000044580A1 (en) * 1999-01-27 2000-08-03 Compumedics Sleep Pty. Ltd. Vigilance monitoring system
US6297732B2 (en) * 1999-09-08 2001-10-02 Precision Navigation, Inc. Radar/laser detection device with multi-sensing and reporting capability
US6147612A (en) * 1999-11-10 2000-11-14 Ruan; Ying Chao Dual function optic sleep preventing device for vehicle drivers
DE10024227B4 (de) * 2000-05-17 2011-02-17 Volkswagen Ag Verfahren und Einrichtung zur elektronischen Überwachung des Aufmerksamkeitsgrades
JP4193337B2 (ja) * 2000-07-19 2008-12-10 いすゞ自動車株式会社 覚醒度低下判定装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
GB0024274D0 (en) * 2000-10-04 2000-11-15 Harris John W Vehicle security and occupant safety system
US6614344B1 (en) * 2000-10-17 2003-09-02 Douglas H. Frasher Optical sensor for an adjustable vehicle seating system
AU2001229788A1 (en) * 2000-12-21 2002-07-01 Todor Stankovic The procedure and device intended for the man-machine system security preservation under a man's drowsiness conditions
US20020180608A1 (en) 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
BR0307760A (pt) * 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
US6927674B2 (en) * 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
DE10222795B4 (de) * 2002-05-23 2017-03-16 Volkswagen Ag Verfahren und Einrichtung zur Erfassung der Vigilanz eines Kraftfahrzeugführers während der Fahrt mit einem Kraftfahrzeug
AU2003265284A1 (en) * 2002-07-19 2004-02-09 Dicut Inc. Face recognition system and method therefor
JP2004058799A (ja) * 2002-07-26 2004-02-26 Murakami Corp 車載用乗員撮影装置
DE10238324B4 (de) * 2002-08-21 2014-02-13 Volkswagen Ag Verfahren und Vorrichtung zur Überwachung des Fahrers eines Kraftfahrzeugs
JP4551766B2 (ja) * 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
JP3997142B2 (ja) * 2002-10-23 2007-10-24 富士重工業株式会社 車両用の覚醒度推定装置および覚醒度推定方法
WO2004040531A1 (en) * 2002-10-28 2004-05-13 Morris Steffin Method and apparatus for detection of drownsiness and for monitoring biological processes
US7202792B2 (en) * 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
EP1914106A3 (en) * 2003-06-06 2008-09-24 Volvo Technology Corporation An attention management system and method
JP4366145B2 (ja) * 2003-08-26 2009-11-18 富士重工業株式会社 運転者の覚醒度推定装置及び覚醒度推定方法
ATE407416T1 (de) * 2003-11-30 2008-09-15 Volvo Technology Corp Verfahren und system zum erkennen einer fahrerbeeinträchtigung
TWI231206B (en) * 2004-02-18 2005-04-21 Chi-Wen Hsieh Apparatus and system for monitoring the activity of an eye portion
US20060015689A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation Implementation and management of moveable buffers in cache system
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
KR101159847B1 (ko) * 2005-01-20 2012-06-25 삼성전자주식회사 졸음운전 감지용 얼굴 검출 정규화 장치 및 방법
MX2007010513A (es) * 2005-03-04 2008-01-16 Sleep Diagnostics Pty Ltd Medicion de estado de alerta.
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
US7301465B2 (en) 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
US7403124B2 (en) * 2005-05-10 2008-07-22 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
US20060259206A1 (en) * 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
US7528731B2 (en) * 2005-06-22 2009-05-05 Delphi Technologies, Inc. System and method for mitigating drive distraction and/or drowsiness by illuminated windshield wiper
US8968105B2 (en) * 2006-02-14 2015-03-03 Wms Gaming Inc. Reorganizing a wagering game machine's NVRAM
AU2007219703B2 (en) * 2006-03-01 2010-02-11 Sdip Holdings Pty Ltd Incapacity monitor
CN101089905A (zh) * 2006-06-16 2007-12-19 鸿富锦精密工业（深圳）有限公司 汽车安全系统
EP2044592A1 (en) * 2006-07-12 2009-04-08 Koninklijke Philips Electronics N.V. A device and a method for playing audio-video content
JP4923911B2 (ja) * 2006-09-25 2012-04-25 トヨタ自動車株式会社 人の状態推定装置及び人の状態推定方法
DE102006045454B4 (de) * 2006-09-26 2010-04-01 GM Global Technology Operations, Inc., Detroit Vorrichtung und Verfahren zum Warnen einer ein Kraftfahrzeug steuernden Person
AU2007306009B2 (en) * 2006-10-13 2010-07-15 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
US20080149401A1 (en) * 2006-12-20 2008-06-26 3M Innovative Properties Company Untethered stylus employing separate communication channels
JP4518083B2 (ja) 2007-01-29 2010-08-04 株式会社デンソー 覚醒維持装置
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
DE102008007150B4 (de) * 2007-03-30 2019-05-02 Volkswagen Ag Verfahren zum Erstellen einer Müdigkeitsprognose eines Kraftfahrzeugfahrers
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
JP4492652B2 (ja) * 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
US20090089108A1 (en) * 2007-09-27 2009-04-02 Robert Lee Angell Method and apparatus for automatically identifying potentially unsafe work conditions to predict and prevent the occurrence of workplace accidents
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
KR101173944B1 (ko) * 2008-12-01 2012-08-20 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
JP5267570B2 (ja) * 2008-12-25 2013-08-21 トヨタ自動車株式会社 運転支援装置
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
US8957779B2 (en) 2009-06-23 2015-02-17 L&P Property Management Company Drowsy driver detection system
JP5177102B2 (ja) * 2009-09-18 2013-04-03 三菱自動車工業株式会社 運転支援装置
CN101690666B (zh) * 2009-10-13 2011-05-04 北京工业大学 汽车驾驶员驾驶工作负荷测量方法
TWI537857B (zh) * 2010-02-12 2016-06-11 Utechzone Co Ltd Customer reception system
WO2011111206A1 (ja) * 2010-03-11 2011-09-15 トヨタ自動車株式会社 生体状態判定装置
CN102222381B (zh) * 2010-04-16 2014-08-20 由田新技股份有限公司 顾客接待系统
CN101843496A (zh) * 2010-04-23 2010-09-29 北京工业大学 驾驶工作负荷成套检测方法
US11318949B2 (en) * 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10592757B2 (en) * 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10482333B1 (en) * 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
JP5666383B2 (ja) * 2011-05-26 2015-02-12 パナソニック株式会社 眠気推定装置及び眠気推定方法
JP2013043044A (ja) * 2011-08-26 2013-03-04 Canon Inc 瞬目計測装置、方法、及びプログラム
US10010270B2 (en) * 2012-09-17 2018-07-03 Verily Life Sciences Llc Sensing system
WO2014165250A1 (en) * 2013-03-12 2014-10-09 PayrollHero.com Pte. Ltd. Method for employee parameter tracking
BR112015027598A2 (pt) 2013-05-01 2017-09-19 Musc Found For Res Dev Dispositivo para mediar o reflexo de piscada em um indivíduo humano
WO2014210430A1 (en) 2013-06-27 2014-12-31 Tractus Corporation Systems and methods for tissue mapping
JP5871290B2 (ja) * 2014-04-11 2016-03-01 学校法人 名古屋電気学園 コミュニケーションシステムおよび瞬き判定方法
EP3157426B1 (de) * 2014-06-20 2018-06-20 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
KR101662636B1 (ko) * 2014-07-14 2016-10-07 엔에이치엔엔터테인먼트 주식회사 영상 몰입 유도 장치 및 이를 이용한 영상 몰입 유도 방법
KR20170057313A (ko) 2014-09-09 2017-05-24 토르벡 인코포레이티드 웨어러블 디바이스를 활용하여 개인의 각성을 모니터링하고 통보를 제공하기 위한 방법들 및 장치
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
DE102016205996A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren zum Ausgeben einer Schläfrigkeitswarnung und Steuergerät
CA3014812A1 (en) 2016-02-18 2017-08-24 Curaegis Technologies, Inc. Alertness prediction system and method
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
CN105857075B (zh) * 2016-05-11 2018-12-28 东风汽车公司 汽车疲劳驾驶安全防护系统及方法
DE102016213671A1 (de) 2016-07-26 2018-02-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Dauer eines kritischen Zustands eines Fahrers eines Fahrzeugs
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
TWM561291U (zh) * 2017-10-26 2018-06-01 正能光電股份有限公司 疲勞警報裝置
JP2019124977A (ja) * 2018-01-11 2019-07-25 トヨタ自動車株式会社 車載音声出力装置、音声出力制御方法、及び音声出力制御プログラム
CN110341592A (zh) * 2018-04-02 2019-10-18 长城汽车股份有限公司 一种车辆警示方法、装置和车辆
CN109840510A (zh) * 2019-02-25 2019-06-04 西安闻泰电子科技有限公司 疲劳驾驶的监控方法、装置、存储介质及电子设备
CN110796838B (zh) * 2019-12-03 2023-06-09 吉林大学 一种驾驶员面部表情的自动定位和识别系统
WO2022061403A1 (en) * 2020-09-22 2022-03-31 Sdip Holdings Pty Ltd Devices and processing systems configured to enable assessment of a condition of a human subject based on sensorimotor gating of blinks
DE102021101208A1 (de) 2021-01-21 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem sowie Kraftfahrzeug mit einem Fahrerassistenzsystem
SE545345C2 (en) * 2021-06-30 2023-07-11 Tobii Ab Method and system for alignment of data

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4397531A (en) * 1981-06-29 1983-08-09 Honeywell Inc. Eye closure discrimination system
JPS60592A (ja) * 1983-06-15 1985-01-05 三菱電機株式会社 いねむり防止装置
JPS61175129A (ja) 1985-01-29 1986-08-06 Nissan Motor Co Ltd 居眠り運転防止装置
EP0280124A1 (en) * 1987-02-12 1988-08-31 Omron Tateisi Electronics Co. Doze detector
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
JP3116638B2 (ja) * 1993-03-17 2000-12-11 日産自動車株式会社 覚醒状態検知装置
JPH07156682A (ja) 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10307608B2 (en) 2013-12-30 2019-06-04 Samsung Display Co., Ltd Awareness glasses, car mirror unit, and display apparatus configured to increase user awareness

Also Published As

Publication number Publication date
KR970069637A (ko) 1997-11-07
US5786765A (en) 1998-07-28
JP3183161B2 (ja) 2001-07-03
DE19715519A1 (de) 1997-11-06
JPH09277849A (ja) 1997-10-28
FR2747346B1 (fr) 2001-05-18
FR2747346A1 (fr) 1997-10-17

Similar Documents

Publication Publication Date Title
KR100296534B1 (ko) 각성도추정장치
US8306271B2 (en) Drowsiness assessment device and program
US8823792B2 (en) Wakefulness level estimation apparatus
US8098165B2 (en) System, apparatus and associated methodology for interactively monitoring and reducing driver drowsiness
EP2117432B1 (en) Anti-drowsing device and anti-drowsing method
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
KR100957283B1 (ko) 졸음운전 위험판정장치
KR101604232B1 (ko) 졸음검출방법과 장치
JP5447657B2 (ja) 生体状態判定装置
JP4967559B2 (ja) 居眠り運転防止装置及びプログラム
CN102098955B (zh) 检测微入睡事件的方法和设备
JP2009018047A (ja) 心理状態推定装置
JP2008140266A (ja) 状態推定装置
JPH07156682A (ja) 覚醒状態検出装置
JP2018133007A (ja) 警報装置
JP3852294B2 (ja) 居眠り検出装置
JP3480483B2 (ja) 覚醒度推定装置
GB2375645A (en) Drowsiness monitor having a means for detecting a metabolic function of a user
JP2003000571A (ja) 覚醒度推定装置および覚醒度推定方法
JP2004041485A (ja) 開閉眼モニタ装置
JP3292035B2 (ja) 覚醒度推定装置
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP2008073335A (ja) 覚醒低下検出装置及び覚醒低下検出プログラム
JPH08153288A (ja) 居眠り判定装置
KR101080761B1 (ko) 졸음 운전 경보 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060502

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee