JP5679066B2 - 居眠り検出方法と装置 - Google Patents

居眠り検出方法と装置 Download PDF

Info

Publication number
JP5679066B2
JP5679066B2 JP2013532609A JP2013532609A JP5679066B2 JP 5679066 B2 JP5679066 B2 JP 5679066B2 JP 2013532609 A JP2013532609 A JP 2013532609A JP 2013532609 A JP2013532609 A JP 2013532609A JP 5679066 B2 JP5679066 B2 JP 5679066B2
Authority
JP
Japan
Prior art keywords
time
eye
threshold
threshold time
dozing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013532609A
Other languages
English (en)
Other versions
JPWO2013035704A1 (ja
Inventor
清実 中村
清実 中村
博史 高野
博史 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyama Prefecture
Original Assignee
Toyama Prefecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyama Prefecture filed Critical Toyama Prefecture
Priority to JP2013532609A priority Critical patent/JP5679066B2/ja
Application granted granted Critical
Publication of JP5679066B2 publication Critical patent/JP5679066B2/ja
Publication of JPWO2013035704A1 publication Critical patent/JPWO2013035704A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Description

この発明は、人の覚醒が低下した状態である居眠りを検出する居眠り検出方法と装置に関する。
従来、居眠りを検出する方法として、例えば１秒以内の短時間に、複数回の閉眼が生じる状態である瞬目群発を検出して、覚醒が低下していることを検出する方法が提案されている。例えば特許文献１には、目の瞬きである瞬目の群発を検出してから所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動であるＳＥＭ（Slow Eye Movement）を検出した場合に、覚醒度が低下している（居眠りしている）と判定する検出方法が開示されている。瞬目の群発やＳＥＭは、入眠初期に現れる特徴的な現象であり、これらを組み合わせて覚醒度の低下を判定している。
特許文献２には、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定する瞬目判定手段と、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する覚醒低下判定手段とを備えた覚醒低下検出装置が開示されている。
しかし、特許文献２に記載の検出方法では、瞬目群発の後に生じる瞬目群発以外の瞬きの閉眼時間が、閾値に比べて長い場合に覚醒度が低下するとしており、瞬目群発による２回の瞬きと瞬目群発以外の１回の瞬きを１セットとして、少なくとも３回の瞬きを組み合わせて用いる必要がある。このため、瞬目群発のみによる覚醒度低下の検出や、瞬目群発以外の瞬きのみにより覚醒度低下の検出ができないといった問題があった。さらに、この検出方法の場合、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていない。このため、この検出方法では、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができないという問題があった。その他、この検出方法では、覚醒度低下検出におけるリアルタイム性に欠けるといった問題もあった。
そこで、特許文献３は、群発性瞬目を精度良く検出するために、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とから成る眠気判定装置を提案している。
一方、非特許文献１，２では、瞬きの特徴のみに基づく居眠り状態を検出するために、瞬目群発中の第１瞬目の閉眼時間と眠気表情値の関係を調査したものである。その結果、覚醒度が低下すると、第１瞬目の閉眼時間が延びることが示されている。
特開２００６−１３６５５６号公報 特開２００８−７３３３５号公報 特開２０１０−２２４６３７号公報
平成22年度電気関係学会北陸支部連合大会講演論文集B-3 平成22年度日本生体医工学会北陸支部大会講演論文集pp.25~26
上記背景技術の特許文献１，２に開示された発明の瞬目群発の検出は、図２（ｂ）、図３（ｂ）に示すように、一般的に閉眼の一つの極小値から次の極小値までの時間を瞬目間間隔TOp(i)として測定していた。そして、判定基準値ThOを例えば１秒とし、瞬目間間隔TOp(i)が判定基準値ThO以下の間隔の場合を瞬目群発と定義していた。この場合の瞬目間間隔TOp(i)は、閉眼状態の極小値から開眼まで及び開眼状態から閉眼の極値までの時間も含めて測定しているため、瞼を閉じる動作の時間や瞼を開く動作の時間が長くなる群発性の瞬目を検出できず、正確に瞬目群発を検出できないものであった。
特許文献３に開示された検出方法は、瞼の開度の時系列データを検出し、検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から瞬目群発を判断しているため、半閉眼状態の瞼の開度を正確に測定することが困難であり、測定誤差も生じやすいものである。
非特許文献１，２では、瞬目群発中の瞬きの閉眼時間から居眠り状態を検出するための基準や実時間の検出タイミングが示されておらず、精確に居眠り状態を判断できるものではなかった。さらに、瞬目群発中の第１瞬目の閉眼時間のみに基づく居眠り状態の判定では、居眠り検出精度が低く、居眠り検出タイミングに遅延が生じる問題がある。
この発明は、上記背景技術の問題点に鑑みてなされたものであり、比較的簡単な装置で、正確に居眠り状態を検出することができ、居眠り検出の早さ及び精度を向上させた居眠り検出方法と装置を提供することを目的とする。
この発明は、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として前記開眼時間及び前記閉眼時間を測定し、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値ＴｈＯ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）とし、前記第一の閾値時間以下の開眼を検出した場合（ｓ２）前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると（ｓ５）居眠り状態と判断する第一居眠り判断処理ステップを備える居眠り検出方法である。
さらに、前記第一の閾値時間以下の開眼の直前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上であった場合（ｓ３）、前記第一の閾値時間以下の開眼の後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態と判断する早期判断処理ステップを備える居眠り検出方法である。
前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準ＴｈＣ２）以上に達した場合（ｓ６）直ちに居眠り状態と判断する第二居眠り判断処理ステップを備えるものである。
前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間（居眠り判定基準ＴｈＣ３）以上であったときは（ｓ９）、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態と判断する第三居眠り判断処理ステップを備えるものである。
前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合（ｓ１１）に直ちに居眠り状態と判断する第四居眠り判断処理ステップを備えるものである。
また、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とする第五居眠り判断処理ステップを備えるものでも良い。前記第五居眠り判断処理ステップは、前記第一の閾値時間以下の開眼を検出した後の複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態としても良い。さらに、前記合計閉眼時間は、前記各閉眼時間にそれぞれ重みをかけて足し合わせることにより求められるものでも良い
またこの発明は、人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値ＴｈＯ）とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）とし、前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備えた居眠り検出装置である。
さらに、前記居眠り判別手段は、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合には、前記第一の閾値時間以下の開眼の後の前記閉眼時間を計測することなく、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態であるとするものである。
前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準ＴｈＣ２）以上に達した場合には直ちに居眠り状態であるとするものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記第一の閾値時間以下の開眼の直前と直後に生じた瞬きの閉眼時間の合計時間より相対的に長い閉眼時間としても良い。
前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きと判定し、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間（居眠り判定基準ＴｈＣ３）以上であったときは、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態とするものである。
前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合に直ちに居眠り状態とするものである。前記第二の閾値時間より相対的に長い閾値時間は、例えば、健常成人の覚醒状態における前記単独の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。
前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、例えば前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とするものである。前記居眠り判別手段は、前記合計閉眼時間を、前記複数の各閉眼時間にそれぞれ重みをかけて足し合わせることでも求められる。前記閉眼検出手段は、前記人の目の虹彩と瞳孔の面積を測定するものである。
また、前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた居眠り検出装置としても良い。
さらにこの発明は、前記居眠り検出装置を備えた車両に適用可能なものである。
この発明の居眠り検出方法と装置は、簡単な装置でコストもかからず、正確且つ迅速な居眠り検出が可能となる。これにより、乗り物等の運転手の居眠りを早期に発見し、運転の安全性を高めることが出来る。
この発明の一実施形態の居眠り検出装置の模式図である。 この発明の一実施形態の居眠り検出方法の瞬目の定義（ａ）と、従来の瞬目の定義（ｂ）を示すタイムチャートである。 閉眼時間が長い場合について、この発明の一実施形態の居眠り検出方法の瞬目の検出（ａ）と、従来の瞬目の検出（ｂ）を示すタイムチャートである。 この発明の一実施形態の居眠り検出方法を示すフローチャートである。 この発明の一実施形態の居眠り検出装置の目検出方法に用いるテンプレートの模式図である。 この発明の一実施形態の居眠り検出装置の目検出方法の原理を示す図である。 この発明の一実施形態の居眠り検出装置の瞬目検出方法を示す写真と模式図である。 この発明の一実施形態における実施例を示すための実験装置の模式図である。 ２名の被験者について、この発明による瞬目群発の定義による第１閉眼時間の分布と、従来の瞬目群発の定義による第１閉眼時間の分布である。 ２名の被験者について、この発明による瞬目群発の定義による第２閉眼時間の分布と、従来の瞬目群発の定義による第２閉眼時間の分布である。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例の居眠り検出を示すグラフ（ａ）と、従来の技術による居眠り検出を示すグラフ（ｂ）である。 この発明の一実施例の眠気表情値を示すグラフ（ａ）、瞬目群発中の瞬きの合計閉眼時間を示すグラフ（ｂ）、単独瞬目の平均閉眼時間を示すグラフ（ｃ）、瞬目群発の瞬きと単独瞬目の合計閉眼時間を示すグラフ（ｄ）である。
以下、この発明の実施形態について図面に基づいて説明する。図１〜図７はこの発明の一実施形態を示すもので、この実施形態の居眠り検出装置３０は、図１に示すように、例えばドライバー３１の顔を撮影するＣＣＤカメラ等からなる撮影部３２と、撮影部３２により生成される画像を処理して瞬目の検出等を行う居眠り検出アルゴリズムが実装されたドライバーモニターＥＣＵ３３を備えている。ドライバーモニターＥＣＵ３３は、覚醒レベルの表示や居眠り状態になった場合に視覚的に警報を促すためのナビゲーションシステム３４に接続されている。また、ドライバーモニターＥＣＵ３３は、ドライバー３１が居眠り状態になった場合、スピーカ３５により音でも警報を促す。さらに、ドライバーモニターＥＣＵ３３は、ドライバー３１の居眠り状態が続いた場合、ブレーキ制御装置３６により、車両のブレーキ制御を行う。
ドライバーモニターＥＣＵ３３は、ＣＰＵと、制御ルーチン等のプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びその他のプログラムやデータを記憶したハードディスク等の記憶装置を備えている。
ドライバーモニターＥＣＵ３３に設けられた居眠り検出機能は、撮影部３２が撮像した画像を処理して、この発明により定義した瞬きを検出する閉眼検出手段と、閉眼検出手段が検出した瞬きの開眼時間と閉眼時間を計る瞬目時間測定手段と、瞬目時間測定手段により測定した瞬きの時間を基に瞬目群発を判別する瞬目群発判別手段と、これらの測定結果を基に居眠りを判定する居眠り判別手段とから成る居眠り検出アルゴリズムの実行プログラムにより構成されている。
居眠り状態の検出及び判定は、図２（ａ）及び図３（ａ）に示す開眼時間ＴＯ（ｉ）による瞬目群発の判定により、図４のフローチャートに示すように判定する。まず、ドライバーモニターＥＣＵ３３に設けられた瞬目群発判別手段により開眼時間ＴＯ（ｉ）（ｉは自然数）を計測する（ｓ１）。計測中に閉眼検出手段により閉眼状態が検出され、確定した開眼時間ＴＯ（ｉ）が、図３（ａ）に示すように、第一の閾値時間である判定基準値ＴｈＯ以下であるか否かを調べる（ｓ２）。開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値ＴｈＯ以下の時、この開眼状態の前に発生した瞬きと後に発生する瞬きを瞬目群発として判定する。この実施形態では、判定基準値ＴｈＯ＝１秒である。この時、居眠り判別手段により、この開眼状態の前に発生した瞬きの閉眼時間ＴＣ（ｉ−１）が、第二の閾値時間である居眠り判定基準ＴｈＣ１以上であれば、早期居眠り判断ステップとして、その時点で居眠り状態であると判定する（ｓ３）。そして、居眠り警報１を音等で発する。ここでは、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。そして、健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間（開眼時間による瞬目群発の判定基準値ＴｈＯ）と定義する。また、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）として定義する。
次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ４）。閉眼時間ＴＣ（ｉ）が居眠り判定基準ＴｈＣ１以上になれば、第一居眠り判断ステップとして、直ちに居眠り状態であると判定し（ｓ５）、居眠り警報２を音等で発する。また、閉眼時間ＴＣ（ｉ）が、前記第二の閾値時間より長い第三の閾値時間であるもう一つの居眠り判定基準ＴｈＣ２以上（居眠り判定基準ＴｈＣ２＞居眠り判定基準ＴｈＣ１）となれば、第二居眠り判断ステップとして、再度居眠り状態であると判定し（ｓ６）、居眠り警報３を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ７）。ここで、第三の閾値時間は、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば前記第一の閾値時間以下の開眼の前に生じた瞬きの平均閉眼時間と前記第一の閾値時間以下の開眼の後に生じた瞬きの平均閉眼時間の合計時間より相対的に長い閉眼時間であれば良く、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。
一方、開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値ＴｈＯより長い時、この開眼状態の直前の瞬きの前の開眼時間ＴＯ（ｉ−１）が瞬目群発の判定基準値ＴｈＯより長い時、この開眼状態の直前の瞬きを単独の瞬き（瞬目群発以外の瞬き）と判定する（ｓ８）。さらに、この開眼状態の直前の瞬きの閉眼時間ＴＣ（ｉ−１）が、前記第二の閾値時間より長い値であり、上記のように適宜設定される第三の閾値時間としてのもう一つの居眠り判定基準ＴｈＣ３以上（居眠り判定基準ＴｈＣ３＞居眠り判定基準ＴｈＣ１）であれば、居眠り状態であると判定する（ｓ９）。そして、居眠り警報４を音等で発する。次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ１０）。閉眼時間ＴＣ（ｉ）が居眠り判定基準ＴｈＣ３以上になれば、直ちに居眠り状態であると判定し（ｓ１１）、居眠り警報５を音等で発する。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ１２）。
ここで、瞬目検出方法の例を以下に説明する。先ず目の位置検出方法は、撮影部３２で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート２０によるテンプレートマッチングを行う。このテンプレートマッチングには、例えば残差逐次検出法を用いる。
一般に、図５に示すように成人の目２４の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩２２のサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩２２のサイズを直径１１ｍｍと設定している。片目部分テンプレート２０は十字形の直線で構成され、例えばモニタ１６の画面上で横幅１１ｍｍ、縦幅６ｍｍに設定されている。１ｍｍあたりのピクセル数は、モニタ１６上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形の片目部分テンプレート２０を用いることにより、目２４の傾きがあっても、円形の虹彩２２には影響せず、虹彩２２との正確なマッチングを得ることができる。
この実施形態では処理の高速化のため、例えば４画素ずつ片目部分テンプレート２０を移動させテンプレートマッチングを行う。片目部分テンプレート２０の横幅のマッチング度は、画像の１ピクセルずつ比べ、縦幅のマッチング度は１ピクセル飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に、片目部分テンプレート２０が重なった部分が目らしいと判定する。
また、片目部分テンプレート２０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、目２４の周りの特徴をチェック項目として用い、図６に示すように、片目部分テンプレート２０の上下において、眉２８の有無を判断材料とした。例えば、虹彩２２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉２８の位置のチェックポイントａは片目部分テンプレート２０の中心から上２５〜５０ｍｍの間、眉２８と目２４との間のチェックポイントｂは同じく１５〜２７ｍｍ、目２４の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目２４の直上では黒い部分が無く、その上方に眉２８による黒部分が検知され、目２４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。
これらのチェック項目のマッチング度は、目２４の上の部分おいて、ピクセルの値を基にした閾値と比較して、眉２８の位置でマッチング度が１０％以上、眉２８と目２４の間の位置でマッチング度が２０％以上、目２４の下の位置ではマッチング度が２０％以上のマッチングが得られたとき、目２４の周りの条件適合性が満たされると判定する。そして、目２４であるとする最終判定は、片目部分テンプレート２０によるテンプレートマッチングと目２４の回りの特徴チェック項目により判定する。
目２４を検出した後、目２４の瞬きを検出する。瞬目検出は、図２（ａ）、図３（ａ）に示すように、黒目である虹彩２２の面積の変化から、瞬目を検出している。瞬目検出は、撮影部１２により取得した濃淡画像から、虹彩２２の面積を測定する。そして、虹彩２２の面積測定結果が所定の閾値Ｓｔｈ以下、例えば虹彩２２の面積の最大値を記憶し、その最大値から例えば５〜１５％好ましくは１０％少ない面積を閾値Ｓｔｈとして開眼状態か否かを判断する。
虹彩２２の面積の測定は、目２４の２値画像をスキャンして行う。先ず、虹彩２２と片目部分テンプレート２０の横幅のマッチング度が例えば８５〜９５％好ましくは９０％以上満たしているときに目らしいと判定し、開眼時の虹彩２２の横幅と片目部分テンプレート２０の横幅は一致したと考える。また、閉眼時には、図７に示すように、まつげ２６によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩２２の面積の横方向の測定範囲は片目部分テンプレート２０の横幅とする。また縦方向の測定範囲は、虹彩２２の中に片目部分テンプレート２０のマッチする点がいくつも存在することから、マッチポイントが虹彩２２の中心からずれることを考慮し、片目部分テンプレート２０の中心から上下方向に例えば５０ピクセルの範囲とする。
虹彩面積測定の手順は、目２４の認識後、虹彩２２の面積測定を行う。片目部分テンプレート２０の中心位置から左に、ピクセル濃度値が虹彩２２の２値化閾値以上になるまで移動し、その移動距離を計算する。次に、右方向にも同様にして距離を計算し、左右の移動距離の和を虹彩２２の横幅とする。そして、測定範囲内で片目部分テンプレート２０の上側で同様の作業を繰り返し、横幅を合計する。また片目部分テンプレート２０の下側でも同様にして、横幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、横方向に長くまつげ２６による黒い部分が表れる。しかし、横方向の測定範囲は、片目部分テンプレート２０の横幅であり、ピクセル濃度値が虹彩２２の２値化閾値以下の濃い部分は、縦方向にまつげ２６の上下幅となる。従って、開眼時の虹彩２２の面積は、測定範囲内で、閉眼時のまつげ２６を測定した場合よりも大きい値となる。
これにより、図７の測定範囲内でピクセル濃度値が虹彩２２の２値化閾値以下の濃い箇所（前記移動距離内の部分）の合計が、図２、図３に示す所定の閾値Ｓｔｈ以上であれば、虹彩２２であるとして開眼状態とする。また、この合計が閾値Ｓｔｈ以下であれば、閉眼状態であるとする。
この実施形態の居眠り検出装置３０の使用方法は、自動車や電車、その他の作業機械の運転席の近傍に設け、撮影部３２により運転者を撮影し、上記の第一の閾値時間（判定基準値ＴｈＯ）を基準とした処理により瞬目群発を検出し、その瞬目群発中の瞬きの閉眼時間の何れかが第二の閾値時間（居眠り判定基準ＴｈＣ１）以上である場合に、居眠りと判断し、さらに、瞬目群発以外の瞬きの閉眼時間が、上記のように設定される第三の閾値時間（居眠り判定基準ＴｈＣ３）以上の場合も居眠りと判断し、居眠り警報１〜５を音等で発するともに、その他の制御を行う。これにより、自動車等の運転の安全性を大幅に向上させることができる。
前記一般的な瞬目群発検出法では、図２（ｂ）、図３（ｂ）に示すように、閉眼の極小値から極小値までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定していたが、この他に、閉眼の開始から次の閉眼の開始までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定する変則的な方法や、閉眼の終了から次の閉眼の終了までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定する変則的な方法がある。しかし、これらの変則的な測定方法では、長時間の閉眼を含む群発性の瞬目を検出できないので、前記の一般的な瞬目群発検出方法が持つ問題を解決しておらず、本発明による瞬目群発検出方法の方が居眠り検出において優れていると言える。
この実施形態の居眠り検出装置は、開眼時間のみを判定基準として第一の閾値時間（判定基準値ＴｈＯ）により瞬目群発を検出し、瞬目群発中の各々の瞬きの閉眼時間は第二の閾値時間（居眠り判定基準ＴｈＣ１）で、瞬目群発以外の瞬きの閉眼時間は上記の第三の閾値時間（居眠り判定基準ＴｈＣ３）で判定することにより、居眠り状態の判別が早期に行なわれ、居眠りの確実な防止に貢献する。
次に、この発明の居眠り検出装置の構成を備えた実験装置による実施例について説明する。図８に居眠り検出装置を備えた実験装置の模式図を示す。実験装置には、被験者１１の顔を撮影するＣＣＤカメラ等からなる撮影部１２と、撮影部１２により生成される画像を処理して瞬目の検出等を行う居眠り検出プログラムがインストールされたコンピュータ１４で構成されている。コンピュータ１４は、撮影画像を表示する液晶ディスプレイ等のモニタ１６に接続されている。また、運転中の視界を表示するスクリーン１８が設けられ、被験者１１が座るシート１３と、ハンドル１５、計器表示部１７、及びアクセル１９等を有し、通常の自動車と同様の構成を備えている。また、実験中の被験者１１の覚醒度を表す相対的指標である眠気表情値を得るために、実験中の被験者１１の顔表情を録画した。ここでは、複数の被験者１１について、２名の観察者により眠気の程度を判断し、採点により被験者１１の眠気表情値（Rated Sleepiness）を数値化した。さらに、グラフでは、２名の判定値の平均を眠気表情値とし、５秒ごとの３０秒移動平均により平滑化を行いグラフに記載した。眠気表情値の数値化は、以下の数値を付して行った。
５．全く眠くなさそう
４．やや眠そう
３．眠そう
２．かなり眠そう
１．眠っている
実施例では、第一の閾値時間として定義される瞬目群発の判定基準値ＴｈＯを１秒に設定した。先ず図９に、２名の被験者（Sub.1-1，Sub.2-1）について、本発明による瞬目群発の定義による第１閉眼時間の分布（上段）と、従来の瞬目群発の定義による第１閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第１閉眼時間、横軸は眠気表情値である。図９より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第１閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。また、図１０に、別の２名の被験者（Sub.8-1，Sub.6-2）について、本発明による瞬目群発の定義による第２閉眼時間の分布（上段）と、従来の瞬目群発の定義による第２閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第２閉眼時間、横軸は眠気表情値である。図１０より、眠気表情値が２〜３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第２閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。これらは本発明の瞬目群発の定義では、開眼時のみを瞬目間間隔としているため、長時間の閉眼を含む瞬目群発を検出できるが、図３（ｂ）に示すように、従来の定義では、開眼時間に加えて閉眼から開眼までの過程や開眼から閉眼までの過程も瞬目間間隔に含まれているため、長時間の閉眼を含む瞬目群発が検出されないからであると考えられる。これにより、本発明の瞬目群発の定義による居眠り検知が、より正確に行われる可能性があることが分かった。よって、上記の第１閉眼時間の分布と第２閉眼時間の分布結果に基づき、実施例では第二の閾値時間として定義される居眠り判定基準ＴｈＣ１を１秒に設定した。また、第三の閾値時間（居眠り判定基準Ｔｈｃ ２ ，ＴｈＣ３）は、第二の閾値時間より相対的に長い閉眼時間として２秒に設定した。実施例ではこの第三の閾値時間（居眠り判定基準ＴｈＣ３）は瞬目群発以外の瞬き（単独瞬目）の居眠り判定基準として用いた。
図１１は、本発明の居眠り検出方法による居眠り検出を示したもので、図１１によれば、被験者（Sub.1-1）は、実験開始直後から瞬目群発が検出され（●印）、その後最初に第２閉眼（▽印）が１秒以上検出された最初の時点（１０８６秒）で、居眠りと判断した。この時、被験者の眠気表情値は３を中心に上下しており、被験者が眠気を我慢していることがわかる。さらに、その後眠気表情値が２まで下がっていることから、運転に支障をきたす居眠り状態に入る前を検出できていることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。
図１２は、被験者（Sub.5-1）の場合であり、被験者（Sub.1-1）と同様に実験開始直後から瞬目群発が検出され（●印）ている。その後、最初に第１閉眼（灰色▽印）が１秒以上検出された最初の時点（３２２秒）で、居眠りと判断した。このときの状態は、眠気表情値で３近くを示しており、その後さらに眠気表情値が下がっていることから、居眠り状態に入る時期であることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。
図１３に示す被験者（Sub.3-2）の場合も、実験開始直後から瞬目群発が検出され（●印）、瞬目群発ではない単独瞬目の閉眼時間が２秒以上検出（灰色△印）された最初の時点（４５４秒）で、居眠りと判断した。このときの状態は、眠気表情値で２近くを示しており、その後も眠気表情値が３前後で振れていることから、居眠り状態に入る時期であることが分かり、正確に居眠りを検出していることが分かった。
図１４は、図１３の被験者（Sub.3-2）について、本発明と従来の方法による居眠り検出時間の差を示す。従来法は特許文献２に開示された方法によるもので、初めの瞬きの閉眼終了から２番目の瞬きの閉眼終了までの時間を瞬目間間隔ＴＯｐ（ｉ）とし、このＴＯｐ（ｉ）が１秒以下を瞬目群発と判定し、瞬目群発発生後から３番目の長時間閉眼（１秒以上）の瞬き終了時間までの時間が１０秒以内となった箇所のうち、最も早く１０秒以下となった箇所の時間を記した。これによれば、本発明では単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）したことから、居眠りを早期のタイミング（４５４秒）で検出できた。これに対して、従来法では、居眠りの検出時期が測定開始から９３９秒であり、本発明による方法と比較して遅いことが確かめられた。
図１５は、他の被験者（Sub.2-2）について、本発明と従来の方法による居眠り検出時間を測定した結果を示す。この被験者の場合も、本発明は単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）し、早期（７８１秒）に居眠りを検出することができた。これに対して、従来法では、検出時期が測定開始から１１２９秒後であり、本発明による方法と比較して遅いことが分かった。さらに、本発明の検出方法では、図１５に示すように、瞬目群発の第１閉眼が１秒以上（灰色▽印）、及び第２閉眼が１秒以上（▽印）の判定が最初に表れた時点を見ても、共に従来法よりも早期に居眠りを検出していることが分かり、この点からも本発明による方法は、早期に居眠りを検出可能であることが分かる。
図１６は、図１１の被験者（Sub.1-1）の眠気表情値の時間推移を示すもので、図１６（ａ）が本発明による検出方法による瞬目群発発生位置（●）、図１６（ｂ）には従来法による瞬目群発発生位置（○）を図示している。図１６（ａ）では瞬目群発の第１閉眼（灰色▽）、第２閉眼が１秒以上（▽）となった箇所が図示されている。図１６（ｂ）は従来法による瞬目群発発生位置（○）と瞬きの閉眼時間が１秒以上（長時間閉眼）となった箇所（灰色△）が図示されている。
図１６（ｂ）の従来の方法によるグラフでは、瞬目群発後の長時間閉眼が１０秒以下の時点をＡ〜Ｅで示す。従来法では、居眠り検出時期の最も速いもので、実験開始後、Ａ点で示す１３１５秒であった。これに対して、本発明の方法では、図１６（ａ）に示すように、瞬目群発における第２閉眼が１秒以上あった最初の時点（最初の▽）である、実験開始後１０８６秒で居眠りの検出が行われている。さらに、本発明の場合、瞬目群発における第１閉眼が１秒以上あった最初の時点（最初の灰色▽）をみても、従来の方法による場合と比較して、早期に検出していることが分かる。
次に、本発明の居眠り検出装置の構成を備えた実験装置（図８）による別の実施形態における実施例を図１７に示す。図１７は被験者（Sub.8-1）の実験結果であり、図１７（ａ）には眠気表情値、図１７（ｂ）には瞬目群発中のすべての瞬きの閉眼時間を加算した合計閉眼時間（秒）、図１７（ｃ）には単独瞬目の３０秒間での平均閉眼時間（秒）、図１７（ｄ）には瞬目群発中のすべての瞬きの閉眼時間（秒）と、単独瞬目の３０秒間での平均閉眼時間を加算した合計閉眼時間（秒）の時間推移を示している。この結果より、覚醒度が低下するに従い、合計閉眼時間が伸長していることがわかる。また、覚醒度が低下している間は、常に合計閉眼時間が長くなっている。このことから、瞬目群発と単独瞬目の合計閉眼時間を計測することにより居眠り状態を安定して検出できることが分かる。例えば、前記第三の閾値時間として、前記第二の閾値時間より相対的に長い閉眼時間である、健常成人の覚醒状態における前記単独の瞬き（瞬目群発以外の瞬き）の平均閉眼時間より相対的に長い閉眼時間を設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする第五居眠り判断処理ステップを備えたものとしても良い。また、式（１）に示すように、瞬目群発中の第ｊ番目の瞬きの閉眼時間をＴＢ（ｊ）、単独瞬目の平均閉眼時間をＴIとし、これらの閉眼時間にそれぞれ重み（ＷＢ（ｊ），ＷI）をかけて足し合わせることにより合計閉眼時間Ｔｓｕｍを求めてもよい。図１７に示す実施例では、ＷＢ（ｊ）＝１，ＷI＝１としているが、この他、例えばＷＢ（ｊ）＝０．５〜１．５，ＷI＝０．５〜１．５とするなど各々の重みを様々に変えて足し合わせて合計閉眼時間Ｔｓｕｍを求めてもよい。
なお、本発明の居眠り検出装置は前記各実施の形態に限定されるものではなく、瞬目検出は、上記以外の方法によっても良く、短時間に連続する２回以上の瞬目を検出して瞬目群発としても良い。また、この発明の開眼時間及び閉眼時間の定義及び判定基準値は、小数点以下を四捨五入した数値も含むものであり、具体的には、例えば０．５秒以上１．５秒未満までの範囲がこの発明の１秒の定義に含まれるものであり、この範囲を１秒としても良い。
１０ 居眠り検出実験装置
１１ 被験者
１２，３２ 撮影部
１４ パーソナルコンピュータ
１６ モニタ
３０ 居眠り検出装置
３１ ドライバー
３３ ドライバーモニターＥＣＵ
３４ ナビゲーションシステム
３５ スピーカ
３６ ブレーキ制御装置

Claims (17)

  1. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として、前記開眼時間及び前記閉眼時間を測定し、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、
    健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態と判断する第一居眠り判断処理ステップと、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上であった場合に、前記第一の閾値時間以下の開眼の終了により直ちに居眠り状態と判断する早期判断処理ステップとを備えることを特徴とする居眠り検出方法。
  2. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として、前記開眼時間及び前記閉眼時間を測定し、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、
    健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態と判断する第一居眠り判断処理ステップと、
    前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合に直ちに居眠り状態と判断する第二居眠り判断処理ステップとを備えることを特徴とする居眠り検出方法。
  3. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として、前記開眼時間及び前記閉眼時間を測定し、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、
    健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態と判断する第一居眠り判断処理ステップと、
    前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きとし、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上であったときは、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態と判断する第三居眠り判断処理ステップとを備えることを特徴とする居眠り検出方法。
  4. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として、前記開眼時間及び前記閉眼時間を測定し、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、
    健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態と判断する第一居眠り判断処理ステップと、
    前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記開眼時間の検出に際して、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合に直ちに居眠り状態と判断する第四居眠り判断処理ステップとを備えることを特徴とする居眠り検出方法。
  5. 人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として、前記開眼時間及び前記閉眼時間を測定し、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、
    健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態と判断する第一居眠り判断処理ステップと、
    前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とする第五居眠り判断処理ステップとを備えることを特徴とする居眠り検出方法。
  6. 前記第五居眠り判断処理ステップは、前記第一の閾値時間以下の開眼を検出した後の複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とする請求項５記載の居眠り検出方法。
  7. 前記合計閉眼時間は、前記各閉眼時間にそれぞれ重みをかけて足し合わせることにより求められる請求項６記載の居眠り検出方法。
  8. 人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備え、
    前記居眠り判別手段は、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が前記第二の閾値時間以上の場合には、記第一の閾値時間以下の開眼の終了により直ちに居眠り状態であるとすることを特徴とする居眠り検出装置。
  9. 人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備え、
    前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合には直ちに居眠り状態であるとすることを特徴とする記載の居眠り検出装置。
  10. 人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備え、
    前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きのさらに直前の開眼時間も前記第一の閾値時間より長い場合に、前記直前の瞬きを単独の瞬きとし、前記単独の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上であったときは、前記単独の瞬きの後の前記開眼の終了により直ちに居眠り状態とすることを特徴とする居眠り検出装置。
  11. 人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備え、
    前記居眠り判別手段は、前記第二の閾値時間より相対的に長い閉眼時間を閾値時間として設定し、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第二の閾値時間より相対的に長い閾値時間以上に達した場合に直ちに居眠り状態とすることを特徴とする居眠り検出装置。
  12. 人の目の位置を認識して、その目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    健常成人の覚醒状態における平均開眼時間に比べて相対的に短い時間を第一の閾値時間とし、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とし、
    前記瞬目時間測定手段により前記第一の閾値時間以下の開眼を検出した場合、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達すると居眠り状態であるとする居眠り判別手段を備え、
    前記居眠り判別手段は、前記第二の閾値時間より相対的に長い他の閉眼時間を閾値時間として設定し、複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とすることを特徴とする居眠り検出装置。
  13. 前記居眠り判別手段は、前記第一の閾値時間以下の開眼を検出した後の複数の各閉眼時間の和として得られる合計閉眼時間が、前記第二の閾値時間より相対的に長い閾値時間より長い場合に居眠り状態とする請求項１２記載の居眠り検出装置。
  14. 前記居眠り判別手段は、前記合計閉眼時間を、前記複数の各閉眼時間にそれぞれ重みをかけて足し合わせることにより求める請求項１３記載の居眠り検出装置。
  15. 前記閉眼検出手段は、前記人の目の虹彩と瞳孔の面積を測定する請求項８乃至１２のいずれかに記載の居眠り検出装置。
  16. 前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた請求項８乃至１５のいずれかに記載の居眠り検出装置。
  17. 請求項８乃至１６のいずれかに記載の居眠り検出装置を備えたことを特徴とする車両。
JP2013532609A 2011-09-05 2012-09-04 居眠り検出方法と装置 Active JP5679066B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013532609A JP5679066B2 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011192591 2011-09-05
JP2011192591 2011-09-05
JP2011249662 2011-11-15
JP2011249662 2011-11-15
PCT/JP2012/072497 WO2013035704A1 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置
JP2013532609A JP5679066B2 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置

Publications (2)

Publication Number Publication Date
JP5679066B2 true JP5679066B2 (ja) 2015-03-04
JPWO2013035704A1 JPWO2013035704A1 (ja) 2015-03-23

Family

ID=47832149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013532609A Active JP5679066B2 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置

Country Status (6)

Country Link
US (1) US9286515B2 (ja)
EP (1) EP2754393A4 (ja)
JP (1) JP5679066B2 (ja)
KR (1) KR101604232B1 (ja)
CN (1) CN103974656B (ja)
WO (1) WO2013035704A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
CN103280072B (zh) * 2013-05-30 2016-08-10 苏州福丰科技有限公司 一种防疲劳驾驶装置
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
JP6338445B2 (ja) * 2014-05-12 2018-06-06 学校法人慶應義塾 瞬き検出システムおよび方法
AU2015276536B2 (en) * 2014-06-20 2017-12-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method, and computer program for detecting momentary sleep
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
JP5880741B1 (ja) * 2014-12-26 2016-03-09 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
US20160343229A1 (en) * 2015-05-18 2016-11-24 Frank Colony Vigilance detection method and apparatus
CN105030244B (zh) * 2015-06-29 2018-05-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测系统
JP2017068576A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
CN205440259U (zh) * 2016-03-25 2016-08-10 深圳市兼明科技有限公司 基于虹膜识别的安全驾驶装置
JP6638523B2 (ja) * 2016-03-31 2020-01-29 オムロン株式会社 顔画像処理装置および顔画像処理システム
CN105869356B (zh) * 2016-06-15 2018-08-21 上海帝仪科技有限公司 一种铁路司机工作状态的评估干预系统及方法
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
CN106725322B (zh) * 2016-12-22 2020-10-30 东软集团股份有限公司 确定处于睡眠临界区的方法及装置
DE112017005233B4 (de) * 2017-01-17 2021-08-26 Mitsubishi Electric Corporation Augenliderkennungsvorrichtung, Schläfrigkeitsbestimmungsvorrichtung und Augenliderkennungsverfahren
WO2019123569A1 (ja) * 2017-12-20 2019-06-27 日本電気株式会社 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
JP2021131708A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 運転支援装置
JP7392536B2 (ja) * 2020-03-19 2023-12-06 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
WO2022061403A1 (en) * 2020-09-22 2022-03-31 Sdip Holdings Pty Ltd Devices and processing systems configured to enable assessment of a condition of a human subject based on sensorimotor gating of blinks
DE102021111465A1 (de) * 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
CN113967014B (zh) * 2021-12-22 2022-04-08 成都航空职业技术学院 基于大数据的学生行为分析装置、系统及方法
CN115869547B (zh) * 2022-12-19 2024-03-26 光朗(海南)生物科技有限责任公司 一种可识别睁闭眼状态的近视治疗设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008073335A (ja) * 2006-09-22 2008-04-03 Toyota Central R&D Labs Inc 覚醒低下検出装置及び覚醒低下検出プログラム
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010184067A (ja) * 2009-02-13 2010-08-26 Toyota Motor Corp 生体状態推定装置
WO2010107066A1 (ja) * 2009-03-19 2010-09-23 アイシン精機株式会社 眠気判定装置及びプログラム
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP2000199703A (ja) 1999-01-06 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
AU767533B2 (en) * 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
JP2006136556A (ja) 2004-11-12 2006-06-01 Toyota Motor Corp 居眠り検出装置及び検出方法
JP4896002B2 (ja) * 2005-03-01 2012-03-14 パナソニック株式会社 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
CN101968917B (zh) * 2006-10-13 2013-04-24 丰田自动车株式会社 车载警告装置
JP4492652B2 (ja) 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
JP5050794B2 (ja) 2007-11-14 2012-10-17 トヨタ自動車株式会社 眠気検知装置、眠気検知方法
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008073335A (ja) * 2006-09-22 2008-04-03 Toyota Central R&D Labs Inc 覚醒低下検出装置及び覚醒低下検出プログラム
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010184067A (ja) * 2009-02-13 2010-08-26 Toyota Motor Corp 生体状態推定装置
WO2010107066A1 (ja) * 2009-03-19 2010-09-23 アイシン精機株式会社 眠気判定装置及びプログラム
JP2010224637A (ja) * 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法

Also Published As

Publication number Publication date
CN103974656B (zh) 2016-10-12
KR101604232B1 (ko) 2016-03-17
EP2754393A1 (en) 2014-07-16
US20140205149A1 (en) 2014-07-24
US9286515B2 (en) 2016-03-15
WO2013035704A1 (ja) 2013-03-14
KR20140066162A (ko) 2014-05-30
JPWO2013035704A1 (ja) 2015-03-23
CN103974656A (zh) 2014-08-06
EP2754393A4 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5679066B2 (ja) 居眠り検出方法と装置
JP5210773B2 (ja) 眠気判定装置及びプログラム
US8433095B2 (en) Drowsiness detector
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
US7948387B2 (en) Drowsiness determination apparatus, program, and method
KR101293411B1 (ko) 졸음 판정 장치 및 프로그램
JP4743137B2 (ja) 眠気判定装置及びプログラム
JP4677940B2 (ja) 眠気検出装置
JP6387892B2 (ja) 眠気検知装置
JP4811255B2 (ja) 状態推定装置
KR20110017883A (ko) 졸음 이벤트의 검출을 위한 방법 및 장치
JP5333284B2 (ja) 生体状態判定装置
Nakamura et al. Detection of driver's drowsy facial expression
JP4776581B2 (ja) 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム
JP3681657B2 (ja) 覚醒度推定装置および覚醒度推定方法
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
JP6344254B2 (ja) 眠気検知装置
JP5189893B2 (ja) 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム
Mašanović et al. Driver monitoring using the in-vehicle camera
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP6604266B2 (ja) 眠気検知装置
JP2006136556A (ja) 居眠り検出装置及び検出方法
US20220370009A1 (en) Stress estimation device, stress estimation method, and recording media
JP2008073335A (ja) 覚醒低下検出装置及び覚醒低下検出プログラム
JP2020057198A (ja) 眠気発生予測装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5679066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250