JP6387892B2 - 眠気検知装置 - Google Patents

眠気検知装置 Download PDF

Info

Publication number
JP6387892B2
JP6387892B2 JP2015085497A JP2015085497A JP6387892B2 JP 6387892 B2 JP6387892 B2 JP 6387892B2 JP 2015085497 A JP2015085497 A JP 2015085497A JP 2015085497 A JP2015085497 A JP 2015085497A JP 6387892 B2 JP6387892 B2 JP 6387892B2
Authority
JP
Japan
Prior art keywords
threshold
opening
eyelid
value
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015085497A
Other languages
English (en)
Other versions
JP2016202419A (ja
Inventor
善幸 畠山
善幸 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015085497A priority Critical patent/JP6387892B2/ja
Priority to US15/085,121 priority patent/US9592835B2/en
Priority to EP16165855.4A priority patent/EP3081156B1/en
Publication of JP2016202419A publication Critical patent/JP2016202419A/ja
Application granted granted Critical
Publication of JP6387892B2 publication Critical patent/JP6387892B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/04Vehicle stop
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/06Ignition switch

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Developmental Disabilities (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Anesthesiology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、人間の眠気を検知する装置に係り、より詳細には、人間の瞼の開閉動作から得られる指標値に基づいて眠気を検知する装置に係る。本発明の装置は、車両又は移動体の運転中の運転者の眠気を検知するために利用される。
人間の眠気を検知する装置として、人間の顔或いは瞼を撮像し、その撮影画像に於いて瞼の動きやその他の顔の表情の変化を捉えて、その人が眠気を感じているか否かを判定する装置が種々提案されている。例えば、特許文献1に於いては、被検者の目とその周辺の撮影画像に於いて、瞼を連続して開いている時間(以下、開眼時間)を観測し、その開眼時間のばらつき(標準偏差)が算出され、その開眼時間の標準偏差が眠気増加に伴って低下し、所定の閾値を下回ったときに「居眠りが発生した」と判定する構成が提案されている。また、特許文献2に於いては、被検者の顔の画像から、ため息、あくび、目の見開き、しかめ顔をするときの口の動きの4種の顔表情の発生が計測され、異なる種類の顔表情の二つの組み合わせの発生頻度に対応して定義された覚醒度を、推定結果として出力する構成が提案されている。
特開2011−167398 特開2007−236488
日本機械学会論文集(C編) 63巻613号(1997−9) 論文 No.96−1780 3059−3066頁
上記の如き眠気検知装置に関して、被検者によっては、眠気の増加と共に瞼が閉じてしまわないように、意図的に瞬きを激しくしたり、目を見開いたりすることにより、その被検者の開眼時間の標準偏差が増加する場合がある。そこで、本発明の発明者は、特願2015−25886に於いては、眠気が増加した際に、瞼の開閉運動が鈍くなるのではなく、意図的に瞬きを激しくしたり、目を見開いたり、或いは、瞬きをしないようして、返って、開閉運動が激しくなる被検者の場合にも、被検者の眠気の発生を従前よりも精度よく検知できるように、被検者の眠気の有無又は程度と相関を有する量である「瞼開閉特徴量」が、上下の閾値にて画定される被検者が眠気を感じていない状態に於ける値の範囲から、上側と下側とのいずれかに逸脱した場合に被検者が眠気を感じていると判定する構成を提案した。
ところで、上記の眠気検知装置に於いて、「瞼開閉特徴量」に対する閾値は、被検者が眠気を感じていない状態(以下、「通常状態」と称する。)に於いて計測される瞼開閉特徴量に基づいて設定される。この点に関し、瞼開閉特徴量には、通常状態であっても、個人差及び個人内差(被検者の置かれた状況の変化による変動)があり、また、瞼開閉特徴量の実際の計測値は、或る程度のばらつきを有する。従って、或る被検者に対して眠気の検知を行う際には、「瞼開閉特徴量」に対する閾値は、その眠気の検知が実行される比較的近い時期であって被検者が通常状態にある間に、統計的に有意なデータ量が得られるまでの期間に亘って計測された「瞼開閉特徴量」を用いて決定されることが好ましい。そこで、眠気検知装置が自動車等の車両の運転者の運転中の眠気の検知のために利用される場合、典型的には、「瞼開閉特徴量」に対する閾値は、運転開始直後から所定の期間に亘って計測された運転者の瞼開閉特徴量に基づいて設定される。
上記の如く、眠気検知装置が運転者の運転中の眠気の検知に利用される場合に関して、車両の運転は、しばしば、休憩などの中断を挟んで行われ、中断の態様(休憩中の運転者の過ごし方や休憩の長さなど)によっては、運転を再開したときの運転者の状態は、中断前の状態から変化することがある。そして、もし通常状態に於ける瞼開閉特徴量が中断前の状態から変化していると、中断前の通常状態に基づいて設定された閾値を用いた眠気の判定処理では、眠気の誤判定(誤検知、見逃し)が生じ得ることとなる。従って、車両の運転中の眠気の検知を、より精度良く実行するためには、車両の運転の中断毎に、「瞼開閉特徴量」に対する閾値の再設定を繰り返すことが好ましいということになる。しかしながら、「瞼開閉特徴量」に対する閾値の設定には、上記の如く、実際に眠気の検知の処理を実行する前に所定の期間を要し、その間は、眠気の検知が実行されないこととなる。また、例えば、運転の中断が比較的短時間であり、運転者の状態が、中断の前後で殆ど変わっていないこともあり、その場合には、運転再開後の「瞼開閉特徴量」に対する閾値の再設定は不要であり、しかも、閾値の再設定が不要であるにもかかわらず、閾値の再設定のための所定の期間に於いて、運転者の眠気の検知が実行されないこととなる。かくして、眠気検知装置を車両の運転者の運転中の眠気の検知に利用する場合、運転中断後に「瞼開閉特徴量」に対する閾値の再設定を実行するか否かは、運転中断前後に於ける運転者の状態の変化等に因る閾値の再設定の必要性を推定して、決定できることが望ましい。
従って、本発明の一つの課題は、車両の運転者の運転中の眠気を検知するための眠気検知装置に於いて、運転の中断があった場合には、眠気の検知(眠気の有無の判定)に用いる「瞼開閉特徴量」に対する閾値の再設定を実行するか否かをその閾値の再設定の必要性を考慮して決定する構成を提供することである。
本発明によれば、上記の課題は、車両の運転中の被検者の眠気を検知するための装置(以下、「眠気検知装置」と称する。)であって、被検者、即ち、運転者の瞼の開閉状態を検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を逐次的に算出する手段と、所定の期間に亘って得られる瞼開閉特徴量を用いて瞼開閉特徴量に対する閾値を設定する閾値設定手段と、所定の期間の経過後に於いて閾値によって画定される範囲から瞼開閉特徴量が逸脱したときに被検者が眠気を感じていると判定する眠気判定手段とを含み、車両の運転の中断があった後に車両の運転が再開されたときに、閾値設定手段が、運転の再開前までの被検者の状態に基づいて閾値の再設定を実行するか否かを判定し、閾値の再設定を実行すると判定したときに、運転の再開後から所定の期間に亘って得られる瞼開閉特徴量を用いて瞼開閉特徴量に対する閾値を設定する装置によって達成される。
上記の構成に於いて、「瞼の開閉状態を検出する手段」は、被検者の瞼が開いているか閉じているかが判定できる任意の装置であってよく、典型的には、カメラにより撮影された被検者の瞼の画像に基づいて瞼の開閉状態を判定する装置が採用される。また、瞼の開閉状態を検出する手段は、被検者の眼電信号に基づいて瞼の開閉状態を判定する装置であってもよい。「瞼の開状態と閉状態との間の遷移の時間間隔」とは、瞼の開閉状態を検出する手段によって時々刻々に得られた瞼が開いているか閉じているかの判定結果のデータに於いて、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、(1)瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔、即ち、瞼が継続して開いている時間の長さ(開眼時間)、(2)瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔、即ち、瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ(瞬き開始時間隔)、(3)瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔、即ち、瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ(瞬き終了時間隔)、或いは、(4)瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔、即ち、瞼が継続して閉じている時間の長さ(閉眼時間)のいずれであってもよい。
「瞼開閉特徴量」とは、端的に述べれば、上記の「瞼の開状態と閉状態との間の遷移の時間間隔」から抽出される被検者の眠気の有無又は程度と相関を有する量である。具体的には、被検者が眠気を感じると、「瞼の開状態と閉状態との間の遷移の時間間隔」の態様が、眠気を感じていないときと比べて統計的に変化するので、そのような「瞼開閉特徴量」としては、例えば、「瞼の開状態と閉状態との間の遷移の時間間隔」の統計量を表す指標値、より詳細には、標準偏差、平均値、中央値、分散値等であってよい。特に、被検者の瞼の開閉運動は、眠気を感じると、そうでない通常のときに比して、鈍くなるか、或いは、激しくなって、統計的なばらつきが変化するので、その場合には、「瞼開閉特徴量」として、「瞼の開状態と閉状態との間の遷移の時間間隔」の標準偏差又は分散値が好適に採用される。そして、瞼開閉特徴量が、通常の状態、即ち、被検者が眠気をかんじていない状態に於いて取り得る値の範囲から逸脱すると、被検者が眠気を感じていることが検知されることとなる。通常の状態に於ける瞼開閉特徴量が取り得る値の範囲は、閾値設定手段に於いて、所定の期間に亘って得られる瞼開閉特徴量を用いて画定される。なお、既に触れた如く、人間が眠気を感じた場合、瞼の開閉運動に変化が表れ、典型的には、瞼の運動が遅くなって「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが統計的に低減することが多いところ、人によっては、眠気を感じたときに、その眠気に耐えるために、意図的に目を見開いたり、激しく瞬きをするなどの瞼を運動させるので、そのような被検者の場合には、「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが増大する。従って、上記の装置に於いて、上側閾値と、該上側閾値よりも低い下側閾値とが設定され、眠気判定手段が、瞼開閉特徴量が上側閾値と下側閾値との間の範囲から逸脱したときに被検者が眠気を感じていると判定するように構成されていてよい。また、所定の期間に亘って得られる瞼開閉特徴量を用いて閾値を設定する場合、一つの態様として、後述の実施形態に説明されている如く、所定の期間に亘って得られる瞼開閉特徴量の平均値に、所定の1より小さい正数又は所定の1より大きい正数を乗じた値が、それぞれ、下側閾値又は上側閾値として設定されてよい。
上記の眠気の有無の判定に関して、既に触れた如く、被検者の眠気を感じていないときと眠気を感じているときの瞼の開状態と閉状態との間の遷移の時間間隔には、個人差及び個人内差があるので、或る被検者についての眠気の有無の判定の基準となる閾値は、その被検者の(眠気判定実行時に比較的近い時期の)瞼の開状態と閉状態との間の遷移の時間間隔を用いて設定することが好ましい。この点に関し、車両の運転中の被検者の眠気を検知するための車載の眠気検知装置の場合、車両の運転開始直後に於いては、運転者(被検者)は、眠気を感じていないと想定されるので、典型的には、閾値は、車両の走行開始から所定の期間、例えば、統計的に有意なデータ量が得られるまでの期間に得られる瞼開閉特徴量を用いて設定されることとなる。一方、車両の運転中に休憩などによって運転が中断された場合、上記の如く、運転中断後に於いて、運転者の状態が閾値を再設定した方が良いほど変化している場合がある一方、そのような変化がなく、閾値の再設定が必要でない場合もある。そこで、本発明に於いては、上記の如く、車両の運転の中断があった後に車両の運転を再開するときに、閾値設定手段によって、閾値の再設定を実行するか否かが運転の再開前までの被検者の状態に基づいて判定され、閾値の再設定を実行すると判定されたときに、閾値が、運転の再開後から所定の期間に亘って得られる瞼開閉特徴量を用いて再設定されることとなる。かかる構成によれば、閾値の再設定が必要ない場合までにも、閾値の再設定が実行されてしまい、その設定に要する期間に於いて、眠気の検知が実行されないといった状況が回避できることとなる。
上記の閾値の再設定を実行するか否かの判定に関して、より具体的には、一つの態様として、運転の中断時間が長いと、被検者の状態が変化している可能性が高いので、車両の運転の中断の時間が所定時間より長いとき閾値の再設定を実行するようになっていてよい。所定時間の長さは、実験的に設定されてよい。また、別の態様として、車両の運転の中断前に被検者の眠気が検知されたときに閾値の再設定を実行するようになっていてよい。例えば、車両の運転中に運転者が眠気を感じて運転を中断して休憩を取った場合、通常の状態に於ける瞼開閉特徴量の変動の態様が運転の中断前の状態と変化する場合がある。その場合、運転中断前の状態と同じ閾値を使用すると眠気の有無が誤検知されやすいことがあるので、閾値の再設定が実行されてよい。なお、上記の条件のいずれか一方でも成立した場合には、閾値の再設定が実行されるようになっていてよい。
更に、上記の構成に於いて、閾値設定手段が所定の期間に亘って得られる瞼開閉特徴量を用いた閾値の設定が完了するまでの間、眠気判定手段は、所定の期間よりも前に得られた瞼の開状態と閉状態との間の遷移の時間間隔の時系列データを用いて設定された閾値を用いて被検者が眠気を感じているか否かの判定をするようになっていてよい。例えば、或る日に於いて初めて車両の運転を行う場合には、その日の被検者の瞼開閉特徴量のデータが存在していないので、前日以前のデータを用いて得られる閾値が使用されてよい。その場合、設定される閾値の統計的により信頼性を向上するべく、(比較的近い)複数の日に亘るデータが使用されてよい。この点に関し、高速道路の走行中に於いては、一般道の走行中に比して、運転者が眠気を感じ易いことが見出されているので、閾値の設定に於いては、一般道の走行中に於けるデータが使用されることが好ましい。
ところで、後述の実施形態に於ける瞼開閉特徴量の例を参照して理解される如く、瞼開閉特徴量は、ゆらぎの多い値である場合があるので、通常の状態でも、瞬間的に、閾値によって画定される範囲を逸脱することがある。一方、被検者が真に眠気を感じるようになると、瞼開閉特徴量が閾値によって画定される範囲を反復して又は持続的に逸脱することとなる。そこで、瞬間的な瞼開閉特徴量のゆらぎによって眠気ありとすると誤判定を回避すべく、上記の本発明の装置に於いては、更に、眠気判定手段が、瞼開閉特徴量が閾値によって画定される範囲から逸脱している時間の長さが所定の長さを超えたとき又は瞼開閉特徴量が閾値によって画定される範囲から逸脱する回数が所定の回数を超えたときに、眠気があったとの判定を行うようになっていてよい。
また、上記の本発明の装置に於いては、閾値設定手段が、複数の互いに異なる大きさの閾値を設定し、眠気判定手段が、複数の閾値の各々に対する瞼開閉特徴量の大小関係に基づいて被検者の眠気の程度が複数の段階のうちのいずれであるかを判定するよう構成されていてよい。瞼開閉特徴量は、眠気の程度が強いほど、閾値によって画定される範囲から大きく逸脱する。従って、上記の如く、閾値によって画定される範囲を複数の段階に設定し、瞼開閉特徴量が複数の段階のうちのいずれに達するかによって、眠気の程度の強さを判定することが可能となる。
かくして、上記の本発明の構成に於いて、車両の運転者の運転中の眠気を検知する場合に、被検者の状態が変化し得る運転の中断があった際には、運転再開までの状況に基づいて閾値の再設定をするか否かを決定することとなるので、運転再開後に於いても、精度よく眠気の検知が可能となると伴に、不要に閾値の再設定を実行することが回避される。かかる構成によれば、眠気の検知が行われない空白の時間をできるだけ短くすることができ、眠気の検知処理が可能な時間が長くなるので、より確実に、車両運転中の運転者の眠気の検知ができることとなる。
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
図1(A)は、本発明の眠気検知装置の構成を模式的に表した図である。図1(B)は、本発明の眠気検知装置の作動の概要をフローチャートの形式で表した図である。 図2(A)は、本発明の眠気検知装置に於いて、カメラ画像を用いて目と瞼の画像を撮影する場合の被検者の顔面の模式図である。図2(B)は、瞼の画像から得られる瞼の開度の時間変化の例と、瞼の開度を二値化して得られる瞼開閉状態指標値の時間変化の例を示している。図2(C)は、本発明の眠気検知装置に於いて眼電信号により瞼の開度を検出する場合に被検者の顔面に取り付けられる電極の配置を模式的に示している。 図3(A)は、瞼開閉状態指標値の時系列データに於いて計測される開眼時間を説明する図である。図3(B)は、瞼開閉状態指標値の時系列データに於いて計測される瞬き開始時間隔を説明する図である。図3(C)は、瞼開閉状態指標値の時系列データに於いて計測される瞬き終了時間隔を説明する図である。 図4(A)は、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。図4(B)は、図4(A)の開眼時間の時系列データから瞼開閉特徴量として算出された開眼時間の標準偏差の時系列データである。図4(C)は、図4(A)の開眼時間の時系列データに於いて、ノイズ(値の大きいデータと値の小さいデータ)を除去してから算出された開眼時間の標準偏差の時系列データである。 図5(A)は、開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データの例であり、図5(B)は、図5(A)の如き瞼開閉特徴量の時系列データに於いて、瞼開閉特徴量に対する閾値の設定方法を説明する図である。図5(C)は、眠気の程度を決定する場合に複数の段階にて設定される閾値の例を示した図である。 図6(A)は、瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データ(瞼開閉特徴量)と設定された閾値とを示した図である。図6(B)は、図6(A)のデータに於いて、瞼開閉特徴量が一度でも閾値の設定される範囲から逸脱した際に、眠気ありの判定を行う場合を説明する図であり、図6(C)は、図6(A)のデータに於いて、瞼開閉特徴量が閾値の設定される範囲から逸脱した回数が所定回数(図示の例では、3回)に達すると、眠気ありの判定を行う場合を説明する図であり、図6(D)は、図6(A)のデータに於いて、瞼開閉特徴量が閾値の設定される範囲から逸脱した時間が所定時間(図示の例では、300秒)に達すると、眠気ありの判定を行う場合を説明する図である。 図7(A)、(B)は、車両の運転中の運転者の開眼時間の標準偏差の時系列データであって、途中に休憩による運転の中断があった場合の例を示している。(A)に於いて、R1にて休憩のための運転の中断があり、(B)に於いては、R2にて休憩のための中断があった。(A)、(B)のそれぞれの下段は、同一の運転に於いて、別の方法(非特許文献4に記載の方法)により計測された運転者の眠気の強さを示している。 図8は、車両の運転開始直後に閾値を設定するための瞼開閉特徴量のデータの収集する期間に於いて、仮の閾値を設定するための、前日以前の運転中の開眼時間の時系列データを示している。
1…被検者
2…被検者の目
3…カメラ
4…信号処理装置
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
装置の構成
本発明の眠気検知装置は、端的に述べれば、特許文献1、特願2015−25886に記載の装置と同様に、被検者の瞼の開閉運動を計測し、その計測された瞼の開閉運動の時系列データから被検者の眠気に相関のある瞼開閉特徴量を抽出し、瞼開閉特徴量が眠気を感じていない場合の値域から逸脱したときに、被検者が眠気を感じていると判定する形式の装置である。図1(A)を参照して、本発明の眠気検知装置の基本的な構成に於いては、まず、被検者1の目及び瞼2が、カメラ3などの撮像装置の視野に含まれるように、撮像装置が配置され、撮像装置で得られた画像信号が、信号処理装置4に取り込まれる。なお、後述の如く、被検者1の目及び瞼2の開閉運動は、眼電信号によって検出されてもよく、その場合には、被検者の顔面に貼られた電極からの信号が信号処理装置4へ与えられる。そして、信号処理装置4に於いて、画像処理部が撮像装置から送られてきた画像信号から被検者の目及び瞼2の像を含む画像を構成し、データ処理部が、後に説明されるように、被検者の目及び瞼2の画像を用いて、被検者の眠気の検知に必要なデータ処理と眠気の有無の判定を実行する。かくして、データ処理部に於いて、被検者が眠気を感じていることが判定されると、その判定結果が、結果出力部へ送信され、例えば、スピーカ5による音声や、被検者に物理的な刺激を与える振動器などを通じて、被検者に伝達される。信号処理装置4は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、眠気検知装置の各部の作動は、CPUに於いてプログラムを実行することにより達成されることとなる。
なお、本発明の装置に於いては、車両の運転の中断があった場合に、その中断後に閾値の再設定を実行するか否かを判断する処理が実行される。そのために、上記の構成に加えて、信号処理装置4のデータ処理部には、車両が運転されているか否かを検知するための情報(車両運転状態情報)が入力される。車両運転状態情報の例としては、車速を表す信号、駆動スイッチ又はイグニッションスイッチのON/OFFを示す信号などであってよく、データ処理部に於いては、車両が運転されているか否かが判定され、この情報によって、運転の中断があったときに、その中断の時点から運転が再開されるまでの時間等が計測され、後述の如く、中断の時間の長さなどによって、閾値の再設定を実行するか否かが決定されることとなる。
装置の作動の概要
図1(B)を参照して、本発明の装置による眠気検知処理に於いては、車両の運転中、プログラムに従って、まず、被検者(運転者)の瞼の開閉状態を表す指標値の取得が逐次的に実行され(ステップ1)、その指標値の時系列データに於いて、瞼の開状態と閉状態との間の遷移の時間間隔が逐次的に計測され(ステップ2)、しかる後、瞼の開閉状態の遷移の時間間隔の時系列データに於いて眠気の有無に相関のある「瞼開閉特徴量」の算出が逐次的に実行される(ステップ3)。そして、眠気の有無の判定のための「瞼開閉特徴量」に対する閾値が設定されていないときには(通常、装置の使用開始直後から所定の期間)、閾値の設定のための処理(ステップ4、5)が実行される。かくして、サイクルが繰り返される間に、閾値の設定が為されると(ステップ4)、被検者の眠気の判定(ステップ7)が実行されることとなる。また、車両の運転中に休憩などを取ることによって、運転の中断があった場合、運転の再開時には、車載の眠気検知装置の場合には、被検者の状態によっては、閾値の再設定が必要な場合がある。そこで、本実施形態に於いては、閾値が設定されていることが確認された後(ステップ4)、閾値の再設定を行うべき条件が成立しているか否かを判定する処理(ステップ6)が実行され、閾値の再設定を行うべき条件が成立していると判定された場合、具体的には、運転の中断後に運転を再開する際に、後述の如き閾値の再設定をした方がよい条件が成立していると判定された場合には、閾値の設定のための処理(ステップ5)が実行されることとなる。なお、上記の本実施形態の装置に於いて、被検者の瞼の開閉状態を検出する手段、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段、瞼開閉特徴量を算出する手段、閾値設定手段及び眠気判定手段は、図1(A)の撮像装置(又は電極装置)と信号処理装置4のプログラムに従った作動により実現される。以下、上記の一連の処理の各々について、詳細に説明する。
瞼開閉状態指標値の取得(ステップ1)
本発明の装置に於ける被検者の瞼の開閉状態を表す指標値(瞼開閉状態指標値)の取得に於いては、一つの態様として、既に触れた如く、カメラ等の撮像装置によって逐次的に撮影された被検者の目と瞼の画像に於いて瞼の開閉運動が検出され、その瞼の開閉運動の検出データから瞼が開いている状態と閉じている状態とを表す時系列データが調製される。その場合、まず、カメラの等の撮像装置は、図2(A)に模式的に描かれている如く、その視野が被検者の目及び瞼を含むように任意の場所に設置されてよい。具体的なカメラの等の撮像装置の設置位置は、例えば、被検者として車両の運転者の眠気を判定する場合には、車両のダッシュボードの上、ハンドル、天井等の被検者の目及び瞼を撮影できる部位であれば、任意の場所であってよい。また、カメラの等の撮像装置は、被検者のメガネ、帽子等の装着物に取り付けられてもよい。そして、カメラの等の撮像装置は、逐次的に被検者の目と瞼を撮像し、その画像信号から目と瞼の画像が逐次的に構成される。
被検者の目及び瞼の逐次的な画像又は連続画像が得られると、その画像に於いて上瞼と下瞼の位置が逐次検出され、それらの距離が計測されて、図2(B)上段に描かれている如き、瞼開度(上瞼と下瞼の距離)の時系列データが調製される。画像に於ける上瞼と下瞼の位置の検出は、上下瞼像や眼球の像の輝度や色相の特徴に基づき任意の画像処理方法によって達成されてよい。そして、得られた瞼開度の時系列データは、瞼開度の最大値と最小値との間に於いて瞼の開状態と閉状態との境界に設定される閾値を上回っているか否かを判定することにより、開状態と閉状態とに二値化され、図2(B)下段に描かれている如き瞼が開いているか閉じているかを表す指標値である瞼開閉状態指標値の時系列データが調製される。
上記の瞼開度は、任意の態様で計測されてよく、そのような場合も本発明の範囲に属することは理解されるべきである。別の態様として、例えば、既に触れた如く、瞼開度は、被検者の眼電信号(瞬きにともなう眼球の回転による電圧変化)の高低によっても計測可能である。その場合、図2(C)に模式的に描かれている如く、例えば、被検者の目の上下などの複数の領域のそれぞれに電極が貼付され、その電極間の電圧が信号(眼電信号)として計測され、信号処理装置へ送信される。また、電極は、メガネ、ゴーグル、ヘルメット等の頭部装着物に取り付けたり、タトゥーなどの肌に張り付ける装飾品に内蔵されてもよい。眼電信号の場合も、瞼の運動に対して、図2(B)と同様の時系列データが得られるので、そのデータを二値化することにより、瞼開閉状態指標値の時系列データが調製される。
なお、後に説明される如く、本発明の装置の処理では、或る期間に亘る瞼開閉状態指標値の統計的な量の演算処理を実行するので、瞼開閉状態指標値の時系列データは、信号処理装置4内のデータメモリに記憶される。
瞼開閉特徴量の算出(ステップ2、3)
瞼開閉状態指標値の時系列データが得られると、その瞼開閉状態指標値の時系列データから、被験者の眠気の有無に相関のある量が抽出される。かかる被験者の眠気の有無に相関のある量を、本発明に於いては、「瞼開閉特徴量」と称する。本実施形態に於いて、「瞼開閉特徴量」は、瞼開閉状態指標値の時系列データに於いて瞼開閉状態の遷移時間間隔を、所定の期間に亘って逐次的に計測し、その計測された遷移時間間隔の統計的演算処理によって算出される。以下、「瞼開閉特徴量」の算出処理過程を説明する。
(i)瞼開閉状態の遷移時間間隔の計測(ステップ2)
瞼開閉特徴量の算出処理過程に於いては、まず、データメモリに記憶された瞼開閉状態指標値の時系列データ上に於いて、瞼の開状態と閉状態との間の遷移の時間間隔が計測される。瞼の開状態と閉状態との間の遷移の時間間隔(以下、「瞼開閉状態遷移時間間隔」と称する。)とは、「発明の概要」の欄にて述べた如く、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、(1)開眼時間(瞼が継続して開いている時間の長さ)、即ち、瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔(図3(A))、(2)瞬き開始時間隔(瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ)、即ち、瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔(図3(B))、(3)瞬き終了時間隔(瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ)即ち、瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔(図3(C))、或いは、(4)閉眼時間(瞼が継続して閉じている時間の長さ)、即ち、瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔(図示せず)のいずれであってもよい。また、瞼開閉状態遷移時間間隔は、(1)〜(4)のいずれの場合も、図3(A)〜図3(C)に描かれている如く、現在(Tnow)より、過去に遡って計測されて、遷移の時間間隔の値の時系列データが調製される。例えば、図3(A)の開眼時間の場合、開眼時間tonが、現在時刻Tnowから遡って、to,to,to,…ton−1,toの如く計測され、時系列データが構成される。図4(A)は、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。
(ii)瞼開閉特徴量の算出(ステップ3)
上記の如く、瞼開閉状態遷移時間間隔が計測されると、現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、瞼開閉特徴量として、瞼開閉状態遷移時間間隔の統計量が算出される。統計量としては、標準偏差値、分散、平均値、中央値などであってよい。例えば、具体的には、瞼開閉状態遷移時間間隔として開眼時間が選択され、瞼開閉特徴量として開眼時間の標準偏差値が選択される場合には、現在時点から遡って、n個の開眼時間データ
{to,to,to, ton−1,to} …(1)
がデータメモリから抽出され、標準偏差値SD(t)が、下記の式
Figure 0006387892
により算出される。ここに於いて、nは、データ抽出数であり、iは、データ番号であり、toiは、i番目の開眼時間データであり、toaは、抽出されたn個のデータ値の平均値である。そして、標準偏差値SD(t)(瞼開閉特徴量)は、図1(B)のサイクルが繰り返される間に、図5(A)に示されている如く、逐次的に算出される。なお、同図を参照して、処理の開始後の或る期間(データ蓄積期間)に於いては、統計的に有意な瞼開閉特徴量を算出するために必要なデータ数が存在していないので、瞼開閉特徴量は、算出されない。瞼開閉特徴量として、瞬き開始時間隔、瞬き終了時間隔又は閉眼時間の分散、平均値又は中央値が選択される場合も同様に現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、時系列の瞼開閉特徴量が算出されることは理解されるであろう。
ところで、車両の運転中に於いて、運転者が他車両、歩行者、道路標識などの注意対象を注視した場合、開眼時間が、通常とは異なる値をなり、開眼時間の標準偏差にも変化が生ずる場合ある。かかる変化は、眠気の発生を原因とした変化との区別ができず、後に説明される眠気の判定に於いて、誤判定を生じ得る。そこで、本実施形態に於いては、車両の運転中の対象物注視による開眼時間の変化(以下、「注視によるノイズ」と称する。)の影響を除去するための処理が実行されてよい。この点に関し、眠気は、典型的には、数分〜数時間のオーダにて持続する現象であるのに対し、注意対象の注視は、その注意対象が通り過ぎる間だけの一過性の現象であるので、開眼時間の変化も一過性であると想定される。従って、開眼時間の時系列データに於ける注意対象の注視に起因するノイズが一過性であることを考慮して、ノイズの除去の処理として、下記のいずれかの態様の処理が、瞼開閉特徴量の演算の前に開眼時間の時系列データに対して実行される。
注視によるノイズの除去処理の第一の態様に於いては、瞼開閉特徴量の算出のための開眼時間の時系列データ[m個]に於いて、値の大きい上位nh個のデータと値の小さい下位nl個のデータが各々除去され、上記の瞼開閉特徴量の演算は、残った開眼時間の時系列データ[m−(nh+nl)個]のみで実行される。具体的な処理に於いては、開眼時間の時系列データの取得後、データの値の大きさによって、データの並べ替えが実行され、そのデータ列の上位nh個と下位nl個のデータが除去されることとなる。なお、この場合、除去されるデータの個数は、可変であってもよい。
注視によるノイズの除去処理の第二の態様に於いては、瞼開閉特徴量の算出のための開眼時間の時系列データ[m個]に於いて、データ分布の両端のh%が除去され、上記の瞼開閉特徴量の演算は、残った開眼時間の時系列データのみで実行される。具体的な処理に於いては、開眼時間の時系列データの取得後、データの値の大きさによって、データの並べ替えが実行され、そのデータ列の上位及び下位に於いて、それぞれ、m×h/100個のデータが除去されることとなる。
図4(B)、4(C)は、それぞれ、運転中の被検者の開眼時間の標準偏差の時系列データの例であって、図4(B)は、上記のノイズ除去を実行しないで算出された開眼時間の標準偏差であり、図4(C)は、上記の第一の態様のノイズ除去を実行して算出された開眼時間の標準偏差である。これらの図を参照して、図示のデータに於いては、運転者は眠気を感じていない状態であるところ、図4(B)のノイズ除去を実行しないで算出された開眼時間の標準偏差は、変動が大きく、一時的に閾値で画定される範囲から逸脱が生ずる場合があったのに対し、図4(C)のノイズ除去を実行して算出された開眼時間の標準偏差は、相対的に変動が小さく、閾値で画定される範囲から逸脱が観察されなかった。かくして、上記の如き注視によるノイズの除去処理を実行することにより、眠気の誤検知の低減が図られることとなる。
閾値の設定(ステップ4、5)
本発明に於いては、既に触れた如く、上記の瞼開閉状態遷移時間間隔の標準偏差値等の瞼開閉特徴量の値が、被検者が眠気を感じていないときの値域から逸脱したときに、被検者が眠気を感じているとの判定が為される。そこで、被検者が眠気を感じていないときの瞼開閉特徴量の値域を画定するための閾値が設定される。特に、本実施形態の装置に於いては、被検者が眠気を感じていないときの瞼開閉特徴量の値域の境界である閾値として、下限閾値と上限閾値との二つが設定され、眠気を感じたときには、眠気を感じていないときに比して、瞼開閉特徴量が低減する被検者と瞼開閉特徴量が増大する被検者の双方についての眠気の検知が可能となる。また、既に述べた如く、被検者が眠気を感じていないときの瞼開閉特徴量の値域には、個人差や個人内差があるので、かかる値域を画定する閾値は、できるだけ、眠気の判定時に近い時期で、被検者が眠気を感じていないときの瞼開閉特徴量に基づいて設定されることが好ましい。そこで、本実施形態に於いては、図5(B)に模式的に描かれている如く、本発明の装置の作動直後から所定の期間の瞼開閉特徴量を用いて設定されてよい。特に、本発明の装置が被検者として車両の運転者の眠気を判定するために用いられる場合、走行直後から所定の期間が、閾値設定用のデータを蓄積するための期間とされてよい。(眠気の判定は、図示の如く、閾値設定用データ期間の経過後に閾値が設定された状態になってから、実施される。)
閾値の設定の具体的な処理としては、一つの態様として、閾値設定用のデータを蓄積するための期間に於けるM個の瞼開閉特徴量のデータを用いて、下記の式にて、閾値Hi(上限値)と閾値Lo(下限値)とが算出されてよい。
閾値Hi=Thh×Mav …(3a)
閾値Lo=Thl×Mav …(3b)
ここで、Thhは、1より大きい正係数であり、Thlは、1より小さい正係数である。Mavは、M個の瞼開閉特徴量の平均値である。M、Thh、Thlは、実験的に決定されてよい。上記の式(3a)、(3b)によれば、判定時に比較的近い時期に於ける同一被検者の閾値設定用データ期間のM個の瞼開閉特徴量の平均値によって、閾値が設定されることとなるので、瞼開閉特徴量の個人差や個人内差の影響をより小さく抑えられることが期待される。
装置の処理サイクルに於いては、瞼開閉特徴量が算出された後(ステップ3)、閾値が設定されていないときには(ステップ4)、閾値の設定処理(ステップ5)が実行される。かかる処理に於いては、M個の瞼開閉特徴量が蓄積されるまでは、サイクルを繰り返し、瞼開閉特徴量の個数がM個に到達した時点で上記の式により上下の閾値が算出され、設定される。
なお、上記の閾値は、運転中の状況に応じて変更されてよい。例えば、眠気の発生しやすい高速道路での運転の場合、運転が長時間に及ぶ場合、長時間連続運転の翌日の運転の場合などには、上側閾値の係数Thhを低減し、下側閾値の係数Thlを増大させることにより、閾値で画定される範囲の幅が狭くなり、眠気をより感度良く検知することが可能となる。
また、瞼開閉特徴量は、典型的には、眠気の程度が強くなるほど、通常の状態からの変化が大きくなる。従って、瞼開閉特徴量の通常の状態からの変化の幅を参照することによって、眠気の程度を推定することも可能である。そこで、上記の閾値設定処理に於いて、複数の互いに異なる大きさの閾値を設定し、複数の段階の閾値で画定される範囲が設定されてよい。そして、後述の眠気の判定の際に、複数の閾値の各々に対する瞼開閉特徴量の大小関係に基づいて被検者の眠気の程度が複数の段階のうちのいずれであるかが判定されるようになっていてよい。図5(C)は、閾値で画定される範囲が二段階に設定されている例を示しており、図示の如く、開眼時間の標準偏差(瞼開閉特徴量)が閾値Hi−1を超えた段階では、眠気の程度が中程度と判定され、開眼時間の標準偏差(瞼開閉特徴量)が閾値Hi−2を超えた段階では、眠気の程度が強程度と判定されることとなる。かかる構成によれば、眠気の強さに応じて、運転者に居眠りの危険性を段階的に促すべく、警報などの強度を変化させることが可能となり、居眠りに近づきつつあることを告知することが可能となる。なお、閾値で画定される範囲の段階は、2段階以上であってもよい。
眠気の有無の判定(ステップ7)
かくして、閾値が設定されると、(閾値の再設定条件が成立していないときには、)瞼開閉特徴量が上下の閾値にて画定された範囲内にあるか否かの判定が実行され、瞼開閉特徴量が上下の閾値の間の範囲から逸脱した場合には、被検者は眠気を感じていると判定される。図6(A)は、瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて眠気の判定を実施した例であり(図示の例では、閾値は、M=100、Thh=2.0、Thl=0.5と設定して算出されている。)、図示の例では、2500秒付近に於いて、標準偏差が閾値Hiを超えているので、図6(B)に示されている如く、この時点で、被検者が眠気を感じている、即ち、「眠気あり」と判定するようになっていてよい。
しかしながら、図示の例から理解される如く、開眼時間の標準偏差の如き、瞼開閉特徴量は、ゆらぎの多い値であり、通常の状態でも、瞬間的に、閾値によって画定される範囲を逸脱することがある。一方、既に注視によるノイズ除去の処理の説明に関連して述べた如く、被検者が真に眠気を感じるようになると、瞼開閉特徴量は、持続的に又は反復して閾値によって画定される範囲を逸脱することとなる。そこで、瞬間的な瞼開閉特徴量のゆらぎによって眠気ありとの判定が為されることを回避すべく、瞼開閉特徴量が閾値の画定する範囲を、或る程度にて、持続的に逸脱するようになってから、「眠気あり」と判定するようになっていてもよい。具体的には、一つの態様として、図6(C)に示されている如く、瞼開閉特徴量が閾値によって画定される範囲から逸脱する回数が所定の回数(図示の例では3回)を超えたときに眠気ありとの判定が為されるようになっていてよい。また、別の態様として、図6(D)に示されている如く、瞼開閉特徴量が閾値によって画定される範囲から逸脱する時間の長さ(積分時間)が所定の長さを超えたとき(図示の例では300秒)を超えたときに眠気ありとの判定が為されるようになっていてよい。かかる構成によれば、眠気発生の確度が高い状況で、眠気ありの判定が為されることとなり、誤報発生リスクを減らし、眠気検知装置の信頼性を向上させることが期待される。
かくして、上記の如く、被検者の眠気が検知されると、既に述べた如く、スピーカや振動器を用いて、そのことが、被検者に伝えられるようになっていてよい。
閾値の再設定(ステップ6)
既に述べた如く、車両の運転中、休憩などを取ることによって、運転が中断される場合がある。そのような運転の中断は、数分程度である場合もあれば、2〜3時間に及ぶこともある。そして、かかる運転の中断の前後に於いて、被検者である運転者の瞼の運動状態が変化する場合があることが見出されている。
例えば、図7(A)、(B)を参照して、図示の例は、図7(A)のR1に於いて10分程度の休憩による運転の中断と、図7(A)の右端から図7(B)の左端の間のR2に於いて60分程度の休憩による運転の中断とが行われた場合の瞼開閉特徴量(開眼時間標準偏差)の時系列データを示している。なお、図中、s1、s2、s3は、瞼開閉特徴量を算出するための開眼時間の蓄積時間であり、Tp1、Tp2は、閾値の設定に要する時間幅である。また、閾値Hi1、閾値Lo1は、運転開始STの直後に於ける瞼開閉特徴量を用いて決定された閾値であり、閾値Hi2、閾値Lo2は、運転再開RS2の直後に於ける瞼開閉特徴量を用いて決定された閾値である。同図の瞼開閉特徴量を参照して理解される如く、最初の10分程度の休憩R1の後の運転再開RS1の直後からしばらくの間に於いて、瞼開閉特徴量の変動は、中断前の運転開始STの直後に於ける瞼開閉特徴量の変動と略同様であることが観察される。一方、二回目の60分程度の休憩R2の後運転再開RS2直後に於ける瞼開閉特徴量の変動は、最初の中断前の運転開始STの直後及び2回目の中断前のRS1に於ける瞼開閉特徴量の変動と異なり、ゆらぎが大きくなっており(なお、RS2直後に於いて、運転者が眠気を感じていないことは、下段の別方法による眠気強さの計測(非特許文献1に記載の方法)により確認されている。)、運転開始STの直後の瞼開閉特徴量を用いて決定された閾値Hi1、閾値Lo1をそのまま使用すると、図中xにて付されている如く、瞼開閉特徴量が閾値の画定する範囲を逸脱し、眠気を感じていていないにもかかわらず、「眠気あり」との誤った判定が為されることとなる。従って、運転再開RS2直後に於いては、そこに於ける瞼開閉特徴量を用いて、閾値Hi2、閾値Lo2を再設定する必要があることが理解される。一方、運転再開RS1直後に於いては、瞼開閉特徴量の変動は、殆ど見られないので、時間(例えば、Tp1、Tp2)を要する閾値の設定は、実行しないことが好ましい。
そこで、本実施形態に於いては、既に触れた如く、閾値の再設定が必要となるような運転の中断があったか否か、即ち、閾値再設定条件が成立しているか否かが判定され、閾値再設定条件が成立していたときには、上記の如く閾値の再設定が実行される。閾値再設定条件としては、例えば、下記の条件であってよい。
(a)運転の中断前に眠気ありの判定が為された場合
運転中に運転者が眠気を感じて休憩を取った場合、休憩中に仮眠を取ったり、飲食をするなどして、眠気を解消させる場合がある。そのような眠気を感じた後に眠気を解消させる行動の後には、通常の状態に於ける瞼開閉特徴量が変化する場合があるので、閾値の再設定が実行されることが好ましい。
(b)運転の中断が所定の時間よりも長い場合
運転の中断が長い場合にも、運転者は休息を取ることとなり、通常の状態に於ける瞼開閉特徴量が変化する場合があるためであるので、閾値の再設定が実行されることが好ましい。
装置の処理サイクルに於いては、図1(B)のフローチャートを再度参照して、車両の運転が中断され、しかる後に運転が再開された際に、上記のステップ1〜3が実行されて瞼開閉特徴量が算出され、閾値が設定されている判定がされた後(ステップ4)、閾値再設定条件が成立しているか否か、例えば、上記の条件(a)及び(b)のいずれか一方が成立しているか否かが車両運転状態情報と運転中断前の眠気ありの判定の有無等を参照して判定される。そして、閾値再設定条件が成立していないと判定された場合には、運転中断前の閾値を用いて、眠気の判定(ステップ7)が実行される。一方、閾値再設定条件の少なくとも一つが成立していると判定された場合には、閾値の設定処理(ステップ5)が実行される。そして、閾値の再設定が完了してから、眠気の判定(ステップ7)が実行される。なお、閾値再設定条件は、上記の例の他に、通常の状態に於ける瞼開閉特徴量が変化し得ると予想される任意の条件(例えば、天候、明るさ、時間帯の変化など)であってもよく、そのような場合も本発明の範囲に属することは理解されるべきである。
閾値設定中の眠気判定
ところで、上記の如く、閾値の設定には、車両の運転開始から或る程度の時間(典型的には、数分程度)を要し、その間は、眠気の判定が実行されないこととなる。この点に関し、本実施形態による眠気検知装置の場合、上記の如き、運転中の閾値の再設定の場合を除き、閾値の設定は、典型的には、眠気の検知処理を実行する日の最初の運転開始の直後の所定の期間のデータを使用して実行される。しかしながら、運転者が疲労等で体調がよくないなどの理由で、運転開始前に眠気はなかったが、運転開始後すぐに眠気が生ずるといった場合があるので、運転開始直後から眠気の検知を実行できることが好ましい。
そこで、本実施形態の装置に於いては、閾値設定処理(ステップ5)により新しい閾値が設定されるまでの間に於いて、過去の瞼開閉状態指標値のデータを用いて算出された瞼開閉特徴量に基づいて設定された閾値により、眠気の検知処理(ステップ7)が実行されるようになっていてよい。過去の瞼開閉状態指標値のデータとしては、典型的には、眠気の検知処理が実行される日(当日)の前日から数日前まで、典型的には、1日前〜3日前までに亘って計測された瞼開閉状態指標値の時系列データであって、一般道の走行中に計測されたデータが好適に利用されてよい。使用する瞼開閉状態指標値の時系列データとして、当日の前日から数日間までのデータとする理由は、設定される閾値の統計的により信頼性を向上するべく、できるだけ広範囲のデータを使用することが好ましい一方、当日から時間的に離れて過ぎていると、被検者の状態の変化が大きくなっている可能性があり、そのようなデータが混入すると、閾値が現在の被検者の状態に適合しなくなる可能性があるためである。また、瞼開閉状態指標値の時系列データとして、一般道の走行中に計測されたデータを使用する理由は、典型的には、高速道を走行する場合に比して、一般道の走行中に眠気が発生する可能性が低いためである。
装置の処理サイクルに於いては、図1(B)のフローチャートを再度参照して、ステップ4に於いて、閾値の設定が完了していないとの判定が為された場合に、過去の瞼開閉状態指標値のデータを用いて決定された閾値を用いて、ステップ7の眠気判定が実行されてよい。この場合の閾値の設定に於いては、図8に例示されている如く、当日の1日前〜3日前までの瞼開閉状態指標値(図示の例では、開眼時間)の時系列データのうち、高速道の走行中のデータを除去した上で、残りの全てのデータを用いて、ステップ3、ステップ5に関連して説明された態様と同様に、瞼開閉特徴量の時系列データ(例えば、開眼時間標準偏差SD(ti)など)が算出され、更にその平均値Mavが算出されて、閾値Hi、Loが決定されてよい。なお、平均値Mavから、閾値を算出するための係数Thh、Thlは、当日のデータを用いて閾値を算出する場合と異なる値であってもよい。(例えば、係数Thh、Thlは、感度を低減するべく、閾値の画定する範囲の幅が、当日のデータに基づく閾値の場合よりも広くなるように設定されてよい。)これらの閾値は、前日の車両の運転の終了時に予め算出されておいてもよく、或いは、上記のステップ4の判定後に算出されてもよい。前日までの瞼開閉状態指標値のデータ及び/又は閾値データは、任意の態様にて保管されていてよく、例えば、車内装置又は携帯電話内のメモリ、或いは、通信ネットワーク上のサーバのメモリに保管されてよい。
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (11)

  1. 車両の運転中の被検者の眠気を検知するための装置であって、
    前記被検者の瞼の開閉状態を検出する手段と、
    前記瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、
    前記瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を逐次的に算出する手段と、
    所定の期間に亘って得られる前記瞼開閉特徴量を用いて前記瞼開閉特徴量に対する閾値を設定する閾値設定手段と、
    前記所定の期間の経過後に於いて前記閾値によって画定される範囲から前記瞼開閉特徴量が逸脱したときに前記被検者が眠気を感じていると判定する眠気判定手段と、
    を含み、
    前記車両の運転の中断があった後に前記車両の運転を再開するときに、前記閾値設定手段が、前記運転の再開前までの前記被検者の状態に基づいて前記閾値の再設定を実行するか否かを判定し、その判定に於いて、前記車両の運転の中断前に前記被検者の眠気が検知されたときに前記閾値の再設定を実行すると判定し、前記閾値の再設定を実行すると判定したときに、前記運転の再開後から前記所定の期間に亘って得られる前記瞼開閉特徴量を用いて前記瞼開閉特徴量に対する閾値を設定する装置。
  2. 請求項1の装置であって、前記閾値設定手段が、前記車両の運転の中断の時間が所定時間より長いとき前記閾値の再設定を実行すると判定する装置。
  3. 請求項1又は2の装置であって、前記閾値設定手段が、前記所定の期間に亘って得られる前記瞼開閉特徴量を用いた前記閾値の設定が完了するまでの間、前記眠気判定手段が、前記所定の期間よりも前に得られた瞼の開状態と閉状態との間の遷移の時間間隔の時系列データを用いて設定された閾値を用いて前記被検者が眠気を感じているか否かの判定をする装置。
  4. 請求項1乃至のいずれかの装置であって、前記閾値設定手段が、複数の互いに異なる大きさの閾値を設定し、前記眠気判定手段が、前記複数の閾値の各々に対する前記瞼開閉特徴量の大小関係に基づいて前記被検者の眠気の程度が複数の段階のうちのいずれであるかを判定する装置。
  5. 請求項1乃至のいずれかの装置であって、前記眠気判定手段が、前記瞼開閉特徴量が前記閾値によって画定される範囲から逸脱している時間の長さが所定の長さを超えたとき又は前記瞼開閉特徴量が前記閾値によって画定される範囲から逸脱する回数が所定の回数を超えたときに、眠気があったとの判定を行う装置。
  6. 請求項1乃至のいずれかの装置であって、前記閾値設定手段が、上側閾値と、該上側閾値よりも低い下側閾値とを設定し、前記眠気判定手段が、前記瞼開閉特徴量が前記上側閾値と前記下側閾値との間の範囲から逸脱したときに前記被検者が眠気を感じていると判定する装置。
  7. 請求項1乃至のいずれかの装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から前記瞼の開状態から閉状態への遷移までの時間間隔と、前記瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔と、前記瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔とのうちのいずれかである装置。
  8. 請求項1乃至のいずれかの装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の統計的な変化を表す指標値である装置。
  9. 請求項の装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の標準偏差である装置。
  10. 請求項1乃至のいずれかの装置であって、前記閾値が、所定の期間に亘って得られる前記瞼開閉特徴量の平均値に、所定の1よりも小さい正数又は所定の1より大きい正数を乗じた値である装置。
  11. 請求項1乃至10のいずれかの装置であって、前記瞼の開閉状態を検出する手段が、前記被検者の瞼のカメラ画像又は眼電信号に基づいて前記瞼の開閉状態を判定する装置。
JP2015085497A 2015-04-18 2015-04-18 眠気検知装置 Active JP6387892B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015085497A JP6387892B2 (ja) 2015-04-18 2015-04-18 眠気検知装置
US15/085,121 US9592835B2 (en) 2015-04-18 2016-03-30 Sleepiness detecting device
EP16165855.4A EP3081156B1 (en) 2015-04-18 2016-04-18 Sleepiness detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015085497A JP6387892B2 (ja) 2015-04-18 2015-04-18 眠気検知装置

Publications (2)

Publication Number Publication Date
JP2016202419A JP2016202419A (ja) 2016-12-08
JP6387892B2 true JP6387892B2 (ja) 2018-09-12

Family

ID=55910101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015085497A Active JP6387892B2 (ja) 2015-04-18 2015-04-18 眠気検知装置

Country Status (3)

Country Link
US (1) US9592835B2 (ja)
EP (1) EP3081156B1 (ja)
JP (1) JP6387892B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10037031B2 (en) 2016-02-05 2018-07-31 Ford Global Technologies, Llc Vehicle operation states
US20180012090A1 (en) * 2016-07-07 2018-01-11 Jungo Connectivity Ltd. Visual learning system and method for determining a driver's state
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor
TWI647666B (zh) * 2017-08-28 2019-01-11 緯創資通股份有限公司 瞌睡偵測裝置及其瞌睡偵測方法
JP6780616B2 (ja) * 2017-08-31 2020-11-04 トヨタ自動車株式会社 瞬き検出装置
US10671868B2 (en) * 2017-10-02 2020-06-02 Magna Electronics Inc. Vehicular vision system using smart eye glasses
AU2018421183A1 (en) * 2018-04-25 2020-07-02 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for blink action recognition based on facial feature points
CN109388242B (zh) * 2018-09-29 2022-03-15 苏州佳世达光电有限公司 自发性眨眼校正方法及眨眼控制方法
JP7375691B2 (ja) 2020-07-01 2023-11-08 トヨタ自動車株式会社 眠気兆候通知システム
CN112434611B (zh) * 2020-11-25 2023-04-07 中山大学 基于眼部运动细微特征的早期疲劳检测方法及系统
DE102021201498A1 (de) * 2021-02-17 2022-08-18 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers eines Fahrzeugs
WO2023154899A1 (en) * 2022-02-11 2023-08-17 Blinktbi, Inc. Systems and methods for determining eye closure status

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61175129A (ja) * 1985-01-29 1986-08-06 Nissan Motor Co Ltd 居眠り運転防止装置
JP3769442B2 (ja) * 2000-02-15 2006-04-26 ナイルス株式会社 眼の状態検出装置
JP3681657B2 (ja) * 2001-06-18 2005-08-10 三菱電機株式会社 覚醒度推定装置および覚醒度推定方法
JP5292671B2 (ja) 2006-03-06 2013-09-18 トヨタ自動車株式会社 覚醒度推定装置及びシステム並びに方法
JP2008029491A (ja) * 2006-07-27 2008-02-14 Hino Motors Ltd 覚醒度検出装置
AU2007306009B2 (en) * 2006-10-13 2010-07-15 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP4492652B2 (ja) 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
JP4820835B2 (ja) * 2008-03-19 2011-11-24 アイシン・エィ・ダブリュ株式会社 運転状態警告システム、運転状態警告方法及びプログラム
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5287875B2 (ja) 2009-02-13 2013-09-11 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP5333284B2 (ja) 2010-02-19 2013-11-06 トヨタ自動車株式会社 生体状態判定装置
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
JP6011450B2 (ja) * 2013-05-14 2016-10-19 株式会社デンソー 車両制動装置
KR20150002317A (ko) * 2013-06-28 2015-01-07 삼성전기주식회사 전원 공급 장치
JP5913218B2 (ja) 2013-07-25 2016-04-27 美代志 佐藤 分子模型
AU2014306458A1 (en) * 2013-08-16 2016-03-10 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Monitoring the effects of sleep deprivation using neuronal avalanches
US9305225B2 (en) * 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
JP6344254B2 (ja) * 2015-02-12 2018-06-20 トヨタ自動車株式会社 眠気検知装置

Also Published As

Publication number Publication date
EP3081156A1 (en) 2016-10-19
US9592835B2 (en) 2017-03-14
JP2016202419A (ja) 2016-12-08
EP3081156B1 (en) 2024-05-29
US20160304099A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
JP6387892B2 (ja) 眠気検知装置
US20220095975A1 (en) Detection of cognitive state of a driver
JP5447657B2 (ja) 生体状態判定装置
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP5679066B2 (ja) 居眠り検出方法と装置
RU2540901C2 (ru) Способ и устройство для выявления случаев микросна
JP5782726B2 (ja) 覚醒低下検出装置
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
JP6399311B2 (ja) 居眠り検知装置
JP5333284B2 (ja) 生体状態判定装置
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
EP3056375B1 (en) Sleepiness detecting device
Khan et al. Efficient Car Alarming System for Fatigue Detectionduring Driving
Li et al. Fatigue driving detection system based on face feature
JP5292671B2 (ja) 覚醒度推定装置及びシステム並びに方法
JPH08225028A (ja) 運転者の覚醒度検出装置
JP2010184067A (ja) 生体状態推定装置
JP6604266B2 (ja) 眠気検知装置
JP2018130342A (ja) 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム
US9959635B2 (en) State determination device, eye closure determination device, state determination method, and storage medium
CN109620221B (zh) 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质
JPH08332871A (ja) 覚醒度検出装置
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
Abdullah et al. Driver fatigue detection
Vinoth et al. A drowsiness detection using smart sensors during driving and smart message alert system to avoid accidents

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180730

R151 Written notification of patent or utility model registration

Ref document number: 6387892

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151