JP6387892B2 - 眠気検知装置 - Google Patents
眠気検知装置 Download PDFInfo
- Publication number
- JP6387892B2 JP6387892B2 JP2015085497A JP2015085497A JP6387892B2 JP 6387892 B2 JP6387892 B2 JP 6387892B2 JP 2015085497 A JP2015085497 A JP 2015085497A JP 2015085497 A JP2015085497 A JP 2015085497A JP 6387892 B2 JP6387892 B2 JP 6387892B2
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- opening
- eyelid
- value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010041349 Somnolence Diseases 0.000 title claims description 151
- 208000032140 Sleepiness Diseases 0.000 title claims description 55
- 230000037321 sleepiness Effects 0.000 title claims description 55
- 238000001514 detection method Methods 0.000 title description 35
- 210000000744 eyelid Anatomy 0.000 claims description 138
- 230000007704 transition Effects 0.000 claims description 57
- 210000001508 eye Anatomy 0.000 description 67
- 238000012545 processing Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 26
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000037303 wrinkles Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 4
- 239000004071 soot Substances 0.000 description 4
- 238000001467 acupuncture Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000931705 Cicada Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
- B60W2050/0088—Adaptive recalibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/04—Vehicle stop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/06—Ignition switch
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Educational Technology (AREA)
- Automation & Control Theory (AREA)
- Developmental Disabilities (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Dentistry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Child & Adolescent Psychology (AREA)
- Anesthesiology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Description
2…被検者の目
3…カメラ
4…信号処理装置
本発明の眠気検知装置は、端的に述べれば、特許文献1、特願2015−25886に記載の装置と同様に、被検者の瞼の開閉運動を計測し、その計測された瞼の開閉運動の時系列データから被検者の眠気に相関のある瞼開閉特徴量を抽出し、瞼開閉特徴量が眠気を感じていない場合の値域から逸脱したときに、被検者が眠気を感じていると判定する形式の装置である。図1(A)を参照して、本発明の眠気検知装置の基本的な構成に於いては、まず、被検者1の目及び瞼2が、カメラ3などの撮像装置の視野に含まれるように、撮像装置が配置され、撮像装置で得られた画像信号が、信号処理装置4に取り込まれる。なお、後述の如く、被検者1の目及び瞼2の開閉運動は、眼電信号によって検出されてもよく、その場合には、被検者の顔面に貼られた電極からの信号が信号処理装置4へ与えられる。そして、信号処理装置4に於いて、画像処理部が撮像装置から送られてきた画像信号から被検者の目及び瞼2の像を含む画像を構成し、データ処理部が、後に説明されるように、被検者の目及び瞼2の画像を用いて、被検者の眠気の検知に必要なデータ処理と眠気の有無の判定を実行する。かくして、データ処理部に於いて、被検者が眠気を感じていることが判定されると、その判定結果が、結果出力部へ送信され、例えば、スピーカ5による音声や、被検者に物理的な刺激を与える振動器などを通じて、被検者に伝達される。信号処理装置4は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、眠気検知装置の各部の作動は、CPUに於いてプログラムを実行することにより達成されることとなる。
図1(B)を参照して、本発明の装置による眠気検知処理に於いては、車両の運転中、プログラムに従って、まず、被検者(運転者)の瞼の開閉状態を表す指標値の取得が逐次的に実行され(ステップ1)、その指標値の時系列データに於いて、瞼の開状態と閉状態との間の遷移の時間間隔が逐次的に計測され(ステップ2)、しかる後、瞼の開閉状態の遷移の時間間隔の時系列データに於いて眠気の有無に相関のある「瞼開閉特徴量」の算出が逐次的に実行される(ステップ3)。そして、眠気の有無の判定のための「瞼開閉特徴量」に対する閾値が設定されていないときには(通常、装置の使用開始直後から所定の期間)、閾値の設定のための処理(ステップ4、5)が実行される。かくして、サイクルが繰り返される間に、閾値の設定が為されると(ステップ4)、被検者の眠気の判定(ステップ7)が実行されることとなる。また、車両の運転中に休憩などを取ることによって、運転の中断があった場合、運転の再開時には、車載の眠気検知装置の場合には、被検者の状態によっては、閾値の再設定が必要な場合がある。そこで、本実施形態に於いては、閾値が設定されていることが確認された後(ステップ4)、閾値の再設定を行うべき条件が成立しているか否かを判定する処理(ステップ6)が実行され、閾値の再設定を行うべき条件が成立していると判定された場合、具体的には、運転の中断後に運転を再開する際に、後述の如き閾値の再設定をした方がよい条件が成立していると判定された場合には、閾値の設定のための処理(ステップ5)が実行されることとなる。なお、上記の本実施形態の装置に於いて、被検者の瞼の開閉状態を検出する手段、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段、瞼開閉特徴量を算出する手段、閾値設定手段及び眠気判定手段は、図1(A)の撮像装置(又は電極装置)と信号処理装置4のプログラムに従った作動により実現される。以下、上記の一連の処理の各々について、詳細に説明する。
本発明の装置に於ける被検者の瞼の開閉状態を表す指標値(瞼開閉状態指標値)の取得に於いては、一つの態様として、既に触れた如く、カメラ等の撮像装置によって逐次的に撮影された被検者の目と瞼の画像に於いて瞼の開閉運動が検出され、その瞼の開閉運動の検出データから瞼が開いている状態と閉じている状態とを表す時系列データが調製される。その場合、まず、カメラの等の撮像装置は、図2(A)に模式的に描かれている如く、その視野が被検者の目及び瞼を含むように任意の場所に設置されてよい。具体的なカメラの等の撮像装置の設置位置は、例えば、被検者として車両の運転者の眠気を判定する場合には、車両のダッシュボードの上、ハンドル、天井等の被検者の目及び瞼を撮影できる部位であれば、任意の場所であってよい。また、カメラの等の撮像装置は、被検者のメガネ、帽子等の装着物に取り付けられてもよい。そして、カメラの等の撮像装置は、逐次的に被検者の目と瞼を撮像し、その画像信号から目と瞼の画像が逐次的に構成される。
瞼開閉状態指標値の時系列データが得られると、その瞼開閉状態指標値の時系列データから、被験者の眠気の有無に相関のある量が抽出される。かかる被験者の眠気の有無に相関のある量を、本発明に於いては、「瞼開閉特徴量」と称する。本実施形態に於いて、「瞼開閉特徴量」は、瞼開閉状態指標値の時系列データに於いて瞼開閉状態の遷移時間間隔を、所定の期間に亘って逐次的に計測し、その計測された遷移時間間隔の統計的演算処理によって算出される。以下、「瞼開閉特徴量」の算出処理過程を説明する。
瞼開閉特徴量の算出処理過程に於いては、まず、データメモリに記憶された瞼開閉状態指標値の時系列データ上に於いて、瞼の開状態と閉状態との間の遷移の時間間隔が計測される。瞼の開状態と閉状態との間の遷移の時間間隔(以下、「瞼開閉状態遷移時間間隔」と称する。)とは、「発明の概要」の欄にて述べた如く、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、(1)開眼時間(瞼が継続して開いている時間の長さ)、即ち、瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔(図3(A))、(2)瞬き開始時間隔(瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ)、即ち、瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔(図3(B))、(3)瞬き終了時間隔(瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ)即ち、瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔(図3(C))、或いは、(4)閉眼時間(瞼が継続して閉じている時間の長さ)、即ち、瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔(図示せず)のいずれであってもよい。また、瞼開閉状態遷移時間間隔は、(1)〜(4)のいずれの場合も、図3(A)〜図3(C)に描かれている如く、現在(Tnow)より、過去に遡って計測されて、遷移の時間間隔の値の時系列データが調製される。例えば、図3(A)の開眼時間の場合、開眼時間tonが、現在時刻Tnowから遡って、to1,to2,to3,…ton−1,tonの如く計測され、時系列データが構成される。図4(A)は、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。
上記の如く、瞼開閉状態遷移時間間隔が計測されると、現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、瞼開閉特徴量として、瞼開閉状態遷移時間間隔の統計量が算出される。統計量としては、標準偏差値、分散、平均値、中央値などであってよい。例えば、具体的には、瞼開閉状態遷移時間間隔として開眼時間が選択され、瞼開閉特徴量として開眼時間の標準偏差値が選択される場合には、現在時点から遡って、n個の開眼時間データ
{to1,to2,to3, ton−1,ton} …(1)
がデータメモリから抽出され、標準偏差値SD(t)が、下記の式
本発明に於いては、既に触れた如く、上記の瞼開閉状態遷移時間間隔の標準偏差値等の瞼開閉特徴量の値が、被検者が眠気を感じていないときの値域から逸脱したときに、被検者が眠気を感じているとの判定が為される。そこで、被検者が眠気を感じていないときの瞼開閉特徴量の値域を画定するための閾値が設定される。特に、本実施形態の装置に於いては、被検者が眠気を感じていないときの瞼開閉特徴量の値域の境界である閾値として、下限閾値と上限閾値との二つが設定され、眠気を感じたときには、眠気を感じていないときに比して、瞼開閉特徴量が低減する被検者と瞼開閉特徴量が増大する被検者の双方についての眠気の検知が可能となる。また、既に述べた如く、被検者が眠気を感じていないときの瞼開閉特徴量の値域には、個人差や個人内差があるので、かかる値域を画定する閾値は、できるだけ、眠気の判定時に近い時期で、被検者が眠気を感じていないときの瞼開閉特徴量に基づいて設定されることが好ましい。そこで、本実施形態に於いては、図5(B)に模式的に描かれている如く、本発明の装置の作動直後から所定の期間の瞼開閉特徴量を用いて設定されてよい。特に、本発明の装置が被検者として車両の運転者の眠気を判定するために用いられる場合、走行直後から所定の期間が、閾値設定用のデータを蓄積するための期間とされてよい。(眠気の判定は、図示の如く、閾値設定用データ期間の経過後に閾値が設定された状態になってから、実施される。)
閾値Hi=Thh×Mav …(3a)
閾値Lo=Thl×Mav …(3b)
ここで、Thhは、1より大きい正係数であり、Thlは、1より小さい正係数である。Mavは、M個の瞼開閉特徴量の平均値である。M、Thh、Thlは、実験的に決定されてよい。上記の式(3a)、(3b)によれば、判定時に比較的近い時期に於ける同一被検者の閾値設定用データ期間のM個の瞼開閉特徴量の平均値によって、閾値が設定されることとなるので、瞼開閉特徴量の個人差や個人内差の影響をより小さく抑えられることが期待される。
かくして、閾値が設定されると、(閾値の再設定条件が成立していないときには、)瞼開閉特徴量が上下の閾値にて画定された範囲内にあるか否かの判定が実行され、瞼開閉特徴量が上下の閾値の間の範囲から逸脱した場合には、被検者は眠気を感じていると判定される。図6(A)は、瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて眠気の判定を実施した例であり(図示の例では、閾値は、M=100、Thh=2.0、Thl=0.5と設定して算出されている。)、図示の例では、2500秒付近に於いて、標準偏差が閾値Hiを超えているので、図6(B)に示されている如く、この時点で、被検者が眠気を感じている、即ち、「眠気あり」と判定するようになっていてよい。
既に述べた如く、車両の運転中、休憩などを取ることによって、運転が中断される場合がある。そのような運転の中断は、数分程度である場合もあれば、2〜3時間に及ぶこともある。そして、かかる運転の中断の前後に於いて、被検者である運転者の瞼の運動状態が変化する場合があることが見出されている。
(a)運転の中断前に眠気ありの判定が為された場合
運転中に運転者が眠気を感じて休憩を取った場合、休憩中に仮眠を取ったり、飲食をするなどして、眠気を解消させる場合がある。そのような眠気を感じた後に眠気を解消させる行動の後には、通常の状態に於ける瞼開閉特徴量が変化する場合があるので、閾値の再設定が実行されることが好ましい。
(b)運転の中断が所定の時間よりも長い場合
運転の中断が長い場合にも、運転者は休息を取ることとなり、通常の状態に於ける瞼開閉特徴量が変化する場合があるためであるので、閾値の再設定が実行されることが好ましい。
ところで、上記の如く、閾値の設定には、車両の運転開始から或る程度の時間(典型的には、数分程度)を要し、その間は、眠気の判定が実行されないこととなる。この点に関し、本実施形態による眠気検知装置の場合、上記の如き、運転中の閾値の再設定の場合を除き、閾値の設定は、典型的には、眠気の検知処理を実行する日の最初の運転開始の直後の所定の期間のデータを使用して実行される。しかしながら、運転者が疲労等で体調がよくないなどの理由で、運転開始前に眠気はなかったが、運転開始後すぐに眠気が生ずるといった場合があるので、運転開始直後から眠気の検知を実行できることが好ましい。
Claims (11)
- 車両の運転中の被検者の眠気を検知するための装置であって、
前記被検者の瞼の開閉状態を検出する手段と、
前記瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、
前記瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を逐次的に算出する手段と、
所定の期間に亘って得られる前記瞼開閉特徴量を用いて前記瞼開閉特徴量に対する閾値を設定する閾値設定手段と、
前記所定の期間の経過後に於いて前記閾値によって画定される範囲から前記瞼開閉特徴量が逸脱したときに前記被検者が眠気を感じていると判定する眠気判定手段と、
を含み、
前記車両の運転の中断があった後に前記車両の運転を再開するときに、前記閾値設定手段が、前記運転の再開前までの前記被検者の状態に基づいて前記閾値の再設定を実行するか否かを判定し、その判定に於いて、前記車両の運転の中断前に前記被検者の眠気が検知されたときに前記閾値の再設定を実行すると判定し、前記閾値の再設定を実行すると判定したときに、前記運転の再開後から前記所定の期間に亘って得られる前記瞼開閉特徴量を用いて前記瞼開閉特徴量に対する閾値を設定する装置。 - 請求項1の装置であって、前記閾値設定手段が、前記車両の運転の中断の時間が所定時間より長いとき前記閾値の再設定を実行すると判定する装置。
- 請求項1又は2の装置であって、前記閾値設定手段が、前記所定の期間に亘って得られる前記瞼開閉特徴量を用いた前記閾値の設定が完了するまでの間、前記眠気判定手段が、前記所定の期間よりも前に得られた瞼の開状態と閉状態との間の遷移の時間間隔の時系列データを用いて設定された閾値を用いて前記被検者が眠気を感じているか否かの判定をする装置。
- 請求項1乃至3のいずれかの装置であって、前記閾値設定手段が、複数の互いに異なる大きさの閾値を設定し、前記眠気判定手段が、前記複数の閾値の各々に対する前記瞼開閉特徴量の大小関係に基づいて前記被検者の眠気の程度が複数の段階のうちのいずれであるかを判定する装置。
- 請求項1乃至4のいずれかの装置であって、前記眠気判定手段が、前記瞼開閉特徴量が前記閾値によって画定される範囲から逸脱している時間の長さが所定の長さを超えたとき又は前記瞼開閉特徴量が前記閾値によって画定される範囲から逸脱する回数が所定の回数を超えたときに、眠気があったとの判定を行う装置。
- 請求項1乃至5のいずれかの装置であって、前記閾値設定手段が、上側閾値と、該上側閾値よりも低い下側閾値とを設定し、前記眠気判定手段が、前記瞼開閉特徴量が前記上側閾値と前記下側閾値との間の範囲から逸脱したときに前記被検者が眠気を感じていると判定する装置。
- 請求項1乃至6のいずれかの装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から前記瞼の開状態から閉状態への遷移までの時間間隔と、前記瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔と、前記瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔とのうちのいずれかである装置。
- 請求項1乃至7のいずれかの装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の統計的な変化を表す指標値である装置。
- 請求項8の装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の標準偏差である装置。
- 請求項1乃至9のいずれかの装置であって、前記閾値が、所定の期間に亘って得られる前記瞼開閉特徴量の平均値に、所定の1よりも小さい正数又は所定の1より大きい正数を乗じた値である装置。
- 請求項1乃至10のいずれかの装置であって、前記瞼の開閉状態を検出する手段が、前記被検者の瞼のカメラ画像又は眼電信号に基づいて前記瞼の開閉状態を判定する装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015085497A JP6387892B2 (ja) | 2015-04-18 | 2015-04-18 | 眠気検知装置 |
US15/085,121 US9592835B2 (en) | 2015-04-18 | 2016-03-30 | Sleepiness detecting device |
EP16165855.4A EP3081156B1 (en) | 2015-04-18 | 2016-04-18 | Sleepiness detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015085497A JP6387892B2 (ja) | 2015-04-18 | 2015-04-18 | 眠気検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016202419A JP2016202419A (ja) | 2016-12-08 |
JP6387892B2 true JP6387892B2 (ja) | 2018-09-12 |
Family
ID=55910101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015085497A Active JP6387892B2 (ja) | 2015-04-18 | 2015-04-18 | 眠気検知装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9592835B2 (ja) |
EP (1) | EP3081156B1 (ja) |
JP (1) | JP6387892B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10037031B2 (en) | 2016-02-05 | 2018-07-31 | Ford Global Technologies, Llc | Vehicle operation states |
US20180012090A1 (en) * | 2016-07-07 | 2018-01-11 | Jungo Connectivity Ltd. | Visual learning system and method for determining a driver's state |
US10268903B2 (en) * | 2017-06-11 | 2019-04-23 | Jungo Connectivity Ltd. | Method and system for automatic calibration of an operator monitor |
TWI647666B (zh) * | 2017-08-28 | 2019-01-11 | 緯創資通股份有限公司 | 瞌睡偵測裝置及其瞌睡偵測方法 |
JP6780616B2 (ja) * | 2017-08-31 | 2020-11-04 | トヨタ自動車株式会社 | 瞬き検出装置 |
US10671868B2 (en) * | 2017-10-02 | 2020-06-02 | Magna Electronics Inc. | Vehicular vision system using smart eye glasses |
AU2018421183A1 (en) * | 2018-04-25 | 2020-07-02 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for blink action recognition based on facial feature points |
CN109388242B (zh) * | 2018-09-29 | 2022-03-15 | 苏州佳世达光电有限公司 | 自发性眨眼校正方法及眨眼控制方法 |
JP7375691B2 (ja) | 2020-07-01 | 2023-11-08 | トヨタ自動車株式会社 | 眠気兆候通知システム |
CN112434611B (zh) * | 2020-11-25 | 2023-04-07 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
DE102021201498A1 (de) * | 2021-02-17 | 2022-08-18 | Zf Friedrichshafen Ag | Vorrichtung und Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers eines Fahrzeugs |
WO2023154899A1 (en) * | 2022-02-11 | 2023-08-17 | Blinktbi, Inc. | Systems and methods for determining eye closure status |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61175129A (ja) * | 1985-01-29 | 1986-08-06 | Nissan Motor Co Ltd | 居眠り運転防止装置 |
JP3769442B2 (ja) * | 2000-02-15 | 2006-04-26 | ナイルス株式会社 | 眼の状態検出装置 |
JP3681657B2 (ja) * | 2001-06-18 | 2005-08-10 | 三菱電機株式会社 | 覚醒度推定装置および覚醒度推定方法 |
JP5292671B2 (ja) | 2006-03-06 | 2013-09-18 | トヨタ自動車株式会社 | 覚醒度推定装置及びシステム並びに方法 |
JP2008029491A (ja) * | 2006-07-27 | 2008-02-14 | Hino Motors Ltd | 覚醒度検出装置 |
AU2007306009B2 (en) * | 2006-10-13 | 2010-07-15 | Toyota Jidosha Kabushiki Kaisha | On-board warning apparatus and warning method |
JP4492652B2 (ja) | 2007-07-26 | 2010-06-30 | トヨタ自動車株式会社 | 眠気状態判断装置 |
JP4820835B2 (ja) * | 2008-03-19 | 2011-11-24 | アイシン・エィ・ダブリュ株式会社 | 運転状態警告システム、運転状態警告方法及びプログラム |
JP4727688B2 (ja) * | 2008-04-23 | 2011-07-20 | トヨタ自動車株式会社 | 覚醒度推定装置 |
JP5287875B2 (ja) | 2009-02-13 | 2013-09-11 | トヨタ自動車株式会社 | 生体状態推定装置及び車両制御装置 |
JP5333284B2 (ja) | 2010-02-19 | 2013-11-06 | トヨタ自動車株式会社 | 生体状態判定装置 |
US9994228B2 (en) * | 2010-05-14 | 2018-06-12 | Iarmourholdings, Inc. | Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment |
US8698639B2 (en) * | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
JP6011450B2 (ja) * | 2013-05-14 | 2016-10-19 | 株式会社デンソー | 車両制動装置 |
KR20150002317A (ko) * | 2013-06-28 | 2015-01-07 | 삼성전기주식회사 | 전원 공급 장치 |
JP5913218B2 (ja) | 2013-07-25 | 2016-04-27 | 美代志 佐藤 | 分子模型 |
AU2014306458A1 (en) * | 2013-08-16 | 2016-03-10 | The United States Of America, As Represented By The Secretary, Department Of Health & Human Services | Monitoring the effects of sleep deprivation using neuronal avalanches |
US9305225B2 (en) * | 2013-10-14 | 2016-04-05 | Daon Holdings Limited | Methods and systems for determining user liveness |
US20160140390A1 (en) * | 2014-11-13 | 2016-05-19 | Intel Corporation | Liveness detection using progressive eyelid tracking |
CN105701445A (zh) * | 2014-12-15 | 2016-06-22 | 爱信精机株式会社 | 判定装置及判定方法 |
US9533687B2 (en) * | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
JP6344254B2 (ja) * | 2015-02-12 | 2018-06-20 | トヨタ自動車株式会社 | 眠気検知装置 |
-
2015
- 2015-04-18 JP JP2015085497A patent/JP6387892B2/ja active Active
-
2016
- 2016-03-30 US US15/085,121 patent/US9592835B2/en active Active
- 2016-04-18 EP EP16165855.4A patent/EP3081156B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3081156A1 (en) | 2016-10-19 |
US9592835B2 (en) | 2017-03-14 |
JP2016202419A (ja) | 2016-12-08 |
EP3081156B1 (en) | 2024-05-29 |
US20160304099A1 (en) | 2016-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6387892B2 (ja) | 眠気検知装置 | |
US20220095975A1 (en) | Detection of cognitive state of a driver | |
JP5447657B2 (ja) | 生体状態判定装置 | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
JP5679066B2 (ja) | 居眠り検出方法と装置 | |
RU2540901C2 (ru) | Способ и устройство для выявления случаев микросна | |
JP5782726B2 (ja) | 覚醒低下検出装置 | |
Liu et al. | Driver fatigue detection through pupil detection and yawing analysis | |
JP6399311B2 (ja) | 居眠り検知装置 | |
JP5333284B2 (ja) | 生体状態判定装置 | |
JP2007229218A (ja) | 覚醒度推定装置及びシステム並びに方法 | |
EP3056375B1 (en) | Sleepiness detecting device | |
Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
Li et al. | Fatigue driving detection system based on face feature | |
JP5292671B2 (ja) | 覚醒度推定装置及びシステム並びに方法 | |
JPH08225028A (ja) | 運転者の覚醒度検出装置 | |
JP2010184067A (ja) | 生体状態推定装置 | |
JP6604266B2 (ja) | 眠気検知装置 | |
JP2018130342A (ja) | 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム | |
US9959635B2 (en) | State determination device, eye closure determination device, state determination method, and storage medium | |
CN109620221B (zh) | 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 | |
JPH08332871A (ja) | 覚醒度検出装置 | |
JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
Abdullah et al. | Driver fatigue detection | |
Vinoth et al. | A drowsiness detection using smart sensors during driving and smart message alert system to avoid accidents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180730 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6387892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |