JP5722767B2 - 微睡み警告方法、検出方法及び装置 - Google Patents

微睡み警告方法、検出方法及び装置 Download PDF

Info

Publication number
JP5722767B2
JP5722767B2 JP2011510790A JP2011510790A JP5722767B2 JP 5722767 B2 JP5722767 B2 JP 5722767B2 JP 2011510790 A JP2011510790 A JP 2011510790A JP 2011510790 A JP2011510790 A JP 2011510790A JP 5722767 B2 JP5722767 B2 JP 5722767B2
Authority
JP
Japan
Prior art keywords
eye
sleepiness
eye openness
sleep
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011510790A
Other languages
English (en)
Other versions
JP2011523867A (ja
JP2011523867A5 (ja
Inventor
ブルーノ・ファーボス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7352867 7352867 Canada Inc
7352867カナダ・インコーポレイテッド
7352867 Canada Inc
Original Assignee
7352867 7352867 Canada Inc
7352867カナダ・インコーポレイテッド
7352867 Canada Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 7352867 7352867 Canada Inc, 7352867カナダ・インコーポレイテッド, 7352867 Canada Inc filed Critical 7352867 7352867 Canada Inc
Publication of JP2011523867A publication Critical patent/JP2011523867A/ja
Publication of JP2011523867A5 publication Critical patent/JP2011523867A5/ja
Application granted granted Critical
Publication of JP5722767B2 publication Critical patent/JP5722767B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6821Eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Anesthesiology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、微睡み(マイクロスリープイベント)検出方法及び装置に関する。
睡眠発現に関連した運転動作ミスを数値化する方法は、睡眠に関連した衝突の数を減らすために決定的に重要なものである。米国では、ドライバーの眠気は、動力車衝突の主な原因であり、毎年、約40,000人の負傷者及び1500人の死に関与する。一つの調査報告では、調査された1000人のドライバーの55%は、うとうとしながら運転し、23%が居眠り運転したことを示した。このことは、他の原因と誤って考えられる車両衝突において眠気又は睡眠発現が原因かもしれないという他の調査報告を裏付けている。
微睡みは、睡眠発現の有用なサインである。微睡みは、しばしば睡眠不足の結果として、又は、心的疲労、睡眠時無呼吸、ナルコレプシー、あるいは過眠症の結果として発生する。
微睡みをモニターするための標準化された方法が存在する。それは、脳波図(EEG)及び電気眼球図(EOG)をモニターすること、ビデオ、行動検査等を含む。これらの全ての方法のうち、EEGは、眠気を測定するための最も信頼できるものと考えられる。しかしながら、EEG及びEOGの両方は、対象者に取り付ける電極の使用を必要とし、その結果、例えば車両ドライバーのような、疲労しやすい仕事を行ういずれの作業者を日常的にモニターするには不適切である。他の方法は、非実用的である。なぜならば、それらは両方とも配置が難しく、及び人による徹底的なデータ分析を必要とし、そのためデータ処理の自動化を困難にするからである。
微睡みの発現を識別可能とする種々の方法が存在する。何人かの専門家は、行動基準(まぶたを閉じる)により微睡みを定義し、一方、他のものは、4〜7Hz(シータ波)の活動が目が覚めている14〜20Hz(アルファ波)のバックグラウンドリズムに置き換えられた間の3〜15秒の発現(より短い継続時間は、視覚的に検出するのが困難であろうし、より長い時間は、睡眠発現として特定するだろう。)のような脳波図マーカーを頼りにしている。
「居眠り」の感覚に主観的に関する微睡みは、完全な覚醒状態の特徴であるまばたき動作が中断することと関連づけられる。微睡みの間、注意が途切れることは、気付くこと及び重要な刺激、出来事に反応することへの能力を劣化させる。例えば、微睡み(あるいは微睡みの発現)は、動力車の運転又は機械の操作のような連続的に警戒を要する状況の間に発生した場合、極めて危険になる。微睡みを経験する人々は、ずっと目が覚めていたと自身を信じるか、あるいは「ボーッとする」感覚を感じるよりむしろ、通常それらに気づいていない。眠いドライバーは、微睡みの発現の間、事故に合う非常に高いリスク内にいる。多くの事故は、微睡みの発現のために起こっている。
明らかに、微睡みを検出する能力は、そのような出来事の眠いドライバーに警告し注意する方法として有用になるだろう。
いくつかの研究は、ドライバーの眠気を識別するために「定量的」EEG方法を用いている。シータ出力(EEG波)、及びシータバーストの周波数は、一般的に長引いた運転中に増加し、悪い運転動作と関係する。不都合なことに、それらの技術は、一般的に、数秒(1分以内)にわたりEEG活動を平均化し、その結果、3秒〜15秒間の短い微睡みを検出するために用いることができない。
様々な生理学的測定が眠気の発現に対してドライバーに警報を与えるために提案されている。
最も研究されたものの一つは、PERCLOS(即ち、PERcent CLOSure)である。これは、ドライバーの目が時間中に閉じられた時間の割合として、眠気を測定する。十分な数の、開いた/閉じたのパターンが得られたとき、PERCLOSは、アラームを動作させる。PERCLOSは、80%を超える割合にて作動する。これは、一般的に、1分以内で、アラームが作動する前に個々の目が48秒間、閉じられていなければならないことを意味する。明らかに、この遅れは、車両を運転するような動作では受け入れがたい。なぜならば、PERCLOSがアラームを作動させる時間までに、ドライバーは、既に寝入るか、あるいは今にも寝入る寸前だからである。従って、不都合なことにPERCLOSは、余りに遅延なシステムであるので、ドライバーのような個々が眠気の最初の兆候を経験する前に、予防処置を取ることができない。
EEG記録の間に潜在的なアーティファクトを除外して作成される、EOG記録は、また、目が少なくとも不完全に開いていることを示している、正常な目のまばたきがしばしば微睡みの間に継続することを示す。
目の閉の測定に基づくもので、眠気の発現に対してドライバーにおそらく警報を行う、別の生理学的測定は、米国特許7071831B2に記載されるように、まばたきのピーク速度の測定である。そこに記述されたシステムは、目のまばたきの発生をモニターするために個々によって着用されねばならない一対の眼鏡あるいは眼鏡フレームを含んでいる。しかしながら、この種の装置は、操作者によって運ばれるか着用されねばならない(つまり、携帯装置)。
米国特許第7071831号明細書
このように、初期段階で、電極又は他の携帯装置の使用を必要とせずに、短い微睡みを検出可能である、睡眠発現のサインとして対象者における微睡みの検出方法及び装置の必要がある。
発明者らは、微睡み検出プロセスを用いて、まぶたの開閉パターンを時間とともに測定し、測定から集められた生データをグラフに変換し、これらのグラフを、格納され標準化された微睡みパターンのグラフと比較することにより、微睡みが容易かつ直ちに検出可能であることを予期せずに発見した。
従って、一つの態様において、対象者における微睡みを検出する方法が提供され、この方法は、
− 少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、目の開放状態の複数のファクターを決定すること;
− 目の開放状態ファクターのグラフ表示を生成すること;及び
− 基準の目の、微睡みを示す閉パターンと、目の開放状態ファクターの変化を時間とともに関連づけること、
を備える。
上述した方法は、対象者の顔を照明すること、及び顔の画像を記録することをさらに備える。赤外線源を有するディジタル・カメラは、顔を照らし、かつ顔画像を記録するために用いられる。
上述した方法は、顔の特徴認識アルゴリズムを用いることにより目とまぶたとを識別することをさらに備える。
上述した方法は、目のまばたきの周期に関する時間の関数として目の開放状態ファクターを測定することにより、微睡みに特徴的な目の開放状態ファクターレベルの存在を確かめることをさらに備える。目の開放状態ファクターレベルは、少なくとも一つの目の開放状態レベルを含んでいる。目の開放状態ファクターは、一又は複数の、目の開放状態レベル、及び5以下の、目の開放状態レベルを含む。目の開放状態ファクターは、5つの、目の開放状態レベルを含む。目の開放状態レベルは、開いた目、まぶたが閉じている、不完全又は閉じた目、及び、まぶたの開きと関連付けられる。
上述した方法では、目の開放状態ファクターは、5つの連続する、目の開放状態レベルを含み、5つのレベルの連続した検出は、微睡みの特徴を示す。上記方法は、5未満の連続した目の開放状態ファクターレベルが検出されたときに、追加の、目の開放状態ファクターを決定することをさらに備える。
上述した方法は、目の開及び目の閉を表す曲線を計算することをさらに備える。目が閉じていることを表す曲線は、第1及び第2の、目の開放状態ファクターレベルの目の開放状態ファクターに適用されるマイナスの傾斜及び二次多項式回帰を用いて計算される。目を開くことのファクターは、第4及び第5の目の開放状態ファクターレベルの目の開放状態ファクターに適用されるプラスの傾斜及び二次多項式回帰を用いて計算される。上記方法は、第1及び第2の、目の開放状態ファクターレベルに関する目が閉じていることを表す曲線、及び第4及び第5の目のファクターレベルに関する目を開くことを表す曲線のピアソン係数を計算することにより、微睡みの目の開、閉を表す曲線の存在を確かめることをさらに備える。ピアソン係数が所定の閾値以上であるときに、対象者に通知がなされる。
上述した方法では、顔の画像は、10Hzと60Hzとの間の周波数でサンプリングされる。
上述した方法は、20Hzの画像サンプリング周波数で、微睡みに特徴的な目の開放状態ファクターレベルを検出するためのサブ工程をさらに備える。サブ工程は、開いた目に対応する一連の6以上の連続的な目の開放状態ファクターの存在を確認することにより、第1レベルが検出されることを確かめることを備える。
上述した方法は、一連の4以上の連続的な目の開放状態ファクターの減少の存在を確認することにより、第2レベルが検出されることを確かめることをさらに備える。上述した方法は、最低5で最大120の一連の連続する目の開放状態ファクターの存在を確認することにより、第3レベルが検出されることを確かめることをさらに備える。
上述した方法は、一連の最低4の連続的な目の開放状態ファクターの存在を確認することにより、第4レベルが検出されることを確かめることをさらに備える。
上述した方法は、開いた目に対応する一連の最低6の連続的な目の開放状態ファクターの存在を確認することにより、第5レベルが検出されることを確かめることをさらに備える。
上述した方法は、微睡みがあることを対象者に警告することをさらに備える。
別の態様によれば、微睡み検出装置が提供される。この装置は、
− 時間とともに対象者の顔画像をサンプリングするための顔画像サンプラーであって、対象者の一若しくは複数の目を照明するための赤外線源を有する顔画像サンプラーと;
− 電子的に実行可能な微睡み検出工程を電子的に格納したマイクロプロセッサーであって、サンプリングされた顔画像を受け入れるサンプラーに接続され、目の開放状態ファクターのグラフ表示に顔画像を電子的に変換するマイクロプロセッサーと;
− マイクロプロセッサーに組み込まれたメモリであって、基準の目の閉パターンと目の開放状態ファクターを電子的に関連付けるために複数の基準の目の閉パターンを格納したメモリと;
を備えた。
上述した装置は、対象者に微睡みを警告するためにマイクロプロセッサーに接続される警報器をさらに備えた。
従って、別の態様において、車両操作者に微睡みを警告する方法が提供される。この方法は、
− 少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、目の開放状態の複数のファクターを決定すること;
− 目の開放状態ファクターのグラフ表示を生成すること;
− 微睡みを示す基準の目の閉パターンと目の開放状態ファクターの変化を時間とともに関連付けること;及び
− 微睡みを運転手に警告するようにアラームを動作させること;
を備える。
従って、さらに別の態様において、目の閉パターンとEEG及びEOGの微睡みパターンを関連付ける方法が提供される。この方法は、
− 対象者においてEEG及びEOGの微睡みパターンを測定すること;
− 少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、目の開放状態の複数のファクターを決定すること;
− 目の開放状態ファクターのグラフ表示を生成すること;及び
− EEG及びEOGの微睡みパターンと目の開放状態ファクターの変化を関連付けること;
を備える。
本発明の例示的な実施形態による、対象者に使用される微睡み検出装置のブロック図である。 図1の装置により使用可能な微睡み検出プロセスのフロー図である。 目の開放状態ファクターと関連付けられた、完全に開いた目の模式図である。 目の開放状態ファクターと関連付けられた、完全に閉じた目の模式図である。 まばたきの周期に関する時間の関数として目の開放状態ファクターの変動例を示す一連の模式図である。 微睡み時点での完全に閉じた目(期間L4及びL5)の例示の図である。 20Hzの画像サンプリング周波数に関して、図2の微睡み検出プロセスとともに使用可能である微睡みに特徴的な目の開放状態ファクターレベル検出のサブ工程のフロー図である。
添付の図面を参照して例示によってのみ発明の実施形態について記述する。
一般的に述べて、非制限的で例示である本発明の実施形態は、少なくとも一つの目、一般的には両目における微睡み中に発生する目の閉パターンの分析に基づいたヒトの被験者の微睡みを検出するための方法及び装置を提供する。
EEG及びEOGにより測定された微睡みの間に、発明者らは、ヒトの被験者の上眼瞼と下眼瞼との間の距離の段階的な変化を時間と共に観察した。発明者らは、以下に方法及び装置について記述し、これは、目の閉パターンを用いて、車両ドライバー、飛行機パイロット、航空交通管制管等の眠い作業者における眠さの兆候の補足的証拠を提供し、それを検出したときには、まぶたの閉鎖が発生する前に危険な状況であることを眠たい作業者へ警告し、それにより、目の閉パターンとEEG及びEOGの微睡みパターンを関連づける。
また、正常なまぶた閉鎖と、眠気によるまぶた閉鎖との間の区別を可能にする目の閉パターンの分析方法も記述される。
図1を参照して、微睡み検出装置100の一例が示されており、これは、一般的に、付随した赤外線源104を有するディジタル・カメラ102のような顔画像サンプラーと、付随したメモリ108を有するマイクロプロセッサー106と、及びアラーム/ディスプレイ110及び入力/出力インターフェース112の一方又は両方とを備える。
このように、一実施形態では、ヒトの被験者における微睡みを検出するための装置100を用いた方法が記述されている。この方法は、少なくとも一つの目、一般的には両目における上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、複数の、目の開放状態ファクターを決定すること; 目の開放状態ファクターのグラフ表示を生成すること;及び、微睡みを示す基準の目の閉パターンと、目の開放状態ファクターの変化を時間とともに関連付けること; を備える。
操作において、ディジタル・カメラ102は、対象者10の顔に向けられ、目の開放状態ファクター、つまり上眼瞼14aと下眼瞼14bとの間の距離を表する値を決定するために、赤外線源104を用いて、彼又は彼女の目12を照らす。そしてディジタル・カメラ102にて撮られた画像は、付随のメモリ108に格納された微睡み検出プロセスを実行するプロセッサ106によって処理される。微睡みを検出すると、微睡み検出装置100は、組み込まれたアラーム及び/又はディスプレイ110を動作させることにより、微睡みを使用者に通知可能であり、あるいは、入力/出力インターフェース112を介して更なるプロセスまたは装置に情報を提供可能である。例えばユーザー・インターフェース及びワイヤレス通信装置のような他の部品が微睡み検出装置100に加えられてもよいことは理解される。
図2を参照して、図1の微睡み検出装置100のプロセッサ106によって電子的に実行可能な微睡み検出プロセス200のフロー図が示されている。プロセス200の工程は、ブロック202〜212によって示されている。プロセス200は、ディジタル・カメラ102を用いて、対象者10の顔の画像をサンプリングすることによるブロック202でスタートする。ディジタル・カメラ102は、約10〜60Hz(つまりサンプリング周波数)の間の周波数で画像をサンプリング可能である。ブロック204では、プロセス200は、サンプリングされたデジタル画像において、対象者10の目12と、まぶた14a、14bを識別する。これは、プロセッサ106により実行される顔の特徴認識アルゴリズムを用いて達成可能である。そして、目の開放状態ファクターが計算される。
図3A及び図3Bを参照して、目の開放状態ファクターは、完全に開いた目12(図3A参照)を表す1と、完全に閉じた目12(図3B参照)を表す0との間の値を有するδとして表現可能である。δの値は、例えば、デカルト表示(X,Y)における上眼瞼14aと下眼瞼14bとの間の測定された距離を、完全に開いた目の基準測定Dで割ることにより計算可能である。従って、
δ=(上眼瞼位置(Xu,Yu) − 下眼瞼位置(X,Y))/D
ここで、D=上眼瞼位置(X,Y) − 下眼瞼位置(X,Y)及び(Xu,Yu)=瞬間の上眼瞼位置、(X,Y)=瞬間の下眼瞼位置、(X,Y)=最大に目を開いたときの上眼瞼位置、及び(X,Y)=最大に目を開いたときの下眼瞼位置。
ブロック206で再び図2を参照し、プロセスは、微睡みに特有の目の開放状態ファクターレベルが存在するか否かを確認する。
図4を参照して、まばたき周期に関する時間の関数として目の開放状態ファクターの変化の模式図例が示されている。まばたき周期は、完全に開いた目12(目の開放状態ファクターδ=1.00)の時刻t1でスタートし、時刻t2で、目の開放状態ファクターはδ=1.00のままであり、その後減少し、時刻tでδ=0.80、時刻ti+1でδ=0.50を通り、時刻tでδ=0.00(完全に閉じた目12)に達する。その後増加し、時刻tでδ=0.50、時刻tk+1でδ=0.80を通り、時刻tで再びδ=1.00に達する。図4に示されるまばたき周期は、説明の目的のみに図示され、実際の周期はサンプリング周波数による多数のサンプル時刻を備えるであろうことが理解されねばならない。
図5を参照して、これらの計算された、時間の関数としての目の開放状態ファクターは、一般的に、5つの連続するレベルL1からL5によって特徴付け可能なグラフにて表すことができる。最初のレベル及び最後のレベル、L1とL5は、開いた目(つまりδ=1.00)に関連付けられ、第2レベルは、まぶた14a,14bを閉じることと関連づけられ(つまり0.00>δ>0.00、δ減少)、第3レベルは、不完全あるいは閉じられた目と関連づけられ(つまり、例えば、0.00<δ<0.5)、第4レベルは、まぶた14a,14bを開けることと関連づけられる(つまり0.00<δ<1.00、δ増加)。
再度、図2を参照して、プロセス200は、5つ全てのレベル、つまりL1からL5を検出し、そして、ブロック208へ進む。そうでない場合には、それは次の画像サンプルのため、ブロック202に戻る。ブロック208では、プロセスは、目を閉じることを表す曲線21又は26、及び目を開けることを表す曲線25又は27を計算する。目を閉じることを表す曲線21又は26は、マイナス傾斜の二次多項式回帰(放物線のカーブ)を用いて計算される。つまり、
Y=d+d.X+d.X
ここで、Yは、各次数に関する回帰係数dからd及びY切片d1を有する多項式モデル用の予想結果値である。
それは、第1及び第2の目の開放状態ファクターレベル、つまりL1及びL2を備えた目の開放状態ファクターに適用される。目を開けることを表す曲線25又は27について、これは、第4及び第5の目の開放状態ファクターレベル、つまりL4及びL5を備えた目の開放状態ファクターに適用されるプラス傾斜の二次多項式回帰を用いて計算される。その後、ブロック210では、プロセス220は、微睡みの目を開けること及び閉じることを表す曲線が存在するか否かを確認する。これは、目の開放状態ファクターレベルL1及びL2を備えた目の開放状態ファクターに関する目を閉じることを表す曲線21又は26の、及び、目の開放状態ファクターレベルL4及びL5を備えた目の開放状態ファクターに関する目を開けることを表す曲線25又は27の、ピアソン係数rを計算することにより達成される。つまり、
Figure 0005722767
ここで、X及びYは、デカルト表示における位置である。
両方のピアソン係数が、例えば0.9のような所定の閾値以上であるときには、プロセス200は、ブロック212に進む。一方、そうではない場合には、次の画像サンプルのため、ブロック202に戻る。最後に、ブロック212では、微睡み検出装置100は、組み込まれたアラーム及び/又はディスプレイ110を介して微睡み状態の検出を使用者10に通知可能であり、あるいは、例えば有線、あるいはブルートゥース、WiFi、等のような無線通信リンクを用いて、入力/出力インターフェース112(図1を参照)を介して更なるプロセス又は装置に情報を提供することができる。
ピアソン係数の閾値は、0.9に限定されるものではなく、所望の信頼水準に適するために調節可能であることは理解されるべきである。それはまた、ディジタル・カメラ102(図1を参照)の分解能に依存して変更可能である。
目の閉パターンは、まぶたの完全なあるいは不完全な閉鎖、及び再び開ける間の、閉じることの特定の観察に基づく。より正確に、目の閉パターンは、段階的な減少に続き、まぶたが完全に閉じそして再び開くところの基準期間を示す。上記のものがすべて発生する場合、微睡みが検出される。
20GHzの画像サンプリング周波数での、微睡みに特有の目の開放状態ファクターレベルの例
図6を参照し、20Hzの画像サンプリング周波数に関する5つの微睡みに特徴的な目の開放状態ファクターレベル、つまりL1からL5(図5参照)の存在を検出するために、プロセス200のブロック206で実施可能な、微睡みに特徴的な目の開放状態ファクターレベル検出サブ工程300のフロー図が示されている。サブ工程300の工程は、ブロック301〜305によって示されている。
ブロック301では、サブ工程300は、第1レベルL1が検出されるか否かを確認する。その目的のために、サブ工程300は、δ=1.00の値を有する一連の最低限6つの連続する目の開放状態ファクターが存在するかいなかをチェックする。存在する場合、サブ工程300は、ブロック302に進み、存在しない場合には、プロセス200のブロック202(図2を参照)に戻る。
ブロック302では、サブ工程300は、第2レベルL2が検出されるか否かを確認する。その目的のために、サブ工程300は、δ=0.99とδ=0.01との間の値を有する一連の最低限4つの連続して減少する目の開放状態ファクターが存在するか否かをチェックする。存在する場合、サブ工程300は、ブロック303に進み、存在しない場合には、プロセス200のブロック202(図2を参照)に戻る。
その後、ブロック303では、サブ工程300は、第3レベルL3が検出されるか否かを確認する。その目的のために、サブ工程300は、δ=0.00の値を有する一連の最低限5つの、かつ最大120の連続する目の開放状態ファクターが存在するか否かをチェックする。存在する場合、サブ工程300は、ブロック304に進み、存在しない場合には、プロセス200のブロック202(図2を参照)に戻る。
ブロック304では、サブ工程300は、第4レベルL4が検出されるか否かを確認する。その目的のために、サブ工程300は、δ=0.01とδ=0.99との間の値を有する一連の最低限4つの連続して増加する目の開放状態ファクターが存在するか否かをチェックする。存在する場合、サブ工程300は、ブロック305に進み、存在しない場合には、プロセス200のブロック202(図2を参照)に戻る。
最後に、ブロック305では、サブ工程300は、第5レベルL5が検出されるか否かを確認する。その目的のために、サブ工程300は、δ=1.00の値を有する最低限6つの連続する目の開放状態ファクターが存在するか否かをチェックする。存在する場合、サブ工程300は、プロセス200のブロック208(図2を参照)、全ての5つの微睡みに特徴的な目の開放状態ファクターレベルの存在に進む。存在しない場合には、サブ工程300は、プロセス200のブロック202(図2を参照)に戻る。それぞれの微睡みに特徴的な目の開放状態ファクターレベルの存在を検出するために用いられる目の開放状態ファクターの数は、例えば画像サンプリング周波数に従い変化可能であること、及び説明に役立つ実例としてのみを意味することが理解されるべきである。
上述のようにマイクロプロセッサーに組み込まれたメモリは、複数の、基準目の閉パターンを含むことを理解すべきである。図5に図示されるグラフは、基準目の閉パターンと比較される。一旦、一致することが見つかれば、微睡みが確認され、アラームが発生する。
本発明は、特定の実施形態及びその実施例によって記述されているが、本発明の権利範囲から逸脱せずに、現在の特定の実施形態に変更が可能であることは当業者に明白だろうことは留意すべきである。

Claims (26)

  1. 車両操作者に微睡み(マイクロスリープイベント)を警告する方法であって、
    − 少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、複数の、目の開放状態ファクターを決定すること;
    − 目の開放状態ファクターのグラフ表示を生成すること;及び
    − 上記目の開放状態ファクターがメモリに格納された基準の目の閉パターンに比べて微睡みを示すとき、車両操作者に警告するためアラームを動作させること;
    を備えた微睡み警告方法。
  2. 車両操作者の顔を照らすこと;及び、顔の画像を記録することをさらに備えた、請求項1記載の微睡み警告方法。
  3. 赤外線源を有するディジタル・カメラが顔を照らすため及び顔画像を記録するために用いられる、請求項2記載の微睡み警告方法。
  4. 目のまばたき周期に関する時間の関数として目の開放状態ファクターを測定することにより、微睡みに特徴的な目の開放状態ファクターレベルの存在を確認することをさらに備えた、請求項1に記載の微睡み警告方法。
  5. 目の開放状態ファクターレベルは、少なくとも一つの目の開放状態レベルを含む、請求項4に記載の微睡み警告方法。
  6. 目の開放状態ファクターは、1から5の目の開放状態レベルを含む、請求項4に記載の微睡み警告方法。
  7. 目の開放状態ファクターは、5つの目の開放状態レベルを含む、請求項4に記載の微睡み警告方法。
  8. 目の開放状態レベルは、開いた目、まぶたの閉、不完全あるいは閉じた目、及びまぶたを開くことと関連づけられる、請求項4記載の微睡み警告方法。
  9. 目の開放状態ファクターは、5つの連続する目の開放状態レベルを含み、5つのレベルの連続した検出は、微睡みの特徴を示す、請求項1に記載の微睡み警告方法。
  10. 5未満の連続する目の開放状態レベルが検出される場合に追加の目の開放状態ファクターを決定することをさらに備える、請求項9記載の微睡み警告方法。
  11. 目を開くこと及び目の閉を表す曲線を計算することをさらに備えた、請求項4記載の微睡み警告方法。
  12. 目の閉を表す曲線は、第1及び第2の目の開放状態ファクターレベルの目の開放状態ファクターに適用されるマイナスの傾斜及び二次多項式回帰を用いて計算される、請求項11記載の微睡み警告方法。
  13. 目を開くことのファクターは、第4及び第5の目の開放状態ファクターレベルの目の開放状態ファクターに適用されるプラスの傾斜及び二次多項式回帰を用いて計算される、請求項11記載の微睡み警告方法。
  14. 第1及び第2の目の開放状態ファクターレベルに関する目を閉じることを表す曲線の、及び、第4及び第5の目の開放状態ファクターレベルに関する目を開くことを表す曲線のピアソン係数を計算することにより、微睡みの目を開くこと及び閉じることを表す曲線の存在を確かめることをさらに備えた、請求項11に記載の微睡み警告方法。
  15. ピアソン係数が規定の閾値以上の場合、車両操作者に通知される、請求項14に記載の微睡み警告方法。
  16. 顔の画像は、10Hzと60Hzとの間の周波数でサンプリングされる、請求項3に記載の微睡み警告方法。
  17. 20Hzの画像サンプリング周波数で、微睡みに特徴的な目の開放状態ファクターレベルを検出するサブ工程をさらに備えた、請求項4に記載の微睡み警告方法。
  18. サブ工程は、開いた目に対応する、一連の6以上の連続する目の開放状態ファクターの存在を確認することにより、第1レベルが検出されることを確かめることを備える、請求項17に記載の微睡み警告方法。
  19. 一連の4以上の連続して減少する目の開放状態ファクターの存在を確認することにより、第2レベルが検出されることを確かめることをさらに備える、請求項18に記載の微睡み警告方法。
  20. 一連の最低限5で最大120の連続する目の開放状態ファクターの存在を確認することにより、第3レベルが検出されることを確かめることをさらに備える、請求項19に記載の微睡み警告方法。
  21. 一連の少なくとも4つの連続する目の開放状態ファクターの存在を確認することにより、第4レベルが検出されることを確かめることをさらに備える、請求項20に記載の微睡み警告方法。
  22. 開いた目に対応する一連の最低限6つの連続する目の開放状態ファクターの存在を確認することにより、第5レベルが検出されることを確かめることをさらに備える、請求項21に記載の微睡み警告方法。
  23. 微睡みの存在を車両操作者に警告することをさらに備えた、請求項1に記載の微睡み警告方法。
  24. − 対象者の顔の画像を時間とともにサンプリングし、対象者の一つ以上の目を照らすための赤外線源を有し上眼瞼と下眼瞼との間の距離を測定する顔画像サンプラーと;
    − サンプリングされた顔画像を受け入れるためサンプラーに接続され、上記画像を目の開放状態ファクターのグラフ表示に変換する、マイクロプロセッサーと;
    − マイクロプロセッサーに電子的に接続され、複数の基準の目の閉パターンを格納しているメモリと;及び
    − マイクロプロセッサーに接続され、目の開放状態ファクターが基準の目の閉パターンに比べて微睡み(マイクロスリープイベント)を示すとき対象者に警告を行う警報器と;
    を備えた微睡み検出装置。
  25. EEG及びEOGの微睡み(マイクロスリープイベント)パターンを目の閉パターンと関連づける方法であって、
    − 対象者におけるEEG及びEOGの微睡みパターンを測定すること;
    − 少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、複数の、目の開放状態ファクターを決定すること;
    − 目の開放状態ファクターのグラフ表示を生成すること;及び
    − 目の開放状態ファクターの変化をEEG及びEOG微睡みパターンと関連づけること;
    を備えた方法。
  26. コンピュータで実行される対象者の微睡み(マイクロスリープイベント)を検出する方法であって、
    対象者の一つ以上の目における信号を赤外線源から受け入れること;
    少なくとも一つの目の上眼瞼と下眼瞼との間の複数の距離を時間とともに測定することにより、複数の、目の開放状態ファクターを決定すること;
    目の開放状態ファクターのグラフ表示を生成すること;及び
    上記目の開放状態ファクターがメモリに格納された基準の目の閉パターンに比べて微睡みを示すとき、対象者に警告するようにアラームを動作させること;
    を備えた方法。
JP2011510790A 2008-05-28 2009-05-27 微睡み警告方法、検出方法及び装置 Expired - Fee Related JP5722767B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US7196608P 2008-05-28 2008-05-28
US61/071,966 2008-05-28
US12/340,017 US8570176B2 (en) 2008-05-28 2008-12-19 Method and device for the detection of microsleep events
US12/340,017 2008-12-19
PCT/CA2009/000732 WO2009143620A1 (en) 2008-05-28 2009-05-27 Method and device for the detection of microsleep events

Publications (3)

Publication Number Publication Date
JP2011523867A JP2011523867A (ja) 2011-08-25
JP2011523867A5 JP2011523867A5 (ja) 2015-04-02
JP5722767B2 true JP5722767B2 (ja) 2015-05-27

Family

ID=41360181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011510790A Expired - Fee Related JP5722767B2 (ja) 2008-05-28 2009-05-27 微睡み警告方法、検出方法及び装置

Country Status (15)

Country Link
US (1) US8570176B2 (ja)
EP (1) EP2285265B1 (ja)
JP (1) JP5722767B2 (ja)
KR (1) KR101551262B1 (ja)
CN (1) CN102098955B (ja)
AU (1) AU2009253692B2 (ja)
BR (1) BRPI0912299B8 (ja)
CA (1) CA2667035C (ja)
HK (1) HK1158481A1 (ja)
MX (1) MX2010012924A (ja)
MY (1) MY153476A (ja)
NZ (1) NZ589640A (ja)
RU (1) RU2540901C2 (ja)
WO (1) WO2009143620A1 (ja)
ZA (1) ZA201008131B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
WO2012061871A1 (en) * 2010-11-08 2012-05-18 Optalert Australia Pty Ltd Fitness for work test
EP2497670B1 (en) * 2011-03-11 2015-07-01 Johnson Controls Automotive Electronics GmbH Method and apparatus for monitoring the alertness of the driver of a vehicle
WO2014031042A1 (en) * 2012-08-20 2014-02-27 Autoliv Development Ab Eyelid movement processing for detection of drowsiness
KR101526672B1 (ko) * 2013-07-24 2015-06-05 현대자동차주식회사 졸음 상태 판별 장치 및 방법
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
CN104257392B (zh) * 2014-09-26 2016-06-22 马天驰 一种疲劳驾驶检测提醒的方法及检测提醒装置
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
JP6399311B2 (ja) * 2015-05-07 2018-10-03 スズキ株式会社 居眠り検知装置
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
CN105249961B (zh) * 2015-11-02 2017-11-24 东南大学 基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法
DE102016205311A1 (de) * 2016-03-31 2017-10-05 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
WO2017204406A1 (ko) * 2016-05-25 2017-11-30 엠텍비젼 주식회사 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
RU2644847C1 (ru) * 2016-11-21 2018-02-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный медицинский университет имени академика И.П. Павлова" Министерства здравоохранения Российской Федерации Способ прогнозирования результативности моделируемой когнитивной деятельности на основе комплекса физиологических показателей и логит регрессионного анализа
CN109472224A (zh) * 2018-10-26 2019-03-15 蓝色传感(北京)科技有限公司 基于eeg与eog融合的疲劳驾驶检测系统
KR102161908B1 (ko) 2019-01-25 2020-10-05 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN112016347B (zh) * 2019-05-29 2022-06-24 魔门塔(苏州)科技有限公司 一种基于眼睑特征信息的人员状态检测方法及装置
CN114283559B (zh) * 2022-03-04 2022-05-17 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3350296B2 (ja) 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP3426060B2 (ja) 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5729619A (en) 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
JP3183161B2 (ja) 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6070098A (en) 1997-01-11 2000-05-30 Circadian Technologies, Inc. Method of and apparatus for evaluation and mitigation of microsleep events
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US5990795A (en) 1998-02-06 1999-11-23 Miller; Bernard J. Sleep warning device for mobile vehicles
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US6130617A (en) 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
US6243015B1 (en) 1999-06-17 2001-06-05 Hyundai Motor Company Driver's drowsiness detection method of drowsy driving warning system
US6218947B1 (en) 2000-05-23 2001-04-17 Ronald L. Sutherland Driver sleep alarm
WO2003012758A1 (en) 2001-07-30 2003-02-13 Sankaran Manoj A device for detecting sleep
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6822573B2 (en) 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
GB0203035D0 (en) 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
RU2197895C1 (ru) * 2002-02-27 2003-02-10 Общество с ограниченной ответственностью "ТелекомЭксперт" Способ контроля состояния человека и устройство для его осуществления
US20040151347A1 (en) 2002-07-19 2004-08-05 Helena Wisniewski Face recognition system and method therefor
US7202792B2 (en) 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
JP2004314750A (ja) 2003-04-15 2004-11-11 Denso Corp 車両機器操作制御装置
CN1225375C (zh) * 2003-07-02 2005-11-02 北京交通大学 基于多特征融合的困倦驾驶检测方法
US7435227B2 (en) 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
CN1613425A (zh) * 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
MX2007010513A (es) 2005-03-04 2008-01-16 Sleep Diagnostics Pty Ltd Medicion de estado de alerta.
KR20080033191A (ko) 2005-08-11 2008-04-16 슬립 다이애그노틱스 피티와이 엘티디 각성 감지 안경
US7918807B2 (en) 2005-08-17 2011-04-05 General Electric Company System, method and computer instructions for assessing alertness of an operator of an image review system
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP4967559B2 (ja) * 2006-09-19 2012-07-04 株式会社豊田中央研究所 居眠り運転防止装置及びプログラム
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置

Also Published As

Publication number Publication date
MY153476A (en) 2015-02-13
HK1158481A1 (en) 2012-07-20
BRPI0912299B8 (pt) 2021-06-22
RU2540901C2 (ru) 2015-02-10
AU2009253692A1 (en) 2009-12-03
EP2285265B1 (en) 2019-08-07
BRPI0912299B1 (pt) 2021-02-02
EP2285265A1 (en) 2011-02-23
EP2285265A4 (en) 2013-11-13
CA2667035A1 (en) 2009-11-28
CA2667035C (en) 2014-10-14
JP2011523867A (ja) 2011-08-25
KR101551262B1 (ko) 2015-09-08
ZA201008131B (en) 2012-02-29
NZ589640A (en) 2013-08-30
WO2009143620A1 (en) 2009-12-03
MX2010012924A (es) 2011-05-02
KR20110017883A (ko) 2011-02-22
US20090299209A1 (en) 2009-12-03
AU2009253692B2 (en) 2014-11-13
CN102098955A (zh) 2011-06-15
RU2010146449A (ru) 2012-07-20
US8570176B2 (en) 2013-10-29
BRPI0912299A2 (pt) 2015-10-20
CN102098955B (zh) 2015-07-15

Similar Documents

Publication Publication Date Title
JP5722767B2 (ja) 微睡み警告方法、検出方法及び装置
EP2281506B1 (en) Method and system for determining an individual's state of attention
KR101189008B1 (ko) 경계 상태 측정 방법
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
JPH11316884A (ja) 覚醒状態を求める装置
WO2001031604A1 (en) Alertness monitoring system
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
Kumari et al. A survey on drowsy driver detection system
Suprihadi et al. DROWTION: Driver drowsiness detection software using MINDWAVE
Houssaini et al. Real-Time Driver's Hypovigilance Detection using Facial Landmarks
Arun et al. Hypovigilance warning system: A review on driver alerting techniques
Arunasalam et al. Real-time drowsiness detection system for driver monitoring
Awasekar et al. Driver fatigue detection and alert system using non-intrusive eye and yawn detection
Antunes et al. An intelligent system to detect drowsiness at the wheel
Chatterjee et al. Smartphone-based drowsiness detection system for drivers in real-time
JP6604266B2 (ja) 眠気検知装置
Ahuja et al. Significance, Techniques, and Challenges in Driver Drowsiness Issue: A Guide Tour
Jyothi et al. Drowsiness Detection of Driver
Chengjun Vehicle safety sensory system
Balasubrahmanyan et al. Quantification of Alertness and Evaluation Method for Vision Based Driver Drowsiness and Alertness Warning System
Muralidharan et al. Smart Safety and Accident Prevention System
Vinoth et al. A drowsiness detection using smart sensors during driving and smart message alert system to avoid accidents
Lipatova et al. Researching Effective Systems and Methods for Detecting Drowsiness
John et al. Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices
Kolus A systematic review on driver drowsiness detection using eye activity measures

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140603

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150326

R150 Certificate of patent or registration of utility model

Ref document number: 5722767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees