JP5666383B2 - 眠気推定装置及び眠気推定方法 - Google Patents

眠気推定装置及び眠気推定方法 Download PDF

Info

Publication number
JP5666383B2
JP5666383B2 JP2011117834A JP2011117834A JP5666383B2 JP 5666383 B2 JP5666383 B2 JP 5666383B2 JP 2011117834 A JP2011117834 A JP 2011117834A JP 2011117834 A JP2011117834 A JP 2011117834A JP 5666383 B2 JP5666383 B2 JP 5666383B2
Authority
JP
Japan
Prior art keywords
sleepiness
estimation
level
behavior
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011117834A
Other languages
English (en)
Other versions
JP2012245091A (ja
Inventor
久保谷　寛行
寛行 久保谷
洋樹 北島
洋樹 北島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011117834A priority Critical patent/JP5666383B2/ja
Priority to US14/118,361 priority patent/US9105172B2/en
Priority to PCT/JP2012/003411 priority patent/WO2012160830A1/ja
Publication of JP2012245091A publication Critical patent/JP2012245091A/ja
Application granted granted Critical
Publication of JP5666383B2 publication Critical patent/JP5666383B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、眠気推定装置及び眠気推定方法に関する。
従来から、車両の運転者による居眠り運転を防止するために、運転席付近に設置したカメラによって運転者の顔面を撮影し、撮影された顔画像に基づいて運転者の眠気を推定する装置が提案されている（例えば、特許文献１）。この装置は、撮影された顔画像を用いて、複数の特徴点（つまり、特徴的な顔部位）間の距離又は頭部の傾き等の眠気特徴量を計測し、覚醒時の眠気特徴量（以下では、「基準特徴量」と呼ばれることがある）と眠気推定時の眠気特徴量との差分に基づいて眠気を推定する。
特許文献１に開示されている眠気推定装置は、顔の各部の距離又は角度を示す表情情報について、第１のタイミングにおける表情情報と、第２のタイミングにおける表情情報とを比較し、表情情報の大小関係に基づいて眠気の有無を判断する。
特開２００９−４５４１８号公報
「自動車運転時の眠気の予測手法について研究」, 日本機会学会論文集（C編）, Vol.63, No.613, p.93-100, 1997
しかしながら、眠気の表情への表れ方には個人差があり、眠気レベルを判断する場合に基準となる表情情報の数値には人によってバラつきがある。このため、個人差による影響を除いた眠気検出は、困難である。
本発明の目的は、個人差による影響を排除することにより、眠気推定精度を向上させることができる眠気推定装置及び眠気推定方法を提供することである。
本発明の一態様の眠気推定装置は、複数の眠気レベル候補の内から、眠気推定対象の眠気レベルを推定する眠気推定装置であって、複数の取得タイミングのそれぞれにおける眠気推定パラメータを取得する取得手段と、前記眠気推定対象の行動を検出する検出手段と、前記行動が検出された検出タイミングから、前記検出タイミングより後に取得した眠気推定パラメータの値が前記検出タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である回帰所要時間を算出する時間算出手段と、前記算出された回帰所要時間に基づいて、前記眠気推定対象の眠気レベルを推定する推定手段と、を具備する。
本発明の一態様の眠気推定方法は、複数の眠気レベル候補の内から、眠気推定対象の眠気レベルを推定する眠気推定方法であって、複数の取得タイミングのそれぞれにおける眠気推定パラメータを取得し、前記眠気推定対象の行動を検出し、前記行動が検出された検出タイミングから、前記検出タイミングより後に取得した眠気推定パラメータの値が前記検出タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である回帰所要時間を算出し、前記算出された回帰所要時間に基づいて、前記眠気推定対象の眠気レベルを推定する。
本発明によれば、個人差による影響を排除することにより、眠気推定精度を向上させることができる眠気推定装置及び眠気推定方法を提供できる。
本発明の実施の形態１に係る眠気推定装置の構成を示すブロック図 本発明の実施の形態１に係る安全運転支援装置の構成を示すブロック図 眠気推定パラメータ取得部の構成を示すブロック図 眠気推定装置の動作説明に供するフロー図 本発明の実施の形態２に係る眠気推定装置の構成を示すブロック図 眠気推定パラメータ取得部の構成を示すブロック図 眠気推定装置の動作説明に供するフロー図 本発明の実施の形態３に係る眠気推定装置の構成を示すブロック図 テーブル調整処理の説明に供するフロー図 調整テーブルの一例を示す図 本発明の実施の形態４に係る眠気推定装置の構成を示すブロック図 テーブル調整処理の説明に供するフロー図 調整テーブルの一例を示す図
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
［実施の形態１］
［眠気推定装置１００の構成］
図１は、本発明の実施の形態１に係る眠気推定装置１００の構成を示す。眠気推定装置１００は、例えば、車両に搭載され、ＥＣＵ（Electronic Control Unit）によって実現される。図１において、眠気推定装置１００は、眠気推定パラメータ取得部１０１と、行動検出部１０２と、回帰所要時間算出部１０３と、眠気推定部１０４とを有する。
眠気推定パラメータ取得部１０１は、眠気推定対象（例えば、車両の運転者）についての「眠気推定パラメータ」を取得する。「眠気推定パラメータ」は、顔表情特徴情報、又は、顔表情特徴情報から直接的に推定される眠気レベル（以下では、「粗眠気レベル」と呼ばれることがある）等である。顔表情特徴情報とは、例えば、顔部位の特徴点間の距離、又は、顔画像の画像特徴量である。
眠気推定パラメータ取得部１０１は、所定の周期で「眠気推定パラメータ」を取得し、回帰所要時間算出部１０３へ出力する。
行動検出部１０２は、検出対象の行動を検出し、行動を検出した場合に行動検出情報を回帰所要時間算出部１０３へ出力する。
回帰所要時間算出部１０３は、眠気推定パラメータ取得部１０１から所定の周期で「眠気推定パラメータ」を取得する。また、回帰所要時間算出部１０３は、行動検出部１０２において行動が検出された場合、行動検出部１０２から行動検出情報を取得する。
そして、回帰所要時間算出部１０３は、行動検出情報の取得タイミングより前に取得した眠気推定パラメータと、行動検出情報の取得タイミングより後に取得した眠気推定パラメータとに基づいて、「回帰所要時間」を算出する。「回帰所要時間」とは、行動が検出されたタイミングから、行動検出情報の取得タイミングより後に取得した眠気推定パラメータの値が行動検出情報の取得タイミングより前に取得した眠気推定パラメータの値（以下では、単に「基準値」と呼ばれることがある）に戻るまでに掛かる時間である。
具体的には、回帰所要時間算出部１０３は、行動検出情報を受け取ったタイミングから経過時間の計測を開始し、行動検出情報の取得タイミングより後に取得した眠気推定パラメータの値が基準値に到るまでの時間を計測する。こうして計測された時間が、回帰所要時間である。
眠気推定部１０４は、回帰所要時間算出部１０３において算出された回帰所要時間に基づいて、眠気推定対象の眠気レベルを推定する。具体的には、眠気推定部１０４は、複数の時間範囲のそれぞれと、眠気レベルとが対応づけられた眠気レベル推定テーブルを具備している。そして、眠気推定部１０４は、回帰所要時間算出部１０３において算出された回帰所要時間が当てはまる、眠気レベル推定テーブルにおける時間範囲と対応づけられた眠気レベルを特定する。この特定された眠気レベルが、眠気推定対象について推定される眠気レベルである。
［安全運転支援装置２００の構成］
図２は、本発明の実施の形態１に係る安全運転支援装置２００の構成を示す。安全運転支援装置２００は、眠気推定装置１００を含んで構成されている。図２において、安全運転支援装置２００は、画像取得部２０１と、出力部２０２とを有する。なお、上述の通り、実施の形態１では、眠気推定パラメータが顔表情特徴情報及び粗眠気レベルのいずれも利用可能であるが、以下では、眠気推定パラメータが顔表情特徴情報である場合の構成について説明する。
画像取得部２０１は、車両の運転者の顔画像を所定の周期で取得し、眠気推定パラメータ取得部１０１及び行動検出部１０２へ出力する。画像取得部２０１は、例えば、車両において運転者の正面方向に設置されるカメラである。このカメラは、運転者の顔を含む領域を撮影する。
眠気推定パラメータ取得部１０１は、眠気推定対象（例えば、車両の運転者）についての眠気推定パラメータを取得する。
図３は、本発明の実施の形態１に係る眠気推定パラメータ取得部１０１の構成を示す。図３において、眠気推定パラメータ取得部１０１は、表情特徴算出部１２１を有する。
表情特徴算出部１２１は、画像取得部２０１から出力された顔画像を用いて、眠気推定対象（例えば、車両の運転者）についての眠気推定パラメータの値（つまり、ここでは、顔表情特徴情報）を算出する。
具体的には、眠気推定パラメータとして顔部位の２つの特徴点間の距離が用いられる場合、２つの特徴点としては、例えば、上瞼及び下瞼のペア、左眉及び右眉のペア、又は、左口角及び右口角のペアが用いられる。なお、顔部位の特徴点の検出には、形状抽出、テンプレートマッチング、AAM(Active Appearance Model)、ASM(Active Shape Model)などが用いられる。
また、眠気推定パラメータとして顔画像の画像特徴量が用いられる場合、画像特徴量は、顔画像データの一部分（例えば、眉間領域）に対して、ガボール特徴、Haar-lke特徴、HoG(Histogram of oriented Grandient)特徴、又は、Haar-lke特徴を適用することにより求められる。
こうして算出された眠気推定パラメータの値は、回帰所要時間算出部１０３へ出力される。
行動検出部１０２は、画像取得部２０１から出力された顔画像を用いて、検出対象の行動を検出する。例えば、眠気推定対象が車両の運転者である場合、検出対象の行動は、ルームミラー、サイドミラー、メータ等を確認するための視線移動又は頭部挙動である。なお、行動検出部１０２は、顔画像を用いずに、音声入力による機器操作のための発話、又は、同乗者との会話等を、検出対象の行動としてもよい。
回帰所要時間算出部１０３は、上述の通り、行動検出情報の取得タイミングより前に取得した眠気推定パラメータと、行動検出情報の取得タイミングより後に取得した眠気推定パラメータとに基づいて、「回帰所要時間」を算出する。ここで、回帰所要時間は、眠気推定対象の眠気が深い程短くなり、眠気が浅い（つまり、覚醒状態に近い）程長くなる。
眠気推定部１０４は、回帰所要時間算出部１０３において算出された回帰所要時間に基づいて、眠気推定対象の眠気レベルを推定する。眠気レベルの推定には、上述の通り、複数の時間範囲のそれぞれと、眠気レベル候補とが対応づけられた眠気レベル推定テーブルが用いられる。眠気レベル推定テーブルでは、各時間範囲は、時間範囲を規定する時間が短くなる程、高い眠気レベルに対応づけられる。すなわち、眠気推定部１０４は、回帰所要時間算出部１０３において算出された回帰所要時間が属する時間範囲と対応付けられた眠気レベル候補を特定することにより、眠気推定対象の眠気レベルを推定する。
眠気レベルとしては、例えば、非特許文献１において規定されている眠気レベルを用いることができる。この非特許文献１では、レベル１：全く眠くなさそう、レベル２：やや眠そう、レベル３：眠そう、レベル４：かなり眠そう、レベル５：非常に眠そう、の５段階の眠気レベルが規定されている。特に、眠気レベル３までの初期の眠気レベルにおいて安全運転を支援することが事故の未然防止に効果的であると言われている。
出力部２０２は、眠気推定部１０４において推定された眠気レベルに応じた報知情報を出力する。この報知情報は、眠気による事故防止のために出力される。
例えば、眠気レベル１では、出力部２０２は、何も出力しない。
眠気レベル２では、出力部２０２は、報知情報として、車室内に存在する環境音を強調した強調音、香り、冷風、又は、光等を用いる。これにより、運転者に対して、さりげなく眠気防止を促すことができる。この場合、出力部２０２は、スピーカ、ベンチレータ、又は、LED照明等によって実現される。
眠気レベル３では、出力部２０２は、報知情報として、警報音（beep音、音声、超音波）、シート若しくはステアリングの振動、又は、シートベルトの一時的な巻き取り等を用いる。これにより、運転者に対して、注意喚起を促すことができる。
眠気レベル４又は５では、出力部２０２は、報知情報として、大音量の警報音、又は、シート若しくはステアリングの大振動等を用いる。また、同時に、安全運転支援装置２００は、運転者に対して、積極的に休憩を促してもよい。また、例えば、先行車との車間距離が極めて接近している場合、安全運転支援装置２００が車両の制御に介入し、緊急停車させてもよい。
［眠気推定装置１００の動作］
上記した構成を有する眠気推定装置１００の動作例について説明する。図４は、眠気推定装置１００の動作説明に供するフロー図を示す。
ステップＳ１１において、眠気推定パラメータ取得部１０１は、眠気推定パラメータ（基準値）Ｐ０を取得し、回帰所要時間算出部１０３へ出力する。
ステップＳ１２において、行動検出部１０２は、検出対象の行動を検出し、行動検出情報を回帰所要時間算出部１０３へ出力する。ここで、運転者が検出対象である行動を実行すると、運転者の眠気レベルが少なくとも一時的にレベル１（つまり、最も低い眠気レベル）に近づく。
ステップＳ１３において、回帰所要時間算出部１０３は、行動検出情報を受け取り、経過時間ｔをゼロにセットすると共に、経過時間のカウントを開始する。
ステップＳ１４において、眠気推定パラメータ取得部１０１は、眠気推定パラメータＰｔを取得し、回帰所要時間算出部１０３へ出力する。
ステップＳ１５において、回帰所要時間算出部１０３は、ＰｔがＰ０以下であるか否かを判定する。なお、ここでは、眠気の度合いが高まるにつれて大きくなる眠気推定パラメータ（例えば、粗眠気レベル）が用いられている前提として説明を行っているが、採用される眠気推定パラメータによっては、判定条件におけるＰ０とＰｔとの大小関係が逆転する場合がある。
ステップＳ１５においてＰｔがＰ０より大きいと判定される場合（ステップＳ１５：ＮＯ）、眠気推定パラメータ取得部１０１は、ステップＳ１４において次のタイミングの眠気推定パラメータＰｔを取得する。
ステップＳ１５においてＰｔがＰ０以下であると判定される場合（ステップＳ１５：ＹＥＳ）、回帰所要時間算出部１０３は、ステップＳ１６において、そのタイミングでの経過時間（つまり、回帰所要時間）を特定する。
ステップＳ１７において、眠気推定部１０４は、ステップＳ１６において特定された回帰所要時間に基づいて、眠気推定対象の眠気レベルを推定する。
以上のように本実施の形態によれば、眠気推定装置１００において、回帰所要時間算出部１０３が、行動が検出された検出タイミングから、検出タイミングより後に取得した眠気推定パラメータの値が検出タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である回帰所要時間を算出し、眠気推定部１０４が、算出された回帰所要時間に基づいて、眠気推定対象の眠気レベルを推定する。
こうして、眠気推定パラメータという個人によってバラツキのあるパラメータの代わりに、「回帰所要時間」を用いて眠気レベルを推定できるので、個人差の影響を排した眠気レベル推定を行うことができる。
具体的には、眠気推定部１０４は、複数の時間範囲のそれぞれと、眠気レベル候補とが対応づけられた眠気レベル推定テーブルを保持し、複数の時間範囲の内で回帰所要時間が属する時間範囲に対応する眠気レベル候補を特定する。
［実施の形態２］
実施の形態１では、全ての眠気レベルに関して、「回帰所要時間」を用いた推定が行われた。そして、眠気推定パラメータとしては、顔表情特徴情報及び粗眠気レベルのいずれも用いることができる。これに対して、実施の形態２では、眠気推定パラメータとして、粗眠気レベルが用いられる。そして、粗眠気レベルでも比較的精度の高い、最も高いレベル及び最も低いレベルでは、「回帰所要時間」を用いた推定処理を行わず、粗眠気レベルをそのまま眠気レベルとして用いる。これにより、眠気推定装置における処理負荷を削減できる。
［眠気推定装置３００の構成］
図５は、本発明の実施の形態２に係る眠気推定装置３００の構成を示す。図５において、眠気推定装置３００は、眠気推定パラメータ取得部３０１と、時間算出制御部３０２と、回帰所要時間算出部３０３とを有する。
眠気推定パラメータ取得部３０１は、所定の周期で「眠気推定パラメータ」を取得し、時間算出制御部３０２及び回帰所要時間算出部３０３へ出力する。ここでは、眠気推定パラメータは、「粗眠気レベル」である。
図６は、本発明の実施の形態２に係る眠気推定パラメータ取得部３０１の構成を示す。図６において、眠気推定パラメータ取得部３０１は、粗眠気レベル算出部３１１を有する。
粗眠気レベル算出部３１１は、表情特徴算出部１２１において算出された顔表情特徴情報に基づいて、眠気レベルを推定する。この推定された眠気レベルが、粗眠気レベルである。眠気推定部１０４において精度良く推定される眠気レベルと区別するために、粗眠気レベル算出部３１１によって推定された眠気レベルを粗眠気レベルと呼んでいる。従って、粗眠気レベルも、例えば、レベル１−５の５段階用意されている。
ここで、眠気レベルが高くなるにつれて、上瞼と下瞼との間の距離は小さくなる傾向があり、左右の眉間の距離は小さくなってから大きくなる傾向があり、左右の口角間の距離は小さくなる傾向がある。また、眠気レベルが高くなるにつれて、眉間領域の画像特徴量としては、高周波成分を多く含むテクスチャに現れる特徴的な特徴量が得られる。これは、眠気レベルが高くなるにつれて、運転者が眠気に抗って覚醒しようとするときに現れる眉間のしわに起因する。
図５に戻り、時間算出制御部３０２は、眠気推定パラメータ取得部３０１から出力された粗眠気レベルに応じて、回帰所要時間算出部３０３による算出処理の実行を制御する。具体的には、時間算出制御部３０２は、眠気推定パラメータ取得部３０１から出力された粗眠気レベルが最も高いレベル又は最も低いレベルである場合、算出処理の停止命令信号を回帰所要時間算出部３０３へ出力すると共に、その粗眠気レベルを眠気推定部１０４で推定される眠気レベルと同様に精度の高い眠気レベルとして後段の機能部（例えば、出力部２０２）へ出力する。一方、眠気推定パラメータ取得部３０１から出力された粗眠気レベルが最も高いレベルと最も低いレベルとを除くレベルである場合、時間算出制御部３０２は、算出処理の実行命令信号を回帰所要時間算出部３０３へ出力する。
回帰所要時間算出部３０３は、基本的に、実施の形態１の回帰所要時間算出部１０３と同様の機能を有する。ただし、回帰所要時間算出部３０３は、時間算出制御部３０２から実行命令信号を受けるときにのみ、回帰所要時間の算出処理を実行する。すなわち、回帰所要時間算出部３０３は、粗眠気レベルが最も高いレベルと最も低いレベルとを除くレベルである場合にのみ、回帰所要時間の算出処理を実行する。これは、正常状態（つまり、覚醒状態）を表す眠気レベル１及び非常に眠い状態である眠気レベル５の特定は比較的容易であるが、眠気レベルの初期から中期に該当する眠気レベル２−４ではその切り分けが難しいからである。
［眠気推定装置３００の動作］
図７は、眠気推定装置３００の動作説明に供するフロー図を示す。
ステップＳ２１において、眠気推定パラメータ取得部３０１は、眠気推定パラメータ（基準値）Ｐ０を取得し、時間算出制御部３０２及び回帰所要時間算出部３０３へ出力する。ここでは、眠気推定パラメータは、「粗眠気レベル」である。
ステップＳ２２において、時間算出制御部３０２は、眠気推定パラメータ取得部３０１から出力された粗眠気レベルがレベル１又はレベル５であるか否かを判定する。
ステップＳ２２において粗眠気レベルがレベル１又はレベル５であると判定された場合（ステップＳ２２：ＹＥＳ）、時間算出制御部３０２は、算出処理の停止命令信号を回帰所要時間算出部３０３へ出力する。これにより、眠気レベル推定処理は終了する。
ステップＳ２２において粗眠気レベルがレベル１又はレベル５でないと判定された場合（ステップＳ２２：ＮＯ）、時間算出制御部３０２は、算出処理の実行命令信号を回帰所要時間算出部３０３へ出力する。
ステップＳ２３において、眠気推定パラメータ取得部３０１は、眠気推定パラメータＰｔを取得し、時間算出制御部３０２及び回帰所要時間算出部３０３へ出力する。
以上のように本実施の形態によれば、眠気推定装置３００において、眠気推定パラメータ取得部３０１は、眠気推定対象の顔部位の特徴点間の距離、又は、顔画像の画像特徴量に基づいて、粗眠気レベルを眠気推定パラメータとして算出し、回帰所要時間算出部３０３は、粗眠気レベルが複数の眠気レベル候補の内の最も高い眠気レベル候補及び最も低い眠気レベル候補以外の、眠気レベル候補に対応する場合にのみ、回帰所要時間を算出する。
こうすることにより、レベルの切り分けが難しい複数の眠気レベル候補の内の最も高い眠気レベル候補及び最も低い眠気レベル候補以外の、眠気レベル候補についてのみ、回帰所要時間を算出するので、眠気推定装置３００における処理負荷を削減できる。
［実施の形態３］
［眠気推定装置４００の構成］
図８は、本発明の実施の形態３に係る眠気推定装置４００の構成を示す。図８において、眠気推定装置４００は、行動分類部４０１と、テーブル調整部４０２とを有する。
行動分類部４０１は、「行動分類パラメータ」に基づいて、行動検出部１０２によって検出された行動を複数の区分に分類する。実施の形態３での行動分類パラメータとは、行動に対応する視線移動又は頭部挙動の大きさを、視線角度又は頭部角度の時間変化の大きさとして表現したものである。
ここで、運転者の頭部の中心に対して鉛直方向のｚ軸、運転者の両目中心から正面方向のｘ軸、両目を結んだ直線上でかつｘ軸に垂直な方向のｙ軸によって構成される座標系を定義する。この座標系において、例えば、メータを視線だけで目視確認するような場合、頭部角度の変化はなく、短時間の視線角度のピッチ方向の移動（約０．５ｓｅｃでの２０°程度の上下運動）として捉えられる。従って、この場合、行動分類部４０１は、運転行動の大きさが小さい行動区分に分類する。また、例えば、運転席が右側にある場合に左サイドミラーを見る場合、頭部角度（ヨー方向に約３０°）及び視線角度（ヨー方向に３０°）のヨー方向の変化が短時間（約１ｓｅｃ程度）で生じる。また、車線変更において、首を回転させて側後方を目視確認する場合、頭部角度は、ヨー方向の回転（約２ｓｅｃでの９０°程度の回転運動）として捉えられる。この場合、行動分類部４０１は、運転行動の大きさが大きい区分に分類する。
テーブル調整部４０２は、行動検出部１０２によって検出された行動が行動分類部４０１によって分類された区分に応じて、眠気推定部１０４によって用いられる眠気レベル推定テーブルを調整する。
具体的には、テーブル調整部４０２は、眠気推定部１０４によって用いられる眠気レベル推定テーブルにおける各時間範囲を規定する時間（つまり、閾値）を、行動検出部１０２によって検出された行動が行動分類部４０１によって分類された区分に応じて調整する。なお、１つの眠気レベル推定テーブルにおける閾値を調整する代わりに、眠気推定部１０４に複数の眠気レベル推定テーブルを保持させておき、テーブル調整部４０２は、その複数の眠気レベル推定テーブルの中から、行動分類部４０１によって分類された区分に応じたテーブルを指定してもよい。
［眠気推定装置４００の動作］
図９は、眠気推定装置４００におけるテーブル調整処理の説明に供するフロー図を示す。
ステップＳ３１において、行動分類部４０１は、「行動分類パラメータ」に基づいて、行動検出部１０２によって検出された行動を複数の区分に分類する。実施の形態３での行動分類パラメータとは、行動に対応する視線移動又は頭部挙動の大きさを、視線角度又は頭部角度の時間変化の大きさとして表現したものである。
行動分類部４０１は、例えば、運転行動の大きさに基づいて、「大」、「中」、「小」の区分に分類する。
ステップＳ３２において、テーブル調整部４０２は、行動検出部１０２によって検出された行動が行動分類部４０１によって分類された区分に応じて、眠気推定部１０４によって用いられる眠気レベル推定テーブルを調整する。このテーブルの調整は、調整テーブルに基づいて行われる。
図１０は、調整テーブルの一例を示す。図１０において、t_１は、眠気レベル４と眠気レベル３とを仕切る閾値であり、t_２は、眠気レベル３と眠気レベル２とを仕切る閾値であり、t_３は、眠気レベル２と眠気レベル１とを区切る閾値である。また、ａ_１、ａ_２、ａ_３は、「小」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。また、ｂ_１、ｂ_２、ｂ_３は、「中」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。また、ｃ_１、ｃ_２、ｃ_３は、「大」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。ここで、区分に応じたt_１、t_２、t_３の値は、次の関係を満たす。
0＜a_1≦b_1≦c_1, 0＜a_2≦b_2≦c_2, 0＜a_3≦b_3≦c_3, 0＜a_1＜a_2＜a_3, 0＜b_1＜b_2＜b_3, 0＜c_1＜c_2＜c_3
なお、以上の説明では、運転行動の例として、視線移動、頭部挙動を伴う、メータの目視確認、左サイドミラーの目視確認、車線変更時の側後方への目視確認を例に挙げたが、他にも運転者が車両の前方を中心とする車両周辺の視界に存在する他の移動物（他車両、歩行者等）の存在を確認するための目視確認動作、又は、信号器の現示若しくは標示・標識の内容を目視確認する運転行動等でもよい。又は、眠気に抗うために行う、瞬間的に瞼を強く瞑る、頬を叩く、頬をつねる、頬を膨らます、口角を強く引く、首を回す等の運転者の自発的な行動であってもよい。
以上のように本実施の形態によれば、眠気推定装置４００において、行動分類部４０１は、行動分類パラメータに基づいて、行動検出部１０２において検出された行動を複数の区分の内のいずれかに分類し、テーブル調整部４０２は、分類された区分に応じて、眠気レベル推定テーブルの各時間範囲を規定する時間を調整する。そして、行動分類パラメータは、検出された行動の大きさである。
こうすることにより、回帰所要時間に影響を与える行動の大きさに応じて眠気レベル推定テーブルを調整できるので、眠気推定精度を向上させることができる。
［実施の形態４］
［眠気推定装置５００の構成］
図１１は、本発明の実施の形態４に係る眠気推定装置５００の構成を示す。図１１において、眠気推定装置５００は、運転イベント検出部５０１と、行動分類部５０２とを有する。
運転イベント検出部５０１は、「行動分類パラメータ」を検出する。実施の形態４での「行動分類パラメータ」は、行動を誘発するイベントの発生頻度である。このイベントの発生頻度は、例えば、警告灯、安全運転支援システム、又はカーナビゲーションシステム等のシステムからの、注意喚起、警告、又は、ルート案内情報のリアルタイム出力の動作ログに基づいて、検出される。
行動分類部５０２は、運転イベント検出部５０１において検出された「行動分類パラメータ」に基づいて、行動検出部１０２によって検出された行動を複数の区分に分類する。
テーブル調整部４０２は、行動分類部５０２によって分類された区分に応じて、眠気推定部１０４によって用いられる眠気レベル推定テーブルを調整する。
［眠気推定装置５００の動作］
図１２は、眠気推定装置５００におけるテーブル調整処理の説明に供するフロー図を示す。
ステップＳ４１において、運転イベント検出部５０１は、「行動分類パラメータ」を検出する。実施の形態４での「行動分類パラメータ」は、行動を誘発するイベントの発生頻度である。
ステップＳ４２において、行動分類部５０２は、「行動分類パラメータ」に基づいて、行動検出部１０２によって検出された行動を複数の区分に分類する。
行動分類部５０２は、例えば、「運転イベントの検出無し」、運転イベントの発生頻度の「高」、「低」の３つの区分に分類する。
ステップＳ４３において、テーブル調整部４０２は、行動分類部５０２によって分類された区分に応じて、眠気推定部１０４によって用いられる眠気レベル推定テーブルを調整する。このテーブルの調整は、調整テーブルに基づいて行われる。
図１３は、調整テーブルの一例を示す。図１３において、t_１は、眠気レベル４と眠気レベル３とを仕切る閾値であり、t_２は、眠気レベル３と眠気レベル２とを仕切る閾値であり、t_３は、眠気レベル２と眠気レベル１とを区切る閾値である。また、ｄ_１、ｄ_２、ｄ_３は、「運転イベントの検出無し」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。また、ｅ_１、ｅ_２、ｅ_３は、「高」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。また、ｆ_１、ｆ_２、ｆ_３は、「低」区分と分類された場合のt_１、t_２、t_３の値にそれぞれ対応する。ここで、区分に応じたt_１、t_２、t_３の値は、次の関係を満たす。
0＜d_1≦e_1≦f_1, 0＜d_2≦e_2≦f_2, 0＜d_3≦e_3≦f_3, 0＜d_1＜d_2＜d_3, 0＜e_1＜e_2＜e_3, 0＜f_1＜f_2＜f_3
なお、以上の説明では、イベントの発生頻度は、警告灯、安全運転支援システム、又はカーナビゲーションシステム等のシステムからの、注意喚起、警告、又は、ルート案内情報のリアルタイム出力の動作ログに基づいて、検出されるものとして説明した。しかしながらこれに限定されるものではなく、運転イベント検出部５０１をマイクによって構成し、例えば周辺車両からのクラクションをイベントとして検出してもよい。クラクションが誘発する運転行動は、低頻度なイベントとして分類される。また、運転イベント検出部５０１をカメラによって構成し、例えば西日差し込み状況を検出できる。西日に眩惑してサンバイザーを下ろすといった運転行動は、高頻度なイベントとして分類される。
以上のように本実施の形態によれば、眠気推定装置５００において、行動分類部５０２は、行動分類パラメータに基づいて、行動検出部１０２において検出された行動を複数の区分の内のいずれかに分類し、テーブル調整部４０２は、分類された区分に応じて、眠気レベル推定テーブルの各時間範囲を規定する時間を調整する。そして、行動分類パラメータは、運転イベント検出部５０１において検出された、行動を誘発するイベントの発生頻度である。
こうすることにより、回帰所要時間に影響を与える行動の種別に応じて眠気レベル推定テーブルを調整できるので、眠気推定精度を向上させることができる。
［他の実施の形態］
（１）上記各実施の形態では、行動検出部１０２は、顔画像を用いて行動を検出するものとして説明を行った。しかしながら、これに限定されるものではなく、ＣＡＮ（Controller Area Network）から得られる操舵角又はアクセル開度を用いて行動を検出してもよいし、運転者のシートに取り付けられたシートセンサの圧力分布の時間変化の大きさを用いて行動を検出してもよい。
（２）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアでも実現することも可能である。
また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本発明眠気推定装置及び眠気推定方法は、個人差による影響を排除することにより、眠気推定精度を向上させることができるものとして有用である。
１００，３００，４００，５００ 眠気推定装置
１０１，３０１ 眠気推定パラメータ取得部
１０２ 行動検出部
１０３，３０３ 回帰所要時間算出部
１０４ 眠気推定部
１２１ 表情特徴算出部
２００ 安全運転支援装置
２０１ 画像取得部
２０２ 出力部
３０２ 時間算出制御部
３１１ 粗眠気レベル算出部
４０１，５０２ 行動分類部
４０２ テーブル調整部
５０１ 運転イベント検出部

Claims (7)

  1. 複数の眠気レベル候補の内から、眠気推定対象の眠気レベルを推定する眠気推定装置であって、
    複数の取得タイミングのそれぞれにおける眠気推定パラメータを取得する取得手段と、
    前記眠気推定対象の行動を検出する検出手段と、
    前記行動が検出された検出タイミングから、前記検出タイミングより後に取得した眠気推定パラメータの値が前記検出タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である回帰所要時間を算出する時間算出手段と、
    前記算出された回帰所要時間に基づいて、前記眠気推定対象の眠気レベルを推定する推定手段と、
    を具備する眠気推定装置。
  2. 前記取得手段は、前記眠気推定対象の顔表情特徴情報に基づいて、第２の眠気レベルを前記眠気推定パラメータとして算出するレベル算出手段を含み、
    前記時間算出手段は、前記第２の眠気レベルが前記複数の眠気レベル候補の内の最も高い眠気レベル候補及び最も低い眠気レベル候補以外の、眠気レベル候補に対応する場合にのみ、前記回帰所要時間を算出する、
    請求項１に記載の眠気推定装置。
  3. 前記推定手段は、複数の時間範囲のそれぞれと、眠気レベル候補とが対応づけられた眠気レベル推定テーブルを保持し、前記複数の時間範囲の内で前記算出された回帰所要時間が属する時間範囲に対応する眠気レベル候補を特定する、
    請求項１に記載の眠気推定装置。
  4. 行動分類パラメータに基づいて、前記検出手段において検出された行動を複数の区分の内のいずれかに分類する行動分類手段と、
    前記分類された区分に応じて、前記眠気レベル推定テーブルの各時間範囲を規定する時間を調整するテーブル調整手段と、をさらに具備する、
    請求項３に記載の眠気推定装置。
  5. 前記行動分類パラメータは、前記検出された行動の大きさである、
    請求項４に記載の眠気推定装置。
  6. 前記行動分類パラメータは、前記検出された行動を誘発するイベントの頻度である、
    請求項４に記載の眠気推定装置。
  7. 複数の眠気レベル候補の内から、眠気推定対象の眠気レベルを推定する眠気推定方法であって、
    複数の取得タイミングのそれぞれにおける眠気推定パラメータを取得し、
    前記眠気推定対象の行動を検出し、
    前記行動が検出された検出タイミングから、前記検出タイミングより後に取得した眠気推定パラメータの値が前記検出タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である回帰所要時間を算出し、
    前記算出された回帰所要時間に基づいて、前記眠気推定対象の眠気レベルを推定する、
    眠気推定方法。
JP2011117834A 2011-05-26 2011-05-26 眠気推定装置及び眠気推定方法 Expired - Fee Related JP5666383B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011117834A JP5666383B2 (ja) 2011-05-26 2011-05-26 眠気推定装置及び眠気推定方法
US14/118,361 US9105172B2 (en) 2011-05-26 2012-05-25 Drowsiness-estimating device and drowsiness-estimating method
PCT/JP2012/003411 WO2012160830A1 (ja) 2011-05-26 2012-05-25 眠気推定装置及び眠気推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011117834A JP5666383B2 (ja) 2011-05-26 2011-05-26 眠気推定装置及び眠気推定方法

Publications (2)

Publication Number Publication Date
JP2012245091A JP2012245091A (ja) 2012-12-13
JP5666383B2 true JP5666383B2 (ja) 2015-02-12

Family

ID=47216920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011117834A Expired - Fee Related JP5666383B2 (ja) 2011-05-26 2011-05-26 眠気推定装置及び眠気推定方法

Country Status (3)

Country Link
US (1) US9105172B2 (ja)
JP (1) JP5666383B2 (ja)
WO (1) WO2012160830A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI478691B (zh) * 2012-01-06 2015-04-01 Wistron Corp 睡意偵測方法及其裝置
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
JP6236099B2 (ja) 2016-02-16 2017-11-22 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
JP6531719B2 (ja) * 2016-05-23 2019-06-19 株式会社デンソー ドライバ状態検知装置、ドライバ状態検知方法
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
JP6930247B2 (ja) * 2017-06-29 2021-09-01 株式会社アイシン 覚醒支援装置、覚醒支援方法、及び、覚醒支援プログラム
JP2019074791A (ja) * 2017-10-12 2019-05-16 株式会社デンソー 車両用運転支援装置
JP2020052482A (ja) * 2018-09-25 2020-04-02 オムロン株式会社 危険運転防止装置
WO2021065002A1 (ja) * 2019-10-04 2021-04-08 株式会社日立物流 ドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラム
US11707971B2 (en) * 2019-12-20 2023-07-25 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and program for delivering a scent alert
CN111583600B (zh) * 2020-04-10 2021-07-20 深圳三角形科技有限公司 预防近视的设备及计算机可读存储介质
JP7375691B2 (ja) * 2020-07-01 2023-11-08 トヨタ自動車株式会社 眠気兆候通知システム
JP7399324B2 (ja) * 2021-02-03 2023-12-15 三菱電機株式会社 調整装置、調整システム、および、調整方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779803B2 (ja) * 1987-12-09 1995-08-30 日本電装株式会社 居眠り検出装置
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US9129505B2 (en) * 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
AU2003284186A1 (en) * 2002-10-28 2004-05-25 Morris Steffin Method and apparatus for detection of drownsiness and for monitoring biological processes
JP4505619B2 (ja) * 2003-02-24 2010-07-21 美智子 高岡 心身状態判定システム
RU2423070C2 (ru) * 2005-03-04 2011-07-10 Слип Диагностикс Пти.Лтд Измерение бдительности
JP2007229218A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 覚醒度推定装置及びシステム並びに方法
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
JP4458146B2 (ja) * 2007-02-16 2010-04-28 株式会社デンソー 眠気判定装置およびプログラム
US8045766B2 (en) 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
US8040247B2 (en) * 2009-03-23 2011-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. System for rapid detection of drowsiness in a machine operator
JP5493451B2 (ja) * 2009-04-24 2014-05-14 トヨタ自動車株式会社 意識低下度判定装置および警報装置
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions

Also Published As

Publication number Publication date
US9105172B2 (en) 2015-08-11
WO2012160830A1 (ja) 2012-11-29
US20140062704A1 (en) 2014-03-06
JP2012245091A (ja) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5666383B2 (ja) 眠気推定装置及び眠気推定方法
EP2860664B1 (en) Face detection apparatus
US7835834B2 (en) Method of mitigating driver distraction
JP4788624B2 (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP6338701B2 (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
CN104200192B (zh) 驾驶员注视检测系统
US9526448B2 (en) State estimation device and state estimation program
WO2020237664A1 (zh) 驾驶提醒方法、驾驶状态检测方法和计算设备
US20160159217A1 (en) System and method for determining drowsy state of driver
US20100202658A1 (en) Drowsiness detector
WO2015072069A1 (ja) ドライバ監視装置
US10899356B2 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
JP4182131B2 (ja) 覚醒度判定装置及び覚醒度判定方法
JP4655035B2 (ja) 居眠り検知装置、居眠り検知方法
JP6323510B2 (ja) 運転者体調検知装置及び方法
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
JP2018183532A (ja) 状態推定装置
JP2017049311A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022149287A (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
US10945651B2 (en) Arousal level determination device
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
Rimal et al. Driver Monitoring System using an Embedded Computer Platform
US20240351521A1 (en) Driver monitoring device, driver monitoring method and driver monitoring computer program
Victoreia et al. Driver fatigue monitoring system using eye closure
Singh Drowsiness and Yawn Detection System Using Python

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141210

R151 Written notification of patent or utility model registration

Ref document number: 5666383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees