JP5447657B2 - 生体状態判定装置 - Google Patents

生体状態判定装置 Download PDF

Info

Publication number
JP5447657B2
JP5447657B2 JP2012509215A JP2012509215A JP5447657B2 JP 5447657 B2 JP5447657 B2 JP 5447657B2 JP 2012509215 A JP2012509215 A JP 2012509215A JP 2012509215 A JP2012509215 A JP 2012509215A JP 5447657 B2 JP5447657 B2 JP 5447657B2
Authority
JP
Japan
Prior art keywords
driver
variation
time
eye opening
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012509215A
Other languages
English (en)
Other versions
JPWO2011125166A1 (ja
Inventor
善幸 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2011125166A1 publication Critical patent/JPWO2011125166A1/ja
Application granted granted Critical
Publication of JP5447657B2 publication Critical patent/JP5447657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、ドライバの生体状態を判定する生体状態判定装置に関するものである。
従来の生体状態判定装置としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載の生体状態判定装置は、覚醒度を反映する閉眼時間割合等の運転者情報と、注意集中度を反映する頭部振動伝達率等の運転者情報とを検出し、各運転者情報の運転者個人の平均値及び標準偏差を演算し、この平均値及び標準偏差と車両・運転環境情報とに基づいて、運転者の居眠り状態、居眠り葛藤状態、集中状態、漫然状態を判定するものである。
特開２００７−２６５３７７号公報
しかしながら、上記従来技術においては、眠気が出る前のぼんやり状態とそれ以外の状態とで値が異なる指標（特徴量）が無いため、ぼんやり状態のような不明確な生体状態を一義的に判定するのは困難である。
本発明の目的は、ドライバのぼんやり状態を的確に判定することができる生体状態判定装置を提供することである。
本発明の生体状態判定装置は、ドライバの顔情報を取得する顔情報取得手段と、ドライバの顔情報に基づいてドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、ドライバの顔情報に基づいてドライバの顔向きのばらつきを求める顔向きばらつき計算手段と、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定する覚醒度判定手段とを備えることを特徴とするものである。
このような本発明の生体状態判定装置においては、ドライバの顔情報に基づいて、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとを求める。ここで、ドライバの開眼時間のばらつきが増加すると共にドライバの顔向きのばらつきが減少すると、ドライバの覚醒度が低くなり、ドライバがぼんやり状態となる傾向にある。そこで、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定することにより、ぼんやり状態の判定精度を高くすることができる。
好ましくは、覚醒度判定手段は、ドライバの顔向きのばらつきが少なくなるほどドライバの覚醒度が低くなると判定する。これにより、ドライバの顔向きのばらつきが少なくなると、ドライバがぼんやり状態となる傾向にあると判断することができる。
また、覚醒度判定手段により判定されたドライバの覚醒度からドライバのぼんやり状態が検知された後、ドライバの開眼時間のばらつきの増減傾向に基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段を更に備える。ドライバの開眼時間のばらつきが減少傾向にあるときは、ドライバがぼんやり状態から眠気状態へ移行するようになる。このようにドライバに眠気が発生する可能性があるかどうかを判定することにより、眠気を抑えるための対応策をドライバに取らせることができる。
このとき、好ましくは、眠気発生判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を更に備える。この場合には、例えば眠気が発生する時刻または眠気が発生するまでの時間をドライバに告知することで、ドライバに対して休息を促すことができる。
本発明によれば、ドライバのぼんやり状態を的確に判定することができる。これにより、ドライバの生体状態をより詳細に判別することが可能となる。
本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。 図１に示したＥＣＵにより実行される処理手順を示すフローチャートである。 単位時間幅内における開眼時間のばらつきの一例を示す図である。 開眼時間格納バッファの一例を示す表である。 ドライバの顔向き左右角を示す概念図である。 顔向き角格納バッファの一例を示す表である。 開眼時間ばらつきと顔向き左右角ばらつきとぼんやり検知フラグとの関係の一例を示すグラフである。 ぼんやり検知フラグと開眼時間ばらつきとの関係の一例を示すグラフである。 ２つのデータ処理区間が設定された顔向き左右角ばらつきの一例を示すグラフである。 図９に示したデータ処理区間毎の顔向き左右角ばらつきの周波数分布を示すグラフである。 眠気発生可能性判定結果と開眼時間ばらつきとの関係の一例を示すグラフである。 本発明に係わる生体状態判定装置の一実施形態を実走行に適用した実施例において、開眼時間ばらつきと顔向き左右角ばらつきとの関係を示すグラフである。 本発明に係わる生体状態判定装置の一実施形態を実走行に適用した他の実施例において、開眼時間ばらつきと顔向き左右角ばらつきとの関係を示すグラフである。
以下、本発明に係わる生体状態判定装置の好適な実施形態について、図面を参照して詳細に説明する。
図１は、本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。本実施形態の生体状態判定装置１は、車両に搭載され、車両のドライバの生体状態を判定する装置である。
生体状態判定装置１は、顔撮像カメラ２と、ＥＣＵ（Electronic Control Unit）３と、出力器４とを備えている。顔撮像カメラ２は、ドライバの顔を撮像し、顔画像を生成する。出力器４としては、音声出力を発生させる機器や、画面表示を行う機器が用いられる。
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、顔撮像カメラ２の撮像画像を入力し、所定の処理を行い、ドライバの覚醒度を判定し、その覚醒度からドライバの生体状態（覚醒状態、ぼんやり状態、眠気状態等）を判別し、その判別結果を出力器４に送出する。
図２は、ＥＣＵ３により実行される処理手順を示すフローチャートである。同図において、まず顔撮像カメラ２の顔画像データを取得する（手順Ｓ５１）。そして、図３に示すように、顔画像データから瞼の開閉を判断し、眼が開いている時間（開眼時間）を検出する（手順Ｓ５２）。なお、図３において、tonはｎ回目の開眼時間であり、tsnはｎ回目の開眼の開始時刻であり、tenはｎ回目の開眼の終了時刻である。
続いて、図４に示すように、開眼時間データ（開始時刻tsn、終了時刻ten、開眼時間ton）を開眼時間格納バッファに保持する（手順Ｓ５３）。ここで、開眼時間格納バッファのサイズ要件としては、ten−ts１＞ｔｗを満足している。なお、ｔｗ（図３参照）は、開眼時間のばらつき（後述）を定量化する際の単位時間幅である。
続いて、図５に示すように、手順Ｓ５１で取得した顔画像データからドライバの顔向き左右角βを検出する（手順Ｓ５４）。顔向き左右角βは、車両前後方向（Ｚ軸方向）に対する顔向き角度であり、ここでは右向きを正としている。
続いて、図６に示すように、顔向き左右角データ（走行時間tn、顔向き左右角βn）を顔向き角格納バッファに保持する（手順Ｓ５５）。ここで、顔向き角格納バッファのサイズ要件としては、tn−t１＞ｔｗを満足している。なお、ここでのｔｗは、顔向き左右角のばらつき（後述）を定量化する際の単位時間幅である。
続いて、複数の開眼時間のばらつきを統計量として計算する（手順Ｓ５６）。統計量としては標準偏差及び分散等があるが、ここでは標準偏差を求める。このとき、単位時間幅ｔｗ内の開眼時間データを取得し、開眼時間ばらつき（標準偏差）Ｔsdを以下のようにして算出する。
単位時間幅ｔｗ内に含まれる開眼時間＝｛ｔｏ１，ｔｏ２，ｔｏ３，…ｔｏｎ｝
Figure 0005447657
また、過去に検出された開眼時間データを任意の個数だけ取得して、開眼時間ばらつきＴsdを求めても良い。具体的には、図４に示すような開眼時間格納バッファに格納されている開眼時間データを、最新のものから遡って任意の個数だけ抽出する。例えば、最新の開眼時間をｔｏｎ、個数を３とすると、抽出される開眼時間は、ｔｏｎ−２，ｔｏｎ−１，ｔｏｎの３つとなる。そして、これらの開眼時間データを用いて、上記式により開眼時間ばらつきＴsdを算出する。
続いて、複数の顔向き左右角（絶対値）のばらつきを統計量として計算する（手順Ｓ５７）。統計量としては標準偏差及び分散等があるが、ここでも標準偏差を求める。このとき、単位時間幅ｔｗ内の顔向き左右角（絶対値）データを取得し、顔向き左右角ばらつき（標準偏差）βsdを以下のようにして算出する。
単位時間幅ｔｗ内に含まれる顔向き左右角（絶対値）＝｛β１，β２，β３，…βｎ｝
Figure 0005447657
続いて、図７に示すように、開眼時間ばらつきＴsdと顔向き左右角ばらつきβsdとを各々閾値処理することで、ドライバのぼんやり状態を検知する（手順Ｓ５８）。具体的には、開眼時間ばらつきＴsdと閾値ＴＨ１とを比較すると共に、顔向き左右角ばらつきβsdと閾値ＴＨ２とを比較する。このとき、時刻ｔにおける開眼時間ばらつきＴsd（ｔ）及び顔向き左右角ばらつきβsd（ｔ）が下記の条件を満足したときは、ぼんやり検知フラグがＯＮとなり、下記の条件を満足しないときは、ぼんやり検知フラグがＯＦＦとなる。
Ｔsd（ｔ）＞ＴＨ１
βsd（ｔ）＜ＴＨ２
なお、図７において、区間ＤＴＨ１は、閾値ＴＨ１を設定するためのデータ取得区間であり、区間ＤＴＨ２は、閾値ＴＨ２を設定するためのデータ取得区間である。
閾値ＴＨ１の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻ｔｎまでの開眼時間ばらつきの統計量から閾値ＴＨ１を設定する。
ＴＨ１＝T_MEAN_SD＋Ｎ×T_STDEV_SD …（Ａ）
T_MEAN_SD：運転開始から任意時刻ｔｎまでの開眼時間ばらつきの平均値
Ｎ：係数（例えば３）
T_STDEV_SD：運転開始から任意時刻ｔｎまでの開眼時間ばらつきの標準偏差
また、ドライバの名前と閾値ＴＨ１の値とを対応づけてデータベースとして保管しておき、運転開始時に個人認証を行い、ドライバに対応するデータベースを参照して閾値ＴＨ１を設定しても良い。この場合、例えばドライバが初めて本装置を使った時のデータを閾値ＴＨ１として保持しておく必要がある。
さらに、上記（Ａ）式における係数Ｎの値を、ドライバの着用物によって変えても良い。例えばドライバがメガネを着用している場合には、裸眼の場合に比べて、ぼんやりしていなくても目が疲れやすい傾向にあることから、開眼時間ばらつきが大きくなることがあるので、係数Ｎを大きくする（例えばＮ＝５）とすることで、誤検知しにくくする。この場合、例えば顔撮像カメラ２によりドライバがメガネを着用しているか否かを判定し、メガネを着用しているときは、メガネ有り用のデータベースを参照して閾値ＴＨ１を設定し、メガネを着用していないときは、メガネ無し用のデータベースを参照して閾値ＴＨ１を設定する。
閾値ＴＨ２の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの統計量から閾値ＴＨ２を設定する。
ＴＨ２＝β_MEAN_SD−Ｎ×β_STDEV_SD …（Ｂ）
β_MEAN_SD：運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの平均値
Ｎ：係数（例えば２）
β_STDEV_SD：運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの標準偏差
また、ドライバの名前と閾値ＴＨ２の値とを対応づけてデータベースとして保管しておき、運転開始時に個人認証を行い、ドライバに対応するデータベースを参照して閾値ＴＨ２を設定しても良い。この場合にも、例えばドライバが初めて本装置を使った時のデータを閾値ＴＨ２として保持しておく必要がある。
続いて、図８に示すように、ぼんやり検知フラグ及び開眼時間ばらつきに基づき、直線あてはめ手法を用いて将来におけるドライバの眠気発生の可能性を判定する（手順Ｓ５９）。
具体的には、ぼんやり検知フラグがＯＦＦからＯＮになる時刻を、直線あてはめ区間の先頭時間ｔｓに設定する。次いで、時刻ｔｓから直線あてはめ区間幅ＬＷだけ経過した時刻を直線あてはめ区間の末尾時間ｔｅに設定する。次いで、時刻ｔｓ〜時刻ｔｅの区間の開眼時間ばらつきデータに対し、直線近似式を取得する。近似方法の一例としては、最小自乗法がある。直線近似式ＳＤは、以下の通りである。
ＳＤ＝Ａｔ＋Ｂ …（Ｃ）
そして、上記（Ｃ）式の傾きＡに対し、下記のような判断を行う。
Ａ＜０ …（条件１）
Ａ≧０ …（条件２）
ここで、Ａ＜０（条件１）を満足するときは、ぼんやり状態から眠気状態へ移行すると推定され、Ａ＞０を満足するときは、ぼんやり状態から覚醒状態へ移行すると推定される。
なお、直線あてはめ区間幅ＬＷは、例えば３分に設定される。その理由としては、睡眠潜時（寝入るまでの時間）が短い人（睡眠障害の患者）でも最短３分程度であることによる。これにより、健常者を含むどのドライバについても、眠気発生の可能性を素早く判定することができる。また、時刻ｔｅは、開眼時間ばらつきデータの取得が完了する時刻であるため、眠気発生の可能性の判定を行う時刻でもある。
上記（Ｃ）式においてＡ＜０（条件１）を満たすと判断されたときは、図９に示すように、顔向き左右角ばらつきデータに対し、２つのデータ処理区間Ｐ，Ｑを設定する。データ処理区間Ｐは、時刻（ｔｓ−ＬＷ）〜時刻ｔｓまでの時間幅区間であり、データ処理区間Ｑは、時刻ｔｓ〜時刻ｔｅまでの時間幅区間である。
次いで、データ処理区間Ｐの顔向き左右角ばらつきデータを切り出し、それに対して周波数解析処理（例えばＦＦＴ処理）を施すことにより、図１０（Ａ）に示すように、周波数成分に対する振幅スペクトル（周波数分布）を得る。そして、データ処理区間Ｐの顔向き左右角ばらつきデータの周波数分布における重心周波数ｆｇ１を抽出する。
また、上記と同様にして、データ処理区間Ｑの顔向き左右角ばらつきデータを切り出し、それに対して周波数解析処理を施すことにより、図１０（Ｂ）に示すような周波数分布を得る。そして、データ処理区間Ｑの顔向き左右角ばらつきデータの周波数分布における重心周波数ｆｇ２を抽出する。
そして、重心周波数ｆｇ１，ｆｇ２の関係が下記式を満たすときに、ドライバに眠気発生の可能性があると判断する。
ｆｇ１＞ｆｇ２
続いて、手順Ｓ５９においてドライバに眠気発生の可能性があると判定されたときは、図１１に示すように、眠気発生可能性の判定結果と直線近似式ＳＤとを用いて、将来のドライバの眠気発生予想時刻を推定する（手順Ｓ６０）。具体的には、まず直線近似式ＳＤを延長した線（眠気発生予想直線）と眠気発生状態検知用の閾値ＴＨ３との交点となる時刻ｔｄを計算する。その時刻ｔｄが眠気発生予想時刻と推定される。また、時刻ｔｅは眠気発生予想時刻の推定処理を行う時刻となるため、時刻ｔｄと時刻ｔｅとの時間差（眠気発生予想時刻までの所要時間）を計算する。
続いて、手順Ｓ５８〜Ｓ６０の処理結果として、ドライバがぼんやり状態であるか否か、ドライバに眠気発生の可能性があるか否か、ドライバに眠気が発生するまでの所要時間等を、出力器４に送出してドライバに伝える（手順Ｓ６１）。
図１２は、生体状態判定装置１を実走行に適用した実施例を示したものである。同図において、開眼時間ばらつきが閾値ＴＨ１よりも大きくなり、顔向き左右角ばらつきが閾値ＴＨ２よりも小さくなる時刻Ｔａで、ドライバのぼんやり状態が検知されている。また、直線近似式ＳＤを延長した眠気発生予想直線と閾値ＴＨ３との交点となる時刻Ｔｃが、ドライバが眠くなる時刻であると予想されている。このとき、ドライバにより申告された実際の眠気発生時刻は、時刻Ｔｃにほぼ一致した。
図１３は、生体状態判定装置１を実走行に適用した他の実施例を示したものである。同図においても、開眼時間ばらつきが閾値ＴＨ１よりも大きくなり、顔向き左右角ばらつきが閾値ＴＨ２よりも小さくなる時刻Ｔａで、ドライバのぼんやり状態が検知されている。また、直線近似式ＳＤを延長した眠気発生予想直線と閾値ＴＨ３との交点となる時刻Ｔｃが、ドライバが眠くなる時刻であると予想されている。このときも、ドライバにより申告された実際の眠気発生時刻は、時刻Ｔｃにほぼ一致した。
以上において、顔撮像カメラ２とＥＣＵ３の上記手順Ｓ５１（図２参照）とは、ドライバの顔情報を取得する顔情報取得手段を構成する。ＥＣＵ３の上記手順Ｓ５２，Ｓ５３，Ｓ５６（図２参照）は、ドライバの顔情報に基づいてドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段を構成する。同手順Ｓ５４，Ｓ５５，Ｓ５７は、ドライバの顔情報に基づいてドライバの顔向きのばらつきを求める顔向きばらつき計算手段を構成する。同手順Ｓ５８は、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定する覚醒度判定手段を構成する。
また、同手順Ｓ５９は、覚醒度判定手段によりにより判定されたドライバの覚醒度からドライバのぼんやり状態が検知された後、ドライバの開眼時間のばらつきの増減傾向に基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段を構成する。同手順Ｓ６０は、眠気発生判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を構成する。
以上のように本実施形態にあっては、顔撮像カメラ２の顔画像データに基づいてドライバの開眼時間及び顔向き左右角を検出して、ドライバの開眼時間ばらつき及び顔向き左右角ばらつきを算出し、これらの開眼時間ばらつき及び顔向き左右角ばらつきを各々閾値処理することで、ドライバのぼんやり状態を検知するようにしたので、判定が困難とされるぼんやり状態を的確に判定することができる。これにより、眠気が出る前のぼんやり状態であることをドライバに気付かせることで、ドライバに注意を促すことができる。
また、ドライバの開眼時間ばらつき及び顔向き左右角ばらつきに基づいて、ぼんやり状態から眠気発生状態への移行の有無を判断するので、将来ドライバに眠気発生の可能性があると判定されたときに、ドライバに眠気を発生させないための対応策（例えばガムを噛む等）を取らせることができる。
さらに、将来ドライバに眠気発生の可能性があると判定されたときには、ドライバの眠気発生予想時刻を推定するので、眠気が発生するまでの時間をドライバに知らせることで、休息を取るための対応策となる参考情報（例えば退避するパーキングの選定等）を与えることができる。
本発明は、ドライバのぼんやり状態を的確に判定することができる生体状態判定装置を提供するものである。
１…生体状態判定装置、２…顔撮像カメラ（顔情報取得手段）、３…ＥＣＵ（顔情報取得手段、開眼時間ばらつき計算手段、顔向きばらつき計算手段、覚醒度判定手段、眠気発生判定手段、眠気発生時刻予測手段）。

Claims (3)

  1. ドライバの顔情報を取得する顔情報取得手段と、
    前記ドライバの顔情報に基づいて前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
    前記ドライバの顔情報に基づいて前記ドライバの顔向きのばらつきを求める顔向きばらつき計算手段と、
    前記ドライバの開眼時間のばらつきと前記ドライバの顔向きのばらつきとに基づいて、前記ドライバの覚醒度を判定する覚醒度判定手段と、
    前記覚醒度判定手段により判定された前記ドライバの覚醒度から前記ドライバのぼんやり状態が検知された後、前記ドライバの開眼時間のばらつきの増減傾向に基づいて、前記ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段と、
    を備えることを特徴とする生体状態判定装置。
  2. 前記覚醒度判定手段は、前記ドライバの顔向きのばらつきが少なくなるほど前記ドライバの覚醒度が低くなると判定することを特徴とする請求項１記載の生体状態判定装置。
  3. 前記眠気発生判定手段により前記ドライバに眠気が発生する可能性があると判定されたときに、前記ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、前記ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を更に備えることを特徴とする請求項１又は２記載の生体状態判定装置。
JP2012509215A 2010-04-05 2010-04-05 生体状態判定装置 Active JP5447657B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/056177 WO2011125166A1 (ja) 2010-04-05 2010-04-05 生体状態判定装置

Publications (2)

Publication Number Publication Date
JPWO2011125166A1 JPWO2011125166A1 (ja) 2013-07-08
JP5447657B2 true JP5447657B2 (ja) 2014-03-19

Family

ID=44762153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012509215A Active JP5447657B2 (ja) 2010-04-05 2010-04-05 生体状態判定装置

Country Status (4)

Country Link
US (1) US8866896B2 (ja)
EP (1) EP2557549B1 (ja)
JP (1) JP5447657B2 (ja)
WO (1) WO2011125166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552694B2 (en) 2017-12-22 2020-02-04 Toyota Jidosha Kabushiki Kaisha Drowsiness estimating apparatus

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460601B2 (en) 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9491420B2 (en) 2009-09-20 2016-11-08 Tibet MIMAR Vehicle security with accident notification and embedded driver analytics
SE535765C2 (sv) * 2011-04-20 2012-12-11 Scania Cv Ab Fordon med ett säkerhetssystem med prediktion av förartrötthet
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
US9953230B2 (en) * 2014-04-03 2018-04-24 David Stuart Nicol Device, system and method for vehicle safety sensing and alerting by using camera and temperature sensor
KR101612824B1 (ko) * 2014-11-20 2016-04-15 현대자동차주식회사 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
KR101663387B1 (ko) * 2014-12-29 2016-10-07 뉴모텍(주) 코일 보호 커버를 갖는 세탁기용 모터의 스테이터
JP6638213B2 (ja) * 2015-04-28 2020-01-29 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
US10716502B2 (en) * 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
EP3384475B1 (en) * 2015-12-06 2021-12-22 Cerence Operating Company System and method of conversational adjustment based on user's cognitive state
JP6617602B2 (ja) * 2016-02-24 2019-12-11 株式会社デンソー 漫然運転検出システム及び漫然運転検出方法
JP6460349B2 (ja) * 2016-04-13 2019-01-30 トヨタ自動車株式会社 車両走行制御装置
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
JP6701951B2 (ja) * 2016-05-20 2020-05-27 アイシン精機株式会社 運転支援装置
JP2018025869A (ja) * 2016-08-08 2018-02-15 株式会社デンソー 運転支援装置
JP6668999B2 (ja) * 2016-08-08 2020-03-18 株式会社デンソー 運転支援装置
KR20180124381A (ko) 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
CN107205036A (zh) * 2017-06-19 2017-09-26 深圳市盛路物联通讯技术有限公司 一种驾驶员眼睛疲劳触发的物联网信息交互方法及系统
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP7102850B2 (ja) * 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
MX2021002807A (es) * 2018-09-12 2021-08-11 Beijing Didi Infinity Technology & Dev Co Ltd Sistemas y métodos para detección de estado de somnolencia.
CN112561787B (zh) * 2020-12-22 2024-03-22 维沃移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US11861916B2 (en) 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08290726A (ja) * 1995-04-21 1996-11-05 Mitsubishi Electric Corp 居眠り警報装置
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP2003000571A (ja) * 2001-06-18 2003-01-07 Mitsubishi Electric Corp 覚醒度推定装置および覚醒度推定方法
JP2006151287A (ja) * 2004-11-30 2006-06-15 Nissan Motor Co Ltd 車両用照明装置
JP2009261516A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2694158B2 (ja) * 1988-06-21 1997-12-24 日本ケーブル株式会社 索道の屈曲設備
JPH07241283A (ja) 1994-03-04 1995-09-19 Omron Corp 覚醒度判定方法及び覚醒度判定装置
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
JP3455627B2 (ja) 1996-03-22 2003-10-14 日産ディーゼル工業株式会社 車両における覚醒度低下検出装置
JP3509839B2 (ja) * 1997-03-31 2004-03-22 三菱自動車工業株式会社 覚醒度推定装置
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP3898586B2 (ja) 2002-07-12 2007-03-28 株式会社東海理化電機製作所 開閉眼モニタ装置
JP4123050B2 (ja) * 2003-05-16 2008-07-23 日産自動車株式会社 覚醒度レベル判定装置
JP4622439B2 (ja) * 2004-10-13 2011-02-02 日産自動車株式会社 覚醒度判定装置
JP2007265377A (ja) 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
EP2407947B8 (en) * 2006-10-13 2014-04-23 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP2008204185A (ja) 2007-02-20 2008-09-04 Toyota Motor Corp 運転心理状態判定装置
CN102316805B (zh) 2009-02-13 2014-01-29 丰田自动车株式会社 生理状态推测装置和车辆控制装置
US8063786B2 (en) * 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08290726A (ja) * 1995-04-21 1996-11-05 Mitsubishi Electric Corp 居眠り警報装置
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
JP2003000571A (ja) * 2001-06-18 2003-01-07 Mitsubishi Electric Corp 覚醒度推定装置および覚醒度推定方法
JP2006151287A (ja) * 2004-11-30 2006-06-15 Nissan Motor Co Ltd 車両用照明装置
JP2009261516A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552694B2 (en) 2017-12-22 2020-02-04 Toyota Jidosha Kabushiki Kaisha Drowsiness estimating apparatus

Also Published As

Publication number Publication date
US20130021463A1 (en) 2013-01-24
EP2557549A4 (en) 2013-11-27
US8866896B2 (en) 2014-10-21
JPWO2011125166A1 (ja) 2013-07-08
EP2557549A1 (en) 2013-02-13
WO2011125166A1 (ja) 2011-10-13
EP2557549B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP5447657B2 (ja) 生体状態判定装置
JP5287875B2 (ja) 生体状態推定装置及び車両制御装置
CN102098955B (zh) 检测微入睡事件的方法和设备
JP6387892B2 (ja) 眠気検知装置
JP5423872B2 (ja) 生体状態判定装置
JP5679066B2 (ja) 居眠り検出方法と装置
KR101259229B1 (ko) 졸림 판정 장치
JP6273823B2 (ja) 状態推定装置、および状態推定プログラム
JP2010068848A (ja) 眠気判定装置及びプログラム
JP5333284B2 (ja) 生体状態判定装置
JP2008099884A (ja) 状態推定装置
JP2010128649A (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP2015529512A (ja) 眠気を検知するための、まぶたの動きに関する処理
JP2017194772A (ja) 覚醒度判定装置
JP2012061222A (ja) 運転者状態推定装置
JP5292671B2 (ja) 覚醒度推定装置及びシステム並びに方法
JP2010184067A (ja) 生体状態推定装置
JP5447335B2 (ja) 報知システム
JP2009266100A (ja) ドライバ状態推定装置及びプログラム
US9820687B2 (en) Method for determining drowsiness
JP2018130342A (ja) 覚醒度推定装置、覚醒度推定方法及び覚醒度推定システム
JP6281238B2 (ja) 認知度推定装置および認知度推定方法
JP2008073335A (ja) 覚醒低下検出装置及び覚醒低下検出プログラム
JP2017209262A (ja) 眠気検知装置
JP3976035B2 (ja) 運転者モニター装置とこれを用いた安全装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R151 Written notification of patent or utility model registration

Ref document number: 5447657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151