JP4497305B2 - 運転者状態判定装置 - Google Patents

運転者状態判定装置 Download PDF

Info

Publication number
JP4497305B2
JP4497305B2 JP2004356026A JP2004356026A JP4497305B2 JP 4497305 B2 JP4497305 B2 JP 4497305B2 JP 2004356026 A JP2004356026 A JP 2004356026A JP 2004356026 A JP2004356026 A JP 2004356026A JP 4497305 B2 JP4497305 B2 JP 4497305B2
Authority
JP
Japan
Prior art keywords
driver
visual
line
sight
visual stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004356026A
Other languages
English (en)
Other versions
JP2006158740A (ja
Inventor
和美 伊佐治
直彦 津留
隆広 和田
弘 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004356026A priority Critical patent/JP4497305B2/ja
Priority to US11/295,759 priority patent/US7450016B2/en
Priority to FR0512487A priority patent/FR2878728B1/fr
Priority to DE200510058678 priority patent/DE102005058678B8/de
Publication of JP2006158740A publication Critical patent/JP2006158740A/ja
Application granted granted Critical
Publication of JP4497305B2 publication Critical patent/JP4497305B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転者状態判定装置に関するものである。
従来、運転者の状態を検出する装置が提案されている。例えば、特許文献1に開示されている運転者状態検出装置によれば、例えば、運転者の視線方向の頻度を計測し、この計測した視線方向の頻度に基づいて運転者の状態を検出する。
また、特許文献2に開示されている車両の制御装置によれば、運転者の視線行動として、例えば、表示画面に表示された情報を運転者が見たトータル時間(視認時間)、その情報に対して反応するまでの時間(反応時間)、表示を見た回数(視認回数)、及び1回毎の表示を見ている時間(停留時間)等を検出し、この検出した視線行動に基づいて運転者の状態(覚醒低下・疲労・集中力低下)を判定する。
特開2003−80969号公報 特開2002−25000号公報
上述した、特許文献1に開示されている運転者状態検出装置は、単に、運転者の視線方向を検出するものであるため、運転者による意識的な視認行動と、意識的でない視認行動との区別が難しい。例えば、運転者が意識的に一定の方向に視線を向けている場合、運転者の覚醒度が低下しているものと誤判定してしまう問題がある。
また、特許文献2に開示されている車両の制御装置では、表示画面に表示された情報に対する運転者の視認行動を検出するものであり、運転者の視界内で移動する物体等に対する運転者の視認行動を検出するものではない。従って、例えば、車両前方に飛び出してくる可能性のある物体に対して、運転者が視認できる状態にあるか否かを判断することができない。
このように、従来提案されている運転者の状態を検出する装置は、運転者が意識的な視認行動をとっているのか、あるいは、意識的でない視認行動をとっているのかの区別が難しく、また、運転者の視界内で移動する物体等に対する運転者の視認行動を検出するものではないため、運転者の状態を正確に判定することができない。
本発明は、かかる問題を鑑みてなされたもので、運転者の状態を正確に判定することができる運転者状態判定装置を提供することを目的とする。
上記目的を達成するための請求項1に記載の運転者状態判定装置は、
運転者の視線方向を検出する視線方向検出手段と、
視線方向検出手段の検出した視線方向に基づいて、視線方向の軌跡を示す視線軌跡を検出する視線軌跡検出手段と、
運転者の周辺視野内の所定位置から、運転者の視覚機能に対して視覚的な刺激を加える視覚刺激手段と、
視覚刺激手段によって視覚的な刺激が加えられる位置について、前記視覚的な刺激を加えながら、所定位置から移動する視覚刺激移動手段と、
視線軌跡検出手段の検出した視線軌跡に基づいて、運転者の視線軌跡が視覚刺激移動手段による所定位置からの移動に追従したか否かを判定する視線追従判定手段と、
視線追従判定手段の判定結果から、運転者の状態を判定する運転者状態判定手段と、を備えることを特徴とする。
一般に、運転者は、車両前方に存在する物体が危険な物体であるかを判断する際、ある程度の時間連続して、その物体を注視する視認行動を行う。さらに、その物体が移動する可能性のある物体(固定物体でない物体)であれば、車両前方に飛び出す可能性があるかを判断するために、その物体の動きを目で追うという視認行動を行う。
本発明は、移動する可能性のある物体の動きを目で追うという視認行動(視線追従)から、運転者の状態を判定するものである。すなわち、本発明の運転者状態判定装置は、運転者の視線を反射的に向けさせるために、運転者に対して視覚的な刺激を与え、さらに、その視覚的な刺激を移動させたときの視線追従の有無を判定する。
このように、運転者に対して視覚的な刺激を与えることで、運転者の視線方向を視覚的な刺激の方向へ反射的に向けさせることができるため、運転者が意図的に他の方向へ視線を向けることがなくなる。また、この視覚的な刺激を移動させたときの視線追従の有無を判定することで、運転者の視界内で移動する物体に対して、運転者が視認できる状態にあるか否かを判断することができる。その結果、運転者の状態を正確に判定することができる。
請求項2に記載の運転者状態判定装置によれば、運転者の視線方向を検出する視線方向検出手段と、
視線方向検出手段の検出した視線方向に基づいて、視線方向の軌跡を示す視線軌跡を検出する視線軌跡検出手段と、
運転者の周辺視野内の所定位置から、運転者の視覚機能に対して視覚的な刺激を加える視覚刺激手段と、
視覚刺激手段によって視覚的な刺激が加えられる位置について、視覚的な刺激を加えながら所定位置から移動する視覚刺激移動手段と、
視線軌跡検出手段の検出した視線軌跡に基づいて、運転者の視線軌跡が視覚刺激移動手段による所定位置からの移動に追従したか否かを判定する視線追従判定手段と、
視線方向検出手段の検出した視線方向に基づいて、視線方向の滞留した時間を示す視線滞留時間を検出する視線滞留時間検出手段と、
視線方向検出手段の検出した視線方向に基づいて、運転者の視線方向が視覚的な刺激が加えられた位置に向けられているか否かを判定する視線方向判定手段と、
視線滞留時間検出手段の検出した視線滞留時間に基づいて、運転者の視線方向が視覚的な刺激が加えられた位置に一定時間以上滞留したか否かを判定する視線滞留時間判定手段と
線方向判定手段、視線滞留時間判定手段、及び視線追従判定手段の少なくとも1つの判定手段の判定結果から、運転者の状態を判定する運転者状態判定手段と、を備えることを特徴とする。
このように、運転者の視線追従に加えて、視線方向や視線滞留時間から運転者の状態を判定することで、より正確な判定が行える。
請求項3に記載の運転者状態判定装置によれば、運転者状態判定手段は、
視線方向判定手段によって、運転者の視線方向が視覚的な刺激が加えられた位置に向けられていない判定結果を示す場合、
視線滞留時間判定手段によって、運転者の視線方向が視覚的な刺激が加えられた位置に一定時間以上滞留していない判定結果を示す場合、
及び、視線追従判定手段によって、運転者の視線軌跡が視覚刺激移動手段による所定位置からの移動に追従していない判定結果を示す場合の少なくとも1つの判定結果を示す場合に、運転者は運転に適さない状態であると判定することを特徴とする。
このように、運転者の視線方向が視覚的な刺激が加えられた位置に視線を向けていない場合、運転者の視線方向が視覚的な刺激が加えられた位置に一定時間以上滞留していない場合、あるいは、運転者の視線軌跡が視覚的な刺激を加えられた所定位置からの移動に追従していない場合に、運転者は運転に適さない状態であると判定することができる。
請求項4に記載の運転者状態判定装置によれば、視覚刺激移動手段は、運転者の中心視野の中心位置を所定位置に略一致させたときの運転者の周辺視野の範囲内へ視覚的な刺激が加えられる位置を移動することを特徴とする。
すなわち、運転者の周辺視野の範囲から外れた位置へ視覚的な刺激を移動させると、運転者が視覚的な刺激を見失うことが考えられる。従って、運転者の周辺視野の範囲内へ視覚的な刺激を移動することで、運転者は、視覚的な刺激を見失わないようにすることができる。
請求項5に記載の運転者状態判定装置は、運転者の視覚機能の低下を検出する視覚機能低下検出手段を備え、視覚刺激手段は、視覚機能低下検出手段によって、運転者の視覚機能の低下が検出された場合に、視覚的な刺激を加えることを特徴とする。
例えば、運転時間が所定時間(例えば、2時間程度)以上連続している場合等、運転者の疲労が蓄積して、視覚機能が低下すると想定される。そこで、本発明では、運転時間に関する条件等を満たす場合に視覚機能の低下を検出(もしくは推測)し、視覚的な刺激を与えるようにする。これにより、視覚機能が低下していない場合に、視覚的な刺激を与えないようにすることができる。
請求項6に記載の運転者状態判定装置によれば、運転者状態判定手段によって、運転に適さない状態であると判定される場合に警報を発生する警報発生手段を備えることを特徴とする。これにより、運転者に対して、運転に適さない状態であることを知らせることができる。
以下、本発明の運転者状態判定装置について、図面に基づいて説明する。図1に、本実施形態における運転者状態判定装置の全体構成を示す。同図に示す本実施形態の運転者状態判定装置100は、自動車等の車両に搭載されるもので、視線方向検出装置10、視覚刺激呈示装置20、警報装置30、及び制御装置40によって構成される。
視線方向検出装置10は、運転者の視線方向を検出するために用いられるもので、周知の視線方向を検出する装置を採用することができる。例えば、特開2003−80969号公報に開示されているCCDカメラ、赤外線照射器、画像処理ユニット、及び電子制御ユニット等からなる視線方向検出手段と同様な構成を採用することができる。
この視線方向検出装置10では、特開2003−80969号公報に開示されているように、画像処理ユニットにおいて、運転者が車両前方方向を向いたときの2次元の車両固定投影面座標系における水平方向及び垂直方向の角度からなる視線方向データE(θu、θv)を求める。電子制御ユニットでは、この視線方向データE(θu、θv)に基づいて、車両前方に仮想的に設けた車両固定投影平面における運転者の視線方向の座標位置を示す視線位置データP(U、V)を求め、この視線位置データP(U、V)を制御装置40へ常時出力する。
視覚刺激呈示装置20は、運転者が車両前方方向を向いたときの周辺視野内の所定位置から、運転者の視覚機能に対して視覚的な刺激を加えるための装置である。この視覚刺激呈示装置20は、制御装置40からの指示信号(視覚的な刺激の発生開始/停止や発生位置を指示する指示信号)を入力し、例えば、図4に示すルームミラー50の一部分を光らせることによって、視覚的な刺激を運転者の視覚機能に与える。
本実施形態の視覚刺激呈示装置20では、ルームミラー50の鏡面に対向する位置にLED等のランプ(図示せず)を備えており、このランプからルームミラー50の鏡面を照らすようにして間接的に視覚的な刺激を与えるものである。このランプは、制御装置40からの指示信号に基づいて、ランプの発光を開始/停止するとともに、その発光方向を移動することができる。
なお、この視覚刺激呈示装置20は、ルームミラー50に直接LED等のランプを備えて、そのLEDを発光させるようにして直接的に視覚的な刺激を与えるようにしてもよい。また、運転者が車両前方方向を向いたときの周辺視野内から視覚的な刺激を与えることができるものであれば、ルームミラー50に限らず、他の車室内の部位から視覚的な刺激を発生させてもよいし、車室外から視覚的な刺激を発生させてもよい。
警報装置30は、制御装置40からの指示信号に基づいて、運転者に対して警報を発生するものであり、例えば、警告表示を行うディスプレイ、及び警告音を発生するスピーカ(何れも図示せず)を備えている。
制御装置40は、マイクロコンピュータとして構成されるもので、何れも図示しない周知のROM、RAM、CPU、及び、これらの構成を接続する入出力インターフェース(I/O)等を備えている。これらのハード構成は一般的なものであるので、その構成に関する詳細な説明については省略する。
この制御装置40は、運転者の視覚機能が低下したと想定される場合に、視線方向検出装置10から出力される視線位置データP(U、V)の入力を開始し、この視線位置データP(U、V)を運転者の中心視野の中心位置として特定するとともに、この中心視野の中心位置に基づいて、図4に示すように、上述した車両固定投影平面における周辺視野(左目、右目)の領域を把握する。この中心位置に対する周辺視野の領域の位置関係やその大きさは、予め実験等によって求めておけばよい。
続いて、制御装置40は、周辺視野(左目)の領域内のルームミラー50の鏡面を視覚刺激呈示装置20のランプによって照らすように、そのランプの発光方向を求める。そして、制御装置40は、図5に示すように、この発光方向の車両固定投影平面における座標位置を示す視覚刺激初期位置Q1(U、V)を求め、この視覚刺激初期位置Q1(U、V)と視覚的な刺激の発生開始の指示信号を視覚刺激呈示装置20へ出力する。視覚刺激呈示装置20は、この指示信号を受けて視覚刺激初期位置Q1(U、V)に向かってランプを発光させる。
このように、視覚刺激呈示装置20は、運転者の視覚機能が低下したと想定される場合に視覚的な刺激を与える。例えば、運転時間が所定時間(例えば、2時間程度)以上連続している場合等、運転者の疲労が蓄積して、視覚機能が低下すると想定される。そこで、運転時間に関する条件等を満たす場合に視覚機能の低下を検出(もしくは推測)し、視覚的な刺激を与えるようにする。これにより、視覚機能が低下していない場合に視覚的な刺激を与えないようにすることができる。
また、制御装置40は、視覚刺激初期位置Q1(U、V)に一定時間視覚的な刺激を与えた後、視覚的な刺激を与えながら、その位置を視覚刺激初期位置Q1(U、V)から移動させる。このとき、運転者の中心視野の中心位置を視覚刺激初期位置Q1(U、V)に略一致させたときの運転者の周辺視野の範囲内へ移動するとよい。例えば、図6に示すように、ルームミラー50の鏡面内を左方向へ平行移動させた位置Q2(U、V)へ移動させる。
すなわち、運転者の周辺視野の範囲から外れた位置へ視覚的な刺激を移動させると、運転者が視覚的な刺激を見失うことが考えられる。従って、運転者の周辺視野の範囲内へ視覚的な刺激を移動することで、運転者は、視覚的な刺激を移動させても見失わないようにすることができる。
制御装置40は、上述したように、視覚的な刺激を与え、さらに、その与えた位置を移動させたときの運転者の視線方向、視線滞留時間、および視線軌跡の検出結果から、運転者が運転に適した状態であるか否かを判定する。
図2は、制御装置40の機能ブロック図である。同図に示すように、制御装置40は、視線滞留時間検出部41、視線軌跡検出部42、視線方向判定部43、視線滞留時間判定部44、視線追従判定部45、及び運転者状態判定部46によって構成される。
視線滞留時間検出部41は、視線方向検出装置10から出力される視線位置データP(U、V)に基づいて、運転者の視線方向の滞留した時間を示す視線滞留時間を視線位置データ毎に検出するものである。
視線軌跡検出部42は、視線方向検出装置10から出力される視線位置データP(U、V)に基づいて、運転者の視線方向の軌跡を示す視線軌跡を時系列で検出するものである。
視線方向判定部43は、視覚刺激呈示装置20によって視覚刺激初期位置Q1(U、V)に視覚的な刺激が与えられてから、運転者の視線方向がこの視覚刺激初期位置Q1(U、V)に向けられているか否かを判定するものである。この判定結果は、運転者状態判定部46に出力される。
視線滞留時間判定部44は、視覚刺激呈示装置20によって視覚刺激初期位置Q1(U、V)に視覚的な刺激が与えられてから、運転者の視線方向が視覚刺激初期位置Q1(U、V)に一定時間以上滞留したか否かを判定するものである。この判定結果は、運転者状態判定部46に出力される。
視線追従判定部45は、視覚刺激呈示装置20によって視覚刺激初期位置Q1(U、V)に視覚的な刺激が与えられ、この視覚的な刺激を位置Q2(U、V)へ移動させた場合に、運転者の視線軌跡がこの移動に追従したか否かを判定するものである。この判定結果は、運転者状態判定部46に出力される。
運転者状態判定部46は、視線方向判定部43、視線滞留時間判定部44、及び視線追従判定部45の各判定部からの判定結果から、運転者の状態を最終的に判定する。このように、運転者の視線追従とともに、視線方向や視線滞留時間から運転者の状態を判定することで、より正確な判定が行える。
すなわち、運転者状態判定部46は、運転者の視線方向が視覚刺激初期位置Q1(U、V)に向けられていない、あるいは、運転者の視線方向が視覚刺激初期位置Q1(U、V)に一定時間以上滞留していない、あるいは、運転者の視線軌跡が視覚刺激初期位置Q1(U、V)から位置Q2(U、V)への移動に追従していない場合に、運転者は運転に適した状態でないと判定する。このように、運転者は運転に適した状態でないと判定される場合、制御装置40は、警報装置30に対して警報を発生する指示信号を出力する。
一方、運転者状態判定部46は、運転者の視線方向が視覚刺激初期位置Q1(U、V)に向けられ、さらに、運転者の視線方向が視覚刺激初期位置Q1(U、V)に一定時間以上滞留し、かつ、運転者の視線軌跡が視覚刺激初期位置Q1(U、V)から位置Q2(U、V)への移動に追従している場合に、運転者は運転に適した状態であると判定する。
このように、運転者状態判定部46は、少なくとも、運転者の視線軌跡が視覚刺激初期位置Q1(U、V)から位置Q2(U、V)への移動に追従していない場合に、運転者は運転に適した状態でないと判定する。
一般に、運転者は、車両前方に存在する物体が危険な物体であるかを判断する際、ある程度の時間継続して、その物体を注視する視認行動を行う。さらに、その物体が移動する可能性のある物体(固定物体でない物体)であれば、車両前方に飛び出す可能性があるかを判断するために、その物体の動きを目で追うという視認行動を行う。
目で物体の動きを追うという視認行動(視線追従)は、滑動性眼球運動(以下、滑動性運動)とも呼ばれる。すなわち、人は、視覚対象物を認識する場合、視覚対象物の像を網膜の中心部で捉える必要があるため、視覚対象物が動いている場合には、眼球を動かすことによって視覚対象物の像を網膜の中心部へと映しだす。
このように、視覚対象物の移動に追従するように眼球を動かすことで、網膜の中心部に写し出される視覚対象物の像は静止し、人は、視覚対象物を認識することができる。従って、この滑動性運動の有無を判定することで、移動する視覚対象物を視認できる状態にあるか否かを判断することできる。
このように、本実施形態の運転者状態判定装置100では、運転者の視線を反射的に向けさせるために、運転者に対して視覚的な刺激を与え、さらに、その視覚的な刺激を移動させたときの視線追従の有無を判定する。これにより、運転者の視線方向を視覚的な刺激の方向へ反射的に向けさせることができるため、運転者が意図的に他の方向へ視線を向けることがなくなる。
また、この視覚的な刺激を移動させたときの視線追従の有無を判定することで、運転者の視界内で移動する物体に対して、運転者が視認できる状態にあるか否かを判断することができる。その結果、運転者の状態を正確に判定することができる。
次に、本実施形態の特徴部分に係わる、運転者状態判定装置100による運転者状態判定処理について、図3に示すフローチャートを用いて説明する。先ず、図3に示すステップ(以下、Sと記す)10では、運転者の視覚機能が低下したと想定される状況にあるか否かを判定する。ここで、肯定判定される場合にはS20へ処理を進め、否定判定される場合にはS10へ処理を移行し、再度、視覚機能が低下したと想定される状況となるまで待機状態となる。
S20では、運転者の視線方向の検出を開始し、S30では、運転者に視覚的な刺激を加える。S40では、運転者の視線方向、及び視線滞留時間の判定を行う。S50では、S40における判定結果として、運転者の視線方向が視覚的な刺激を加えた視覚刺激初期位置Q1(U、V)に向いているか否かを判定する。ここで、肯定判定される場合にはS60へ処理を進め、否定判定される場合にはS100へ処理を移行する。
S60では、S40における判定結果として、運転者の視線方向が視覚的な刺激を加えた視覚刺激初期位置Q1(U、V)に一定時間以上滞留したか否かを判定する。ここで、肯定判定される場合にはS70へ処理を進め、否定判定される場合にはS100へ処理を移行する。
S70では、視覚的な刺激の与える位置を視覚刺激初期位置Q1(U、V)から位置Q2(U、V)へ移動させる。このとき、視覚的な刺激を運転者に与えながら移動する。S80では、S70において、視覚的な刺激の与える位置を視覚刺激初期位置Q1(U、V)から位置Q2(U、V)へ移動させたときの運転者の視線軌跡が視覚刺激初期位置Q1(U、V)からの移動に追従しているか否かを判定する。ここで、肯定判定される場合にはS90へ処理を進め、否定判定される場合にはS100へ処理を進める。
S90では、運転者の視線方向が視覚刺激初期位置Q1(U、V)に向けられ、また、その視覚刺激初期位置Q1(U、V)に一定時間以上滞留し、さらに、運転者の視線軌跡が視覚刺激初期位置Q1(U、V)から位置Q2(U、V)への移動に追従しているため、運転者は運転に適した状態であると判定する。
S100では、運転者の視線方向が視覚刺激初期位置Q1(U、V)に向けられていない、あるいは、視覚刺激初期位置Q1(U、V)に一定時間以上滞留していない、あるいは、運転者の視線軌跡が視覚刺激初期位置Q1(U、V)から位置Q2(U、V)への移動に追従していないため、運転者は運転に適した状態でないと判定し、警報装置30から警報を発生する。これにより、運転者に対して、運転に適さない状態であることを知らせることができる。
(変形例)
本実施形態では、S50における視線方向に基づく判定、S60における視線滞留時間に基づく判定、及びS80における視線追従に基づく判定の3つの判定結果から運転者の状態を最終的に判定するものであるが、S80における視線追従に基づく判定の判定結果のみから運転者の状態を判定するようにしてもよい。
本発明の実施形態に係わる、運転者状態判定装置100の全体構成を示すブロック図である。 制御装置40の各機能を示す機能ブロック図である。 運転者状態判定装置100による運転者状態判定処理の流れを示すフローチャートである。 運転者の中心視野と周辺視野との位置関係を説明するための図である。 運転者の視覚機能に視覚的な刺激を与える際の初期位置を示す図である。 視覚的な刺激を与える位置を初期位置から移動させた場合のイメージ図である。
符号の説明
10 視覚方向検出装置
20 視覚刺激呈示装置
30 警報装置
40 制御装置
41 視線滞留時間検出部
42 視線軌跡検出部
43 視線方向判定部
44 視線滞留時間判定部
45 視線追従判定部
46 運転者状態判定部

Claims (6)

  1. 運転者の視線方向を検出する視線方向検出手段と、
    前記視線方向検出手段の検出した視線方向に基づいて、視線方向の軌跡を示す視線軌跡を検出する視線軌跡検出手段と、
    前記運転者の周辺視野内の所定位置から、前記運転者の視覚機能に対して視覚的な刺激を加える視覚刺激手段と、
    前記視覚刺激手段によって視覚的な刺激が加えられる位置について、前記視覚的な刺激を加えながら前記所定位置から移動する視覚刺激移動手段と、
    前記視線軌跡検出手段の検出した視線軌跡に基づいて、前記運転者の視線軌跡が前記視覚刺激移動手段による前記所定位置からの移動に追従したか否かを判定する視線追従判定手段と、
    前記視線追従判定手段の判定結果から、前記運転者の状態を判定する運転者状態判定手段と、を備えることを特徴とする運転者状態判定装置。
  2. 運転者の視線方向を検出する視線方向検出手段と、
    前記視線方向検出手段の検出した視線方向に基づいて、視線方向の軌跡を示す視線軌跡を検出する視線軌跡検出手段と、
    前記運転者の周辺視野内の所定位置から、前記運転者の視覚機能に対して視覚的な刺激を加える視覚刺激手段と、
    前記視覚刺激手段によって視覚的な刺激が加えられる位置について、前記視覚的な刺激を加えながら前記所定位置から移動する視覚刺激移動手段と、
    前記視線軌跡検出手段の検出した視線軌跡に基づいて、前記運転者の視線軌跡が前記視覚刺激移動手段による前記所定位置からの移動に追従したか否かを判定する視線追従判定手段と、
    前記視線方向検出手段の検出した視線方向に基づいて、視線方向の滞留した時間を示す視線滞留時間を検出する視線滞留時間検出手段と、
    前記視線方向検出手段の検出した視線方向に基づいて、前記運転者の視線方向が前記視覚的な刺激が加えられた位置に向けられているか否かを判定する視線方向判定手段と、
    前記視線滞留時間検出手段の検出した視線滞留時間に基づいて、前記運転者の視線方向が前記視覚的な刺激が加えられた位置に一定時間以上滞留したか否かを判定する視線滞留時間判定手段と
    記視線方向判定手段、前記視線滞留時間判定手段、及び前記視線追従判定手段の少なくとも1つの判定手段の判定結果から、前記運転者の状態を判定する運転者状態判定手段と、を備えることを特徴とする運転者状態判定装置。
  3. 前記運転者状態判定手段は、
    前記視線方向判定手段によって、前記運転者の視線方向が前記視覚的な刺激が加えられた位置に向けられていない判定結果を示す場合、
    前記視線滞留時間判定手段によって、前記運転者の視線方向が前記視覚的な刺激が加えられた位置に一定時間以上滞留していない判定結果を示す場合、
    及び、前記視線追従判定手段によって、前記運転者の視線軌跡が前記視覚刺激移動手段による前記所定位置からの移動に追従していない判定結果を示す場合の少なくとも1つの判定結果を示す場合に、前記運転者は運転に適さない状態であると判定することを特徴とする請求項2記載の運転者状態判定装置。
  4. 前記視覚刺激移動手段は、前記運転者の中心視野の中心位置を前記所定位置に略一致させたときの前記運転者の周辺視野の範囲内へ前記視覚的な刺激が加えられる位置を移動することを特徴とする請求項1〜3の何れか1項に記載の運転者状態判定装置。
  5. 前記運転者の視覚機能の低下を検出する視覚機能低下検出手段を備え、
    前記視覚刺激手段は、前記視覚機能低下検出手段によって、前記運転者の視覚機能の低下が検出された場合に、前記視覚的な刺激を加えることを特徴とする請求項1〜4の何れか1項に記載の運転者状態判定装置。
  6. 前記運転者状態判定手段によって、運転に適さない状態であると判定される場合に警報を発生する警報発生手段を備えることを特徴とする請求項1〜5の何れか1項に記載の運転者状態判定装置。
JP2004356026A 2004-12-08 2004-12-08 運転者状態判定装置 Expired - Fee Related JP4497305B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004356026A JP4497305B2 (ja) 2004-12-08 2004-12-08 運転者状態判定装置
US11/295,759 US7450016B2 (en) 2004-12-08 2005-12-07 Driver fatigue assessment device and method
FR0512487A FR2878728B1 (fr) 2004-12-08 2005-12-08 Dispositif et procede d'evaluation de la fatigue d'un conducteur
DE200510058678 DE102005058678B8 (de) 2004-12-08 2005-12-08 Vorrichtung und Verfahren zur Feststellung einer Ermüdung eines Fahrers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004356026A JP4497305B2 (ja) 2004-12-08 2004-12-08 運転者状態判定装置

Publications (2)

Publication Number Publication Date
JP2006158740A JP2006158740A (ja) 2006-06-22
JP4497305B2 true JP4497305B2 (ja) 2010-07-07

Family

ID=36481168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004356026A Expired - Fee Related JP4497305B2 (ja) 2004-12-08 2004-12-08 運転者状態判定装置

Country Status (4)

Country Link
US (1) US7450016B2 (ja)
JP (1) JP4497305B2 (ja)
DE (1) DE102005058678B8 (ja)
FR (1) FR2878728B1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8022831B1 (en) * 2008-01-03 2011-09-20 Pamela Wood-Eyre Interactive fatigue management system and method
JP5109750B2 (ja) * 2008-03-26 2012-12-26 トヨタ自動車株式会社 運転者状態検出装置、意識状態検出方法
WO2010016244A1 (ja) * 2008-08-05 2010-02-11 パナソニック株式会社 運転注意量判定装置、方法およびプログラム
EP2441383B1 (en) 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
US20130035900A1 (en) * 2011-08-01 2013-02-07 Ricky Wayne Purcell Method for Promoting Hygiene and Cleanliness
JP5406328B2 (ja) * 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
US10758168B2 (en) 2012-06-18 2020-09-01 The Boeing Company Method and system for the automated assessment of fatigue mitigation strategies
JP5974915B2 (ja) * 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法
JP6221292B2 (ja) * 2013-03-26 2017-11-01 富士通株式会社 集中度判定プログラム、集中度判定装置、および集中度判定方法
CN103315754B (zh) * 2013-07-01 2015-11-25 深圳市飞瑞斯科技有限公司 一种疲劳检测方法及装置
CN106028913B (zh) * 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法
CN104013414B (zh) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测系统
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
WO2017003719A2 (en) 2015-06-30 2017-01-05 3M Innovative Properties Company Illuminator
JP2018005362A (ja) * 2016-06-29 2018-01-11 株式会社東海理化電機製作所 運転支援装置
WO2018058266A1 (zh) * 2016-09-27 2018-04-05 深圳智乐信息科技有限公司 一种基于移动终端的提示方法及系统
WO2018170538A1 (en) * 2017-03-21 2018-09-27 Seeing Machines Limited System and method of capturing true gaze position data
CN108053615B (zh) * 2018-01-10 2020-12-25 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
JP7092527B2 (ja) * 2018-03-15 2022-06-28 本田技研工業株式会社 輸送機器およびその走行制御方法
TWI663581B (zh) * 2018-06-04 2019-06-21 亞東技術學院 車輛駕駛員防瞌睡整合系統與車輛駕駛員防瞌睡方法
CN111387933B (zh) * 2019-01-02 2023-05-05 见臻科技股份有限公司 监控视觉疲劳的方法和光学系统
JP2022523686A (ja) 2019-01-22 2022-04-26 アダム コグテック リミテッド 運転者の認知状態の検出
FR3122391A1 (fr) * 2021-04-29 2022-11-04 Psa Automobiles Sa Procédé et dispositif de détermination d’un état d’attention d’un conducteur d’un véhicule autonome
DE102021214751A1 (de) 2021-12-20 2023-06-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln einer Aufmerksamkeit eines Fahrers in einem zumindest teilweise autonom fahrenden Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06270712A (ja) * 1993-03-16 1994-09-27 Aisin Seiki Co Ltd 脇見運転警報装置
JP2004070795A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 情報提供装置、情報提供制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3803916A1 (de) 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers
US5684455A (en) * 1996-01-29 1997-11-04 Williams; Pete Bernard Driver alert apparatus
CA2298515A1 (en) * 1999-02-11 2001-08-10 Queen's University At Kingston Method and apparatus for detecting eye movement
JP4696339B2 (ja) 2000-07-11 2011-06-08 マツダ株式会社 車両の制御装置
DE10135742A1 (de) 2001-07-21 2003-02-27 Daimler Chrysler Ag Kraftfahrzeug mit automatischer Blickrichtungserkennung und Verfahren zu dessen Betrieb
JP2003080969A (ja) 2001-09-11 2003-03-19 Nissan Motor Co Ltd 運転者状態検出装置
WO2005098777A1 (en) * 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06270712A (ja) * 1993-03-16 1994-09-27 Aisin Seiki Co Ltd 脇見運転警報装置
JP2004070795A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 情報提供装置、情報提供制御プログラム

Also Published As

Publication number Publication date
DE102005058678B4 (de) 2013-02-28
US7450016B2 (en) 2008-11-11
DE102005058678A1 (de) 2006-06-29
DE102005058678B8 (de) 2013-05-23
US20060132319A1 (en) 2006-06-22
FR2878728A1 (fr) 2006-06-09
FR2878728B1 (fr) 2012-08-03
JP2006158740A (ja) 2006-06-22

Similar Documents

Publication Publication Date Title
JP4497305B2 (ja) 運転者状態判定装置
CN108621923B (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US7370970B2 (en) Eyeglass detection method
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US20120169582A1 (en) System ready switch for eye tracking human machine interaction control system
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
US10604160B2 (en) Driver condition detection system
JPH07167668A (ja) 走行情報提供装置
US11301678B2 (en) Vehicle safety system with no-control operation
US20190075253A1 (en) Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
US11455810B2 (en) Driver attention state estimation
EP3654143A1 (en) Method, apparatus and system for determining line of sight, and wearable eye movement device
JPH07117593A (ja) 車両用警報装置
US20170108925A1 (en) Method for transmitting information to a driver of a motor vehicle, and adaptive driver assistance system
JP7138175B2 (ja) バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
JP2014149640A (ja) ジェスチャ操作装置及びジェスチャ操作プログラム
CN105323539B (zh) 车用安全系统及其操作方法
JP2019200544A (ja) 安全運転支援装置
JP2021039554A (ja) 車両用注視誘導装置
JP6415968B2 (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
KR102407081B1 (ko) 운전자 활성도 검출 시스템 및 방법
JP5144412B2 (ja) 車両用物体判定装置
WO2022210038A1 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4497305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees