JP6273823B2 - 状態推定装置、および状態推定プログラム - Google Patents

状態推定装置、および状態推定プログラム Download PDF

Info

Publication number
JP6273823B2
JP6273823B2 JP2013262543A JP2013262543A JP6273823B2 JP 6273823 B2 JP6273823 B2 JP 6273823B2 JP 2013262543 A JP2013262543 A JP 2013262543A JP 2013262543 A JP2013262543 A JP 2013262543A JP 6273823 B2 JP6273823 B2 JP 6273823B2
Authority
JP
Japan
Prior art keywords
state
state estimation
microsaccade
estimation device
monitoring subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013262543A
Other languages
English (en)
Other versions
JP2015116376A (ja
Inventor
大乗 山高
大乗 山高
塩谷 武司
武司 塩谷
弘之 木下
弘之 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013262543A priority Critical patent/JP6273823B2/ja
Priority to US14/519,430 priority patent/US9526448B2/en
Publication of JP2015116376A publication Critical patent/JP2015116376A/ja
Application granted granted Critical
Publication of JP6273823B2 publication Critical patent/JP6273823B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、監視対象者の状態を推定する状態推定装置、および状態推定プログラムに関する。
上記の状態推定装置として、監視対象者の固視微動を監視し、固視微動の発生頻度がデータベースと一致するかどうかに応じて監視対象者の状態を推定するものが知られている(例えば、特許文献1参照)。
特許第5302193号公報
しかしながら、上記状態推定装置では、固視微動の発生頻度を検出するまでに数十秒程度の時間が必要となるという問題点があった。
そこで、このような問題点を鑑み、監視対象者の状態を推定する状態推定装置において、より短時間で監視対象者の状態を推定できるようにすることを本発明の目的とする。
本発明の状態推定装置において、マイクロサッカード情報取得手段は、固視微動のうちのマイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得する。そして、状態推定手段は、マイクロサッカード情報に基づいて監視対象者の状態を推定する。
このような状態推定装置によれば、マイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を用いて監視対象者の状態を推定するので、より短時間で監視対象者の状態を推定することができる。
なお、上記目的を達成するためには、コンピュータを、状態推定装置を構成する各手段として実現するための状態推定プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。
本発明が適用された注意力推定システム1の概略構成を示すブロック図である。 制御部10(CPU11)が実行する注意力推定処理を示すフローチャートである。 注意力推定処理のうちの画像認識処理を示すフローチャートである。 注意力推定処理のうちのマイクロサッカード演算処理を示すフローチャートである。 マイクロサッカード発生時の視線角度の時間変化を示すグラフである。 実施形態における注意力推定処理のうちの出力処理を示すフローチャートである。 変形例における注意力推定処理のうちの出力処理を示すフローチャートである。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
本発明が適用された注意力推定システム1は、乗用車等の車両(自車両)に搭載され、監視対象者となる運転者の眼球の固視微動に基づいて運転者の状態が注意力を欠いた状態であるか否かを認識し、運転者の状態が注意力を欠いた状態である場合、警報を行うシステムである。
詳細には注意力推定システム1は、図1に示すように、制御部10、カメラ21、照明部22、舵角センサ25、車速センサ26、警報部31を備えている。
カメラ21は、車両の内部において運転者の前方に配置されており、運転者の眼球が撮像範囲内になるよう設定されている。例えば、カメラ21は運転者が装着するゴーグルの内部において配置され、顔の動きによらず眼球との位置関係が変化しないよう設定されている。
なお、カメラ21は、眼球の細かな動き(眼球の角度)を撮像できる構成であれば、上記のように配置されている必要はなく、例えば、撮像画像中に監視対象者の顔全体が含まれるように配置されてもよい。また、カメラ21は、運転者の眼球の固視微動であるマイクロサッカードを検出可能な周期(例えば200fps(フレーム毎秒)程度のフレームレート)と精度(例えば0.05度の角度差を検出可能な精度)で撮像可能な高速かつ高精度なカメラとして構成されている。
照明部22は、カメラ21のための補助光源として機能し、カメラ21の撮像範囲内となる運転者の顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ21による撮像周期と同期するよう、発光タイミングが制御部10によって制御されるよう構成されていてもよい。
舵角センサ25は、運転者のハンドル操作によるハンドル位置を検出するセンサであり、周知の舵角センサとして構成されている。舵角センサ25が検出する舵角は、制御部10にて認識されるよう設定されている。
車速センサ26は、自車両の走行速度を検出する周知の車速センサとして構成されている。車速センサ26は車速の検出結果を制御部10に送る。
警報部31は、音や光で運転者に注意を促すための構成であり、制御部10からの指令を受けて作動する。なお、警報部31は、制御部10からの指令を受けて、運転者のシートに埋め込まれたバイブレータが作動することで警報したり、制御部10からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更することで警報したりするようにしてもよい。
制御部10は、CPU11、およびROM、RAM等のメモリ12を備えた周知のコンピュータとして構成されている。CPU11は、メモリ12に記録されたプログラムに従って後述する各種処理を実施する。
[本実施形態の処理]
このように構成された注意力推定システム1において、制御部10は、図2以下に示す注意力推定処理を実施する。注意力推定処理は、例えば注意力推定システム1の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
この処理では、図2(a)に示すように、まず、画像認識処理を実施する(S10)。画像認識処理は、カメラ21から取得した撮像画像から運転者(監視対象者)の眼球の細かな動きを検出する処理である。
画像認識処理は、図3に示すように、まず、カメラ21による撮像画像を取得する(S110)。続いて、撮像画像中の瞳孔を抽出する(S115)。この処理では、撮像画像内の黒い丸を瞳孔として抽出する。なお、撮像画像中に監視対象者の顔全体が含まれるようカメラ21を配置している場合には、撮像画像中の眼球の位置を検出し、その中の黒い丸を瞳孔として抽出して位置を記録する。
続いて、角膜反射像を抽出する(S120)。角膜反射像は、瞳孔内において光源からの光が角膜によって反射された反射光であり、撮像画像中では白い点となる。この白い点の位置を記録する。
そして、瞳孔の位置と角膜反射像の位置との位置関係(それぞれの位置・角度、相対距離等)に従って、視線角度を演算する(S125)。ここでの視線角度は、車両の左右方向と概ね一致する水平方向と、水平方向とは直交する垂直方向との両方を意味する。
続いて、演算した視線角度をメモリ12に保存し(S130)、視線角加速度を演算する(S135)。視線角加速度は、メモリ12に保存された過去数フレーム分(各加速度を求めるために十分なフレーム数であり、例えば10フレーム分等)の視線角度を利用して、視線角度の変化量を時間で除することで求める。
そして、瞬目(瞬き)についても抽出する(S140)。瞬目については、例えば瞳孔が抽出できない場合に瞬目を行っていると認識する。また、上瞼の曲率半径に基づいて瞬目の判断を行ってもよい。
また、瞬目については、その時刻がメモリ12に記録される。S140の処理が終了すると、画像認識処理を終了する。
次に、図2(a)に戻り、マイクロサッカード演算処理を実施する(S15)。マイクロサッカード演算処理は、運転者によるマイクロサッカードに関して運転者の注意力を推定するためのパラメータを演算する処理である。
マイクロサッカード演算処理では、図4に示すように、まず、マイクロサッカードを抽出する(S210)。この処理では、視線角加速度が基準角速度(例えば、1200deg/s)以上であり、かつ視線の移動距離(視線角度の変化が開始してから停止するまでの視線角度の差)が基準距離(例えば、2deg)未満である条件を満たした場合、マイクロサッカードが発生したものとする。
つまり、この処理では、運転者の意図しない十分小さな視線角度の変化であって、かつ視線角速度の大きなものをマイクロサッカードとして抽出している。
続いて、有効時間を演算する(S215)。ここで、有効時間とは、瞬目の前後の所定時間内(瞬目によって眼球が動く時間帯(例えば瞬目の前後各200ms))を除いた時間を有効時間とする。
次に、マイクロサッカード発生頻度[A]を演算する(S220)。この処理では、例えば、一定時間内(例えば30秒間程度)のマイクロサッカード発生回数をカウントし、この発生回数を同じ一定時間内に含まれる有効時間で除することで求める。
続いて、瞬目発生前後を除く視線角度(例えば有効時間内の視線角度)にローパスフィルタを掛ける(S225)。このように視線角度にローパスフィルタを掛けた値は視線角度の振幅を求める際の振幅基準原点(ゼロ点)として利用される。
そして、マイクロサッカード発生後の視線角度振幅[B]を演算する(S230)。視線角度振幅は、振幅基準原点とマイクロサッカードが発生して視線移動が停止したときの角度との差を意味する。
続いて、停留時間比[C]を演算する(S235)。この処理では、マイクロサッカード発生後の視線停留時間、つまり、マイクロサッカードが発生して視線移動が停止してから次に移動するまでの時間を、視線角度振幅で除することで、停留時間比[C]を求める。
続いて、瞬目頻度[D]を演算する(S240)。瞬目頻度は一定時間内(例えば30秒間程度)の瞬目の回数をカウントすることにより行う。
このような処理を終了すると、マイクロサッカード演算処理を終了する。ここで、時間に応じた視線角度の変化の一例をグラフ化すると、例えば図5に示すような結果が得られる。
なお、図5に示す例では、マイクロサッカードが発生した部位に下向き三角印(▼)を付している。また、図5中の破線は、振幅基準原点(視線移動平均)を示している。
また、図5に示すグラフを得るにあたっては、同一の被験者にドライビングシミュレータを利用した模擬運転を実施させた。模擬運転中において別のタスク(例えば暗算問題を解答させる等)を被験者に要求しないで運転に集中させた結果(注意力十分状態)を図5(a)に示し、模擬運転中において別のタスクを実施するよう被験者に要求した結果(注意力不十分状態)を図5(b)に示す。
運転者の注意力が十分である場合には、図5(a)に示すように、運転者の注意力が不十分である場合と比較して、マイクロサッカード発生頻度[A]が高く、この際の視線角度振幅[B]も大きくなることが分かる。
また、停留時間比[C]は、注意力が十分である場合に、運転者の注意力が不十分である場合と比較して、小さくなる傾向がある。また、瞬目頻度[D]は、注意力が十分である場合に、運転者の注意力が不十分である場合と比較して、多くなる傾向がある。
そこで、このような傾向があることが分かったため、図2(a)に戻り、これらの傾向を利用して、出力処理を実施する(S25)。出力処理は、演算したパラメータについて閾値との比較を行うことで運転者の状態を推定して出力(警報)する処理である。
この処理では、まず、マイクロサッカード発生頻度[A]と予め設定された発生閾値とを比較する(S310)。ここで本処理または以下の処理での閾値は、注意力が十分な人の平均的な値(ここではマイクロサッカード発生頻度)と、注意力が不十分な人の平均的な値との中間の値に設定される。
マイクロサッカード発生頻度[A]が発生閾値未満であれば(S310:YES)、後述するS350の処理に移行する。また、マイクロサッカード発生頻度[A]が発生閾値以上であれば(S310:NO)、視線角度振幅[B]と予め設定された振幅閾値とを比較する(S315)。
視線角度振幅[B]が振幅閾値未満であれば(S315:YES)、後述するS350の処理に移行する。また、視線角度振幅[B]が振幅閾値以上であれば(S315:NO)、停留時間比[C]と予め設定された時間閾値とを比較する(S320)。
停留時間比[C]が時間閾値以上であれば(S320:YES)、後述するS350の処理に移行する。また、停留時間比[C]が時間閾値未満であれば(S320:NO)、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]のそれぞれの変化率(例えば20秒前から10秒前までの間の各値またはその平均値、および10秒前から現在までの各値またはその平均値における変化の大きさ)と予め設定された変動閾値とを比較する。
マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]の変化率が変動閾値以上であれば(S325:YES)、後述するS350の処理に移行する。また、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]の変化率が変動閾値未満であれば(S325:NO)、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]に対する重み付けを設定する(S330)。
ここで重み付けを設定する際には、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]に対してそれぞれ係数W1、W2、W3を設定するが、係数W1、W2、W3の値は、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]のうちの何れを重視するかによって任意に設定される。
続いて、総合値Sを算出する(S335)。総合値Sは、マイクロサッカード発生頻度[A]にW1を乗じ、視線角度振幅[B]にW2を乗じ、停留時間比[C]にW3を乗じ、これらのそれぞれの値を加算した値として求められる。
そして、総合値Sと予め設定された総合基準値とを比較する(S340)。総合基準値は、注意力不足のときの総合値Sと注意力が十分であるときの総合値Sとの傾向を鑑みてこれらの中間の値に設定される。
総合値Sが総合基準値未満であれば(S340:YES)、後述するS350の処理に移行する。また、総合値Sが総合基準値以上であれば(S340:NO)、瞬目頻度[D]と予め設定された瞬目閾値とを比較する(S345)。
瞬目頻度[D]が瞬目閾値未満であれば(S345:YES)、注意力低下信号を出力し(S350)、S355の処理に移行する。ここで、注意力低下信号は、制御部10外に出力される信号であり、例えば、警報部31に出力される。警報部31は、この注意力低下信号を受けると、運転者に対する警報を行う。
また、瞬目頻度[D]が瞬目閾値以上であれば(S345:NO)、マイクロサッカード発生頻度[A]、視線角度振幅[B]、停留時間比[C]、および瞬目頻度[D]をメモリ12に記録させ(S355)、出力処理を終了する。このような出力処理が終了すると、注意力推定処理を終了する。
[本実施形態による効果]
以上のように詳述した本発明の注意力推定システム1において制御部10(CPU11)は、固視微動のうちのマイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得し、マイクロサッカード情報に基づいて監視対象者の状態を推定する。
このような注意力推定システム1によれば、マイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を用いて監視対象者の状態を推定するので、より短時間で監視対象者の状態を推定することができる。
ここで、本発明の発明者は、監視対象者の状態が良好な場合、マイクロサッカードが発生したときの視線角度の振幅が比較的大きくなり、また、監視対象者の状態が注意力を欠如している等、不良な場合、マイクロサッカードが発生したときの視線角度の振幅が比較的小さくなることを発見した。
そこで、本発明において制御部10は、マイクロサッカードが発生したときの視線角度の振幅に基づいて監視対象者の状態を推定している。そして、特に、振幅が大きく(小さく)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定している。
このような注意力推定システム1によれば、監視対象者の視線方向は対象物を見ているが、この対象物を注意して見ていないという状態(注意力不足状態)をより簡素なアルゴリズムで推定することができる。
加えて上記注意力推定システム1において制御部10は、視線角度の移動平均を基準として振幅を演算する。
このような注意力推定システム1によれば、視線角度の移動平均(直近の過去基準時間内の視線角度の平均値)を基準とするので、簡素な構成で振幅を演算することができる。
また、発明者は、監視対象者の状態が良好な場合、マイクロサッカード後の視線角度の停留時間が比較的長くなり、また、監視対象者の状態が不良な場合、マイクロサッカードが発生したときの視線角度の停留時間が比較的短くなることを発見した。併せて、停留時間を振幅で除した停留時間比についてはより顕著な傾向があることを発見した。
そこで、本発明において制御部10は、マイクロサッカードが発生したときの視線角度の停留時間(停留時間比)に基づいて監視対象者の状態を推定している。そして、特に、停留時間が長く(短く)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定している。
このような注意力推定システム1によれば、視線角度の変化状況に加え、停留時間(停留時間比)も加味するので、より精度よく監視対象者の状態を推定することができる。
また、本発明において制御部10は、瞬きの頻度も利用して監視対象者の状態を推定している。特に、瞬きの頻度が高く(低く)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定する。
このような注意力推定システム1によれば、視線角度の変化状況に加え、瞬きの頻度も加味するので、より精度よく監視対象者の状態を推定することができる。
さらに、上記注意力推定システム1において制御部10は、マイクロサッカード情報として、マイクロサッカードの発生頻度も取得し、この発生頻度も加味して監視対象者の状態を推定する。特に、マイクロサッカードの発生頻度が高く(低く)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定する。
このような注意力推定システム1によれば、マイクロサッカード情報にマイクロサッカードの発生頻度を含むので、より多くの情報を用いてより高精度に監視対象者の状態を推定することができる。
また、上記注意力推定システム1において制御部10は、監視対象者の視線方向に含まれる視認対象物に対する集中力の程度を状態として推定する。
このような注意力推定システム1によれば、視認対象物を監視対象者が集中して見ているか見ていないかを推定することができる。
さらに、上記注意力推定システム1において制御部10は、監視対象者の状態に応じて(特に、注意力が低下していると判定された場合に)警報を行う。
このような注意力推定システム1によれば、警報を行うので、監視対象者に状態が不良であることを気付かせることができる。また、このようにすることで監視対象者の状態を改善させることができる。
また、上記注意力推定システム1において制御部10は、車両に搭載され、監視対象者として車両の運転者の状態を推定するよう構成されている。
このような注意力推定システム1よれば、車両の運転者の注意状態を推定するので、漫然運転による交通事故を抑制することができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
例えば、上記実施形態においては、車両において本発明を適用したが、車両に限らず監視対象者の状態を推定する必要がある状況において本発明を適用することができる。また、上記実施形態においては、監視対象者の状態を推定する際に停留時間比を利用したが、例えば停留時間等の他のパラメータを採用してもよい。
さらに、上記実施形態においては、各閾値を一般的な監視対象者の平均値に基づく値に設定したが、個々の監視対象者のマイクロサッカードに関する情報をデータベース化して保持しておき、このデータベースに基づいて監視対象者毎に各閾値を変更して設定してもよい。
また、上記実施形態においては、監視対象者の状態を、良好または不良の2段階で評価したが、多段階で評価してもよい。この場合、上述したように、監視対象者の状態が良好になるにつれて、それぞれのマイクロサッカード情報が増加または減少するという傾向を鑑みて評価を行えばよい。
また、上記注意力推定システム1において制御部10は、車両の走行状態または走行環境を示す車両パラメータを取得し、車両パラメータに基づいてマイクロサッカード情報を補正するようにしてもよい。
具体的には、図2(b)に示すように、S15およびS25の処理の間において車両情報を取得しておき(S20)、図7に示すように、S325およびS330の処理の間においてS410およびS420の処理を実施するようにすればよい。ここで、車両情報は、車両の舵角、走行速度等の車両の走行状態や、周囲の明るさ、路面状態等の走行環境を示す。
また、S410およびS420の処理では、図7に示すように、車速に基づく速度重み付け係数Wa、舵角に基づく舵角重み付け係数Wbを設定する。なお、速度重み付け係数Waは速度増大に応じて減少するよう設定され、舵角に基づく舵角重み付け係数Wbは舵角増大に応じて増大するよう設定される。
そして、S335の処理において、求められた総合値Sに各係数Wa、Wbを順次乗じることで新たな総合値Sを得て、以後の処理では新たな総合値Sが利用される。
このような変形例の注意力推定システム1によれば、車両パラメータに応じて注意力が欠如しやすい状況であれば、監視対象者の状態が不良であると判断しやすくし、注意力が欠如しにくい状況であれば、監視対象者の状態が良好であると判断しやすくすることができる。
さらに、上記実施形態では、「マイクロサッカードが発生したときの視線角度の変化状況」の具体例として「振幅」を採用する場合について説明したが、「振幅」以外の値を採用してもよい。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において、制御部10は本発明でいう状態推定装置に相当する。また、上記実施形態において制御部10が実行する処理のうちS15の処理は本発明でいうマイクロサッカード情報取得手段に相当し、上記実施形態においてS25の処理は本発明でいう状態推定手段に相当する。
さらに、上記実施形態においてS240の処理は本発明でいう瞬き頻度取得手段に相当し、上記実施形態においてS350の処理は本発明でいう警報手段に相当する。また、上記実施形態においてS410およびS420の処理は本発明でいう車両パラメータ取得手段に相当し、上記実施形態においてS330の処理は本発明でいうマイクロサッカード情報補正手段に相当する。
1…注意力推定システム、10…制御部、11…CPU、12…メモリ、21…カメラ、22…照明部、25…舵角センサ、26…車速センサ、31…警報部。

Claims (12)

  1. 監視対象者の眼球の固視微動に基づいて前記監視対象者の状態を推定する状態推定装置(10)であって、
    当該状態推定装置は車両に搭載され、前記監視対象者として前記車両の運転者の状態を推定するよう構成されており、

    前記固視微動のうちのマイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得するマイクロサッカード情報取得手段(S15)と、
    前記マイクロサッカード情報に基づいて前記監視対象者の状態を推定する状態推定手段(S25)と、
    前記車両の走行状態を示す車両パラメータを取得する車両パラメータ取得手段(S410およびS420)と、
    前記車両パラメータに基づいて前記マイクロサッカード情報を補正するマイクロサッカード情報補正手段(S330)と、
    を備え、
    前記状態推定手段は、マイクロサッカードが発生したときの視線角度の振幅に基づいて前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  2. 請求項1に記載の状態推定装置において、
    前記状態推定手段は、前記振幅が小さくなるにつれて、より監視対象者の集中力が低い状態であると推定すること
    を特徴とする状態推定装置。
  3. 請求項1または請求項2に記載の状態推定装置において、
    前記状態推定手段は、前記視線角度の移動平均を基準として前記振幅を演算すること
    を特徴とする状態推定装置。
  4. 請求項1〜請求項3の何れか1項に記載の状態推定装置において、
    前記マイクロサッカード情報取得手段は、前記マイクロサッカード情報として、前記視線角度の変化状況に加えて、マイクロサッカード後の視線角度の停留時間を取得し、
    前記状態推定手段は、前記停留時間を加味して前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  5. 請求項4に記載の状態推定装置において、
    前記状態推定手段は、前記停留時間が短くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
    を特徴とする状態推定装置。
  6. 請求項1〜請求項5の何れか1項に記載の状態推定装置において、
    前記監視対象者の瞬きの頻度を取得する瞬き頻度取得手段(S240)、を備え、
    前記状態推定手段は、前記瞬きの頻度も加味して前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  7. 請求項6に記載の状態推定装置において、
    前記状態推定手段は、前記瞬きの頻度が低くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
    を特徴とする状態推定装置。
  8. 請求項1〜請求項7の何れか1項に記載の状態推定装置において、
    前記マイクロサッカード情報取得手段は、前記マイクロサッカード情報として、前記視線角度の変化状況に加えて、マイクロサッカードの発生頻度を取得し、
    前記状態推定手段は、前記発生頻度を加味して前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  9. 請求項8に記載の状態推定装置において、
    前記状態推定手段は、前記発生頻度が低くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
    を特徴とする状態推定装置。
  10. 請求項1〜請求項9の何れか1項に記載の状態推定装置において、
    前記状態推定手段は、前記監視対象者の視線方向に含まれる視認対象物に対する集中力の程度を前記状態として推定すること
    を特徴とする状態推定装置。
  11. 請求項1〜請求項10の何れか1項に記載の状態推定装置において、
    前記監視対象者の状態に応じて警報を行う警報手段(S350)
    を備えたことを特徴とする状態推定装置。
  12. コンピュータを、請求項1〜請求項11の何れか1項に記載の状態推定装置を構成する各手段として機能させるための状態推定プログラム。
JP2013262543A 2013-12-19 2013-12-19 状態推定装置、および状態推定プログラム Expired - Fee Related JP6273823B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013262543A JP6273823B2 (ja) 2013-12-19 2013-12-19 状態推定装置、および状態推定プログラム
US14/519,430 US9526448B2 (en) 2013-12-19 2014-10-21 State estimation device and state estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013262543A JP6273823B2 (ja) 2013-12-19 2013-12-19 状態推定装置、および状態推定プログラム

Publications (2)

Publication Number Publication Date
JP2015116376A JP2015116376A (ja) 2015-06-25
JP6273823B2 true JP6273823B2 (ja) 2018-02-07

Family

ID=53398785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013262543A Expired - Fee Related JP6273823B2 (ja) 2013-12-19 2013-12-19 状態推定装置、および状態推定プログラム

Country Status (2)

Country Link
US (1) US9526448B2 (ja)
JP (1) JP6273823B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6578784B2 (ja) * 2015-07-24 2019-09-25 株式会社デンソー 状態推定装置および状態推定プログラム
IL294038A (en) * 2015-12-04 2022-08-01 Univ Iowa Res Found Device, systems and methods for prediction, screening and monitoring of encephalopathy / delirium
CN114666499A (zh) * 2016-05-11 2022-06-24 索尼公司 图像处理设备、图像处理方法和可移动体
JP6713434B2 (ja) * 2016-05-30 2020-06-24 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム
WO2018097204A1 (ja) 2016-11-22 2018-05-31 国立研究開発法人宇宙航空研究開発機構 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体
JP6926636B2 (ja) * 2017-04-27 2021-08-25 株式会社デンソー 状態推定装置
JP6939533B2 (ja) * 2017-12-26 2021-09-22 日本電信電話株式会社 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
TWI694933B (zh) * 2018-04-12 2020-06-01 元智大學 安全駕駛之監控裝置及方法
JP7220043B2 (ja) * 2018-09-27 2023-02-09 セコム株式会社 訓練システム及びプログラム
JP7220042B2 (ja) * 2018-09-27 2023-02-09 セコム株式会社 訓練システム及びプログラム
JP7357006B2 (ja) * 2019-01-08 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
WO2020188629A1 (ja) * 2019-03-15 2020-09-24 オムロン株式会社 覚醒状態判定装置、覚醒システム、及び覚醒状態判定方法
JP7318560B2 (ja) * 2020-02-26 2023-08-01 マツダ株式会社 状態推定装置
CN115546884B (zh) * 2022-12-01 2023-03-14 广州视景医疗软件有限公司 一种眼球震颤识别方法、装置及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005098777A1 (en) * 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
JP4565018B2 (ja) * 2007-05-22 2010-10-20 国立大学法人静岡大学 植物生長調節剤及び植物生長調節方法
WO2009001558A1 (ja) 2007-06-27 2008-12-31 Panasonic Corporation ヒト状態推定装置およびその方法
JP5490664B2 (ja) * 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP2011182919A (ja) * 2010-03-08 2011-09-22 Showa Denko Kk 呼吸信号の解析装置
JP5633875B2 (ja) * 2010-07-26 2014-12-03 株式会社タニタ 換気特性判定装置

Also Published As

Publication number Publication date
US9526448B2 (en) 2016-12-27
US20150173665A1 (en) 2015-06-25
JP2015116376A (ja) 2015-06-25

Similar Documents

Publication Publication Date Title
JP6273823B2 (ja) 状態推定装置、および状態推定プログラム
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP5255063B2 (ja) 眠気予兆検出装置
JP6314435B2 (ja) ドライバ監視装置
JP6090129B2 (ja) 視認領域推定装置
JP2018127112A (ja) 覚醒度推定装置及び覚醒度推定方法
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
JP6578784B2 (ja) 状態推定装置および状態推定プログラム
JP5790762B2 (ja) 瞼検出装置
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP5423872B2 (ja) 生体状態判定装置
JP6926636B2 (ja) 状態推定装置
JPWO2011125166A1 (ja) 生体状態判定装置
JPWO2011118393A1 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP2017194772A (ja) 覚醒度判定装置
JP6762157B2 (ja) 乗員の視線方向を予測する方法および装置
JP2009219555A (ja) 眠気検知装置、運転支援装置、眠気検知方法
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP2011125620A (ja) 生体状態検出装置
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
Beukman et al. A multi-sensor system for detection of driver fatigue
JP4973613B2 (ja) 運転者状態検出装置
JP2019195376A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170911

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171225

R151 Written notification of patent or utility model registration

Ref document number: 6273823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees