JP6578784B2 - 状態推定装置および状態推定プログラム - Google Patents

状態推定装置および状態推定プログラム Download PDF

Info

Publication number
JP6578784B2
JP6578784B2 JP2015146652A JP2015146652A JP6578784B2 JP 6578784 B2 JP6578784 B2 JP 6578784B2 JP 2015146652 A JP2015146652 A JP 2015146652A JP 2015146652 A JP2015146652 A JP 2015146652A JP 6578784 B2 JP6578784 B2 JP 6578784B2
Authority
JP
Japan
Prior art keywords
frequency
state
saccade
state estimation
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015146652A
Other languages
English (en)
Other versions
JP2017023519A (ja
Inventor
宏 内藤
宏 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015146652A priority Critical patent/JP6578784B2/ja
Publication of JP2017023519A publication Critical patent/JP2017023519A/ja
Application granted granted Critical
Publication of JP6578784B2 publication Critical patent/JP6578784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、監視対象者の眼球運動に基づいて監視対象者の状態を推定する状態推定装置、および状態推定プログラムに関する。
上記の状態推定装置として、監視対象者の眼球運動のうちのある滞留点から異なる滞留点への直線的な視線の移動を表すサッカードを検出し、サッカードの頻度と閾値とを比較することによって監視対象者の状態を推定する状態推定装置が知られている(例えば、特許文献1参照)。
特開2011−115450号公報
しかしながら、本件発明者による研究により、監視対象者の状態や周囲の環境が同じ場合であっても、サッカードの頻度が変化することが確認された。したがって、上記特許文献1に開示された技術では、監視対象者の状態を誤判定する虞がある。
そこで、このような問題点を鑑み、監視対象者の眼球運動に基づいて監視対象者の状態を推定する状態推定装置において、より精度よく監視対象者の状態を推定できるようにすることを本発明の目的とする。
本発明の一側面の状態推定装置において、頻度取得手段は、監視対象者のサッカードの発生頻度を表す通常サッカード頻度、および監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度を取得する。そして、状態推定手段は、通常サッカードの頻度およびマイクロサッカードの頻度に基づいて、監視対象者の状態を推定する。
このような状態推定装置によれば、サッカードの頻度だけでなく、マイクロサッカードの頻度も用いて監視対象者の状態を推定するので、より正確に監視対象者の状態を推定することができる。
なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。
本発明が適用された注意力推定システムの概略構成を示すブロック図である。 サッカードとマイクロサッカードとの関係の一例を示すグラフである。 制御部が実行する注意力推定処理を示すフローチャートである。 注意力推定処理のうちの画像認識処理を示すフローチャートである。 サッカードおよびマイクロサッカードの発生状況の一例を示すグラフである。 注意力推定処理のうちの状態判定処理を示すフローチャートである。 注意力推定処理のうちの報知処理を示すフローチャートである。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
本発明が適用された注意力推定システム1は、乗用車等の車両(自車両)に搭載され、監視対象者となる運転者の眼球の運動に基づいて運転者の状態が注意力を欠いた状態であるか否かを認識し、運転者の状態が注意力を欠いた状態である場合、警報を行うシステムである。
詳細には注意力推定システム1は、図1に示すように、制御部10、カメラ21、照明部22、舵角センサ25、車速センサ26、警報部31を備えている。
カメラ21は、車両の内部において運転者の前方に配置されており、運転者の眼球が撮像範囲内になるよう設定されている。例えば、カメラ21は運転者が装着するゴーグルの内部において配置され、顔の動きによらず眼球との位置関係が変化しないよう設定されている。
なお、カメラ21は、眼球の細かな動き(眼球の角度)を撮像できる構成であれば、上記のように配置されている必要はなく、例えば、撮像画像中に運転者の顔全体が含まれるように配置されてもよい。また、カメラ21は、サッカードやマイクロサッカードを検出可能な周期(例えば200fps(フレーム毎秒)程度のフレームレート)と精度(例えば0.05度の角度差を検出可能な精度)で撮像可能な高速かつ高精度なカメラとして構成されている。
ここで、サッカードとは、運転者が主に意図的に視線方向を変化させる動作等、跳躍性眼球運動を示し、本実施形態では、視線角加速度が基準角加速度(例えば、1200deg/s2)以上であり、かつ視線の移動距離(視線角度の変化が開始してから停止するまでの視線角度の差)が基準距離(例えば、2deg)以上のものを示す。また、マイクロサッカードとは、運転者が注視している際に、不随意で生じる微小な眼球運動(眼球の固視微動)を示し、本実施形態では、視線角加速度が基準角加速度以上であり、かつ視線の移動距離が基準距離未満のものを示す。
なお、角加速度に換えて、角速度が規準角速度以上であるか否かによって判定を行ってもよい。また、本実施形態においてサッカード頻度(通常サッカード頻度)とは、サッカードの発生頻度を表す。マイクロサッカード頻度とは、マイクロサッカードの発生頻度を表す。
次に、照明部22は、カメラ21のための補助光源として機能し、カメラ21の撮像範囲内となる運転者の顔に向けて例えば赤外光を照射する。赤外光の照射タイミングについては、常時点灯していてもよいし、カメラ21による撮像周期と同期するよう、発光タイミングが制御部10によって制御されるよう構成されていてもよい。
舵角センサ25は、運転者のハンドル操作によるハンドル位置を検出するセンサであり、周知の舵角センサとして構成されている。舵角センサ25が検出する舵角は、制御部10にて認識されるよう設定されている。
車速センサ26は、自車両の走行速度を検出する周知の車速センサとして構成されている。車速センサ26は車速の検出結果を制御部10に送る。
警報部31は、音や光で運転者に注意を促すための構成であり、制御部10からの指令を受けて作動する。具体的には、警報部31は、音を発生させるアンプ・スピーカや、画像を表示させる表示部等を備えている。なお、警報部31は、制御部10からの指令を受けて、運転者のシートに埋め込まれたバイブレータが作動することで警報したり、制御部10からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更することで警報したりするようにしてもよい。
制御部10は、CPU11、およびROM、RAM等のメモリ12を備えた周知のコンピュータとして構成されている。CPU11は、メモリ12に記録されたプログラムに従って後述する各種処理を実施する。
[本実施形態の処理の概要]
本件発明者による研究により、図2(a)に示すように、運転者の状態が異常でない正常状態においては、サッカード頻度とマイクロサッカード頻度とがトレードオフの関係にあることが確認された。すなわち、運転者の状態が正常である場合、サッカード頻度が減少したとしてもマイクロサッカード頻度が増加していることがあり、また、通常サッカード頻度が増加したとしてもマイクロサッカード頻度が減少していることもあるといえる。
また、運転者の状態が異常である異常状態においては、サッカード頻度およびマイクロサッカード頻度の両方が減少傾向となる。そこで、本実施形態では、図2(b)に示すように、サッカード頻度およびマイクロサッカード頻度の両方が低下したときに、運転者の状態が異常あるものとする。
なお、本実施形態においては、運転者による周囲環境に対する注意力が散漫になった状態を、運転者の状態が異常または不注意状態と表記し、運転者による周囲環境に対する注意力が十分である状態を、運転者の状態が正常または注意状態と表記する。
運転者の状態を判定する際の具体的処理について以下に示す。
[本実施形態の処理の詳細]
注意力推定システム1において、制御部10は、図3以下に示す注意力推定処理を実施する。注意力推定処理は、例えば注意力推定システム1の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
この処理では、図3に示すように、まず、画像認識処理を実施する(S10)。画像認識処理は、カメラ21から取得した撮像画像から運転者(監視対象者)の眼球の細かな動きを検出する処理である。
画像認識処理では、図4に示すように、まず、カメラ21による撮像画像を取得する(S110)。続いて、撮像画像中の瞳孔を抽出する(S115)。この処理では、撮像画像内の黒い丸を瞳孔として抽出する。なお、撮像画像中に監視対象者の顔全体が含まれるようカメラ21を配置している場合には、撮像画像中の眼球の位置を検出し、その中の黒い丸を瞳孔として抽出して位置を記録する。
続いて、角膜反射像を抽出する(S120)。角膜反射像は、瞳孔内において光源からの光が角膜によって反射された反射光であり、撮像画像中では白い点となる。この白い点の位置を記録する。
そして、瞳孔の位置と角膜反射像の位置との位置関係(それぞれの位置・角度、相対距離等)に従って、視線角度を演算する(S125)。ここでの視線角度は、車両の左右方向と概ね一致する水平方向と、水平方向とは直交する垂直方向との両方を意味する。
続いて、演算した視線角度をメモリ12に保存し(S130)、視線角加速度を演算する(S135)。視線角加速度は、メモリ12に保存された過去数フレーム分(各加速度を求めるために十分なフレーム数であり、例えば10フレーム分等)の視線角度を利用して、視線角度の変化量を時間で除することで求める。
そして、瞬目(瞬き)についても抽出する(S140)。瞬目については、例えば瞳孔が抽出できない場合に瞬目を行っていると認識する。また、上瞼の曲率半径に基づいて瞬目の判断を行ってもよい。
また、瞬目については、その時刻がメモリ12に記録される。瞬目の間のデータは以下の処理から除外される。S140の処理が終了すると、画像認識処理を終了する。
次に、図3に戻り、サッカードおよびマイクロサッカードを抽出する(S15,S20)。この処理では、視線角加速度が基準角速度以上のものをサッカードまたはマイクロサッカードとして抽出する。そして、これらのうちの視線の移動距離が基準距離以上であるものをサッカード(通常サッカード)とし、視線の移動距離が基準距離未満であるものをマイクロサッカードとする。
ここで、時間に応じた視線角度の変化の一例をグラフ化すると、例えば図5(a)、図5(b)、図5(c)に示すような結果が得られる。なお、これらの例では、サッカードが発生した部位に下向き三角印(▽)を付し、マイクロサッカードが発生した部位に丸印(○)を付している。ただし、図5(a)、図5(b)、図5(c)に示すグラフでは、特徴的なサッカードおよびマイクロサッカードについてのみ三角印および丸印を付しており、全てのサッカードおよびマイクロサッカードについて三角印および丸印を付しているわけではない。
また、図5(a)、図5(b)、図5(c)に示すグラフを得るにあたっては、同一の被験者にドライビングシミュレータによる動画を視聴させた。なお、被験者が動画の視聴をする際には運転操作を実施していない。動画の視聴中において別のタスク(例えば暗算問題を解答させる等)を被験者に要求しないで動画の視聴に集中させた結果(注意力十分状態)を図5(a)および図5(b)に示す。
また、同様の動画の視聴中において別のタスク(具体的には暗算による引き算)を実施するよう被験者に要求した結果(注意力不十分状態)を図5(c)に示す。なお、図5(a)は、例えば一般道を走行中等、サッカードが多く発生する状況での視線角度の変化を示し、マイクロサッカード頻度に対してサッカード頻度が優勢となっている。また、図5(b)は、例えば高速道路を走行中等、マイクロサッカードが多く発生する状況での視線角度の変化を示し、マイクロサッカード頻度に対してサッカード頻度が劣勢となっている。
運転者の注意力が十分である場合には、図5(a)および図5(b)に示すように、運転者の注意力が不十分である場合(図5(c)参照)と比較して、サッカード頻度またはマイクロサッカード頻度が高くなることが分かる。
続いて、このようにして抽出されたサッカードおよびマイクロサッカードの発生状況と、サッカードおよびマイクロサッカードの監視時間とに基づいて、サッカードおよびマイクロサッカードの発生頻度を求め、これらの発生頻度に関するデータをメモリ12に記録させる(S25)。そして、サッカードおよびマイクロサッカードの監視時間と予め設定された有効時間とを比較する(S30)。ここで、有効時間とは、サッカードおよびマイクロサッカードの発生頻度を精度よく認識するために必要な時間を表し、例えば、1分程度から数分程度の値に設定される。
サッカードおよびマイクロサッカードの監視時間が有効時間未満であれば(S30:NO)、S10の処理に戻る。また、サッカードおよびマイクロサッカードの監視時間が有効時間以上であれば(S30:YES)、回帰式を生成する(S35)。
ここで、回帰式とは、サッカードおよびマイクロサッカードが適切に発生しているか否かを判定するための数式である。この回帰式は、以下のようにして求める。まず、有効時間経過直後(すなわち、運転者の状態が正常状態であると推定されるとき)において、図2(b)に示すように、サッカード頻度RSCと、マイクロサッカード頻度RMRCとを縦軸および横軸に取ったグラフ上において、所定時間(前述の有効時間よりも小さな値であり、例えば10秒間程度の値)毎のサッカード頻度RSCおよびマイクロサッカード頻度RMRCをプロットする。
そして、これらのプロットの傾向を示す最も確からしい曲線(直線含む)を求める。例えば、図2(b)に示す例では、最小二乗法により最も確からしい曲線(直線[A])を求めている。
さらに、この曲線(直線[A])を原点方向にシフトさせることで、回帰式aRSC+bRMRC=TR(図2(b)に示す直線[B])を求める。なお、回帰式においてa,b,TRについては最小二乗法や曲線を原点方向にシフトさせる処理等によって得られる定数である。
なお、曲線を原点方向にシフトさせる際のシフト量は、サッカード頻度RSCおよびマイクロサッカード頻度RMRCの分散程度や、実験データ等を用いて任意に設定される。また、回帰式を生成する処理は、例えば車両の電源の投入後の1回だけ実施され、繰り返し時においては省略される。この場合、以下の処理では既に生成された回帰式を用いて判定を行う。
続いて、状態判定処理を実施する(S40)。状態判定処理は、サッカード頻度およびマイクロサッカード頻度に基づいて運転者の状態を推定する処理である。状態判定処理では、図6に示すように、まず、aRSC+bRMRCとTRとを比較する(S210)。
aRSC+bRMRCがTR以上であれば(S210:YES)、運転者の状態が正常(注意状態)であるものとして、フラグAを0にセットし(S215)、S225の処理に移行する。また、aRSC+bRMRCがTR未満であれば(S210:NO)、運転者の状態が異常(不注意状態)であるものとして、フラグAを1にセットする(S220)。
続いて、aRSC/bRMRCと定数Cとを比較する(S225)。ここで、定数Cは、サッカード頻度とマイクロサッカード頻度との何れが優勢であるかを判定するための閾値であり、例えば1程度の値に設定される。
aRSC/bRMRCが定数C以上であれば(S225:YES)、マイクロサッカード頻度に対してサッカード頻度が優勢であるものとして、フラグBを0にセットし(S230)、状態判定処理を終了する。また、aRSC/bRMRCが定数C未満であれば(S225:NO)、サッカード頻度に対してマイクロサッカード頻度が優勢であるものとして、フラグBを1にセットし(S235)、状態判定処理を終了する。
続いて、図3に戻り、報知処理を実施する(S45)。報知処理は、運転者の状態に応じて運転者に警告や注意等の報知を行う処理である。報知処理では、図7に示すように、まず、フラグAの状態を判定する(S310)。
フラグAが0(注意状態)であれば(S310:YES)、報知を行う必要がないため報知処理を終了する。また、フラグAが1(不注意状態)であれば(S310:NO)、フラグBの状態を判定する(S315)。
フラグBが0(サッカード優勢)であれば(S315:YES)、音のみによる報知を実施させ(S320)、報知処理を終了する。また、フラグBが1(マイクロサッカード優勢)であれば(S315:NO)、音および視覚(画像)による報知(警報)を実施させ(S325)、報知処理を終了する。
このように、マイクロサッカードに対してサッカードが多い際には、監視対象者があちこちを視認している状態であり、画像による警報を見る余裕がない(或いは画像を見ることで他への注意が散漫になる)可能性が高まるため画像でなく音声による警報を実施する。また、サッカードに対してマイクロサッカードが多い際には、監視対象者の視線が比較的一定である状態であり、画像を見る余裕がある可能性が高いため画像による警報を実施する。
なお、S320またはS325の処理が実施されると、制御部10は、予め設定された音や画像を発する旨の指令を警報部31に送り、この指令を受けた警報部31が音や画像を用いて警報を行う。なお、報知の際には、振動や空調等を用いてもよい。
[本実施形態による効果]
上記の注意力推定システム1において制御部10は、監視対象者のサッカードの発生頻度を表す通常サッカード頻度、および監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度を取得する。そして、制御部10は、通常サッカードの頻度およびマイクロサッカードの頻度に基づいて、監視対象者の状態を推定する。
このような注意力推定システム1によれば、サッカードの頻度だけでなく、マイクロサッカードの頻度も用いて監視対象者の状態を推定するので、より正確に監視対象者の状態を推定することができる。
また、上記の注意力推定システム1において制御部10は、通常サッカード頻度に関する値とマイクロサッカード頻度に関する値とを加算した合計頻度と、予め設定された閾値との比較結果に基づいて、監視対象者の状態を推定する。特に、上記の注意力推定システム1において制御部10は、合計頻度が閾値以上となる場合に監視対象者の状態が正常であると推定し、合計頻度が閾値未満となる場合に監視対象者の状態が異常であると推定する。
このような注意力推定システム1によれば、通常サッカード頻度とマイクロサッカード頻度とがトレードオフの関係にあることを考慮して合計頻度を用いて監視対象者の状態を推定するので、より良好に監視対象者の状態を推定することができる。なお、本実施形態では頻度の合計がある閾値未満である場合に異常であると推定したが、頻度の両方がある閾値未満である場合にも拡張して適用することができる。
上記の注意力推定システム1において制御部10は、監視対象者の状態が正常であるときにおける通常サッカード頻度およびマイクロサッカード頻度に応じて閾値を設定し、設定された閾値と合計頻度との比較結果に基づいて、監視対象者の状態を推定する。
このような注意力推定システム1によれば、監視対象者の状態が正常であるときにおける通常サッカード頻度およびマイクロサッカード頻度に応じて閾値を設定するので、監視対象者の個体差に応じた適切な閾値を設定することができる。
上記の注意力推定システム1において制御部10は、監視対象者の状態として、監視対象者の集中力の程度を推定する。
このような注意力推定システム1によれば、通常サッカードの頻度およびマイクロサッカードの頻度に基づいて、監視対象者の集中力の程度を推定することができる。
上記の注意力推定システム1において制御部10は、監視対象者の状態が異常である場合、監視対象者に対して警報を行う。
このような注意力推定システム1によれば、監視対象者の集中力が低下したときや体調が悪いとき等、監視対象者の状態が異常である場合に、警報を実施するので、監視対象者に注意を促すことができる。
上記の注意力推定システム1において制御部10は、通常サッカードの頻度とマイクロサッカードの頻度との比に応じて警報の態様を変更する。
このような注意力推定システム1によれば、運転者の状態に応じて適切な手法で警報を実施することができる。
上記の注意力推定システム1において制御部10は、通常サッカードの頻度がマイクロサッカードの頻度に対して高いとき、音声による警報を実施し、通常サッカードの頻度がマイクロサッカードの頻度に対して低いとき、画像による警報を実施する。
このような注意力推定システム1によれば、運転者の状態に応じて適切な手法で警報を実施することができる。
上記の注意力推定システム1において制御部10は、監視対象者として車両の運転者を監視する。
このような注意力推定システム1によれば、車両の運転者が運転する際に異常な状態であるか否かを監視することができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
上述した注意力推定システムの他、当該注意力推定システムの構成要素となる装置、当該注意力推定システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、注意力推定方法など、種々の形態で本発明を実現することもできる。
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において制御部10は本発明でいう状態推定装置に相当する。また、上記実施形態において制御部10が実施する処理のうち、S15,S20の処理は本発明でいう頻度取得手段に相当し、上記実施形態においてS35の処理は本発明でいう閾値設定手段に相当する。
さらに、上記実施形態においてS40の処理は本発明でいう状態推定手段に相当し、上記実施形態においてS45の処理は本発明でいう警報手段に相当する。
1…注意力推定システム、10…制御部、11…CPU、12…メモリ、21…カメラ、22…照明部、25…舵角センサ、26…車速センサ、31…警報部。

Claims (11)

  1. 監視対象者の眼球運動に基づいて前記監視対象者の状態を推定する状態推定装置(1)であって、
    前記監視対象者のサッカードの発生頻度を表す通常サッカード頻度、および前記監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度を取得する頻度取得手段(S15,S20)と、
    前記通常サッカード頻度および前記マイクロサッカード頻度に基づいて、前記監視対象者の状態を推定する状態推定手段(S40)と、
    を備え、
    前記状態推定手段は、前記通常サッカード頻度に関する値と前記マイクロサッカード頻度に関する値とを加算した合計頻度と、予め設定された閾値との比較結果に基づいて、前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  2. 請求項に記載の状態推定装置において、
    前記状態推定手段は、前記合計頻度が前記閾値以上となる場合に前記監視対象者の状態が正常であると推定し、前記合計頻度が前記閾値未満となる場合に前記監視対象者の状態が異常であると推定すること
    を特徴とする状態推定装置。
  3. 請求項または請求項に記載の状態推定装置において、
    監視対象者の状態が正常であるときにおける通常サッカード頻度およびマイクロサッカード頻度に応じて前記閾値を設定する閾値設定手段(S35)、
    を備え、
    前記状態推定手段は、前記閾値設定手段にて設定された閾値と前記合計頻度との比較結果に基づいて、前記監視対象者の状態を推定すること
    を特徴とする状態推定装置。
  4. 請求項1〜請求項の何れか1項に記載の状態推定装置において、
    前記状態推定手段は、前記監視対象者の状態として、前記監視対象者の集中力の程度を推定すること
    を特徴とする状態推定装置。
  5. 請求項1〜請求項の何れか1項に記載の状態推定装置において、
    前記監視対象者の状態が異常である場合、前記監視対象者に対して警報を行う警報手段(S45)、
    を備えたことを特徴とする状態推定装置。
  6. 請求項に記載の状態推定装置において、
    前記警報手段は、前記通常サッカード頻度と前記マイクロサッカード頻度との比に応じて警報の態様を変更すること
    を特徴とする状態推定装置。
  7. 監視対象者の眼球運動に基づいて前記監視対象者の状態を推定する状態推定装置(1)であって、
    前記監視対象者のサッカードの発生頻度を表す通常サッカード頻度、および前記監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度を取得する頻度取得手段(S15,S20)と、
    前記通常サッカード頻度および前記マイクロサッカード頻度に基づいて、前記監視対象者の状態を推定する状態推定手段(S40)と、
    前記監視対象者の状態が異常である場合、前記監視対象者に対して警報を行う警報手段(S45)と、
    を備え、
    前記警報手段は、前記通常サッカード頻度と前記マイクロサッカード頻度との比に応じて警報の態様を変更すること
    を特徴とする状態推定装置。
  8. 請求項5〜請求項7の何れか1項に記載の状態推定装置において、
    前記警報手段は、前記通常サッカード頻度が前記マイクロサッカード頻度に対して高いとき、音声による警報を実施し、前記通常サッカード頻度が前記マイクロサッカード頻度に対して低いとき、画像による警報を実施すること
    を特徴とする状態推定装置。
  9. 監視対象者の眼球運動に基づいて前記監視対象者の状態を推定する状態推定装置(1)であって、
    前記監視対象者のサッカードの発生頻度を表す通常サッカード頻度、および前記監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度を取得する頻度取得手段(S15,S20)と、
    前記通常サッカード頻度および前記マイクロサッカード頻度に基づいて、前記監視対象者の状態を推定する状態推定手段(S40)と、
    前記監視対象者の状態が異常である場合、前記監視対象者に対して警報を行う警報手段(S45)、
    を備え、
    前記警報手段は、前記通常サッカード頻度が前記マイクロサッカード頻度に対して高いとき、音声による警報を実施し、前記通常サッカード頻度が前記マイクロサッカード頻度に対して低いとき、画像による警報を実施すること
    を特徴とする状態推定装置。
  10. 請求項1〜請求項の何れか1項に記載の状態推定装置において、
    当該状態推定装置は車両に搭載されており、前記監視対象者として当該車両の運転者を監視すること
    を特徴とする状態推定装置。
  11. コンピュータを、請求項1〜請求項10の何れか1項に記載の状態推定装置を構成する各手段として機能させるための状態推定プログラム。
JP2015146652A 2015-07-24 2015-07-24 状態推定装置および状態推定プログラム Active JP6578784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015146652A JP6578784B2 (ja) 2015-07-24 2015-07-24 状態推定装置および状態推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015146652A JP6578784B2 (ja) 2015-07-24 2015-07-24 状態推定装置および状態推定プログラム

Publications (2)

Publication Number Publication Date
JP2017023519A JP2017023519A (ja) 2017-02-02
JP6578784B2 true JP6578784B2 (ja) 2019-09-25

Family

ID=57948887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015146652A Active JP6578784B2 (ja) 2015-07-24 2015-07-24 状態推定装置および状態推定プログラム

Country Status (1)

Country Link
JP (1) JP6578784B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911841B2 (ja) * 2016-05-11 2021-07-28 ソニーグループ株式会社 画像処理装置及び画像処理方法、並びに移動体
JP6662352B2 (ja) * 2017-07-07 2020-03-11 マツダ株式会社 居眠り運転警報装置
JP7207518B2 (ja) * 2019-03-15 2023-01-18 オムロン株式会社 認知症検知装置及び認知症検知方法
JPWO2020188629A1 (ja) * 2019-03-15 2020-09-24
JP7298508B2 (ja) * 2020-02-26 2023-06-27 マツダ株式会社 状態推定装置
JP7298509B2 (ja) * 2020-02-26 2023-06-27 マツダ株式会社 状態推定装置
JP7298510B2 (ja) * 2020-02-26 2023-06-27 マツダ株式会社 状態推定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012137A1 (en) * 1997-09-05 1999-03-11 Massachusetts Institute Of Technology Drowsiness/alertness monitor
JPH11276461A (ja) * 1998-03-27 1999-10-12 Suzuki Motor Corp 注意力測定装置及びこれを用いた情報提示装置
WO2009001558A1 (ja) * 2007-06-27 2008-12-31 Panasonic Corporation ヒト状態推定装置およびその方法
JP5358414B2 (ja) * 2009-12-04 2013-12-04 株式会社豊田中央研究所 漫然状態判定装置、方法及びプログラム
JP6273823B2 (ja) * 2013-12-19 2018-02-07 株式会社デンソー 状態推定装置、および状態推定プログラム
JP2015207163A (ja) * 2014-04-21 2015-11-19 株式会社デンソー 状態推定装置、および状態推定プログラム

Also Published As

Publication number Publication date
JP2017023519A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6578784B2 (ja) 状態推定装置および状態推定プログラム
JP6273823B2 (ja) 状態推定装置、および状態推定プログラム
US10117577B2 (en) Visual field calculation apparatus and method for calculating visual field
JP6047318B2 (ja) ドライバ状態検出装置及びドライバ状態報知装置
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP5255063B2 (ja) 眠気予兆検出装置
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
JP6470334B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP5423872B2 (ja) 生体状態判定装置
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2014515847A5 (ja)
JP6090129B2 (ja) 視認領域推定装置
JP2009244959A (ja) 運転支援装置、運転支援方法
JP5109750B2 (ja) 運転者状態検出装置、意識状態検出方法
JP6926636B2 (ja) 状態推定装置
JP2006158740A (ja) 運転者状態判定装置
KR101519748B1 (ko) 운전자 부주의 판단 방법 및 이를 위한 판단 장치
JP2007293587A (ja) 覚醒状態の変化を早期発見する方法および検知装置
JP5321303B2 (ja) 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム
JP6793473B2 (ja) わき見状態判定装置
JP2012113450A (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP4973613B2 (ja) 運転者状態検出装置
JP7276082B2 (ja) 運転者状態推定装置
JP6281238B2 (ja) 認知度推定装置および認知度推定方法
JP2017010418A (ja) 運転者状態判定方法及びその判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190812

R151 Written notification of patent or utility model registration

Ref document number: 6578784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250