JP6273823B2 - 状態推定装置、および状態推定プログラム - Google Patents
状態推定装置、および状態推定プログラム Download PDFInfo
- Publication number
- JP6273823B2 JP6273823B2 JP2013262543A JP2013262543A JP6273823B2 JP 6273823 B2 JP6273823 B2 JP 6273823B2 JP 2013262543 A JP2013262543 A JP 2013262543A JP 2013262543 A JP2013262543 A JP 2013262543A JP 6273823 B2 JP6273823 B2 JP 6273823B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- state estimation
- microsaccade
- estimation device
- monitoring subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
そこで、このような問題点を鑑み、監視対象者の状態を推定する状態推定装置において、より短時間で監視対象者の状態を推定できるようにすることを本発明の目的とする。
[本実施形態の構成]
本発明が適用された注意力推定システム1は、乗用車等の車両(自車両)に搭載され、監視対象者となる運転者の眼球の固視微動に基づいて運転者の状態が注意力を欠いた状態であるか否かを認識し、運転者の状態が注意力を欠いた状態である場合、警報を行うシステムである。
カメラ21は、車両の内部において運転者の前方に配置されており、運転者の眼球が撮像範囲内になるよう設定されている。例えば、カメラ21は運転者が装着するゴーグルの内部において配置され、顔の動きによらず眼球との位置関係が変化しないよう設定されている。
警報部31は、音や光で運転者に注意を促すための構成であり、制御部10からの指令を受けて作動する。なお、警報部31は、制御部10からの指令を受けて、運転者のシートに埋め込まれたバイブレータが作動することで警報したり、制御部10からの指令を受けて、車両における空調装置の風量や風向、或いは設定温度を変更することで警報したりするようにしてもよい。
このように構成された注意力推定システム1において、制御部10は、図2以下に示す注意力推定処理を実施する。注意力推定処理は、例えば注意力推定システム1の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。
次に、図2(a)に戻り、マイクロサッカード演算処理を実施する(S15)。マイクロサッカード演算処理は、運転者によるマイクロサッカードに関して運転者の注意力を推定するためのパラメータを演算する処理である。
続いて、有効時間を演算する(S215)。ここで、有効時間とは、瞬目の前後の所定時間内(瞬目によって眼球が動く時間帯(例えば瞬目の前後各200ms))を除いた時間を有効時間とする。
このような処理を終了すると、マイクロサッカード演算処理を終了する。ここで、時間に応じた視線角度の変化の一例をグラフ化すると、例えば図5に示すような結果が得られる。
また、図5に示すグラフを得るにあたっては、同一の被験者にドライビングシミュレータを利用した模擬運転を実施させた。模擬運転中において別のタスク(例えば暗算問題を解答させる等)を被験者に要求しないで運転に集中させた結果(注意力十分状態)を図5(a)に示し、模擬運転中において別のタスクを実施するよう被験者に要求した結果(注意力不十分状態)を図5(b)に示す。
以上のように詳述した本発明の注意力推定システム1において制御部10(CPU11)は、固視微動のうちのマイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得し、マイクロサッカード情報に基づいて監視対象者の状態を推定する。
このような注意力推定システム1によれば、視線角度の移動平均(直近の過去基準時間内の視線角度の平均値)を基準とするので、簡素な構成で振幅を演算することができる。
また、本発明において制御部10は、瞬きの頻度も利用して監視対象者の状態を推定している。特に、瞬きの頻度が高く(低く)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定する。
さらに、上記注意力推定システム1において制御部10は、マイクロサッカード情報として、マイクロサッカードの発生頻度も取得し、この発生頻度も加味して監視対象者の状態を推定する。特に、マイクロサッカードの発生頻度が高く(低く)なるにつれて、より監視対象者の集中力が高い(低い)状態であると推定する。
このような注意力推定システム1によれば、視認対象物を監視対象者が集中して見ているか見ていないかを推定することができる。
このような注意力推定システム1によれば、警報を行うので、監視対象者に状態が不良であることを気付かせることができる。また、このようにすることで監視対象者の状態を改善させることができる。
このような注意力推定システム1よれば、車両の運転者の注意状態を推定するので、漫然運転による交通事故を抑制することができる。
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
このような変形例の注意力推定システム1によれば、車両パラメータに応じて注意力が欠如しやすい状況であれば、監視対象者の状態が不良であると判断しやすくし、注意力が欠如しにくい状況であれば、監視対象者の状態が良好であると判断しやすくすることができる。
上記実施形態において、制御部10は本発明でいう状態推定装置に相当する。また、上記実施形態において制御部10が実行する処理のうちS15の処理は本発明でいうマイクロサッカード情報取得手段に相当し、上記実施形態においてS25の処理は本発明でいう状態推定手段に相当する。
Claims (12)
- 監視対象者の眼球の固視微動に基づいて前記監視対象者の状態を推定する状態推定装置(10)であって、
当該状態推定装置は車両に搭載され、前記監視対象者として前記車両の運転者の状態を推定するよう構成されており、
前記固視微動のうちのマイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得するマイクロサッカード情報取得手段(S15)と、
前記マイクロサッカード情報に基づいて前記監視対象者の状態を推定する状態推定手段(S25)と、
前記車両の走行状態を示す車両パラメータを取得する車両パラメータ取得手段(S410およびS420)と、
前記車両パラメータに基づいて前記マイクロサッカード情報を補正するマイクロサッカード情報補正手段(S330)と、
を備え、
前記状態推定手段は、マイクロサッカードが発生したときの視線角度の振幅に基づいて前記監視対象者の状態を推定すること
を特徴とする状態推定装置。 - 請求項1に記載の状態推定装置において、
前記状態推定手段は、前記振幅が小さくなるにつれて、より監視対象者の集中力が低い状態であると推定すること
を特徴とする状態推定装置。 - 請求項1または請求項2に記載の状態推定装置において、
前記状態推定手段は、前記視線角度の移動平均を基準として前記振幅を演算すること
を特徴とする状態推定装置。 - 請求項1〜請求項3の何れか1項に記載の状態推定装置において、
前記マイクロサッカード情報取得手段は、前記マイクロサッカード情報として、前記視線角度の変化状況に加えて、マイクロサッカード後の視線角度の停留時間を取得し、
前記状態推定手段は、前記停留時間を加味して前記監視対象者の状態を推定すること
を特徴とする状態推定装置。 - 請求項4に記載の状態推定装置において、
前記状態推定手段は、前記停留時間が短くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
を特徴とする状態推定装置。 - 請求項1〜請求項5の何れか1項に記載の状態推定装置において、
前記監視対象者の瞬きの頻度を取得する瞬き頻度取得手段(S240)、を備え、
前記状態推定手段は、前記瞬きの頻度も加味して前記監視対象者の状態を推定すること
を特徴とする状態推定装置。 - 請求項6に記載の状態推定装置において、
前記状態推定手段は、前記瞬きの頻度が低くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
を特徴とする状態推定装置。 - 請求項1〜請求項7の何れか1項に記載の状態推定装置において、
前記マイクロサッカード情報取得手段は、前記マイクロサッカード情報として、前記視線角度の変化状況に加えて、マイクロサッカードの発生頻度を取得し、
前記状態推定手段は、前記発生頻度を加味して前記監視対象者の状態を推定すること
を特徴とする状態推定装置。 - 請求項8に記載の状態推定装置において、
前記状態推定手段は、前記発生頻度が低くなるにつれて、より監視対象者の集中力が低い状態であると推定すること
を特徴とする状態推定装置。 - 請求項1〜請求項9の何れか1項に記載の状態推定装置において、
前記状態推定手段は、前記監視対象者の視線方向に含まれる視認対象物に対する集中力の程度を前記状態として推定すること
を特徴とする状態推定装置。 - 請求項1〜請求項10の何れか1項に記載の状態推定装置において、
前記監視対象者の状態に応じて警報を行う警報手段(S350)
を備えたことを特徴とする状態推定装置。 - コンピュータを、請求項1〜請求項11の何れか1項に記載の状態推定装置を構成する各手段として機能させるための状態推定プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013262543A JP6273823B2 (ja) | 2013-12-19 | 2013-12-19 | 状態推定装置、および状態推定プログラム |
US14/519,430 US9526448B2 (en) | 2013-12-19 | 2014-10-21 | State estimation device and state estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013262543A JP6273823B2 (ja) | 2013-12-19 | 2013-12-19 | 状態推定装置、および状態推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015116376A JP2015116376A (ja) | 2015-06-25 |
JP6273823B2 true JP6273823B2 (ja) | 2018-02-07 |
Family
ID=53398785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013262543A Expired - Fee Related JP6273823B2 (ja) | 2013-12-19 | 2013-12-19 | 状態推定装置、および状態推定プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9526448B2 (ja) |
JP (1) | JP6273823B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6578784B2 (ja) * | 2015-07-24 | 2019-09-25 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
IL294038A (en) * | 2015-12-04 | 2022-08-01 | Univ Iowa Res Found | Device, systems and methods for prediction, screening and monitoring of encephalopathy / delirium |
CN114666499A (zh) * | 2016-05-11 | 2022-06-24 | 索尼公司 | 图像处理设备、图像处理方法和可移动体 |
JP6713434B2 (ja) * | 2016-05-30 | 2020-06-24 | 日本電信電話株式会社 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
WO2018097204A1 (ja) | 2016-11-22 | 2018-05-31 | 国立研究開発法人宇宙航空研究開発機構 | 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体 |
JP6926636B2 (ja) * | 2017-04-27 | 2021-08-25 | 株式会社デンソー | 状態推定装置 |
JP6939533B2 (ja) * | 2017-12-26 | 2021-09-22 | 日本電信電話株式会社 | 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム |
TWI694933B (zh) * | 2018-04-12 | 2020-06-01 | 元智大學 | 安全駕駛之監控裝置及方法 |
JP7220043B2 (ja) * | 2018-09-27 | 2023-02-09 | セコム株式会社 | 訓練システム及びプログラム |
JP7220042B2 (ja) * | 2018-09-27 | 2023-02-09 | セコム株式会社 | 訓練システム及びプログラム |
JP7357006B2 (ja) * | 2019-01-08 | 2023-10-05 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
WO2020188629A1 (ja) * | 2019-03-15 | 2020-09-24 | オムロン株式会社 | 覚醒状態判定装置、覚醒システム、及び覚醒状態判定方法 |
JP7318560B2 (ja) * | 2020-02-26 | 2023-08-01 | マツダ株式会社 | 状態推定装置 |
CN115546884B (zh) * | 2022-12-01 | 2023-03-14 | 广州视景医疗软件有限公司 | 一种眼球震颤识别方法、装置及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005098777A1 (en) * | 2004-03-22 | 2005-10-20 | Volvo Technology Corporation | Method and system for perceptual suitability test of a driver |
JP4565018B2 (ja) * | 2007-05-22 | 2010-10-20 | 国立大学法人静岡大学 | 植物生長調節剤及び植物生長調節方法 |
WO2009001558A1 (ja) | 2007-06-27 | 2008-12-31 | Panasonic Corporation | ヒト状態推定装置およびその方法 |
JP5490664B2 (ja) * | 2009-11-18 | 2014-05-14 | パナソニック株式会社 | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
JP2011182919A (ja) * | 2010-03-08 | 2011-09-22 | Showa Denko Kk | 呼吸信号の解析装置 |
JP5633875B2 (ja) * | 2010-07-26 | 2014-12-03 | 株式会社タニタ | 換気特性判定装置 |
-
2013
- 2013-12-19 JP JP2013262543A patent/JP6273823B2/ja not_active Expired - Fee Related
-
2014
- 2014-10-21 US US14/519,430 patent/US9526448B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9526448B2 (en) | 2016-12-27 |
US20150173665A1 (en) | 2015-06-25 |
JP2015116376A (ja) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6273823B2 (ja) | 状態推定装置、および状態推定プログラム | |
JP5974915B2 (ja) | 覚醒度検出装置、および覚醒度検出方法 | |
JP5326521B2 (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
JP5255063B2 (ja) | 眠気予兆検出装置 | |
JP6314435B2 (ja) | ドライバ監視装置 | |
JP6090129B2 (ja) | 視認領域推定装置 | |
JP2018127112A (ja) | 覚醒度推定装置及び覚醒度推定方法 | |
JP2015207163A (ja) | 状態推定装置、および状態推定プログラム | |
JP6578784B2 (ja) | 状態推定装置および状態推定プログラム | |
JP5790762B2 (ja) | 瞼検出装置 | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP5423872B2 (ja) | 生体状態判定装置 | |
JP6926636B2 (ja) | 状態推定装置 | |
JPWO2011125166A1 (ja) | 生体状態判定装置 | |
JPWO2011118393A1 (ja) | 覚醒度判定装置、覚醒度判定方法及びプログラム | |
JP2017194772A (ja) | 覚醒度判定装置 | |
JP6762157B2 (ja) | 乗員の視線方向を予測する方法および装置 | |
JP2009219555A (ja) | 眠気検知装置、運転支援装置、眠気検知方法 | |
WO2019176492A1 (ja) | 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP2011125620A (ja) | 生体状態検出装置 | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
Beukman et al. | A multi-sensor system for detection of driver fatigue | |
JP4973613B2 (ja) | 運転者状態検出装置 | |
JP2019195376A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170911 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6273823 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |