JP4770218B2 - 視認行動判定装置 - Google Patents
視認行動判定装置 Download PDFInfo
- Publication number
- JP4770218B2 JP4770218B2 JP2005082661A JP2005082661A JP4770218B2 JP 4770218 B2 JP4770218 B2 JP 4770218B2 JP 2005082661 A JP2005082661 A JP 2005082661A JP 2005082661 A JP2005082661 A JP 2005082661A JP 4770218 B2 JP4770218 B2 JP 4770218B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- coordinates
- visual
- coordinate
- opening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、例えば図1に示すように構成された第1実施形態に係る視認行動判定システムの視認行動判定装置12に適用される。なお、本実施形態において、視認行動判定システムは、車両を運転する運転者(被験者)の運転操作を支援する目的で車両に搭載されることを想定する。この視認行動判定システムにおける視認行動判定装置は、人(運転者)が視認行動を行い、例えば車両側方を見ていた状態から車両前方を視認方向に戻す行動のように、視線方向を戻す際には、眼のピントを補正するために瞬目を行うという生理現象を検出することにより、眼の状態としての眼座標の時系列変化及び開閉状態の時系列変化を検出して、運転者の行動が、「視認行動」であるか、「視認行動ではなく顔の向きを変えた行動」であるかを区別するものである。
視認行動判定システムは、図1に示すように、運転者の顔画像を撮像する撮像手段としてのビデオカメラ10と、運転者の顔周辺を照明する照明装置11と、運転者の視認行動を判定する視認行動判定装置12とを有している。
つぎに、眼位置検出部21における眼位置検出処理について説明する。
つぎに、眼位置追跡部22における眼位置追跡処理について、図10に示すフローチャートを参照しながら説明する。
つぎに、開閉眼学習部23による開閉眼学習処理及び開閉眼判定部24による開閉眼判定(決定)処理について、図12に示すフローチャートを参照しながら説明する。
つぎに、視認行動判定部25における処理について説明する。
以上詳細に説明したように、本発明を適用した視認行動判定装置によれば、眼座標の時系列変化及び眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定するので、運転者の眼座標の位置変化に加え、運転者が視線方向を往復させる際には眼のピント補正をするために瞬目行為をするという生理現象を検出して視認行動を判定することができ、顔の向きを変えた場合などを視認行動であると判定することを確実に回避することができる。
つぎに、第2実施形態に係る視認行動判定システムについて説明する。なお、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
11 照明装置
12 視認行動判定装置
20 顔画像取得部
21 眼位置検出部
21 眼座標出力部
22 眼位置追跡部
23 開閉眼学習部
24 開閉眼判定部
25 視認行動判定部
26 視認結果出力部
31 車両信号取得部
32 周囲環境取得部
Claims (7)
- 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
前記眼座標取得手段は、
顔画像全体の右半分又は左半分から片眼の候補を検出する処理エリアを設定し、当該処理エリアから片眼候補座標の検出を行う片眼候補検出手段と、
前記片眼候補検出手段により片眼候補座標が検出された場合に、当該片眼候補座標を基準にして両眼を検出するための領域を設定し、当該領域内で片眼候補座標に対する両眼の確定処理を行う両眼確定処理手段とを備えることを特徴とする視認行動判定装置。 - 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
前記眼座標取得手段は、時間的に前に取得した眼座標を中心とした領域から現在の基準となる眼座標が検出された場合には、当該基準となる眼座標から、時間的に前に取得した両眼間距離だけ離れた座標付近に存在する反対眼を求めて、両眼を追跡することを特徴とする視認行動判定装置。 - 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
前記眼座標取得手段は、車速センサで検出された自車両の車速が所定値以下である場合、又は、操舵角センサで検出された自車両の操舵角が所定値以上である場合に、眼座標の追跡を保留することを特徴とする視認行動判定装置。 - 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
前記視認行動判定手段は、車間距離検出センサで検出された自車両と前方車両との車間距離が急接近した場合に、眼座標の時系列変化及び開閉状態の時系列変化から、当該眼座標の時系列変化が被験者の視認行動であることによるものか否かを判定する処理を停止して、眼座標の時系列変化から被験者が前方を視認しているか否かを判定することを特徴とする視認行動判定装置。 - 撮像手段から出力された映像信号に含まれる被験者の顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて、前記被験者の眼位置を示す眼座標を検出すると共に、当該眼座標の追跡を行う眼座標取得手段と、
前記顔画像と前記眼座標とに基づいて前記被験者の眼開度を演算し、当該眼開度から被験者の眼の開閉状態を判定する開閉眼判定手段と、
前記眼座標取得手段で追跡されている眼座標の時系列変化及び前記開閉眼判定手段で判定されている眼の開閉状態の時系列変化から、当該眼座標の時系列変化が、被験者の視認行動であることによるものか否かを判定する視認行動判定手段と、
前記視認行動判定手段の判定結果を信号として出力する視認結果出力手段とを備え、
前記視認行動判定手段は、所定の眼座標から他の眼座標に眼座標が移動する時及び他の眼座標から所定の眼座標に戻る時に、瞬目行為が検知された場合には、視認行動がなされたことを判定し、瞬目行為が検知されていない場合には、視認行動がなされていないことを判定し、
前記視認行動判定手段は、障害物センサで検出された車両前方の障害物領域のうち、被験者が視認している現視認領域と非視認領域とを判定し、非視認領域を視認することを示す信号を視認結果出力手段を介して警報装置に出力させることを特徴とする視認行動判定装置。 - 前記眼座標取得手段は、顔画像中における眼を検出するための処理エリア内に複数の縦ラインを設定し、当該縦ラインごとに、光量の濃度変化の微分値を求めて濃度変化点を検出し、当該縦ライン間の濃度変化点が横方向で連続する連続データの中心座標を眼座標として取得すること特徴とする請求項1に記載の視認行動判定装置。
- 前記開閉眼判定手段は、
前記眼座標取得手段で取得された眼座標のうち、眼の左端座標、上端座標、右端座標から眼の形状が上凸であるかを判定し、眼の形状が上凸である場合の眼の上端座標と下端座標との距離を、開眼開度値として記録し、当該開眼開度値から予め設定された所定の割合を減じた値を開眼と閉眼とを区別するための閾値として設定する学習を行い、当該閾値と眼開度とから被験者の眼の開閉状態を判定することを特徴とする請求項1乃至請求項5の何れか一項に記載の視認行動判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005082661A JP4770218B2 (ja) | 2005-03-22 | 2005-03-22 | 視認行動判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005082661A JP4770218B2 (ja) | 2005-03-22 | 2005-03-22 | 視認行動判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006268189A JP2006268189A (ja) | 2006-10-05 |
JP4770218B2 true JP4770218B2 (ja) | 2011-09-14 |
Family
ID=37204128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005082661A Expired - Fee Related JP4770218B2 (ja) | 2005-03-22 | 2005-03-22 | 視認行動判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4770218B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101137554B1 (ko) | 2006-09-29 | 2012-04-19 | 호도가야 가가쿠 고교 가부시키가이샤 | 특정 원료의 회수 및 재이용이 병행하여 행해지는 mek 변성 레조르신포르말린 수지의 제조 방법 |
JP4331197B2 (ja) * | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
JP4840146B2 (ja) * | 2007-01-09 | 2011-12-21 | 株式会社デンソー | 眠気検知装置 |
JP5549571B2 (ja) * | 2010-12-17 | 2014-07-16 | 株式会社デンソー | 車内状況表示装置 |
JP5652195B2 (ja) * | 2010-12-22 | 2015-01-14 | 富士通株式会社 | 旋回検出装置、端末装置及びプログラム |
JP5418579B2 (ja) | 2011-12-06 | 2014-02-19 | 株式会社デンソー | 開閉眼検出装置 |
JP6977589B2 (ja) | 2018-01-31 | 2021-12-08 | 株式会社デンソー | 車両用警報装置 |
JP7152651B2 (ja) * | 2018-05-14 | 2022-10-13 | 富士通株式会社 | プログラム、情報処理装置、及び情報処理方法 |
CN111626087A (zh) * | 2019-02-28 | 2020-09-04 | 北京市商汤科技开发有限公司 | 神经网络训练及眼睛睁闭状态检测方法、装置及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005065861A (ja) * | 2003-08-21 | 2005-03-17 | Nissan Motor Co Ltd | 認知負荷計測装置 |
-
2005
- 2005-03-22 JP JP2005082661A patent/JP4770218B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006268189A (ja) | 2006-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4770218B2 (ja) | 視認行動判定装置 | |
JP4826506B2 (ja) | 視線推定装置 | |
Bergasa et al. | Real-time system for monitoring driver vigilance | |
Kawato et al. | Detection and tracking of eyes for gaze-camera control | |
JP2008146356A (ja) | 視線方向推定装置及び視線方向推定方法 | |
JP4687150B2 (ja) | 直射光検出装置 | |
WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
CN101916496B (zh) | 一种司机驾驶姿势检测的系统和方法 | |
EP3488382A1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
US7370970B2 (en) | Eyeglass detection method | |
JP2007268164A (ja) | 視線移動検出方法及び視線移動検出装置 | |
EP2060993B1 (en) | An awareness detection system and method | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
JP6432702B1 (ja) | 算出システム、指標算出方法、およびコンピュータプログラム | |
Bergasa et al. | Visual monitoring of driver inattention | |
JP2017129973A (ja) | 運転支援装置および運転支援方法 | |
CN102646189B (zh) | 一种司机驾驶姿势检测的系统和方法 | |
Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
Bergasa et al. | Real-time system for monitoring driver vigilance | |
JP4270010B2 (ja) | 物体危険判定装置 | |
Takemura et al. | Drive monitoring system based on non-contact measurement system of driver's focus of visual attention | |
JP4696571B2 (ja) | 眼位置検出装置 | |
JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
Jimenez-Pinto et al. | Driver alert state and fatigue detection by salient points analysis | |
JP2002015322A (ja) | 脇見状態検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110426 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |