JP5466610B2 - 視線推定装置 - Google Patents
視線推定装置 Download PDFInfo
- Publication number
- JP5466610B2 JP5466610B2 JP2010215331A JP2010215331A JP5466610B2 JP 5466610 B2 JP5466610 B2 JP 5466610B2 JP 2010215331 A JP2010215331 A JP 2010215331A JP 2010215331 A JP2010215331 A JP 2010215331A JP 5466610 B2 JP5466610 B2 JP 5466610B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- gaze
- unit
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Description
図1は、本発明の第1の実施の形態に係る視線推定装置200の構成を示すブロック図である。視線推定装置200は、例えば、自動車の車室内に設けられ、外部の警報装置と接続される。この警報装置は、視線推定装置200の視線推定結果に基づいて、運転者が正面を長時間向かなかったと判断した場合には、運転者に対して警告を行うことにより注意を喚起するようになっている。
図10に示すように、本発明の第2の実施の形態に係る視線推定装置1100は、本発明の第1の実施の形態に係る視線推定装置200の構成要件に加えて、運転者の目を含む顔付近の領域を照射する照射部1101を備えている。
201 画像入力部
202 視線計測部
203 視線推定部
211 視線計測結果保持部
212 代表値抽出部
213 視線決定部
214 閾値決定部
301 顔周辺画像
302、303、402、403 目の端点
401 目領域画像
404、1001 瞳孔中心
601、701 視線計測結果を示すグラフ
602、702 代表値を示すグラフ
603、703 閾値処理を示すグラフ
604、704 視線推定結果を示すグラフ
801 最大眼球回転角度決定部
802 誤計測時差分最小値決定部
803 閾値設定部
901 計測結果が正しいときのグラフ
902 誤計測のときのグラフ
1002 眼球中心
1003 虹彩輪郭上の一点
1004 虹彩角度
1005 眼球半径
1006 虹彩半径
1101 照射部
Claims (9)
- 目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、
撮影された画像をもとに現時刻の視線方向を計測する視線計測部と、
前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、
前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、
前記代表値抽出部により抽出された代表値と前記視線計測部により計測された現時刻の視線計測結果との差分Dが所定の閾値T未満であるか否かにより、前記代表値と前記現時刻の視線計測結果とのいずれかを現時刻の視線推定結果として決定する視線決定部と、を備えた視線推定装置。 - 前記閾値Tを決定する閾値決定部を更に備え、
前記閾値決定部は、1フレームの間に視線が動く可能性がある最大眼球回転角度Pと、瞳孔領域外に瞳孔を誤検出した場合における差分Dの最小角度Qを設定した上で、前記最大眼球回転角度P以上かつ前記最小角度Q以下の値を前記閾値Tとして決定することを特徴とする請求項1に記載の視線推定装置。 - 前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Pを設定することを特徴とする請求項2に記載の視線推定装置。
- 前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Pを微調整することを特徴とする請求項3に記載の視線推定装置。
- 前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Pに基づいて、前記最小角度Qを設定することを特徴とする請求項2に記載の視線推定装置。
- 前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出することを特徴とする請求項1に記載の視線推定装置。
- 前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出することを特徴とする請求項5に記載の視線推定装置。
- 前記目を含む顔付近の領域を照射する照射部を更に備え、
前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させることを特徴とする請求項7に記載の視線推定装置。 - 前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えたことを特徴とする請求項1に記載の視線推定装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215331A JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
EP10847169.9A EP2457499B1 (en) | 2010-09-27 | 2010-12-14 | Line-of-sight estimation device |
PCT/JP2010/007245 WO2012042580A1 (ja) | 2010-09-27 | 2010-12-14 | 視線推定装置 |
CN201080019815.4A CN102548465B (zh) | 2010-09-27 | 2010-12-14 | 视线估计装置 |
US13/240,200 US8503737B2 (en) | 2010-09-27 | 2011-09-22 | Visual line estimating apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010215331A JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012065997A JP2012065997A (ja) | 2012-04-05 |
JP5466610B2 true JP5466610B2 (ja) | 2014-04-09 |
Family
ID=45892086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010215331A Active JP5466610B2 (ja) | 2010-09-27 | 2010-09-27 | 視線推定装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2457499B1 (ja) |
JP (1) | JP5466610B2 (ja) |
CN (1) | CN102548465B (ja) |
WO (1) | WO2012042580A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799277B (zh) * | 2012-07-26 | 2015-06-10 | 深圳先进技术研究院 | 一种基于眨眼动作的人机交互方法及系统 |
CN104180995A (zh) * | 2013-05-24 | 2014-12-03 | 上海汽车集团股份有限公司 | 一种扫描车辆整车视野的装置以及方法 |
CN103337171B (zh) * | 2013-06-15 | 2018-04-10 | 广东安达交通工程有限公司 | 一种交通综合监控系统及其监控方法 |
KR101470243B1 (ko) * | 2013-11-15 | 2014-12-05 | 현대자동차주식회사 | 시선 검출 장치 및 그 시선 검출 방법 |
TWI557004B (zh) * | 2014-01-10 | 2016-11-11 | Utechzone Co Ltd | Identity authentication system and its method |
KR101628543B1 (ko) * | 2014-11-26 | 2016-06-08 | 현대자동차주식회사 | 시선추적장치 및 그의 추적정확도 측정방법 |
US10452137B2 (en) | 2014-12-17 | 2019-10-22 | Sony Corporation | Information processing apparatus and information processing method |
EP3305176A1 (en) * | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
CN112597872A (zh) * | 2020-12-18 | 2021-04-02 | 深圳地平线机器人科技有限公司 | 视线角度估计方法和装置、存储介质、电子设备 |
WO2023139975A1 (ja) * | 2022-01-21 | 2023-07-27 | 日本電気株式会社 | 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2950546B2 (ja) * | 1988-08-31 | 1999-09-20 | キヤノン株式会社 | 視線検出装置及び視線検出装置を有するカメラ |
JP3203951B2 (ja) * | 1993-08-04 | 2001-09-04 | 日産自動車株式会社 | 車両用インタフェース |
CN101317763B (zh) * | 2002-10-15 | 2013-04-03 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
JP4281405B2 (ja) * | 2003-05-12 | 2009-06-17 | 日産自動車株式会社 | 確認動作検出装置及び警報システム |
JP4452833B2 (ja) * | 2006-03-31 | 2010-04-21 | 国立大学法人静岡大学 | 視線移動検出方法及び視線移動検出装置 |
JP4676375B2 (ja) * | 2006-05-10 | 2011-04-27 | アイテック株式会社 | 車両運転者の視線方向の検出方法又は同装置 |
US8406479B2 (en) * | 2006-07-14 | 2013-03-26 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
JP4420002B2 (ja) * | 2006-09-14 | 2010-02-24 | トヨタ自動車株式会社 | 視線先推定装置 |
EP2150170B1 (en) * | 2007-05-23 | 2016-05-11 | Mirametrix Inc. | Methods and apparatus for estimating point-of-gaze in three dimensions |
JP2009181424A (ja) * | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
CN101788848B (zh) * | 2009-09-29 | 2012-05-23 | 北京科技大学 | 用于视线追踪系统的眼部特征参数检测方法 |
-
2010
- 2010-09-27 JP JP2010215331A patent/JP5466610B2/ja active Active
- 2010-12-14 CN CN201080019815.4A patent/CN102548465B/zh active Active
- 2010-12-14 WO PCT/JP2010/007245 patent/WO2012042580A1/ja active Application Filing
- 2010-12-14 EP EP10847169.9A patent/EP2457499B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2012042580A1 (ja) | 2012-04-05 |
EP2457499A1 (en) | 2012-05-30 |
EP2457499A4 (en) | 2014-04-09 |
JP2012065997A (ja) | 2012-04-05 |
CN102548465B (zh) | 2015-12-16 |
CN102548465A (zh) | 2012-07-04 |
EP2457499B1 (en) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5466610B2 (ja) | 視線推定装置 | |
EP2541493B1 (en) | Pupil detection device and pupil detection method | |
JP5538160B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US8649583B2 (en) | Pupil detection device and pupil detection method | |
US20200210733A1 (en) | Enhanced video-based driver monitoring using phase detect sensors | |
CN106934804B (zh) | 图像清晰度检测方法及装置 | |
JP2003098424A (ja) | 画像処理測距装置 | |
WO2011158463A1 (ja) | 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法 | |
JP6601351B2 (ja) | 視線計測装置 | |
US8503737B2 (en) | Visual line estimating apparatus | |
JP2018156408A (ja) | 画像認識撮像装置 | |
US10593044B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2011134119A (ja) | 車両周辺監視装置 | |
JP5519413B2 (ja) | 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ | |
JP5004099B2 (ja) | カーソル移動制御方法及びカーソル移動制御装置 | |
JP4111080B2 (ja) | 脇見状態検出装置 | |
JP6169446B2 (ja) | 視線検出装置 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP5655491B2 (ja) | 開眼状態検出装置 | |
TW201642008A (zh) | 影像擷取裝置及其動態對焦方法 | |
US20230017607A1 (en) | Imaging apparatus | |
JP2004310396A (ja) | 画像処理装置 | |
JP2009264947A (ja) | 車両周辺監視装置 | |
TWI621554B (zh) | 基線可調式立體視覺裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5466610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |