JP6800091B2 - 視線計測装置及びプログラム - Google Patents
視線計測装置及びプログラム Download PDFInfo
- Publication number
- JP6800091B2 JP6800091B2 JP2017114763A JP2017114763A JP6800091B2 JP 6800091 B2 JP6800091 B2 JP 6800091B2 JP 2017114763 A JP2017114763 A JP 2017114763A JP 2017114763 A JP2017114763 A JP 2017114763A JP 6800091 B2 JP6800091 B2 JP 6800091B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- dimensional
- center
- eyeball
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 125
- 238000004364 calculation method Methods 0.000 claims description 84
- 210000005252 bulbus oculi Anatomy 0.000 claims description 46
- 210000001508 eye Anatomy 0.000 claims description 43
- 230000011514 reflex Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 24
- 210000001747 pupil Anatomy 0.000 claims description 19
- 210000004087 cornea Anatomy 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 41
- 238000001514 detection method Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000001678 irradiating effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000001028 reflection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明の実施の形態では、単眼カメラ方式のドライバーモニターで視線検出を実現する。ここで、3次元眼球モデルを用いた代表的な視線検出に関する従来技術は以下のものがある。
<視線計測装置の構成>
図1に示すように、第1の実施の形態に係る視線計測装置10は、対象とする被験者の顔を含む画像を撮像するCCDカメラ等からなる画像撮像部12と、被験者の目に対して光を照射する照射部13と、画像処理を行うコンピュータ14と、CRT等で構成された出力部16とを備えている。
次に、視線計測装置10の動作について説明する。まず、照射部13により近赤外の光を被験者の目に照射しているときに、画像撮像部12で被験者の顔画像を連続的に撮像する。
次に、第2の実施の形態について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第2の実施の形態では、顔形状モデル座標系における眼球中心座標eが不動点(座標値が変化しない)になることを利用して、顔形状モデルの構造パラメータ(真の瞳孔中心B´と角膜曲率中心Aとの距離s、角膜曲率中心Aと眼球中心Eとの距離t、角膜反射像中心Pと角膜曲率中心Aとの距離r)を推定する。
第2の実施の形態に係る視線計測装置210のコンピュータ214は、画像入力部20と、顔形状モデル記憶部22と、顔位置姿勢推定部24と、角膜反射法視線検出部28と、カメラ座標系眼球中心座標計算部30と、眼球中心座標変換部32と、固定パラメータ計算部33と、眼球構造パラメータ計算部232と、固定パラメータ記憶部34と、眼球中心方式視線検出部36とを備えている。
ただし、
12 画像撮像部
13 照射部
14、214 コンピュータ
16 出力部
20 画像入力部
22 顔形状モデル記憶部
24 顔位置姿勢推定部
28 角膜反射法視線検出部
30 カメラ座標系眼球中心座標計算部
32 眼球中心座標変換部
33 固定パラメータ計算部
34 固定パラメータ記憶部
36 眼球中心方式視線検出部
40 眼球モデル記憶部
42 角膜反射像位置推定部
44 角膜曲率中心計算部
46 視線ベクトル計算部
232 眼球構造パラメータ計算部
Claims (6)
- 被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた3次元眼球モデルとに基づいて、カメラ座標系における3次元の視線ベクトルの時系列を計算する第1視線ベクトル計算手段と、
前記顔画像の時系列と、予め定められた3次元顔形状モデルとに基づいて、前記顔の3次元の位置姿勢の時系列を推定する顔位置姿勢推定手段と、
前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢の時系列と、前記第1視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記3次元顔形状モデルの座標系における眼球中心の3次元位置の時系列を計算する眼球中心位置計算手段と、
前記眼球中心位置計算手段によって計算された前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置の時系列に基づいて、前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置を、固定パラメータとして計算する固定パラメータ計算手段と、
前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の3次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の3次元位置から瞳孔中心の3次元位置へ向かう3次元の視線ベクトルを計算する第2視線ベクトル計算手段と、
を含む視線計測装置。 - 前記眼球中心位置計算手段によって計算された前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置の時系列に基づいて、前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置が変化しないことを利用して、眼球構造パラメータを固定パラメータとして計算する眼球構造パラメータ計算手段を更に含む請求項1記載の視線計測装置。
- 前記第1視線ベクトル計算手段は、
前記顔の目の角膜反射像と、前記3次元眼球モデルとに基づいて、前記角膜反射像の3次元位置を推定する角膜反射像位置推定手段と、
前記角膜反射像の3次元位置に基づいて、角膜曲率中心の3次元位置を計算する角膜曲率中心計算手段と、を含み、
前記角膜反射像の3次元位置と、前記角膜曲率中心の3次元位置とに基づいて、前記カメラ座標系における3次元の視線ベクトルを計算する請求項1又は2記載の視線計測装置。 - 前記眼球中心位置計算手段は、
前記第1視線ベクトル計算手段によって計算された前記視線ベクトルに基づいて、カメラ座標系における前記眼球中心の3次元位置を計算するカメラ座標系眼球中心座標計算手段と、
前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢に基づいて、前記カメラ座標系における前記眼球中心の3次元位置を、前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置に変換する顔座標系眼球中心座標変換手段と、を含む請求項1〜請求項3の何れか1項記載の視線計測装置。 - 前記第2視線ベクトル計算手段は、前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記撮像手段に関するパラメータとに基づいて、前記瞳孔中心位置の3次元位置を計算し、
前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢に基づいて、前記固定パラメータ計算手段によって計算された前記眼球中心の3次元位置を、前記カメラ座標系における前記眼球中心の3次元位置に変換し、
前記カメラ座標系において、前記眼球中心の3次元位置から前記瞳孔中心の3次元位置へ向かう3次元の視線ベクトルを計算する請求項1〜請求項4の何れか1項記載の視線計測装置。 - コンピュータを、
被観察者の顔を撮像する撮像手段によって、前記被観察者の目に対して光照射手段から光を照射したときに撮像された前記顔を表す顔画像の時系列から、前記顔画像上の前記顔の目の角膜反射像と、前記顔画像上の前記顔の目の瞳孔中心位置と、予め定められた3次元眼球モデルとに基づいて、カメラ座標系における3次元の視線ベクトルの時系列を計算する第1視線ベクトル計算手段、
前記顔画像の時系列と、予め定められた3次元顔形状モデルとに基づいて、前記顔の3次元の位置姿勢の時系列を推定する顔位置姿勢推定手段、
前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢の時系列と、前記第1視線ベクトル計算手段によって計算された前記視線ベクトルの時系列とに基づいて、前記3次元顔形状モデルの座標系における眼球中心の3次元位置の時系列を計算する眼球中心位置計算手段、
前記眼球中心位置計算手段によって計算された前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置の時系列に基づいて、前記3次元顔形状モデルの座標系における前記眼球中心の3次元位置を、固定パラメータとして計算する固定パラメータ計算手段、及び
前記撮像手段によって撮像された前記顔を表す顔画像上の前記顔の目の瞳孔中心位置と、前記固定パラメータ計算手段によって計算された前記眼球中心の3次元位置と、前記顔位置姿勢推定手段によって推定された前記顔の3次元の位置姿勢とに基づいて、前記カメラ座標系において、前記眼球中心の3次元位置から瞳孔中心の3次元位置へ向かう3次元の視線ベクトルを計算する第2視線ベクトル計算手段
として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114763A JP6800091B2 (ja) | 2017-06-09 | 2017-06-09 | 視線計測装置及びプログラム |
US16/002,455 US10783663B2 (en) | 2017-06-09 | 2018-06-07 | Gaze-tracking device, computable readable medium, and method |
EP18176601.5A EP3413234B1 (en) | 2017-06-09 | 2018-06-07 | Gaze-tracking device, gaze-tracking method, program, and computer-readable medium |
CN201810579930.5A CN109008944B (zh) | 2017-06-09 | 2018-06-07 | 视线计测装置、rom及视线计测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017114763A JP6800091B2 (ja) | 2017-06-09 | 2017-06-09 | 視線計測装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019000136A JP2019000136A (ja) | 2019-01-10 |
JP6800091B2 true JP6800091B2 (ja) | 2020-12-16 |
Family
ID=62567486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017114763A Active JP6800091B2 (ja) | 2017-06-09 | 2017-06-09 | 視線計測装置及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10783663B2 (ja) |
EP (1) | EP3413234B1 (ja) |
JP (1) | JP6800091B2 (ja) |
CN (1) | CN109008944B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6840697B2 (ja) | 2018-03-23 | 2021-03-10 | 株式会社豊田中央研究所 | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム |
CN109002796B (zh) * | 2018-07-16 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种图像采集方法、装置和系统以及电子设备 |
TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
US11170521B1 (en) * | 2018-09-27 | 2021-11-09 | Apple Inc. | Position estimation based on eye gaze |
SE542553C2 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
JP7283841B2 (ja) | 2019-03-28 | 2023-05-30 | 株式会社豊田中央研究所 | 視線計測装置 |
CN112528713A (zh) * | 2019-09-19 | 2021-03-19 | 北京七鑫易维信息技术有限公司 | 一种注视点估计方法、系统、处理器及设备 |
CN111061373B (zh) * | 2019-12-18 | 2024-04-16 | 京东方科技集团股份有限公司 | 一种眼球追踪校准方法、装置及可佩戴式设备 |
CN112288855A (zh) * | 2020-10-29 | 2021-01-29 | 张也弛 | 一种操作者眼睛注视模型的建立方法及装置 |
CN112308932B (zh) * | 2020-11-04 | 2023-12-08 | 中国科学院上海微系统与信息技术研究所 | 一种注视检测方法、装置、设备及存储介质 |
CN113723293B (zh) * | 2021-08-30 | 2024-01-05 | 中国科学院上海微系统与信息技术研究所 | 一种视线方向的确定方法、装置、电子设备及存储介质 |
CN113992907B (zh) * | 2021-10-29 | 2023-11-07 | 南昌虚拟现实研究院股份有限公司 | 眼球参数校验方法、系统、计算机及可读存储介质 |
CN114067420B (zh) * | 2022-01-07 | 2023-02-03 | 深圳佑驾创新科技有限公司 | 一种基于单目摄像头的视线测量方法及装置 |
WO2023139975A1 (ja) * | 2022-01-21 | 2023-07-27 | 日本電気株式会社 | 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法 |
CN115147462B (zh) * | 2022-07-08 | 2023-07-21 | 浙江大学 | 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6659611B2 (en) * | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
JP4032994B2 (ja) * | 2003-02-26 | 2008-01-16 | トヨタ自動車株式会社 | 視線方向検出装置および視線方向検出方法 |
JP2007004448A (ja) | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
JP2008136789A (ja) * | 2006-12-05 | 2008-06-19 | Nec Corp | 眼球パラメータ推定装置及び方法 |
JP4966816B2 (ja) * | 2007-10-25 | 2012-07-04 | 株式会社日立製作所 | 視線方向計測方法および視線方向計測装置 |
CN101677762B (zh) * | 2008-02-28 | 2012-08-22 | 松下电器产业株式会社 | 视线检测装置以及视线检测方法 |
JP5163982B2 (ja) | 2008-06-16 | 2013-03-13 | 国立大学法人神戸大学 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
EP2338416B1 (en) * | 2008-09-26 | 2019-02-27 | Panasonic Intellectual Property Corporation of America | Line-of-sight direction determination device and line-of-sight direction determination method |
JP2010151951A (ja) | 2008-12-24 | 2010-07-08 | Mitsubishi Electric Engineering Co Ltd | 特定方向画像表示システム |
CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪系统中基于瞳孔-角膜反射的视线估计方法 |
CN102830793B (zh) * | 2011-06-16 | 2017-04-05 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
JP5873362B2 (ja) * | 2012-03-13 | 2016-03-01 | 日本放送協会 | 視線誤差補正装置、そのプログラム及びその方法 |
JP2013252301A (ja) * | 2012-06-07 | 2013-12-19 | Toyota Central R&D Labs Inc | 眼球中心推定装置及びプログラム |
EP3479293A4 (en) * | 2016-06-29 | 2020-03-04 | Seeing Machines Limited | SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING |
-
2017
- 2017-06-09 JP JP2017114763A patent/JP6800091B2/ja active Active
-
2018
- 2018-06-07 US US16/002,455 patent/US10783663B2/en active Active
- 2018-06-07 EP EP18176601.5A patent/EP3413234B1/en active Active
- 2018-06-07 CN CN201810579930.5A patent/CN109008944B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019000136A (ja) | 2019-01-10 |
EP3413234A1 (en) | 2018-12-12 |
CN109008944A (zh) | 2018-12-18 |
US10783663B2 (en) | 2020-09-22 |
US20180357790A1 (en) | 2018-12-13 |
CN109008944B (zh) | 2022-03-25 |
EP3413234B1 (en) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6800091B2 (ja) | 視線計測装置及びプログラム | |
JP4649319B2 (ja) | 視線検出装置、視線検出方法、および視線検出プログラム | |
JP5137833B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
US11294455B2 (en) | Method and device for determining gaze placement, computer readable storage medium | |
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
JP5158842B2 (ja) | 眼球運動計測方法および眼球運動計測装置 | |
JP6014931B2 (ja) | 視線計測方法 | |
CN109429060B (zh) | 瞳孔距离测量方法、可穿戴眼部设备及存储介质 | |
JP2013252301A (ja) | 眼球中心推定装置及びプログラム | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6452235B2 (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP7255436B2 (ja) | 眼球構造推定装置 | |
JP7283841B2 (ja) | 視線計測装置 | |
JP6785723B2 (ja) | 視線計測装置 | |
JP6288770B2 (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
JP5371051B2 (ja) | 視線計測装置、方法及びプログラム | |
JP4568024B2 (ja) | 眼球運動測定装置、及び眼球運動測定プログラム | |
JP2003079577A (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
CN114189623B (zh) | 基于光场的屈光图形生成方法、装置、设备及存储介质 | |
JP5958082B2 (ja) | 画像処理装置、画像処理方法 | |
CN113658243A (zh) | 眼底三维模型建立方法、眼底照相机、装置和存储介质 | |
JP2018149234A (ja) | 注視点推定システム、注視点推定方法及び注視点推定プログラム | |
JP2011118767A (ja) | 表情モニタリング方法および表情モニタリング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6800091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |