JP6596678B2 - 視線測定装置および視線測定方法 - Google Patents
視線測定装置および視線測定方法 Download PDFInfo
- Publication number
- JP6596678B2 JP6596678B2 JP2018511896A JP2018511896A JP6596678B2 JP 6596678 B2 JP6596678 B2 JP 6596678B2 JP 2018511896 A JP2018511896 A JP 2018511896A JP 2018511896 A JP2018511896 A JP 2018511896A JP 6596678 B2 JP6596678 B2 JP 6596678B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- coordinate system
- information
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 27
- 238000000691 measurement method Methods 0.000 title description 3
- 239000013598 vector Substances 0.000 claims description 121
- 238000012937 correction Methods 0.000 claims description 112
- 238000004364 calculation method Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 53
- 210000005252 bulbus oculi Anatomy 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000001028 reflection method Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
[1.構成]
[1−1.システム構成]
図1は、実施の形態1における視線測定システム1の一構成例を示す図である。
図2は、演算装置110の一構成例を示すブロック図である。図2において、演算装置110は、検知部111と、算出部112と、記憶部113と補正部114とを備える。各機能部は、例えば、ROM、磁気ディスク、光ディスクなどの記憶装置に記憶されたプログラムをCPUに実行させることにより、その機能を実現する。
図3は、視線情報を説明する図である。図3の表示部20において、中央を原点とし、水平方向をx軸、垂直方向をz軸、前後方向をy軸とする。このような直交座標系を世界座標系と言う。
本開示では、視線検出法として、角膜反射法を用いて説明する。角膜反射法は、瞳孔の位置とプルキニエ像の位置関係から、視線を算出する手法である。
ここでは、図1に示すように、表示部20に注視点P1、注視点P2の順に表示して、対象者100に注視させた場合を例にとって説明する。
図4は、実施の形態1における視線測定装置10の動作を説明するためのフローチャートである。
図3を用いて、表示部20上に注視点P1が表示されている場合を例にとって説明する。
算出部112は、2つの注視点P1、P2それぞれに対応する実視線ベクトルと算出視線ベクトルのペアを用いて、視線の個人差に対する補正情報を統計的に算出する。
補正部114は、検知部111により検出された算出視線ベクトルを、補正情報を算出した時と同じ補正座標系に変換してから補正処理を行い、その後世界座標系に再度変換することで、補正後の視線ベクトル(補正視線ベクトル)を算出する。
以下、表示部20に注視点P1、P2を順次表示し、対象者100の視線を測定する場合について、図1、図2、図7を用いて説明する。図7は視線ベクトルの角度を説明する図である。
本開示の視線測定装置10では、光源130は、所定の注視点を注視する対象者100の眼球に角膜反射点を形成するための光を照射し、撮影部120は、光源130からの光が反射した対象者100の顔画像を撮影する。検知部111は、撮影部120が撮影した顔画像を用いて、世界座標系における視線情報を算出する。補正部114は、検知部111が検出した視線情報を世界座標系と異なる座標系である補正座標系の視線情報に変換した後、眼球の個人差による検出誤差を補正するための補正情報を用いて補正する。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
10 視線測定装置
20 表示部
110 演算装置
111 検知部
112 算出部
113 記憶部
114 補正部
120 撮影部
130 光源
200 眼球
201 瞳孔領域
202 瞳孔中心
203 プルキニエ像
300 世界座標系
310 補正座標系
G1,G2 算出視線ベクトル
H 行列
P1,P2 注視点
V1,V2 実視線ベクトル
Claims (7)
- 所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源と、
前記光源からの光が反射した前記対象者の眼球を含む顔画像を撮影する撮影部と、
前記撮影部が撮影した前記顔画像を用いて、世界座標系の視線情報を算出する検知部と、
前記検知部が算出した前記世界座標系の視線情報を、位置が異なる2つの注視点の位置関係を元に前記世界座標系と異なる座標系である補正座標系の視線情報に変換し、前記補正座標系の視線情報を、眼球の個人差による検出誤差を補正するための補正情報を用いて補正する補正部と、
を備える視線測定装置。 - さらに、前記2つの注視点の位置関係を元に、前記世界座標系の視線情報を前記補正座標系の視線情報に変換するための回転量を決定し、
前記対象者が前記2つの注視点を各々注視した際に、前記検知部が算出した2つの前記世界座標系の視線情報を、前記回転量を用いて前記補正座標系の視線情報に変換し、
前記補正座標系の視線情報の角度と、前記対象者の眼球の位置と前記2つの注視点との方向の角度との差から、前記補正情報を算出する算出部を備える、請求項1に記載の視線測定装置。 - 前記所定の注視点は、前記対象者の前方に設置されている表示部上に表示されている点もしくは、前記対象者の前方に存在する物体内の点である、請求項2に記載の視線測定装置。
- 前記算出部は、前記対象者が前記2つの注視点を注視する際の視線ベクトルの仰角および方位角の差分によって前記回転量を決定する、請求項2に記載の視線測定装置。
- 前記回転量は、前記世界座標系の座標軸のいずれか、あるいは2つ以上の座標軸の回転量である、請求項2に記載の視線測定装置。
- 前記補正情報は、前記補正座標系の視線情報の角度に対する係数と加算値とからなる、請求項2に記載の視線測定装置。
- 所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した前記対象者の眼球を含む顔画像を撮影する撮影ステップと、
前記撮影ステップで撮影された前記顔画像を用いて、世界座標系の視線情報を算出する検知ステップと、
前記検知ステップで算出された前記世界座標系の視線情報を、位置が異なる2つの注視点の位置関係を元に前記世界座標系と異なる座標系である補正座標系の視線情報に変換し、眼球の個人差による検出誤差を補正するための補正情報を用いて、前記補正座標系の視線情報を補正する補正ステップと、を有する視線測定方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016079346 | 2016-04-12 | ||
JP2016079346 | 2016-04-12 | ||
PCT/JP2017/005052 WO2017179279A1 (ja) | 2016-04-12 | 2017-02-13 | 視線測定装置および視線測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017179279A1 JPWO2017179279A1 (ja) | 2019-02-14 |
JP6596678B2 true JP6596678B2 (ja) | 2019-10-30 |
Family
ID=60042551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018511896A Active JP6596678B2 (ja) | 2016-04-12 | 2017-02-13 | 視線測定装置および視線測定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10496166B2 (ja) |
JP (1) | JP6596678B2 (ja) |
WO (1) | WO2017179279A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10660517B2 (en) | 2016-11-08 | 2020-05-26 | International Business Machines Corporation | Age estimation using feature of eye movement |
US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
US10996751B2 (en) * | 2018-12-21 | 2021-05-04 | Tobii Ab | Training of a gaze tracking model |
KR102292796B1 (ko) * | 2019-08-21 | 2021-08-25 | 서울대학교병원 | 맞춤형 외부 타겟을 제공하는 안저 카메라의 작동 방법 |
KR102292793B1 (ko) * | 2019-08-21 | 2021-08-25 | 서울대학교병원 | 맞춤형 내부 타겟을 제공하는 안저 카메라의 작동 방법 |
US11169604B2 (en) * | 2019-11-15 | 2021-11-09 | Tobii Ab | Determination of gaze calibration parameters |
CN112308932B (zh) * | 2020-11-04 | 2023-12-08 | 中国科学院上海微系统与信息技术研究所 | 一种注视检测方法、装置、设备及存储介质 |
CN114652267B (zh) * | 2022-03-08 | 2024-08-06 | 南昌虚拟现实研究院股份有限公司 | 眼球追踪方法、系统、可读存储介质及电子设备 |
US20240012472A1 (en) * | 2022-07-08 | 2024-01-11 | Tencent America LLC | Vergence based gaze matching for mixed-mode immersive telepresence application |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI398796B (zh) * | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
ATE527934T1 (de) * | 2009-04-01 | 2011-10-15 | Tobii Technology Ab | Adaptive kamera und illuminator-eyetracker |
JP2010259605A (ja) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | 視線測定装置および視線測定プログラム |
WO2012020760A1 (ja) | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
WO2013176265A1 (ja) * | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
AU2015235511B2 (en) * | 2014-03-25 | 2017-06-01 | JVC Kenwood Corporation | Detection device and detection method |
JP6406898B2 (ja) * | 2014-07-08 | 2018-10-17 | キヤノン株式会社 | 積載装置及び画像形成装置 |
JP6547268B2 (ja) * | 2014-10-02 | 2019-07-24 | 富士通株式会社 | 視線位置検出装置、視線位置検出方法及び視線位置検出プログラム |
JP6638354B2 (ja) * | 2015-12-01 | 2020-01-29 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
JP6693105B2 (ja) * | 2015-12-01 | 2020-05-13 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
CN107665040A (zh) * | 2016-07-27 | 2018-02-06 | Fove股份有限公司 | 视线检测系统、偏移检测方法、偏移检测程序 |
-
2017
- 2017-02-13 WO PCT/JP2017/005052 patent/WO2017179279A1/ja active Application Filing
- 2017-02-13 US US16/069,904 patent/US10496166B2/en active Active
- 2017-02-13 JP JP2018511896A patent/JP6596678B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2017179279A1 (ja) | 2019-02-14 |
WO2017179279A1 (ja) | 2017-10-19 |
US20190025912A1 (en) | 2019-01-24 |
US10496166B2 (en) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6596678B2 (ja) | 視線測定装置および視線測定方法 | |
US10902635B2 (en) | Line-of-sight detection device | |
EP3153092B1 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
JP4649319B2 (ja) | 視線検出装置、視線検出方法、および視線検出プログラム | |
JP2020034919A (ja) | 構造化光を用いた視線追跡 | |
US11238340B1 (en) | Predictive eyetracking using recurrent neural networks | |
JP6265348B2 (ja) | 視線計測装置、視線計測方法および視線計測プログラム | |
US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
EP2649932A1 (en) | Method for detecting point of gaze and device for detecting point of gaze | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
TWI761930B (zh) | 頭戴式顯示裝置以及距離量測器 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2016099759A (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP6496917B2 (ja) | 視線測定装置および視線測定方法 | |
US10747310B1 (en) | Time of flight based eye tracker | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP6906943B2 (ja) | 車載器 | |
JP5590487B2 (ja) | 視線計測方法及び視線計測装置 | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
JP2019098024A (ja) | 画像処理装置及び画像処理方法 | |
JP2016057906A (ja) | 視点位置の計測方法及び計測システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180702 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190902 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6596678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |