JPH02134130A - 非接触視線検出装置 - Google Patents

非接触視線検出装置

Info

Publication number
JPH02134130A
JPH02134130A JP63289762A JP28976288A JPH02134130A JP H02134130 A JPH02134130 A JP H02134130A JP 63289762 A JP63289762 A JP 63289762A JP 28976288 A JP28976288 A JP 28976288A JP H02134130 A JPH02134130 A JP H02134130A
Authority
JP
Japan
Prior art keywords
center
pupil
image
cornea
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63289762A
Other languages
English (en)
Other versions
JP2739331B2 (ja
Inventor
Muneo Iida
宗夫 飯田
Akira Tomono
明 伴野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A T R TSUSHIN SYST KENKYUSHO KK
Original Assignee
A T R TSUSHIN SYST KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A T R TSUSHIN SYST KENKYUSHO KK filed Critical A T R TSUSHIN SYST KENKYUSHO KK
Priority to JP63289762A priority Critical patent/JP2739331B2/ja
Publication of JPH02134130A publication Critical patent/JPH02134130A/ja
Application granted granted Critical
Publication of JP2739331B2 publication Critical patent/JP2739331B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野コ この発明は非接触視線検出装置に関し、特に、カメラで
捉えた顔画像から非接触で視線方向を検出するような非
接触視線検出装置に関する。
[従来の技術] 視線の動きは人の意思を反映していると考えられるため
、視線検出からユーザの意図を抽出することができれば
、より使い易いインタフェースを実現できる。視線を検
出する装置としては、従来から種々考えられているが、
いずれの方式も使用者の顔に検出装置を装着するもので
あった。
[発明が解決しようとする課題] 上述の方式は、視線を顔に対する角度として検出するも
のであるため、使用者のデイスプレィ上での視点を直接
得ることはできなかった。しかし、視線をインタフェー
スに利用するためには、デイスプレィ上での利用者の視
点を得る必要があり、これを従来の視線検出法で実現す
るためには、顔をデイスプレィに対して固定する必要が
あった。
しかし、顔に装置を取付けたり、顔を固定するなどの従
来の視線検出法の制約は使用者に負担を与えるため、大
きな問題点であった。よって、顔に何ら装置を取付ける
ことなく、かつ顔を固定することなくデイスプレィ上で
の視線を検出する装置の実現が望まれていた。
それゆえに、この発明の主たる目的は、顔に何ら装置を
取付けることなく、視線方向を確実に検出でき、しかも
顔の動きによらず、視線方向を確実に検出できるような
非接触視線検出装置を提供することである。
[課題を解決するための手段] 第1請求項にかかる発明は、カメラで捉えた顔画像から
非接触で視線を検出する非接触視線検出装置であって、
カメラで捉えられた顔画像から角膜反射像の位置を検出
する手段と、瞳孔中心の位置を検出する手段と、角膜反
射像と瞳孔中心の位置から眼球中心を検出する手段と、
瞳孔中心と眼球中心を結ぶ線を視線として検出する手段
を備えて構成される。
第2請求項にかかる発明は、少なくとも2台のカメラに
よって顔画像が捉えられ、角膜反射像と瞳孔中心の位置
を三角All+2を用いて3次元的に検出される。
[作用] 視線を定義する場合、眼球中心と瞳孔中心を直線で定義
するのが現実的である。よって、視線を検出することは
眼球中心と瞳孔中心のそれぞれの位置を検出することに
帰着される。非接触で視線検出を実現する場合には、遠
方に設置したカメラで捉えた顔画像から瞳孔中心と眼球
中心を計測する必要がある。しかし、瞳孔中心の位置は
顔画像から直接計測できるが、眼球中心の位置は直接計
測できない。
ところで、角膜反射像は眼球に光を照射したときに黒眼
の中に生じる虚像である。よって、角膜反射像の現われ
る位置は、光源の位置、角膜曲率中心の位置および角膜
の曲率半径によって定められる。また、眼球中心と角膜
の曲率中心および瞳孔中心は同一直線上に存在する。
一方、角膜の曲率中心と眼球中心の間の距AId1およ
び角膜の曲率半径d2は個人差がほとんどなく、d 1
−6. 0 (mm)およびd2−7.8(mm)であ
るから、角膜反射像の位置および瞳孔中心の位置を計4
P1すれば、角膜反射像の位置および光源の位置から角
膜の曲率半径中心の位置を算出することができ、また角
膜の曲率半径の位置および瞳孔中心の位置から眼球中心
の位置を算出できる。
[発明の実施例コ 第2図は人の眼球の構造を示す図である。第2図におい
て、眼球]は角膜2と虹彩3と網膜4と水晶体7とを含
む。なお、第2図において、5は瞳孔中心である。
第3図は第2図に示した眼球の構造を模式化して示した
図である。第3図において、11,12゜13.14.
15はそれぞれ第2図に示した眼球1、角膜2.虹彩3
.網膜4.瞳孔中心5のそれぞれに対応している。また
、第3図において、16は眼球11を球で近似したとき
の眼球中心であり、17は角膜12を曲面て近似したと
きの曲率中心であり、18は瞳孔中心15と眼球中心1
6で定義された視線である。ここで、視線を定義する場
合、眼球中心16と瞳孔中心15を結ぶ直線で定義する
のが現実的である。よって、視線を検出することは眼球
中心16と瞳孔中心15の位置を検出することに帰着さ
れる。しかし、瞳孔中心15の位置はカメラで捉えた顔
画像の虹彩13のエツジから直接検出することができる
が、眼球中心16は顔画像から直接検出することが不可
能である。よって、瞳孔の他に眼球中心16の動きを反
映する眼球特徴点を検出する必要がある。
そこで、本願発明者らは角膜12の曲率中心17と眼球
中心16とが一致しないことに着目し、眼球11に光を
照射したときに黒眼の中に生じる虚像である角膜反射像
を眼球特徴点として採用し、瞳孔中心15と角膜反射像
の位置から眼球中心16の位置を算出し、求められた眼
球中心16と瞳孔中心〕5により視線方向を決定すると
いう着想を得て、さらに瞳孔中心15と角膜反射像の位
置を2台以上のカメラにより三角i+li 、Hによっ
て測定することによって具体化する手法を発明した。
第1図はこの発明の一実廁例を示す図である。
第1図において、眼球26に向かって左側にはたとえば
波長850 [nml程度の近赤外光を発する光源22
が設けられ、右側には波長950 [nml程度の赤外
光を発光する光源23が配置される。光源22の近傍に
はカメラ24が配置され、光源23の近傍にはカメラ2
5が配置される。カメラ24には波長850 [nml
程度の光のみを透過させるような光学フィルタ36がレ
ンズの前方に設けられており、カメラ25には、波長9
50 [nml程度の光のみを透過するような光学フィ
ルタ37がレンズの前方に設けられている。なお、この
実施例では、光源22はカメラ24のレンズに取付けら
れ、光源23はカメラ25のレンズに取付けられている
ものとする。そして、それぞれの発する光の方向は、取
付けられたカメラの光軸方向と一致するようにされてい
る。
なお、第1図に示す26〜33は第3図に示した11〜
18に相当するものである。また、第1図には、光源2
2による角膜反射像34と光源23によって生じる角膜
反射像35が示されている。
先に述べたように、角膜反射像34および35は眼球2
9に光を照射したときに角膜27に生じる虚像である。
よって、角膜反射像34は角膜の曲率中心32と光源2
2を結んだ直線Ll上に存在し、その位置は角膜の曲率
中心32と角膜27の中間点に現われ、角膜反射像35
は角膜27の曲率中心32と光源23を結んだ直線L2
上に存在する。そして、その位置は角膜27の曲率中心
32と角膜27の中間点に現われる。
すなわち、光源22.カメラ24.角膜反射像34およ
び角膜27の曲率中心32は同一直線上に存在する。ま
た、光源23.カメラ25.角膜反射像35および角膜
27の曲率中心32も同一直線上に存在する。また、角
膜反射像34および35の波長は、その光源波長を反映
して、それぞれ850 [nm]および950 [nm
]である。
このため、カメラ24では角膜反射像34のみが撮影さ
れ、カメラ25では角膜反射像35のみが撮影される。
このように、カメラ24およびカメラ25で捉えられた
画像の中の角膜反射像34および35の位置から、それ
ぞれのカメラの位置と角膜反射像の位置を結んだ直線の
交点として角膜反射像の曲率中心32を決定することが
できる。
同時に、光源22および23から発せられた光は瞳孔を
通り、網膜29を照らす。このとき、カメラ24および
25で捉えられた顔画像を第4図に示す。第4図におい
て、黒眼41に囲まれた瞳孔には第1図に示した光源2
2および23による角膜反射像42.43が映し出され
ており、瞳孔か明るく浮き上がって捉えられる。このよ
うに、網膜の反射を使用することによって瞳孔を容易に
検出することができる。この顔画像から瞳孔中心30の
3次元位置はそれぞれのカメラ24.25で捉えられた
顔画像から三角測量によって決めることができる。この
三角測量はカメラ24.25の出力を画(栄処理する画
像処理装置50によって行なわれる。なお、眼球中心3
1.瞳孔中心30゜角膜の曲率中心32は同一直線上に
存在するので、眼球中心31.角膜の曲率中心32を結
ぶ直線33が視線となる。
[発明の効果コ 以上のように、この発明によれば、角膜反射像と瞳孔中
心を観測することによって簡単に視線を検出することが
できる。また、角膜反射像は強度的にも強いため、画像
からの抽出が容易であり、また瞳孔中心も上述のような
網膜反射を利用することにより容易に抽出できる。
【図面の簡単な説明】
第1図はこの発明の一実施例を示す図である。 第2図は眼球の構造を示す図である。第3図は第2図に
示した眼球を模式化して示す図である。第4図はカメラ
で捉えられた顔画像を示す図である。 図において、1,11.26は眼球、2,12゜27は
角膜、3.13.28は虹彩、4,14゜29は網膜、
15.30は瞳孔中心、16.31は眼球中心、17.
32は角膜の曲率中心、22゜23は光源、24.25
はカメラ、18.33は視線、34,35,42.43
は角膜反射像を示す。 第1 図 第2 図 第3図 第4 図

Claims (2)

    【特許請求の範囲】
  1. (1)カメラで捉えた顔画像から非接触で視線を検出す
    る非接触視線検出装置であって、前記カメラで捉えられ
    た顔画像から角膜反射像の位置と瞳孔中心の位置を検出
    する手段と、前記検出された角膜反射像と瞳孔中心の位
    置から眼球中心を検出する手段と、 前記検出された瞳孔中心と眼球中心を視線として検出す
    る手段を備えた、非接触視線検出装置。
  2. (2)前記カメラは少なくとも2台設けられ、該2台の
    カメラによって顔画像が捉えられ、前記角膜反射像と瞳
    孔中心の位置は三角測量を用いて3次元的に検出される
    ことを特徴とする、請求項1項記載の非接触視線検出装
    置。
JP63289762A 1988-11-16 1988-11-16 非接触視線検出装置 Expired - Lifetime JP2739331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63289762A JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63289762A JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Publications (2)

Publication Number Publication Date
JPH02134130A true JPH02134130A (ja) 1990-05-23
JP2739331B2 JP2739331B2 (ja) 1998-04-15

Family

ID=17747423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63289762A Expired - Lifetime JP2739331B2 (ja) 1988-11-16 1988-11-16 非接触視線検出装置

Country Status (1)

Country Link
JP (1) JP2739331B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5604818A (en) * 1993-03-11 1997-02-18 Nissan Motor Co., Ltd. Apparatus for measuring sighting direction
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JP2004255074A (ja) * 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2006507054A (ja) * 2002-11-21 2006-03-02 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置
JP2007195775A (ja) * 2006-01-27 2007-08-09 Keio Gijuku 瞳検出方法、瞳位置検出装置及び透過型視線検出装置
JP2007209384A (ja) * 2006-02-07 2007-08-23 Gen Tec:Kk 視線ベクトル検出方法及び同装置
JP2008008119A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Works Ltd 照明階段
JP2008513168A (ja) * 2004-09-22 2008-05-01 エルディート ゲゼルシャフト ミット ベシュレンクテル ハフツング 視線方向を非接触で特定する為の装置及び方法
JP2008099716A (ja) * 2006-10-17 2008-05-01 Tokyo Institute Of Technology 眼球運動計測装置
RU2472561C1 (ru) * 2011-06-01 2013-01-20 Александр Яковлевич Каплан Игра
JP2013142597A (ja) * 2012-01-11 2013-07-22 Nikon Corp 眼鏡フィッティングパラメータ計測システム及び眼鏡フィティングパラメータ計測方法
JP2014140542A (ja) * 2013-01-24 2014-08-07 Topcon Corp 眼科観察装置
CN104146679A (zh) * 2009-02-26 2014-11-19 卡尔蔡斯视觉股份有限公司 用于确定眼睛支点位置的方法和设备
CN105094337A (zh) * 2015-08-19 2015-11-25 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
JP2016122380A (ja) * 2014-12-25 2016-07-07 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
JP2016187695A (ja) * 2012-05-01 2016-11-04 株式会社トプコン 眼科装置
JP2017124204A (ja) * 2017-03-06 2017-07-20 株式会社トプコン 眼科観察装置
JP2018051340A (ja) * 2017-11-24 2018-04-05 株式会社トプコン 眼科装置
US9980643B2 (en) 2012-05-01 2018-05-29 Kabushiki Kaisha Topcon Ophthalmologic apparatus
US9993154B2 (en) 2013-11-28 2018-06-12 JVC Kenwood Corporation Eye gaze detection supporting device and eye gaze detection supporting method
JP2018103050A (ja) * 2013-04-03 2018-07-05 株式会社トプコン 眼科装置
US10996747B2 (en) 2017-03-24 2021-05-04 Jvckenwood Corporation Line-of-sight detection device, line-of-sight detection method, and medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7533989B2 (en) 2003-12-25 2009-05-19 National University Corporation Shizuoka University Sight-line detection method and device, and three-dimensional view-point measurement device
JP4500992B2 (ja) * 2004-01-14 2010-07-14 国立大学法人静岡大学 三次元視点計測装置
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
JP6201956B2 (ja) 2014-10-24 2017-09-27 株式会社Jvcケンウッド 視線検出装置および視線検出方法
JP6638354B2 (ja) 2015-12-01 2020-01-29 株式会社Jvcケンウッド 視線検出装置及び視線検出方法
JP6693105B2 (ja) 2015-12-01 2020-05-13 株式会社Jvcケンウッド 視線検出装置及び視線検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62245183A (ja) * 1986-04-04 1987-10-26 アプライド サイエンス グル−プ インコ−ポレ−テツド テレビ・コマ−シヤルの視聴時間の分布を発生させる方法およびシステム
JPS63160633A (ja) * 1986-12-23 1988-07-04 日本電気株式会社 眼球運動検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62245183A (ja) * 1986-04-04 1987-10-26 アプライド サイエンス グル−プ インコ−ポレ−テツド テレビ・コマ−シヤルの視聴時間の分布を発生させる方法およびシステム
JPS63160633A (ja) * 1986-12-23 1988-07-04 日本電気株式会社 眼球運動検出装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5604818A (en) * 1993-03-11 1997-02-18 Nissan Motor Co., Ltd. Apparatus for measuring sighting direction
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JP2006507054A (ja) * 2002-11-21 2006-03-02 トビイ・テクノロジー・エイビイ 眼及びその凝視方向を検知し、追跡する方法と装置
JP2011115606A (ja) * 2002-11-21 2011-06-16 Tobii Technology Ab 眼及びその凝視方向を検知し、追跡する方法と装置
JP2004255074A (ja) * 2003-02-27 2004-09-16 Toyota Motor Corp 視線方向検出装置および視線方向検出方法
JP2008513168A (ja) * 2004-09-22 2008-05-01 エルディート ゲゼルシャフト ミット ベシュレンクテル ハフツング 視線方向を非接触で特定する為の装置及び方法
JP2007195775A (ja) * 2006-01-27 2007-08-09 Keio Gijuku 瞳検出方法、瞳位置検出装置及び透過型視線検出装置
JP2007209384A (ja) * 2006-02-07 2007-08-23 Gen Tec:Kk 視線ベクトル検出方法及び同装置
JP2008008119A (ja) * 2006-06-30 2008-01-17 Matsushita Electric Works Ltd 照明階段
JP2008099716A (ja) * 2006-10-17 2008-05-01 Tokyo Institute Of Technology 眼球運動計測装置
CN104146679A (zh) * 2009-02-26 2014-11-19 卡尔蔡斯视觉股份有限公司 用于确定眼睛支点位置的方法和设备
US10433724B2 (en) 2009-02-26 2019-10-08 Carl Zeiss Vision Gmbh Method and apparatus for determining the location of the ocular pivot point
RU2472561C1 (ru) * 2011-06-01 2013-01-20 Александр Яковлевич Каплан Игра
JP2013142597A (ja) * 2012-01-11 2013-07-22 Nikon Corp 眼鏡フィッティングパラメータ計測システム及び眼鏡フィティングパラメータ計測方法
US9980643B2 (en) 2012-05-01 2018-05-29 Kabushiki Kaisha Topcon Ophthalmologic apparatus
JP2016187695A (ja) * 2012-05-01 2016-11-04 株式会社トプコン 眼科装置
JP2016187694A (ja) * 2012-05-01 2016-11-04 株式会社トプコン 眼科装置
JP2017148541A (ja) * 2012-05-01 2017-08-31 株式会社トプコン 眼科装置及びこれを制御するためのプログラム
JP2014140542A (ja) * 2013-01-24 2014-08-07 Topcon Corp 眼科観察装置
JP2018103050A (ja) * 2013-04-03 2018-07-05 株式会社トプコン 眼科装置
US9993154B2 (en) 2013-11-28 2018-06-12 JVC Kenwood Corporation Eye gaze detection supporting device and eye gaze detection supporting method
JP2016122380A (ja) * 2014-12-25 2016-07-07 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
CN105094337B (zh) * 2015-08-19 2018-06-22 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
CN105094337A (zh) * 2015-08-19 2015-11-25 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
JP2017124204A (ja) * 2017-03-06 2017-07-20 株式会社トプコン 眼科観察装置
US10996747B2 (en) 2017-03-24 2021-05-04 Jvckenwood Corporation Line-of-sight detection device, line-of-sight detection method, and medium
JP2018051340A (ja) * 2017-11-24 2018-04-05 株式会社トプコン 眼科装置

Also Published As

Publication number Publication date
JP2739331B2 (ja) 1998-04-15

Similar Documents

Publication Publication Date Title
JP2739331B2 (ja) 非接触視線検出装置
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
US5818954A (en) Method of detecting eye fixation using image processing
US9070017B2 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
US8686923B2 (en) Interactive data view and command system
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
WO2004086962A1 (ja) 屈折測定装置
JPH08278134A (ja) 目標物上の眼の固定点の位置を測定するための装置、眼の照明方法、及び眼の動きにより変化する画像を表示するための応用
JP7073678B2 (ja) 眼科装置
EP3542308B1 (en) Method and device for eye metric acquisition
US6056404A (en) Ophthalmic apparatus
CN111524175A (zh) 非对称式多摄像头的深度重建及眼动追踪方法及系统
JP2886936B2 (ja) 眼の位置合わせ装置
JPH0315434A (ja) 眼屈折計
RU2352244C2 (ru) Способ измерения быстрых движений глаз и отклонений бинокулярного зрения и устройство для его реализации
JPH02264632A (ja) 視線検出装置
CN113143199B (zh) 斜视检查设备
EP3150111B1 (en) Ophthalmic apparatus and control program for the ophthalmic apparatus
JP2648198B2 (ja) 注視方向検出方法
Taba Improving eye-gaze tracking accuracy through personalized calibration of a user's aspherical corneal model
JP4260715B2 (ja) 視線測定方法および視線測定装置
US3424518A (en) Device for projecting and observing images of external objects upon the retina of the eye
US20240127473A1 (en) Image processing method, image processing device, and program
JPH0315433A (ja) 眼屈折計
EP4204896A2 (en) Systems and methods for improving vision of a viewer's eye with impaired retina

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080123

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090123

Year of fee payment: 11

EXPY Cancellation because of completion of term