JPH02264632A - 視線検出装置 - Google Patents

視線検出装置

Info

Publication number
JPH02264632A
JPH02264632A JP1086191A JP8619189A JPH02264632A JP H02264632 A JPH02264632 A JP H02264632A JP 1086191 A JP1086191 A JP 1086191A JP 8619189 A JP8619189 A JP 8619189A JP H02264632 A JPH02264632 A JP H02264632A
Authority
JP
Japan
Prior art keywords
light
eyeball
patient
image
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1086191A
Other languages
English (en)
Other versions
JP2939988B2 (ja
Inventor
Akihiko Nagano
明彦 長野
Kazuki Konishi
一樹 小西
Tokuichi Tsunekawa
恒川 十九一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP1086191A priority Critical patent/JP2939988B2/ja
Publication of JPH02264632A publication Critical patent/JPH02264632A/ja
Application granted granted Critical
Publication of JP2939988B2 publication Critical patent/JP2939988B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は視線検出装置に関し、例えばカメラのような光
学装置において撮影系による被写体像が形成されている
観察面(ピント面)上の観察者(撮影者)が観察してい
る注視点方向の軸、所謂視線(視軸)を観察者の眼球面
上を照明したときに形成される反射像を利用して検出す
るようにした視線検出装置に関するものである。
(従来の技術) 従来より観察者(被検者)が観察面北のどの位置を観察
しているかを検出する所謂視線(視軸)を検出する視線
検出装置が種々と提案されている。
例えば特開昭61−172552号公報においては、光
源からの平行光束を被検眼の前眼部へ投射し、角膜から
の反射光に基づく角膜反射像と瞳孔の結像位置を利用し
て視軸(注視点)を求めている。
第5図は同公報で提案されている視線検出方法の原理説
明図である。
同図において4は観察者に対して不感の赤外光を放射す
る発光ダイオード等の光源であり、投光レンズ6の焦点
面に配置されている。
光源4より発光した赤外光は投光レンズ6により平行光
となりへ〜フミラ5で反射し、眼球101の角膜1を照
明する。このとき角膜1の表面で反射した赤外光の一部
に基づく角膜反射像dはハーフミラ5を透過し受光レン
ズ7により集光されイメージセンサ9上のイ装置d′に
角膜反射像dを再結像する。
また虹彩3の端部a、bからの光束はハーフミラ5、受
光レンズ7を介lノてイメージセンサ9上に導光され、
その位置a’ 、b’に該端部a、 bの像を結像する
。受光レンズ7の光軸アに対する眼球の光軸イの回転角
θが小さい場合、虹彩3の端部a、bのZ座標をZa、
Zbとすると、虹彩3の中心位置Cの座標Zcは と表わされる。
また、角膜反射像の発生位置dのZ座標をZd、角膜1
の曲率中心Oと虹彩3の中心Cまでの距離なOCとする
と眼球光軸イの回転角θはQC−sinθ触ZC−Zd
−・・−(1)の関係式を略満足する。このためイメー
ジセンサ9七に投影された各特異点く角膜反射像d及び
虹彩の端部a、b)の位置を検出することにより眼球光
軸イの回転角θを求めることができる。この時(1)式
は ・ ・ ・ ・ ・ (2) とかきかえられる。但し、βは角膜反射像の発生位置d
と受光レンズ7との距離1と受光レンズ7とイメージセ
ンサ9との距S X Oで決まる倍率で、通常はぼ一定
の値となっている。
このように観察者の被検眼の視線の方向(注視点)を検
出することにより、例えば−眼レフカメラにおいては撮
影者がピント面トのどの位置を観察しているかを知るこ
とができる。
これは例えば自動焦点検出装置において測距点な画面中
心のみならず画面内の複数箇所に設けた場合、観察者が
そのうちの1つの測距点を選択して自動焦点検出を行う
とする場合、その1つを選択人力する手間を省き観察者
が観察している点を測距点と見なし、該測距点を自動的
に選択して自動焦点検出を行うのに有効である。
(発明が解決しようとしている問題点)前記特開昭61
.−172552号公報で提案されている視線検出装置
は照明手段として1つの光源4を用い、該光源4からの
赤外光を投光レンズ6により平行光として眼球の略正面
より照明している。この為、該光学系を通過した赤外光
は眼球の視線1r&が密になっている網膜の中心窩近傍
に結像する。
般に光源4として用いる例えば赤外発光ダイオードの発
光分光特性の波長分布は広い為、虹彩3と瞳孔とのコン
トラストを得る為に光源4の出力を大きくすると可視領
域の光出力も大きくなり、被検者に視認され不快感を与
えるという問題点があった。
本発明は被検者の眼球を複数の照明手段で照明すること
により、光源の光出力をあまり高くせず、被検者が照明
手段の一部である光源を視認し得ないようにし、良好な
る測定環境のもとて被検者の視線を求めることのできる
視線検出装置の提供を目的とする。
(問題点を解決するための手段) 本発明の視線検出装置は、被検者の眼球を複数の照明手
段で照明し、該複数の照明組設の該眼球の角膜からの反
射光に基づく複数の角り反射像と該眼球の虹彩像の全体
として複数の像の所定面上における結像位置を検出手段
により検出し、該検出手段からの出力信号を利用して該
被検者の視線を求めたことを特徴としている。
(実施例) 第1図は本発明の第1実施例の要部概略図である。第2
図は第1図のイメージセンサからの出力状態を示す説明
図である。
図中101は被検者(観察者)の眼球、1は被検者の眼
球の角膜、2は同じく強膜、3は虹彩である。0°は眼
球101の回転中心、0は角11i tの曲率中心、a
、bは各々虹彩3の端部、e、  fは各々後述する光
源4a、4bに基づく角膜反射像の発生位置である。4
a、4bは各々光源で被検者に不感である赤外光を放射
する発光ダイオード等である。導光[4a(4b)は投
光レンズ6a (6b)の焦点面よりも投光レンズ6a
(6b)側に配置されている。投光レンズ6a。
6bは光源4a、4bからの光束を発散光束として角膜
1面上を広く照明している。ここで光源4aは投光レン
ズ6aの光軸上にあり、光源4bは投光レンズ6bの光
軸上にあり、光軸アに対してZ方向に対称に配置されて
いる。尚、光源4a、4bと投光レンズ6a、6bは照
明手段の一要素を構成している。
7は受光レンズであり角膜l近傍に形成された角膜反射
像e、fと虹彩3の端部a、bをイメージセンサ9面上
に結像している。尚、受光レンズ7、イメージセンサ9
は受光手段の一要素を構成している。
10は演算手段であり、後述するようにイメージセンサ
9からの出力信号を利用して、被検者の視線を演算し求
めている。
アは受光レンズ7の光軸で図中のX軸と一致している。
イは眼球の光軸でX軸に対して角度θ傾いている。
本実施例では光源4a(4b)より発光した赤外光は投
光レンズ6a (6b)を透過後、発散しながら眼球1
01の角膜1を広く照明する。角膜1を透過した赤外光
は虹彩3を照明する。
このとき眼球を照明する赤外光のうち角11i 1の表
面で反射した光束に基づく角膜反射像e、fを受光レン
ズ7を介してイメージセンサ9上の点e’、f’に再結
像する。このとき第1図と第2図中のe′及びfoは1
組の光源4a、4bにより発生した角膜反射像(虚像)
e及びfの投影像である。投影像e゛及びfoの中点は
光軸ア上に照明手段を配置した際に発生する角膜反射像
のイメージセンサ9への投影位置(第5図の点d′の位
置)と略一致している。
又、虹彩3の表面で拡散反射した赤外光は受光レンズ7
を介してイメージセンサ9上に導光され、虹彩像を結像
する。一方、眼球の瞳孔を通った赤外光は網膜を照明し
てそこで吸収されるか、照明される領域は中心窩から離
れた視細胞の疎な領域であるため被検者はこの光源4a
、4bを視認し得えない。
尚、第2図の縦軸はイメージセンサ9のZ方向の出力■
を示したものである。同図においては瞳孔を通った赤外
光はほとんど反射してかえってこない為、瞳孔と虹彩3
の境界には出力差が生じその結果、虹彩端部の虹彩像a
’ 、b’が検出される。
そこで本実施例では演算装置10においてイメージセン
サ9上での眼球の各特異点(ab′及びe’ 、f’ 
)の座標(Za’ 、Zb’及びZe’ 、Zf’ )
を検出するとともに(2)式に基づいた に従って眼球と回転角θの算出を行う。
このときの回転角θより眼球の視軸を求め、これより被
検者の視線を検出している。
但し、βは受光光学系の倍率(弓[)てある。
本発明に係る視線検出装置において、角膜反射像の発生
位置と受光レンズ7のとき距r4 x +は・ ・ ・
 ・ ・ (4) の関係式を満足する。このため視線検出装置と眼球まで
の距離が変化しても2つの角膜反射像の間隔lZe’ 
−Zf’  lより距離x Iを算出可能である。
但し、Zoは1組の光源4a (4b)の2方向の間隔
、IL2は光源4a (4b)と受光レンズ7とのX方
向の間隔である。
第3図は本発明の視線検出装置を一眼レフカメラに適用
したときの一実施例の要部概略図である。
同図において第1図で示した要素と同一要素には同符番
を付している。尚、演算装置とピント板は省略している
本実施例では撮影レンズ14により被写体像を跳ね上げ
ミラー13を介し、不図示のピント板上に形成している
。そしてペンタダハプリズム12を介し、正立正像とし
てダイクロイックミラー面11aを有する接眼レンズ1
1でピント板上の被写体像を観察している。
般に一眼レフレックスカメラのファインダー視野をのぞ
く観察者(被検者)は撮影レンズ14を透過し、跳ね上
げミラー13で反射しピント板上に形成した被写体光(
像)をペンタダハプリズム12及び接眼レンズ11を介
して受光・観察する。このとき観察者はファインダー視
野内の注視する被写体に対して視線を向けるために眼球
を回転させる。
接眼レンズ11の側方(Z方向)には1対の照明手段(
光源4a (4b)及び投光レンズ6a(6b)により
構成)が配置され、不図示の観察者の眼球を照明する。
このとき観察者は眼球の側方から照明する光源4a (
4b)を視認し得ない。眼球の角膜及び虹彩にて反射し
た赤外光は接眼レンズ11に入射するとともに接眼レン
ズ11のダイクロイックミラ一部11aで反射し、受光
レンズ7を介してイメージセンサ9上に各々の像を結像
する。ここで接眼レンズ11のダイクロイックミラ一部
11aは、例えば誘電体多層膜を塗膜した直角プリズム
を2枚貼り合わせることにより形成され、該誘電体多層
nqは可視光は透過し赤外光は反射するように設定され
ている。
イメージセンサ9上に形成された眼球の反射に基づく各
機より各特異点を検出し、さらに(3)式に従った演算
を不図示の演算装置によって行うことにより観察者の視
線を検出している。
第4図は本発明の第2実施例の要部概略図である。
同図において第1図に示す要素と同一要部には同符番を
付している。又各要素の光学的配置は第1図の第1実施
例と基本的に同様である。
本実施例では光源4a(4b)より発光した赤外光は投
光レンズ6a (6b)を透過後、発散しながら眼球1
01を広く照明する。角膜1を透過し瞳孔を通った赤外
光は網膜を照明してそこで吸収されるか、照明される領
域は中心窩から離れた視細胞の疎な領域であるため被検
者は光源4a。
4bを視認し得ない。
強膜2の領域及び角膜1を透過後、虹彩3で拡散反射し
た赤外光は受光レンズ7を介してイメージセンサ9−ト
に虹彩像を結像する。
ここで強膜2の領域と虹彩3での反射率は異なり、イメ
ージセンサ9のZ方向の出力■は例えば第2図のように
強膜2の領域と虹彩3の領域との間に出力差を生じる。
このため演算装置10により各領域の境界g’ 、h’
が検出される(Zg’ 、zh’ )。これより虹彩3
の中心i (7)イメージセンサ9への投影座標Zi′
はと表わされる。
また眼球を照明する赤外光のうち角膜1表面で反射した
光束に基づく角膜反射像は受光レンズ7を介してイメー
ジセンサ9上に再結像する。
このとき第1図と第2図中e°及びfoは1胴1の光源
4a、4bにより発生した角膜反射像(虚像)e及びf
の投影像である。投影像e°及びfoの中点は光軸ア上
に照明手段を配置した際に発生する角膜反射像のイメー
ジセンサ9への投影位置(第5図点d′の位置)と略一
致する。そこで前述と同様に演算装置10においてはイ
メージセンサ9上での眼球の各特異点(e’ 、f’ 
)の座標(Ze’ 、Zf’ )を検出するとともに(
2)式に基づいた ・ ・ ・ ・ ・ (6) に従って眼球の回転角θの算出を行う。
ここでβは受光光学系の倍率で虹彩3の大きさをRo 
(=gh)とおくと β412g’ −zh’  l/R8 と近似される値である。
以上のように本実施例においては演算装置10により(
3)式又は(6)式を用いて演算し、眼球の光軸イの回
転角θを検出し、眼球の視軸を求め、これより被検者の
視線を検出している。
尚、以上の各実施例において照明手段の光源からの光束
を直接投光レンズに入射させないでスリット等を介して
所定の光束径に整形した状態で投光レンズに入射させて
も良い。
又、照明手段を2つ用いた場合を示したが3つ以上用い
て各々の光源に基づく角膜反射像を利用しても良い。
(発明の効果) 本発明によれば以上のように被検者の眼球を複数の照明
手段で照明することにより角膜で発生し形成される複数
の角膜反射像と虹彩の散乱に基づく虹彩像の所定面上の
結像点を検出することにより、被検者が照明手段の光源
を視認することなく被検者の視線を容易に検出すること
のできる視線検出装置を達成することができる。
この他本発明は複数の照明手段により発生した複数の角
膜反射像の間隔を検出することにより、視線検出手段と
被検者の眼球との距離が検知され視線検出粒度を向上さ
せることができる等の効果がある。
【図面の簡単な説明】
第1図は本発明の第1実施例の要部概略図、第2図は第
1図のイメージセンサからの出方状態を示す説明図、第
3図は本発明を一眼レフカメラに適用したときの一実施
例の要部概略図、第4図は本発明の第2実施例の要部概
略図、第5図は従来の視線検出装置の説明図である。 図中、101は眼球、1は角膜、2は強膜、3は虹彩、
4a、4bは光源、6a、6bは投光レンズ、7は受光
レンズ、9はセンサー、1oは演算手段である。

Claims (1)

    【特許請求の範囲】
  1. (1)被検者の眼球を複数の照明手段で照明し、該複数
    の照明手段の該眼球の角膜からの反射光に基づく複数の
    角膜反射像と該眼球の虹彩像の全体として複数の像の所
    定面上における結像位置を検出手段により検出し、該検
    出手段からの出力信号を利用して該被検者の視線を求め
    たことを特徴とする視線検出装置。
JP1086191A 1989-04-05 1989-04-05 視線検出装置 Expired - Lifetime JP2939988B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1086191A JP2939988B2 (ja) 1989-04-05 1989-04-05 視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1086191A JP2939988B2 (ja) 1989-04-05 1989-04-05 視線検出装置

Publications (2)

Publication Number Publication Date
JPH02264632A true JPH02264632A (ja) 1990-10-29
JP2939988B2 JP2939988B2 (ja) 1999-08-25

Family

ID=13879884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1086191A Expired - Lifetime JP2939988B2 (ja) 1989-04-05 1989-04-05 視線検出装置

Country Status (1)

Country Link
JP (1) JP2939988B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0588431A2 (en) * 1992-09-14 1994-03-23 Nikon Corporation Visual line detection device and camera equipped therewith
US5298927A (en) * 1991-01-08 1994-03-29 Canon Kabushiki Kaisha Visual axis detecor having a high sensitivity to a light from an eye
DE4337098A1 (de) * 1992-10-30 1994-05-05 Canon Kk Sehachsen-Ermittlungsvorrichtung
US5508759A (en) * 1991-01-08 1996-04-16 Canon Kabushiki Kaisha Visual axis detection apparatus
US5983030A (en) * 1994-06-15 1999-11-09 Canon Kabushiki Kaisha Optical apparatus having a visual axis detector
JP2007209384A (ja) * 2006-02-07 2007-08-23 Gen Tec:Kk 視線ベクトル検出方法及び同装置
US9456118B2 (en) 2011-08-19 2016-09-27 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
KR20170039621A (ko) 2015-04-01 2017-04-11 포브, 아이엔씨. 헤드 마운트 디스플레이
US9625989B2 (en) 2015-04-01 2017-04-18 Fove, Inc. Head mounted display
US9880384B2 (en) 2015-11-27 2018-01-30 Fove, Inc. Gaze detection system, gaze point detection method, and gaze point detection program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63238770A (ja) * 1987-03-26 1988-10-04 Fuji Photo Optical Co Ltd テレビジヨンカメラのオ−トフオ−カス装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63238770A (ja) * 1987-03-26 1988-10-04 Fuji Photo Optical Co Ltd テレビジヨンカメラのオ−トフオ−カス装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5298927A (en) * 1991-01-08 1994-03-29 Canon Kabushiki Kaisha Visual axis detecor having a high sensitivity to a light from an eye
US5508759A (en) * 1991-01-08 1996-04-16 Canon Kabushiki Kaisha Visual axis detection apparatus
US5552854A (en) * 1992-09-14 1996-09-03 Nikon Corporation Visual line detection device and camera equipped therewith
EP0588431A3 (en) * 1992-09-14 1994-05-04 Nikon Corporation Visual line detection device and camera equipped therewith
EP0588431A2 (en) * 1992-09-14 1994-03-23 Nikon Corporation Visual line detection device and camera equipped therewith
US5907722A (en) * 1992-10-30 1999-05-25 Canon Kabushiki Kaisha Visual axis detection method
DE4337098A1 (de) * 1992-10-30 1994-05-05 Canon Kk Sehachsen-Ermittlungsvorrichtung
DE4337098B4 (de) * 1992-10-30 2004-11-11 Canon K.K. Blickrichtungs-Ermittlungsvorrichtung
US5983030A (en) * 1994-06-15 1999-11-09 Canon Kabushiki Kaisha Optical apparatus having a visual axis detector
JP2007209384A (ja) * 2006-02-07 2007-08-23 Gen Tec:Kk 視線ベクトル検出方法及び同装置
US9456118B2 (en) 2011-08-19 2016-09-27 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and image processing method for generating auxiliary information for captured image
KR20170039621A (ko) 2015-04-01 2017-04-11 포브, 아이엔씨. 헤드 마운트 디스플레이
US9625989B2 (en) 2015-04-01 2017-04-18 Fove, Inc. Head mounted display
US10460165B2 (en) 2015-04-01 2019-10-29 Fove, Inc. Head mounted display
US9880384B2 (en) 2015-11-27 2018-01-30 Fove, Inc. Gaze detection system, gaze point detection method, and gaze point detection program

Also Published As

Publication number Publication date
JP2939988B2 (ja) 1999-08-25

Similar Documents

Publication Publication Date Title
JP3309615B2 (ja) 画像観察装置及びこれを用いた両眼画像観察装置
US5225862A (en) Visual axis detector using plural reflected image of a light source
JP2950546B2 (ja) 視線検出装置及び視線検出装置を有するカメラ
JP2803222B2 (ja) 視線検出装置
JP2939988B2 (ja) 視線検出装置
JP3477279B2 (ja) 視線検出装置
JPH0323431A (ja) 視線検出手段を有した機器
JPH02189128A (ja) 注視点検出手段を有した光学装置
JP2861349B2 (ja) 視線検出手段を有した光学装置
JPH0984760A (ja) 眼科器械用位置合わせ検出装置
JP2939989B2 (ja) 視線検出装置
JP2939982B2 (ja) 視線検出装置
JP2964495B2 (ja) 視線検出装置及びカメラ
JP2754663B2 (ja) 視線検出方法及び視線検出装置
JP2803223B2 (ja) 視線検出装置
US5619739A (en) Diopter correcting apparatus
JP2995739B2 (ja) 視線検出装置
JP2950759B2 (ja) 視線検出装置を有する光学機器
JP2939990B2 (ja) 視線検出装置
JP2995878B2 (ja) 視線検出装置を有した光学装置
JP3134320B2 (ja) 視線検出装置
JP2925147B2 (ja) 視線検出装置及び光学機器
JPH0473038A (ja) 眼屈折計
JPH06163A (ja) 視線検出装置
JP2733260B2 (ja) 検出装置及び光学機器

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

EXPY Cancellation because of completion of term