JP3135415B2 - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JP3135415B2 JP3135415B2 JP05104925A JP10492593A JP3135415B2 JP 3135415 B2 JP3135415 B2 JP 3135415B2 JP 05104925 A JP05104925 A JP 05104925A JP 10492593 A JP10492593 A JP 10492593A JP 3135415 B2 JP3135415 B2 JP 3135415B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- light receiving
- image sensor
- eyeball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、例えばビデオカメラに
配置され、撮影者が撮影画面内のどの位置を見ているか
を検出する視線検出装置の改良に関するものである。
配置され、撮影者が撮影画面内のどの位置を見ているか
を検出する視線検出装置の改良に関するものである。
【０００２】
【従来の技術】従来より、観察者（被検者）が観察面上
のどの位置を観察しているかを検出する、いわゆる視線
を検出する視線検出装置は種々提案されている。
のどの位置を観察しているかを検出する、いわゆる視線
を検出する視線検出装置は種々提案されている。
【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を被検者の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像（プルキンエ
像）と瞳孔の結像位置を利用して視軸（注視点）を求め
ている。
おいては、光源からの平行光束を被検者の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像（プルキンエ
像）と瞳孔の結像位置を利用して視軸（注視点）を求め
ている。
【０００４】図１１は視線検出方法の原理図である。
【０００５】同図において、２０４は被検者に対して不
感の赤外光を放射する発光ダイオ−ド等の光源であり、
投光レンズ２０６の焦点面に配置されている。
感の赤外光を放射する発光ダイオ−ド等の光源であり、
投光レンズ２０６の焦点面に配置されている。
【０００６】この光源２０４より発せられた赤外光は、
投光レンズ２０６により平行光となり、ハーフミラー２
０５で反射し、眼球２００の角膜２０１を照明する。こ
の時、角膜２０１の表面で反射した赤外光の一部に基づ
くプルキンエ像ｄは、ハーフミラー２０５を通過し受光
レンズ２０７により集光され、イメージセンサ２０９上
の位置ｄ’にプルキンエ像ｄを再結像する。また、虹彩
２０３の端部ａ，ｂからの光束は、ハーフミラー２０
５，受光レンズ２０７を介してイメージセンサ２０９上
に導光され、その位置ａ’，ｂ’に該端部ａ，ｂの像を
結像する。
投光レンズ２０６により平行光となり、ハーフミラー２
０５で反射し、眼球２００の角膜２０１を照明する。こ
の時、角膜２０１の表面で反射した赤外光の一部に基づ
くプルキンエ像ｄは、ハーフミラー２０５を通過し受光
レンズ２０７により集光され、イメージセンサ２０９上
の位置ｄ’にプルキンエ像ｄを再結像する。また、虹彩
２０３の端部ａ，ｂからの光束は、ハーフミラー２０
５，受光レンズ２０７を介してイメージセンサ２０９上
に導光され、その位置ａ’，ｂ’に該端部ａ，ｂの像を
結像する。
【０００７】前記受光レンズ２０７の光軸アに対する眼
球の光軸イの回転角θが小さい場合、虹彩２０３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２０３の中
心位置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表される。また、プルキンエ像の発生位置ｄのＺ座標
をＺｄ、角膜２０１の曲率中心ｏと虹彩２０３の中心ｃ
までの距離をＬｏｃとすると、眼球光軸イの回転角θは Ｌｏｃ・ｓｉｎθ≒Ｚｃ−Ｚｄ ………………（１） の関係式を略満足する。このため、イメージセンサ２０
９上に投影された各特徴点（プルキンエ像の発生位置ｄ
及び虹彩２０３の端部ａ，ｂのイメージセンサ２０９上
の像Ｚａ’，Ｚｂ’，Ｚｄ’）の位置を検出する事によ
り、眼球光軸イの回転角θを求める事ができる。この
時、上記（１）式は β・Ｌｏｃ・ｓｉｎθ＝（Ｚａ’−Ｚｂ’）／２−Ｚｄ’ ……（２） と書き換えられる。但し、βはプルキンエ像の発生位置
ｄと受光レンズ２０７との距離Ｌ1 と受光レンズ２０７
とイメージセンサ２０９との距離Ｌ0 で決る倍率で、通
常ほぼ一定の値となっている。
球の光軸イの回転角θが小さい場合、虹彩２０３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩２０３の中
心位置ｃの座標Ｚｃは Ｚｃ≒（Ｚａ＋Ｚｂ）／２ と表される。また、プルキンエ像の発生位置ｄのＺ座標
をＺｄ、角膜２０１の曲率中心ｏと虹彩２０３の中心ｃ
までの距離をＬｏｃとすると、眼球光軸イの回転角θは Ｌｏｃ・ｓｉｎθ≒Ｚｃ−Ｚｄ ………………（１） の関係式を略満足する。このため、イメージセンサ２０
９上に投影された各特徴点（プルキンエ像の発生位置ｄ
及び虹彩２０３の端部ａ，ｂのイメージセンサ２０９上
の像Ｚａ’，Ｚｂ’，Ｚｄ’）の位置を検出する事によ
り、眼球光軸イの回転角θを求める事ができる。この
時、上記（１）式は β・Ｌｏｃ・ｓｉｎθ＝（Ｚａ’−Ｚｂ’）／２−Ｚｄ’ ……（２） と書き換えられる。但し、βはプルキンエ像の発生位置
ｄと受光レンズ２０７との距離Ｌ1 と受光レンズ２０７
とイメージセンサ２０９との距離Ｌ0 で決る倍率で、通
常ほぼ一定の値となっている。
【０００８】この様に、観察者の眼球２００の視線の方
向（注視点）を検出することにより、例えば一眼レフカ
メラやビデオカメラにおいては撮影者がピント面上のど
の位置を観察しているかを知ることができる。
向（注視点）を検出することにより、例えば一眼レフカ
メラやビデオカメラにおいては撮影者がピント面上のど
の位置を観察しているかを知ることができる。
【０００９】
【発明が解決しようとする課題】しかしながら、上記従
来例では、外からのファインダ内への漏れ込み光や照射
赤外光のまつ毛による反射光により、プルキンエ像以外
の位置にも出力のピーク値が現れることにより、該プル
キンエ像の検出が難しくなる場合があった。
来例では、外からのファインダ内への漏れ込み光や照射
赤外光のまつ毛による反射光により、プルキンエ像以外
の位置にも出力のピーク値が現れることにより、該プル
キンエ像の検出が難しくなる場合があった。
【００１０】上記現象を図１２（ａ），（ｂ）を用いて
説明する。
説明する。
【００１１】図１２（ａ）は外光などの漏れ込み光のな
いイメージセンサ２０９の出力である。ここで、ｄはプ
ルキンエ像、ａ，ｂは瞳孔と虹彩２０３の境界、ｉ，ｈ
は虹彩２０３と強膜２０２の境界による出力である。
いイメージセンサ２０９の出力である。ここで、ｄはプ
ルキンエ像、ａ，ｂは瞳孔と虹彩２０３の境界、ｉ，ｈ
は虹彩２０３と強膜２０２の境界による出力である。
【００１２】外光がイメージセンサ２０９に結像される
と、図１２（ｂ）のような出力状態になり、ｆの位置に
ピークをもつ出力となってしまう。従って、本来のプル
キンエ像ｄの出力との区別ができなくなり、視線検出が
不可能となってしまった。
と、図１２（ｂ）のような出力状態になり、ｆの位置に
ピークをもつ出力となってしまう。従って、本来のプル
キンエ像ｄの出力との区別ができなくなり、視線検出が
不可能となってしまった。
【００１３】（発明の目的）本発明の目的は、照明手段
よりの照明光以外の光が入射するような使用環境下であ
っても、常に適正な視線検出を行うことのできる視線検
出装置を提供することである。
よりの照明光以外の光が入射するような使用環境下であ
っても、常に適正な視線検出を行うことのできる視線検
出装置を提供することである。
【００１４】
【課題を解決するための手段】 請求項１に係る発明
は、被検者あるいは観察者の眼球を照明する照明手段
と、前記眼球からの反射光を受光する第１および第２の
受光手段と、前記第１の受光手段から出力される信号の
ピーク位置と前記第２の受光手段から出力される信号の
ピーク位置より求めたプルキンエ像を用いて被験者ある
いは観察者の視線方向を算出する演算手段とを備えたこ
とを特徴としている。 請求項２に係る発明は、画像を表
示する画像表示装置と、前記画像表示装置を見る使用者
の眼球を照明する照明手段と、前記眼球からの反射光を
受光する第１および第２の受光手段と、前記第１の受光
手段から出力される信号のピーク位置と前記第２の受光
手段から出力される信号のピーク位置より求めたプルキ
ンエ像を用いて被験者あるいは観察者の視線方向を算出
する演算手段とを備えたことを特徴としている。
は、被検者あるいは観察者の眼球を照明する照明手段
と、前記眼球からの反射光を受光する第１および第２の
受光手段と、前記第１の受光手段から出力される信号の
ピーク位置と前記第２の受光手段から出力される信号の
ピーク位置より求めたプルキンエ像を用いて被験者ある
いは観察者の視線方向を算出する演算手段とを備えたこ
とを特徴としている。 請求項２に係る発明は、画像を表
示する画像表示装置と、前記画像表示装置を見る使用者
の眼球を照明する照明手段と、前記眼球からの反射光を
受光する第１および第２の受光手段と、前記第１の受光
手段から出力される信号のピーク位置と前記第２の受光
手段から出力される信号のピーク位置より求めたプルキ
ンエ像を用いて被験者あるいは観察者の視線方向を算出
する演算手段とを備えたことを特徴としている。
【００１５】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
に説明する。
【００１６】図１は本発明の第１の実施例における視線
検出装置の要部構成を示す図であり、この実施例では、
ビデオカメラにおけるファインダでの観察者の視線検出
に本発明を施したものである。
検出装置の要部構成を示す図であり、この実施例では、
ビデオカメラにおけるファインダでの観察者の視線検出
に本発明を施したものである。
【００１７】図１において、１０１は被検者の眼球、１
は被検者の眼球の角膜、２は強膜、３は虹彩である。４
ａ，４ｂは光源で、被検者に不感である赤外光を放射す
る発光ダイオードである。６ａ，６ｂは投光レンズであ
り、光源４ａ，４ｂからの光束により、角膜１面上を照
射している。尚、光源４ａ、投光レンズ６ａは第１の照
明手段を、光源４ｂ、投光レンズ６ｂは第２の照明手段
を、それぞれ構成している。
は被検者の眼球の角膜、２は強膜、３は虹彩である。４
ａ，４ｂは光源で、被検者に不感である赤外光を放射す
る発光ダイオードである。６ａ，６ｂは投光レンズであ
り、光源４ａ，４ｂからの光束により、角膜１面上を照
射している。尚、光源４ａ、投光レンズ６ａは第１の照
明手段を、光源４ｂ、投光レンズ６ｂは第２の照明手段
を、それぞれ構成している。
【００１８】７，８は受光レンズであり、虹彩の端部点
ａ，ｂの像をイメージセンサ５，９面上に結像してい
る。尚、受光レンズ７，イメージセンサ５は第１の受光
手段を，受光レンズ８、イメージセンサ９は第２の受光
手段を、それぞれしている。
ａ，ｂの像をイメージセンサ５，９面上に結像してい
る。尚、受光レンズ７，イメージセンサ５は第１の受光
手段を，受光レンズ８、イメージセンサ９は第２の受光
手段を、それぞれしている。
【００１９】１１は液晶表示パネル、１２は液晶表示パ
ネル１１を裏面から照明するバックライトであり、これ
らにより画像表示装置であるところの液晶ファインダを
構成しており、対物レンズ１３，接眼レンズ１４を通し
て被検者の眼球１０１の網膜上に液晶表示パネル１１に
表示された像が結像される。
ネル１１を裏面から照明するバックライトであり、これ
らにより画像表示装置であるところの液晶ファインダを
構成しており、対物レンズ１３，接眼レンズ１４を通し
て被検者の眼球１０１の網膜上に液晶表示パネル１１に
表示された像が結像される。
【００２０】１５は演算手段であり、上記イメージセン
サ５とイメージセンサ９の出力信号を利用して、被検者
の視線を演算し求める。
サ５とイメージセンサ９の出力信号を利用して、被検者
の視線を演算し求める。
【００２１】図２（ａ），（ｂ）に外光の漏れ込み等の
無い理想状態のイメージセンサ５とイメージセンサ９の
出力信号を示す。
無い理想状態のイメージセンサ５とイメージセンサ９の
出力信号を示す。
【００２２】ここでは簡単のため１次元ラインセンサの
出力として示すが、２次元エリアセンサでも同様である
ことは言うまでもない。
出力として示すが、２次元エリアセンサでも同様である
ことは言うまでもない。
【００２３】図２（ａ），（ｂ）において、ｅは第１の
照明手段によるプルキンエ像のイメージセンサ５よりの
ピーク出力、ｅ’は第２の照明手段によるプルキンエ像
のイメージセンサ９よりのピーク出力である。
照明手段によるプルキンエ像のイメージセンサ５よりの
ピーク出力、ｅ’は第２の照明手段によるプルキンエ像
のイメージセンサ９よりのピーク出力である。
【００２４】ここでは、各イメージセンサ５，９に対し
て、それぞれ１つの照明手段を用いているが、２つ以上
の照明手段を用いることも当然可能である。
て、それぞれ１つの照明手段を用いているが、２つ以上
の照明手段を用いることも当然可能である。
【００２５】図３（ａ），（ｂ）にファインダ内に太陽
光などの外光が入射した場合の出力信号を示す。
光などの外光が入射した場合の出力信号を示す。
【００２６】ここでは、外光が入射し、受光レンズ７を
通してイメージセンサ５上に結像された場合を示してい
る。この外光により、ｆの位置にもピーク出力が現れ
る。
通してイメージセンサ５上に結像された場合を示してい
る。この外光により、ｆの位置にもピーク出力が現れ
る。
【００２７】この様にイメージセンサ５からは疑似ピー
ク信号が出力されるが、第１の受光手段と第２の受光手
段の光軸がずれているため、イメージセンサ９には外光
が入射しにくく、該イメージセンサ９からは疑似ピーク
信号は出力されない。
ク信号が出力されるが、第１の受光手段と第２の受光手
段の光軸がずれているため、イメージセンサ９には外光
が入射しにくく、該イメージセンサ９からは疑似ピーク
信号は出力されない。
【００２８】従って、イメージセンサ５とイメージセン
サ９の出力を演算手段１５に取り込み、ピーク出力が複
数現れていない、正常出力のイメージセンサ出力の判断
を行い、上記（１）式，（２）式、視軸の補正演算を行
うことにより、観察者の視線を検出することができる。
サ９の出力を演算手段１５に取り込み、ピーク出力が複
数現れていない、正常出力のイメージセンサ出力の判断
を行い、上記（１）式，（２）式、視軸の補正演算を行
うことにより、観察者の視線を検出することができる。
【００２９】又、イメージセンサ５とイメージセンサ９
のピーク出力の位置を論理演算させることにより、正確
なプルキンエ像の位置を検出することもできる。
のピーク出力の位置を論理演算させることにより、正確
なプルキンエ像の位置を検出することもできる。
【００３０】論理演算として、 １）論理積 ２）排他的論理和 による検出方法があるが、これらについて以下に説明す
る。
る。
【００３１】１）の“論理積”を用いる場合 第１の照明手段によるプルキンエ像をイメージセンサ５
上に結像させ、第２の照明手段によるプルキンエ像をイ
メージセンサ９上に結像させる。イメージセンサ５で検
出したプルキンエ像のアドレスをＡ１とし、イメージセ
ンサ９で検出したアドレスをＢ１，Ｂ２とする。ここ
で、Ｂ１はプルキンエ像によるもので、Ｂ２は外光によ
るものとする。
上に結像させ、第２の照明手段によるプルキンエ像をイ
メージセンサ９上に結像させる。イメージセンサ５で検
出したプルキンエ像のアドレスをＡ１とし、イメージセ
ンサ９で検出したアドレスをＢ１，Ｂ２とする。ここ
で、Ｂ１はプルキンエ像によるもので、Ｂ２は外光によ
るものとする。
【００３２】プルキンエ像をイメージセンサ５とイメー
ジセンサ９の同一位置に結像するように光学系を設計し
ておけば、アドレスＡ１＝アドレスＢ１となる。ここ
で、イメージセンサ５の出力とイメージセンサ９の出力
の論理積を計算することにより、アドレスＢ２（外光に
よるピーク）を除去させ、正式なプルキンエ像ピーク位
置を検出することができる。
ジセンサ９の同一位置に結像するように光学系を設計し
ておけば、アドレスＡ１＝アドレスＢ１となる。ここ
で、イメージセンサ５の出力とイメージセンサ９の出力
の論理積を計算することにより、アドレスＢ２（外光に
よるピーク）を除去させ、正式なプルキンエ像ピーク位
置を検出することができる。
【００３３】又、２つのイメージセンサ５，９上の同一
位置に結像させなくても、位置のオフセット量を減算さ
せて、論理積を計算すれば同一の効果となる。
位置に結像させなくても、位置のオフセット量を減算さ
せて、論理積を計算すれば同一の効果となる。
【００３４】２）の“排他的論理和”を用いる場合 第１の照明手段によるプルキンエ像をイメージセンサ５
上に結像させるが、第２のイメージセンサ９上にはプル
キンエ像を結像させない光学配置とする。つまり、イメ
ージセンサ９上には外光しか結像しないので、イメージ
センサ５の出力の排他的論理和を計算することにより、
イメージセンサ５の出力において正式なプルキンエ像を
検出できる。
上に結像させるが、第２のイメージセンサ９上にはプル
キンエ像を結像させない光学配置とする。つまり、イメ
ージセンサ９上には外光しか結像しないので、イメージ
センサ５の出力の排他的論理和を計算することにより、
イメージセンサ５の出力において正式なプルキンエ像を
検出できる。
【００３５】この実施例で述べた様に、複数のイメージ
センサを視線検出用センサとして用い、その出力を比較
演算を行うことにより、外光に影響されない視線検出を
行うことが可能となった。
センサを視線検出用センサとして用い、その出力を比較
演算を行うことにより、外光に影響されない視線検出を
行うことが可能となった。
【００３６】なお、この実施例では、画像表示装置に液
晶ファインダを用いたが、ブラウン管を用いた画像表示
装置にも当然応用可能である。又、照明用光源を２つ用
いたが、２つ以上でも当然可能であり、逆に光学系の設
計により１つであっても良い。
晶ファインダを用いたが、ブラウン管を用いた画像表示
装置にも当然応用可能である。又、照明用光源を２つ用
いたが、２つ以上でも当然可能であり、逆に光学系の設
計により１つであっても良い。
【００３７】（第２の実施例）図４は本発明の第２の実
施例における視線検出装置の要部構成を示す図であり、
図１と同じ部分は同一符号を付してある。
施例における視線検出装置の要部構成を示す図であり、
図１と同じ部分は同一符号を付してある。
【００３８】図４において、１６は周辺領域にイメージ
センサを有する画像表示装置である。
センサを有する画像表示装置である。
【００３９】図５に上記画像表示装置１６の概略的平面
図を示す。
図を示す。
【００４０】図５において、１７はＳＯＩ基板、１８は
液晶表示パネル（液晶表示領域）、１９は液晶駆動回
路、２０はイメージセンサである。
液晶表示パネル（液晶表示領域）、１９は液晶駆動回
路、２０はイメージセンサである。
【００４１】上記の第１の実施例では、半導体素子とし
て、イメージセンサを２チップ、液晶パネルを１チップ
の最低３チップ必要となるが、この第２の実施例では、
同一チップ内にイメージセンサ２０と液晶表示パネル１
８を有するため、部品数が少なく、小型化できるといっ
た特徴をもつ。
て、イメージセンサを２チップ、液晶パネルを１チップ
の最低３チップ必要となるが、この第２の実施例では、
同一チップ内にイメージセンサ２０と液晶表示パネル１
８を有するため、部品数が少なく、小型化できるといっ
た特徴をもつ。
【００４２】又、イメージセンサ２０は液晶表示パネル
１８と比較して小型であるため、１チップ化してもあま
り面積の増大はなく、コスト的にも有利である。（本実
施例においては、液晶表示パネル１８のサイズが「２５
×２７」mmに対してイメージセンサ２０のサイズは「２
×３」mmである）また、イメージセンサ２０は図６に示
す様な位置に設けても良い。
１８と比較して小型であるため、１チップ化してもあま
り面積の増大はなく、コスト的にも有利である。（本実
施例においては、液晶表示パネル１８のサイズが「２５
×２７」mmに対してイメージセンサ２０のサイズは「２
×３」mmである）また、イメージセンサ２０は図６に示
す様な位置に設けても良い。
【００４３】この第２の実施例においては、液晶表示パ
ネル１８と複数のイメージセンサ２０を１チップ化する
ようにしているため、装置の小型化，コスト低減が可能
となる。
ネル１８と複数のイメージセンサ２０を１チップ化する
ようにしているため、装置の小型化，コスト低減が可能
となる。
【００４４】（第３の実施例）図７は本発明の第３の実
施例に係るイメージセンサを具備した画像表示装置の構
成を示す図であり、図５と同じ部分は同一符号を付して
ある。なお、その他の構成は第２の実施例と同様である
ので、ここでは省略している。
施例に係るイメージセンサを具備した画像表示装置の構
成を示す図であり、図５と同じ部分は同一符号を付して
ある。なお、その他の構成は第２の実施例と同様である
ので、ここでは省略している。
【００４５】上記第２の実施例においては、イメージセ
ンサ２０は液晶表示パネル（液晶表示領域）１８の上下
２ヶ所に設けられていたが、この実施例では、液晶表示
パネル１８の左右の領域にもイメージセンサ２０を設け
ている。又、イメージセンサの数も２つに限定されず、
これ以上であっても良い。
ンサ２０は液晶表示パネル（液晶表示領域）１８の上下
２ヶ所に設けられていたが、この実施例では、液晶表示
パネル１８の左右の領域にもイメージセンサ２０を設け
ている。又、イメージセンサの数も２つに限定されず、
これ以上であっても良い。
【００４６】この第３の実施例においては、液晶表示パ
ネル（液晶表示領域）１８の上下，左右にイメージセン
サ２０を４個設ける構成にしている為、更に精度の良い
視線検出を行うことが可能となる。
ネル（液晶表示領域）１８の上下，左右にイメージセン
サ２０を４個設ける構成にしている為、更に精度の良い
視線検出を行うことが可能となる。
【００４７】（第４の実施例）図８は本発明の第４の実
施例に係るイメージセンサを具備した画像表示装置の構
成を示す図であり、図５等と同じ部分は同一符号を付し
てある。
施例に係るイメージセンサを具備した画像表示装置の構
成を示す図であり、図５等と同じ部分は同一符号を付し
てある。
【００４８】この第４の実施例では、画像表示装置，視
線検出用イメージセンサ，演算手段１５を１チップ化し
た構成にしている。なお、その他の構成は第２の実施例
と同様であるので、ここでは省略している。
線検出用イメージセンサ，演算手段１５を１チップ化し
た構成にしている。なお、その他の構成は第２の実施例
と同様であるので、ここでは省略している。
【００４９】ここで、演算手段１５は例えばマイクロプ
ロセッサであり、アドレス補正，論理演算（論理積，排
他的論理和）、及び、上記（１）式，（２）式の演算を
行う。
ロセッサであり、アドレス補正，論理演算（論理積，排
他的論理和）、及び、上記（１）式，（２）式の演算を
行う。
【００５０】このような構成にすることにより、更なる
装置の小型化，コスト低減が可能となる。
装置の小型化，コスト低減が可能となる。
【００５１】（第５の実施例）図９は本発明の第５の実
施例における視線検出装置の要部構成を示す図であり、
図１と同じ部分は同一符号を付してある。
施例における視線検出装置の要部構成を示す図であり、
図１と同じ部分は同一符号を付してある。
【００５２】図９において、２１は赤外光を反射させる
ダイクロイックミラーである。
ダイクロイックミラーである。
【００５３】 光源４ａ，４ｂにより発せられた赤外光
は、投光レンズ６ａ，６ｂにより平行光となり、眼球１
０１を照明する。眼球１０１で反射した赤外光は、ダイ
クロイックミラー２１により反射され、受光レンズ７を
通してイメージセンサ５に結像される。同様に、図９で
は不図示の、受光レンズ８を通してイメージセンサ９
（図１参照）に結像される。
は、投光レンズ６ａ，６ｂにより平行光となり、眼球１
０１を照明する。眼球１０１で反射した赤外光は、ダイ
クロイックミラー２１により反射され、受光レンズ７を
通してイメージセンサ５に結像される。同様に、図９で
は不図示の、受光レンズ８を通してイメージセンサ９
（図１参照）に結像される。
【００５４】演算手段１５は、上記イメージセンサ５と
イメージセンサ９の出力を取り込み、第１の実施例と同
様の演算を行い、被検者の視線検出を行う。
イメージセンサ９の出力を取り込み、第１の実施例と同
様の演算を行い、被検者の視線検出を行う。
【００５５】この第５の実施例は、イメージセンサ５，
９を画像表示装置の周辺に設けることができない場合に
有効となる。
９を画像表示装置の周辺に設けることができない場合に
有効となる。
【００５６】（第６の実施例）図１０は本発明の第６の
実施例における視線検出装置の要部構成を示す図であ
り、図１等と同じ部分は同一符号を付してある。
実施例における視線検出装置の要部構成を示す図であ
り、図１等と同じ部分は同一符号を付してある。
【００５７】この第６の実施例では、画像表示装置とし
てＴＴＬファインダを用いた一眼レフレックスカメラに
応用したものである。
てＴＴＬファインダを用いた一眼レフレックスカメラに
応用したものである。
【００５８】図１０において、２２は対物レンズ、２３
は主ミラーである。２４は前記主ミラー２３を透過した
光束を下方に反射させるサブミラー２４であり、ここで
反射された光は焦点検出装置２５に入射する。２６はシ
ャッタ、２７はピント板、２８はペンタダハプリズム、
２９は接眼レンズ、３０はダイクロイックミラーであ
る。
は主ミラーである。２４は前記主ミラー２３を透過した
光束を下方に反射させるサブミラー２４であり、ここで
反射された光は焦点検出装置２５に入射する。２６はシ
ャッタ、２７はピント板、２８はペンタダハプリズム、
２９は接眼レンズ、３０はダイクロイックミラーであ
る。
【００５９】主ミラー２３で反射した光束は、ピント板
２７に結像し、該ピント板２７に結像した像はペンタダ
ハプリズム２８，接眼レンズ２９を通って、眼球１０１
の網膜上に結像される。
２７に結像し、該ピント板２７に結像した像はペンタダ
ハプリズム２８，接眼レンズ２９を通って、眼球１０１
の網膜上に結像される。
【００６０】視線検出系の光路は、上記第５の実施例で
示した様に、光源４ａ，４ｂにて発せられた赤外光の角
膜反射像をダイクロイックミラー３０を介して視線検出
用イメージセンサ５，９にそれぞれに結像させる。
示した様に、光源４ａ，４ｂにて発せられた赤外光の角
膜反射像をダイクロイックミラー３０を介して視線検出
用イメージセンサ５，９にそれぞれに結像させる。
【００６１】このような構成にすることにより、外光に
強い視線検出能力を持つカメラを実現することができ
る。
強い視線検出能力を持つカメラを実現することができ
る。
【００６２】
【発明の効果】 以上説明したように、請求項１に係る
発明は、被検者あるいは観察者の眼球を照明する照明手
段と、前記眼球からの反射光を受光する第１および第２
の受光手段と、前記第１の受光手段から出力される信号
のピーク位置と前記第２の受光手段から出力される信号
のピーク位置より求めたプルキンエ像を用いて被験者あ
るいは観察者の視線方向を算出する演算手段とを備えた
ことにより、照明手段によるプルキンエ像と照明光以外
の光によって生じる疑似プルキンエ像とを分離すること
ができる。
発明は、被検者あるいは観察者の眼球を照明する照明手
段と、前記眼球からの反射光を受光する第１および第２
の受光手段と、前記第１の受光手段から出力される信号
のピーク位置と前記第２の受光手段から出力される信号
のピーク位置より求めたプルキンエ像を用いて被験者あ
るいは観察者の視線方向を算出する演算手段とを備えた
ことにより、照明手段によるプルキンエ像と照明光以外
の光によって生じる疑似プルキンエ像とを分離すること
ができる。
【００６３】よって、照明手段よりの照明光以外の光が
入射するような使用環境下であっても、常に適正な視線
検出を行うことが可能となる。
入射するような使用環境下であっても、常に適正な視線
検出を行うことが可能となる。
【図１】本発明の第１の実施例における視線検出装置の
要部構成を示す図である。
要部構成を示す図である。
【図２】外光が入射していない場合の図１の各イメージ
センサの出力状態を示す図である。
センサの出力状態を示す図である。
【図３】外光が入射している場合の図１の各イメージセ
ンサの出力状態を示す図である。
ンサの出力状態を示す図である。
【図４】本発明の第２の実施例における視線検出装置の
要部構成を示す図である。
要部構成を示す図である。
【図５】図４の画像表示装置の構成を示す図である。
【図６】図５の変形例を成すイメージセンサを含む画像
表示装置の構成を示す図である。
表示装置の構成を示す図である。
【図７】本発明の第３の実施例に係るイメージセンサを
含む画像表示装置の構成を示す図である。
含む画像表示装置の構成を示す図である。
【図８】本発明の第４の実施例に係るイメージセンサ及
び演算手段を含む画像表示装置の構成を示す図である。
び演算手段を含む画像表示装置の構成を示す図である。
【図９】本発明の第５の実施例における視線検出装置の
要部構成を示す図である。
要部構成を示す図である。
【図１０】本発明の第６の実施例における視線検出装置
を一眼レフレックスカメラに組み込んだ場合の要部構成
を示す図である。
を一眼レフレックスカメラに組み込んだ場合の要部構成
を示す図である。
【図１１】従来の視線検出装置の要部構成を示す図であ
る。
る。
【図１２】外光が入射していない場合と入射している場
合の図１１のイメージセンサの出力状態を示す図であ
る。
合の図１１のイメージセンサの出力状態を示す図であ
る。
４ａ，４ｂ 光源 ５，９ イメージセンサ ７，８ 受光レンズ １１ 液晶表示パネル １２ バックライト １５ 演算手段 １６ 画像表示装置 １０１ 眼球
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G02B 7/28 - 7/40 A61B 3/113 G03B 13/00 - 13/28 G03B 13/36
Claims (5)
- 【請求項１】 被検者あるいは観察者の眼球を照明する
照明手段と、前記眼球からの反射光を受光する第１およ
び第２の受光手段と、前記第１の受光手段から出力され
る信号のピーク位置と前記第２の受光手段から出力され
る信号のピーク位置より求めたプルキンエ像を用いて被
験者あるいは観察者の視線方向を算出する演算手段とを
備えたことを特徴とする視線検出装置。 - 【請求項２】 画像を表示する画像表示装置と、前記画
像表示装置を見る使用者の眼球を照明する照明手段と、
前記眼球からの反射光を受光する第１および第２の受光
手段と、前記第１の受光手段から出力される信号のピー
ク位置と前記第２の受光手段から出力される信号のピー
ク位置より求めたプルキンエ像を用いて被験者あるいは
観察者の視線方向を算出する演算手段とを備えたことを
特徴とする視線検出装置。 - 【請求項３】 前記照明手段は複数の発光素子を有し、
前記複数の発光素子はそれぞれ異なる位置から前記眼球
を照明することを特徴とする請求項１又は２記載の視線
検出装置。 - 【請求項４】 前記第１および第２の受光手段はそれぞ
れ光電変換素子を有し、前記光電変換素子はそれぞれ前
記画像表示装置の周辺に配置されることを特徴とする請
求項２記載の視線検出装置。 - 【請求項５】 前記画像表示装置は液晶表示器を有し、
前記液晶表示器と前記第１および第２の受光手段に含ま
れるそれぞれの光電変換素子とは、同一の基板上に形成
されていることを特徴とする請求項２記載の視線検出装
置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05104925A JP3135415B2 (ja) | 1993-04-08 | 1993-04-08 | 視線検出装置 |
| EP93310577A EP0605246B1 (en) | 1992-12-28 | 1993-12-24 | Sight line detector and camera with the detector |
| DE69330709T DE69330709T2 (de) | 1992-12-28 | 1993-12-24 | Blickrichtungsdetektor und Kamera mit diesem Detektor |
| US08/955,279 US5873003A (en) | 1992-12-28 | 1997-10-21 | Sight line detector, display unit, view finder and unit and camera with the same display unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05104925A JP3135415B2 (ja) | 1993-04-08 | 1993-04-08 | 視線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06294929A JPH06294929A (ja) | 1994-10-21 |
| JP3135415B2 true JP3135415B2 (ja) | 2001-02-13 |
Family
ID=14393683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05104925A Expired - Fee Related JP3135415B2 (ja) | 1992-12-28 | 1993-04-08 | 視線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3135415B2 (ja) |
-
1993
- 1993-04-08 JP JP05104925A patent/JP3135415B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06294929A (ja) | 1994-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3166179B2 (ja) | 視線検出装置 | |
| US5225862A (en) | Visual axis detector using plural reflected image of a light source | |
| JP3219534B2 (ja) | 光学装置 | |
| US5598248A (en) | Optical apparatus having visual point detection function | |
| JP2803222B2 (ja) | 視線検出装置 | |
| JP2920940B2 (ja) | 視線検出手段を有した機器 | |
| JP3477279B2 (ja) | 視線検出装置 | |
| JP2676870B2 (ja) | 注視点検出手段を有した光学装置 | |
| JP2749818B2 (ja) | 視線検出装置 | |
| JP3297504B2 (ja) | 光学装置 | |
| JPH02264632A (ja) | 視線検出装置 | |
| JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
| JPH06230271A (ja) | 視線検出装置 | |
| JP3135415B2 (ja) | 視線検出装置 | |
| JP3109870B2 (ja) | ビデオカメラ | |
| JPH10307314A (ja) | 観察光学装置 | |
| JP2754663B2 (ja) | 視線検出方法及び視線検出装置 | |
| JP2939982B2 (ja) | 視線検出装置 | |
| US5619739A (en) | Diopter correcting apparatus | |
| JP2803223B2 (ja) | 視線検出装置 | |
| JP3225628B2 (ja) | 視線検出装置 | |
| JP3352195B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
| JP2941847B2 (ja) | 視線検出装置 | |
| JP3134320B2 (ja) | 視線検出装置 | |
| JP2744417B2 (ja) | 視線検出装置を有する機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |