JPH06178763A - 視線検出装置および視線検出方法 - Google Patents
視線検出装置および視線検出方法Info
- Publication number
- JPH06178763A JPH06178763A JP4333157A JP33315792A JPH06178763A JP H06178763 A JPH06178763 A JP H06178763A JP 4333157 A JP4333157 A JP 4333157A JP 33315792 A JP33315792 A JP 33315792A JP H06178763 A JPH06178763 A JP H06178763A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- light
- line
- eyeball
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】
【目的】 撮影者の目の位置が前後左右にずれた場合
の、視線方向の検出精度の低下を防止すること。 【構成】 照射角の異なる複数の光源の中の１以上の光
源から発光された光により眼球を照射し、眼球からの反
射光により眼球と光源との距離を算出し、この距離に基
づいて発光する光源を切り替え、眼球の角膜表面と光源
との距離に基づいて、適切な照射角を有する光源を発光
する。照射角の異なる複数の光源の中の１以上の光源か
ら発光された光により眼球を照射し、眼球から反射され
た光源の数に基づいて、発光する光源を切り替える。
の、視線方向の検出精度の低下を防止すること。 【構成】 照射角の異なる複数の光源の中の１以上の光
源から発光された光により眼球を照射し、眼球からの反
射光により眼球と光源との距離を算出し、この距離に基
づいて発光する光源を切り替え、眼球の角膜表面と光源
との距離に基づいて、適切な照射角を有する光源を発光
する。照射角の異なる複数の光源の中の１以上の光源か
ら発光された光により眼球を照射し、眼球から反射され
た光源の数に基づいて、発光する光源を切り替える。
Description
【０００１】
【産業上の利用分野】本発明は、視線の方向を検出する
装置および方法に関するものである。
装置および方法に関するものである。
【０００２】
【従来の技術】従来より、観察者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線検出装置が
多数提供されている。
を観察しているかを検出する、いわゆる視線検出装置が
多数提供されている。
【０００３】視線検出装置の一例として、特開平１−２
７４７３６号広報に開示されるものにおいては、光源か
らの平行光束を観察者の眼球の前眼部へ投射し、角膜か
らの反射光による角膜反射像と瞳孔の結像位置を利用し
て視軸を求めている。
７４７３６号広報に開示されるものにおいては、光源か
らの平行光束を観察者の眼球の前眼部へ投射し、角膜か
らの反射光による角膜反射像と瞳孔の結像位置を利用し
て視軸を求めている。
【０００４】また、本出願人は２ケの発散光源からの光
を観察者の眼球へ投射する方法による視線検出装置付き
ビデオカメラ／カメラを提案している。この方式を有す
るビデオカメラの例を以下に説明する。
を観察者の眼球へ投射する方法による視線検出装置付き
ビデオカメラ／カメラを提案している。この方式を有す
るビデオカメラの例を以下に説明する。
【０００５】図６は、上記装置を設けたビデオカメラ用
ファインダの斜視図であり、７はビューファインダ鏡筒
部、５はＥＶＦ画面、９はアイカップ、６ａ，６ｂは観
察者に対して不感の赤外光を発光する発光ダイオード
（ＩＲＥＤ）等の光源である。図５は、図６に示したＩ
ＲＥＤ６ａ，６ｂを用いた視線検出方法の原理を示す説
明図である。各光源６ａ，６ｂは結像１１の光軸に対し
て図５（ａ）に示すように、眼球の上部方向から見て略
対称に配置され、また図５（ｂ）に示すように眼球の側
面方向から見て上記光軸のやや下側に配置され、観察者
の眼球を発散照明する。眼球で反射した照明光の一部
は、結像レンズ１３によってイメージセンサ１２に結像
する。
ファインダの斜視図であり、７はビューファインダ鏡筒
部、５はＥＶＦ画面、９はアイカップ、６ａ，６ｂは観
察者に対して不感の赤外光を発光する発光ダイオード
（ＩＲＥＤ）等の光源である。図５は、図６に示したＩ
ＲＥＤ６ａ，６ｂを用いた視線検出方法の原理を示す説
明図である。各光源６ａ，６ｂは結像１１の光軸に対し
て図５（ａ）に示すように、眼球の上部方向から見て略
対称に配置され、また図５（ｂ）に示すように眼球の側
面方向から見て上記光軸のやや下側に配置され、観察者
の眼球を発散照明する。眼球で反射した照明光の一部
は、結像レンズ１３によってイメージセンサ１２に結像
する。
【０００６】図４（ａ）にイメージセンサ１２に投影さ
れる眼球像の概略図を、図４（ｂ）に図４（ａ）のライ
ンＡＡ上のイメージセンサ１２の出力強度図を示す。
れる眼球像の概略図を、図４（ｂ）に図４（ａ）のライ
ンＡＡ上のイメージセンサ１２の出力強度図を示す。
【０００７】以下、図４ないし図６を用いて視線の検出
方法を説明する。
方法を説明する。
【０００８】まず水平面で考えると、図５（ａ）に示す
ように、光源６ｂより放射された赤外光は観察者の眼球
８の角膜１０を照明する。このとき角膜１０の表面で反
射した赤外光により形成される角膜反射像ｄ（虚像）
は、結像レンズ１３により集光され、イメージセンサ１
２上の位置ｄ′に結像する。
ように、光源６ｂより放射された赤外光は観察者の眼球
８の角膜１０を照明する。このとき角膜１０の表面で反
射した赤外光により形成される角膜反射像ｄ（虚像）
は、結像レンズ１３により集光され、イメージセンサ１
２上の位置ｄ′に結像する。
【０００９】同様に光源６ａより放射された赤外光は眼
球の角膜１０を照明する。このとき角膜１０の表面で反
射した赤外光より形成された角膜反射像ｅ（虚像）は、
結像レンズ１３により集光され、イメージセンサ１２上
の位置ｅ′に結像する。
球の角膜１０を照明する。このとき角膜１０の表面で反
射した赤外光より形成された角膜反射像ｅ（虚像）は、
結像レンズ１３により集光され、イメージセンサ１２上
の位置ｅ′に結像する。
【００１０】また、虹彩４の端部ａ，ｂからの光束は、
結像レンズ１３を介して、イメージセンサ１２上の位置
ａ′，ｂ′に該端部ａ，ｂの像を結像する。
結像レンズ１３を介して、イメージセンサ１２上の位置
ａ′，ｂ′に該端部ａ，ｂの像を結像する。
【００１１】接眼レンズ１１の光軸に対する、眼球８の
光軸の回転角θは、十分に小さいので、虹彩４の端部
ａ，ｂのＸ座標をＸａ，Ｘｂとすると瞳孔１の中心位置
ｃの座標Ｘｃは、
光軸の回転角θは、十分に小さいので、虹彩４の端部
ａ，ｂのＸ座標をＸａ，Ｘｂとすると瞳孔１の中心位置
ｃの座標Ｘｃは、
【００１２】
【数１】 Xc＝ (Xa＋Xb)/2 …(1) と表される。
【００１３】一方角膜１０の曲率中心ＯのＸ座標をＸｏ
とすると、眼球８の光軸に対する回転角θｘは、
とすると、眼球８の光軸に対する回転角θｘは、
【００１４】
【数２】 OC＊sin θx ＝Xc−Xo …(2) となる。
【００１５】また、角膜反射像ｄおよびｅの中点と、角
膜の曲率中心Ｏとの距離のｘ成分をδｘとおくと、ｘｏ
は、
膜の曲率中心Ｏとの距離のｘ成分をδｘとおくと、ｘｏ
は、
【００１６】
【数３】 Xo＝ (Xd＋Xe)/2 ＋δx …(3) である。
【００１７】ここでＸｄは虚像ｄの座標値のＸ成分、Ｘ
ｅは虚像ｅの座標値のＸ成分である。δｘは、装置の配
置および眼球距離等から以下のように幾何学的に求めら
れる。角膜表面とＬＥＤ６との距離のｘ成分の最小値を
Ｓｚｅ、角膜の曲率中心Ｏと角膜表面との距離のｘ成分
の最大値をＲｃ，虚像ｄおよびｅの中心点と、角膜の曲
率中心Ｏとの距離のｘ成分をＳｚｐとおくと、
ｅは虚像ｅの座標値のＸ成分である。δｘは、装置の配
置および眼球距離等から以下のように幾何学的に求めら
れる。角膜表面とＬＥＤ６との距離のｘ成分の最小値を
Ｓｚｅ、角膜の曲率中心Ｏと角膜表面との距離のｘ成分
の最大値をＲｃ，虚像ｄおよびｅの中心点と、角膜の曲
率中心Ｏとの距離のｘ成分をＳｚｐとおくと、
【００１８】
【数４】
【００１９】である。
【００２０】よって、（１）式（３）式を（２）式へ代
入し、θｘを求めると、
入し、θｘを求めると、
【００２１】
【数５】 θx ＝arcsin[(Xa＋Xb)/2 −{(Xd−Xe)/2 ＋δx}] …(4) となる。イメージセンサに投影された特徴点ａ′，
ｂ′，ｃ′，ｄ′，ｅ′の座標を用いて（４）式を書き
換えると、
ｂ′，ｃ′，ｄ′，ｅ′の座標を用いて（４）式を書き
換えると、
【００２２】
【数６】
【００２３】となる。
【００２４】ここでβは結像レンズ１３に対する眼球の
距離により定まる倍率であり、角膜反射像の間隔｜Ｘ
ｄ′−Ｘｅ′｜の関数として与えられる。このβの導入
式は当業者に周知なので、詳細な説明は省略する。
距離により定まる倍率であり、角膜反射像の間隔｜Ｘ
ｄ′−Ｘｅ′｜の関数として与えられる。このβの導入
式は当業者に周知なので、詳細な説明は省略する。
【００２５】図５（ｂ）を用いて、眼球の側面方向から
見た眼球の回転角θｙについて説明する。２ケのＩＲＥ
Ｄ６ａ，６ｂによる角膜反射像は垂直方向の同位置に発
生する。この位置をｉとする。
見た眼球の回転角θｙについて説明する。２ケのＩＲＥ
Ｄ６ａ，６ｂによる角膜反射像は垂直方向の同位置に発
生する。この位置をｉとする。
【００２６】眼球の回転角θｙの算出方法は、水平面の
時とほぼ同一であるが、（３）式のみ異なり、角膜曲率
中心ＯのＹ座標をＹｏとすると、
時とほぼ同一であるが、（３）式のみ異なり、角膜曲率
中心ＯのＹ座標をＹｏとすると、
【００２７】
【数７】 Yo＝Yi＋δy …(6) ここでδｙは、装置の配置および眼球距離等から幾何学
的に求められ、
的に求められ、
【００２８】
【数８】
【００２９】である。
【００３０】よって、垂直方向の回転角θｙは、
【００３１】
【数９】
【００３２】となる。さらに、ビデオカメラのＥＶＦ画
面上の位置座標（Ｘｎ，Ｙｎ）は、ファインダ−光学系
で決まる定数ｍを用いると、水平面上、垂直面上それぞ
れで、
面上の位置座標（Ｘｎ，Ｙｎ）は、ファインダ−光学系
で決まる定数ｍを用いると、水平面上、垂直面上それぞ
れで、
【００３３】
【数１０】
【００３４】
【数１１】
【００３５】となる。
【００３６】
【発明が解決しようとする課題】しかしながら、撮影者
の目の位置が、光源に対して前後左右に多少ずれること
により、照明状態が悪化する場合がある。
の目の位置が、光源に対して前後左右に多少ずれること
により、照明状態が悪化する場合がある。
【００３７】図１１は、従来例による眼球照明状態の構
成図であり、図１１において３１および３２は、それぞ
れＩＲＥＤ６ａおよび６ｂの照明角、３３，３４，３
５，３６はそれぞれの位置を示している。
成図であり、図１１において３１および３２は、それぞ
れＩＲＥＤ６ａおよび６ｂの照明角、３３，３４，３
５，３６はそれぞれの位置を示している。
【００３８】ここで、位置３３，３４はＩＲＥＤに対し
て眼球が近距離にある状態を、３５，３６は遠距離にあ
る状態を、３５，３３は眼球が光軸上、３６，３４は左
方向にずれた状態を示す。図において、目が３４の位置
にある時は、ＩＲＥＤ６ａの照明角からはずれているた
め角膜反射像ｅがＬＣＤ１２に投影されない。またこの
とき、他方のＩＲＥＤ６ｂのみが照明するので像が暗
く、瞳孔エッジを検出しにくく、視線方向の検出精度が
低下するという問題があった。
て眼球が近距離にある状態を、３５，３６は遠距離にあ
る状態を、３５，３３は眼球が光軸上、３６，３４は左
方向にずれた状態を示す。図において、目が３４の位置
にある時は、ＩＲＥＤ６ａの照明角からはずれているた
め角膜反射像ｅがＬＣＤ１２に投影されない。またこの
とき、他方のＩＲＥＤ６ｂのみが照明するので像が暗
く、瞳孔エッジを検出しにくく、視線方向の検出精度が
低下するという問題があった。
【００３９】そこで本発明の目的は、撮影者の目の位置
が前後左右に多少ずれた場合でも、視線方向の検出精度
が低下しない視線方向検出装置および視線検出方法を提
供することにある。
が前後左右に多少ずれた場合でも、視線方向の検出精度
が低下しない視線方向検出装置および視線検出方法を提
供することにある。
【００４０】
【課題を解決するための手段】このような目的を達成す
るために請求項１に記載の視線検出装置は、眼球を照射
する光の反射光を検出することにより、眼球の視線方向
を検出する視線検出装置において、照射角の異なる複数
の光源と、前記眼球と前記複数の光源との距離を検出す
る検出手段と、前記検出手段の出力に応じて前記複数の
光源のいずれを発光するかを決定する決定手段とを有す
ることを特徴とする。
るために請求項１に記載の視線検出装置は、眼球を照射
する光の反射光を検出することにより、眼球の視線方向
を検出する視線検出装置において、照射角の異なる複数
の光源と、前記眼球と前記複数の光源との距離を検出す
る検出手段と、前記検出手段の出力に応じて前記複数の
光源のいずれを発光するかを決定する決定手段とを有す
ることを特徴とする。
【００４１】請求項２に記載の視線検出装置は、眼球を
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出装置において、前記眼球と前記
眼球を照射するための光源との距離を検出する検出手段
と、前記検出手段の出力に応じて前記光源の照射角を設
定する設定手段とを有することを特徴とする。
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出装置において、前記眼球と前記
眼球を照射するための光源との距離を検出する検出手段
と、前記検出手段の出力に応じて前記光源の照射角を設
定する設定手段とを有することを特徴とする。
【００４２】請求項３に記載の視線検出方法は、眼球を
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出方法において、前記眼球と前記
眼球を照射するための照射角の異なる複数の光源との距
離を検出するステップと、前記検出された距離に応じて
前記照射角の異なる複数の光源のいずれを発光するかを
決定するステップと、前記決定された光源を用いて前記
眼球の視線方向を検出するステップとを具えることを特
徴とする。
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出方法において、前記眼球と前記
眼球を照射するための照射角の異なる複数の光源との距
離を検出するステップと、前記検出された距離に応じて
前記照射角の異なる複数の光源のいずれを発光するかを
決定するステップと、前記決定された光源を用いて前記
眼球の視線方向を検出するステップとを具えることを特
徴とする。
【００４３】請求項４に記載の視線検出方法は、眼球を
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出方法において、前記眼球と前記
眼球を照射するための光源との距離を検出するステップ
と、前記検出された距離に応じて前記光源の照射角を設
定するステップと、前記設定された光源を用いて前記眼
球の視線方向を検出するステップとを具えることを特徴
とする。
照射する光の反射光を検出することにより、眼球の視線
方向を検出する視線検出方法において、前記眼球と前記
眼球を照射するための光源との距離を検出するステップ
と、前記検出された距離に応じて前記光源の照射角を設
定するステップと、前記設定された光源を用いて前記眼
球の視線方向を検出するステップとを具えることを特徴
とする。
【００４４】
【作用】本発明によれば、眼球と光源との距離を算出
し、この距離に基づいて、照射角の異なる複数の光源の
いずれを発光するかを決定し光源を切り替えるので、眼
球の角膜表面と光源との距離に基づいて、適切な照射角
を有する光源を発光することができる。
し、この距離に基づいて、照射角の異なる複数の光源の
いずれを発光するかを決定し光源を切り替えるので、眼
球の角膜表面と光源との距離に基づいて、適切な照射角
を有する光源を発光することができる。
【００４５】また本発明によれば、眼球と光源との距離
を算出し、この距離に基づいて、光源の照射角を設定す
るので、眼球の位置に対応した適切な照射角で光源を発
光できる。
を算出し、この距離に基づいて、光源の照射角を設定す
るので、眼球の位置に対応した適切な照射角で光源を発
光できる。
【００４６】従って本発明によれば、撮影者の目の位置
が前後左右に多少ずれた場合でも、視線方向の検出精度
の低下を防止することができる。
が前後左右に多少ずれた場合でも、視線方向の検出精度
の低下を防止することができる。
【００４７】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【００４８】（実施例１）図７は、本発明の一実施例に
かかるビデオカメラのブロック図である。図７におい
て、１４は小型ブラウン管、液晶等を利用したエレクト
リックビューファインダ（ＥＶＦ）である。１５は、赤
外波長を反射し、可視光を透過するように設計されたダ
イクロイックミラー、１１は結像レンズ、１２は視線検
出専用イメージセンサ、１１はファインダの接眼レン
ズ、６ａ，６ｂ，３７ａ，３７ｂは眼球照明用のＩＲＥ
Ｄであり、６ａ，６ｂは遠距離用、３７ａ，３７ｂは近
距離用である。１０は角膜、２０はカメラ撮像用のイメ
ージセンサ、２１はカメラ撮影用レンズ、２２はそのレ
ンズ用絞り、２３はＡＦレンズ駆動用モータ、１６は注
視点位置検出回路、１７はＩＲＥＤ駆動回路、１８はビ
ューファインダ表示回路、１９は磁気記録回路、２４は
映像信号処理回路、２７はカメラ全体を制御するシステ
ムコントロール用ＣＰＵ、２８はＣＰＵに付属するメモ
リ、２６は絞り駆動回路、２５はＡＦモータ駆動回路、
２９は視線追尾ＡＦ／ＡＥモードへの移行用スライドス
イッチである。
かかるビデオカメラのブロック図である。図７におい
て、１４は小型ブラウン管、液晶等を利用したエレクト
リックビューファインダ（ＥＶＦ）である。１５は、赤
外波長を反射し、可視光を透過するように設計されたダ
イクロイックミラー、１１は結像レンズ、１２は視線検
出専用イメージセンサ、１１はファインダの接眼レン
ズ、６ａ，６ｂ，３７ａ，３７ｂは眼球照明用のＩＲＥ
Ｄであり、６ａ，６ｂは遠距離用、３７ａ，３７ｂは近
距離用である。１０は角膜、２０はカメラ撮像用のイメ
ージセンサ、２１はカメラ撮影用レンズ、２２はそのレ
ンズ用絞り、２３はＡＦレンズ駆動用モータ、１６は注
視点位置検出回路、１７はＩＲＥＤ駆動回路、１８はビ
ューファインダ表示回路、１９は磁気記録回路、２４は
映像信号処理回路、２７はカメラ全体を制御するシステ
ムコントロール用ＣＰＵ、２８はＣＰＵに付属するメモ
リ、２６は絞り駆動回路、２５はＡＦモータ駆動回路、
２９は視線追尾ＡＦ／ＡＥモードへの移行用スライドス
イッチである。
【００４９】ＩＲＥＤにより角膜１０を照明すると、そ
の反射光は、そのうちの赤外光のみがダイクロイックミ
ラー１５により反射され、結像レンズ１３を介してイメ
ージセンサ１２に入射し、これによりセンサ１２に角膜
１０が結像される。このとき、図８、図９にて後述され
るように、視線検出処理がなされた複数の光源の内の適
切な光源が選択される。結像された眼１１の像は、電気
信号に変換され、注視点位置検出回路１６へ入力され、
注視点座標が算出される。さらに、その注視点座標情報
に基づいて、システムコントロール用ＣＰＵ２７は、Ａ
Ｆモータ駆動回路２５，絞り駆動回路２６を制御する。
ＩＲＥＤ駆動回路１７は、ＩＲＥＤ６ａ，６ｂ，３７
ａ，３７ｂを駆動し、イメージセンサ１２の像が適切な
明るさとなるよう制御する。また、カメラの撮影用レン
ズ２１を通った被写体光は、絞りを通ってイメージセン
サ２０に撮像され、映像信号処理回路２４，磁気記録回
路１９を経てＶＴＲへ記録される。映像信号処理回路２
４は、所定撮影エリア（例えば中央部）の高周波成分を
取り出し、その情報をシステムコントロール用ＣＰＵ２
７へ送る。ＣＰＵ２７は、高周波成分の振幅が最大とな
るようにＡＦモータ駆動回路２５を動作させることによ
り、オートフォーカスの動作を行う。ただし、視線追尾
ＡＦ／ＡＥモード（ＳＷ１ ＯＮ）の時は、前記所定撮
影エリアの座標を、注視点情報に基づいて設定する。視
線情報は、システムコントロール用ＣＰＵ２７によりビ
ューファインダ表示回路１８に送られ、ファインダ内に
スーパーインポーズされる。
の反射光は、そのうちの赤外光のみがダイクロイックミ
ラー１５により反射され、結像レンズ１３を介してイメ
ージセンサ１２に入射し、これによりセンサ１２に角膜
１０が結像される。このとき、図８、図９にて後述され
るように、視線検出処理がなされた複数の光源の内の適
切な光源が選択される。結像された眼１１の像は、電気
信号に変換され、注視点位置検出回路１６へ入力され、
注視点座標が算出される。さらに、その注視点座標情報
に基づいて、システムコントロール用ＣＰＵ２７は、Ａ
Ｆモータ駆動回路２５，絞り駆動回路２６を制御する。
ＩＲＥＤ駆動回路１７は、ＩＲＥＤ６ａ，６ｂ，３７
ａ，３７ｂを駆動し、イメージセンサ１２の像が適切な
明るさとなるよう制御する。また、カメラの撮影用レン
ズ２１を通った被写体光は、絞りを通ってイメージセン
サ２０に撮像され、映像信号処理回路２４，磁気記録回
路１９を経てＶＴＲへ記録される。映像信号処理回路２
４は、所定撮影エリア（例えば中央部）の高周波成分を
取り出し、その情報をシステムコントロール用ＣＰＵ２
７へ送る。ＣＰＵ２７は、高周波成分の振幅が最大とな
るようにＡＦモータ駆動回路２５を動作させることによ
り、オートフォーカスの動作を行う。ただし、視線追尾
ＡＦ／ＡＥモード（ＳＷ１ ＯＮ）の時は、前記所定撮
影エリアの座標を、注視点情報に基づいて設定する。視
線情報は、システムコントロール用ＣＰＵ２７によりビ
ューファインダ表示回路１８に送られ、ファインダ内に
スーパーインポーズされる。
【００５０】更にＣＰＵ２７は、映像信号処理回路２４
から出力された輝度レベルから、注視点部のレベルを拾
いだし、絞り駆動回路２６を動作させて視線追尾による
ＡＥを行う。
から出力された輝度レベルから、注視点部のレベルを拾
いだし、絞り駆動回路２６を動作させて視線追尾による
ＡＥを行う。
【００５１】図１０に上記視線追尾ＡＦ／ＡＥ動作中の
ファインダ表示を示す。図１０において５はＥＶＦ画
面、３０はＡＦ／ＡＥ視線追尾枠である。ここで、撮影
者が注視したポイントに追尾枠３０が表示され、そのエ
リアにＡＥ／ＡＦが行われるため、撮影者の意志に基づ
いたＡＦ／ＡＥが可能になる。前記追尾枠３０は図中の
矢印のように視線により移動可能である。
ファインダ表示を示す。図１０において５はＥＶＦ画
面、３０はＡＦ／ＡＥ視線追尾枠である。ここで、撮影
者が注視したポイントに追尾枠３０が表示され、そのエ
リアにＡＥ／ＡＦが行われるため、撮影者の意志に基づ
いたＡＦ／ＡＥが可能になる。前記追尾枠３０は図中の
矢印のように視線により移動可能である。
【００５２】図８は視線追尾ＡＦ／ＡＥシステムの処理
手順を示すフローチャートである。
手順を示すフローチャートである。
【００５３】まず、視線追尾ＡＦ／ＡＥモード移行用ス
ライドスイッチ２９（ＳＷ１）がＯＮであるかどうかを
判断し（＃８０２）、ＯＦＦならば通常の中央部エリア
のＡＦ／ＡＥ（通常のＡＦ／ＡＥ）行う（＃８０３）。
またＯＮであれば、視線検出ルーチン（＃８０４）で注
視線座標を求め、これに基づいて注視点表示を行い（＃
８０５）、ＡＦ／ＡＥを動作させ（＃８０６）、＃８０
２の処理に戻る。
ライドスイッチ２９（ＳＷ１）がＯＮであるかどうかを
判断し（＃８０２）、ＯＦＦならば通常の中央部エリア
のＡＦ／ＡＥ（通常のＡＦ／ＡＥ）行う（＃８０３）。
またＯＮであれば、視線検出ルーチン（＃８０４）で注
視線座標を求め、これに基づいて注視点表示を行い（＃
８０５）、ＡＦ／ＡＥを動作させ（＃８０６）、＃８０
２の処理に戻る。
【００５４】図９は、上述したステップ＃８０４の視線
検出ルーチンの処理手順を示すフローチャートである。
まずＩＲＥＤ３７ａ，３７ｂを点灯し、眼を照明する
（＃９０５）。次にイメージセンサ１２の電荷蓄積を行
い、信号を読み出す（＃９１０）。読み出した信号によ
り、角膜反射像の座標を検出し（＃９１５）、瞳孔エッ
ジを求め（＃９２０）、瞳孔中心（Ｃの座標）を求める
（＃９２５）。
検出ルーチンの処理手順を示すフローチャートである。
まずＩＲＥＤ３７ａ，３７ｂを点灯し、眼を照明する
（＃９０５）。次にイメージセンサ１２の電荷蓄積を行
い、信号を読み出す（＃９１０）。読み出した信号によ
り、角膜反射像の座標を検出し（＃９１５）、瞳孔エッ
ジを求め（＃９２０）、瞳孔中心（Ｃの座標）を求める
（＃９２５）。
【００５５】瞳孔中心Ｃの座標（図５参照）は、瞳孔エ
ッジ２の座標を多数点ピックアップし、最小自乗法等に
より算出する。図４（ｂ）に示すように、瞳孔エッジ２
の検出は、イメージセンサ出力波形の立ち上がり（Ｘ
ｂ′）および立ち下がり（Ｘａ′）を利用する。また、
角膜反射像の座標は、Ｘａ′とＸｂ′間で出力ピークが
存在する位置（Ｘｅ′およびＸｄ′）を利用する。次
に、２ケの角膜反射像間隔を検出し（＃９３０）眼球距
離Ｓｚｅを算出する（＃９３５）。
ッジ２の座標を多数点ピックアップし、最小自乗法等に
より算出する。図４（ｂ）に示すように、瞳孔エッジ２
の検出は、イメージセンサ出力波形の立ち上がり（Ｘ
ｂ′）および立ち下がり（Ｘａ′）を利用する。また、
角膜反射像の座標は、Ｘａ′とＸｂ′間で出力ピークが
存在する位置（Ｘｅ′およびＸｄ′）を利用する。次
に、２ケの角膜反射像間隔を検出し（＃９３０）眼球距
離Ｓｚｅを算出する（＃９３５）。
【００５６】角膜表面と光源との距離Ｓｚｅは、図５で
示した符号を用いて、次式で表せる。
示した符号を用いて、次式で表せる。
【００５７】
【数１２】
【００５８】ここに
【００５９】
【数１３】
【００６０】である。
【００６１】これらは光学式および幾何学的に求められ
る方程式である。
る方程式である。
【００６２】次に、算出したＳｚｅが予め定めた基準値
Ｓｚｘより小さいか否かを判断する（＃９４０）。ここ
にＳｚｘは、ＩＲＥＤ３７ａ，３７ｂで十分な精度の眼
角回転角度が算出できなくなる、眼球の角膜表面とＩＲ
ＥＤ３７ａおよび３７ｂとの最大の距離である。Ｓｚｘ
は実験により予め求めておく。ＩＲＥＤ３７ａおよび３
７ｂの片方のＩＲＥＤしか検出できなかった場合は、ス
テップ＃９４０で“Ｎｏ”を選択する。ステップ＃９４
０で“Ｎｏ”と判断した場合はＩＲＥＤ３７ａ，３７ｂ
を消灯し（＃９４５）、ＩＲＥＤ６ａ，６ｂを点灯する
（＃９５０）。これらの切り換えおよびＩＲＥＤの駆動
はＩＲＥＤ駆動回路１７により行う。ステップ＃９５５
では、ＣＣＤに電荷を蓄積し、信号を読み出す。読み出
された情報により角膜反射像の座標を検出し（＃９５
０）、瞳孔エッジを求め（＃９６５）、ステップ＃９３
０と同様に瞳孔中心を検出する（＃９７０）。次に２ケ
の角膜反射像間隔を算出し（＃９７５）、結像倍率βを
算出する。＃９４０でＳｚｅ＜Ｓｚｘ、すなわち“Ｙｅ
ｓ”と判断した場合は、結像倍率βを算出する（＃９８
０）。
Ｓｚｘより小さいか否かを判断する（＃９４０）。ここ
にＳｚｘは、ＩＲＥＤ３７ａ，３７ｂで十分な精度の眼
角回転角度が算出できなくなる、眼球の角膜表面とＩＲ
ＥＤ３７ａおよび３７ｂとの最大の距離である。Ｓｚｘ
は実験により予め求めておく。ＩＲＥＤ３７ａおよび３
７ｂの片方のＩＲＥＤしか検出できなかった場合は、ス
テップ＃９４０で“Ｎｏ”を選択する。ステップ＃９４
０で“Ｎｏ”と判断した場合はＩＲＥＤ３７ａ，３７ｂ
を消灯し（＃９４５）、ＩＲＥＤ６ａ，６ｂを点灯する
（＃９５０）。これらの切り換えおよびＩＲＥＤの駆動
はＩＲＥＤ駆動回路１７により行う。ステップ＃９５５
では、ＣＣＤに電荷を蓄積し、信号を読み出す。読み出
された情報により角膜反射像の座標を検出し（＃９５
０）、瞳孔エッジを求め（＃９６５）、ステップ＃９３
０と同様に瞳孔中心を検出する（＃９７０）。次に２ケ
の角膜反射像間隔を算出し（＃９７５）、結像倍率βを
算出する。＃９４０でＳｚｅ＜Ｓｚｘ、すなわち“Ｙｅ
ｓ”と判断した場合は、結像倍率βを算出する（＃９８
０）。
【００６３】以上のデータにより、前述した計算式に基
づいて眼球回転角θｘ，θｙを算出する（＃９８５）。
最後に、ＥＶＦ上の座標を算出し（＃９９０）、メイン
フローへ戻る（＃９９５）。
づいて眼球回転角θｘ，θｙを算出する（＃９８５）。
最後に、ＥＶＦ上の座標を算出し（＃９９０）、メイン
フローへ戻る（＃９９５）。
【００６４】図１は本発明の一実施例にかかる視線検出
装置による眼球照明状態の構成図である。図１におい
て、３７ａ，３７ｂは近距離用ＩＲＥＤ、６ａ，６ｂは
遠距離用ＩＲＥＤである。図９のフローチャートを用い
て説明したように、これらのＩＲＥＤをＩＲＥＤ駆動回
路１７により切換え、角膜表面が光源から近距離にある
ときにはＩＲＥＤ３７ａ，３７ｂを点灯し、遠距離にあ
るときにはＩＲＥＤ６ａ，６ｂを点灯する。
装置による眼球照明状態の構成図である。図１におい
て、３７ａ，３７ｂは近距離用ＩＲＥＤ、６ａ，６ｂは
遠距離用ＩＲＥＤである。図９のフローチャートを用い
て説明したように、これらのＩＲＥＤをＩＲＥＤ駆動回
路１７により切換え、角膜表面が光源から近距離にある
ときにはＩＲＥＤ３７ａ，３７ｂを点灯し、遠距離にあ
るときにはＩＲＥＤ６ａ，６ｂを点灯する。
【００６５】これにより、目の位置が図１の３４の位置
の如く近距離で左右にずれていても、２ケのＩＲＥＤ３
７ａ，３７ｂの照射角内に入っているので、角膜反射像
がＣＣＤに投影されないことや、照明が暗いために瞳孔
エッジが検出しにくくなることがない。
の如く近距離で左右にずれていても、２ケのＩＲＥＤ３
７ａ，３７ｂの照射角内に入っているので、角膜反射像
がＣＣＤに投影されないことや、照明が暗いために瞳孔
エッジが検出しにくくなることがない。
【００６６】なお、本実施例では、照明角の異なるＩＲ
ＥＤを２組使用したが、目の距離に応じて、３組以上の
ＩＲＥＤを使用することもできる。
ＥＤを２組使用したが、目の距離に応じて、３組以上の
ＩＲＥＤを使用することもできる。
【００６７】さらに、本実施例ではＩＲＥＤの切り替え
を自動で行ったが、撮影者の判断、裸眼と眼鏡装着時、
等により手動で切り替えても良い。
を自動で行ったが、撮影者の判断、裸眼と眼鏡装着時、
等により手動で切り替えても良い。
【００６８】（実施例２）図２は、第２の実施例による
眼球照明状態の構成図である。図２において（ａ）は目
の位置が近距離にある状態を、（ｂ）は遠距離にある状
態を示す。
眼球照明状態の構成図である。図２において（ａ）は目
の位置が近距離にある状態を、（ｂ）は遠距離にある状
態を示す。
【００６９】ここで、４１はＩＲＥＤの照明角が広がる
ように設計された近距離用レンズ、４２は照射角が狭く
なるように設計された遠距離用レンズ、４３はこれらの
ＩＲＥＤレンズを取り付けるベース部、４７はラックギ
ア、４８はウォームギア、４９はベース４３を矢印方向
にスライドさせる照射角設定用モータ、４４は照射角設
定用モータ駆動回路である。
ように設計された近距離用レンズ、４２は照射角が狭く
なるように設計された遠距離用レンズ、４３はこれらの
ＩＲＥＤレンズを取り付けるベース部、４７はラックギ
ア、４８はウォームギア、４９はベース４３を矢印方向
にスライドさせる照射角設定用モータ、４４は照射角設
定用モータ駆動回路である。
【００７０】照射角設定用モータ４９を駆動することに
より、目の位置がＬＥＤから遠距離にあるときはベース
部４３を上にスライドさせ、近距離にあるときはベース
部４３を下にスライドさせる。
より、目の位置がＬＥＤから遠距離にあるときはベース
部４３を上にスライドさせ、近距離にあるときはベース
部４３を下にスライドさせる。
【００７１】ＩＲＥＤ６ａ，６ｂからの赤外光は、目の
位置が遠距離にあるときはレンズ４２を通り照射角が狭
くなり（γ１）、近距離にあるときはレンズ４１を通り
照射角が広くなる（γ２）。
位置が遠距離にあるときはレンズ４２を通り照射角が狭
くなり（γ１）、近距離にあるときはレンズ４１を通り
照射角が広くなる（γ２）。
【００７２】ＬＥＤの切り替え以外の動作は、実施例１
と同様に行うことができる。
と同様に行うことができる。
【００７３】（実施例３）図３は、第３の実施例による
眼球照明状態の構成図であり、４５はＩＲＥＤ用レン
ズ、４６は可動型ＩＲＥＤレンズ取付ベースである。
眼球照明状態の構成図であり、４５はＩＲＥＤ用レン
ズ、４６は可動型ＩＲＥＤレンズ取付ベースである。
【００７４】照射角設定用モータ４９を駆動することに
よりベース４６が前後に移動し、ＩＲＥＤ６ａ，６ｂと
レンズ４５との距離が変化する。これにより、赤外光の
照射角も変化する。
よりベース４６が前後に移動し、ＩＲＥＤ６ａ，６ｂと
レンズ４５との距離が変化する。これにより、赤外光の
照射角も変化する。
【００７５】ＬＥＤの切り替え以外の動作は実施例１と
同様に行うことができる。さらに、本実施例では、眼球
との距離に応じて照射角を徐々に変化させることができ
る。
同様に行うことができる。さらに、本実施例では、眼球
との距離に応じて照射角を徐々に変化させることができ
る。
【００７６】
【発明の効果】以上から明らかなように、本発明視線検
出装置および視線検出方法によれば、眼球と光源との距
離を算出し、この距離に基づいて、照射角の異なる複数
の光源のいずれを発光するかを決定し光源を切り替える
ので、眼球の角膜表面と光源との距離に基づいて、適切
な照射角を有する光源を発光することができる。
出装置および視線検出方法によれば、眼球と光源との距
離を算出し、この距離に基づいて、照射角の異なる複数
の光源のいずれを発光するかを決定し光源を切り替える
ので、眼球の角膜表面と光源との距離に基づいて、適切
な照射角を有する光源を発光することができる。
【００７７】また本発明によれば、眼球と光源との距離
を算出し、この距離に基づいて、光源の照射角を設定す
るので、眼球の位置に対応した適切な照射角で光源を発
光できる。
を算出し、この距離に基づいて、光源の照射角を設定す
るので、眼球の位置に対応した適切な照射角で光源を発
光できる。
【００７８】すなわち、近距離においては照射角が広い
光源を用いることにより、眼球の位置が左右にずれた場
合にも眼球を照射することができる。また遠距離におい
ては、照射角が狭い光源を用い、眼球を照射する光量の
低下を避けることができる。
光源を用いることにより、眼球の位置が左右にずれた場
合にも眼球を照射することができる。また遠距離におい
ては、照射角が狭い光源を用い、眼球を照射する光量の
低下を避けることができる。
【００７９】
【図１】第１の実施例による眼球照明状態の構成図であ
る。
る。
【図２】第２の実施例による眼球照明状態の構成図であ
る。
る。
【図３】第３の実施例による眼球照明状態の構成図であ
る。
る。
【図４】（ａ）は眼球像の概略図、（ｂ）はイメージセ
ンサの出力強度図である。
ンサの出力強度図である。
【図５】視線検出方法の原理を示す説明図である。
【図６】従来例によるファインダ部斜視図である。
【図７】本発明による視線検出装置付ビデオカメラのブ
ロック図である。
ロック図である。
【図８】本発明による視線追尾ＡＦ／ＡＥシステムのフ
ローチャートである。
ローチャートである。
【図９】本発明による視線検出ルーチンのフローチャー
トである。
トである。
【図１０】従来例によるビデオカメラのファインダ表示
を示す説明図である。
を示す説明図である。
【図１１】従来例による眼球照明状態の構成図である。
１ 瞳孔 ２ 瞳孔エッジ検出ポイント ３ 瞳孔中心 ４ 虹彩 ５ ＥＶＦ画面 ６（ａ），６（ｂ） ＩＲＥＤ ７ ビューファインダ鏡筒部 ８ 眼球 ９ アイカップ １０ 角膜 １１ 接眼レンズ １２ イメージセンサ（視線検出用） １３ 結像レンズ １５ ダイクロイックミラー １６ 注視点位置検出回路 １７ ＩＲＥＤ駆動回路 １８ ビューファインダ表示回路 １９ 磁気記録回路 ２０ イメージセンサ（カメラ撮像用） ２１ 撮影用レンズ ２２ 絞り ２３ ＡＦモータ ２４ 映像信号処理回路 ２５ ＡＦモータ駆動回路 ２６ 絞り駆動回路 ２７ システムコントロール用ＣＰＵ ２８ メモリ ２９ 視線追尾ＡＦ／ＡＥ−通常ＡＦ／ＡＥ切り替えス
ライドＳＷ ３０ ＡＦ／ＡＥ視線追尾枠 ３１，３２，３８，３９ ＩＲＥＤの照射角 ３３，３４，３５，３６ 目の位置 ３７（ａ），３７（ｂ） 近距離用ＩＲＥＤ ４０ ＬＥＤ駆動／切り替え回路 ４１ 近距離用ＩＲＥＤレンズ ４２ 遠距離用ＩＲＥＤレンズ ４３ ＩＲＥＤレンズ取付ベース ４４ 照射角設定用モータ駆動回路 ４５ ＩＲＥＤレンズ ４６ 可動型ＩＲＥＤレンズ取付ベース ４７ ラックギア ４８ ウォームギア ４９ 照射角設定用モータ
ライドＳＷ ３０ ＡＦ／ＡＥ視線追尾枠 ３１，３２，３８，３９ ＩＲＥＤの照射角 ３３，３４，３５，３６ 目の位置 ３７（ａ），３７（ｂ） 近距離用ＩＲＥＤ ４０ ＬＥＤ駆動／切り替え回路 ４１ 近距離用ＩＲＥＤレンズ ４２ 遠距離用ＩＲＥＤレンズ ４３ ＩＲＥＤレンズ取付ベース ４４ 照射角設定用モータ駆動回路 ４５ ＩＲＥＤレンズ ４６ 可動型ＩＲＥＤレンズ取付ベース ４７ ラックギア ４８ ウォームギア ４９ 照射角設定用モータ
Claims (4)
- 【請求項１】 眼球を照射する光の反射光を検出するこ
とにより、眼球の視線方向を検出する視線検出装置にお
いて、 照射角の異なる複数の光源と、 前記眼球と前記複数の光源との距離を検出する検出手段
と、 前記検出手段の出力に応じて前記複数の光源のいずれを
発光するかを決定する決定手段とを有することを特徴と
する視線検出装置。 - 【請求項２】 眼球を照射する光の反射光を検出するこ
とにより、眼球の視線方向を検出する視線検出装置にお
いて、 前記眼球と前記眼球を照射するための光源との距離を検
出する検出手段と、 前記検出手段の出力に応じて前記光源の照射角を設定す
る設定手段とを有することを特徴とする視線検出装置。 - 【請求項３】 眼球を照射する光の反射光を検出するこ
とにより、眼球の視線方向を検出する視線検出方法にお
いて、 前記眼球と前記眼球を照射するための照射角の異なる複
数の光源との距離を検出するステップと、 前記検出された距離に応じて前記照射角の異なる複数の
光源のいずれを発光するかを決定するステップと、 前記決定された光源を用いて前記眼球の視線方向を検出
するステップとを具えることを特徴とする視線検出方
法。 - 【請求項４】 眼球を照射する光の反射光を検出するこ
とにより、眼球の視線方向を検出する視線検出方法にお
いて、 前記眼球と前記眼球を照射するための光源との距離を検
出するステップと、 前記検出された距離に応じて前記光源の照射角を設定す
るステップと、 前記設定された光源を用いて前記眼球の視線方向を検出
するステップとを具えることを特徴とする視線検出方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33315792A JP3320123B2 (ja) | 1992-12-14 | 1992-12-14 | 視線検出装置及びその方法並びにビデオカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33315792A JP3320123B2 (ja) | 1992-12-14 | 1992-12-14 | 視線検出装置及びその方法並びにビデオカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06178763A true JPH06178763A (ja) | 1994-06-28 |
| JP3320123B2 JP3320123B2 (ja) | 2002-09-03 |
Family
ID=18262929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33315792A Expired - Fee Related JP3320123B2 (ja) | 1992-12-14 | 1992-12-14 | 視線検出装置及びその方法並びにビデオカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3320123B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100366723B1 (ko) * | 1999-12-09 | 2003-01-10 | 주식회사 엘지이아이 | 홍채인식 시스템의 조명장치 |
| JP2007286191A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 接近検出装置および画像表示装置 |
-
1992
- 1992-12-14 JP JP33315792A patent/JP3320123B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100366723B1 (ko) * | 1999-12-09 | 2003-01-10 | 주식회사 엘지이아이 | 홍채인식 시스템의 조명장치 |
| JP2007286191A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 接近検出装置および画像表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3320123B2 (ja) | 2002-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8147064B2 (en) | Fundus camera | |
| JP3660118B2 (ja) | 前眼部撮影装置 | |
| WO2011027531A1 (en) | Fundus camera | |
| US7572010B2 (en) | Cornea imaging apparatus | |
| US9004684B2 (en) | Fundus camera | |
| JP2003521950A (ja) | 視標追跡システム | |
| JPH06304142A (ja) | 視線検出装置 | |
| JP3320123B2 (ja) | 視線検出装置及びその方法並びにビデオカメラ | |
| US5752090A (en) | Optical device having a line of sight detection apparatus | |
| JP7358130B2 (ja) | 電子機器およびその制御方法 | |
| JP4594402B2 (ja) | 自動焦点カメラ | |
| JP3109818B2 (ja) | 眼底カメラ | |
| JP4919862B2 (ja) | 角膜内皮撮影装置 | |
| JP2995878B2 (ja) | 視線検出装置を有した光学装置 | |
| JP3483366B2 (ja) | 視線検出手段を有するカメラ | |
| JP2941847B2 (ja) | 視線検出装置 | |
| JPH05232372A (ja) | 視線検出装置付きカメラ | |
| JP2000131599A (ja) | 視線選択機能を有する装置およびカメラ | |
| JP2023074878A (ja) | 視線検出装置、視線検出装置の制御方法およびプログラム | |
| JP4593805B2 (ja) | 自動焦点カメラ | |
| JPH1114897A (ja) | 光学機器 | |
| JPH1172699A (ja) | 観察光学装置 | |
| JPH07323008A (ja) | 視線検出装置、カメラ、及び、視線補正方法 | |
| JPH06304141A (ja) | 視線検出装置 | |
| JPH0943494A (ja) | 視線検出手段を有する光学機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080621 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090621 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090621 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100621 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110621 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120621 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |