JPH06163A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 眼球と視線検出手段との距離が変化しても眼
球の視線を高精度に求めることができる視線検出装置を
得ること。 【構成】 観察者の眼球に照明手段からの光束を照射
し、該眼球からの反射光に基づく角膜反射像と虹彩反射
像とを結像光学系で検出手段面上に結像させ、該検出手
段からの出力信号を利用して該眼球の視線を検出する
際、該結像光学系は該眼球からの反射光を分離する光束
分離手段と該眼球側が略テレセントリック系な結像レン
ズとを有していること。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線検出装置に関し、例
えば写真用カメラやビデオカメラ等のような光学装置に
おいて撮影系による被写体像が形成されている観察面
（ピント面）上の観察者（撮影者）が観察している注視
点方向の軸、所謂視線（視軸）を観察者の眼球面上を照
明手段からの光束で照明したときに形成される反射像を
利用して検出するようにした視線検出装置に関するもの
である。

【０００２】

【従来の技術】従来より観察者（被検者）が観察面上の
どの位置を観察しているかを検出する所謂視線（視軸）
を検出する視線検出装置が種々と提案されている。

【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を被検眼の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像（プルキンエ
像）と瞳孔の結像位置を利用して視軸（注視点）を求め
ている。

【０００４】図１７は視線検出方法の原理説明図であ
る。

【０００５】同図において９４は観察者に対して不感の
赤外光を放射する発光ダイオード等の光源であり、投光
レンズ９６の焦点面に配置されている。

【０００６】光源９４より発光した赤外光は投光レンズ
９６により平行光となりハーフミラー９５で反射し、眼
球９０の角膜９１を照明する。このとき角膜９１の表面
で反射した赤外光の一部に基づく角膜反射像（プルキン
エ像）ｄはハーフミラー９５を透過し受光レンズ９７に
より集光され、イメージセンサ９９上の位置ｄ’に角膜
反射像ｄを再結像する。

【０００７】又、虹彩９３の端部ａ，ｂからの光束はハ
ーフミラー９５、受光レンズ９７を介してイメージセン
サ９９上に導光され、その位置ａ’，ｂ’に該端部ａ，
ｂの像を結像する。受光レンズ９７の光軸アに対する眼
球の光軸イの回転角θが小さい場合、虹彩９３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、虹彩９３の中心
位置ｃの座標Ｚｃは

【０００８】

【数１】 と表わされる。

【０００９】又、角膜反射像の発生位置ｄのＺ座標をＺ
ｄ、角膜９１の曲率中心Ｏと虹彩９３の中心Ｃまでの距
離をＯＣとすると、眼球光軸イの回転角θは ＯＣ・ｓｉｎθ≒Ｚｃ−Ｚｄ ・・・・・・・・・・・・（１） の関係式を略満足する。このためイメージセンサ９９上
に投影された各特異点（角膜反射像ｄ及び虹彩の端部
ａ，ｂ）の位置を検出することにより眼球光軸イの回転
角θを求めることができる。この時（１）式は

【００１０】

【数２】 とかきかえられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ９７との距離Ｌと受光レンズ９７とイメー
ジセンサ９９との距離Ｌ₀ で決まる倍率である。ここで
Ｌ₀ は何らかの方法により求めている。

【００１１】このように観察者の被検眼の視線の方向
（注視点）を検出することにより、例えば一眼レフカメ
ラやビデオカメラ等においては撮影者がピント面上やフ
ァインダー面上のどの位置を観察しているかを知ること
ができる。

【００１２】これは、例えば自動焦点検出装置において
測距点を画面中心のみならず画面内の複数箇所に設けた
場合、観察者がそのうちの１つの測距点を選択して自動
焦点検出を行うとする場合、その１つを選択入力する手
間を省き観察者が観察している点を測距点と見なし、該
測距点を自動的に選択して自動焦点検出を行うのに有効
である。

【００１３】

【発明が解決しようとする課題】従来の視線検出装置で
は眼球の位置が基準位置より光軸方向に変化するとイメ
ージセンサ面上に形成される角膜反射像の位置及び大き
さが変化してくる。

【００１４】視線を求める際、２つの角膜反射像間の距
離から算出する場合には２つの角膜反射像の倍率を計算
し、それより元の眼球の位置関係を換算してから視線を
求める必要がある。

【００１５】この場合、結像倍率は光学系と眼球の位置
関係を検出しなければ求めることができず、視線の算出
に倍率の計算精度が大きく影響し、視線検出精度が低下
してくるという問題点があった。

【００１６】本発明は眼球からの反射光に基づく角膜反
射像（プルキンエ像）と虹彩反射像を適切に設定した結
像光学系により検出手段面上に形成することにより、眼
球の位置が基準位置より光軸方向に変化しても、これら
の反射像の検出手段面上での位置と大きさを高精度に検
出し、眼球の視線を高精度に求めることができる視線検
出装置の提供を目的とする。

【００１７】

【課題を解決するための手段】本発明の視線検出装置
は、観察者の眼球に照明手段からの光束を照射し、該眼
球からの反射光に基づく角膜反射像と虹彩反射像とを結
像光学系で検出手段面上に結像させ、該検出手段からの
出力信号を利用して該眼球の視線を検出する際、該結像
光学系は該眼球からの反射光を分離する光束分離手段と
該眼球側が略テレセントリック系な結像レンズとを有し
ていることを特徴としている。

【００１８】特に前記結像レンズのうち少なくとも１つ
のレンズ面は非球面であることや、前記照明手段からの
光束は近赤外光であること等を特徴としている。

【００１９】

【実施例】図１は本発明を一眼レフカメラに適用したと
きの実施例１の光学系の要部概略図、図２（Ａ），
（Ｂ），（Ｃ）は図１の一部分を展開したときの説明図
である。図３は図１の自動焦点検出装置の一部分の要部
概略図、図４，図５は本発明における視線検出方法の原
理説明図、図６，図７は図４のイメージセンサからの出
力信号強度の説明図である。

【００２０】図中、１は接眼レンズ（ファインダーレン
ズ）、２は可視光透過、赤外光反射のダイクロイックミ
ラーで光束分離手段である。

【００２１】光束分離手段２は波長特性により光束を分
離するものの他、光量をある割合で分割するものであっ
ても良い。４は結像レンズであり、２つのレンズ４ａ，
４ｂを有している。

【００２２】５（５ａ，５ｂ）は照明手段であり、例え
ば観察者に対して不感の赤外光を放射する発光ダイオー
ドから成っている。１６は検出手段としてのイメージセ
ンサーである。接眼レンズ１と結像レンズ４（４ａ，４
ｂ）と光束分離手段２は結像光学系３の一要素を構成し
ている。

【００２３】イメージセンサー１６は光電素子列を２次
元的に配置した構成より成り、結像レンズ４ａ，４ｂ及
び接眼レンズ１に関して所定の位置（眼鏡を使用しない
撮影者の一般的なアイポイントの位置）にある眼２０１
の瞳孔近傍と共役になるように配置している。

【００２４】７は開口絞りであり、結像光学系３が眼球
２０１側でテレセントリック系となるようにしている。
９は視線演算処理装置であり、イメージセンサー１６か
らの出力信号より観察者の眼球２０１の視線を演算し求
めている。各要素１，２，４，５，７，１６は眼球の視
線検出装置を構成している。

【００２５】１０１は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子（画像表示
部）、１０４はピント板、１０５はコンデンサーレン
ズ、１０６はペンタダハプリズム、１０７はサブミラ
ー、１０８は多点焦点検出装置であり、撮影画面内の複
数の領域を選択して焦点検出を行っている。

【００２６】多点焦点検出装置１０８は図３に描く様に
撮影レンズ１０１の予定結像面近傍に配され、夫々測距
域を決める複数のスリットを有する視野マスク１１０と
各スリット内の像に対してフィールドレンズの作用を果
たすレンズ部材１１１を近接配置し、更にスリット数に
応じた再結像レンズの組１１２と光電素子列の組１１３
を順置する。スリット１１０、フィールドレンズ１１
１、再結像レンズの組１１２、そして光電素子列の組１
１３はそれぞれ周知の焦点検出系を構成している。１０
９はカメラ制御装置であり、ファインダー内表示素子駆
動、焦点検出演算及びレンズ駆動機能等を有している。

【００２７】本実施例では撮影レンズ１０１の透過した
被写体光の一部はＱＲミラー１０２によって反射してピ
ント板１０４近傍に被写体像を結像する。ピント板１０
４の拡散面で拡散した被写体光はコンデンサーレンズ１
０５、ペンタダハプリズム１０６、接眼レンズ１を介し
てアイポイントＥに導光している。

【００２８】又、撮影レンズ１０１を透過した被写体光
の一部はＱＲミラー１０２を透過し、サブミラー１０７
で反射してカメラ本体底部に配置された前述の多点焦点
検出装置１０８に導光している。さらにカメラ制御装置
１０９からの信号に基づいて多点焦点検出装置１０８で
選択した被写体面上の位置の焦点検出情報に基づいて撮
影レンズ駆動装置（不図示）により撮影レンズ１０１の
繰り出し（もしくは繰り込み）が行なわれ、焦点調節が
行なわれる。

【００２９】本実施例における赤外発光ダイオード５
ａ，５ｂは図中Ｘ−Ｙ平面に関して対称に配置してい
る。

【００３０】赤外発光ダイオード（５ａ，５ｂ）から放
射した赤外光は観察者の眼球２０１を照明する。眼球２
０１で反射した赤外光は接眼レンズ１、光束分離手段
２、結像レンズ４を介してイメージセンサー１６上に像
を形成する。これらの眼球像データより観察者の視線を
算出している。

【００３１】次に図４，図５を用いて視線検出方法につ
いて説明する。

【００３２】図４では便宜上結像光学系３を１つのレン
ズで示し、又光束分離手段２は省略している。

【００３３】図中２０１は被検者（観察者）の眼球、２
１は被検者の眼球の角膜、２２は同じく強膜、２３は虹
彩である。Ｏ’は眼球２０１の回転中心、Ｏは角膜２１
の曲率中心、ａ，ｂは各々虹彩２３の端部、ｅ，ｆは各
々光源５ａ，５ｂに基づく角膜反射像の発生位置であ
る。５ａ，５ｂは各々光源で被検者に不感である赤外光
を放射する発光ダイオード等である。又光源５ａ（５
ｂ）は光軸アに対してＺ方向に対称に配置している。

【００３４】結像光学系３は角膜２１近傍に形成された
角膜反射像ｅ，ｆと虹彩２３の端部ａ，ｂをイメージセ
ンサ１６面上に結像している。

【００３５】９は演算手段であり、後述するようにイメ
ージセンサ１６からの出力信号を利用して、被検者の眼
球２０１の視線を演算し求めている。

【００３６】アは結像光学系３の光軸で図中のＸ軸と一
致している。イは眼球２０１の光軸でＸ軸に対して角度
θ傾いている。

【００３７】本実施例では光源５ａ（５ｂ）より発光し
た赤外光は眼球２０１の角膜２１を広く照明する。角膜
２１を透過した赤外光は虹彩２３を照明する。

【００３８】このとき眼球２０１を照明する赤外光のう
ち角膜２１の表面で反射した光束に基づく角膜反射像
ｅ，ｆを結像光学系３を介してイメージセンサ１６上の
点ｅ’，ｆ’に再結像する。

【００３９】このとき図中のｅ’及びｆ’は１組の光源
５ａ，５ｂにより発生した角膜反射像（虚像）ｅ及びｆ
の投影像である。投影像ｅ’及びｆ’の中点は光軸ア上
に照明手段を配置した際に発生する角膜反射像のイメー
ジセンサ１６への投影位置と略一致している。

【００４０】又、虹彩２３の表面で拡散反射した赤外光
は結像光学系３を介してイメージセンサ１６上に導光さ
れ、虹彩像を結像する。

【００４１】一方、眼球の瞳孔を通った赤外光は網膜を
照明してそこで吸収されるが、照明される領域は中心窩
から離れた視細胞の疎な領域であるため被検者はこの光
源５ａ，５ｂを視認し得ない。

【００４２】尚、図５の縦軸はイメージセンサ１６のｚ
方向の出力Ｉを示したものである。同図においては瞳孔
を通った赤外光はほどんど反射してかえってこない為、
瞳孔２４と虹彩２３の境界には出力差が生じ、その結
果，虹彩端部の虹彩像ａ’，ｂ’が検出される。

【００４３】そこで本実施例では演算装置９においてイ
メージセンサ１６上での眼球の各特異点（ａ’，ｂ’及
びｅ’，ｆ’）の座標（Ｚａ’，Ｚｂ’，及びＺｅ’，
Ｚｆ’）を検出するとともに（２）式に基づいた

【００４４】

【数３】 に従って眼球の回転角θの算出を行う。

【００４５】このときの回転角θより眼球の視軸を求
め、これより被検者の眼球２０１の視線を検出してい
る。但し、βは結像光学系の倍率（≒Ｌ₀ ／Ｌ₁ ）であ
る。

【００４６】本発明に係る視線検出装置において、角膜
反射像の発生位置と結像光学系３の距離Ｌ₁ は

【００４７】

【数４】 の関係式を満足する。このため視線検出装置と眼球まで
の距離が変化しても２つの角膜反射像の間隔｜Ｚｅ’−
Ｚｆ’｜より距離Ｌ₁ を算出可能である。

【００４８】但し、ｚ₀ は１組の光源５ａ（５ｂ）のｚ
方向の間隔、Ｌ₂ は光源５ａ（５ｂ）と結像光学系３と
のｘ方向の間隔である。

【００４９】次に図２、図６、図７を用いて本実施例の
結像光学系３の特徴について説明する。

【００５０】図２は図１の眼球２０１、接眼レンズ１、
結像レンズ３を展開した説明図であり、光束分離手段２
は省略している。図８は本発明に係る結像光学系３の後
述する数値実施例１のレンズ断面図である。図２（Ａ）
は眼球２０１が基準状態にあるときの軸外物点に対する
光路説明図である。

【００５１】本実施例では結像光学系３が入射側（眼球
２０１側）がテレセントリック系となっており、入射側
の主光線１０は結像光学系３の光軸１１と平行となって
いる。

【００５２】図５（Ａ）はイメージセンサー１６面上に
形成された眼球２０１からの反射光に基づく角膜反射像
ｄ’，ｅ’の説明図である。図５（Ｂ）は図５（Ａ）の
イメージセンサー１６面上の線分Ａの光の強度分布の説
明図である。図５（Ａ）に示すように角膜反射像ｄ’，
ｅ’はイメージセンサー１６面上に鮮鋭に結像されてい
る。又、図５（Ｂ）に示すように角膜反射像の光強度分
布は鋭いピーク値を示している。

【００５３】図２（Ｂ），（Ｃ）は図２（Ａ）の基準位
置より眼球２０１が光軸１１方向の前方と後方に各々移
動したときの軸外物点に対する光路説明図である。図２
（Ｂ），（Ｃ）において 最良結像位置はイメージセン
サー１６面の前後に各々ずれてくる。しかしながら結像
光学系３の眼球２０１側はテレセントリック系となって
いる為に、主光線１０のイメージセンサー１６面に入射
する位置は変化しない。この為イメージセンサー１６面
上での角膜反射像の大きさ（位置座標）は変わらない。

【００５４】即ち、図７（Ａ）に示すようにイメージセ
ンサー１６面上で角膜反射像ｄ’，ｅ’はボケて結像す
るが、図７（Ｂ）に示すように線分Ａ上での角膜反射像
ｄ’，ｅ’の強度分布のピーク位置は変わらない。

【００５５】この為、図７（Ｂ）に示す角膜反射像
ｄ’，ｅ’のピーク又はエッジを検出すれば眼球の光軸
上の位置によらず、角膜反射像ｄ’，ｅ’の位置座標を
高精度に求めることができる。

【００５６】本実施例では、このように結像光学系３の
眼球側がテレセントリック系となるように構成して、眼
球の角膜反射像や虹彩反射像の位置座標を求めることに
より眼球の視線を高精度に検出している。

【００５７】又、図８に示すように結像光学系３を構成
する結像レンズ４をバックフォーカスが短かくなりすぎ
ないように凹凸系の２群より構成している。

【００５８】尚、図１に示す実施例１において照明手段
５を光束分離手段２と接眼レンズ１との間又は結像レン
ズ４と光束分離手段２との間に配置して接眼レンズ１を
介して眼球２０１を照明するようにしても良い。特に光
源５ａ，５ｂを接眼レンズ１の焦点面におけば眼球を平
行光で照明することができるので検出精度上好ましい。

【００５９】図９〜図１３は各々本発明の実施例２〜６
の結像光学系３近傍の要部概略図である。図中、図１で
示した要素と同一要素には同符番を付している。

【００６０】図９、図１０の実施例２，３では接眼レン
ズ１を２つのレンズ１ａ，１ｂより構成し、該レンズ１
ａとレンズ１ｂとの間に光束分離手段２を配置してい
る。これにより接眼レンズとしての屈折力をレンズ１ａ
とレンズ１ｂの２つのレンズで分担することにより収差
の発生量を少なくしている。

【００６１】図１１の実施例４では光束分離手段２を内
部にハーフミラー面２ａを有するプリズム２より構成
し、これにより結像光学系３の小型化を図っている。

【００６２】図１２の実施例５では光束分離手段２を内
部にハーフミラー面２ａを有するプリズムより構成する
と共に結像光学系３を結像レンズ４（４ａ，４ｂ）と光
束分離手段２とから構成し、接眼レンズ１を外してい
る。

【００６３】図１３の実施例６では光束分離手段２と結
像レンズ４との間に第２の光束分離手段１２を配置して
いる。そして光源１４からの光束をレンズ１３で集光
し、光束分離手段１２，２で反射させた後、接眼レンズ
１を介して眼球２０１を照明している。

【００６４】本実施例では眼球２０１を接眼レンズ１の
光軸方向から照明し、角膜反射像が眼球２０１の中央部
に形成するようにしている。これにより視線の検出精度
の向上を図っている。

【００６５】次に本発明の結像光学系３の数値実施例を
示す。数値実施例においてＲｉは眼球側より順に第ｉ番
目のレンズ面の曲率半径、Ｄｉは眼球側より第ｉ番目の
レンズ厚及空気間隔、Ｎｉとνｉは各々眼球側より順に
第ｉ番目のレンズのガラスの屈折率とアッベ数である。
βは結像倍率、ＮＡは開口数である。

【００６６】尚、各数値実施例における最終の２つのレ
ンズ面はフィルターや検出手段におけるガラスプレート
等を示している。

【００６７】数値実施例１，２，３は各々図８，図９，
図１０に各々対応している。

【００６８】非球面形状は光軸方向にＸ軸、光軸と垂直
方向にＨ軸、光の進行方向を正としＲを近軸曲率半径、
Ａ，Ｂ，Ｃ，Ｄ，Ｅを各々非球面係数としたとき

【００６９】

【数５】 なる式で表わしている。

【００７０】 数値実施例１ β=-0.1 image hight= ±0.03 NA 0.28 R 1 1.0649 D 1 0.242 N 1 1.50137 ν 1 56.4 R 2 -0.8755 D 2 0.901 R 3 -0.2735 D 3 0.093 N 3 1.69680 ν 3 55.5 R 4 0.2735 D 4 0.019 R 5 絞り D 5 0.503 R 6 1.2567 D 6 0.134 N 6 1.51602 ν 6 56.8 R 7 -0.3908 D 7 0.004 R 8 0.2723 D 8 0.145 N 8 1.51602 ν 8 56.8 R 9 -52.4262 D 9 0.074 R10 ∞ D 10 0.030 N10 1.51633 ν10 64.2 R11 ∞ 非球面係数 Ｒ２ A 0.0 B 4.996 ×10^-1 C 4.329 ×10^-1 D 0.0 非球面係数 Ｒ８ A 0.0 B -6.348 C 5.386 ×10^-1 D -2.806 ×10^-3 数値実施例２ β=-0.1 image hight=±0.03 NA 0.28 R 1 0.7179 D 1 0.187 N 1 1.50137 ν 1 56.4 R 2 -6.8000 D 2 0.960 R 3 -0.5308 D 3 0.093 N 3 1.69680 ν 3 55.5 R 4 0.5308 D 4 0.329 R 5 絞り D 5 0.0 R 6 0.1226 D 6 0.093 N 6 1.51602 ν 6 56.8 R 7 -0.3544 D 7 0.075 R 8 ∞ D 8 0.030 N 8 1.51633 ν 8 64.2 R 9 ∞ 非球面係数 Ｒ１ A 0.0 B -3.950 ×10^-1 C 6.825 ×10^-1 D -2.748 非球面係数 Ｒ７ A 0.0 B 1.680 ×10² C -3.066 ×10² D -9.527 ×10³ 数値実施例３ β=-0.1 image hight =±0.03 NA 0.28 R 1 0.7349 D 1 0.149 N 1 1.501372 ν 1 56.4 R 2 3.1979 D 2 1.679 R 3 絞り D 3 0.037 R 4 0.1300 D 4 0.093 N 4 1.516016 ν 2 56.8 R 5 -0.2258 D 5 0.075 R 6 ∞ D 6 0.030 N 6 1.51633 ν 6 64.2 R 7 ∞ 非球面係数 Ｒ１ A 0.0 B -8.547 ×10^-1 C -1.603 D 3.254 非球面係数 Ｒ４ A 0.0 B -2.198 ×10² C 3.642 ×10⁴ D -2.203 ×10⁶ 数値実施例１、２、３における諸収差を図１４、図１
５、図１６に示す。

【００７１】

【発明の効果】本発明によれば以上のように、眼球から
の反射光に基づく角膜反射像（プルキンエ像）と虹彩反
射像を適切に設定した結像光学系により検出手段面上に
形成することにより、眼球の位置が基準位置より光軸方
向に変化しても、これらの反射像の検出手段面上での位
置と大きさを高精度に検出し、眼球の視線を高精度に求
めることができる視線検出装置を達成することができ
る。

【図面の簡単な説明】

【図１】本発明を一眼レフカメラに適用したときの実施
例１の要部概略図

【図２】図１の一部分を展開したときの説明図

【図３】図１の一部分の説明図

【図４】本発明の視線検出装置における視線検出を示す
説明図

【図５】図１のイメージセンサからの出力状態の説明図

【図６】図１のイメージセンサからの出力状態の説明図

【図７】図１のイメージセンサからの出力状態の説明図

【図８】本発明に係る結像光学系の数値実施例１のレン
ズ断面図

【図９】本発明に係る結像光学系の数値実施例２のレン
ズ断面図

【図１０】本発明に係る結像光学系の数値実施例３のレ
ンズ断面図

【図１１】本発明の実施例４の一部分の要部概略図

【図１２】本発明の実施例５の一部分の要部概略図

【図１３】本発明の実施例６の一部分の要部概略図

【図１４】本発明に係る結像光学系の数値実施例１の収
差図

【図１５】本発明に係る結像光学系の数値実施例２の収
差図

【図１６】本発明に係る結像光学系の数値実施例３の収
差図

【図１７】従来の視線検出装置の要部概略図

【符号の説明】

１ 接眼レンズ ２ 光束分離手段 ３ 結像光学系 ４ 結像レンズ ５ 照明手段 ７ 絞り ９ 視線演算処理装置 １０ 主光線 １１ 光軸 １６ 検出手段 ２１ 角膜 ２０１ 眼球

Claims (3)

【特許請求の範囲】
1. 【請求項１】 観察者の眼球に照明手段からの光束を照
   射し、該眼球からの反射光に基づく角膜反射像と虹彩反
   射像とを結像光学系で検出手段面上に結像させ、該検出
   手段からの出力信号を利用して該眼球の視線を検出する
   際、該結像光学系は該眼球からの反射光を分離する光束
   分離手段と該眼球側が略テレセントリック系な結像レン
   ズとを有していることを特徴とする視線検出装置。
2. 【請求項２】 前記結像レンズのうち少なくとも１つの
   レンズ面は非球面であることを特徴とする請求項１の視
   線検出装置。
3. 【請求項３】 前記照明手段からの光束は近赤外光であ
   ることを特徴とする請求項１の視線検出装置。