JP2677393B2

JP2677393B2 - 視線検出装置

Info

Publication number: JP2677393B2
Application number: JP63216672A
Authority: JP
Inventors: 十九一恒川; 明彦長野; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-08-31
Filing date: 1988-08-31
Publication date: 1997-11-17
Anticipated expiration: 2012-11-17
Also published as: JPH0265835A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、使用者の視線位置を検出する視線検出装置
に関するものである。

［従来の技術］従来、使用者の視線（視軸）を光学的に検出する視線
検出装置として、特開昭61−172552号がある。

これは、使用者の眼球を平行光で照射することにより
発生する角膜前面からの反射像である第１プルキンエ像
と瞳孔中心の位置より検出するようにしたもので、第６
図に基づいて説明する。

図中、501は角膜、502は鞏膜、503は虹彩、504は光
源、506は投光レンズ、507は受光レンズ、509はイメー
ジセンサー、510はハーフミラーである。ｏ′は眼球の
回転中心、ｏは角膜501の曲率中心、a,bは虹彩503と瞳
孔の境界位置である瞳孔エッジ部分、ｃは瞳孔の中心、
ｄは第１プルキンエ像発生位置である。アは受光レンズ
507の光軸で図中ｘ軸と一致している。イは眼球の光軸
である。

光源504は使用者に対して不感の赤外発光ダイオード
で、投光レンズ506の焦点位置に配置されている。光源5
04より発光した赤外光は投光レンズ506により平行光と
なりハーフミラー510により反射され角膜501を照明す
る。角膜501の表面で反射した赤外光の一部はハーフミ
ラー510を透過し受光レンズ507によりイメージセンサ50
9上の位置ｄ′に結像する。また瞳孔エッジ部分a,bはハ
ーフミラー510、受光レンズ507を介してイメージセンサ
509上の位置ａ′,b′に結像する。受光レンズ507の光軸
アに対する。眼球の光軸イの回転角θが小さい場合、瞳
孔エッジ部分a,bのｚ座標をz_a,z_bとすると、瞳孔の中心
位置ｃの座標z_cはと表わされる。

また、第１プルキンエ像発生位置ｄのｚ座標をz_d、角
膜501の曲率中心ｏと瞳孔の中心ｃまでの距離を▲
▼とすると眼球光軸イの回転角θは ▲▼・sinθ≒z_c−z_d …（１）の関係式を満足する。このためイメージセンサ509上に
投影された眼球の特徴点（第１プルキンエ像z_d′及び瞳
孔エッジ部分z_a′,z_b′）の位置を検出することにより
眼球光軸イの回転角θは明らかとなる。この時（１）式
はとかきかえられる。但し、βは第１プルキンエ像発生位
置と受光レンズ507との距離l₁と受光レンズ507とイメー
ジセンサ509との距離l₀で決まる倍率で、通常ほぼ一定
の値をとる。

以上の如き原理により視線の方向の検出が可能にな
る。

［発明が解決しようとする課題］ところで、この種の従来の視線検出装置では、角膜の
反射率が約2.5％あり、眼球に赤外光を照射し、その反
射像をリニア又はエリア型の固体撮像素子上に結像さ
せ、眼球中央部を水平に走査したときの眼球の位置に対
応する水平走査信号Ｂは第２図に示すようになり、角膜
反射像は非常に信号レベルが強く正確に検出できるが、
他の組織の境のコントラストは低く、信号レベルが小さ
いので、虹彩と瞳孔の境界や、白目と黒目との境である
虹彩輪部を精度良く検出することはかなり困難である。

本発明の目的は、虹彩と瞳孔の境や、鞏膜（白目）と
虹彩（黒目）の境である虹彩輪部を精度良く検出して、
視線の正確な検出を行なえる視線検出装置を提供するも
のである。

［課題を解決するための手段］上記の目的を解決するために、本発明は使用者の眼球
像を受光する受光手段と、該受光手段からの出力を演算
して該使用者の視線を検出する演算手段とを有する視線
検出装置において、前記受光手段はそれぞれ異なる読み
出し制御をすることのできる複数の受光領域を有し、該
複数の受光領域の内、前記眼球像に含まれる角膜反射像
が結像した受光領域は他の受光領域とは異なる読み出し
制御を行うことを特徴とするものである。

［作用］上記のような構成によって、信号レベルの強い角膜反
射像と、信号レベルの小さい虹彩と瞳孔の境界、虹彩輪
部とを別に制御される別の受光領域で受光するので、受
光する画像によってそれぞれ適切な制御を行うことがで
きる。

したがって、虹彩と瞳孔の境界や、虹彩輪部を精度良
く検出することができ、高精度な視線検出が可能にな
る。

［実施例］以下、本発明の実施例を図面を用いて詳細に説明す
る。

第１図は本発明に関わる視線検出装置を有するカメラ
の光学ブロックの一実施例である。

１は撮影レンズ、２はクイックリターンミラー、３は
ピント板、４はコンデンサレンズ、５はペンタプリズム
であり通常のファインダー光学系を形成している。

６は内部に可視光透過で赤外光反射のビームスプリッ
ターを有するアイピースレンズ、７はビームスプリッタ
ー、８は投光レンズ、９は受光レンズ、10は投光用赤外
LED、11はリニアまたはエリア型のCCD等の光電変換素子
であり視線検出装置を形成している。12は撮影者の目で
ある。

赤外LED10から投光された光は投光レンズ８で平行光
束に変換され使用者の眼球12を照射する。目の角膜や、
虹彩からの反射光は、ビームスプリッター７で反射し、
受光レンズ９を介して、光電変換素子（固体撮像素子）
11上に結像するように構成されている。

この固体撮像素子11は、フローテングゲート等の各画
素に蓄積されている画像の情報を非破壊にリアルタイム
で直接モニターできる機能と、モニター出力の最大値を
出力する、所謂リアルタイムピーク値出力機能とを有す
るもので、その構成を第３図に示す。

第３図は固体撮像素子11の構成の一例を示すブロック
図である。

図中、31,32,33は画像情報を蓄えるための第１の光電
変換蓄積部、第２の光電変換蓄積部、第３の光電変換蓄
積部で上下方向に並設されている。34、35、36は第１〜
第３の光電変換蓄積部31〜33の情報を夫々読み出すこと
のできる第１のアナログシフトレジスタ37、第２のアナ
ログシフトレジスタ38、第３のアナログシフトレジスタ
39に移送するための第１の電荷移送ゲート、第２の電荷
移送ゲート、第３の電荷移送ゲートである。第１のＢ端
子B₁から電荷移送パルスが入力されると、第１のアナロ
グシフトレジスタ37への情報の移送を行ない、その情報
が第１のＣ端子C₁から出力される。同様に第２のＢ端子
B₂、第３のＢ端子B₃から電荷移送パルスが入力される
と、第２のアナログシフトレジスタ38、第３のアナログ
シフトレジスタ39への情報の移送を夫々行ない、その情
報が第２のＣ端子C₂、第３のＣ端子C₃から夫々出力され
る。

40,41,42は第１〜第３の光電変換蓄積部31〜33の各情
報を非破壊的に検知し、それらの最大値を第１のＡ端子
F₁、第２のＡ端子_２、第３のＡ端子A₃から出力するリア
ルタイムピーク出力回路である。

本実施例の固体撮像装置11は、眼球からの反射光軸に
対し直交する方向において、光電変換蓄積部を上下方向
に３段に並設することにより、例えば固体撮像素子11に
おける角膜反射像が符号43に示される位置に生じた場合
には、第２のＣ端子C₂からの出力信号に基づいて角膜反
射像の検出を行ない、第１のＣ端子C₁又は第３のＣ端子
C₃からの出力信号に基づいて、虹彩と瞳孔の境界位置
や、虹彩輪部の検出を行なう。その際第１の光電変換蓄
積部31、第２の光電変換蓄積部32または第３の光電変換
蓄積部33は各々独立に蓄積時間を制御して第１のＣ端子
C₁、第２のＣ端子C₂、第３のＣ端子C₃からの出力信号の
S/Nを高めるようにしている。また例えば固体撮像素子1
1における角膜反射像が符号44に示される位置に生じた
場合には、第１の光電変換蓄積部31と第２の光電変換蓄
積部32のうち蓄積時間の短い方の光電変換蓄積部からの
出力信号に基づいて角膜反射像の検出を行ない、第３の
光電変換蓄積部33からの出力信号に基づいて、虹彩と瞳
孔の境界位置や、虹彩輪部の検知を行なうようにする。
第４図（Ａ）に示す構成の制御装置によって、上述した
ような制御を行なうことができる。したがって、第５図
（Ａ）に示す角膜反射像の信号と、第５図（Ｂ）に示す
虹彩輪部の信号はそれぞれ別の光電変換蓄積部から出力
される。

なお、角膜反射像が第３図の43の位置にある場合に
は、虹彩と瞳孔の境界位置や、虹彩輪部の検出を行なう
ために、第１の光電変換蓄積部31からの出力信号を用い
ても良いし、第３の光電変換蓄積部33からの出力信号を
用いてもよい。

また、角膜反射像が第３図の44の位置にある場合に
は、２つの光電変換蓄積部にまたがっているので、第３
の光電変換蓄積部33からの出力信号を用いて虹彩を瞳孔
の境界位置や、虹彩輪部の検知を行なう。

しかし実際には角膜反射像の生じる位置を事前に知る
ことができないので、３つの光電変換蓄積部を有する固
体撮像素子で視線検出を行なう場合には、蓄積時間の最
も短い光電変換蓄積部からの出力信号に基づいて角膜反
射像位置の検知を行ない、蓄積時間の基も長い光電変換
蓄積部からの出力信号に基づいて虹彩と瞳孔の虹彩輪部
の検知を行なうのが最も合理的であり高精度に視線の方
向の検知を可能とするものである。

第４図（Ａ）は制御装置のブロック図である。

51は固体撮像素子（第３図に示す固体撮像素子11と同
構造）、52,53はリファレンス電圧V₀発生用の抵抗、54,
55,56は第１〜第３のコンパレータ、57,58,59は第１〜
第３のラッチ回路、60はカウンタ、61〜63は第１〜第３
のワンショット回路、64,65は上限レベル電圧V₁発生用
の抵抗、66,67は下限レベル電圧V₂発生用の抵抗、68,6
9,70は第１〜第３のA/D変換回路、71は視線演算処理回
路で、この視線演算処理回路71の詳細については後記す
る。

このように構成した制御装置は、固体撮像素子51の第
１〜第３のＡ端子A₁〜A₃から各画素のピークの出力がコ
ンパレータ54〜56にリアルタイムに入力され、その値が
リファレンス電圧V₀に達すると該当する第１〜第３のコ
ンパレータ54〜56の出力が反転し、固体撮像素子51の画
像情報の蓄積開始と共に、カウントを開始しているカウ
ンタ60のカウント値を夫々各コンパレータの出力反転時
に対応する各第１〜第３のラッチ回路57〜59でラッチす
る。

一方、第１〜第３のコンパレータ54〜56の出力反転に
同期して、各コンパレータに対応する第１〜第３のワン
ショット回路61〜63からワンショットパルスが発生し、
固体撮像素子51の対応する第１〜第３のＢ端子B₁,B₂,B₃
に電荷移送パルスが加わり、電荷移送パルスの加えられ
た電荷移送ゲートに対応する光電変換蓄積部の画像情報
がそのアナログシフトレジスタに移送され、第１〜第３
のＣ端子C₁〜C₃から出力されはじめる。

すなわち、固体撮像素子51に受光される眼球からの反
射像において、角膜反射像、瞳孔と虹彩の境界の像や虹
彩輪部の像は１ライン分に全て結像されない。

そのため、例えば第３図中の符号43で示す位置に角膜
反射像が結像される場合には、第２の光電変換蓄積部32
に対応する第２のリアルタイムピーク出力回路41からの
ピーク出力値が他の第１、第３のリアルタイムピーク出
力回路40,42からのピーク出力値より大きい。そこで、
先ず第２のリアルタイムピーク出力回路41からのピーク
出力値がリファレンス電圧V₀に達すると、第２のコンパ
レータ55が最初に反転することになり、同時に第２のラ
ッチ回路58にそのとき迄のカウント値がラッチされるこ
とになる。第２のコンパレータ55の反転で第２ワンショ
ット回路62がワンショットパルスを発生し、第２のＢ端
子B₂に電荷移送パルスが加わって、第２のＣ端子C₂から
画像情報が出力され、第５図（Ａ）に示す如く、第２図
の場合と同様に、角膜反射像が大きく、虹彩輪部等の他
の情報の判別が困難な水平走査信号が得られることにな
る。しかし、ここでは角膜反射像の情報のみを必要とし
ているので、他の情報の精度は関係ないものである。

一方、他の第１、第３光電変換蓄積部31,33において
は瞳孔、虹彩、白目からの反射像等の角膜反射像以外の
画像情報ピーク値が第１、第３のＡ端子A₁,A₃から出力
されるが、その値はまだリファレンス電圧V₀に達してい
ないので、第１、第３の光電変換蓄積部31,33には第２
のコンパレータ55の反転後も画像情報の蓄積が行なわれ
る。この場合、瞳孔より虹彩、虹彩より白目のほうが反
射率が大きいので、白目の部分のピーク値が次にリファ
レンス電圧V₀に達する。

やがて第１光電変換蓄積部31又は第３光電変換蓄積部
33における積分値のピークがリファレンス電圧V₀に達す
ると、それに対応する第１のコンパレータ54又は第３の
コンパレータ56が反転する。例えば第３のコンパレータ
56が反転した場合には第３のワンショット回路63からワ
ンショットパルスが発生して第３のＢ端子B₃に電荷移送
パルスが加わり、第３のＣ端子C₃から画像情報が出力さ
れ、第５図（Ｂ）に示す如く、画像情報の積分によって
虹彩輪部が拡大されると共に、角膜反射像の情報が含ま
れない水平走査信号が得られることになる。また第３の
コンパレータ56の反転に同期して、第３のラッチ回路59
にそこまでのカウント値がラッチされる。そして、第１
の光電変換蓄積部31の情報のピーク値がリファレンス電
圧V₀に達すると、それに対応する第１のコンパレータ54
が反転して、第１のワンショット回路61からワンショッ
トパルスが発生して第１のＢ端子B₁に電荷移送パルスが
加わり、第１のＣ端子C₁から画像情報が出力され、同時
に第１のラッチ回路57にそこまでのカウント値がラッチ
される。

固体撮像素子51の第１〜第３のＣ端子C₁〜C₃からの画
像情報は、撮影者の視線の方向を視線演算処理回路71に
て処理するために、上下限の電圧レベルV₁,V₂の設定さ
れている第１〜第3A/D変換回路68〜70によりA/D変換さ
れることになる。第５図（Ａ），（Ｂ）に示すように、
画像信号はA/D変換の上下限の電圧レベルV₁,V₂に対して
常に最適のレベルに入るようになる。

視線演算処理回路71では、角膜反射像位置、虹彩と瞳
孔の境界位置、虹彩輪部の位置情報に基づいて視線方向
の検出を行なう。第１〜第３のA/D変換回路68〜70から
入力される情報は第２図に示すように、最初にリファレ
ンス電圧V₀に達するのは角膜反射像、次が白目の反射像
であることがわかる。したがって、第１〜第３のラッチ
回路57〜59でラッチしたカウント値で最も小さい値の画
像情報が角膜反射像、その次のカウント値が虹彩輪部の
情報、最後が虹彩と瞳孔との境界の情報であることがわ
かる。

以上説明した方法によって、得られた視線情報をカメ
ラの不図示の露出制御回路や焦点検出回路に導入するこ
とにより、撮影者が写したい被写体に露出やピントを合
わせることができる。

この視線演算処理回路71は、第４図（Ｂ）に示すよう
に構成されている。101は瞳孔と虹彩と境界である瞳孔
のエッジ部分を検知する瞳孔エッジ検出部、102は瞳孔
エッジ検出部101から出力される情報から瞳孔の中心を
検出する瞳孔中心検出部、103は角膜反射像位置を検出
する角膜反射像位置検出部、104は角膜反射像位置検出
部103からの角膜反射像位置（第１プルキンエ像）と瞳
孔中心検出部102からの瞳孔中心情報とに基づき、第６
図に示す方法にて視線の方向を演算処理する視線演算
部、105は第１〜第3A/D変換回路68〜70からの信号を瞳
孔エッジ検出部101、角膜反射像位置検出部103に選択的
に出力する信号選択部、106は第１〜第３ラッチ回路57
〜59からのカウント値から固体撮像素子51の第１から第
３の光電変換蓄積部の蓄積時間長を判定する蓄積時間長
判定部である。

すなわち、蓄積時間長判定部106は第１〜第３のラッ
チ回路57〜59にラッチされているカウント値に基づき蓄
積時間長の判別を行ない、固定撮像素子の第１から第３
の光電変換蓄積部の中で、蓄積時間の最も短い光電変換
蓄積部からの信号を角膜反射像位置検出部103に入力す
べく信号選択部105を制御して角膜反射像位置の検出を
行ない、蓄積時間の長い光電変換蓄積部からの信号を瞳
孔エッジ検出部101に出力すべく信号選択部105を制御し
て瞳孔中心位置の検出を行なう。

［発明の効果］以上説明してきたように、本発明によれば、使用者の
眼球像を受光する受光手段と、該受光手段からの出力を
演算して該使用者の視線を検出する演算装置とを有する
視線検出装置において、前記受光手段は複数の蓄積型画
像センサと、該複数の蓄積型画像センサのそれぞれに対
して独立して蓄積時間を設定することができる蓄積時間
設定手段とを有することによって、それぞれの蓄積型画
像センサが受光する眼球画像ごとに適切な蓄積時間が設
定されるので、受光手段はより高精度に眼球像を受光す
ることができ、視線検出を高精度化することができる。

使用者の眼球像を受光する受光手段と、該受光手段か
らの出力を演算して該使用者の視線を検出する演算手段
とを有する視線検出装置において、前記受光手段はそれ
ぞれ異なる読み出し制御をすることのできる複数の受光
領域を有し、該複数の受光領域の内、前記眼球像に含ま
れる角膜反射像が結像した受光領域は他の受光領域とは
異なる読み出し制御を行うことによって、受光手段は画
像信号レベルの強い角膜反射像と、画像信号レベルの小
さい虹彩と瞳孔の境界や虹彩輪部を同時に精度良く検出
することができ、視線検出を高精度化することができ
る。

【図面の簡単な説明】

第１図は本発明による視線検知装置の一実施例を有する
カメラの光学ブロック図、第２図は眼球の位置に対応す
る固体撮像素子の水平走査信号を示す図、第３図は固体
撮像素子の１例を示すブロック図、第４図（Ａ）はその
視線検知装置の制御装置の１例を示すシステムブロック
図、第４図（Ｂ）はその視線演算処理回路の詳細を示す
ブロック図、第５図（Ａ），（Ｂ）は固体撮像素子から
の出力波形の１例を示す図、第６図は角膜反射像と瞳孔
中心を用いて視線の検知を行なう従来の視線検知装置の
概略図である。７……ビームスプリッター、８……投光レンズ、９……受光レンズ、10……赤外LED、 11……固体撮像素子（リニア又はエリア型の光電変換素
子）、 12……目（眼球）。

フロントページの続き (56)参考文献特開昭63−37653（ＪＰ，Ａ) 特開昭57−109476（ＪＰ，Ａ) 特開昭55−110477（ＪＰ，Ａ) 特開昭57−93782（ＪＰ，Ａ) 特開昭59−105779（ＪＰ，Ａ) 特開昭58−220573（ＪＰ，Ａ) 特開昭62−178076（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】使用者の眼球像を受光する受光手段と、該
受光手段からの出力を演算して該使用者の視線を検出す
る演算手段とを有する視線検出装置において、前記受光手段は複数の蓄積型画像センサと、該複数の蓄
積型画像センサのそれぞれに対して独立して蓄積時間を
設定することができる蓄積時間設定手段とを有すること
を特徴とする視線検出装置。
【請求項２】使用者の眼球像を受光する受光手段と、該
受光手段からの出力を演算して該使用者の視線を検出す
る演算手段とを有する視線検出装置において、前記受光手段はそれぞれ異なる読み出し制御をすること
のできる複数の受光領域を有し、該複数の受光領域の
内、前記眼球像に含まれる角膜反射像が結像した受光領
域は他の受光領域とは異なる読み出し制御を行うことを
特徴とする視線検出装置。
【請求項３】前記複数の受光領域は受光した画像信号の
ピークレベルを出力することのできるピーク出力手段を
それぞれ有することを特徴とする請求項２に記載の視線
検出装置。
【請求項４】前記ピーク出力手段の出力が所定のレベル
に達するまでの時間を計時する計時手段を有し、前記複
数の受光領域の内、該ピーク出力手段の出力が最も速く
所定のレベルに達した受光領域を角膜反射像が結像した
受光領域と判断することを特徴とする請求項３に記載の
視線検出装置。
【請求項５】前記受光領域は蓄積型画像センサであっ
て、前記計時手段が計時した時間を蓄積時間として制御
することを特徴とする請求項４に記載の視線検出装置。