JPH10171995A

JPH10171995A - 特徴点検出装置、瞳孔エッジ検出装置及び視線検出装置

Info

Publication number: JPH10171995A
Application number: JP35239096A
Authority: JP
Inventors: Keisuke Aoyama; 圭介青山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-12-13
Filing date: 1996-12-13
Publication date: 1998-06-26

Abstract

(57)【要約】【課題】画像信号より瞳孔エッジの正確な位置を求め
る。【解決手段】検出手段によって画像信号から特徴点の
概略の位置を求め、パターン発生手段によって特徴点の
基準パターンを発生させ、前記パターン発生手段で発生
させた基準パターンと前記画像信号との相関演算を行う
相関演算手段により、前記検出手段で検出された特徴点
位置近傍において、特徴点、つまり瞳孔エッジの位置を
求める（＃Ｒ０２→＃Ｒ０３→＃Ｒ０４→＃Ｒ０５→＃
Ｒ０６→＃Ｒ０７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者の眼球像の
特徴点を検出する特徴点検出装置、観察者の眼球像より
瞳孔位置抽出に必要な瞳孔のエッジを検出するエッジ検
出装置、及び、この種の装置を具備した視線検出装置の
改良に関するものである。

【０００２】

【従来の技術】従来より、撮影者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提供されてい
る。例えば特開平１−２７４７３６号公報においては、
光源からの平行光束を撮影者の眼球の前眼部へ投射し、
角膜からの反射光による角膜反射像と瞳孔の結像位置を
利用して注視点を求めている。また同公報において、注
視点検出装置を一眼レフカメラに配設し、撮影者の注視
点情報を用いて撮影レンズの自動焦点調節を行う例を開
示している。

【０００３】図１９は視線検出原理を説明する為の図で
あり、同図において、１５は撮影者の眼球、１６は角
膜、１７は虹彩である。以下、図１９及び図２０を用い
て視線の検出方法を説明する。

【０００４】光源１３ｂより投射された赤外光は観察者
の眼球１５の角膜１６を照射する。このとき、角膜１６
の表面で反射した赤外光の一部により形成される角膜反
射像ｄ（虚像）は受光レンズ１２により集光され、イメ
ージセンサ１４上の位置ｄ´に結像する。同様に、光源
１３ａにより投射された赤外光は、眼球１５の角膜１６
を照明する。このとき、角膜１６の表面で反射した赤外
光の一部により形成された角膜反射像ｅは受光レンズ１
２により集光され、イメージセンサ１４上の位置ｅ´に
結像する。

【０００５】又、虹彩１７の端部ａ，ｂからの光束は、
受光レンズ１２を介してイメージセンサ１４上の位置ａ
´，ｂ´に該端部ａ，ｂの像を結像する。受光レンズ１
２の光軸に対する眼球１５の光軸の回転角θが小さい場
合、虹彩１７の端部ａ，ｂのｘ座標をｘａ、ｘｂとする
と、瞳孔１９の中心位置ｃの座標ｘｃは、ｘｃ≒（ｘａ＋ｘｂ）／２と表される。

【０００６】また、角膜反射像ｄ及びｅの中点のｘ座標
と角膜１６の曲率中心ｏのｘ座標ｘｏとは略一致する。
このため、角膜反射像の発生位置ｄ，ｅのｘ座標をｘ
ｄ，ｘｅ、角膜１６の曲率中心ｏと瞳孔１９の中心ｃま
での標準的な距離をＯＣとすると、眼球１５の光軸１５
ａの回転角θｘはＯＣ＊ＳＩＮθｘ≒（ｘｄ＋ｘｅ）／２−ｘｃ …………（１）の関係式を略満足する。このため、イメージセンサ１４
上に投影された眼球１５の各特徴点（角膜反射像及び瞳
孔の中心）の位置を検出することにより、眼球１５の光
軸１５ａの回転角θを求めることができる。

【０００７】眼球１５の光軸１５ａの回転角は（１）式
より、 β＊ＯＣ＊ＳＩＮθｘ≒｛（ｘｐｏ−δｘ）−ｘｉｃ｝＊ pitch …（２） β＊ＯＣ＊ＳＩＮθｙ≒｛（ｙｐｏ−δｙ）−ｙｉｃ｝＊ pitch …（３）と求められる。ここで、θｘはｚ−ｘ平面内での眼球光
軸の回転角、θｙはｙ−ｚ平面内での眼球光軸の回転角
である。（ｘｐｏ，ｙｐｏ）はイメージセンサ１４上の
２個の角膜反射像の中点の座標、（ｘｉｃ，ｙｉｃ）は
イメージセンサ１４上の瞳孔中心の座標である。pitch
はイメージセンサ１４の画素ピッチである。また、βは
受光レンズ１２に対する眼球１５の位置により決まる結
像倍率で、実質的には２個の角膜反射像の間隔の関数と
して求められる。

【０００８】δｘ，δｙは角膜反射像の中点の座標を補
正する補正項であり、撮影者の眼球を平行光ではなく発
散光にて照明していることにより生じる誤差を補正する
補正項、及び、δｙに関しては、撮影者の眼球を下まぶ
たの方から発散光にて照明していることにより生じるオ
フセット成分を補正する補正項も含まれている。

【０００９】次に、眼球回転角と注視点の座標の関係か
ら撮影者の注視点を求める。眼球回転角と注視点の座標
の関係は、撮影者の眼球光軸の回転角を（θｘ，θｙ）
とすると、撮影者の観察面上の注視点（ｘ，ｙ）は、カ
メラの姿勢が横位置の場合ｘ＝ｍ＊（θｘ＋Δ） …………（４）ｙ＝ｍ＊θｙ …………（５）と求められる。ここで、ｘ方向はカメラの姿勢が横位置
の場合の撮影者に対して水平方向、ｙ方向はカメラの姿
勢が横位置の場合の撮影者に対して垂直方向を示してい
る。ｍは眼球の回転角からピント板上の座標に変換する
変換係数、Δは眼球光軸１５ａと視軸（注視点）とのな
す角である。この時の変換係数ｍ，Δには個人差がある
ため、この変換係数を含んだ形での個人差補正データを
予め求めておく必要がある。個人差補正データは、撮影
者に所定の座標を注視してもらい、そのときの眼球光軸
の回転角を求める事で算出する事ができる。この様に個
人差補正データを求めるための検出動作をキャリブレー
ションといい、キャリブレーションにより求めた個人差
補正データをキャリブレーションデータという。

【００１０】観察面上（ｘ１，０）を注視したときの眼
球の回転角を（θｘ１，０）、（ｘ２，０）を注視した
ときの眼球の回転角を（θｘ２，０）とすると以下の式
で個人差データを求める事ができる。

【００１１】ｍ＝（ｘ１−ｘ２）／（θｘ１−θｘ２） …………（６） Δ＝（ｘ２・θｘ１−ｘ１・θｘ２）／（ｘ１−ｘ２） …………（７）尚、個人差データの入力は、カメラの姿勢毎に入力する
ことが望ましい。

【００１２】このようにして、角膜反射像や瞳孔の位置
から撮影者の注視点を求めることができるが、センサ上
の眼球像から角膜反射像や瞳孔の位置などの特徴点を求
める方法は、特公平４−３４７１３３号等に提案されて
いる。読み出したセンサ画像から瞳孔のエッジを検出す
るのも、最低輝度値を基準に検出することが開示されて
いる。

【００１３】瞳孔エッジの検出方法は、図２０に示す方
法で行われる。

【００１４】図２０（ａ）は眼球の画像で、そのＥａ−
Ｅａ´ライン上における出力が同図（ｂ）のグラフであ
る。同図中、ｍｉｎは最低輝度、画素ｎ，ｎ＋１‥の輝
度値を、ｉｍ（ｎ），ｉｍ（ｎ＋１）‥と表すとｉｍ（ｎ−１）＜ｍｉｎ＋α ｉｍ（ｎ＋１）−ｉｍ（ｎ−１）＜ＥＤＧＥＴＨＲｉｍ（ｎ＋２）−ｉｍ（ｎ）＜ＥＤＧＥＴＨＲを満たすとき位置ｎがエッジであると判定する。ＥＤＧ
ＥＴＨＲ及びαはエッジを判定する為の閾値である。

【００１５】エッジの位置は、ｎとｎ＋１の間にある
が、このエッジ検出方法では１画素単位でしかエッジ位
置が求められないので、図２０（ｃ）の様にして、エッ
ジの詳細な位置を求める。図２０（ｃ）は、図２０
（ｂ）の微分画像である。

【００１６】図２０（ｂ）のグラフをｉｍ（ｎ）とすれ
ば、（ｃ）はｄｉｍ（ｎ）＝ｉｍ（ｎ＋１）−ｉｍ（ｎ）である。差分信号ｄｉｍ（ｎ）の重心を求めることにに
より、１画素より詳細にエッジ位置を求めることが出来
る。

【００１７】また、重心位置を求める他にも、ｉｍ
（ｎ）とｉｍ（ｎ＋１）の直線補間を行って、ｍｉｎ＋
αとｉｍ（ｎ）−ｉｍ（ｎ＋１）の交点座標を求めるこ
とにより、詳細なエッジ位置を求めることが出来る。

【００１８】

【発明が解決しようとする課題】以上のように視線検出
には、正確に瞳孔位置を求めることが重要であり、瞳孔
位置を正確に求めるためには、瞳孔のエッジの検出精度
を上げることが不可欠である。

【００１９】しかしながら、開示されている技術では、
図２１（ａ）の様に瞳孔エッジ近くにゴーストがあり、
図２１（ｂ）に示す様に虹彩部分の輝度が持ち上がって
しまったような場合、センサ出力の微分画像は図２１
（ｃ）の様になり、斜線部分の重心から正確なエッジ位
置を求めることは出来ない。

【００２０】又２点の補間を行ってエッジ位置を求める
方式では、補間に使用する画素ｉｍ（ｎ），ｉｍ（ｎ＋
１）にノイズがあると正しいエッジ位置が求められな
い。

【００２１】（発明の目的）本発明の目的は、画像信号
より正確な瞳孔のエッジ位置を検出すると共に、この瞳
孔のエッジ位置検出方法により正確な視線位置を求める
ことのできる特徴点検出装置、エッジ検出装置、及び、
視線検出装置を提供することにある。

【００２２】

【課題を解決するための手段】上記目的を達成するため
に、請求項１〜３記載の本発明は、検出手段によって画
像信号から特徴点の概略の位置を求め、パターン発生手
段によって特徴点の基準パターンを発生させ、前記パタ
ーン発生手段で発生させた基準パターンと前記画像信号
との相関演算を行う相関演算手段により、前記検出手段
で検出された特徴点位置近傍において、特徴点、つまり
瞳孔エッジの正確な位置を求める構成にしている。

【００２３】また、上記目的を達成するために、請求項
４及び５記載の本発明は、検出手段によって画像信号か
ら瞳孔のエッジ位置の概略の位置を求め、パターン発生
手段によって瞳孔のエッジの基準パターンを発生させ、
前記パターン発生手段で発生させた基準パターンと前記
画像信号との相関演算を行う相関演算手段により、前記
検出手段で検出されたエッジ位置近傍において、瞳孔の
エッジの正確な位置を求める構成にしている。

【００２４】また、上記目的を達成するために、請求項
６及び７記載の本発明は、画像入力手段によって眼球画
像を含む画像情報を入力し、この画像情報の特徴点を検
出し、この特徴点位置に基づいて視線検出を行う視線検
出装置において、検出手段によって画像信号から瞳孔の
エッジ位置の概略の位置を求め、パターン発生手段によ
って瞳孔のエッジの基準パターンを発生させ、前記パタ
ーン発生手段で発生させた基準パターンと前記画像信号
との相関演算を行う相関演算手段により、前記検出手段
で検出されたエッジ位置近傍において、前記視線検出に
用いられる特徴点位置であることろの瞳孔エッジの正確
な位置を求める構成にしている。

【００２５】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００２６】まず最初に、図１を使って、本発明の実施
の第１の形態に係る主要部分の概略説明を行う。

【００２７】図１（ａ）は眼球画像の瞳孔部を含むライ
ン（図１８（ａ）のＥａ−Ｅａ´に相当する）の輝度状
態を示す図であり、図１（ｂ）は瞳孔エッジ（右側）の
理想的なパターンである。このパターンと図１（ａ）の
眼球断面像の右エッジ（画像が右側上がりのデータのエ
ッジを“右エッジ”と呼ぶ）部分の局所的な相関をとる
ことにより、エッジ部分の詳細位置を求めることが出来
る。

【００２８】図１（ａ）の像をｉｍ（ｎ）とし、パター
ンをＰ（ｎ）とする。パターンの「ｎ＝０」の位置をエ
ッジの位置とする。

【００２９】ｉｍ（ｎ）とＰ（ｎ）の相関Ｃｒ（ｎ）
は、次の式のようになる。

【００３０】Ｃｒ（ｎ）＝Σ｜Ｐ（ｉ）−Ｉｍ（ｎ−ｉ）｜但し（ｉ＝−２〜２）Ｃｒ（ｎ）が最小になる位置を求めれば、実際のエッジ
位置を求めることが出来る（図１（ｃ）参照）。実際に
は、計算量を減らす為に、概略求めたエッジ位置ｎ₀ の
近傍（ｎ＝ｎ₀ −２〜ｎ₀ ＋２）で計算する。Ｃｒ
（ｎ）が最小になるｎの位置をｎ_min とすると詳細なエ
ッジ位置ｎ_x は以下のように求められる。

【００３１】「Ｃｒ（ｎ_min −１）＜Ｃｒ（ｎ_min ＋
１）」のときはｎ_x ＝ｎ＋｛Ｃｒ（ｎ_min −１）−Ｃｒ（ｎ_min ＋
１）｝／｛２＊（Ｃｒ（ｎ_min ＋１）−Ｃｒ（ｎ
_min ））｝となる（図１１（ａ）参照）。

【００３２】また、「Ｃｒ（ｎ_min −１）＞Ｃｒ（ｎ
_min ＋１）」のときはｎ_x ＝ｎ＋｛Ｃｒ（ｎ_min ＋１）−Ｃｒ（ｎ_min −
１）｝／｛２＊（Ｃｒ（ｎ_min ）−Ｃｒ（ｎ_min −
１））｝となる（図１１（ｂ）参照）。

【００３３】上記と同様にして左エッジを求めることが
出来る。左エッジ用のパターンは右エッジ用パターンと
左右が反転している（図１（ｄ）参照）。

【００３４】図１０は本発明の実施の第１の形態に係る
カメラ本体に内蔵された電気回路の要部ブロック図であ
る。

【００３５】カメラ本体に内蔵されたカメラ制御手段で
あるところのマイクロコンピュータの中央処理装置（以
下、ＣＰＵと称す）１００には、視線検出回路１０１，
姿勢検知回路１０２，自動焦点検出回路１０３，信号入
力回路１０４，ＬＣＤ駆動回路１０５，ＬＥＤ駆動回路
１０６、及び、ＩＲＥＤ駆動回路１０７が接続されてい
る。また、不図示ではあるが、撮影レンズ内に配置され
た焦点調節回路、絞り駆動回路とはマウント接点を介し
て信号の伝達がなされる。

【００３６】ＣＰＵ１００に付随した記憶手段としての
ＥＥＰＲＯＭ１００ａは、フィルムカウンタその他の撮
影情報を記憶すると共にキャリブレーションを行って得
た個人差補正データを記憶する。

【００３７】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＣＰＵ
１００に送信する。ＣＰＵ１００はイメージセンサ１４
からの眼球像信号をＣＰＵ１００内部のＡ／Ｄ変換手段
によりＡ／Ｄ変換し、この像情報を視線検出に必要な眼
球像の各特徴点を所定のアルゴリズムに従って抽出し、
さらに各特徴点の位置から撮影者の眼球の回転角を算出
する。

【００３８】前記姿勢検知回路１０２は、複数のペアの
フォトセンサとＬＥＤ（ＨＶ１，ＨＶ２）及び重力によ
り可動な遮蔽物からなり、重力により遮蔽物が動きフォ
トセンサの出力が変化することにより姿勢を検知する。
前記フォトセンサは互いに９０°程度の角度で配置され
それぞれ水平軸からも角度をもって配置される。

【００３９】前記自動焦点検出回路１０３は、複数のラ
インセンサから得た光電変換電圧をＣＰＵ１００に送
り、ＣＰＵ１００では内蔵されたＡ／Ｄ変換装置によっ
てラインセンサ信号を順次Ａ／Ｄ変換し、所定の演算を
行って焦点検出を行う。前記信号入力回路１０４は、各
種スイッチからの信号入力を行い、スイッチの状態が変
化するとＣＰＵ１００に割り込み信号を発生させる。

【００４０】ＳＷ−１はレリーズ釦の第１ストロークで
ＯＮし、測光，ＡＦ，視線検出動作を開始するスイッ
チ、ＳＷ−２はレリーズ釦の第２ストロークでＯＮする
レリーズスイッチである。ＳＷ−ＭＤＩＡＬはカメラの
各種撮影モードの他、キャリブレーションモードやカメ
ラのロックポジションを選択するモードダイアルであ
る。ＳＷ−ＣＡＬＤＥＬは個人差補正データ消去スイッ
チである。ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は電子
ダイヤルスイッチで、信号入力回路１０４のアップダウ
ンカウンタに入力され、ダイヤルの回転クリック量をカ
ウントする。

【００４１】前記ＬＣＤ駆動回路１０５は、ファインダ
内ＬＣＤ２４及びモニタ用ＬＣＤ４２に各種情報を表示
する他に、不図示のブザーを駆動しブザー音を発生させ
る。前記ＬＥＤ駆動回路１０６は、ファインダ内の測距
点をスーパーインポーズ照明するためのＬＥＤ２１（Ｌ
ＥＤ−Ｌ２，ＬＥＤ−Ｌ１，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ
１，ＬＥＤ−Ｒ２）を点灯させるための回路である。前
記ＬＥＤ−Ｌ２，ＬＥＤ−Ｌ１，ＬＥＤ−Ｃ，ＬＥＤ−
Ｒ１，ＬＥＤ−Ｒ２は、それぞれファインダ内の焦点検
出マークＦＰ−Ｌ２，ＦＰ−Ｃ，ＦＰ−Ｒ１，ＦＰ−Ｒ
２に対応しており、ＬＥＤ２１を点灯させることにより
ファインダ内の焦点検出マークが照明される。

【００４２】前記ＩＲＥＤ駆動回路１０７は、撮影者の
眼球を赤外光で照明するための赤外ＬＥＤ（ＩＲＥＤ−
０，ＩＲＥＤ−１，ＩＲＥＤ−２，ＩＲＥＤ３，ＩＲＥ
Ｄ−４，ＩＲＥＤ−５，ＩＲＥＤ−６，ＩＲＥＤ−７）
を点灯させるための回路である。この回路には、過電流
を防止する為の回路や長時間の通電による事故を防止す
るための安全回路が組み込まれている。ＩＲＥＤは２つ
がペアで使用され、眼球に対して下側から照明される。
横位置の場合、裸眼用はＩＲＥＤ−０，ＩＲＥＤ−１、
又はメガネ用としてＩＲＥＤ−４，ＩＲＥＤ−５が使用
され、グリップ上の縦位置では、裸眼用はＩＲＥＤ−
３，ＩＲＥＤ−０、または、メガネ用としてＩＲＥＤ−
７，ＩＲＥＤ−４のペアが使用される。グリップ下の縦
位置では、裸眼用はＩＲＥＤ−１，ＩＲＥＤ−２、又は
眼鏡用としてＩＲＥＤ−５，ＩＲＥＤ−６を使用する。
どの姿勢においても裸眼の場合は間隔の狭いＩＲＥＤペ
アが使用され、メガネや眼球の距離が遠い場合は間隔の
広いＩＲＥＤペアが使用される。

【００４３】本発明の検出手段、パターン発生手段、及
び、相関演算手段は、ＣＰＵ１００の中のプログラムに
より実現されている。

【００４４】スイッチＳＷ１が押されると、所定の動作
を実行した後、視線検出メインフローがコールされる。

【００４５】図２のフローチャートを使って、視線検出
動作の全体の説明を行う。

【００４６】サブルーチン「視線メイン」がコールされ
ると、ステップ＃Ｍ０１からプログラムを実行してい
く。視線検出ルーチンは、必ずしも１回実行されただけ
で視線位置を出力するわけではなく、複数回実行し（何
回か制御方法をかえて試してみる）、最終的に注視点の
位置を検出するようになっている。

【００４７】初めに、設定されキャリブレーション番号
をチェックし、キャリブレーション番号に対応した個人
差補正データをＥＥＰＲＯＭから読み込む（ステップ＃
Ｍ０２）。正しくないキャリブレーション番号やキャリ
ブレーション番号が設定されていない場合（視線がＯＦ
Ｆになっている場合も含む）のチェックも行い（ステッ
プ＃Ｍ０３）、正常でなければステップ＃Ｍ０９へ分岐
し、リターンする。

【００４８】キャリブレーション番号が正しく設定され
ていて、個人差補正データが読み込めたら、視線検出パ
ラメータの初期化を行う（ステップ＃Ｍ０４）。ここで
は、視線検出状態を示すパラメータの初期化を、繰り返
しサブルーチン「視線メイン」が実行される場合の初回
にのみ行う。

【００４９】次に、視線検出用エリアセンサの蓄積をサ
ブルーチン「ＹＢＡＳＩＳ」で行う（ステップ＃Ｍ０
５）。このサブルーチンの中では、眼球を照明するＬＥ
Ｄとその駆動電流の決定を行い、センサの予備蓄積を行
って、視線検出を行うときの蓄積制御を決定する。そし
て、決定した蓄積制御方法で眼球像の画像データを得
る。

【００５０】次に、画像データの特徴点抽出のためのパ
ラメータの初期化を行い（ステップ＃Ｍ０６）、蓄積さ
れたデータを読み出しつつ特徴点を抽出するサブルーチ
ン「Ｒead −Ｄetect 」（ステップ＃Ｍ０７）を実行す
る。このサブルーチンの内部動作は後で詳しく説明す
る。

【００５１】センサの読み出し及び特徴点抽出が終了す
ると、検出された特徴点から注視点位置の計算をサブル
ーチン「Ｐ＿Ｐrocess」（ステップ＃Ｍ０８）で行う。
ここでは、「Ｒead ＿Ｄetect 」で求めた瞳孔エッジ座
標から、瞳孔円の中心座標および、照明光の角膜反射像
（プルキンエ像：Ｐ像）の座標を使って、所定の計算式
から眼球の回転角を求める。眼球の回転角が検出できた
ら、個人差補正データを用いてその人の注視する点を計
算する。最後にプログラムをリターンする（ステップ＃
Ｍ１０）。

【００５２】１回で注視点が求められない場合は繰り返
し「視線メイン」がコールされ、別の制御方法（照明，
蓄積制御方法，演算パラメータを代えて）で視線検出を
行う。

【００５３】次に、上記ステップ＃Ｍ０７にて実行され
るサブルーチン「Ｒead ＿Ｄetect」の説明を、図３の
フローチャートを使って行う。

【００５４】サブルーチン「Ｒead ＿Ｄetect 」がコー
ルされると、ステップ＃Ｒ０１から実行していく。初め
に、センサのブロック読み機能を使って、センサ全体を
荒くみる（ステップ＃Ｒ０２）。センサのブロック読み
機能とは、センサの複数の画素をまとめたデータを出力
する機能で、センサ出力を「４×４」の１６画素を１つ
のブロックにして出力することができる（４×４の平均
値を出力）。こうすることにより、例えば「１００×７
０」画素のセンサ出力を、「２５×１８」ブロックのデ
ータで全体の画像を荒く見ることができる。データ数を
少なくすることで「１００×７０」画素のメモリが確保
できなくても、「２５×１８」画素分のメモリを確保す
る事は、カメラのような機器の組み込みマイコンでも可
能である。また、ブロック出力がハード的に得られない
センサでもソフト的に平均を求めてデータ数を減らすこ
とで、同等の演算を行うことができる。また、必ずしも
平均値である必要はなく、全センサ画素を間引いて使っ
てもよい。

【００５５】次に、ブロック読み出しした画像の最大
値，最小値，平均値を求める（ステップ＃Ｒ０３）。最
大値はプルキンエ像（以後、Ｐ像と記す）を求める時に
使用し、最小値は瞳孔を探すときに使用する。また、平
均値は画像全体の明るさのデータとして使用する。

【００５６】エッジの相関パターンを作るための値もこ
こで計算する。例えば，図１２（ａ），（ｂ）の様に、
センサの中央部分のみの平均輝度を求めると共に、ここ
で相関を行うパターンを生成する。

【００５７】図４を用いて、パターンの説明を行う。な
お、ｍ１，ｍ２は最低レベルと最高レベル、ｓ１は傾き
である。

【００５８】図４（ａ）は右エッジのパターンで、以下
の式で表される。

【００５９】Ｐ（ｎ）＝ｍ１（ｍ１−ｍ２）／（２＊ｓ１）≧ｎＰ（ｎ）＝ｓ１＊ｎ＋（ｍ１＋ｍ２）／２但し、（ｍ１−ｍ２）／（２＊ｓ１）＜ｎ≦（ｍ２−ｍ１）／（２＊ｓ１）Ｐ（ｎ）＝ｍ２（ｍ２−ｍ１）／（２＊ｓ１）＜ｎ具体的には、ｍ１にはステップ＃Ｒ０３で求めた最低輝
度、ｍ２には中央部分の平均輝度等を用いる。傾きｓ１
は、最低輝度と最大輝度又は平均輝度を用いて求めた
り、所定の値を予め決めておいてもよい。（ここではｓ
１＝２０の固定値で計算する）同式から解るように、パターンは「ｎ＝０」のときに、
「（ｍ２−ｍ１）／２」になるようにしており、座標
（０，（ｍ２−ｍ１）／２）で点対称になっている。パ
ターンの「ｎ＝０」の位置をエッジ位置として相関演算
を行う。パターンは、「ｎ−０」を中心に「ｎ＝−２〜
２」で計算し、メモリに記憶しておく。左パターンは、
右パターンと左右が反転する。ここでは、画像中の最低
輝度等を使ってパターンを計算したが、予め所定のパタ
ーンをＲＯＭに記憶しておいてそれを用いても良い。こ
の場合センサの蓄積制御や読み出しゲインにより一定の
輝度レベルの眼球像が検出されることが必要である。

【００６０】図３に戻り、次にブロック像の最低値と所
定の閾値を使って瞬きの検知を行う（ステップ＃Ｒ０
４）。瞬きの最中は視線検出不能なのでその処理を行
う。例えば、今回は視線検出を中止して次回全く同じ制
御で視線検出を行ったりする。

【００６１】次いで、読み出し範囲の初期化を行う。通
常全体範囲をはじめに指定しておく（ステップ＃Ｒ０
５）。センサをカメラに取り付けた状態で周辺がけられ
てしまうような場合には、その部分を除いたけられない
エリアを指定する。

【００６２】次に、ブロックデータから求めた平均輝度
（ＢlkＡve）と閾値を比較する（ステップ＃Ｒ０６）。
この結果、平均輝度が低ければステップ＃Ｒ０８へ進
み、ブロックデータによる瞳孔位置推定を行わない。こ
れは、全体の輝度が低いとセンサの周辺部分が低くな
り、必ずしも瞳孔位置が最低輝度とはならなくなってし
まう。瞳孔位置推定は最低輝度を使って行うためにこの
ような場合正しく瞳孔位置を推定することができないか
らである。

【００６３】また、平均輝度が閾値より高ければ、ステ
ップ＃Ｒ０７で分岐し、サブルーチン「瞳孔位置推定」
をコールして瞳孔位置の推定を行う。

【００６４】ステップ＃Ｒ０８では、サブルーチン「読
み出し＆逐次処理」をコールして、決定した領域内のセ
ンサ読み出し及び逐次処理で特徴点抽出を行い、リター
ンする（ステップ＃Ｒ０９）。

【００６５】次に、図５のフローチャートを使って、上
記ステップ＃Ｒ０８にて実行されるサブルーチン「読み
出し＆逐次処理」の説明を行う。

【００６６】このサブルーチン「読み出し＆逐次処理」
がコールされると（ステップ＃ｘ０１）、まずセンサに
読み出し開始通信を行う（ステップ＃ｘ０２）。次に、
センサ出力をＡ／Ｄ変換するためにＡ／Ｄ変換の初期化
を行う（ステップ＃ｘ０３）。次いで、逐次計算を行う
ためのパラメータの初期化や、制限された領域だけを読
み出すためのパルス数の設定を行う（ステップ＃ｘ０
４）。

【００６７】そして、これから読み水平ラインが読み出
す領域を含むかどうかを判定し（ステップ＃ｘ０５）、
読み出し領域外ならばステップ＃ｘ１９へ分岐する。こ
のステップ＃ｘ１９では、水平ラインを１ライン読み飛
ばすための、水平ライン読み飛ばしパルスを出力する。
このパルスがセンサに送られるとセンサは水平の１ライ
ンの読み出しを行わない。

【００６８】また、上記ステップ＃ｘ０５で、これから
読む水平ラインが読み出す領域を含んでいる場合は、ス
テップ＃ｘ０６へ分岐する。ここでは、１ラインの読み
出しを行う。まず、１画素毎の読み出しパルスを送り、
センサからの出力をＡ／Ｄ変換し、所定のＲＡＭに一時
的に格納する。読み出す水平ラインの中でも指定された
領域外の部分はＡ／Ｄ変換を行わず、読み出しパルスを
高速に出力することによって、指定された領域のデータ
だけを短時間で得ることができる。これらの動作はソフ
ト的にタイミングを作って動作させる以外にも、ハード
的にパルス出力，Ａ／Ｄ変換，データ格納を行う様な構
成にしても良い。この場合、Ａ／Ｄ変換やパルス出力に
ソフトが介在する必要がないためその間、ソフトは特徴
点の抽出を行うことができる。

【００６９】次に、カメラの位置が縦位置かどうかを判
定し（ステップ＃ｘ０７）、縦位置ならば読み出しライ
ン数をＡレジスタに入れ（ステップ＃ｘ０８）、横位置
ならば（縦位置でないならば）、今まで検出した瞳孔エ
ッジの総数を計算し、Ａレジスタに格納する（ステップ
＃ｘ０９）。次に、Ａレジスタが０かどうかを判定し
（ステップ＃ｘ１１）、０で無いならば（ステップ＃ｘ
１２）へ分岐し、サブルーチン「Ｐ像検出」を実行する
（ステップ＃ｘ１２）。カメラ位置が縦位置の場合、少
なくとも１ライン以上センサの読み出しが終了してから
「Ｐ像検出」を行うようにしている。また、横位置の場
合は、照明位置の関係から瞳孔位置よりＰ像の方が下に
なることが判っているので、無駄な演算を省くために瞳
孔のエッジが少なくとも１つ検出されてからＰ像の検出
を行うようにしている。

【００７０】次に、瞳孔エッジを検出するのに充分なラ
イン数の読み出しが終了しているかを判定し（ステップ
＃ｘ１３）、十分ならばステップ＃ｘ１４に分岐し、こ
こではサブルーチン「瞳孔エッジ検出」をコールし、瞳
孔エッジを検出する。

【００７１】画像データはメモリの制約上から数ライン
分記憶できるだけで、その分のライン数が記憶されたら
充分なライン数があると判定する。水平方向にのみ瞳孔
エッジを検出する場合（即ち、瞳孔の左右方向のエッジ
だけを検出する場合）は、１ラインでも十分である。瞳
孔のエッジは、それまで読み出したセンサ出力の最低値
を基準として計算する。

【００７２】次に、１ライン分のデータ読み込みが終了
するまで待ち、読み込んだ画像データを一時的に格納し
たＲＡＭから計算用のＲＡＭに移し換える（ステップ＃
ｘ１５）。上記ステップ＃ｘ０６でソフト的に読み込み
が終了している場合はこの動作は必要ないが、ハード的
にセンサの読み込みを行っている場合はここでセンサ読
み込みのチェックを行う。

【００７３】次に、サブルーチン「最低輝度検出」を実
行する（ステップ＃ｘ１６）。最低輝度は瞳孔を検出す
るときに使用するが、センサ出力が１ライン読み込まれ
る毎に検出を行い、１ライン毎に更新していく。そし
て、１ラインの中で領域外の部分の残りの空送りパルス
を出力する（ステップ＃ｘ１７）。ハード的にセンサ読
み出しを行う場合は領域外空送りパルスを送る必要があ
る。次に、読み出したライン数をカウントアップする
（ステップ＃ｘ１８）。ここで、カウントアップするの
は制限された領域内の読み出したライン数をカウントす
る。

【００７４】次に、センサに送った駆動パルス数（１ラ
イン分に対応）をカウントアップし（ステップ＃ｘ２
０）、カウントがセンサの水平ライン数になったかどう
か判定する（ステップ＃ｘ２１）。この結果、水平ライ
ン数になっていなければステップ＃ｘ０５に戻り、セン
サ読み出しを繰り返す。指定された領域のセンサ読み出
しが終了しても、センサの水平ライン数分の読み出しパ
ルスを送る必要があるため、ステップ＃ｘ０５に戻り、
読み出しを繰り返す。この場合、読み出しの空送りパル
スのみをステップ＃ｘ１９で出力する。センサの読み出
しが終了するとサブルーチンをリターンする。

【００７５】図６を使って、図５のステップ＃ｘ１４に
て実行されるサブルーチン「瞳孔エッジ検出」の説明を
行う。

【００７６】サブルーチン「瞳孔エッジ検出」がコール
されると（ステップ＃Ｄ０１）、まず、エッジ検出用の
変数の初期化を行う（ステップ＃Ｄ０２）。次に、瞳孔
エッジを検出する範囲を計算し、所定のＲＡＭに設定す
る（ステップ＃Ｄ０３）。

【００７７】次に、サブルーチン「水平エッジ検出」を
コールして水平エッジの検出を行う（ステップ＃Ｄ０
４）。そして、現在演算している水平ラインで最低輝度
が更新されたか判定し（ステップ＃Ｄ０５）、更新して
いればステップ＃Ｄ０６へ分岐し、サブルーチン「垂直
エッジ検出」をコールし、垂直エッジの検出を行う。演
算が終了するとサブルーチンをリターンする（ステップ
＃Ｄ０７）。

【００７８】次に、図７を使って水平エッジ検出の説明
を行う。

【００７９】図６のステップ＃Ｄ０４でサブルーチン
「水平エッジ検出」がコールされると（ステップ＃Ｈ０
１）、図６のステップ＃Ｄ０３で設定した演算範囲内
で、センサ画素出力が閾値EYEMINLVL より小さいかを比
較する。条件を満たしていなければステップ＃Ｈ０３へ
進み、ｊをカウントアップし、それが計算範囲内なら再
びステップ＃Ｈ０２へ戻り、比較を繰り返す。

【００８０】そして、ｊをカウントアップしながら上記
ステップ＃Ｈ０２にてｉｍ（ｊ）と閾値EYEMINLVL を比
較し、ｉｍ（ｊ）が閾値より小さくなったらステップ＃
Ｈ０４へ分岐する。ステップ＃Ｈ０４において、今検出
中の水平ラインの左エッジが未発見ならステップ＃Ｈ０
５へ分岐する。また、左エッジが検出されていればステ
ップ＃Ｈ１２を介してステップ＃Ｈ１３へ分岐して右エ
ッジの探査を行う。

【００８１】まず、左エッジが未発見であり、ステップ
＃Ｈ０５へ分岐した場合を説明する。

【００８２】ここで、この水平ラインにおいて、閾値EY
EMINLVL より小さい画素があったかどうかをフラグ「Ｍ
inＤetect 」で判定する。未発見ならフラグ「ＭinＤet
ect」をセットする（ステップ＃Ｈ０６）。次に、位置
ｊをｊｓｔに記憶しておく（ステップ＃Ｈ０７）。そし
て、これがエッジ条件を満たすか判定し（ステップ＃Ｈ
０８）、満たさなければｊをカウントダウンして（ステ
ップ＃Ｈ０９）、このｊが計算範囲内かを判定する（ス
テップ＃Ｈ１０）。計算範囲内なら再びステップ＃Ｈ０
８へ戻り、エッジ条件を満たすかどうか判定する。計算
範囲外になったら、ステップ＃Ｈ０３へ分岐する。

【００８３】例えば、左エッジのエッジ条件として次の
ようなものがある。

【００８４】ｉｍ（ｊ−２）−ｉｍ（ｊ）＞ＥＤＧＥＴＨＲかつｉｍ（ｊ−３）−ｉｍ（ｊ−１）＞ＥＤＧＥＴＨＲなお、「ＥＤＧＥＴＨＲ＝１０」を想定している。エッ
ジ条件はこれに限定されるものではなく別の条件でもよ
い。

【００８５】エッジ条件を満たすか、演算範囲外になる
まで探査していき、ｊをカウントダウンして、エッジ条
件を満たしたならステップ（ステップ＃Ｈ０８）からス
テップ（ステップ＃Ｈ１１）へ分岐し、サブルーチン
「左エッジ相関演算」をコールし、エッジ位置を重心演
算を用いて正確に計算する。

【００８６】次に、右エッジを探査するためにステップ
＃Ｈ０７で記憶したｊｓｔをｊに代入し（ステップ＃Ｈ
１２）、最初に閾値EYEMINLVL より小さくなった位置に
戻す。その後右エッジの探査を行う。

【００８７】上記ステップ＃Ｈ０４で左エッジが発見さ
れた後の場合、又は、ステップ＃Ｈ０８〜＃Ｈ１２で左
エッジが検出された場合、ステップ＃Ｈ１３へ進んでく
る。ここから、右エッジの探査を行う。

【００８８】まず、右エッジ条件を満たすか判定し（ス
テップ＃Ｈ１３）、満たさなければステップ＃Ｈ１４へ
進み、ｊをカウントアップする。カウントアップした値
が計算範囲外でないか判定し（ステップ＃Ｈ１５）、範
囲内なら再びステップ＃Ｈ１３へ戻り、右エッジ条件の
判定を行う。

【００８９】右エッジのエッジ条件はｉｍ（ｊ＋２）−ｉｍ（ｊ）＞ＥＤＧＥＴＨＲかつｉｍ（ｊ＋３）−ｉｍ（ｊ＋１）＞ＥＤＧＥＴＨＲである。

【００９０】右エッジ条件を満たしたらステップ＃Ｈ１
６へ分岐し、サブルーチン「右エッジ相関演算」を実行
する。このサブルーチンを終了すると、ステップ＃Ｈ０
３でｊをカウントアップし、計算範囲内なら再度ステッ
プ＃Ｈ０２へ戻り、閾値判定を繰り返す。計算範囲外な
らサブルーチンをリターンする（ステップ＃Ｈ０３）。

【００９１】次に、上記ステップ＃Ｈ１６にてサブルー
チン「エッジ相関演算」について、図９を使って説明す
る。

【００９２】右エッジ相関演算と左エッジ相関演算は、
エッジパターンが異なるだけで（左右が反転している）
動作が一緒なので、右エッジの説明のみを行う。パター
ン情報は、メモリに格納されているとする。

【００９３】サブルーチン「エッジ相関演算」がコール
されると（ステップ＃ｅ０１）、まず、相関値の最小値
を計算するためのパラメータｃｏｒ_min とその位置を記
憶するパラメータｎ_min を初期化する。ｃｏｒ_min は適
当に大きな値を代入する（ステップ＃ｅ０２）。次に、
相関演算範囲（シフト量）の初期値ｎを設定する。図７
のステップ＃Ｈ０８でエッジ条件を満たした位置ｊを使
って、「ｎ＝ｊ−２」に設定する（ステップ＃ｅ０
３）。

【００９４】次に、相関値を計算するパラメータｓｕｍ
を０に初期化し（ステップ＃ｅ０４）、相関演算のパラ
メータｉを−２に初期化する（ステップ＃ｅ０５）。こ
れは、パターンが「−２〜２」で設定されているからで
ある。次いで、位置画素毎の相関値を加算していく（ス
テップ＃ｅ０６）。すなわち、パターンと画像の差を求
めてその絶対値をｓｕｍに加算していく。パラメータｉ
が２を超えていなければ、再びステップ＃ｅ０６へ戻
り、相関演算を続ける（ステップ＃ｅ０７）。「ｉ＞
２」になったらループを抜け出し、ステップ＃ｅ０８へ
進む。ここでは、相関値の最小を求める。ｃｏｒ_min と
今計算した相関値ｓｕｍを比較して、ｓｕｍが小さけれ
ばステップ＃ｅ０９へ分岐し、その値をｃｏｒ_min に記
憶し、同時にその時のｎの値もｎ_min に記憶する（ステ
ップ＃ｅ０９）。そして、Ｃｒ（ｎ）に今計算した相関
値を記憶する（ステップ＃ｅ１０）。

【００９５】その後ステップ＃ｅ１１に進み、「ｎ＞ｊ
＋２」を判定し、ｎがｊ−２からｊ＋２の範囲で計算し
たか判定する。計算が終了していなければ（「ｎ＞ｎ＋
２」でなければ）、ステップ＃ｅ０４へ戻り、計算を続
ける。ｎがｊ−２からｊ＋２の範囲で計算が終了したら
ステップ＃ｅ１２に進み、相関値Ｃｒ（ｎ）が最小値に
なる位置の前後の値を比較する。Ｃｒ（ｎ）が最小にな
るｎの位置はｎ_min なので、Ｃｒ（ｎ_min −１）とＣｒ
（ｎ_min ＋１）を比較して、Ｃｒ（ｎ_min ＋１）が大き
ければステップ＃ｅ１３に分岐し、図１１（ａ）の式で
エッジ位置の詳細位置ｎ_x を計算する。Ｃｒ（ｎ_min −
１）が大きければステップ＃ｅ１４に分岐し、図１１
（ｂ）の式でエッジ位置の詳細位置ｎ_x を計算する。

【００９６】最後にステップ（ステップ＃ｅ１５）でサ
ブルーチンをリターンする。

【００９７】この様に計算することで、図１３（ａ）〜
（ｅ）及び（ｆ）の様に、エッジの片側が持ち上がった
信号でも正確にエッジ位置を求めることが出来る。

【００９８】（実施の第２の形態）上記の実施の第１の
形態では、パターンを中央部分の平均値と最低輝度から
求めたが、図１５（ａ），（ｂ）のように瞳孔を中心と
したドーナツ型のエリアの平均を使うこともできる。

【００９９】この実施の第２の形態と実施の第１の形態
は、サブルーチン「Ｒead ＿Ｄetect 」（ステップ＃Ｍ
０７）の中で行っているエッジパターン作成部分が異な
っているので、その説明を図１４を使って行う。図３と
図１４で、同じ部分は同じステップ記号が付けてある。

【０１００】サブルーチン「Ｒead ＿Ｄetect 」がコー
ルされると、ステップ＃Ｒ０１から実行していく。まず
センサのブロック読み機能を使って、センサ全体を荒く
みる（ステップ＃Ｒ０２）。次に、ブロック読み出しし
た画像の最大値，最小値，平均値を求める（ステップ＃
Ｒ０３）。上記実施の第１の形態では、ここでエッジパ
ターンを作成したが、この実施の第２の形態２ではこれ
より後でエッジパターンを作成する。そして、ブロック
像の最低値と所定の閾値を使って瞬きの検知を行う（ス
テップ＃Ｒ０４）。

【０１０１】次に、読み出し範囲の初期化を行う（ステ
ップ＃Ｒ０５）。次いで、ブロックデータから求めた平
均輝度（ＢlkＡve）と閾値を比較する（ステップ＃Ｒ０
６）。平均輝度が低ければステップ（ステップ＃Ｒ０
７．５）へ進む。また、平均輝度が閾値より高ければ、
サブルーチン「瞳孔位置推定」をコールして、瞳孔位置
の推定を行う（ステップ＃Ｒ０７）。

【０１０２】エッジパターンを作成する。図１５（ａ）
の様に、推定した瞳孔位置の中心からドーナツ型のエリ
アの平均ＤＡｖを求める。この値をエッジパターンの虹
彩部分の輝度とする。瞳孔位置推定を行わなかった場合
は、上記実施の第１の形態と同様に部分平均を用いる。
上記実施の第１の形態と同様に図４を用いてパターンの
説明を行う。このとき計算した平均値ＤＡｖの値がｍ２
になる。図４（ａ）は右エッジのパターンで、以下の式
で表される。なお、ｍ１は最低レベルと最高レベル、ｓ
１は傾きである。

【０１０３】Ｐ（ｎ）＝ｍ１（ｍ１−ｍ２）／（２＊ｓ１）≧ｎＰ（ｎ）＝ｓ１＊ｎ＋（ｍ１＋ｍ２）／２但し（ｍ１−ｍ２）／（２＊ｓ１）＜ｎ≦（ｍ２−ｍ１）／（２＊ｓ１）Ｐ（ｎ）＝ｍ２（ｍ２−ｍ１）／（２＊ｓ１）＜ｎ左パターンは、右パターンと左右が反転することは上記
実施の第１の形態と同様である。

【０１０４】図１５（ｃ）の様に、ドーナツ型のエリア
平均を用いるのではなく、右エッジ用と、左エッジ用に
別々にコの字型のエリアを計算して、それぞれ右エッジ
用のパターンと左エッジ用のパターンを生成しても良
い。

【０１０５】ステップ＃Ｒ０８では、サブルーチン「読
み出し＆逐次処理」をコールして、決定した領域内のセ
ンサ読み出し及び逐次処理で特徴点抽出を行い、最後に
リターンする（ステップ＃Ｒ０９）。

【０１０６】（実施の第３の形態）上記実施の第１の形
態では、前述した様にパターンを中央部分の平均値と最
低輝度から求めたが、図１６（ａ），（ｂ）の様に、瞳
孔を中心としたエリアの高輝度部分と低輝度部分を除い
た画素による平均を使うこともできる。

【０１０７】フローチャートや制御動作は、上記実施の
第２の形態と同じであるので省略する。

【０１０８】この様に、高輝度部を除くことにより、Ｐ
像による影響を避けることが出来、また、低輝度部を除
くことにより、瞳孔部分の影響を避け、虹彩部分の輝度
を正確に推定することが出来る。

【０１０９】上記実施の第１〜第３の形態では、瞳孔エ
ッジの正確な位置を検出したが、Ｐ像検出にも応用する
ことができる。図１８に、Ｐ像に関する図を示してい
る。Ｐ像を検出するには、図１７（ａ）に示す様な、二
次元のパターンを発生させ、それとの相関をとってエッ
ジ位置を検出する。中心をピークにしたパターンを発生
させ、全体の平均輝度レベルと最高輝度レベルにより、
中心の値や周辺の値を変化させても良い。また、二次元
的なパターンの相関をとるのが難しい場合は、エッジ検
出と同じように一次元のパターンを発生させてＰ像位置
を求めても良い（図１７（ｂ）参照）。この場合、縦の
位置は、横での相関が最小になる位置で縦方向の相関演
算を行って求めても良いし（図１７（ｄ）参照）、横方
向の相関値の最小値から求めても良い（図１７（ｅ）参
照）。

【０１１０】（変形例）本発明は、一眼レフカメラに適
用した例を述べているが、レンズシャッタカメラや電子
スチルカメラ等のカメラにも適用可能である。更には、
顕微鏡やヘッドマウントディスプレイ装置やゲーム機等
の光学装置にも適用可能である。その他の光学機器や他
の装置、更には構成ユニットとしても適用することがで
きるものである。

【０１１１】

【発明の効果】以上説明したように、本発明によれば、
基準パターンと画像信号との相関演算を行い、眼球画像
の特徴点、つまり瞳孔のエッジ位置を求めると共に、こ
の瞳孔のエッジ位置に基づいて観察者の視線位置を検出
するようにしている為、正確な瞳孔のエッジ位置の検出
及び正確な視線位置を求めることが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態の概略を説明する為
の図である。

【図２】本発明の実施の第１の形態に係る視線検出時の
動作を示すフローチャートである。

【図３】本発明の実施の第１の形態に係るセンサ読み出
し＆特徴抽出時の動作を示すフローチャートである。

【図４】本発明の実施の第１の形態に係るエッジパター
ンを示す図である。

【図５】本発明の実施の第１の形態に係るセンサ読み出
し＆逐次処理時の動作を示すフローチャートである。

【図６】本発明の実施の第１の形態に係る瞳孔エッジ検
出時の動作を示すフローチャートである。

【図７】本発明の実施の第１の形態に係る水平エッジ検
出時の動作を示すフローチャートである。

【図８】本発明の実施の第１の形態に係る相関演算の説
明を助ける為の図である。

【図９】本発明の実施の第１の形態に係る相関演算時の
動作を示すフローチャートである。

【図１０】本発明の実施の第１の形態が適用される一眼
レフカメラの電気的構成の概略を示すブロック図であ
る。

【図１１】本発明の実施の第１の形態において相関最小
位置について説明する為の図である。

【図１２】本発明の実施の第１の形態においてエッジの
相関パターン作成に使用する平均値範囲を示す図であ
る。

【図１３】本発明の実施の第１の形態により従来の問題
点を解消できることを説明する為の図である。

【図１４】本発明の実施の第１の形態に係るセンサ読み
出し＆特徴抽出時の動作を示すフローチャートである。

【図１５】本発明の実施の第１の形態においてにおいて
エッジの相関パターン作成に使用する平均値範囲を示す
図である。

【図１６】本発明の実施の第３の形態においてにおいて
エッジの相関パターン作成に使用する平均値範囲を示す
図である。

【図１７】本発明に係るエリアセンサ上の眼球像及びＰ
像の出力状態を示す図である。

【図１８】本発明に係るＰ像の相関パターンについて説
明する為の図である。

【図１９】一般的な視線検出原理を説明する為の図であ
る。

【図２０】視線検出に使用される瞳孔画像及びその出力
の状態を示す図である。

【図２１】従来の瞳孔エッジ検出時における問題点を説
明する為の図である。

【符号の説明】

１４イメージセンサ１００ＣＰＵ１００ａＥＥＰＲＯＭ１０１視線検出回路

【手続補正書】

【提出日】平成９年３月４日

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正内容】

【０００１】

【発明の属する技術分野】本発明は、観察者の眼球像
の特徴点を検出する特徴点検出装置、観察者の眼球像よ
り瞳孔位置抽出に必要な瞳孔のエッジを検出する瞳孔エ
ッジ検出装置、及び、この種の装置を具備した視線検出
装置の改良に関するものである。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００２１

【補正方法】変更

【補正内容】

【００２１】（発明の目的）本発明の目的は、画像
信号より正確な瞳孔のエッジ位置を検出すると共に、こ
の瞳孔のエッジ位置検出方法により正確な視線位置を求
めることのできる特徴点検出装置、瞳孔エッジ検出装
置、及び、視線検出装置を提供することにある。

Claims

【特許請求の範囲】

【請求項１】画像信号から特徴点を検出する検出手段
と、特徴点の基準パターンを発生させるパターン発生手
段と、該パターン発生手段で発生させた基準パターンと
前記画像信号との相関演算を行う相関演算手段とを備
え、前記検出手段で検出された特徴点位置近傍において、前
記相関演算手段によって特徴点の正確な位置を検出する
ことを特徴とする特徴点検出装置。
【請求項２】前記画像信号は、眼球像を含むことを特
徴とする請求項１記載の特徴点検出装置。
【請求項３】前記特徴点は、瞳孔のエッジであること
を特徴とする請求項１記載の特徴点検出装置。
【請求項４】画像信号からエッジ位置を検出する検出
手段と、エッジの基準パターンを発生させるパターン発
生手段と、前記検出手段で検出されたエッジ位置近傍に
おいて、前記パターン発生手段で発生させた基準パター
ンと前記画像信号との相関演算を行う相関演算手段とを
備え、前記相関演算手段によってエッジの正確な位置を検出す
ることを特徴とするエッジ検出装置。
【請求項５】請求項４記載のエッジ検出装置を具備し
たことを特徴とする視線検出装置。
【請求項６】眼球画像を含む画像情報を入力する画像
入力手段を備え、該画像入力手段からの画像情報の特徴
点を検出し、この特徴点位置に基づいて視線検出を行う
視線検出装置において、前記画像信号からエッジ位置を
検出する検出手段と、エッジの基準パターンを発生させ
るパターン発生手段と、前記検出手段で検出されたエッ
ジ位置近傍において、前記パターン発生手段で発生させ
た基準パターンと前記画像信号との相関演算を行う相関
演算手段とを設け、前記相関演算手段によってエッジの正確な位置を検出す
ることを特徴とする視線検出装置。
【請求項７】前記特徴点は、瞳孔のエッジであること
を特徴とする請求項６記載の視線検出装置。