JPH0833609A - 視線検出装置及びカメラ - Google Patents

Abstract

(57)【要約】 【目的】 観察者の視線検出スピードの向上と視線検出
精度の向上の両方を達成可能とする。 【構成】 ブロック領域内の光電変換信号に関するブロ
ック信号を出力するブロック信号を求め、この各ブロッ
ク信号を基にセンサ領域内の領域を制限する制限領域設
定手段１００を、前記ブロック領域を形成する複数の光
電変換素子の組み合わせを、異なる数の組み合わせのう
ちから選択する機能を持つ手段とし、観察者のセンサ領
域上における瞳孔像の大きさを状況に応じて推定し、ブ
ロック領域の選択を行うようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、接眼部を覗く観察者の
視線（注視点）を検出する視線検出装置及びカメラの改
良に関するものである。

【０００２】

【従来の技術】従来より、撮影者が観察面上のどの位置
を観察しているかを検出する、いわゆる視線（視軸）を
検出する装置（例えばアイカメラ）が種々提供されてい
る。例えば特開平１−２７４７３６号公報においては、
光源からの平行光束を撮影者の眼球の前眼部へ投射し、
角膜からの反射光による角膜反射像と瞳孔の結像位置を
利用して注視点を求めている。また同公報において、視
線検出装置を一眼レフカメラに配設し、撮影者の視線
（注視点）情報を用いて撮影レンズの自動焦点調節を行
う例を開示している。

【０００３】図１９は、一眼レフカメラに配設された視
線検出光学系の概略図である。

【０００４】同図において、１１は接眼レンズで、撮影
者はこの接眼レンズ１１に目を近づけてファインダ内の
被写体を観察する。１３ａ，１３ｂは各々撮影者に対し
て不感の赤外光を放射する発光ダイオード等の光源（以
下、ＩＲＥＤと記す）である。撮影者の眼球で反射した
照明光の一部は受光レンズ１２によりイメージセンサ１
４に集光する。

【０００５】図２０は視線検出の原理を説明する為の図
である。

【０００６】同図において、１５は撮影者の眼球、１６
は角膜、１７は虹彩である。なお、図２０に示した接眼
レンズ１１は説明には不要であるため、省略してある。

【０００７】以下、上記の各図を用いて視線の検出方法
について説明する。

【０００８】ＩＲＥＤ１３ｂより放射された赤外光は観
察者の眼球１５の角膜１６を照射する。このとき角膜１
６の表面で反射した赤外光の一部により形成される角膜
反射像ｄ（虚像）は受光レンズ１２により集光され、イ
メージセンサ１４上の位置ｄ´に結像する。同様にＩＥ
ＲＤ１３ａにより放射された赤外光は、眼球１５の角膜
１６を照明する。このとき、角膜１６の表面で反射した
赤外光の一部により形成された角膜反射像ｅは受光レン
ズ１２により集光され、イメージセンサ１４上の位置ｅ
´に結像する。

【０００９】又、虹彩１７の端部ａ，ｂからの光束は、
受光レンズ１２を介してイメージセンサ１４上の位置ａ
´，ｂ´に該端部ａ，ｂの像を結像する。このような瞳
孔と虹彩１７の境界が成す円（これを瞳孔円と称す）の
中心ｃのＸ座標をＸｃとしたとき、イメージセンサ１４
上でのＸ座標は不図示のＸｃ´となる。

【００１０】図２１（Ａ）は上記イメージセンサ１４に
投影される眼球像の概略図であり、図２１（Ｂ）は上記
イメージセンサ１４の出力ラインからの出力信号６０の
強度分布を示す図である。

【００１１】図２１（Ａ）中の５０は眼球の白目の部
分、５１は瞳孔部、５２ａ，５２ｂは１対のＩＲＥＤの
角膜反射像を表している。この角膜反射像５２ａ，５２
ｂは「プルキンエ像」と呼ばれるものであり、以降「Ｐ
像」と記す。

【００１２】また、Ｐ像ｄ及びｅの中点のＸ座標と角膜
１６の曲率中心ｏのＸ座標Ｘｏとは略一致する。このた
めＰ像の発生位置ｄ，ｅのＸ座標をＸｄ，Ｘｅ、角膜１
６の曲率中心ｏと瞳孔の中心ｃまでの標準的な距離をＬ
_OCとすると、眼球１５の光軸１５ａの回転角θｘは、 Ｌ_OC＊ｓｉｎθｘ≒（Ｘｄ＋Ｘｅ）／２−Ｘｃ …………（１） の関係式を略満足する。このため、図２１（Ａ）に示し
た様に、メージセンサ１４上に投影された眼球１５の各
特徴点（Ｐ像及び瞳孔の中心）の位置を検出することに
より、眼球１５の光軸１５ａの回転角θを求めることが
できる。

【００１３】眼球１５の光軸１５ａの回転角は（１）式
より、 β＊Ｌ_OC＊ｓｉｎθｘ≒｛（Ｘｐｏ−δＸ）−Ｘｉｃ｝＊ｐｉｔｃｈ …………（２） β＊Ｌ_OC＊ｓｉｎθｙ≒｛（ｙｐｏ−δｙ）−ｙｉｃ｝＊ｐｉｔｃｈ …………（３） と求められる。

【００１４】ここで、θｘはＺ−Ｘ平面内での眼球光軸
の回転角、θｙはＹ−Ｚ平面内での眼球光軸の回転角で
ある。また、（Ｘｐｏ、Ｙｐｏ）はイメージセンサ１４
上の２個のＰ像の中点の座標、（Ｘｉｃ、Ｙｉｃ）はイ
メージセンサ１４上の瞳孔中心の座標である。ｐｉｔｃ
ｈはイメージセンサ１４の画素ピッチである。又、βは
受光レンズ１２に対する眼球１５の位置により決る結像
倍率で、実質的には２個のＰ像の間隔の関数として求め
られる。δｘ，δｙはＰ像の中点の座標を補正する補正
項であり、撮影者の眼球を平行光ではなく発散光にて照
明していることにより生じる誤差を補正する補正項、及
び、δＹに関しては、撮影者の眼球を下まぶたの方から
発散光にて照明していることにより生じるオフセット成
分を補正する補正項も含まれている。

【００１５】撮影者の眼球光軸の回転角（θｘ，θｙ）
が算出されると、撮影者の観察面（ピント板）上の注視
点（Ｘ、Ｙ）は、カメラの姿勢が横位置の場合、 Ｘ＝ｍ＊（θｘ＋△） ………………（４） Ｙ＝ｍ＊θｙ ………………（５） と求められる。

【００１６】ここで、Ｘ方向はカメラの姿勢が横位置の
場合の撮影者に対して水平方向、Ｙ方向はカメラの姿勢
が横位置の場合の撮影者に対して垂直方向を示してい
る。ｍは眼球１５の回転角からピント板上の座標に変換
する変換係数、△は眼球光軸１５ａと視軸（注視点）と
のなす角である。一般に眼球の回転角と観察者が実際に
見ている視軸とは、観察者に対して水平方向に約５°ず
れており、垂直方向には殆どずれていない事が知られて
いる。

【００１７】上記撮影者の視線（注視点）を求める演算
は、前記各式に基づいて視線検出装置内のマイコンにお
けるソフトで実行している。

【００１８】そして、カメラのファインダを覗く撮影者
の視線のピント板上の位置を算出し、その視線情報を撮
影レンズの焦点調節あるいはカメラの撮影モード設定な
どに利用している。

【００１９】実際に視線を求めるには、イメージセンサ
上の眼球像をマイコン等で処理して上述のＰ像，瞳孔円
を検出し、その位置情報に基づいて視線を算出する。

【００２０】具体的な手法としては、本願出願人によっ
て、特開平４−３４７１３１号公報などに開示されてい
る。

【００２１】同公報によれば、イメージセンサ全ての画
素の光電変換信号を読み出し、Ａ／Ｄ変換を行い、逐次
的な処理によりＰ像と瞳孔円の座標を記憶してゆく。Ｐ
像の座標の求め方は簡単に説明すると、画素の輝度レベ
ルが所定のレベルよりも大きいと認識したときの座標で
求めている。また瞳孔円は、瞳孔と虹彩の境界の輝度差
を利用して抽出するが、このとき逐次処理でのその時点
における最低輝度値から、エッジ点としてふさわしいか
どうかを判定しているため、全画素を読み出して逐次処
理が終わった時点で、もう一度、全画素の最低輝度値か
らエッジ点としてふさわしいかどうかを判定し、残った
エッジ点より瞳孔のエッジ座標を最小２乗法を用いて円
を推定し、これを瞳孔円としている。

【００２２】図２２に従って説明すると、図２２（Ａ）
は眼球像を表し、ここではＰ像を省略している。瞳孔部
５１の周囲に配されてる複数の白丸が瞳孔エッジであ
り、７０−１がその１つを表している。

【００２３】同図中（Ｂ）は、（Ａ）の瞳孔エッジのみ
を抽出して表したものであり、これらのエッジデータに
基づいて、最小２乗法を用いて推定した円が７２であ
る。この推定円の中心座標を（Ｘｃ，Ｙｃ）、半径をｒ
ｃとすると、図２２（Ｃ）のようになる。

【００２４】このような視線検出装置をカメラのファイ
ンダを覗く観察者の視線を検出するのに用いた場合、観
察者の覗き方に自由度を持たせることは不可欠である。
つまり、ファインダを覗く位置が多少変化しても正確に
視線を検出することが望まれる。そのためにはエリアセ
ンサの受光する像の範囲が広いことが必要となるが、そ
うすることで画素数が増え、視線検出を行うための信号
の読み出し、瞳孔エッジやＰ像の抽出のための処理演算
が膨大になり、又膨大な時間を要してしまうことにな
る。

【００２５】また、視線検出光学系から入射してくるゴ
ーストやフレア、また眼鏡をかけている人が観察者の場
合、眼鏡からの反射像などのノイズ成分が混在してしま
うと、間違った瞳孔エッジを検出してしまう可能性があ
り、瞳孔円の検出の信頼性が低下するという問題点が生
じていた。

【００２６】そこで、カメラの制御に使われるマイコン
の内蔵ＲＡＭの記憶容量は一般にエリアセンサの全画素
情報を一度に記憶できるほど大きくないので、数ライン
分の像データを内蔵ＲＡＭに記憶させながら、１ライン
読み込みながら逐次処理を行い、全画素の逐次処理が終
わった時点でもう一度エッジ点の判定をして瞳孔円の検
出の信頼性を増す方法を用いているため、無駄な時間を
費やしていた。

【００２７】これに対して本願出願人は、特願平５−４
８０７０号において、瞳孔像の光電変換信号のレベル値
がイメージセンサ上の像の中で一番低くなる〔図２１
（Ｂ）参照〕ことを利用して、イメージセンサの全エリ
アを、それぞれ略均等な複数のブロック領域に分け、そ
のブロック領域内の光電変換信号に関する各ブロック信
号を出力するブロック信号出力手段を有し、そのブロッ
ク信号の中で最低レベル値を示すブロックを検出し、そ
のブロック位置をもとにイメージセンサ領域内に限定領
域を設定し、この領域における光電変換信号に基づいて
信号処理を行い、観察者の視線を検出する装置を提案し
ている。また、この中で、前記最低レベル値を示すブロ
ックのブロック信号のレベル値を用い、前記限定領域内
の画素の光電変換信号に基づいて信号処理による瞳孔円
の検出を行って、前述のような全画素の逐次処理が終わ
った時点でもう一度エッジ点の見直し判定処理を行うと
いった事を省いても、瞳孔エッジ抽出の信頼性を低下さ
せることなく、視線検出処理の大幅なスピードアップを
実現している。

【００２８】

【発明が解決しようとする課題】しかしながら、この方
式ではイメージセンサの全エリアを分割するブロックの
大きさが問題となり、例えば、観察者のイメージセンサ
上の瞳孔像よりもかなり大きなブロックで全エリアを分
割したならば、瞳孔を含んでいるブロックのブロック信
号とそうでないブロックのブロック信号との間にレベル
的な差が少なくなり、最低レベル値を示すブロックの検
出が困難になり、かえって瞳孔円検出の信頼性を低下さ
せる危険がある。また反対に、観察者のイメージセンサ
上の瞳孔像よりもかなり小さなブロックで全エリアを分
割したならば、そのブロック信号のＡ／Ｄ変換と最低レ
ベル値の検出に時間がかかってしまい、スピードアップ
の効果が少なくなってしまう。

【００２９】従って、イメージセンサ上の瞳孔像に対し
て適当な大きさのブロックで分割することが不可欠とな
る。ところが、一般に知られているように人間の瞳孔は
瞳に入射する光量によって開いたり閉じたりするので、
ブロックの大きさは瞳孔円の検出の信頼性を低下させな
いよう、観察者の瞳孔が一番小さい時を基準に設定する
ことが望ましい。そうすると、観察者の瞳孔が大きく開
いてるような状況においてもブロックは小さいため、前
述したようにブロック信号のＡ／Ｄ変換と最低レベル値
の検出に時間がかかってしまい、スピードアップの効果
が少なくなってしまうという問題点があった。

【００３０】（発明の目的）本発明の目的は、観察者の
視線検出スピードと視線検出精度の両方を向上させるこ
とのできる視線検出装置及びカメラを提供することであ
る。

【００３１】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、ブロック領域内の光電変換信号に関する
ブロック信号を出力するブロック信号を求め、この各ブ
ロック信号を基にセンサ領域内の領域を制限する制限領
域設定手段を、前記ブロック領域を形成する複数の光電
変換素子の組み合わせを、異なる数の組み合わせのうち
から選択する機能を持つ手段とし、観察者のセンサ領域
上における瞳孔像の大きさを状況に応じて推定し、ブロ
ック領域の選択を行うようにしている。

【００３２】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００３３】図１は本発明の第１の実施例における視線
検出装置を一眼レフカメラに適用した場合の要部を示す
構成図であり、図２は図１の一眼レフカメラのファイン
ダ視野を示す図である。

【００３４】図１において、１は撮影レンズであり、便
宜上２枚のレンズ１ａ，１ｂで示したが、実際は多数の
レンズから構成されている。２は主ミラーで、観察状態
と撮影状態に応じた撮影光路へ斜設されあるいは退去さ
れる。３はサブミラーで、主ミラー２を透過した光束を
カメラボディの下方へ向けて反射する。４はシャッタで
ある。５は感光部材で、銀塩フィルムあるいはＣＣＤや
ＭＯＳ型等の固体撮像素子あるいはビディコン等の撮像
管より成っている。

【００３５】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，後述する複数のＣ
ＣＤから成るラインセンサ６ｆ等から構成されている周
知の位相差方式を採用している。同図の焦点検出装置６
は、図２に示すようにファインダ視野内（観察画面内）
２１３の複数の領域（５箇所の測距点マーク２００〜２
０４）を焦点検出可能なように構成されている。

【００３６】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ムである。９，１０は観察画面内の被写体輝度を測定す
る為の結像レンズと測光センサで、結像レンズ９はペン
タプリズム８内の反射光路を介してピント板７と測光セ
ンサ１０を共役に関係付けている。

【００３７】１１は前記ペンタプリズム８の射出面後方
に配置され、撮影者の眼１５によるピント板７の観察に
使用される接眼レンズであり、該接眼レンズ１１には例
えば可視光を透過し赤外光を反射するダイクロイックミ
ラーより成る光分割器１１ａが具備されている。１２は
受光レンズ、１４はＣＣＤ等の光電素子列を２次元的に
配したイメージセンサで、受光レンズ１２に関して所定
の位置にある撮影者の眼１５の虹彩近傍と共役になるよ
うに配置されている。イメージセンサ１４の詳しい回路
構成については後述する。

【００３８】１３（１３ａ〜１３ｂ）は各々撮影者の眼
球１５の照明光源であるところのＩＲＥＤ（赤外発光ダ
イオード）である。

【００３９】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤであり、該スーパー
インポーズ用ＬＥＤ２１から発光された光は投光用プリ
ズム２２，主ミラー２で反射してピント板７の表示部に
設けた微小プリズムアレイ７ａで垂直方向に曲げられ、
ペンタダハプリズム８，接眼レンズ１１を通って撮影者
の眼１５に達する。そこでピント板７の焦点検出領域に
対応する位置にこの微小プリズムアレイ７ａを枠状に形
成し、これを各々に対応したスーパーインポーズ用ＬＥ
Ｄ２１（各々をＬＥＤ−Ｌ１，ＬＥＤ−Ｌ２，ＬＥＤ−
Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２とする）によって照明
する。これによって、図２に示したファインダ視野から
判かるように、各々の測光点マーク２００，２０１，２
０２，２０３，２０４がファインダ視野内２１３で光
り、焦点検出領域（測距点）を表示させている（以下、
これをスーパーインポーズ表示という）。

【００４０】２３はファインダ視野領域を形成する視野
マスク、２４はファインダ視野外に撮影情報を表示する
ためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥ
Ｄ）２５によって照明されている。ファインダ内ＬＣＤ
２４を透過した光は三角プリズム２６によってファイン
ダ内に導かれ、図３のファインダ視野外２０７に表示さ
れ、撮影者は該撮影情報を観察している。

【００４１】３１は撮影レンズ１内に設けた絞り、３２
は後述の絞り駆動回路１１１を含む絞り駆動装置、３３
はレンズ駆動用モータ、３４は駆動ギヤ等からなるレン
ズ駆動部材である。３５はフォトカプラであり、レンズ
駆動部材３４に連動するパルス板３６の回転を検知して
レンズ焦点調節回路１１０に伝えている。レンズ焦点調
節回路１１０は、この情報とカメラ側からのレンズ駆動
量の情報に基づいてレンズ駆動用モータ３３を所定量駆
動させ、撮影レンズ１の合焦レンズ１ａを合焦位置に移
動させている。３７は公知のカメラとレンズとのインタ
ーフェイスとなるマウント接点である。

【００４２】図３は上記構成における一眼レフカメラの
電気的構成を示すブロック図であり、図１と同じ部分は
同一の番号をつけている。

【００４３】同図において、カメラ本体に内蔵されたカ
メラ制御手段であるところのマイクロコンピュータの中
央処理装置（以下、ＣＰＵと記す）１００には、視線検
出回路１０１，測光回路１０２，自動焦点検出回路１０
３，信号入力回路１０４，ＬＣＤ駆動回路１０５，ＬＥ
Ｄ駆動回路１０６，ＩＲＥＤ駆動回路１０７，シャッタ
制御回路１０８、及び、モータ制御回路１０９がそれぞ
れ接続されている。また、撮影レンズ１内に配置された
焦点調節回路１１０，絞り駆動回路１１１とは図１で示
したマウント接点３７を介して信号の伝達がなされる。

【００４４】ＣＰＵ１００に付随した記憶手段としての
ＥＥＰＲＯＭ１００ａは、フィルムカウンタその他の撮
影情報を記憶可能である。

【００４５】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は後述するように視線検出に必要な眼球像の各特
徴点を所定のアルゴリズムに従って抽出し、さらに各特
徴点の位置から撮影者の眼球の回転角を算出する。

【００４６】本実施例の一眼レフカメラでは、これによ
り撮影者のファインダ上の視線（注視点）を演算抽出
し、５つの測距点２００〜２０４のうちから一つを選択
し、その測距点で自動焦点検出を行っている。

【００４７】前記測光回路１０２は、測光センサ１０か
らの出力を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。測光センサ
１０は画面内を４分割しており、それぞれＳＰＣ−Ｌ，
ＳＰＣ−Ｃ，ＳＰＣ−Ｒ，ＳＰＣ−Ａの４個の光電変換
出力を出力するフォトダイオードから構成されている。

【００４８】前記自動焦点検出回路１０３に接続される
ラインセンサ６ｆは、前述のように画面内の５つの測距
点２００〜２０４に対応した５組のラインセンサＣＣＤ
−Ｌ２，ＣＣＤ−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，Ｃ
ＣＤ−Ｒ２から構成される公知のＣＣＤラインセンサで
あり、自動焦点検出回路１０３はこれらラインセンサ６
ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１００に送る。

【００４９】ＳＷ１は不図示のレリーズ釦の第１ストロ
ークでＯＮし、測光，ＡＦ，視線検出動作を開始する測
光スイッチ、ＳＷ２はレリーズ釦の第２ストロークでＯ
Ｎするレリーズスイッチ、ＳＷ−ＤＩＡＬ１とＳＷ−Ｄ
ＩＡＬ２は不図示の電子ダイヤル内に設けたダイヤルス
イッチであり、信号入力回路のアップダウンカウンタに
入力され、該電子ダイヤル４５の回転クリック量をカウ
ントする。

【００５０】ＳＷ−ＨＶ１，ＳＷ−ＨＶ２は水銀スイッ
チ等で構成されるカメラが横位置で構えられたか、縦位
置で構えられたかを検知する姿勢検知スイッチであり、
この情報により視線検出を行うために照射させるＩＲＥ
Ｄが、１３ａ〜１３ｆのうちから選択される。

【００５１】前記信号入力回路１０４は、これらの撮影
に関する情報を入力するスイッチやダイアルの情報をＣ
ＰＵ１００に送る役目をしている。前記ＬＣＤ駆動回路
１０５は、液晶表示素子ＬＣＤを表示駆動させるための
公知の回路で、ＣＰＵ１００からの信号に従って絞り
値，シャッタ秒時，設定した撮影モード等の表示をモニ
タ用ＬＣＤ４２とファインダ内ＬＣＤ２４の両方に同時
に表示させることができる。

【００５２】前記ＬＥＤ駆動回路１０６は、照明用ＬＥ
Ｄ（Ｆ−ＬＥＤ）２５とスーパーインポーズ用ＬＥＤ２
１を点灯，点滅制御する。前記ＩＲＥＤ駆動回路１０７
は、ＩＲＥＤ１３ａ〜１３ｆ（１〜６）を状況に応じて
選択的に点灯させる。

【００５３】前記シャッタ制御回路１０８は、通電する
と先幕を走行させるマグネットＭＧ−１と後幕を走行さ
せるマグネットＭＧ−２を制御し、感光部材に所定光量
を露光させる。前記モータ制御回路１０９は、フィルム
の巻上げ，巻戻しを行うモータＭ１と主ミラ２及びシャ
ッタ４のチャージを行うモータＭ２を制御するためのも
のである。これらシャッタ制御回路１０８，モータ制御
回路１０９によって一連のカメラのレリーズシーケンス
が動作する。

【００５４】以下に、光電変換素子の各出力信号をＡ／
Ｄ変換し、視線検出するための信号処理を行う作業に先
立って、眼球の特徴点を示す光電変換出力（Ｐ像、ある
いは瞳孔部）を特定し、実際の信号処理を行うに足るイ
メージセンサ内上のエリアを設定した後に、この設定さ
れたエリア内の全光電変換素子出力をもとにして視線を
検出する実施例を説明する。

【００５５】まず、図４〜図６を基に、イメージセンサ
１４の回路、そしてその動作を説明する。

【００５６】視線検出を行うために、瞳孔部のみを検出
して行う例もあるが、ここでの実施例では、先立ってＰ
像及び瞳孔部の両者を検出する例を示す。

【００５７】図４は上記の図３に示すイメージセンサ１
４（ＩＭＡＧＥ−ＥＹＥ）の回路構成を示す図であり、
図５及び図６はその動作説明を助ける為のタイミングチ
ャートである。

【００５８】イメージセンサ１４は、実際には水平画素
１５０画素、垂直画素１００画素、全画素「１５０×１
００＝１５０００」画素程度のエリアセンサとするが、
図４では説明を簡単にするため、便宜上「８×８＝６
４」画素のエリアセンサとして描いている。

【００５９】イメージセンサ１４は、ＣＰＵ１００によ
り視線検出回路１０１を介して制御される。その機能は
画素のリセット機能、光電変換蓄積機能、その蓄積信号
出力機能であり、更に、水平ライン毎のピーク値、及び
垂直ライン毎のピーク値を実際の視線検出するための画
素信号出力に先立って出力する機能、そして水平６×垂
直６＝３６画素の平均ブロック信号、又は「３×３＝
９」画素の平均ブロック信号のどちらかを選択して、画
素信号出力に先立って出力する機能を有している。

【００６０】但し、図４〜図６では説明を簡単にするた
めに、ブロック信号は「４×４＝１６」画素と「２×２
＝４」画素の平均ブロック信号のどちらかの選択をして
出力するものとしている。

【００６１】図４において、１０３はひとつの光電変換
素子を示し、そのベースに光電荷を蓄積するダブルエミ
ッタを有するバイポーラトランジスタから成る。第１の
エミッタは出力線１と第２のエミッタは出力ライン１０
２に接続される。１０４はバイポーラトランジスタ１０
３のベース電位を制御するためのキャパシタ（以下、容
量と記す）、１０５は上記ベースをリセットするための
Ｐ型のＭＯＳ（以下、ｐＭＯＳと記す）トランジスタ、
１０６は垂直出力ライン１０１を接地するためのＭＯＳ
トランジスタ、１０７は前記ＭＯＳトランジスタ１０６
のゲートにパルスを印加するための端子、１０８は容量
１０４を通してバイポーラトランジスタ１０３のベース
電位を制御し、画素のリセット，読み出しを行うための
水平駆動ラインである。

【００６２】１０９は垂直シフトレジスタＡ（１３２）
の出力がゲートに印加されると、ＯＮすることで駆動す
る画素行を選択するバッファＭＯＳトランジスタ、１１
０は画素の駆動パルスを印加するための端子、１１１は
左端及び右端のｐＭＯＳ１０５のドレインに接続する信
号ライン、１１２はその出力が信号ライン１１１に接続
するエミッタフォロワー、１１３はエミッタフォロワー
１１２のベース電位を制御するためのＭＯＳトランジス
タ、１１４は前記ＭＯＳトランジスタ１１３のドレイン
端子に接続する電源端子、１１５は前記ＭＯＳトランジ
スタ１１３のゲートにパルスを印加するための端子、１
１６はそのドレインが正電位に固定されているｐＭＯＳ
トランジスタ、１１７は前記ｐＭＯＳトランジスタ１１
６のゲートにパルスを印加するための端子である。

【００６３】Ｃ１１，Ｃ１２，……，Ｃ１４，Ｃ８４
は、垂直出力ライン１０１を通して出力される画素出力
電位を蓄積するための容量、Ｍ１０，Ｍ１１，Ｍ２１，
……，Ｍ１４，Ｍ８４は、出力ライン１０１と容量Ｃ１
１，Ｃ１２，……，Ｃ１４，Ｃ８４とをスイッチするた
めのＭＯＳトランジスタ、１６０〜１６４はＭ１０，Ｍ
１１，Ｍ２１，……，Ｍ１４，Ｍ８４のゲートにパルス
を印加するための端子、１２１は水平出力ライン、Ｃ２
はそこまでの寄生容量、Ｍ１６，Ｍ２６，Ｍ８６は水平
シフトレジスタ（１３１）の出力によって選択されると
容量Ｃ１１，Ｃ１２，……，Ｃ１４，Ｃ８４と水平出力
ライン１２１とを導通させるスイッチング用のＭＯＳト
ランジスタである。１５２は水平出力ライン１２１を接
地するためのＭＯＳトランジスタ、１２２は前記ＭＯＳ
トランジスタ１５２のゲートにパルスを印加するための
端子、１２４は出力ライン１２１の電位を入力とするア
ンプ、１２０はその出力端子である。

【００６４】光電変換素子１０３に蓄積された画像信号
は一水平ライン毎にＣ１１〜Ｃ８４に転送され、一画素
ずつ出力される。また、垂直ライン毎のピーク値、そし
てブロックの平均出力も同様に出力端子２０より出力さ
れる。

【００６５】１２５は出力ライン１０２を通して出力さ
せる画素出力電位を蓄積するための容量、１２６は出力
ライン１０２と容量１２５とをスイッチするためのＭＯ
Ｓトランジスタ、１２７は前記ＭＯＳトランジスタ２６
のゲートにパルスを印加するための端子、１２８は容量
１２５の電位が導通される出力ライン、１２９が出力ラ
イン２８に接続された出力端子、１３０は垂直シフトレ
ジスタＢの出力によって選択され、容量１２５と出力ラ
イン１２８とを順次導通するスイッチング用のＭＯＳト
ランジスタである。水平ライン毎のピーク値が出力端子
１２９より出力される。

【００６６】１３２は垂直シフトレジスタＡ、１３８は
それを駆動するパルスを印加するための端子、１３３は
垂直シフトレジスタＢ、１３９はそれを駆動するパルス
を印加するための端子、１３１は水平シフトレジスタ、
１３７はそれを駆動するパルスを印加するための端子、
Ｍ１５，Ｍ２５，Ｍ３５，Ｍ５５，Ｍ６５，Ｍ７５は容
量Ｃ１１，Ｃ１２，……，Ｃ１４，Ｃ８４をブロック毎
に直結するＭＯＳトランジスタ、１６５，１６６はそれ
のゲートにパルスを印加するための端子である。これに
より、複数の光電変換素子出力をブロック毎に平均する
ことができる。

【００６７】次に、このセンサの動作を、図５及び図６
に示したパルスタイミングチャートを用いて説明する。

【００６８】図５及び図６において、φＶＣ，φＲ，φ
Ｐ，φＲＣ，φＴ１，φＴ２，φＴ３，φＴ４，φＨ
Ｃ，φＶＴ，φＢＫ１，φＢＫ２，φＨ，φＶ１，φＶ
２は、それぞれ入力端子１０７，１１０，１１５，１１
７，１６１，１６２，１６３，１６４，１２２，１２
７，１６５，１６６，１３７，１３８，１３９に入力さ
れるセンサ駆動パルスである。Ｖ１，Ｖ２，Ｖ３〜Ｖ８
はそれぞれ第１，第２，第３〜第８画素行を選択する信
号、ＡＤ＆処理１，ＡＤ＆処理２は１２０及び１２９の
出力信号を、視線検出回路１０１でＡＤ変換し、ＣＰＵ
１００が後述する処理を行うことを意味している。

【００６９】次に、イメージセンサ１４を機能毎に説明
していくが、必ずしも説明した順番に動作させるもので
はなく、動作の順番は後述のフローチャートで説明す
る。

【００７０】《ベースクランプ》最初に、φＰ（１１
５）がＬｏｗとして、エミッタフォロワー１１２の出力
電位を正とする。この時、ｐＭＯＳトランジスタ１０５
のゲートに接続する駆動ライン１０８の電位はＬｏｗで
あり、ｐＭＯＳトランジスタ１０５がＯＮして、全画素
におけるバイポーラトランジスタ１０３のベース電位が
エミッタフォロワー１１２の出力電位と同電位となる。

【００７１】《順次リセット》φＰ（１１５）をＬｏｗ
として、エミッタフォロワー１１２の出力をＧＮＤ（接
地）とした後、φＶＣ（１０７）をＨｉｇｈとして、垂
直出力ライン１０１を接地し、各画素のバイポーラトラ
ンジスタ１０３の第１エミッタにエミッタ電流を流すこ
とにより、そのベース電位を下げる。さらに垂直シフト
レジスタＡ（１３２）をφＶ１による駆動パルスで起動
し、１行毎にφＲ（１１０）より、水平駆動ライン１０
８にパルスを印加する。駆動ライン１０８がＨｉｇｈと
なった行の各画素のベース電位は容量４の容量結合によ
って一旦上昇するが、再び第１エミッタのエミッタ電流
が流れることでベース電位が下がり、駆動ライン１０８
の電位がＬｏｗとなると、上記容量結合によってベース
電位は負に振られ、第１エミッタ・ベース間は逆バイア
ス状態となる。

【００７２】《蓄積》この逆バイアス状態になった時点
で、ＩＲＥＤを点燈させ、入射光により発生した電荷が
各画素のベースに蓄積し、蓄積電荷量に応じてベース電
位が上昇する。

【００７３】《Ｈ−Ｌｉｎｅ ピーク読み出し》次に、
φＲＣ（１１７）をＬｏｗとして、ｐＭＯＳトランジス
タ１１６をＯＮし、水平駆動ラインの電位をＨｉｇｈレ
ベルとする。この時、各画素のベース電位は前記容量結
合により持ち上げられて、エミッタベース間が順バイア
ス状態となり、各行における最大出力画素の出力値が出
力ライン１０２に表れ、その出力ライン電位がＭＯＳト
ランジスタ１２７を通して、各蓄積容量１２５に蓄積さ
れる。次に、垂直シフトレジスタＢ（１３３）をφＶ２
（１３９）により起動させ、容量１２５の電位を出力端
子１２９から順次出力される。この信号は、ＣＰＵ１０
０により蓄積時間を制御するために使われる。

【００７４】《Ｖ−Ｌｉｎｅ ピーク読み出し》φＶＣ
（１０７）をＬｏｗとして垂直出力ライン１０１をフロ
ーティングとし、φＲＣ（１１７）をＬｏｗとして、ｐ
ＭＯＳトランジスタ１１６をＯＮし、水平駆動ラインの
電位をＨｉｇｈレベルとする。この時、各画素のベース
電位は前記容量結合により持ち上げられて、エミッタ・
ベース間が順バイアス状態となり、各列における最大出
力画の出力値が出力ライン１０１に表れ、その出力ライ
ン電位がそれぞれＭＯＳトランジスタＭ１０，Ｍ１１，
Ｍ１２，Ｍ８４を通して、蓄積容量Ｃ１１，Ｃ１２〜Ｃ
８４に蓄積される。次に、水平シフトレジスタ１３１を
φＨ３７により起動させ、容量Ｃ１１〜Ｃ８４の電位
を、一旦Ｃ２と容量分割した後にアンプ１２４により１
２０から出力される。この信号は、ＣＰＵ１００により
処理され、後述するエリア限定などに使われる。

【００７５】《４×４ブロック 読み出し》また、φＶ
Ｃ（１０７）のパルスによって垂直出力ライン１０１の
電位を接地した後にフローティングとし、φＶ１（１３
８）により垂直シフトレジスタＡを駆動すると同時に、
φＲ（１１０）のパルスを印加し、駆動ライン１０８の
一行目Ｖ１にパルスが印加される。出力ライン１０１に
は一行目の各画素（Ｓ１１〜Ｓ１８）の出力電位が表
れ、φＴ（１６０），φＴ１（１６１）のパルスによ
り、その出力電位が容量Ｃ１１〜Ｃ８１にそれぞれ蓄積
させる。

【００７６】次に、φＶ１（１３８）により垂直シフト
レジスタＡの出力を次の行にして、上記動作を繰り返
す。そして、φＴ１（１６１）のパルスの代わりにφＴ
２（６２）のパルスを使い、二行目の各画素（Ｓ２１〜
Ｓ２８）の出力電位を容量Ｃ１２〜Ｃ８２にそれぞれ蓄
積させる。

【００７７】次に、同様にφＶ１（１３８）により垂直
シフトレジスタの出力を次の行にして、上記動作を繰り
返す。今度はφＴ３（１６３）のパルスを使い、三行目
の各画素（Ｓ３１〜Ｓ３８）の出力電位を容量Ｃ１３〜
Ｃ８３にそれぞれ蓄積させる。

【００７８】次に、同様にφＶ１（１３８）により垂直
シフトレジスタの出力を次の行にして、４度上記動作を
繰り返す。今度はφＴ４（１６４）のパルスを使い、四
行目の各画素（Ｓ４１〜Ｓ４８）の出力電位を容量Ｃ１
４〜Ｃ８４にそれぞれ蓄積させる。

【００７９】次に、φＢＫ１（１６５），φＢＫ２（１
６６）のパルスを印加すると、Ｍ１５，Ｍ２５，Ｍ３
５，Ｍ５５，Ｍ６５，Ｍ７５のＭＯＳトランジスタがＯ
Ｎし、Ｃ１１，Ｃ１２，……，Ｃ４４の「４×４」の計
１６個の容量が平均化される。同様に、Ｃ５１，Ｃ５
２，……，Ｃ８４の「４×４」の計１６個の容量が平均
化される。これにより、ブロック化された画素Ｓ１１，
Ｓ１２，……，Ｓ４４の出力信号がＣ１１，Ｃ１２，…
…，Ｃ４４の容量に平均化される。

【００８０】一方、ブロック化された画素Ｓ１５，Ｓ１
６，……，Ｓ４８の出力信号がＣ５１，Ｃ５２，……，
Ｃ８４の容量に平均化される。この平均化されたブロッ
ク信号をφＨ（１３７）により駆動される水平シフトレ
ジスタ１３１により、順次水平出力ライン２１に転送さ
れ、アンプ１２４を通して、出力端子１２０から出力さ
れる。ＣＰＵ１００は、Ｃ１１〜Ｃ１４の電位のブロッ
ク信号を受け取ると所定の処理（Ａ／Ｄ変換及び読み取
り）を行い、次のＣ２１〜Ｃ２４，Ｃ３１〜Ｃ３４，Ｃ
４１〜Ｃ４４はＣ１１〜Ｃ１４と同じなので前記所定の
処理は行わない。同様に、Ｃ５１〜Ｃ５４のブロック信
号の所定の処理は行うが、Ｃ６１〜Ｃ６４，Ｃ７１〜Ｃ
７４，Ｃ８１〜Ｃ８４の信号では、所定の処理は行わな
い。

【００８１】さらに、垂直シフトレジスタＡの出力を動
かして、上記動作により五行目，六行目，七行目，八行
目の各画素（Ｓ５１〜Ｓ５８，Ｓ６１〜Ｓ６８，Ｓ７１
〜Ｓ７８，Ｓ８１〜Ｓ８８）を、容量Ｃ１１〜Ｃ８１，
Ｃ１２〜Ｃ８２，Ｃ１３〜Ｃ８３，Ｃ１４〜Ｃ８４にそ
れぞれ蓄積させる。そして、φＢＫ１（１６５），φＢ
Ｋ２（１６６）により、画素Ｓ５１，Ｓ５２，……，Ｓ
８４の出力信号がＣ１１，Ｃ１２，……，Ｃ４４の容量
に平均化され、画素Ｓ５５，Ｓ５６，……，Ｓ８８の出
力信号がＣ５１，Ｃ５２，……，Ｃ８４の容量に平均化
される。この平均化されたブロック信号を水平シフトレ
ジスタの駆動により出力され、上記と同様の処理が行わ
れる。

【００８２】《２×２ブロック 読み出し》上記《４×
４ブロック 読み出し》と同様に、まず、φＶＣ（１０
７）のパルスによって垂直出力ライン１０１の電位を設
置した後にフローティングとし、φＶ１（１３８）によ
り垂直シフトレジスタＡを駆動すると同時に、φＲ（１
１０）のパルスを印加し、駆動ライン１０８の一行目Ｖ
１にパルスが印加される。出力ライン１０１には一行目
の各画素（Ｓ１１〜Ｓ１８）の出力電位が表れ、φＴ
（１６０）、φＴ１（１６１）、φＴ３（１６３）のパ
ルスにより、その出力電位を容量Ｃ１１〜Ｃ８１，Ｃ１
３〜Ｃ８３にそれぞれ蓄積させる。

【００８３】次に、φＶ１（１３８）により垂直シフト
レジスタＡの出力を次の行にして、上記動作を繰り返
す。そして、φＴ１（１６１），φＴ３（１６３）のパ
ルスの代りにφＴ２（６２），φＴ４（６４）のパルス
を使い、二行目の各画素（Ｓ２１〜Ｓ２８）の出力電位
を容量Ｃ１２〜Ｃ８２，Ｃ１４〜Ｃ８４にそれぞれ蓄積
させる。

【００８４】ここで、《２×２ブロック 読み出し》で
は、φＢＫ１（１６５）のパルスの印加でＭ１５，Ｍ３
５，Ｍ５５，Ｍ７５のＭＯＳトランジスタがＯＮし、Ｃ
１１、Ｃ１２〜Ｃ２４の「２×４」の計８個の容量が平
均化される。同様に、Ｃ３１，Ｃ３２〜Ｃ４４、Ｃ５
１，Ｃ５２〜Ｃ６４、Ｃ７１，Ｃ７２〜Ｃ７４のそれぞ
れ８個の容量が平均化される。これにより、ブロック化
された「２×２」の４画素Ｓ１１，Ｓ１２，……，Ｓ２
２の出力信号がＣ１１，Ｃ１２〜Ｃ２４の容量に平均化
され、画素Ｓ１３，Ｓ１４，……，Ｓ２４の出力信号
が、画素Ｓ１５，Ｓ１６，……，Ｓ２６の出力信号が、
画素Ｓ１７，Ｓ１８，……，Ｓ２８の出力信号が、それ
ぞれ容量Ｃ３１，Ｃ３２〜Ｃ４４、Ｃ５１，Ｃ５２〜Ｃ
６４、Ｃ７１，Ｃ７２〜Ｃ７４に平均化される。

【００８５】この平均化されたブロック信号を水平シフ
トレジスタ１３１の駆動により出力され、上記と同様
に、ＣＰＵ１００は、Ｃ１１〜Ｃ１４の電位のブロック
信号を受け取ると所定の処理（Ａ／Ｄ変換及び読み取
り）を行い、次のＣ２１〜Ｃ２４はＣ１１〜Ｃ１４と同
じなので前記所定の処理は行わない。Ｃ３１〜Ｃ３４の
ブロック信号を受け取ると所定の処理を行い、Ｃ４１〜
Ｃ４４の信号では、所定の処理は行わない。

【００８６】さらに垂直シフトレジスタＡの出力を動か
して、上記動作により三行目以降の処理を行い、それぞ
れ「２×２」の画素のブロック出力を読み出していき、
所定の処理を行う。

【００８７】《本読み出し（第１行〜第８行読み出
し）》ここで、はじめて視線を検出するための本読み出
しに入るが、全ての画素に同様なＡＤ変換と処理を施す
のではなく、上記のピーク読み出しとブロック読み出し
処理により、エリアを限定し、該限定されたエリアのみ
ＡＤ変換と処理を行う。本実施では、２行目と３行目の
２列目，３列目のみを限定したものとして説明する。

【００８８】まず一行目は、限定エリア外であるので、
垂直シフトレジスタＡを動かすが、信号の出力は行わな
い。２行目では、ブロック読み出しの要領と同様に画素
の信号を容量Ｃ１１，Ｃ１２，……，Ｃ８４に蓄積し、
水平シフトレジスタ１３１により出力端子１２０より信
号を出力していく。ＣＰＵ１００は、２列目（Ｓ２２）
と３列目（Ｓ２３）の信号だけはＡＤ変換と所定の処理
を行って、１列目（Ｓ２１），４列目（Ｓ２４）は処理
を行わない。３行目は２行目と同様な処理を行い、４行
目〜８行目は１行目と同様である。

【００８９】このように、本実施例のイメージセンサ１
４（ＩＭＡＧＥ−ＥＹＥ）に対する信号処理は本読み出
しに先立って、《Ｈ−Ｌｉｎｅ ピーク読み出し》，
《Ｖ−Ｌｉｎｅ ピーク読み出し》，《ブロック読み出
し》を行うことができ、あらかじめＰ像の位置・瞳孔円
の位置、又そのレベルをおおよそ求め、全画素の中の限
定されたエリアのみの画素信号をＡＤ変換及び処理を行
う。

【００９０】次に、図７のフローチャートにより、注視
点を検出するための動作について説明する。

【００９１】変数ＣＰＵ１００が視線検出動作を開始す
ると、ステップ（＃０００）を経て、ステップ（＃００
１）のデータの初期化を実行する。

【００９２】変数ＥＤＧＣＮＴは、虹彩と瞳孔の境界を
エッジとして抽出した個数をカウントする変数である。

【００９３】変数ＩＰ１，ＩＰ２、ＪＰ１，ＪＰ２はＩ
ＲＥＤ１３ａ，１３ｂのＰ像の位置を表す変数であり、
横方向（Ｘ軸）の範囲ＩＰ１〜ＩＰ２、縦方向（Ｙ軸）
の範囲ＪＰ１〜ＪＰ２で囲まれる眼球反射像の領域内
に、２個のＰ像が存在する。

【００９４】今、イメージセンサ（エリアセンサ）１４
の画素数は横方向に１５０画素、縦方向に１００画素の
サイズを想定しており、ＩＰ１，ＩＰ２，ＪＰ１，ＪＰ
２は全体の丁度真中の位置（７５，５０）を初期値とし
て格納しておく。

【００９５】データの初期化の次はステップ（＃００
２）へ移行する。

【００９６】ステップ（＃００２）では、撮影者の眼を
照明するためのＩＲＥＤ１３ａ〜１３ｆの内から適切な
組み合わせのＩＲＥＤを選んで点灯する。ＩＲＥＤの選
択は姿勢スイッチＳＷ−ＨＶ１，ＳＷ−ＨＶ２により、
カメラが横位置か縦位置か、あるいは撮影者が眼鏡をか
けているか否かによってなされる。そして、イメージセ
ンサ１４は《ベースクランプ》と《順次リセット》が行
われ、該イメージセンサ１４の蓄積が開始される。

【００９７】ステップ（＃００３）では、蓄積中にＨ−
Ｌｉｎｅ（水平ライン）ピーク読み出しを行う。ステッ
プ（＃００４）では、水平ラインピークの最大値が所定
のレベルに達しているかを調べ、達していない場合はス
テップ（＃００３）→ステップ（＃００４）を繰り返
し、所定値に達するまでこの間をループする。このよう
にして、蓄積時間をコントロールし、常に適切な画素信
号が読み出せるようにしている。

【００９８】所定の電荷蓄積が終了すると、次のステッ
プ（＃００５）でＩＲＥＤを消燈する。

【００９９】次に、ステップ（＃００６）の制限領域設
定のサブルーチンをコイルする。

【０１００】このサブルーチンの内容が本発明のポイン
トとなるので、詳細は後述する。ステップ（＃００６）
のサブルーチンの中で、水平１５０画素、垂直１００画
素の中からＸ軸（水平方向）は座標「ＩＬ１〜ＩＬ２」
のエリアに、Ｙ軸（垂直方向）は座標「ＪＬ１〜ＪＬ
２」のエリアの領域を決める。

【０１０１】ステップ（＃００７）以降から、エリアセ
ンサの本読み出し及び逐次処理を開始する。

【０１０２】ステップ（＃００７）はループ変数Ｊを０
から９９までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。

【０１０３】ステップ（＃００８）では、Ｙ座標がＪＬ
１〜ＪＬ２の間にないときは、図４〜図６で説明したと
ころの１行目，４行目のように、垂直シフトレジスタＡ
を１ステップ進ませるだけで、Ｊをカウントアップさせ
て次の行へ進む。

【０１０４】Ｙ座標がＪＬ１〜ＪＬ２の間にあるとき
は、ステップ（＃００９）に進み、エリアセンサの横方
向（Ｘ軸）の１ラインの光電変換信号の読み込みを行
う。１ラインの読みはサブルーチン形式となっており、
このサブルーチン「１ライン読み込み」を図８に示す。

【０１０５】図８において、このサブルーチン「１ライ
ン読み込み」がコールされると、ステップ（＃１００）
を経て、次のステップ（＃１０１）を実行する。ステッ
プ（＃１０１）とその枠内のステップ（＃１０２）は、
前述したステップ（＃００６）と同様のループ処理を表
しており、ステップ（＃１０１）では、変数Ｋを０から
３へカウントアップさせながら、そしてステップ（＃１
０２）では、変数Ｉを０から１４９までカウントアップ
させながら、それぞれの枠内の処理を実行してゆく。従
って、ステップ（＃１０１）とステップ（＃１０２）
は、変数Ｋと変数Ｉの、いわゆる「入れ子」となったル
ープ処理を表している。

【０１０６】ステップ（＃１０２）のループ処理内のス
テップ（＃１０３）では、配列変数ＩＭ（Ｉ，Ｋ）の再
格納作業を行っている。

【０１０７】本実施例では、ＣＰＵ１００が信号処理を
行っているわけであるが、一般にマイコンの内蔵ＲＡＭ
（ランダム・アクセス・メモリ）の記憶容量は、エリア
センサの全画素情報を一度に記憶できる程大きくはな
い。そこで、本実施例では、エリアセンサから出力され
る像信号を逐次読み出しながら、横方向（Ｘ軸）５ライ
ン分に相当する最新の像信号のみをマイコンの内蔵ＲＡ
Ｍに記憶させ、１ラインの読み込み毎に視線検出のため
の処理を実行するようにしている。

【０１０８】ステップ（＃１０１）からステップ（＃１
０３）の２重ループ処理で実行している内容は、新たな
１ライン分の像信号を読みために、記憶している過去５
ライン分の像信号データを更新する作業である。即ち、
配列変数ＩＭ（Ｉ，Ｋ）の内、ＩＭ（Ｉ，０）［Ｉ＝０
〜１４９］が最も過去の、またＩＭ（Ｉ，４）［Ｉ＝０
〜１４９］が最も最近の１ラインの像データを表してお
り、次のようにデータを更新して新たな１ライン分の像
信号をＩＭ（Ｉ，４）［Ｉ＝０〜１４９］に格納できる
ように準備する。

【０１０９】 ＩＭ（Ｉ，０）←ＩＭ（Ｉ，１） ＩＭ（Ｉ，１）←ＩＭ（Ｉ，２） ＩＭ（Ｉ，２）←ＩＭ（Ｉ，３） ＩＭ（Ｉ，３）←ＩＭ（Ｉ，４）［Ｉ＝０〜１４９］ さて、ステップ（＃１０１）〜ステップ（＃１０３）の
データ更新のためのループ処理が終了すると、次のステ
ップ（＃１０４）のループ処理を実行する。

【０１１０】ステップ（＃１０４）のループ処理では、
エリアセンサの横方向（Ｘ軸）の１ライン分（１５０画
素）の像信号を出力させながら、制限領域内のみＡ／Ｄ
変換しながらＲＡＭに格納し、また像信号の最小値を検
出している。

【０１１１】ステップ（＃１０５）で、Ｉの値（Ｘ座
標）がＩＬ１〜ＩＬ２の間にないときは、図４〜図６で
の第２行１列目，４列目のように、Ａ／Ｄ変換や処理を
行わずコード，変数Ｉをステップアップし、次の列へ進
む。

【０１１２】変数Ｉの値がＩＬ１〜ＩＬ２の間のあると
きは、ステップ（＃１０６）で進み、ＣＰＵ１００は、
像信号のＡ／Ｄ変換された値ＡＤＣを一時的にＥＹＥＤ
Ｔに格納する。

【０１１３】そして、次のステップ（＃１０６）にて、
ＥＹＥＤＴの値を配列変数ＩＭ（Ｉ，４）に格納する。
変数Ｉは外側のループ処理ステップ（＃１０４）にて０
から１４９までカウントアップされる。

【０１１４】ステップ（＃１０７）と（＃１０８）は、
像信号の最小値を検出処理である。変数ＥＹＥＭＩＮは
像信号の最小値を保持する変数であり、ステップ（＃１
０７）において、ＥＹＥＭＩＮよりＥＹＥＤＴの方が小
さければ、ステップ（＃１０８）へ分岐し、ＥＹＥＭＩ
Ｎをこの小さなＥＹＥＤＴの値で更新する。

【０１１５】ステップ（＃１０４）〜（＃１０９）のル
ープ処理が終了し、新たな１ライン分の像信号の格納
と、最小値の検出が終わると、次のステップ（＃１１
０）でサブルーチン「１ラインの読み込み」をリターン
する。

【０１１６】図７のフローチャートに戻って、ステップ
（＃００９）のサブルーチン「１ラインの読み込み」が
完了すると、次のステップ（＃０１０）へ移行し、外側
のループ処理ステップ（＃００７）のループ変数Ｊが５
以上か否か調べる。

【０１１７】ループ変数Ｊはエリアセンサの縦方向（Ｙ
軸）の画素ラインを表しており、本実施では、エリアセ
ンサの画素数を「１５０×１００」としているので、Ｊ
は０から９９までカウントアップされる。

【０１１８】ステップ（＃０１０）にてループ変数Ｊが
５以上の場合にはステップ（＃０１１）へ分岐する。こ
れは、読み込んだ像信号のライン数が５以上になると、
エリアセンサの縦方向（Ｙ軸）の処理が出来るようにな
るからである。

【０１１９】分岐した先のステップ（＃０１１）では、
サブルーチン「Ｐ像の検出」を実行する。

【０１２０】サブルーチン「Ｐ像の検出」は、前述した
Ｐ像の位置を検出するための処理であり、エリアセンサ
の横方向（Ｘ軸）の１ラインの読み込み毎に実行する。
そのフローチャートを図９に示す。

【０１２１】図９において、サブルーチン「Ｐ像の検
出」がコールされると、ステップ（＃２００）を経てス
テップ（＃２０１）のループ処理を実行する。

【０１２２】ループ処理を制限領域内ＩＬ１〜ＩＬ２で
行うことになる。ループ処理では、像データ（配列変数
ＩＭ（Ｉ，Ｋ）に記憶）中のＰ像の位置を検索し、もし
見つかれば、エリアセンサ上でのその位置を記憶する。
本実施例ではＰ像は２個発生するので、記憶する位置情
報も２個となる。

【０１２３】ループ内の最初のステップ（＃２０２）で
は、所定位置の像データがＰ像としての条件を満足する
か否かを判定する。条件としては、次の様なものであ
る。

【０１２４】ステップ（＃２０２）の「Ｐ像条件」 ＩＭ（Ｉ，２）＞Ｃ１ かつＩＭ（Ｉ，１）＞Ｃ２ かつＩＭ（Ｉ，３）＞Ｃ２ かつＩＭ（Ｉ−１，２）＞Ｃ２ かつＩＭ（Ｉ＋１，２）＞Ｃ２ 但し、Ｃ１，Ｃ２はしきい値定数で、「Ｃ１≧Ｃ２」な
る関係があり、「Ｃ１＝ＥＹＥＭＡＸ−２０」，「Ｃ２
＝ＥＹＥＭＡＸ−５０」である。尚、この数値はＡＤ変
換と８ｂＩｔとし、「０〜２５５」の値をとるものと想
定している。また、「ＥＹＥＭＡＸ＝２５０」としてい
る。

【０１２５】上記条件は、Ｐ像が図２０で説明したよう
に、スポット像のようなものであることに注目し、横／
縦方向（Ｘ／Ｙ軸）の両方向に定義したものである。こ
の条件が満足されたとき、位置（Ｉ，２）にＰ像が存在
するものと見なす。

【０１２６】前述したように配列変数ＩＭ（Ｉ，Ｋ）は
エリアセンサの横方向（Ｘ軸）の１ライン読み込み毎に
更新しており、縦方向（Ｙ軸）位置ＪラインはＩＭ
（Ｉ，４）［Ｉ＝０〜１４９］に格納されている。従っ
て、変数ＩＭに対するアドレス（１，２）はエリアセン
サ上では位置（Ｉ，Ｊ−２）となる。

【０１２７】ステップ（＃２０２）にて、Ｐ像の条件を
満足する像データがあった場合、ステップ（＃２０３）
以降へ分岐し、ない場合には外側のループ変数Ｉがカウ
ントアップされる。

【０１２８】ステップ（＃２０３）以降は、２個のＰ像
の存在範囲（Ｘ軸方向の範囲［ＩＰ１〜ＩＰ２］、Ｙ軸
方向の範囲［ＪＰ１〜ＪＰ２］）を決定する処理であ
る。

【０１２９】先ず、ステップ（＃２０３）では、エリア
センサの横方向（Ｘ軸）の位置を表す変数Ｉと変数ＩＰ
１を比較し、「Ｉ＜ＩＰ１」ならばステップ（＃２０
４）へ分岐する。即ち、Ｐ像の存在範囲のうち、横方向
の左方にあるＰ像位置ＩＰ１の位置よりも、変数Ｉの位
置の方が左にあれば、ＩＰ１を書換えようとするもので
ある。

【０１３０】ステップ（＃２０４）では、変数ＩＰ１に
変数Ｉの値を格納し、そのときの縦方向の位置（Ｊ−
２）を変数ＪＰ１に格納する。

【０１３１】ステップ（＃２０５），ステップ（＃２０
６）では、Ｐ像存在範囲のうち、横方向の右方にあるＰ
像位置ＩＰ２と、その縦方向位置を表すＪＰ２の更新の
判定を行う。

【０１３２】以上のようにして、ステップ（＃２０１）
のループ処理で、横方向（Ｘ軸）の位置Ｉが０から１４
９までの１ラインの処理が終了すると、次のステップ
（＃２０７）へ移行する。

【０１３３】ステップ（＃２０７）では、像の処理で参
照する変数ＸＰ１，ＸＰ２、ＹＰ１，ＹＰ２を図中の式
の如く計算する。

【０１３４】これらの変数の意味は簡単に述べるなら
ば、瞳孔中心を検出する際に、Ｐ像位置周辺に発生する
為の瞳孔エッジ情報を排除するために使用するものであ
る。

【０１３５】ステップ（＃２０７）の処理が終了する
と、次のステップ（＃２０８）でサブルーチン「Ｐ像の
検出」をリターンする。

【０１３６】再び図７のフローチャートに戻る。

【０１３７】ステップ（＃０１１）のサブルーチン「Ｐ
像の検出」が完了すると、次のステップ（＃０１２）で
サブルーチン「瞳孔エッジの検出」を実行する。

【０１３８】このサブルーチン「瞳孔エッジの検出」は
眼球反射像中の瞳孔エッジ（虹彩と瞳孔の境界）の位置
の検出を行うものであり、図１０にそのフローチャート
を示している。

【０１３９】図１０において、このサブルーチン「瞳エ
ッジの検出」がコールされると、ステップ（＃３００）
を経て、次のステップ（＃３０１）のループ処理が実行
される。このステップ（＃３０１）は図９のステップ
（＃２０１）と同時に、エリアセンサの横方向（Ｘ軸）
の位置を表す変数Ｉをループ変数とするループ処理であ
る。

【０１４０】また、Ｐ像の検出と同様に、限定エリアＩ
Ｌ１〜ＩＬ２内のみのループである。

【０１４１】ステップ（＃３０１）のループ処理内で
は、像データ中に瞳孔のエッジを表す特徴があるかどう
かを検索し、もしあればその位置情報を記憶する。瞳孔
エッジ位置情報は、配列変数ＥＤＧＤＴ（ｍ，ｎ）に格
納される。

【０１４２】配列変数ＥＤＧＴ（ｍ，ｎ）のデータ形式
は以下のように設定している。

【０１４３】ＥＤＧＤＴ（ｍ，１）…………ｍ番目のエ
ッジ点の輝度 ＥＤＧＤＴ（ｍ，２）…………ｍ番目のエッジ点のＸ軸
座標 ＥＤＧＤＴ（ｍ，３）…………ｍ番目のエッジ点のＹ軸
座標 ｍは瞳孔エッジ検出の逐次処理の過程で見つかったエッ
ジ点の順番である。従って、エッジがＭ個検出されれ
ば、配列変数ＥＤＧＤＴの容量は「Ｍ×３」バイ程が必
要となる。フローチャートでは、エッジの検出個数は変
数ＥＤＧＣＮＴでカウントしている。

【０１４４】さて、ループ内の最初のステップ（＃３０
２）では、像データＩＭ（Ｉ，２）の近傍に、過去に検
出されたエッジ点があるか否かを判定している。もう少
し詳しく説明すると次のようになる。

【０１４５】外側のループ処理のループ変数Ｉは、エリ
アセンサの横方向（Ｘ軸）の位置を表し、像データを格
納している配列変数ＩＭ（Ｉ，Ｋ）に対するアドレス
（Ｉ，２）は、いま正に瞳孔エッジであるか否かを検定
しようとしている点（画素の座標）である。この（Ｉ，
２）の点に隣接する各点が過去の逐次処理の過程で瞳孔
エッジと判定されたかどうかを、エッジ位置情報を格納
している配列変数ＥＤＧＤＴ（ｍ，ｎ）から調べようと
するものである。

【０１４６】ステップ（＃３０２）の判定条件を具体的
に記述すると、次のような条件となる。

【０１４７】ステップ（＃３０２）の「判定条件」 ｛ＥＤＧＤＴ（ｍ，２）、ＥＤＧＤＴ（ｍ，３）｝＝
｛（Ｉ−１），（Ｊ−２）｝ あるいは ＝｛（Ｉ−１），（Ｊ−３）｝ あるいは ＝｛（Ｉ），（Ｊ−３）｝ あるいは ＝｛（Ｉ＋１），（Ｊ−３）｝ なる｛ＥＤＧＤＴ（ｍ，２），ＥＤＧＤＴ（ｍ，３）｝
が存在する。但し、ｍ＝０〜（ＥＤＧＣＮＴ−１）であ
る。

【０１４８】現在検定しようとしている座標は
｛（Ｉ），（Ｊ−２）｝であるから、上記座標は現在座
標に対して順に左隣，左上隣，上隣，右上隣の位置を表
している。

【０１４９】また、ＥＤＧＤＴ（ｍ，２），ＥＤＧＤＴ
（ｍ，３）はそれぞれｍ番目のエッジ点のＸ軸座標、Ｙ
軸座標を表しているから、結局上記条件は、現在座標の
左隣，左上隣，上隣，右上隣の位置にエッジ点があった
かどうかを判定していることになる。

【０１５０】ステップ（＃３０２）において、座標
（Ｉ，Ｊ−２）の近傍にエッジ点があると判定された場
合にはステップ（＃３０４）へ、そうでない場合にはス
テップ（＃３０３）へ分岐し、それぞれ別の条件を用い
て瞳孔エッジの判定を行う。

【０１５１】近傍にエッジ点のない場合について先に説
明する。

【０１５２】ステップ（＃３０３）では、現在検定しよ
うとしている座標（Ｉ，Ｊ−２）の像データが瞳孔エッ
ジの条件（ステップ（＃３０３）での判定条件を「エッ
ジ条件１」と称する）を満たすか否かを判定している。
座標（Ｉ，Ｊ−２）の像データは配列変数ＩＭ（Ｉ，
２）に格納されていることに留意されたい。

【０１５３】判定条件は以下のようになる。

【０１５４】 ステップ（＃３０３）の「エッジ条件１」 １）｛ＩＭ（Ｉ−１，２）−ＩＭ（Ｉ，２）｝＞Ｃ３ かつ ｛ＩＭ（Ｉ−２，２）−ＩＭ（Ｉ−１，２）｝＜Ｃ３ かつ ＩＭ（Ｉ，２）＜ａ ２）｛ＩＭ（Ｉ＋１，２）−ＩＭ（Ｉ，２）｝＞Ｃ３ かつ ｛ＩＭ（Ｉ＋２，２）−ＩＭ（Ｉ＋１，２）｝Ｃ３ かつ ＩＭ（Ｉ，２）＜ａ ３）｛ＩＭ（Ｉ，１）−ＩＭ（Ｉ，２）｝＞Ｃ３ かつ ｛ＩＭ（Ｉ，０）−ＩＭ（Ｉ，１）｝Ｃ３ かつ ＩＭ（Ｉ，２）＜ａ ４）｛ＩＭ（Ｉ，３）−ＩＭ（Ｉ，２）｝Ｃ３ かつ ｛ＩＭ（Ｉ，４）−ＩＭ（Ｉ，３）｝Ｃ３ かつ ＩＭ（Ｉ，２）＜ａ 上記１）〜４）を満足すれば、座標（Ｉ，Ｊ−２）をエ
ッジ点と見なす。但し、「ａ＝ＥＹＥＭＩＮ＋Ｃ４」
で、ＥＹＥＭＩＮは現在の逐次処理までの像データ中の
最低輝度値である。

【０１５５】Ｃ４はＥＹＥＭＡＸＥＹＥＭＩＮによって
決まる定数であり、 Ｃ＝４（ＥＹＥＭＡＸ−ＥＹＥＭＩＮ）×Ｃ５ と表される。これは、瞳孔エッジ条件を信頼性良く決め
るのに必要であり、外光が多くて、信号のダイナミック
レンジ（ＥＹＥＭＡＸ−ＥＹＥＭＩＮ）が小さい場合で
も、また反対にダイナミックレンジが大きい場合でも、
都合が良い。

【０１５６】Ｃ３，Ｃ５は、例えば「Ｃ３＝３」，「Ｃ
５＝１／１０」である。

【０１５７】上記条件は、瞳孔エッジ（虹彩と瞳孔の境
界）においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
として捉えている。上記１）と２）の条件はエリアセン
サの横方向（Ｘ軸）のエッジを抽出し、上記３）と４）
の条件は縦方向（Ｙ軸）のエッジを抽出する。

【０１５８】座標（Ｉ，Ｊ−２）が瞳孔エッジ点として
抽出された場合には、ステップ（＃３０３）からステッ
プ（＃３０５）へ分岐し、エッジ点の輝度値と座標を記
憶する。

【０１５９】ステップ（＃３０５）では、エッジ位置情
報格納用の配列変数ＥＤＧＤＴ（ｍ，Ｋ）に次のように
情報を格納する。

【０１６０】 ＥＤＧＤＴ（ＥＤＧＣＮＴ，１）←ＩＭ（Ｉ，２） ＥＤＧＤＴ（ＥＤＧＣＮＴ，２）←Ｉ ＥＤＧＤＴ（ＥＤＧＣＮＴ，３）←Ｊ−２ なお、ＩＭ（Ｉ，２）はＥＤＧＣＮＴ番目に検出された
エッジ点の輝度、Ｉは同Ｘ座標、（Ｊ−２）は同Ｙ座標
である。

【０１６１】そして、検出されたエッジ点の個数をカウ
ントする変数ＥＤＧＣＮＴを１つカウントアップする。

【０１６２】ステップ（＃３０５）の処理が終了がする
と、外側のループ処理のループ変数Ｉ（横方向、Ｘ軸の
座標を表す）をカウントアップし、再びステップ（＃３
０２）以降のフローチャートを実行する。

【０１６３】さて、ステップ（＃３０２）において、現
在座標（Ｉ，Ｊ−２）の近傍にエッジ点があると判定さ
れた場合について説明する。

【０１６４】その場合、ステップ（＃３０４）へ分岐
し、ステップ（＃３０３）と同じように、現在検定しよ
うとしている座標（Ｉ，Ｊ−２）の像データが瞳孔エッ
ジの条件（ステップ（＃３０４）での判定条件を「エッ
ジ条件２」と称する）を満たすか否かを判定する。

【０１６５】ここで、「エッジ条件２」は「エッジ条件
１」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値Ｃ３，Ｃ４，Ｃ５をそ
れぞれＣ３′，Ｃ４′，Ｃ５′とし、次のように変えて
いる。

【０１６６】Ｃ３′＝２，Ｃ４′ ＝（ＥＹＥＭＡＸ−ＥＹＥＭＩＮ）×Ｃ５′，Ｃ５′ ＝0.15 上のように設定することで、「エッジ条件１」よりもエ
ッジと判定される率が上昇する。

【０１６７】エッジ条件をこのように２種類用意する理
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じエッジ点である可能性が高いで
あろうという観点に基づいている。

【０１６８】ステップ（＃３０４）の「エッジ条件２」
でエッジ点と判定された場合には、ステップ（＃３０
５）へ分岐して、その座標の情報を記憶する。

【０１６９】以上のようにして、ループ変数ＩがＩＬ２
となるまで、ステップ（＃３０１）のループ処理が実行
され、エリアセンサの横方向（Ｘ軸）の１ライン分のエ
ッジ検出の処理が終了すると、ステップ（＃３０６）へ
移行し、サブルーチン「瞳孔エッジの検出」をリターン
する。

【０１７０】再び図６の説明に戻る。

【０１７１】ステップ（＃０１２）のサブルーチン「瞳
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ（＃００７）のループ変数Ｊ（エリアセンサの縦方
向、Ｙ軸の座標を表す）がカウントアップされ、Ｊが９
９となるまで、再びステップ（＃００８）以降の処理が
実行される。

【０１７２】ループ変数Ｊが９９となり、エリアセンサ
の全画素の読み込みと処理が終了すると、ステップ（＃
００７）からステップ（＃０１３）へ移行する。

【０１７３】ステップ（＃０１３）〜（＃０１５）で
は、ステップ（＃００７）のループ処理内で検出された
Ｐ像位置および瞳孔エッジ情報から、瞳孔の中心座標の
検出と視線の検出を行う。

【０１７４】先ず、ステップ（＃０１３）ではサブルー
チン「瞳孔推定範囲の設定」をコールする。

【０１７５】ステップ（＃０１２）のサブルーチン「瞳
孔エッジの検出」で検出された複数の瞳孔エッジ点に
は、実際に瞳孔円（虹彩と瞳孔の境界が形成する円）を
表しているエッジ点以外にも、種々のノイズによって発
生した為のエッジ点も含まれている。

【０１７６】「瞳孔推定範囲の設定」は上記偽のエッジ
点を排除するために、Ｐ像位置情報に基づいて、確から
しいエッジ点の座標範囲を限定するためのサブルーチン
であり、そのフローチャートを図１１に示している。

【０１７７】図１１において、このサブルーチン「瞳孔
推定範囲の設定」がコールされると、ステップ（＃４０
０）を経て、ステップ（＃４０１）を実行する。

【０１７８】ステップ（＃４０１）では、先に「Ｐ像の
検出」サブルーチンで説明したＰ像位置範囲、即ち、横
方向（Ｘ軸）にＩＰ１〜ＩＰ２、縦方向（Ｙ軸）にＪＰ
１〜ＪＰ２の情報を用いて、瞳孔円の座標範囲ＩＳ１，
ＩＳ２，ＪＳ１，ＪＳ２を次の式に従って計算する。

【０１７９】ＩＳ１←ＩＰ１−２０ ＩＳ２←ＩＰ２＋２０ ＪＳ１←（ＪＰ１＋ＪＰ２）／２−２０ ＪＳ２←（ＪＰ１＋ＪＰ２）／２＋４０ 確からしい瞳孔エッジ点は、エリアセンサの横方向（Ｘ
軸）の範囲ＩＳ１〜ＩＳ２、縦方向（Ｙ軸）の範囲ＪＳ
１〜ＪＳ２に存在する点である、と設定する。本実施例
の光学系では、図２１（Ａ）に示した如く、２個のＰ像
は常に瞳孔円の円内の上部に存在するようになってお
り、これから上記計算式が成立する。

【０１８０】ステップ（＃４０１）の計算の後は、ステ
ップ（＃４０２）へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。

【０１８１】図７に戻って、次にステップ（＃０１４）
のサブルーチン「瞳孔中心の検出」をコールする。

【０１８２】「瞳孔中心の検出」は、確からしい瞳孔エ
ッジ点の座標から、瞳孔円の形状（中心座標と大きさ）
を推定するサブルーチンであり、そのフローチャートを
図１２〜図１４に示している。

【０１８３】瞳孔円の形状の推定には、「最小２乗法」
を用いる。その考え方について先に述べておく。

【０１８４】円の公式は周知のように、中心座標を
（ａ、ｂ）、半径をｃとすると、 （ｘ−ａ）² ＋（ｙ−ｂ）² ＝ｃ² ……（１０） で与えられる。

【０１８５】複数の観測点（ｘ１，ｙ１），（ｘ２，ｙ
２），……，（ｘｎ，ｙｎ）から、次式の誤差量ＥＲが
最小となるようにａ，ｂ，ｃを決定することを考える。

【０１８６】 ＥＲ＝Σ［ｘＩ−ａ）² ＋（ｙＩ−ｂ）² −ｃ² ］² ……（１１） ＥＲは各観測点と、ａ，ｂ，ｃで決定される円の法線方
向の距離（誤差）の２乗和であり、これを最小とする。

【０１８７】ＥＲをａ，ｂ，ｃで各々偏微分し、０とお
く。

【０１８８】 （δＥＲ／δａ）＝Σ［−４（ｘＩ−ａ）³ −４（ｘＩ−ａ） ・（ｙＩ−ｂ）² ＋４ｃ² （ｘＩ−ａ）］ ＝０ ……（１２） （δＥＲ／δｂ）＝Σ［−４（ｙＩ−ｂ）³ −４（ｘＩ−ａ）² ・（ｙＩ−ｂ）＋４ｃ² （ｘＩ−ｂ）］ ＝０ ……（１３） （δＥＲ／δｃ）＝Σ［４ｃ³ −４（ｙＩ−ｂ）² ｃ −４ｃ（ｘＩ−ａ）² ＝０ ……（１４） 但し、Ｉ＝１〜ｎとする。上記の式（１４）より、 ｃ² ＝｛Σ［（ｘＩ−ａ）² ＋（ｙＩ−ｂ）² ］｝／ｎ ……（１５） 上記式（１５）を式（１３），（１４）へ代入し、ここ
で、 Ｘ１＝ΣｘＩ，Ｘ２＝ΣｘＩ² ，Ｘ３＝ΣｘＩ³ …（１６）〜（１８） Ｙ１＝ΣｙＩ，Ｙ２＝ΣｙＩ² ，Ｙ３＝ΣｙＩ³ …（１９）〜（２１） Ｚ１＝ΣｘＩｙＩ，Ｚ２＝ΣｘＩ² ｙＩ，Ｚ３＝ΣｘＩｙＩ² ……（２２）〜（２４） とおき、さらに、 Ｖ１＝Ｘ２−Ｘ１² ／ｎ …………（２５） Ｖ２＝Ｙ２−Ｙ１² ／ｎ …………（２６） Ｗ１＝Ｘ３＋Ｚ３ …………（２７） Ｗ２＝Ｙ３＋Ｚ３ …………（２８） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ …………（２９） Ｗ４＝Ｚ１−Ｘ１Ｙ１／ｎ …………（３０） Ｗ５＝（Ｚ１−２・Ｘ１Ｙ１／ｎ）Ｚ１ …………（３１） Ｗ６＝Ｘ１Ｙ２ …………（３２） Ｗ７＝Ｘ２Ｙ１ …………（３３） とおいて整理すると、円の中心座標ａ，ｂは ａ＝｛Ｗ１Ｖ２−Ｗ２Ｗ４−（Ｗ６−Ｙ１Ｚ１）Ｗ３｝ ／｛２（Ｘ２Ｖ２−Ｗ５−Ｗ６Ｘ１／ｎ）｝ ……（３４） ｂ＝｛Ｗ２Ｖ１−Ｗ１Ｗ４−（Ｗ７−Ｘ１Ｚ１）Ｗ３｝ ／｛２（Ｙ２Ｖ１−Ｗ５−Ｗ７Ｙ１／ｎ）｝ ……（３５） で計算される。

【０１８９】また、視線（注視点）の計算には直接関係
はないが、半径ｃは ｃ＝［Ｗ３−２（ａＸ１＋ｂＹ１）／ｎ＋ａ² ＋ｂ² ］^1/2 …（３６） で計算される。

【０１９０】本発明の実施例では、さらに誤差量ＥＲを
瞳孔中心検出の信頼性判定に用いており、ＥＲは次の計
算式で与えられる。

【０１９１】 ＥＲ＝Ｘ４−４ａＸ３＋２（２ａ² ＋ｄ）Ｘ２−４ａｄＸ１＋Ｙ４ −４ｂＹ３＋２（２ｂ² ＋ｄ）Ｙ２−４ｂｄＹ１ ＋２（Ｚ４−２ａＺ３−２ｂＺ２＋４ａｂＺ１） ＋ｄ² ｎ …………（３７） 但し、 Ｘ４＝ΣｘＩ⁴ …………（３８） Ｙ４＝ΣｙＩ⁴ …………（３９） Ｚ４＝ΣｘＩ² ｙＩ² …………（４０） ｄ＝ａ² ＋ｂ² −ｃ² …………（４１） としている。

【０１９２】さて、以上のような数値計算の裏付けに従
って、図１２〜図１４のフローチャートの説明を行う。

【０１９３】サブルーチン「瞳孔中心の検出」につい
て、図１２のフローチャートを用いて説明する。

【０１９４】このサブルーチン「瞳孔中心の検出」がコ
ールされると、ステップ（＃５００）を経て、ステップ
（＃５０１）の「円の最小２乗推定」サブルーチンをコ
ールする。

【０１９５】「円の最小２乗推定」は上記式に従って、
瞳孔円の中心座標（ａ、ｂ）と誤差量ＥＲを計算するサ
ブルーチンであり、そのフローチャートを図１３に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しとＰ像による偽の瞳孔エッジの排除を行っている。

【０１９６】サブルーチン「円の最小２乗推定」がコー
ルされると、ステップ（＃６００）を経て、ステップ
（＃６０１）へ移行する。

【０１９７】ステップ（＃６０１）では上述した最小２
乗推定式のワーク変数の初期化を行っている。

【０１９８】次のステップ（＃６０２）は変数Ｌをルー
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小２乗法の計算の前半を行う部分であ
る。

【０１９９】今、瞳孔エッジ点として、（ＥＤＧＣＮＴ
−１）個の情報が配列変数ＥＤＧＤＴに記憶されてい
る。ループ変数Ｌは記憶された順番を表している。

【０２００】ループ処理内の最初のステップ（＃６０
３）では、Ｌ番目のエッジ点の輝度値ＥＤＧＤＴ（Ｌ、
１）と（ＥＹＥＭＩＮ＋Ｃ４）を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Ｌの処理を終了す
る。

【０２０１】本実施例では、エリアセンサの光電変換信
号を読み込みながら、逐次的な処理を行っているため、
エッジ点検出の部分で使用している最低輝度値も、その
時点までの最低輝度値に過ぎない。逆に、エッジ点とし
て検出された点も、実は本当の最低輝度値で判定された
ものではなく、実際にはエッジ点としてふさわしくない
点も含まれている可能性がある。そこで、このステップ
の目的は、最終的に決定された最低輝度値に基づいて、
もう一度最低輝度の判定にかけ、瞳孔エッジとしてふさ
わしくない点を排除しようとするものである。

【０２０２】ステップ（＃６０３）にて、輝度値が小さ
いと判断された場合は、ステップ（＃６０４）へ移行
し、横方向（Ｘ軸）座標と縦方向（Ｙ軸）座標をそれぞ
れ変数Ｘ、Ｙに一時的に格納する。

【０２０３】次のステップ（＃６０５）では、Ｌ番目の
エッジ点の横方向座標Ｘが、横方向の範囲ＩＳ１〜ＩＳ
２に適合しているか否かを判定する。ＩＳ１，ＩＳ２は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Ｌの
処理を終了する。

【０２０４】その次のステップ（＃６０６）は、今度は
縦方向について同様の判定を行っている。

【０２０５】Ｌ番目のエッジ点が瞳孔推定範囲に存在し
ていれば、ステップ（＃６０７）へ移行する。

【０２０６】ステップ（＃６０７）、（＃６０８）は、
Ｌ番目のエッジ点の座標がＰ像の近傍であるかどうかを
判断している。

【０２０７】ＸＰ１，ＸＰ２、ＹＰ１，ＹＰ２はサブル
ーチン「Ｐ像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲ＸＰ１〜ＸＰ２，縦方向の範囲Ｙ
Ｐ１〜ＹＰ２に入っている場合には分岐し、現在のルー
プ変数Ｌの処理を終了するようにしている。これは、本
実施例の光学系では、２個のＰ像が瞳孔円内の上部に存
在するようになっているため、スポット像的な形状をし
ているＰ像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを非除するためである。

【０２０８】以上のステップ（＃６０３）〜（＃６０
８）の判定をパスしたエッジ点の座標情報が、ステップ
（＃６０９）における最小２乗法の計算に供される。

【０２０９】ステップ（＃６０９）の計算は前述の式
（１６）〜（２４），（３８）〜（４０）を実行し、さ
らに計算に用いたエッジ点の個数Ｎをカウントアップす
る。

【０２１０】ステップ（＃６０２）のループ処理にて、
記憶していたエッジ点（ＥＤＧＣＮＴ−１）個の処理が
総て終了すると、ステップ（＃６１０）へ移行する。

【０２１１】ステップ（＃６１０）では、前述の式（２
５）〜（３５），（３７）〜（４１）を計算し、瞳孔円
の中心座標（ａ、ｂ）と誤差量ＥＲを求める。

【０２１２】そして、次のステップ（＃６１１）へ移行
し、サブルーチン「円の最小２乗推定」をリターンす
る。

【０２１３】図１２に戻って、ステップ（＃５０１）の
サブルーチン「円の最小２乗推定」を完了すると、次の
ステップ（＃５０２）へ移行する。

【０２１４】ステップ（＃５０２）では、円の推定に用
いたデータの個数Ｎをしきい値ＮＴＨＲと比較し、「Ｎ
＜ＮＴＨＲ」ならば、データ数が少ないため結果の信頼
性が低いと見なして、ステップ（＃５１２）へ分岐し、
検出失敗であるとする。

【０２１５】ＮＴＨＲとしては、例えば「ＮＴＨＲ＝３
０」である。

【０２１６】ステップ（＃５０２）にて、「Ｎ≧ＮＴＨ
Ｒ」ならば、次のステップ（＃５０３）にて、誤差量Ｅ
Ｒとしきい値ＥＲＴＨＲを比較する。「ＥＲ＜ＥＲＴＨ
Ｒ」ならば、誤差が小さく、検出結果が充分信頼できる
ものと見なして、ステップ（＃５１４）へ分岐し、検出
成功であるとする。

【０２１７】しきい値ＥＲＴＨＲとしては、例えば「Ｅ
ＲＴＨＲ＝１００００」である。

【０２１８】ステップ（＃５０３）において、「ＥＲ≧
ＥＲＴＨＲ」ならば、データ数が充分にも拘らず誤差が
大きすぎるとして、ステップ（＃５０４）以下の再計算
を実施する。誤差が大きくなった原因としては、瞳孔円
以外の偽のエッジ点を計算に入れてしまったことが考え
られる。

【０２１９】ステップ（＃５０４）ではサブルーチン
「円の最小２乗推定 再計算１」をコールする。

【０２２０】「円の最小２乗推定 再計算１」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向上部に在るエッジ点（全体の５分の１）を除外し
て、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１４（Ａ）に示す。

【０２２１】サブルーチン「円の最小２乗推定 再計算
１」がコールされると、ステップ（＃７００）を経て、
次のステップ（＃７０１）にて図中のように変数の格納
を行う。

【０２２２】変数ＸＳ１〜ＺＳ４は、ステップ（＃５０
１）で計算した全エッジ点をしようとしたときの対応す
るワーク変数の値を記憶する。そして、除外するエッジ
点の個数を全エッジ点の個数Ｎの５分の１として変数Ｍ
に記憶しておく。

【０２２３】次のステップ（＃７０２）ではステップ
（＃６０１）と同様に計算のワークを初期化し、ステッ
プ（＃７０３）へ移行する。

【０２２４】ステップ（＃７０３）はステップ（＃６０
２）と同様のループ処理であり、このループ内で除外す
るエッジ点の最小２乗法の計算を行う。

【０２２５】本実施例では、エリアセンサを縦方向上部
から読み込む構成にしているから、エッジ情報を記憶し
ている配列変数ＥＤＧＤＴ（ｍ，Ｋ）には、縦方向の上
部のエッジから順に格納されている。従って、ＥＤＧＤ
Ｔ（ｍ，Ｋ）のｍを０からアップカウントしていけば、
縦方向上のエッジ点から取り出せることになる。

【０２２６】さて、ステップ（＃７０３）のループ内の
最初のステップ（＃７０４）ではエッジ点（Ｘ、Ｙ）が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ（＃６０３）〜（＃６０８）と全く同様であ
る。

【０２２７】瞳孔エッジ点として有効と見なされた場合
にはステップ（＃７０５）へ移行し、これもまたステッ
プ（＃６０９）と同じ計算を実行する。

【０２２８】そして、次のステップ（＃７０６）にて、
新たに計算したエッジ点の個数Ｎと除外すべきエッジ点
の個数Ｍを比較し、Ｍ個の計算が終了すれば分岐し、外
側のステップ（＃７０３）のループ処理を中止する。Ｍ
個に達していない場合は、ループ変数Ｌをカウントアッ
プし、再びステップ（＃７０４）移行の処理を続行す
る。

【０２２９】Ｍ個の計算が終了するとステップ（＃７０
８）へ分岐し、瞳孔円の中心（ａ、ｂ）および誤差量Ｅ
Ｒ′を再計算する。再計算の式は次のようになる。

【０２３０】 Ｘ１＝Ｘ１Ｓ−Ｘ１ …………（１６′） Ｘ２＝Ｘ２Ｓ−Ｘ２ …………（１７′） Ｘ３＝Ｘ３Ｓ−Ｘ３ …………（１８′） Ｙ１＝Ｙ１Ｓ−Ｙ１ …………（１９′） Ｙ２＝Ｙ２Ｓ−Ｙ２ …………（２０′） Ｙ３＝Ｙ３Ｓ−Ｙ３ …………（２１′） Ｚ１＝Ｚ１Ｓ−Ｚ１ …………（２２′） Ｚ２＝Ｚ２Ｓ−Ｚ２ …………（２３′） Ｚ３＝Ｚ３Ｓ−Ｚ３ …………（２４′） Ｘ４＝Ｘ４Ｓ−Ｘ４ …………（３８′） Ｙ４＝Ｙ４Ｓ−Ｙ４ …………（３９′） Ｚ４＝Ｚ４Ｓ−Ｚ４ …………（４０′） そして、式（２５）〜（３５），（３７）〜（４１）を
計算し直せば、新たな瞳孔中心（ａ、ｂ）と誤差量Ｅ
Ｒ′を得ることが出来る。式（１６）〜（４０）はもと
もと逐次形式になっているため、再び全データを計算し
直す必要はなく、除外したいデータの加算（あるいは累
乗加算）を計算して、元の値から減算すれば済む。

【０２３１】再計算が終わった後は、ステップ（＃７０
９）へ移行し、サブルーチン「円の最小２乗推定 再計
算１」をリターンする。

【０２３２】図１２に戻って、ステップ（＃５０４）を
完了すると、ステップ（＃５０５）へ移行し、再計算し
た誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。Ｅ
Ｒ′が小さい場合は、除外操作が効を奏したものとし
て。ステップ（＃５１４）へ分岐し、検出成功とする。

【０２３３】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０６）へ移行し、別のサブルーチン「円の最
小２乗推定 再計算２」をコールする。

【０２３４】「円の最小２乗推定 再計算２」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部に在るエッジ点（全体の５分の１）を除外し
て、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図１４（Ｂ）に示す。

【０２３５】「再計算２」は「再計算１」とほとんど同
様であるが、「再計算１」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ（＃７１
２）においてループ変数Ｌを（ＥＤＧＣＮＴ−１）から
ダウンカウントさせている。その他は「再計算１」と全
く同様であるため、説明を省略する。

【０２３６】再び図１２に戻って説明を続ける。

【０２３７】ステップ（＃５０６）のサブルーチン「円
の最小２乗推定 再計算２」を完了すると、ステップ
（＃５０７）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＹＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１
４）へ分岐し、検出成功と見なす。

【０２３８】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０８）へ移行し、さらに別のサブルーチン
「円の最小２乗推定 再計算３」をコールする。

【０２３９】「円の最小２乗推定 再計算３」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサの横方向左部に在るエッジ点（全体の５分の１）
を除外して、再び最小２乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図１４（Ｃ）に示す。

【０２４０】サブルーチン「再計算３」がコールされる
と、ステップ（＃７２０）を経て、ステップ（＃７２
１）にて、エッジ情報を記憶している配列変数ＥＤＧＤ
Ｔ（ｍ、ｋ）の並べ換えを行う。

【０２４１】先にも説明したように、ＥＤＧＤＴ（ｍ、
ｋ）にはエリアセンサの縦方向のエッジ点から順に格納
されているため、横方向に注目して処理を行うために
は、ＥＤＧＤＴに格納されているデータの並び換えが必
要である。

【０２４２】ＥＤＧＤＴ（ｍ、２）にはエッジ点の横方
向（Ｘ軸座標）の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、ＥＤＧＤＴに
は横方向の左からの順となったエッジ情報が再格納が可
能である。

【０２４３】並べ換えを実行するとステップ（＃７０
２）へ分岐し、後は「再計算１」と全く同様の処理を行
えば、エリアセンサの横方向左右のエッジ点を除外した
再計算ができる。

【０２４４】再び、図１２に戻って、ステップ（＃５０
８）のサブルーチン「円の最小２乗推定 再計算３」を
完了すると、ステップ（＃５０９）へ移行し、再計算し
た誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。Ｅ
Ｒ′が小さい場合は、除外操作が有効であったものとし
て、ステップ（＃５１４）へ分岐して検出成功と見な
す。

【０２４５】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１０）へ移行し、さらに別のサブルーチン
「円の最小２乗推定 再計算４」をコールする。

【０２４６】「円の最小２乗推定 再計算４」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサの横方向右部に在るエッジ点（全体の５分の１）
を除外して、再び最小２乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図１４（Ｄ）に示す。

【０２４７】今、配列変数ＥＤＧＤＴ（ｍ、ｋ）には、
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、ＥＤＧＤＴ
（ｍ、ｋ）を「再計算２」と同じように取り扱えば良
い、そこで、サブルーチン「再計算４」がコールされれ
ば直ちにステップ（＃７１１）へ分岐して、「再計算
２」と同様の処理を行うようにしている。

【０２４８】再び、図１２に戻って説明を続ける。

【０２４９】ステップ（＃５１０）のサブルーチン「円
の最小２乗推定 再計算４」を完了すると、ステップ
（＃５１１）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＴＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１
４）へ分岐し、検出成功と見なす。

【０２５０】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１２）へ移行し、上述の操作が有効に働かな
かったものとして、ステップ（＃５１２）へ移行し、検
出失敗とする。

【０２５１】ステップ（＃５１２）あるいは（＃５１
４）で瞳孔中心の検出が最終判断されると、ステップ
（＃５１３）あるいは（＃５１５）でサブルーチン「瞳
孔中心の検出」をリターンする。

【０２５２】図６の説明に戻る。

【０２５３】ステップ（＃０１４）での「瞳孔中心の検
出」が完了すると、ステップ（＃０１５）へ移行し、サ
ブルーチン「視線の検出」をコールする。

【０２５４】「視線の検出」は、これまでの処理で検出
したＰ像位置および瞳孔円の中心位置から、視線（注視
点）を検出するサブルーチンである。

【０２５５】基本的には、前述した公知例と同様に、式
（２）に従って、眼球光軸の回転角θを計算すれば良
い。

【０２５６】本発明の第１の実施例では、瞳孔中心を横
方向（Ｘ軸）、縦方向（Ｙ軸）の二次元で検出している
ので、公知例のように横方向のみではなく、縦方向の視
線の方向も横方向の検出と同様な考え方で、検出するこ
とができる。

【０２５７】視線の検出が完了すると、ステップ（＃０
１６）へ移行し、一連の処理を終了する。

【０２５８】次に、本発明の第１の実施例においてポイ
ントとなる、図７のステップ（＃００６）の「制限領域
設定」のサブルーチンの説明を図１５のフローチャート
及び図１６で説明する。

【０２５９】「制限領域設定」のサブルーチンがコール
されると、図１５の（＃８００）を経て（＃８０１）の
「６×６」のブロック読み出しを行う。これは図４〜図
６で説明したイメージセンサ１４の「４×４」のブロッ
ク読み出しに当たるもので、まずブロックを構成する光
電変換画素の多いブロック信号を読み出すものである。

【０２６０】そしてステップ（＃８０２）において、読
み出された各ブロック信号の中から最低ブロック信号レ
ベル値を示すブロック信号を検出する。次にステップ
（＃８０３）において、この最低ブロック信号が所定値
よりも低いかどうかを判別する。その所定値は瞳孔と認
められるための絶対値レベルの最大のものを採用する
か、または各ブロック信号の平均値から所定値を引いた
値を採用するか種々考えられる。

【０２６１】ここで、最低ブロック信号が所定値よりも
低いと判別されれば、エリアセンサの分割された各ブロ
ック領域のなかのあるブロック領域が、瞳孔像の大きさ
よりも小さく、正しく瞳孔の位置を示していると認めら
れ、ステップ（＃８０６）の最低ブロックの座標抽出に
進む。

【０２６２】逆にステップ（＃８０３）において、最低
ブロック信号が所定値よりも高いと判別されると、瞳孔
円が各ブロック領域の大きさよりも小さく、最低レベル
のブロック領域が正しく瞳孔の位置を示していない可能
性があるため、ステップ（＃８０４）の「３×３」のブ
ロック読み出しを行う。これは図４〜図６で説明したイ
メージセンサ１４の「２×２」のブロック読み出しを行
う。これは図４〜図６で説明したイメージセンサ１４の
［２×２」のブロック読み出しに当たるもので、ブロッ
クを構成する光電変換画素の少ないブロック信号を読み
出すものである。

【０２６３】ステップ（＃８０５）においては、「３×
３」のブロック読み出しから得られたブロック信号か
ら、最低ブロック信号を検出し、ステップ（＃８０６）
に進む。

【０２６４】ステップ（＃８０６）では、上記ステップ
（＃８０２）、または、ステップ（＃８０５）によって
求められた最低ブロック信号よりそのブロックの座標を
求める。

【０２６５】ステップ（＃８０７）においては、最低ブ
ロック座標より制限する領域の設定を行う。その考え方
を図１６に於てイメージセンサ１４の出力画像を使って
説明する。

【０２６６】図１６において、イメージセンサ１４の出
力画像内に観察者の眼球像が捉えられているが、座標
（ｘ１、ｙ１）に最低輝度レベルのブロックを検出して
いる。その座標はまさに瞳孔円の中にあり、Ｘ軸は（ｘ
１−δｇ）〜（ｘ１＋δｇ）、Ｙ軸は（ｙ１−δｇ）〜
（ｙ１＋δｇ）と限定検出エリアを設定すると、その限
定エリア内にすっぽりと瞳孔円が入る。このようにすれ
ば、イメージセンサ１４のエリア内全ての画素のＡ／Ｄ
変換及び逐次処理を行わなくても、限定エリア内のみの
画素のＡ／Ｄ変換及び逐次処理を行えば、そのなかで前
述したような瞳孔円の検出、Ｐ像の検出を行うことがで
き、大幅なスピードアップと信頼性の改善も同時に実現
できる。

【０２６７】図１５に戻って、ステップ（＃８０７）の
制限する領域の設定が済むと、ステップ（＃８０８）を
経て、サブルーチンを戻し、図７のところで説明したよ
うに瞳孔円の検出，Ｐ像の検出を行い視線の検出を行
う。

【０２６８】なお、この第１の実施例では、最低ブロッ
クの座標から限定エリアを設定するステップ（＃８０
７）の演算で、（ｘ１、ｙ１）の座標から一律に±δｇ
の領域を設定しているが、ブロック信号を「６×６」の
ブロック信号か、「３×３」のブロック信号のどちらか
最低レベルブロック信号を判別したかの情報をもとに、
瞳孔円の大きさを略推定し、領域を設定するδｇの大き
さを決定しても良い。そうすることによって、Ａ／Ｄ変
換及び逐次処理を行う画素の総数が減ることにより、瞳
孔円が小さいときはさらにスピードアップが実現でき
る。

【０２６９】（第２の実施例）図１６は本発明の第２の
実施例における視線検出装置の、上記第１の実施例での
図１５に対応する「制限領域設定」のサブルーチンに相
当するフローチャートである。尚、その他の動作及び該
視線検出装置の回路構成等は、第１の実施例と同様であ
るため、ここでは省略する。

【０２７０】このサブルーチン「制限領域設定」がコー
ルされると、ステップ（＃９００）を経て、ステップ
（＃９０１）の外光輝度測定を行う。これは、カメラの
露出制御のために使用される測光回路１０２と測光セン
サ１０によってカメラの外光の輝度値を測定するもの
で、観察の眼球像に照射される光量もこの外光に略一致
するということから、観察者の瞳孔の大きさを推定する
ものである。

【０２７１】ステップ（＃９０２）において、その外光
輝度を判別し、所定値よりも高ければ、観察の瞳孔が小
さいと推定し、ステップ（＃９０３）に進み、「３×
３」のブロック読み出しを行う。これは、図１５のステ
ップ（＃８０４）と同様の動作となる。

【０２７２】また、ステップ（＃９０２）においてその
外光輝度が所定値よりも低ければ、観察の瞳孔が大きい
と推定し、ステップ（＃９０４）に進み、「６×６」の
ブロック読み出しを行う。これは、図１５のステップ
（＃８０１）と同様の動作となる。

【０２７３】ステップ（＃９０３）、または、ステップ
（＃９０４）を終えると、共にステップ（＃９０５）へ
進み、最低ブロック信号の検出を行う。これは、同じく
図１４のステップ（＃８０２）またはステップ（＃８０
５）の動作と同様である。

【０２７４】さらに、ステップ（＃９０６）において、
最低レベルのブロック座標を抽出し、ステップ（＃９０
７）でエリア内の限定領域を設定し、ステップ（＃９０
８）を経て、サブルーチンを終える。ここは図１５のス
テップ（＃８０６）〜ステップ（＃８０８）の流れと同
一である。

【０２７５】このように本発明の第２の実施では、外光
輝度を測定する測光センサを利用してブロック領域の設
定の選択を行っているので、第１の実施の様に、２種類
のブロック信号を読み出すことはなく、必ず１種類のブ
ロック信号しか読み出さないので、さらに視線検出動作
のスピードアップが実現できる。

【０２７６】なお、この第２の実施例では、外光輝度の
測定にはＴＴＬの測光センサを利用しているが、勿論こ
れに限るものではなく、外光式のセンサや、露出制御の
ためのセンサでなく他の目的で使用され略外光輝度を測
定するものの測光輝度を利用するものや、また専用に観
察の眼球付近の輝度を測定するセンサを配置させる構成
でも良い。

【０２７７】（第３の実施例）図１８は本発明の第３の
実施例における視線検出装置の、上記第１の実施例での
図１５に対応する「制限領域設定」のサブルーチンに相
当するフローチャートである。尚、その他の動作及び該
視線検出装置の回路構成等は、第１の実施例と同様であ
るため、ここでは省略する。

【０２７８】このサブルーチン「制限領域設定」がコー
ルされると、ステップ（＃１０００）を経て、ステップ
（＃１００１）のイメージセンサ１４の垂直ラインの各
ピーク読み出しを行う。これは、図４〜図６のところで
説明した、Ｖ−Ｌｉｎｅのピーク読み出しである。

【０２７９】次のステップ（＃１００２）において、読
み出されたピーク値の判別を行う。各ピーク値の平均出
力が所定値より大きければ観察の眼球像が明るい状況下
であるので瞳孔は小さいと推定し、ステップ（＃１００
３）において、「３×３」のブロック読み出しを行う。
これは、図１５のステップ（＃８０４）と同様の動作と
なる。

【０２８０】また、ステップ（＃１００２）において各
ピーク値の平均出力が所定値よりも低ければ、観察者の
瞳孔が大きいと推定し、ステップ（＃１００４）に進
み、「６×６」のブロック読み出しを行う。これは、図
１５のステップ（＃８０１）と同様の動作となる。

【０２８１】ステップ（＃１００３）、または、ステッ
プ（＃１００４）を終えると、ともにステップ（＃１０
０５）へ進み、最低ブロック信号の検出を行う。これ
は、同じく、図１５のステップ（＃８０２）、または、
ステップ（＃８０５）の動作と同様である。

【０２８２】さらにステップ（＃１００６）において、
最低レベルのブロック座標を抽出し、次のステッップ
（＃１００７）において、エリア内の限定領域を設定
し、ステップ（＃１００８）を経て、サブルーチンを終
える。ここは、図１５のステップ（＃８０６）〜ステッ
プ（＃８０８）の流れと同一である。

【０２８３】このように本発明の第３の実施例では、ブ
ロック読み出しに先立って、各ラインのピーク出力を読
み出しし、その情報により瞳孔の大きさを推定してブロ
ック領域の設定の選択を行っているので、上記の第１の
実施例の様に、２種類のブロック信号を読み出すことは
なく、必ず１種類のブロック信号しか読み出さず、更に
は上記第２の実施例のように視線検出ルーチンの中で、
測光値を読み出すような別の制御のための動作を利用す
るという煩雑な処理もなくさらに視線検出動作のスピー
ドアップが実現できる。

【０２８４】なお、この第３の実施例では、イメージセ
ンサ１４のブロック領域の分割を「６×６」のブロック
や「３×３」のブロックにしているが、これに限るもの
ではなく、「６×７」のブロックや「３×４」のブロッ
クのように水平画素と垂直画素の数が揃ってなくても同
様の効果が得られる。

【０２８５】以上の各実施例によれば、接眼部より覗い
た撮影者（観察者）の眼球像の画像を出力するイメージ
センサ１４のエリアを、それぞれ略均等な複数のブロッ
ク領域に分け、そのブロック信号をもとに前記センサ領
域内に限定領域を設定し、この領域における光電変換信
号に基づいて信号処理を行い、撮影者の視線を検出する
視線検出装置において、前記ブロック領域の分割の種類
を複数の内から選択する手段を設け、該手段によって、
撮影者のイメージセンサ１４上における瞳孔像の大きさ
を状況に応じて推定し、選択するものようにしている。

【０２８６】これにより、如何なる眼球像の状況によっ
ても、その状況による最適なブロック領域を選択し、瞳
孔円の検出とＰ像の検出を行うべきエリアを素早く限定
することができ、視線検出時間を大幅に短縮し、また信
頼性の高い視線検出装置が実現可能となる。

【０２８７】（発明と実施例の対応）本実施例におい
て、ＩＲＥＤ１３ａ〜１３ｆが本発明の照明手段に相当
し、イメージセンサ１４が本発明の受光手段に相当し、
ＣＰＵ１００が本発明の制限領域設定手段に相当し、Ｃ
ＰＵ１００，視線検出回路１０１が本発明の視線検出手
段に相当する。

【０２８８】また、測光センサ１０，測光回路１０２が
本発明の測光手段に相当する。

【０２８９】以上が実施例の各構成と本発明の各構成の
対応関係であるが、本発明は、これら実施例の構成に限
定されるものではなく、請求項で示した機能、又は実施
例がもつ機能が達成できる構成であればどのようなもの
であってもよいことは言うまでもない。

【０２９０】（変形例）本発明の第１の実施例では、最
低ブロックの座標から限定エリアを設定するステップ
（＃８０７）の演算で、（ｘ１、ｙ１）の座標から一律
に±δｇの領域を設定しているが、ブロック信号を「６
×６」のブロック信号か、「３×３」のブロック信号の
どちらか最低レベルブロック信号を判別したかの情報を
もとに、瞳孔円の大きさを略推定し、領域を設定するδ
ｇの大きさを決定しても良い。そうすることによって、
Ａ／Ｄ変換及び逐次処理を行う画素の総数が減ることに
より、瞳孔円が小さいときはさらにスピードアップが実
現できる。

【０２９１】また、本発明の第２の実施例では、外光輝
度の測定にはＴＴＬの測光センサを利用しているが、勿
論これに限るものではなく、外光式のセンサや、露出制
御のためのセンサでなく他の目的で使用され略外光輝度
を測定するものの測光輝度を利用するものや、また専用
に観察の眼球付近の輝度を測定するセンサを配置させる
構成でも良い。

【０２９２】また、本発明の第３の実施例では、イメー
ジセンサ１４のブロック領域の分割を「６×６」のブロ
ックや「３×３」のブロックにしているが、これに限る
ものではなく、「６×７」のブロックや「３×４」のブ
ロックのように水平画素と垂直画素の数が揃ってなくて
も同様の効果が得られる。

【０２９３】また、本発明の各実施例において、イメー
ジセンサ１４の回路構成は、図４の構成に限定されるも
のではなく、既存のＣＣＤ等の回路を付加して、領域を
ブロックに分割してそのブロック出力を出力する事がで
き、しかも、分割の種類が２種類以上あるものであれ
ば、同様の効果を実現することができる。

【０２９４】また、ブロック信号は、本実施例ではブロ
ック内の画素出力の平均出力であるが、これをブロック
内画素の最大の出力でもよいし、最低出力でもよい。

【０２９５】また、ブロック分割は、本実施例のような
２種類のブロックだけでなく、３種類以上のブロック分
割から、一つを選ぶという方式でもよい。

【０２９６】さらに、本発明は、一眼レフカメラに適用
した例を述べているが、その他のカメラ、つまりレンズ
シャッタカメラ，ビデオカメラ等のカメラに適用しても
良く、更には光学機器や他の装置、更には構成ユニット
としても適用することができるものである。

【０２９７】更に、本発明は、以上の各実施例、又はそ
れらの技術を適当に組み合わせた構成にしてもよい。

【０２９８】

【発明の効果】以上説明したように、本発明によれば、
ブロック領域内の光電変換信号に関するブロック信号を
出力するブロック信号を求め、この各ブロック信号を基
にセンサ領域内の領域を制限する制限領域設定手段を、
前記ブロック領域を形成する複数の光電変換素子の組み
合わせを、異なる数の組み合わせのうちから選択する機
能を持つ手段とし、観察者のセンサ領域上における瞳孔
像の大きさを状況に応じて推定し、ブロック領域の選択
を行うようにしている。

【０２９９】よって、観察者の視線検出スピードの向上
と視線検出精度の向上の両方を達成することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における視線検出装置を
具備した一眼レフカメラの要部を示す構成図である。

【図２】図１のファインダ視野内の様子を示す図であ
る。

【図３】図１のカメラの電気的構成を示すブロック図で
ある。

【図４】図３のイメージセンサの構成例を示す回路図で
ある。

【図５】図４のイメージセンサの動作説明する助ける為
のタイミングチャートである。

【図６】同じく図４のイメージセンサの動作説明する助
ける為のタイミングチャートである。

【図７】本発明の第１の実施例における視線検出装置の
視線検出時の動作を示すフローチャートである。

【図８】本発明の第１の実施例における視線検出装置の
サブルーチン「１ラインの読み出し」の動作を示すフロ
ーチャートである。

【図９】本発明の第１の実施例における視線検出装置の
サブルーチン「Ｐ像検出」の動作を示すフローチャート
である。

【図１０】本発明の第１の実施例における視線検出装置
のサブルーチン「瞳孔エッジの検出」の動作を示すフロ
ーチャートである。

【図１１】本発明の第１の実施例における視線検出装置
のサブルーチン「瞳孔推定範囲の設定」の動作を示すフ
ローチャートである。

【図１２】本発明の第１の実施例における視線検出装置
のサブルーチン「瞳孔中心の検出」の動作を示すフロー
チャートである。

【図１３】本発明の第１の実施例における視線検出装置
のサブルーチン「円の最小２乗推定」の動作を示すフロ
ーチャートである。

【図１４】本発明の第１の実施例における視線検出装置
のサブルーチン「円の最小２乗推定 再計算１〜４」の
動作を示すフローチャートである。

【図１５】本発明の第１の実施例における視線検出装置
のサブルーチン「制限領域設定」の動作を示すフローチ
ャートである。

【図１６】図１５のサブルーチン「制限領域設定」の動
作説明を助けるための図である。

【図１７】本発明の第２の実施例における視線検出装置
のサブルーチン「制限領域設定」の動作を示すフローチ
ャートである。

【図１８】本発明の第３の実施例における視線検出装置
のサブルーチン「制限領域設定」の動作を示すフローチ
ャートである。

【図１９】一般的な視線検出装置に具備される視線検出
光学系を示す斜視図である。

【図２０】一般的な視線検出装置における視線検出原理
について説明する為の図である。

【図２１】図２０のイメージセンサ上に投影される眼球
像とその出力を示す図である。

【図２２】瞳孔と虹彩の境界の輝度差を利用して最小２
乗法により瞳孔円を推定する際の説明図である。

【符号の説明】

１０ 測光センサ １３ａ〜１３ｆ ＩＲＥＤ １４ イメージセンサ １００ ＣＰＵ １０１ 視線検出装置 １０２ 測光回路 １０３ 焦点検出装置 １０４ 信号入力回路 １０６ ＬＥＤ駆動回路 １０７ ＩＲＥＤ駆動回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０３Ｂ 3/00 Ａ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 接眼部より覗いた観察者の眼球を照明す
   る照明手段と、照明された観察者の眼球像を受光する複
   数の光電変換素子より成る受光手段と、該受光手段のセ
   ンサ領域を複数のブロック領域に分割し、そのブロック
   領域内の光電変換信号に関するブロック信号を出力する
   ブロック信号を求め、この各ブロック信号を基に前記セ
   ンサ領域内の領域を制限する制限領域設定手段と、前記
   制限領域における光電変換信号に基づいて信号処理を行
   い、観察者の視線を検出する視線検出手段とを備えた視
   線検出装置であって、前記制限領域設定手段は、前記制
   限領域を設定するのに用いるブロック領域を形成する複
   数の光電変換素子の組み合わせを、異なる数の組み合わ
   せのうちから選択する機能を持つ手段を設けたことを特
   徴とする視線検出装置。
2. 【請求項２】 前記制限領域設定手段は、第１の光電変
   換素子の組み合わせによるブロック領域と第２の光電変
   換素子の組み合わせによるブロック領域の何れかを選択
   する機能を有し、前記第１の光電変換素子の組み合わせ
   によるブロック領域における第１の各ブロック信号を基
   にセンサ領域内に制限領域を設定可能か否かを判別し、
   設定可能な場合は、この第１の各ブロック信号を基にセ
   ンサ領域内に制限領域を設定し、設定不能な場合は、前
   記第２の光電変換素子の組み合わせによるブロック領域
   における第２の各ブロック信号を基にセンサ領域内に制
   限領域を設定する手段であることを特徴とする請求項１
   記載の視線検出装置。
3. 【請求項３】 外光を測光する測光手段を具備し、前記
   制限領域設定手段は、前記測光手段よりの測光値に基づ
   いてブロック領域を形成する複数の光電変換素子の組み
   合わせを、複数の中より選択する機能を持つ手段である
   ことを特徴とする請求項１記載の視線検出装置。
4. 【請求項４】 前記制限領域設定手段は、第１の光電変
   換素子の組み合わせによるブロック領域、第２の光電変
   換素子の組み合わせによるブロック領域、第３の光電変
   換素子の組み合わせによるブロック領域の何れかを選択
   する機能を有し、第３の光電変換素子の組み合わせによ
   るブロック領域における第３の各ブロック信号を基づい
   て、センサ領域内に制限領域を設定するのに用いるもの
   として、前記第１と第２の光電変換素子の組み合わせに
   よるブロック領域における第１，第２の各ブロック信号
   の何れかを選択し、選択した各ブロック信号を基にセン
   サ領域内に制限領域を設定する手段であることを特徴と
   する請求項１記載の視線検出装置。
5. 【請求項５】 前記制限領域設定手段は、観察者のセン
   サ領域上における瞳孔像の大きさ推定し、ブロック領域
   を選択する手段であることを特徴とする請求項１，２，
   ３又は４記載の視線検出装置。
6. 【請求項６】 請求項１，２，３，４又は５記載の視線
   検出装置を具備したカメラ。