JP3313803B2 - 視線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はカメラ等の光学機器を使
用する観察者の視線（注視点）を検出する視線検出装置
に関するものである。

【０００２】

【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線（視軸）を検
出する装置（例えばアイカメラ）が種々提案されてい
る。

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。

【０００４】図５、図６は視線検出方法の原理説明図で
ある。

【０００５】先ず、図６について説明すると、各赤外発
光ダイオード（以下「ＩＲＥＤ」と称する）１３ａ、１
３ｂは受光レンズ１２の光軸アに対してＸ方向に略対称
に配置され、各々撮影者の眼球を発散照明している。

【０００６】ＩＲＥＤ１３ａ、１３ｂより放射された赤
外光は眼球１５の角膜１６を照明し、このとき角膜１６
の表面で反射したそれぞれの赤外光の一部による角膜反
射像ｄ、ｅは受光レンズ１２より集光され、イメージセ
ンサ１４上の位置ｄ′、ｅ′にそれぞれ結像する。

【０００７】また、ＩＲＥＤにより照明された眼球の瞳
孔部の像もイメージセンサ１４上に結像する。瞳孔と虹
彩の境界がなす円（これを瞳孔円と称する）の中心Ｃの
ｘ座標をｘ_cとしたとき、イメージセンサ上でのｘ座標
は不図示のｘ_c′となる。

【０００８】図５（ａ）は図２のイメージセンサ１４面
上に投影される眼球像を示しており、（ｂ）は（ａ）中
のライン（Ｉ）−（Ｉ）′での像信号の出力を示してい
る。

【０００９】図５（ａ）中の５０は眼球の白目の部分、
５１は瞳孔部、５２ａ、５２ｂは（１対のＩＲＥＤの角
膜反射像を表している。この角膜反射像は「プルキンエ
像」と呼ばれるものであり、以降「Ｐ像」と略称するこ
とにする。図５（ｂ）の信号６０中の極大点２つが１対
のＰ像に対応している。

【００１０】図６に戻って、角膜反射像（Ｐ像）ｄおよ
びｅの中心のｘ座標と角膜１６の曲率中心のｘ座標ｘ_o
とは一致するため、角膜反射像の発生位置ｄ、ｃのｘ座
標をｘ_d、ｘ_e、角膜１６の曲率中心Ｏから瞳孔１９の中
心Ｃまでの標準的な距離をＬ_OCとし、距離Ｌ_OCに対する
個人差を考慮する係数をＡ１とすると眼球光軸イの回転
角θは、 （Ａ１×Ｌ_OC）×ｓｉｎθ≒ｘ_c−（ｘ_d＋ｘ_e）／２…（１） の関係式を満足する。このため視線演算処理装置におい
て、イメージセンサ上の一部に投影された各特徴点（角
膜反射像ｄ、ｅ及び瞳孔中心Ｃの位置を検出することに
より眼球の光軸イの回転角θを求めることができる。こ
のとき（１）式は、 β（Ａ１×Ｌ_OC）×ｓｉｎθ≒ｘ_c′−（ｘ_d′＋ｘ_e′）／２…（２） とかきかえられる。但し、βは受光レンズ１２に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔｜ｘ_d′−ｘ_e′｜の関数として求められる。眼球
１５の回転角θは θ≒ＡＲＣＳＩＮ｛（ｘ_c′−ｘ_f′）／β／（Ａ１＊Ｌ_OC）｝…（３） とかきかえられる。但し、 ｘ_f′≒（ｘ_d′＋ｘ_e′）／２ である。ところで撮影者の眼球の光軸イと視軸とは一致
しない為、撮影者の眼球の光軸イの水平方向の回転角θ
が算出されると眼球の光軸と視軸との角度補正δをする
ことにより撮影者の水平方向の視線θＨは求められる。
眼球の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をＢ１とすると撮影者の水平方向の視線θＨ
は θＨ＝θ±（Ｂ１＊δ）…（４） と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は＋、右目の場合は−の符号が選択される。

【００１１】又、同図においては撮影者の眼球がＺ−Ｘ
平面（例えば水平面）内で回転する例を示しているが、
撮影者の眼球がＺ−Ｙ平面（例えば垂直面）内で回転す
る場合においても同様に検出可能である。但し、撮影者
の視線の垂直方向の成分は眼球の光軸の垂直方向の成分
θ′と一致するため垂直方向の視線θＶは θＶ＝θ′ となる。更に視線データθＨ、θＶより撮影者が見てい
るファインダー視野内のピント板上の位置（Ｘ_n、Ｙ_n）
は Ｘ_n≒ｍ×θＨ ≒ｍ×［ＡＲＣＳＩＮ｛（ｘ_c′−ｘ_f′）／β／（Ａ１
×Ｌ_OC）｝±（Ｂ１×δ）］ Ｙ_n≒ｍ×θＶ と求められる。但し、ｍはカメラのファインダー光学系
で決まる定数である。

【００１２】ここで撮影者の眼球の個人差を補正する係
数Ａ１、Ｂ１の値は撮影者にカメラのファインダー内の
所定の位置に配設された指標を固視してもらい、該指標
の位置と（５）式に従い算出された固視点の位置とを一
致させることにより求められる。

【００１３】本実施例における撮影者の視線及び注視点
を求める演算は、前記各式に基づき視線演算処理装置の
マイクロコンピュータのソフトで実行している。

【００１４】視線の個人差を補正する係数が求まり
（５）式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。

【００１５】実際に視線を求めるには、イメージセンサ
上の眼球像をマイクロコンピュータ等で処理して、上述
のＰ像、瞳孔円を検出し、その位置情報に基づいて視線
を算出する。

【００１６】具体的な手法としては、本出願人によっ
て、特開平４−３４７１３１号公報などに開示されてい
る。同公報によれは、イメージセンサ全ての画素の光電
変換信号を読み出し、Ａ／Ｄ変換を行い、逐次的な処理
によりＰ像と瞳孔円の座標を記憶してゆく。Ｐ像の座標
の求め方は簡単に説明すると、画素の輝度レベルが所定
のレベルよりも大きいと認識したときの座標で求めてい
る。また瞳孔円は、瞳孔と虹彩の境界の輝度差を利用し
て抽出するが、このとき逐次処理でのその時点での最低
輝度値から、エッジ点としてふさわしいかどうかを判定
しているため、全画素を読み出して逐次処理が終わった
時点で、もう一度、全画素の最低輝度値からエッジ点と
してふさわしいかどうかを判定し、残ったエッジ点よ
り、瞳孔のエッジ座標を最小２乗法を用いて円を推定
し、これを瞳孔円としている。

【００１７】図７に従って説明すると、図７（ａ）眼球
像を表し、ここではＰ像を省略している。瞳孔部５１の
周に配されてる複数の白丸が瞳孔エッジであり、７０−
１がその１つを表している。

【００１８】同図中（ｂ）は（ａ）の瞳孔エッジのみを
抽出して表したものである。

【００１９】これらのエッジデータに基づいて最小２乗
法を用いて推定した円が７５である。この推定円の中心
座標を（ｘ_c、ｙ_c）半径をｒ_cとすると、図７の（ｃ）
のようになる。

【００２０】

【発明が解決しようとする課題】このような視線検出装
置をカメラのファインダーを覗く観察者の視線を検出す
るのに用いた場合、観察者の覗き方に自由度を持たせる
ことは不可欠である。つまり、覗く位置が多少変化して
も正確に視線を検出することが望まれる。そのために
は、エリアセンサの受光する像の範囲が広いことが必要
となるが、そうすることで画素数が増え、視線検出を行
うための信号読み出し、瞳孔エッジやＰ像の抽出のため
の処理演算が膨大となり、又膨大な時間を要してしまう
ことになる。

【００２１】また、カメラの制御に使われるマイクロコ
ンピュータの内蔵ＲＡＭの記憶容量は、一般にエリアセ
ンサの全画素情報を一度に記憶できる程大きくないの
で、数ライン分の像データを内蔵ＲＡＭに記憶させなが
ら、１ライン読み込みながら逐次処理で特徴点抽出を行
っている。よって前述したように、最低輝度値を更新し
ながら逐次処理を行い、全画素の逐次処理が終わった時
点でもう一度エッジ点の判定をしているため、無駄な時
間を費やしていた。

【００２２】ところで、また瞳孔部を検出するにあた
り、この瞳孔エッジ部の出力信号は小さい為、検出光学
系から入射してくるゴーストやフレア、又眼鏡をかけて
いる人では眼鏡からの反射像などのノイズ成分が混在し
てしまうと、間違った瞳孔エッジを検出してしまう可能
性があり、瞳孔円の検出の信頼性が低下するという問題
点が生じていた。

【００２３】これに対して本出願人は、特開平４−２４
０４３８号公報で全画素を読み込み最小の輝度信号の出
力画素座標より、その座標に最も近いエッジを瞳孔エッ
ジと認識する提案を行った。しかしながらこの方式で
は、全画素の読み込み逐次処理をしなければならず、信
頼性を増すことには寄与するが、視線検出スピードを短
縮することはできない。

【００２４】本発明はかかる問題点に鑑みて、観察者の
注視点を検出するにあたる検出スピードを向上させるこ
とを第１の目的とする。又、スピードアップを図りなが
ら注視点の検出精度を向上させることを第２の目的とす
る。

【００２５】

【課題を解決するための手段】そして本発明の特徴とす
るところは、ファインダーより覗いた観察者の眼球を照
明する照明手段と、照明された観察者の眼球像を受光す
る複数の光電変換素子より成るエリアセンサと、該エリ
アセンサの領域を複数のブロック領域に分割し、そのブ
ロック領域内の光電変換信号に関するブロック信号を求
め、この各ブロック信号を基に前記エリアセンサ内の領
域を制限する制限領域設定手段とを備え、該制限領域内
のみにおいて光電変換素子毎の信号出力をＡ／Ｄ変換し
て観察者の視線を検出するようにしたことにある。

【００２６】特に、その本実施例における前記制限領域
設定手段とは、エリアセンサ上における観察者の瞳孔像
の位置を推定する手段である。

【００２７】そして実際の視線検出を行うための信号処
理は、設定された領域内の素子毎の信号出力を順にＡＤ
変換し、この変換信号から瞳孔エッジ及びプルキンエ像
の位置を求め注視点を求める演算処理を行うことであ
る。

【００２８】

【実施例】図１は本発明の検出装置を一眼レフレックス
カメラに適用したときの断面図である。

【００２９】各図において、１は撮影レンズで便宜上２
枚のレンズで示したが、実際は更に多数のレンズから構
成されている。２は主ミラーで、ファインダー系による
被写体像の観察状態と被写体像の撮影状態に応じて撮影
光路へ斜設されあるいは退去される。３はサブミラー
で、主ミラー２を透過した光束をカメラボディの下方の
後述する焦点検出装置６へ向けて反射する。

【００３０】４はシャッター、５は感光部材で、銀塩フ
ィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。

【００３１】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ、反射ミラー６ｂ及び６
ｃ、２次結像レンズ６ｄ、絞り６ｅ、複数のＣＣＤから
なるラインセンサ６ｆ等から構成されている。

【００３２】本実施例における焦点検出装置６は周知の
位相差方式を用いている。

【００３３】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダー光路変更用のペンタプリ
ズム、９、１０は各々観察画面内の被写体輝度を測定す
るための結像レンズと測光センサである。結像レンズ９
はペンタダハプリズム８内の反射光路を介してピント板
７と測光センサ１０を共役に関係付けている。

【００３４】次にペンタダハプリズム８の射出面後方に
は光分割器１１ａを備えた接眼レンズ１１が配され、撮
影者眼１５によるピント板７の観察に使用される。光分
割器１１ａは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。

【００３５】１２は受光レンズ、１４は光電変換素子列
を２次元的に配したイメージセンサで、詳しい回路構成
については後述する。このイメージセンサ１４は、受光
レンズ１２に関して所定の位置にある撮影者眼１５の瞳
孔近傍と共役になるように配置されている。１３ａ〜１
３ｆは各々照明光源であるところの赤外発光ダイオード
である。

【００３６】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、発光された光は
投光用プリズム２２を介し、主ミラー２で反射してピン
ト板７の表示部に設けた微小プリズムアレー７ａで垂直
方向に曲げられ、ペンタプリズム８、接眼レンズ１１を
通って撮影者眼１５に達する。

【００３７】そこでピント板７の焦点検出領域に対応す
る複数の位置（測距点）にこの微小プリズムアレイ７ａ
を枠状に形成し、これを各々に対応した５つのスーパー
インポーズ用ＬＥＤ２１（各々をＬＥＤ−Ｌ１、ＬＥＤ
−Ｌ２、ＬＥＤ−Ｃ、ＬＥＤ−Ｒ１、ＬＥＤ−Ｒ２とす
る）によって照明する。

【００３８】２３はファインダー視野領域を形成する視
野マスク。２４はファインダー視野外に撮影情報を表示
するためのファインダー内ＬＣＤで、照明用ＬＥＤ（Ｆ
−ＬＥＤ）２５によって照明されている。

【００３９】ＬＣＤ２４を透過した光は三角プリズム２
６によってファインダー視野内に導かれ、そしてファイ
ンダー視野外に表示され、撮影者は撮影情報を知ること
ができる。

【００４０】３１は撮影レンズ１内に設けた絞り、３２
は後述する絞り駆動回路１１１を含む絞り駆動装置、３
３はレンズ駆動用モーター、３４は駆動ギア等からなる
レンズ駆動部材、３５はフォトカプラーでレンズ駆動部
材３４に連動するパルス板３６の回転を検知してレンズ
焦点調節回路１１０に伝えている。焦点調節回路１１０
は、この情報とカメラ側からのレンズ駆動量の情報に基
づいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ１を合焦位置に移動させるようになっている。３７
は公知のカメラとレンズとのインターフェースとなるマ
ウント接点である。

【００４１】図２は、本発明のカメラに内蔵された電気
回路の説明図である。図１と同一のものは同一番号をつ
けている。

【００４２】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下ＣＰＵ）１００には視線検出
回路１０１、測光回路１０２、自動焦点検出回路１０
３、信号入力回路１０４、ＬＣＤ駆動回路１０５、ＬＥ
Ｄ駆動回路１０６、ＩＲＥＤ駆動回路１０７、シャッタ
ー制御回路１０８、モーター制御回路１０９が接続され
ている。又、撮影レンズ内に配置された焦点調節回路１
１０、絞り駆動回路１１１とは図１で示したマウント接
点３７を介して信号の伝達がなされる。

【００４３】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００４４】視線検出回路１０１は、イメージセンサ１
４（ＩＭＡＧＥ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は後述するように視線検出に必要な眼球像の各特
徴点を後述する所定のアルゴリズムに従って抽出し、さ
らに各特徴点の位置から撮影者の視線を算出する。

【００４５】測光回路１０２は測光センサ１０からの出
力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサの輝度
情報としてＣＰＵ１００に送られる。測光センサ１０
は、４つの領域を測光するＳＰＣ−Ｌ、ＳＰＣ−Ｃ、Ｓ
ＰＣ−Ｒ、ＳＰＣ−Ａからなるフォトダイオードで構成
されている。

【００４６】図２のラインセンサ６ｆは、画面内の５つ
の測距点に対応した５組のラインセンサＣＣＤ−Ｌ２、
ＣＣＤ−Ｌ１、ＣＣＤ−Ｃ、ＣＣＤ−Ｒ１、ＣＣＤ−Ｒ
２から構成される公知のＣＣＤラインセンサである。

【００４７】自動焦点検出回路１０３は、これらライン
センサ６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１００
に送る。ＳＷ−１はレリーズ釦４１の第一ストロークで
ＯＮし、測光、ＡＦ、視線検出動作等を開始するスイッ
チ、ＳＷ−２はレリーズ釦の第二ストロークでＯＮする
レリーズスイッチ、ＳＷ−ＡＥＬはＡＥロック釦４３を
押すことによってＯＮするＡＥロックスイッチ、ＳＷ−
ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は、不図示の電子ダイヤ
ル内に設けたダイヤルスイッチで信号入力回路１０４の
アップダウンカウンターに入力され、電子ダイヤルの回
転クリック量をカウントする。

【００４８】ＳＷ−ＨＶ１、２は水銀スイッチ等で構成
されるカメラが横位置で構えられたか、縦位置で構えら
れたかを検知する姿勢検知スイッチである。

【００４９】１０５は液晶表示素子ＬＣＤを表示駆動さ
せるための公知のＬＣＤ駆動回路で、ＣＰＵ１００から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用ＬＣＤ４２とファインダー内
ＬＣＤ２４の両方に同時に表示させることができる。Ｌ
ＥＤ駆動回路１０６は照明用ＬＥＤ（Ｆ−ＬＥＤ）２５
とスーパーインポーズ用ＬＥＤ２１を点灯、点滅制御す
る。ＩＲＥＤ駆動回路１０７は赤外発光ダイオード（Ｉ
ＲＥＤ１〜６）１３ａ〜１３ｆを状況に応じて選択的に
点灯させる。

【００５０】シャッター制御回路１０８は通電すると先
幕を走行させるマグネットＭＧ−１と、後幕を走行させ
るマグネットＭＧ−２を制御し、感光部材に所定光量を
露光させる。モーター制御回路１０９はフィルムの巻き
上げ、巻き戻しを行うモーターＭ１と主ミラー２及びシ
ャッター４のチャージを行うモーターＭ２を制御するた
めのものである。これらシャッター制御回路１０８、モ
ーター制御回路１０９によって一連のカメラのレリーズ
シーケンスが動作する。

【００５１】図３、図４は、図２のイメージセンサ１４
（ＩＭＡＧＥ−ＥＹＥ）の回路説明図である。及びその
動作説明シーケンス図である。

【００５２】イメージセンサ１４は、実際には水平画素
１５０画素、垂直画素１００画素、全画素１５０×１０
０＝１５０００画素程度のエリアセンサとするが、図
３、図４では説明を簡単にするため、便宜上４×４＝１
６画素のエリアセンサとして描いている。

【００５３】イメージセンサ１４は、ＣＰＵ１００によ
り、視線検出回路１０１を介して制御される。その機能
は画素のリセット機能、光電変換蓄積機能、その蓄積信
号出力機能であり、更に、水平ライン毎のピーク値、及
び垂直ライン毎のピーク値を実際の視線検出するための
画素信号出力に先立って出力する機能、そして水平５×
垂直５＝２５画素の平均ブロック信号を画素信号出力に
先立って出力する機能を有している。但し、図３、図４
では説明を簡単にするために、ブロック信号は２×２＝
４画素の平均ブロック信号としている。

【００５４】そして、以下に光電変換素子の各出力信号
をＡ／Ｄ変換し視線検出するための信号処理を行う作業
に先立って、眼球の特徴点を示す光電変換出力（Ｐ像、
あるいは瞳孔部）を特定し、実際の信号処理を行うに足
るイメージセンサ内上のエリアを設定した後に、この設
定されたエリア内の全光電変換素子出力をもとにして視
線を検出する実施例を説明する。

【００５５】まず、図３及び図４をもとにイメージセン
サ１４の回路、そしてその動作を説明する。尚、ここで
の実施例では、先立ってＰ像及び瞳孔部の両者を検出す
る例を示す。

【００５６】３はひとつの光電変換素子を示し、そのベ
ースに光電荷を蓄積するダブルエミッタを有するバイポ
ーラトランジスタから成る。第１のエミッタは出力線１
と、第２のエミッタは出力線２と接続する。４はバイポ
ーラトランジスタ３のベース電位を制御するための容
量、５は上記ベースをリセットするためのＰ型ＭＯＳト
ランジスタ、６は垂直出力線１を接地するためのＭＯＳ
トランジスタ、７は６のゲートにパルスを印加するため
の端子、８は容量４を通してバイポーラトランジスタ３
のベース電位を制御し、画素のリセット、読み出しを行
うための水平駆動線、９は垂直シフトレジスタＩの出力
がゲートに印加されると、ＯＮすることで駆動する画素
行を選択するバッファＭＯＳトランジスタ、１０は画素
の駆動パルスを印加するための端子、１１は左端及び右
端のｐＭＯＳ５のドレインに接続する配線、１２はその
出力が配線１１に接続するエミッタフォロワ、１３はエ
ミッタフォロワ１２のベース電位を制御するためのＭＯ
Ｓトランジスタ、１４は１３のドレイン端子に接続する
電源端子、１５はＭＯＳ１３のゲートにパルスを印加す
るための端子、１６はそのドレインが正電位に固定され
ているＰ型ＭＯＳトランジスタ、１７は１６のゲートに
パルスを印加するための端子、Ｃ１１、Ｃ２１、…、Ｃ
１４、Ｃ２４は、垂直出力線１を通して出力される画素
出力電位を蓄積するための容量、Ｍ１１、Ｍ２１、…、
Ｍ１４、Ｍ２４は、出力線１と容量Ｃ１１、Ｃ２１、
…、Ｃ１４、Ｃ２４とをスイッチするためのＭＯＳトラ
ンジスタ、３４、３５はＭ１１、Ｍ２１、…、Ｍ１４、
Ｍ２４のゲートにパルスを印加するための端子、２１は
水平出力線、Ｃ２はそこの寄生容量、Ｍ４１、…、Ｍ４
４は水平シフトレジスタ出力によって選択されると容量
Ｃ１１、Ｃ２１、…、Ｃ１４、Ｃ２４と水平出力線２１
とを導通させるスイッチＭＯＳトランジスタ、５２は２
１を接地するためのＭＯＳトランジスタ、２２は５２の
ゲートにパルスを印加するための端子、２４は出力線２
１の電位を入力とするアンプ、２０はその出力、２５は
出力線２を通して出力させる画素出力電位を蓄積するた
めの容量、２６は出力線２と容量２５とをスイッチする
ためのＭＯＳトランジスタ、２７は２６のゲートにパル
スを印加するための端子、２８は容量２５の電位が導通
される出力線、２９が２８の出力端子、３０は垂直シフ
トレジスタＩＩの出力によって選択され、容量２５と出
力線２８とを順次導通するスイッチＭＯＳトランジスタ
である。３２は垂直シフトレジスタＩで、３８はそれを
駆動するパルスを印加するための端子。３３は垂直シフ
トレジスタＩＩで、３９はそれを駆動するパルスを印加
するための端子。３１は水平シフトレジスタで、３７は
それを駆動するパルスを印加するための端子、Ｍ３１、
…、Ｍ３６は容量Ｃ１１、Ｃ２１、…、Ｃ４１、Ｃ４２
をブロック毎に直結するＭＯＳトランジスタで、３６は
それのゲートにパルスを印加するための端子である。

【００５７】次にこのセンサの動作を図４に示したパル
スタイミングチャートを用いて説明する。図４におい
て、φＶＣ、φＲ、φＰ、φＲＣ、φＴ₁ 、φＴ₂ 、φ
ＨＣ、φＶＴ、φＢＫ、φＨ、φＶ１、φＶ２はそれぞ
れパルス入力端子７、１０、１５、１７、３４、３５、
２２、２７、３６、３７、３８、３９に接続するセンサ
駆動パルスである。Ｖ１、Ｖ２、Ｖ３、Ｖ４はそれぞれ
第１、第２、第３、第４画素行を選択する信号、ＡＤ＆
処理１、ＡＤ＆処理２は２０及び２９の出力信号を、視
線検出回路１０１でＡＤ変換し、ＣＰＵ１００が後述す
る処理を行うことを意味している。

【００５８】〈ベースクランプ〉最初にφＰ（１５）が
Ｌｏｗとして、エミッタフォロワ１２の出力電位を正と
する。このときｐＭＯＳ５のゲートに接続する駆動線８
電位はＬｏｗであり、ｐＭＯＳ５がＯＮして、全画素に
おけるバイポーラトランジスタ３のベース電位がエミッ
タフォロワ１２の出力電位と同電位となる。

【００５９】〈順次リセット〉φＰ（１５）をＬｏｗと
して、エミッタフォロワ１２の出力をＧＮＤ（接地）と
した後、φＶＣ（７）をＨｉｇｈとして、垂直出力線１
を接地し、各画素のバイポーラトランジスタ３に第１エ
ミッタのエミッタ電流を流すことにより、そのベース電
位を下げる。さらに垂直シフトレジスタＩ３２をφＶ１
による駆動パルスで起動し、１行毎にφＲ（１０）よ
り、水平駆動線８にパルスを印加する。駆動線８がＨｉ
ｇｈとなった行の各画素のベース電位は容量４の容量結
合によって一旦上昇するが、再び第１エミッタのエミッ
タ電流が流れることでベース電位が下がり、８の電位が
Ｌｏｗとなると、上記容量結合によってベース電位は負
に振られ、第１エミッタ−ベース間は逆バイアス状態と
なる。

【００６０】〈蓄積〉この逆バイアス状態になった時点
で、入射光により発生した電荷が各画素のベースに蓄積
し、蓄積電荷量に応じてベース電位が上昇する。

【００６１】〈Ｈ−Ｌｉｎｅピーク読み出し〉次にφＲ
Ｃ（１７）をＬｏｗとして、ｐＭＯＳトランジスタ１６
をＯＮし、水平駆動線電位をＨｉｇｈレベルとする。こ
の時各画素のベース電位は前記容量結合により持ち上げ
られて、エミッタ−ベース間が順バイアス状態となり、
各行における最大出力画素の出力値が出力線２に表れ、
その出力線電位がＭＯＳトランジスタ２７を通して、各
蓄積容量２５に蓄積される。次に、垂直シフトレジスタ
ＩＩ３３をφＶ２（３９）により起動させ、容量２５の
電位を出力端子２９から順次出力される。この信号はＣ
ＰＵ１００により、蓄積時間を制御するために使われ
る。

【００６２】〈Ｖ−Ｌｉｎｅピーク読み出し〉φＶＣを
Ｌｏｗとして垂直出力線１をフローティングとし、φＲ
Ｃ（１７）をＬｏｗとして、ｐＭＯＳトランジスタ１６
をＯＮし、水平駆動線電位をＨｉｇｈレベルとする。こ
の時、各画素のベース電位は前記容量結合により持ち上
げられて、エミッタ−ベース間が順バイアス状態とな
り、各列における最大出力画素の出力値が出力線１に表
れ、その出力線電位がそれぞれＭＯＳトランジスタＭ１
１、Ｍ１２、Ｍ１３、Ｍ１４を通して、蓄積容量Ｃ１
１、Ｃ１２、Ｃ１３、Ｃ１４に蓄積される。次に、水平
シフトレジスタ３１をφＨにより起動させ、容量Ｃ１１
〜Ｃ１４の電位を、一旦Ｃ２と容量分割したあとアンプ
２４により２０から出力される。この信号はＣＰＵ１０
０により処理され、後述するエリア限定などに使われ
る。

【００６３】〈ブロック読み出し〉また、φＶＣ（７）
のパルスによって垂直出力線１の電位を接地した後にフ
ローティングとし、φＶ１（３８）により垂直シフトレ
ジスタＩを駆動すると同時に、φＲ（１０）のパルスを
印加し、駆動線８の一行目Ｖ１にパルスが印加される。
出力線１には一行目の各画素（Ｓ₁₁〜Ｓ₁₄）の出力電位
が表れ、φＴ₁ （３４）のパルスにより、その出力電位
が容量Ｃ１１、Ｃ１２、Ｃ１３、Ｃ１４に各々蓄積され
る。

【００６４】次に、φＶ１（３８）により垂直シフトレ
ジスタＩの出力を次の行にして、上記動作を繰り返す。
そして、φＴ₁ （３４）のパルスのかわりにφＴ₂ （３
５）のパルスを使い、二行目の各画素（Ｓ₂₁〜Ｓ₂₄）の
出力電位を各々容量Ｃ２１、Ｃ２２、Ｃ２３、Ｃ２４に
蓄積される。

【００６５】次に、φＢＫ（３６）のパルスを印加する
と、Ｍ３１、…、Ｍ３６のＭＯＳトランジスタがオン
し、Ｃ１１、Ｃ２１、Ｃ１２、Ｃ２２の容量が平均化さ
れる。同様にＣ１３、Ｃ２３、Ｃ１４、Ｃ２４の容量も
平均化される。これによりブロック化された画素Ｓ１
１、Ｓ１２、Ｓ２１、Ｓ２２の出力信号がＣ１１、Ｃ２
１、Ｃ１２、Ｃ２２に平均化される。

【００６６】一方、ブロック化された画素Ｓ１３、Ｓ１
４、Ｓ２３、Ｓ２４の各出力信号がＣ１３、Ｃ１４、Ｃ
２３、Ｃ２４に平均化される。この平均化されたブロッ
ク信号を、φＨ（３７）により駆動される水平シフトレ
ジスタにより、順次水平出力線２１に転送され、アンプ
２４を通して、出力端子２０から出力される。ＣＰＵ１
００は、Ｃ１１の電位のブロック信号を受け取ると所定
の処理（Ａ／Ｄ変換及び読み取り）を行い、次のＣ１２
の電位のブロック信号は、Ｃ１１と同じなのでＡＤ変換
及び処理は行わない。同様にＣ１３のブロック信号のＡ
Ｄ変換と所定の処理を行って次のＣ１４の信号は行わな
い。

【００６７】更に、垂直シフトレジスタＩの出力を動か
して、上記動作により３行目の各画素をＣ１１、Ｃ１
２、Ｃ１３、Ｃ１４に蓄積させ、４行目の各画素をＣ２
１、Ｃ２２、Ｃ２３、Ｃ２４に蓄積される。そして、φ
ＢＫ（３６）により、画素Ｓ３１、Ｓ３２、Ｓ４１、Ｓ
４２の信号を容量Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２に平
均化し、画素Ｓ３３、Ｓ３４、Ｓ４３、Ｓ４４の信号を
容量Ｃ１３、Ｃ１４、Ｃ２３、Ｃ２４に平均化される。
このブロック信号を水平シフトレジスタの駆動により出
力され、上記と同様な処理が行われる。

【００６８】〈本読み出し（第１行〜第４行読み出
し）〉ここで、はじめて視線を検出するための本読み出
しにはいるが、全ての画素に同様なＡＤ変換と処理を施
すのではなく、上記のピーク読み出しとブロック読み出
しにより処理により、エリアを限定して、限定されたエ
リアのみＡＤ変換と処理を行う。本実施例では、２行目
と３行目の２列目、３列目のみを限定したものとして説
明する。

【００６９】まず一行目は、限定エリア外であるので、
垂直シフトレジスタを動かすが、信号の出力は行わな
い。２行目では、ブロック読み出しの要領と同様に画素
の信号を容量Ｃ１１、Ｃ１２、Ｃ１３、Ｃ１４に蓄積
し、水平シフトレジスタにより出力端子２０より信号を
出力していく。ＣＰＵ１００は、２列目（Ｓ２２）と３
列目（Ｓ２３）の信号だけはＡＤ変換と所定の処理を行
って、１列目（Ｓ２１）、４列目（Ｓ２４）は処理を行
わない。３行目は２行目と同様な処理を行い、４行目は
１行目と同様である。

【００７０】このように、本実施例のイメージセンサ１
４（ＩＭＡＧＥ−ＥＹＥ）に対する信号処理は本読み出
しに先立って、Ｈ−Ｌｉｎｅピーク読み出し、Ｖ−Ｌｉ
ｎｅピーク読み出し、ブロック読み出しを行うことがで
き、あらかじめＰ像の位置・瞳孔円の位置、又そのレベ
ルをおおよそ求め、全画素の中の限定されたエリアのみ
の画素信号をＡＤ変換及び処理を行う。

【００７１】次に図８をもとに注視点を検出するための
フローを説明する。ＣＰＵ１００が視線検出動作を開始
すると、ステップ（＃０００）を経て、ステップ（＃０
０１）のデータの初期化を実行する。

【００７２】変数ＥＤＧＣＮＴは、虹彩と瞳孔の境界を
エッジとして抽出した個数をカウントする変数である。

【００７３】変数ＩＰ１、ＩＰ２、ＪＰ１、ＪＰ２は発
光ダイオード１３ａ、１３ｂの角膜反射像（以下「プル
キンエ像；Ｐ像」と称する）の位置を表す変数であり、
横方向（Ｘ軸）の範囲ＩＰ１〜ＩＰ２、縦方向（Ｙ軸）
の範囲ＪＰ１〜ＪＰ２で囲まれる眼球反射像の領域内
に、２個のＰ像が存在する。

【００７４】いまエリアセンサ１４の画素数は横方向に
１５０画素、縦方向に１００画素のサイズを想定してお
り、ＩＰ１、ＩＰ２、ＪＰ１、ＪＰ２は全体のちょうど
真中の位置（７５、５０）を初期値として格納してお
く。

【００７５】データの初期化の次はステップ（＃００
２）へ移行する。

【００７６】ステップ（＃００２）では撮影者の眼を照
明するための赤外発光ダイオード（ＩＲＥＤ）１３ａ−
１３ｆの内から適切な組み合わせのＩＲＥＤを選んで点
灯する。ＩＲＥＤの選択は姿勢スイッチＳＷ−ＨＶ１、
ＳＷ−ＨＶ２により、カメラが横位置か縦位置か、ある
いは撮影者が眼鏡をかけているか否かによってなされ
る。そしてＩＭＡＧＥ−ＥＹＥ１４はベースクランプと
順次リセットが行われ、イメージセンサ１４の蓄積が開
始される。

【００７７】ステップ（＃００３）では、蓄積中に、水
平ライン（Ｈ−Ｌｉｎｅ）ピーク読み出しを行う。ステ
ップ（＃００４）で、水平ラインピークの最大値が所定
のレベルに達しているかで、達していない場合はステッ
プ（＃００３）→ステップ（＃００４）を繰り返し、所
定値に達するまでループする。これにより、蓄積時間を
コントロールし、常に適切な画素信号が読み出せるよう
にしている。

【００７８】所定の電荷蓄積が終了すると、次のステッ
プ（＃００５）でＩＲＥＤを消燈する。

【００７９】次にステップ（＃００６）で垂直ライン
（Ｖ−Ｌｉｎｅ）のピーク読み出しを行う。

【００８０】ステップ（＃００７）では、水平ラインの
ピーク値と垂直ラインのピーク値から極大ポイント（Ｐ
像候補ポイント）を抽出する。図１１は、その様子を模
式的に表したもので、エリアセンサ内に眼球像が図のよ
うに見えていたとき、Ｈ−Ｌｉｎｅピーク値の極大ポイ
ントが座標ｙ₁ 、ｙ₂ に、Ｖ−Ｌｉｎｅピーク値の極大
ポイントが座標ｘ₁ 、ｘ₂ 決定される。

【００８１】ステップ（＃００８）で極大ポイントを基
に制限領域を決める。すなわち、 ＪＬ１←ｙ₁ −δ_b1 ＪＬ２←ｙ₂ ＋δ_b2 ＩＬ１←ｘ₁ −δ_a ＩＬ２←ｘ₂ ＋δ_a とし、ｘ軸（水平方向）は座標ＩＬ１−ＩＬ２のエリア
に、ｙ軸（垂直方向）は座標ＪＬ１〜ＪＬ２のエリアの
領域を決める。δ_a、δ_b1、δ_b2はそれぞれＰ像の位置
より瞳孔円の存在できうる範囲の最大限を推定して決め
られた値である。この限定されたエリアを図１１でも限
定検出エリアとして示している。ステップ（＃００９）
以降から、エリアセンサの本読み出し及び逐次処理を開
始する。

【００８２】ステップ（＃００９）はループ変数Ｊを０
から９９までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。

【００８３】ステップ（＃０１０）では、ｙ座標がＪＬ
１〜ＪＬ２の間にないときは、図３、図４で説明したと
ころの１行目、４行目のように、垂直シフトレジスタＩ
を１ステップ進ませるだけで、Ｊをカウントアップさせ
て次の行へ進む。

【００８４】ｙ座標がＪＬ１〜ＪＬ２の間にあるとき
は、ステップ（＃０１１）に進み、エリアセンサの横方
向（Ｘ軸）の１ラインの光電変換信号の読み込みを行
う。１ラインの読み込みはサブルーチン形式となってお
り、図１８にサブルーチン「１ライン読み込み」のフロ
ーチャートを示す。

【００８５】サブルーチン「１ライン読み込み」がコー
ルされると、図１８のステップ（＃１００）を経て、次
のステップ（＃１０１）を実行する。ステップ（＃１０
１）と、その枠内のステップ（＃１０２）は、前述した
ステップ（＃００６）と同様のループ処理を表してお
り、ステップ（＃１０１）では変数Ｋを０から３へカウ
ントアップさせながら、そしてステップ（＃１０２）で
は変数Ｉを０から１４９までカウントアップさせなが
ら、それぞれの枠内の処理を実行してゆく。従って、ス
テップ（＃１０１）とステップ（＃１０２）は変数Ｋと
変数Ｉの、いわゆる「入れ子」となったループ処理を表
している。

【００８６】ステップ（＃１０２）のループ処理内のス
テップ（＃１０３）では、配列変数ＩＭ（ｉ、ｋ）の再
格納作業を行っている。

【００８７】本実施例では、ＣＰＵ１００が信号処理を
行っているわけであるが、一般にマイクロコンピュータ
の内蔵ＲＡＭ（ランダム・アクセス・メモリ）の記憶容
量は、エリアセンサの全画素情報を一度に記憶できる程
大きくはない。そこで、本実施例では、エリアセンサか
ら出力される像信号を逐次読みだしながら、横方向（Ｘ
軸）５ライン分に相当する最新の像信号のみをマイクロ
コンピュータの内蔵ＲＡＭに記憶させ、１ラインの読み
込み毎に視線検出のための処理を実行するようにしてい
る。

【００８８】ステップ（＃１０１）からステップ（＃１
０３）の２重ループ処理で実行している内容は、新たな
１ライン分の像信号を読み込むために、記憶している過
去５ライン分の像信号データを更新する作業である。即
ち、配列変数ＩＭ（ｉ、ｋ）の内、ＩＭ（ｉ、０）［ｉ
＝０〜１４９］が最も過去の、またＩＭ（ｉ、４）［ｉ
＝０〜１４９］が最も最近の１ラインの像データを表し
ており、次のようにデータを更新して新たな１ライン分
の像信号をＩＭ（ｉ、４）［ｉ＝０〜１４９］に格納で
きるように準備する。

【００８９】ＩＭ（ｉ、０）←ＩＭ（ｉ、１） ＩＭ（ｉ、１）←ＩＭ（ｉ、２） ＩＭ（ｉ、２）←ＩＭ（ｉ、３） ＩＭ（ｉ、３）←ＩＭ（ｉ、４）［ｉ＝０〜１４９］

【００９０】さて、ステップ（＃１０１）〜ステップ
（＃１０３）のデータ更新のためのループ処理が終了す
ると、次のステップ（＃１０４）のループ処理を実行す
る。

【００９１】ステップ（＃１０４）のループ処理では、
エリアセンサの横方向（Ｘ軸）の１ライン分（１５０画
素）の像信号を出力させながら、制限領域内のみ、Ａ／
Ｄ変換しながら、ＲＡＭに格納し、また像信号の最小値
を検出している。

【００９２】ステップ（＃１０５）で、Ｉの値（ｘ座
標）がＩＬ１〜ＩＬ２の間にないときは、図３、図４で
の第２行１列目・４列目のように、Ａ／Ｄ変換や処理を
行わず、Ｉをステップアップし次の列へ進む。

【００９３】Ｉの値がＩＬ１〜ＩＬ２の間にあるとき
は、ステップ（＃１０６）で進み、ＣＰＵ１００は、像
信号のＡ／Ｄ変換された値ＡＤＣを一時的にＥＹＥＤＴ
に格納する。

【００９４】そして、次のステップ（＃１０６）にて、
ＥＹＥＤＴの値を配列変数ＩＭ（Ｉ、４）に格納する。
変数Ｉは外側のループ処理ステップ（＃１０４）にて０
から１４９までカウントアップされる。

【００９５】ステップ（＃１０７）と（＃１０８）は像
信号の最小値を検出処理である。変数ＥＹＥＭＩＮは像
信号の最小値を保持する変数であり、ステップ（＃１０
７）において、ＥＹＥＭＩＮよりＥＹＥＤＴの方が小さ
ければ、ステップ（＃１０８）へ分岐し、ＥＹＥＭＩＮ
をこの小さなＥＹＥＤＴの値で更新する。

【００９６】ステップ（＃１０４）〜（＃１０９）のル
ープ処理が終了し、新たな１ライン分の像信号の格納
と、最小値の検出が終ると、次のステップ（＃１１０）
でサブルーチン「１ラインの読み込み」をリターンす
る。

【００９７】図８のフローチャートに戻って、ステップ
（＃０１１）のサブルーチン「１ラインの読み込み」が
完了すると、次のステップ（＃０１２）へ移行し、外側
のループ処理ステップ（＃００９）のループ変数Ｊが５
以上か否か調べる。

【００９８】ループ変数Ｊはエリアセンサの縦方向（Ｙ
軸）の画素ラインを表しており、本実施例では、エリア
センサの画素数を（１５０×１００）としているので、
Ｊは０から９９までカウントアップされる。

【００９９】ステップ（＃０１２）にてループ変数Ｊが
５以上の場合にはステップ（＃０１３）へ分岐する。こ
れは、読み込んだ像信号のライン数が５以上になると、
エリアセンサの縦方向（Ｙ軸）の処理が出来るようにな
るからである。

【０１００】分岐した先のステップ（＃０１３）ではサ
ブルーチン「Ｐ像の検出」を実行する。

【０１０１】サブルーチン「Ｐ像の検出」は、前述した
角膜反射像（Ｐ像）の位置を検出するための処理であ
り、エリアセンサの横方向（Ｘ軸）の１ラインの読み込
み毎に実行する。そのフローチャートを図１９に示す。

【０１０２】サブルーチン「Ｐ像の検出」がコールされ
ると、ステップ（＃２００）を経てステップ（＃２０
１）のループ処理を実行する。

【０１０３】ループ処理を制限領域内ＩＬ１〜ＩＬ２で
行うことになる。ループ処理内では、像データ（配列変
数ＩＭ（ｉ、ｋ）に記憶）中のＰ像の位置を検索し、も
し見つかれば、エリアセンサ上でのその位置を記憶す
る。本実施例ではＰ像は２個発生するので、記憶する位
置情報も２個となる。

【０１０４】ループ内の最初のステップ（＃２０２）で
は、所定位置の像データがＰ像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。

【０１０５】ステップ（＃２０２）の「Ｐ像条件」 ＩＭ（Ｉ、２）＞Ｃ１ かつＩＭ（Ｉ、１）＞Ｃ２ かつＩＭ（Ｉ、３）＞Ｃ２ かつＩＭ（Ｉ−１、２）＞Ｃ２ かつＩＭ（Ｉ＋１、２）＞Ｃ２ 但し、Ｃ１、Ｃ２はしきい値定数で、Ｃ１≧Ｃ２なる関
係があり、水平ラインピーク値読み出し又は垂直ライン
ピーク値読み出しから求められたＥＹＥＭＡＸ（ピーク
値の中の最大の値）から導かれる。例えば、Ｃ１＝ＥＹ
ＥＭＡＸ−２０、Ｃ２＝ＥＹＥＭＡＸ−５０である。尚
この数値はＡＤ変換と８ｂｉｔとし、０〜２５５の値を
とるものと想定している。

【０１０６】このように、ＥＹＥＭＡＸの値からしきい
値を決めるので、本実施例のように、ＥＹＥＭＡＸが一
定になったときに蓄積を止める方式ではなくて、例えば
一定時間蓄積を行うような制御方法の場合には、ＥＹＥ
ＭＡＸが一定にならない可能性があるので、上記式でＣ
１、Ｃ２を求めることにより、Ｐ像の検出を常に信頼性
良く行うことができる。

【０１０７】上記条件は、Ｐ像が図５で説明したよう
に、スポット像のようなものであることに注目し、横／
縦方向（Ｘ／Ｙ軸）の両方向に定義したものである。こ
の条件が満足されたとき、位置（Ｉ、２）にＰ像が存在
するものと見なす。

【０１０８】前述したように配列変数ＩＭ（ｉ、ｋ）は
エリアセンサの横方向（Ｘ軸）の１ライン読み込み毎に
更新しており、縦方向（Ｙ軸）位置ＪラインはＩＭ
（ｉ、４）［ｉ＝０〜１４９］に格納されている。従っ
て、変数ＩＭに対するアドレス（１、２）は、エリアセ
ンサ上では、位置（Ｉ、Ｊ−２）となる。

【０１０９】ステップ（＃２０２）にて、Ｐ像の条件を
満足する像データがあった場合、ステップ（＃２０３）
以降へ分岐し、ない場合には外側のループ変数Ｉがカウ
ントアップされる。

【０１１０】ステップ（＃２０３）以降は、２個のＰ像
の存在範囲（Ｘ軸方向の範囲［ＩＰ１〜ＩＰ２］、Ｙ軸
方向の範囲［ＪＰ１〜ＪＰ２］）を決定する処理であ
る。

【０１１１】先ず、ステップ（＃２０３）では、エリア
センサの横方向（Ｘ軸）の位置を表す変数Ｉと変数ＩＰ
１を比較し、Ｉ＜ＩＰ１ならば、ステップ（＃２０４）
へ分岐する。即ち、Ｐ像の存在範囲のうち、横方向の左
方にあるＰ像位置ＩＰ１の位置よりも、変数Ｉの位置の
方が左にあれば、ＩＰ１を書換えようとするものであ
る。

【０１１２】ステップ（＃２０４）では、変数ＩＰ１に
変数Ｉの値を格納し、そのときの縦方向の位置（Ｊ−
２）を変数ＪＰ１に格納する。

【０１１３】ステップ（＃２０５）、（＃２０６）で
は、Ｐ像存在範囲の内、横方向の右方にあるＰ像位置Ｉ
Ｐ２と、その縦方向位置を表すＪＰ２の更新の判定を行
う。

【０１１４】以上のようにして、ステップ（＃２０１）
のループ処理で、横方向（Ｘ軸）の位置Ｉが０から１４
９までの１ラインの処理が終了すると、次のステップ
（＃２０７）へ移行する。

【０１１５】ステップ（＃２０７）では、後の処理で参
照する変数ＸＰ１、ＸＰ２、ＹＰ１、ＹＰ２を図中の式
の如く計算する。

【０１１６】これらの変数の意味については図２３の説
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、Ｐ像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。

【０１１７】ステップ（＃２０７）の処理が終了する
と、次のステップ（＃２０８）でサブルーチン「Ｐ像の
検出」をリターンする。

【０１１８】再び図８のフローチャートに戻る。

【０１１９】ステップ（＃０１３）のサブルーチン「Ｐ
像の検出」が完了すると、次のステップ（＃０１４）で
サブルーチン「瞳孔エッジの検出」を実行する。

【０１２０】「瞳孔エッジの検出」は眼球反射像中の瞳
孔エッジ（虹彩と瞳孔の境界）の位置の検出を行うサブ
ルーチンであり、図２０にそのフローチャートを示して
いる。

【０１２１】サブルーチン「瞳孔エッジの検出」がコー
ルされると、ステップ（＃３００）を経て、次のステッ
プ（＃３０１）のループ処理が実行される。ステップ
（＃３０１）は図８ステップ（＃２０１）と同時に、エ
リアセンサの横方向（Ｘ軸）の位置を表す変数Ｉをルー
プ変数とするループ処理である。

【０１２２】また、Ｐ像の検出と同様に、限定エリアＩ
Ｌ１〜ＩＬ２内のみのループである。

【０１２３】ステップ（＃３０１）のループ処理内で
は、像データ中に瞳孔のエッジを表す特徴があるかどう
かを検索し、もしあれば、その位置情報を記憶する。瞳
孔エッジ位置情報は、配列変数ＥＤＧＤＴ（ｍ、ｎ）に
格納される。

【０１２４】配列変数ＥＤＧＤＴ（ｍ、ｎ）のデータ形
式は以下のように設定している。

【０１２５】 ＥＤＧＤＴ（ｍ、１）…ｍ番目のエッジ点の輝度 ＥＤＧＤＴ（ｍ、２）…ｍ番目のエッジ点のＸ軸座標 ＥＤＧＤＴ（ｍ、３）…ｍ番目のエッジ点のＹ軸座標 ｍは瞳孔エッジ検出の逐次処理の過程で見つかったエッ
ジ点の順番である。従って、エッジがＭ個検出されれ
ば、配列変数ＥＤＧＤＴの容量は［Ｍ×３］バイ程が必
要となる。フローチャートでは、エッジの検出個数は変
数ＥＤＧＣＮＴでカウントしている。

【０１２６】さて、ループ内の最初のステップ（＃３０
２）では、像データＩＭ（Ｉ、２）の近傍に、過去に検
出されたエッジ点があるか否かを判定している。もう少
し詳しく説明すると次のようになる。

【０１２７】外側のループ処理のループ変数Ｉは、エリ
アセンサの横方向（Ｘ軸）の位置を表し、像データを格
納している配列変数ＩＭ（ｉ、ｋ）に対するアドレス
（Ｉ、２）は、いま正に瞳孔エッジであるか否かを検定
しようとしている点（画素の座標）である。この（Ｉ、
２）の点に隣接する各点が、過去の逐次処理の過程で瞳
孔エッジと判定されたかどうかを、エッジ位置情報を格
納している配列変数ＥＤＧＤＴ（ｍ、ｎ）から調べよう
とするものである。

【０１２８】ステップ（＃３０２）の判定条件を具体的
に記述すると、次のような条件となる。

【０１２９】ステップ（＃３０２）の「判定条件」 ｛ＥＤＧＤＴ（ｍ、２）、ＥＤＧＤＴ（ｍ、３）｝＝
｛（Ｉ−１）、（Ｊ−２）｝ あるいは＝｛（Ｉ−１）、（Ｊ−３）｝ あるいは＝｛（Ｉ）、（Ｊ−３）｝ あるいは＝｛（Ｉ＋１）、（Ｊ−３）｝ なる｛ＥＤＧＤＴ（ｍ、２）、ＥＤＧＤＴ（ｍ、３）｝
が存在する。 但し、ｍ＝０〜（ＥＤＧＣＮＴ−１）

【０１３０】現在検定しようとしている座標は
｛（Ｉ）、（Ｊ−２）｝であるから、上記座標は現在座
標に対して順に左隣、左上隣、上隣、右上隣の位置を表
している。

【０１３１】また、ＥＤＧＤＴ（ｍ、２）、ＥＤＧＤＴ
（ｍ、３）はそれぞれｍ番目のエッジ点のＸ軸座標、Ｙ
軸座標を表しているから、結局上記条件は、現在座標の
左隣、左上隣、上隣、右上隣の位置にエッジ点があった
かどうかを判定していることになる。

【０１３２】ステップ（＃３０２）において、座標
（Ｉ、Ｊ−２）の近傍にエッジ点があると判定された場
合にはステップ（＃３０４）へ、そうでない場合にはス
テップ（＃３０３）へ分岐し、それぞれ別の条件を用い
て瞳孔エッジの判定を行う。

【０１３３】近傍にエッジ点のない場合について先に説
明する。

【０１３４】ステップ（＃３０３）では、現在検定しよ
うとしている座標（Ｉ、Ｊ−２）の像データが瞳孔エッ
ジの条件（ステップ（＃３０３）での判定条件を「エッ
ジ条件１」と称する）を満たすか否かを判定している。
座標（Ｉ、Ｊ−２）の像データは配列変数ＩＭ（Ｉ、
２）に格納されていることに留意されたい。

【０１３５】判定条件は以下のようになる。

【０１３６】ステップ（＃３０３）の「エッジ条件１」 １．｛ＩＭ（Ｉ−１、２）−ＩＭ（Ｉ、２）｝＞Ｃ３
かつ ｛ＩＭ（Ｉ−２、２）−ＩＭ（Ｉ−１、２）｝＜Ｃ３
かつ ＩＭ（Ｉ、２）＜ａ ２．｛ＩＭ（Ｉ＋１、２）−ＩＭ（Ｉ、２）｝＞Ｃ３
かつ ｛ＩＭ（Ｉ＋２、２）−ＩＭ（Ｉ＋１、２）｝＞Ｃ３
かつ ＩＭ（Ｉ、２）＜ａ ３．｛ＩＭ（Ｉ、１）−ＩＭ（Ｉ、２）｝＞Ｃ３ かつ ｛ＩＭ（Ｉ、０）−ＩＭ（Ｉ、１）｝＞Ｃ３ かつ ＩＭ（Ｉ、２）＜ａ ４．｛ＩＭ（Ｉ、３）−ＩＭ（Ｉ、２）｝＞Ｃ３ かつ ｛ＩＭ（Ｉ、４）−ＩＭ（Ｉ、３）｝＞Ｃ３ かつ ＩＭ（Ｉ、２）＜ａ

【０１３７】上記１〜４を満足すれば、座標（Ｉ、Ｊ−
２）をエッジ点と見なす。但し、ａ＝ＥＹＥＭＩＮ＋Ｃ
４で、ＥＹＥＭＩＮは現在の逐次処理までの像データ中
の最低輝度値である。

【０１３８】Ｃ４はＥＹＥＭＡＸとＥＹＥＭＩＮによっ
て決まる定数であり、 Ｃ４＝（ＥＹＥＭＡＸ−ＥＹＥＭＩＮ）×Ｃ５ と表される。これは、瞳孔エッジ条件を信頼性良く決め
るのに必要であり、外光が多くて、信号のダイナミック
レンジ（ＥＹＥＭＡＸ−ＥＹＥＭＩＮ）が小さい場合で
も、また反対にダイナミックレンジが大きい場合でも、
都合が良い。

【０１３９】Ｃ３、Ｃ５は例えばＣ３＝３、Ｃ５＝１／
１０である。

【０１４０】上記条件は、瞳孔エッジ（虹彩と瞳孔の境
界）においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。１と２の条件はエリアセンサの横
方向（Ｘ軸）のエッジを抽出し、３と４の条件は縦方向
（Ｙ軸）のエッジを抽出する。

【０１４１】座標（Ｉ、Ｊ−２）が瞳孔エッジ点として
抽出された場合には、ステップ（＃３０３）からステッ
プ（＃３０５）へ分岐し、エッジ点の輝度値と座標を記
憶する。

【０１４２】ステップ（＃３０５）では、エッジ位置情
報格納用の配列変数ＥＤＧＤＴ（ｍ、ｋ）に次のように
情報を格納する。

【０１４３】 ＥＤＧＤＴ（ＥＤＧＣＮＴ、１）←ＩＭ（Ｉ、２） ＥＤＧＤＴ（ＥＤＧＣＮＴ、２）←Ｉ ＥＤＧＤＴ（ＥＤＧＣＮＴ、３）←Ｊ−２

【０１４４】ＩＭ（Ｉ、２）はＥＤＧＣＮＴ番目に検出
されたエッジ点の輝度、Ｉは同ｘ座標、（Ｊ−２）は同
Ｙ座標である。

【０１４５】そして、検出されたエッジ点の個数をカウ
ントする変数ＥＤＧＣＮＴを１つカウントアップする。

【０１４６】ステップ（＃３０５）の処理が終了する
と、外側のループ処理のループ変数Ｉ（横方向、Ｘ軸の
座標を表す）をカウントアップし、再びステップ（＃３
０２）以降のフローチャートを実行する。

【０１４７】さてステップ（＃３０２）において、現在
座標（Ｉ、Ｊ−２）の近傍にエッジ点があると判定され
た場合について説明する。

【０１４８】その場合、ステップ（＃３０４）へ分岐
し、ステップ（＃３０３）と同じように、現在検定しよ
うとしている座標（Ｉ、Ｊ−２）の像データが瞳孔エッ
ジの条件（ステップ（＃３０４）での判定条件を「エッ
ジ条件２」と称する）を満たすか否かを判定する。

【０１４９】ここで、「エッジ条件２」は「エッジ条件
１」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値Ｃ３、Ｃ４、Ｃ５をそ
れぞれＣ３′、Ｃ４′、Ｃ５′とし、次のように変えて
いる。

【０１５０】Ｃ３′＝２、Ｃ４′＝（ＥＹＥＭＡＸ−Ｅ
ＹＥＭＩＮ）×Ｃ５′、Ｃ５′＝０．１５ 上のように設定することで、「エッジ条件１」よりもエ
ッジと判定される率が上昇する。

【０１５１】エッジ条件をこのように２種類用意する理
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じくエッジ点である可能性が高い
であろう、という観点に基づいている。

【０１５２】ステップ（＃３０４）の「エッジ条件２」
でエッジ点と判定された場合には、ステップ（＃３０
５）へ分岐して、その座標の情報を記憶する。

【０１５３】以上のようにして、ループ変数ＩがＩＬ２
となるまで、ステップ（＃３０１）のループ処理が実行
され、エリアセンサの横方向（Ｘ軸）の１ライン分のエ
ッジ検出の処理が終了すると、ステップ（＃３０６）へ
移行し、サブルーチン「瞳孔エッジの検出」をリターン
する。

【０１５４】再び図８の説明に戻る。

【０１５５】ステップ（＃０１４）のサブルーチン「瞳
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ（＃００９）のループ変数Ｊ（エリアセンサの縦方
向、Ｙ軸の座標を表す）がカウントアップされ、Ｊが９
９となるまで、再びステップ（＃０１０）以降の処理が
実行される。

【０１５６】ループ変数Ｊが９９となり、エリアセンサ
の全画素の読み込みと処理が終了すると、ステップ（＃
００９）からステップ（＃０１５）へ移行する。

【０１５７】ステップ（＃０１５）〜（＃０１７）で
は、ステップ（＃００９）のループ処理内で検出された
Ｐ像位置および瞳孔エッジ情報から、瞳孔の中心座標の
検出と視線の検出を行う。

【０１５８】先ず、ステップ（＃０１５）ではサブルー
チン「瞳孔推定範囲の設定」をコールする。

【０１５９】ステップ（＃０１４）のサブルーチン「瞳
孔エッジの検出」で検出された複数の瞳孔エッジ点に
は、実際に瞳孔円（虹彩と瞳孔の境界が形成する円）を
表しているエッジ点以外にも、種々のノイズによって発
生した偽のエッジ点も含まれている。

【０１６０】「瞳孔推定範囲の設定」は、上記偽のエッ
ジ点を排除するために、Ｐ像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図２１に示している。

【０１６１】サブルーチン「瞳孔推定範囲の設定」がコ
ールされると、ステップ（＃４００）を経て、ステップ
（＃４０１）を実行する。

【０１６２】ステップ（＃４０１）では、先に「Ｐ像の
検出」サブルーチンで説明したＰ像位置範囲、即ち、横
方向（Ｘ軸）にＩＰ１〜ＩＰ２、縦方向（Ｙ軸）にＪＰ
１〜ＪＰ２の情報を用いて、瞳孔円の座標範囲ＩＳ１、
ＩＳ２、ＪＳ１、ＪＳ２を次の式に従って計算する。

【０１６３】ＩＳ１←ＩＰ１−２０ ＩＳ２←ＩＰ２＋２０ ＪＳ１←（ＪＰ１＋ＪＰ２）／２−２０ ＪＳ２←（ＪＰ１＋ＪＰ２）／２＋４０

【０１６４】確からしい瞳孔エッジ点は、エリアセンサ
の横方向（Ｘ軸）の範囲ＩＳ１〜ＩＳ２、縦方向（Ｙ
軸）の範囲ＪＳ１〜ＪＳ２に存在する点である、と設定
する。

【０１６５】本実施例の光学系では、図５（Ａ）に示し
た如く、２個のＰ像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。

【０１６６】ステップ（＃４０１）の計算の後は、ステ
ップ（＃４０２）へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。

【０１６７】図８に戻って、次にステップ（＃０１６）
のサブルーチン「瞳孔中心の検出」をコールする。

【０１６８】「瞳孔中心の検出」は、確からしい瞳孔エ
ッジ点の座標から、瞳孔円の形状（中心座標と大きさ）
を推定するサブルーチンであり、そのフローチャートを
図２２〜図２４に示した。

【０１６９】瞳孔円の形状の推定には、「最小２乗法」
を用いる。その考え方について先に述べておく。

【０１７０】円の公式は周知のように、中心座標を
（ａ、ｂ）、半径をｃとすると、 （ｘ−ａ）² ＋（ｙ−ｂ）² ＝ｃ² …（１０） で与えられる。

【０１７１】複数の観測点（ｘ１、ｙ１）、（ｘ２、ｙ
２）…（ｘｎ、ｙｎ）から、次式の誤差量ＥＲが最小と
なるようにａ、ｂ、ｃを決定することを考える。

【０１７２】 ＥＲ＝Σ［（ｘｉ−ａ）² ＋（ｙｉ−ｂ）² −ｃ² ］² …（１１） ＥＲは各観測点と、ａ、ｂ、ｃで決定される円の法線方
向の距離（誤差）の２乗和であり、これを最小する。

【０１７３】ＥＲをａ、ｂ、ｃで各々偏微分し、０とお
く。

【０１７４】

【外１】 但し、ｉ＝１〜ｎとする。

【０１７５】式（１４）より、

【０１７６】

【外２】

【０１７７】式（１５）を式（１３）、（１４）へ代入
し、ここで、 Ｘ１＝Σｘｉ、Ｘ２＝Σｘｉ² 、Ｘ３＝Σｘｉ³ …（１
６）〜（１８） Ｙ１＝Σｙｉ、Ｙ２＝Σｙｉ² 、Ｙ３＝Σｙｉ³ …（１
９）〜（２１） Ｚ１＝Σｘｉｙｉ、Ｚ２＝Σｘｉ² ｙｉ、Ｚ３＝Σｘｉ
ｙｉ² …（２２）〜（２４） とおき、さらに、 Ｖ１＝Ｘ２−Ｘ１² ／ｎ…（２５） Ｖ２＝Ｙ２−Ｙ１² ／ｎ…（２６） Ｗ１＝Ｘ３＋Ｚ３…（２７） Ｗ２＝Ｙ３＋Ｚ３…（２８） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ…（２９） Ｗ４＝Ｚ１−Ｘ１Ｙ１／ｎ…（３０） Ｗ５＝（Ｚ１−２・Ｘ１Ｙ１／ｎ）Ｚ１…（３１） Ｗ６＝Ｘ１Ｙ２…（３２） Ｗ７＝Ｘ２Ｙ１…（３３） とおいて整理すると、円の中心座標ａ、ｂは

【０１７８】

【外３】 で計算される。

【０１７９】また、視線（注視点）の計算には直接関係
はないが、半径ｃは、 ｃ＝［Ｗ３−２（ａＸ１＋ｂＹ１）／ｎ＋ａ² ＋ｂ² ］^1/2 …（３６） で計算される。

【０１８０】本発明の実施例では、さらに誤差量ＥＲを
瞳孔中心検出の信頼性判定に用いており、ＥＲは次の計
算式で与えられる。

【０１８１】 ＥＲ＝Ｘ４−４ａＸ３＋２（２ａ² ＋ｄ）Ｘ２−４ａｄＸ１＋Ｙ４−４ｂＹ３ ＋２（２ｂ² ＋ｄ）Ｙ２−４ｂｄＹ１＋２（Ｚ４−２ａＺ３−２ｂＺ２＋４ａｂ Ｚ１）＋ｄ² ｎ…（３７） 但し、Ｘ４＝Σｘｉ⁴ …（３８） Ｙ４＝Σｙｉ⁴ …（３９） Ｚ４＝Σｘｉ² ｙｉ² …（４０） ｄ＝ａ² ＋ｂ² −ｃ² …（４１） としている。

【０１８２】さて、以上のような数値計算の裏付けに従
って、図２２〜図２４のフローチャートの説明を行う。

【０１８３】サブルーチン「瞳孔中心の検出」がコール
されると、ステップ（＃５００）を経て、ステップ（＃
５０１）の「円の最小２乗推定」サブルーチンをコール
する。

【０１８４】「円の最小２乗推定」は上記式に従って、
瞳孔円の中心座標（ａ、ｂ）と誤差量ＥＲを計算するサ
ブルーチンであり、そのフローチャートを図２３に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、Ｐ像による偽の瞳孔エッジの排除を行っている。

【０１８５】サブルーチン「円の最小２乗推定」がコー
ルされると、ステップ（＃６００）を経て、ステップ
（＃６０１）へ移行する。

【０１８６】ステップ（＃６０１）では上述した最小２
乗推定式のワーク変数の初期化を行っている。

【０１８７】次のステップ（＃６０２）は変数Ｌをルー
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小２乗法の計算の前半を行う部分であ
る。

【０１８８】いま、瞳孔エッジ点として、（ＥＤＧＣＮ
Ｔ−１）個の情報が配列変数ＥＤＧＤＴに記憶されてい
る。ループ変数Ｌは記憶された順番を表している。

【０１８９】ループ処理内の最初のステップ（＃６０
３）では、Ｌ番目のエッジ点の輝度値ＥＤＧＤＴ（Ｌ、
１）と（ＥＹＥＭＩＮ＋Ｃ４）を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Ｌの処理を終了す
る。

【０１９０】本実施例では、エリアセンサの光電変換信
号を読み込みながら、逐次的な処理を行っているため、
エッジ点検出の部分で使用している最低輝度値も、その
時点までの最低輝度値に過ぎない。故に、エッジ点とし
て検出された点も、実は本当の最低輝度値で判定された
ものではなく、実際にはエッジ点としてふさわしくない
点も含まれている可能性がある。そこで、このステップ
の目的は、最終的に決定された最低輝度値に基づいて、
もう一度最低輝度の判定にかけ、瞳孔エッジとしてふさ
わしくない点を排除しようとするものである。

【０１９１】ステップ（＃６０３）にて、輝度値が小さ
いと判断された場合は、ステップ（＃６０４）へ移行
し、横方向（Ｘ軸）座標と縦方向（Ｙ軸）座標をそれぞ
れ変数Ｘ、Ｙに一時的に格納する。

【０１９２】次のステップ（＃６０５）では、Ｌ番目の
エッジ点の横方向座標Ｘが、横方向の範囲ＩＳ１〜ＩＳ
２に適合しているか否かを判定する。ＩＳ１、ＩＳ２は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Ｌの
処理を終了する。

【０１９３】その次のステップ（＃６０６）は、今度は
縦方向について同様の判定を行っている。

【０１９４】Ｌ番目のエッジ点が瞳孔推定範囲に存在し
ていれば、ステップ（＃６０７）へ移行する。

【０１９５】ステップ（＃６０７）、（＃６０８）は、
Ｌ番目のエッジ点の座標がＰ像の近傍であるかどうかを
判断している。

【０１９６】ＸＰ１、ＸＰ２、ＹＰ１、ＹＰ２はサブル
ーチン「Ｐ像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲ＸＰ１〜ＸＰ２、縦方向の範囲Ｙ
Ｐ１〜ＹＰ２に入っている場合には分岐し、現在のルー
プ変数Ｌの処理を終了するようにしている。これは、本
実施例の光学系では、２個のＰ像が瞳孔円内の上部に存
在するようになっているため、スポット像的な形状をし
ているＰ像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを非除するためである。

【０１９７】以上のステップ（＃６０３）〜（＃６０
８）の判定をパスしたエッジ点の座標情報が、ステップ
（＃６０９）における最小２乗法の計算に供される。

【０１９８】ステップ（＃６０９）の計算は前述の式
（１６）〜（２４）、（３８）〜（４０）を実行し、さ
らに、計算に用いたエッジ点の個数Ｎをカウントアップ
する。

【０１９９】ステップ（＃６０２）のループ処理にて、
記憶していたエッジ点（ＥＤＧＣＮＴ−１）個の処理が
総て終了すると、ステップ（＃６１０）へ移行する。

【０２００】ステップ（＃６１０）では、式（２５）〜
（３５）、（３７）〜（４１）を計算し、瞳孔円の中心
座標（ａ、ｂ）と誤算量ＥＲを求める。

【０２０１】そして、次のステップ（＃６１１）へ移行
し、サブルーチン「円の最小２乗推定」をリターンす
る。

【０２０２】図２２に戻って、ステップ（＃５０１）の
サブルーチン「円の最小２乗推定」を完了すると、次の
ステップ（＃５０２）へ移行する。

【０２０３】ステップ（＃５０２）では、円の推定に用
いたデータの個数Ｎをしきい値ＮＴＨＲと比較し、Ｎ＜
ＮＴＨＲならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ（＃５１２）へ分岐し、検出
失敗であるとする。

【０２０４】ＮＴＨＲとしては、例えば、ＮＴＨＲ＝３
０である。

【０２０５】ステップ（＃５０２）にて、Ｎ≧ＮＴＨＲ
ならば、次のステップ（＃５０３）にて、誤差量ＥＲと
しきい値ＥＲＴＨＲを比較する。

【０２０６】ＥＲ＜ＥＲＴＨＲならば、誤差が小さく、
検出結果が充分信頼できるものと見なして、ステップ
（＃５１４）へ分岐し、検出成功であるとする。

【０２０７】しきい値ＥＲＴＨＲとしては、例えば、Ｅ
ＲＴＨＲ＝１００００である。

【０２０８】ステップ（＃５０３）において、ＥＲ≧Ｅ
ＲＴＨＲならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ（＃５０４）以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
る。

【０２０９】ステップ（＃５０４）ではサブルーチン
「円の最小２乗推定 再計算１」をコールする。

【０２１０】「円の最小２乗推定 再計算１」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向上部に在るエッジ点（全体の５分の１）を除外し
て、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図２４に示す。

【０２１１】サブルーチン「円の最小２乗推定 再計算
１」がコールされると、ステップ（＃７００）を経て、
次のステップ（＃７０１）にて図中のように変数の格納
を行う。

【０２１２】変数ＸＳ１〜ＺＳ４は、ステップ（＃５０
１）で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Ｎの５分の１として変数Ｍに
記憶しておく。

【０２１３】次のステップ（＃７０２）ではステップ
（＃６０１）と同様に計算のワークを初期化し、ステッ
プ（＃７０３）へ移行する。

【０２１４】ステップ（＃７０３）はステップ（＃６０
２）と同様のループ処理であり、このループ内で除外す
るエッジ点の最小２乗法の計算を行う。

【０２１５】本発明の実施例では、エリアセンサを縦方
向上部から読み込む構成にしているから、エッジ情報を
記憶している配列変数ＥＤＧＤＴ（ｍ、ｋ）には、縦方
向の上部のエッジから順に格納されている。従って、Ｅ
ＤＧＤＴ（ｍ、ｋ）のｍを０からアップカウントしてい
けば、縦方向上のエッジ点から取り出せることになる。

【０２１６】さて、ステップ（＃７０３）のループ内の
最初のステップ（＃７０４）ではエッジ点（Ｘ、Ｙ）が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ（＃６０３）〜（＃６０８）と全く同様であ
る。

【０２１７】瞳孔エッジ点として有効と見なされた場合
にはステップ（＃７０５）へ移行し、これもまたステッ
プ（＃６０９）と同じ計算を実行する。

【０２１８】そして、次のステップ（＃７０６）にて、
新たに計算したエッジ点の個数Ｎと除外すべきエッジ点
の個数Ｍを比較し、Ｍ個の計算が終了すれば分岐し、外
側のステップ（＃７０３）のループ処理を中止する。Ｍ
個に達していない場合は、ループ変数Ｌをカウントアッ
プし、再びステップ（＃７０４）移行の処理を続行す
る。

【０２１９】Ｍ個の計算が終了するとステップ（＃７０
８）へ分岐し、瞳孔円の中心（ａ、ｂ）および誤差量Ｅ
Ｒ′を再計算する。再計算の式は次のようになる。

【０２２０】Ｘ１＝Ｘ１Ｓ−Ｘ１…（１６′） Ｘ２＝Ｘ２Ｓ−Ｘ２…（１７′） Ｘ３＝Ｘ３Ｓ−Ｘ３…（１８′） Ｙ１＝Ｙ１Ｓ−Ｙ１…（１９′） Ｙ２＝Ｙ２Ｓ−Ｙ２…（２０′） Ｙ３＝Ｙ３Ｓ−Ｙ３…（２１′） Ｚ１＝Ｚ１Ｓ−Ｚ１…（２２′） Ｚ２＝Ｚ２Ｓ−Ｚ２…（２３′） Ｚ３＝Ｚ３Ｓ−Ｚ３…（２４′） Ｘ４＝Ｘ４Ｓ−Ｘ４…（３８′） Ｙ４＝Ｙ４Ｓ−Ｙ４…（３９′） Ｚ４＝Ｚ４Ｓ−Ｚ４…（４０′）

【０２２１】そして、式（２５）〜（３５）、（３７）
〜（４１）を計算し直せば、新たな瞳孔中心（ａ、ｂ）
と誤差量ＥＲ′を得ることが出来る。式（１６）〜（４
０）はもともと逐次形式になっているため、再び全デー
タを計算し直す必要はなく、除外したいデータの加算
（あるいは累乗加算）を計算して、元の値から減算すれ
ば済む。

【０２２２】再計算が終った後は、ステップ（＃７０
９）へ移行し、サブルーチン「円の最小２乗推定 再計
算１」をリターンする。

【０２２３】図２２に戻って、ステップ（＃５０４）を
完了すると、ステップ（＃５０５）へ移行し、再計算し
た誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。Ｅ
Ｒ′が小さい場合は、除外操作が効を奏したものとし
て、ステップ（＃５１４）へ分岐し、検出成功とする。

【０２２４】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０６）へ移行し、別のサブルーチン「円の最
小２乗推定 再計算２」をコールする。

【０２２５】「円の最小２乗推定 再計算２」は、最小
２乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部に在るエッジ点（全体の５分の１）を除外し
て、再び最小２乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図２４（Ｂ）に示す。

【０２２６】「再計算２」は「再計算１」とほとんど同
様であるが、「再計算１」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ（＃７１
２）においてループ変数Ｌを（ＥＤＧＣＮＴ−１）から
ダウンカウントさせている。その他は「再計算１」と全
く同様であるため、説明を省略する。

【０２２７】再び図２２に戻って説明を続ける。

【０２２８】ステップ（＃５０６）のサブルーチン「円
の最小２乗推定 再計算２」を完了すると、ステップ
（＃５０７）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＹＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１
４）へ分岐し、検出成功と見なす。

【０２２９】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５０８）へ移行し、さらに別のサブルーチン
「円の最小２乗推定 再計算３」をコールする。

【０２３０】「円の最小２乗推定 再計算３」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサの横方向左部に在るエッジ点（全体の５分の１）
を除外して、再び最小２乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図２４（Ｃ）に示す。

【０２３１】サブルーチン「再計算３」がコールされる
と、ステップ（＃７２０）を経て、ステップ（＃７２
１）にて、エッジ情報を記憶している配列変数ＥＤＧＤ
Ｔ（ｍ、ｋ）の並べ換えを行う。

【０２３２】先にも説明したように、ＥＤＧＤＴ（ｍ、
ｋ）にはエリアセンサの縦方向のエッジ点から順に格納
されているため、横方向に注目して処理を行うために
は、ＥＤＧＤＴに格納されているデータの並べ換えが必
要である。

【０２３３】ＥＤＧＤＴ（ｍ、２）にはエッジ点の横方
向（Ｘ軸座標）の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、ＥＤＧＤＴに
は横方向の左からの順となったエッジ情報が再格納が可
能である。

【０２３４】並べ換えを実行すると、ステップ（＃７０
２）へ分岐し、後は「再計算１」と全く同様の処理を行
えば、エリアセンサの横方向左右のエッジ点を除外した
再計算ができる。

【０２３５】再び、図２２に戻って、ステップ（＃５０
８）のサブルーチン「円の最小２乗推定 再計算３」を
完了すると、ステップ（＃５０９）へ移行し、再計算し
た誤差量ＥＲ′としきい値ＥＲＴＨＲを比較する。Ｅ
Ｒ′が小さい場合は、除外操作が有効であったものとし
て、ステップ（＃５１４）へ分岐し、検出成功と見な
す。

【０２３６】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１０）へ移行し、さらに別のサブルーチン
「円の最小２乗推定 再計算４」をコールする。

【０２３７】「円の最小２乗推定 再計算４」では、今
度は最小２乗推定の計算に用いたエッジ点の内、エリア
センサの横方向右部に在るエッジ点（全体の５分の１）
を除外して、再び最小２乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図２４（Ｄ）に示す。

【０２３８】いま配列変数ＥＤＧＤＴ（ｍ、ｋ）には、
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、ＥＤＧＤＴ
（ｍ、ｋ）を「再計算２」と同じように取り扱えば良
い。そこで、サブルーチン「再計算４」をコールされれ
ば直ちにステップ（＃７１１）へ分岐して、「再計算
２」と同様の処理を行うようにしている。

【０２３９】再び、図２２に戻って説明を続ける。

【０２４０】ステップ（＃５１０）のサブルーチン「円
の最小２乗推定 再計算４」を完了すると、ステップ
（＃５１１）へ移行し、再計算した誤差量ＥＲ′としき
い値ＥＲＴＨＲを比較する。ＥＲ′が小さい場合は、除
外操作が有効であったものとして、ステップ（＃５１
４）へ分岐し、検出成功と見なす。

【０２４１】未だ誤差量ＥＲ′が大きい場合には、ステ
ップ（＃５１２）へ移行し、上述の操作が有効に働かな
かったものとして、ステップ（＃５１２）へ移行し、検
出失敗とする。

【０２４２】ステップ（＃５１２）あるいは（＃５１
４）で瞳孔中心の検出が最終判断されると、ステップ
（＃５１３）あるいは（＃５１５）でサブルーチン「瞳
孔中心の検出」をリターンする。

【０２４３】図８の説明に戻る。

【０２４４】ステップ（＃０１６）での「瞳孔中心の検
出」が完了すると、ステップ（＃０１７）へ移行し、サ
ブルーチン「視線の検出」をコールする。

【０２４５】「視線の検出」は、これまでの処理で検出
したＰ像位置および瞳孔円の中心位置から、視線（注視
点）を検出するサブルーチンである。

【０２４６】基本的には、前述した公知例と同様に、式
（２）に従って、眼球光軸の回転角θを計算すれば良
い。

【０２４７】本発明の実施例では、瞳孔中心を横方向
（Ｘ軸）、縦方向（Ｙ軸）の２次元で検出しているの
で、公知例のように横方向のみではなく、縦方向の視線
の方向も横方向の検出と同様な考え方で、検出すること
ができる。

【０２４８】視線の検出が完了すると、ステップ（＃０
１８）へ移行し、一連の処理を終了する。

【０２４９】本第一実施例では、水平ラインのピーク値
と垂直ラインのピーク値を本読み出しに先立って読み出
し、Ｐ像のおおかたの位置を検出することができたた
め、本読み出しでの処理を限定エリアで行うことで大幅
に時間を短縮できる。また、ピーク値から全画素の最大
値（ＥＹＥＭＡＸ）が求められるので、これにより、Ｐ
像と瞳孔エッジの検出の信頼性を大きく増すことができ
た。

【０２５０】以上の実施例では、図８のステップ（＃０
０８）で水平ラインピーク値の極大ポイントのｙ座標ｙ
₁ 、ｙ₂ 、垂直ラインピーク値の極大ポイントのｘ座標
ｘ₁、ｘ₂ から、図１１に示す通り、瞳孔円が必ず限定
エリア内にはいる様に、一律の値δ_a1、δ_b1、δ_b2を使
って限定エリアを決めている。

【０２５１】しかしながら、観察者眼がファインダー系
より相対的に遠くなると、ＩＭＡＧＥ−ＥｙＥの眼球像
は、相対的に小さくなる。それを表したのが図１２であ
る。そうすると２つのＰ像の相対的距離も小さくなり、
Ｖ−Ｌｉｎｅピーク値の極大ｘ座標ｘ₁ 、ｘ₂ の相対差
は小さく、Ｈ−Ｌｉｎｅピーク値の極大ｙ座標は２つ見
えず、１つになるケースも考えられる。このようなと
き、瞳孔円の大きさも必ず相対的に小さくなるため、限
定エリアを決める定数も変えることが望ましい。例えば
ｙ座標の限定範囲は、（ｙ₁ −δ_d1）〜（ｙ₁ ＋
δ_d2）、ｘ座標の限定範囲（ｘ₁ −δ_c ）〜（ｘ₂ ＋δ
_c ）とし、δ_d1＝ｆ_d1（ｘ₂ −ｘ₁ ）、δ_d2＝ｆ_d2（ｘ
₂ −ｘ₁ ）、δ_c ＝ｆ_c （ｘ₂ −ｘ₁ ）というふうに、
δの値を（ｘ₂ −ｘ₁ ）を変数とする関数で求めてい
る。

【０２５２】この実施例により、観察者眼１５がファイ
ンダーより相対的に遠いときは、限定エリアがせまくな
るので、視線検出の時間がより短縮することができる。

【０２５３】また、実施例１は、カメラを横位置に構え
た場合の例であるので、カメラを縦位置に構えた場合の
例を図１３、図１４を使って示す。

【０２５４】この時は図８のステップ（＃００８）のと
ころで

【０２５５】

【外４】 と書き換えることが対応できる。δ_f 、δ_e1、δ_e2はそ
れぞれ縦位置用の定数で、実施例１と同様に、瞳孔円が
必ず限定エリア内にはいる様に設定されている。

【０２５６】図１５と図１６は縦位置の方向の違いであ
り、Ｐ像が瞳孔円の左右どちら側に出来るかの違いであ
る。カメラは図２の姿勢検知スイッチＳＷ−ＨＶ１とＳ
Ｗ−ＨＶ２の２つのスイッチにより、検知し分けてい
る。

【０２５７】以上の実施例では、水平、垂直ラインのう
ちＰ像であろう位置、即ち最高輝度値を示す位置を中心
として信号処理するエリアを決定した。次に低輝度値を
示すブロック信号を使い、エリアを設定する実施例を説
明する。これは瞳孔中心部はもっとも低輝度値を示すと
いう観点にもとづいている。

【０２５８】図９は、この立場から実施例１の図８のフ
ローの（＃００６〜＃００８）を置き換えたフローチャ
ートである。

【０２５９】ステップ（＃００５）の次にステップ（＃
８０６）に進み図３、図４で説明したように各ブロック
の読み出しを行う。

【０２６０】ステップ（＃８０７）で視線検出処理に先
立つ各ブロック信号から、最低の値（ＥＹＥＭＩＮ）と
その座標（ｘ₁ 、ｙ₁ ）を求める。

【０２６１】ステップ（＃８０８）では、図１５に示す
通り、制限領域（限定検出エリア）を決定し

【０２６２】

【外５】 とする。

【０２６３】δ_g は、やはり限定エリア内に瞳孔エッジ
が必ずはいる様に設定された値である。

【０２６４】その他の処理は、実施例１とほぼ同じであ
るが、ＥＹＥＭＩＮが本読み出しの前にあらかじめわか
っているため、図１８でのステップ（＃１０８〜＃１０
９）の最低輝度値（ＥＹＥＭＩＮ）を求めるルーチン
と、図２３でのステップ（＃６０３）のエッジ候補の見
直しが必要でなくなる。

【０２６５】逆に、今度は最大輝度値（ＥＹＥＭＡＸ）
があらかじめわからないので、図１９におけるステップ
（＃２０２）でのＰ像条件を判別する定数Ｃ₁ 、Ｃ₂ は
ＥＹＥＭＡＸから求めるのではなく、常に一律の定数と
なってしまう。また図２０におけるステップ（＃３０
３）と（＃３０４）でのエッジ条件を判別する定数Ｃ₄
を求めるにもＥＹＥＭＡＸは使えない。

【０２６６】よって、Ｐ像と瞳孔エッジの抽出での信頼
性が若干落ちる可能性があるので定数Ｃ₁ 、Ｃ₂ および
Ｃ₄ は例えば、 Ｃ₁ ＝２３０、Ｃ₂ ＝２００、Ｃ₄ ＝２０とする。

【０２６７】図１５にこの実施例４での眼球像を最低輝
度ブロックとの関係を模式的に表した。図から明らかな
通り最低輝度値を示すブロックを実際の視線検出を行う
処理に先立って選び出しこの位置から瞳孔が入るであろ
うエリアを設定し、この設定されたエリアで実際の視線
検出処理を行うのである。

【０２６８】次の実施例では、最低輝度値（ＥＹＥＭＩ
Ｎ）より所定の値だけ大きい値（ＥＹＥＬｏｗ）を使っ
た、限定エリアの決め方を説明する（図１６）。

【０２６９】（ＥＹＥＬｏｗ）←（ＥＹＥＭＩＮ）＋Ｃ
₆ とし、Ｃ₆ を例えばＣ₆ ＝１５とすると、ブロック信
号のうち、（ＥＹＥＬｏｗ）以下のものは、全て瞳孔内
の画素のものとして扱うことができる。ここで、ＥＹＥ
Ｌｏｗ以下のブロック信号が存在する限界座標をｘ軸、
ｙ軸ともに求めると、ｘ軸がｘ₂ 〜ｘ₃ 、ｙ軸がｙ₂〜
ｙ₃ の間にあるものとする。

【０２７０】ここで、ステップ（＃８０８）において、

【０２７１】

【外６】 とすることで先の実施例と同様な効果を得ることができ
る。

【０２７２】最後に図１０において、前述したＨ−Ｖ−
Ｌｉｎｅのピーク値と低輝度情報を示すブロック信号の
双方の利点を生かした実施例の実施例１の図８と異なる
点だけを抜き出したフローである。

【０２７３】ステップ（＃００６）の次に、図９で示し
たものと同じステップ（＃８０６）の各ブロック読み出
しとステップ（＃８０７）の最低輝度位置検出を実行す
る。但し、最低輝度ブロックの座標は（ｘ₃ 、ｙ₃ ）と
している。

【０２７４】そして、ステップ（＃９０８）の領域制限
では、

【０２７５】

【外７】 としている。これは、実施例１と最低輝度値を示すブロ
ック信号を扱う実施例でのエリア制限が全ての場合にあ
てはまるように領域を大きめに設定しているのに対し、
よりせまい範囲にエリアを限定してしまおうというもの
である。図１７にその様子を模式的に表している。この
方式では、特に、２つのＰ像が瞳孔円に対して左右どち
らかに片寄っている場合に有効で、限定範囲はそれぞ
れ、

【０２７６】

【外８】 に決定されている。

【０２７７】この方式により、さらに視線検出の時間が
短縮され、また、ＥＹＥＭＡＸ、ＥＹＥＭＩＮの値があ
らかじめわかっているため、それによる時間短縮と信頼
性の向上もなすことができる。

【０２７８】

【発明の効果】以上説明したように、イメージセンサよ
り信号を読み出す前に、ブロック信号を読み出せるよう
にして、このブロック信号を基にあらかじめ瞳孔像の位
置のおおよその見当をつけ、限定されたエリアのみの信
号を読み出し処理することによって、視線検出時間を大
幅に短縮し、また信頼性の高い視線検出装置を実現する
ことができる。

【図面の簡単な説明】

【図１】本発明に関する視点検出装置を一眼レフレック
スカメラに適用した状態の断面図。

【図２】図１におけるカメラの電気回路ブロック図。

【図３】本発明に関するエリアセンサを（４×４）ピク
セルの状態として扱った時の回路図。

【図４】本発明に関するエリアセンサの動作説明を行う
ためのシーケンス。

【図５】エリアセンサ上の眼球像の様子を示す図。

【図６】視線検出の原理説明図。

【図７】瞳孔円検出の説明図。

【図８】本発明に関し視線検出するためのフローチャー
ト。

【図９】本発明に関し視線検出するためのフローチャー
ト。

【図１０】本発明に関し視線検出するためのフローチャ
ート。

【図１１】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１２】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１３】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１４】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１５】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１６】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１７】本発明に関しエリアセンサ内の領域（限定検
出エリア）を設定するための説明図。

【図１８】本発明に関し視線検出するためのフローチャ
ート図で、特に１ラインの読み込み動作を示す。

【図１９】本発明に関し視線検出するためのフローチャ
ート図で、特にＰ像検出動作を示す図。

【図２０】本発明に関し視線検出するためのフローチャ
ート図で、特に瞳孔エッジ検出動作を示す図。

【図２１】本発明に関し視線検出するためのフローチャ
ート図で、特に瞳孔推定範囲を示す図。

【図２２】本発明に関し視線検出するためのフローチャ
ート図で、特に瞳孔円の検出動作を示す図。

【図２３】検出された瞳孔エッジの複数のポイントから
瞳孔円を算出するに適切なポイントを選択するフローチ
ャート図。

【図２４】瞳孔円を算出するにあたり、不適切と考えら
れる瞳孔エッジのポイントを排除するためのフローチャ
ート図。

【符号の説明】

１ 撮影レンズ ２ 主ミラー ６ 焦点検出装置 ６ｆ イメージセンサ ７ ピント板 １０ 測光センサ １１ 接眼レンズ １３ 赤外発光ダイオード（ＩＲＥＤ） １４ イメージセンサ（ＩＭＡＧＥ−ＥＹＥ） １５ 眼球 １６ 角膜 １７ 虹彩 ２１ スーパーインポーズ用ＬＥＤ ２４ ファインダー内ＬＣＤ ２５ 照明用ＬＥＤ ３１ 絞り ５０ 眼球の白目部分 ５１ 眼球の瞳孔部分 ５２ａ、ｂ Ｐ像 １００ ＣＰＵ １０１ 視線検出回路 １０３ 焦点検出回路 １０４ 信号入力回路 １０５ ＬＣＤ駆動回路 １０６ ＬＥＤ駆動回路 １０７ ＩＲＥＤ駆動回路 １１０ 焦点調節回路

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/00 - 3/16 G02B 7/28 G03B 13/02 G03B 13/36

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 ファインダーより覗いた観察者の眼球を
   照明する照明手段と、照明された観察者の眼球像を受光
   する複数の光電変換素子より成るエリアセンサと、該エ
   リアセンサの領域を複数のブロック領域に分割し、その
   ブロック領域内の光電変換信号に関するブロック信号を
   求め、この各ブロック信号を基に前記エリアセンサ内の
   領域を制限する制限領域設定手段とを備え、該制限領域
   内のみにおいて光電変換素子毎の信号出力をＡ／Ｄ変換
   して観察者の視線を検出するようにしたことを特徴とす
   る視線検出装置。
2. 【請求項２】 前記制限領域設定手段は、エリアセンサ
   上における観察者の瞳孔像の位置を推定する手段である
   ことを特徴とする請求項１記載の視線検出装置。