JP3178747B2 - 視線検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラ等に用い
られる視線検出装置の改良に関するものである。

【０００２】

【従来の技術】従来のプルキンエ像（角膜反射像）の位
置算出方法としては、特開昭６１−１７２５５２号など
に開示されている。図９はこの特開昭６１−１７２５５
２号に記載された従来例を示すものである。

【０００３】不図示の発光素子がドライブ回路により交
流点灯されると、４分割素子または半導体位置検出素子
（ＰＳＤ）３１と回路４０により、プルキンエ効果の像
の位置が測定され、図示しないＡ／Ｄ変換器によりディ
ジタル化されて制御回路に入力される。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来装置においては、以下の様な問題点を有していた。

【０００５】つまり、従来においては、プルキンエ像の
重心を、二次元半導体素子（二次元ＰＳＤ）に結像した
光像の重心をディジタル回路で演算することによって求
めている。そのため、観察者の涙や該観察者が使用して
いる眼鏡のゴースト等の、プルキンエ像と類似した信号
が存在する場合や、外光等により極端に輝度の高い光像
が存在する場合には、その悪影響を受け、正しくプルキ
ンエ像の位置を求めることが困難であった。

【０００６】（発明の目的）本発明の目的は、外光等に
よる極端な輝度の光像の影響を排除し、正確にプルキン
エ像を抽出することのできる視線検出装置を提供するこ
とである。

【０００７】

【課題を解決するための手段】 上記目的を達成するた
めに、請求項１に記載した発明は、眼球を照明する照明
手段と、前記照明手段に照明される前記眼球を撮像する
撮像センサと、前記撮像センサが撮像した眼球画像に含
まれる像のうち輝度信号の強度が一定値以上であり、か
つ輝度信号の立上がりまたは立下がりの傾斜が一定値以
上である像をプルキンエ像候補として記憶する記憶手段
と、前記記憶手段に記憶される前記プルキンエ像候補の
中から所定の条件を満たすものをプルキンエ像として選
出する選出手段と、前記選出手段により選出されたプル
キンエ像に基づいて視線を検出する視線検出手段とを有
することを特徴としている。

【０００８】 同じく上記目的を達成するために、請求
項２に記載した発明は、請求項１に記載した発明におい
て、前記記憶手段は前記プルキンエ像候補の位置に関す
る情報を記憶することを特徴としている。

【０００９】 同じく上記目的を達成するために、請求
項３に記載した発明は、請求項１または２に記載した発
明において、前記撮像センサは前記眼球を二次元で撮像
する二次元撮像センサであることを特徴としている。

【００１０】 同じく上記目的を達成するために、請求
項４に記載した発明は、請求項１ないし３の何れかに記
載した発明において、前記選出手段は、前記プルキンエ
像候補のサイズを測り、所定の値よりも小さいものをプ
ルキンエ像として選出することを特徴としている。

【００１１】 同じく上記目的を達成するために、請求
項５に記載した発明は、請求項１ないし４の何れかに記
載した発明において、前記照明手段は、複数の光源によ
り前記眼球を照明するとともに、前記選出手段は、前記
プルキンエ像候補の中からプルキンエ像として前記照明
光源の数と同数選出することを特徴としている。

【００１２】 同じく上記目的を達成するために、請求
項６に記載した発明は、請求項１ないし５の何れかに記
載した発明において、前記撮像センサが撮像した眼球画
像から瞳孔の中心位置に関する情報を検出する瞳孔位置
検出手段を有し、前記選出手段は、前記プルキンエ像候
補の中から前記瞳孔の中心位置と前記プルキンエ像候補
の中心位置との距離が最小となるものをプルキンエ像と
して選出することを特徴としている。 同じく上記目的を
達成するために、請求項７に記載した発明は、請求項６
に記載した発明において、前記視線検出手段は、前記瞳
孔位置検出手段より検出した瞳孔の中心位置と前記選出
手段により選出されたプルキンエ像とに基づいて視線を
検出することを特徴としている。

【００１３】

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。

【００１４】図１は本発明の第１の実施例における視線
検出装置を備えたカメラの概略構成を示すブロック図で
ある。

【００１５】図１において、１はＭＰＵ（マイクロプロ
セッシングユニット）、２はメモリ、３は後述のＣＣＤ
及びＩＲＥＤ（赤外発光ダイオード）を駆動する為のド
ライバ回路、４は二次元撮像素子であるところのＣＣ
Ｄ、５は観察者の眼球に対して不感の赤外光を投射する
複数のＩＲＥＤから構成されるＩＲＥＤ群であり、水平
・垂直方向に所定間隔をもってペアとなって配置されて
いる。６はＡＦ（オートフォーカス）を行うためのレン
ズ駆動ユニット、７は絞り駆動ユニット、８はシャッタ
ユニットである。

【００１６】図２は上記構成から成る視線検出装置を備
えたカメラのメイン動作を示すフローチャートである。

【００１７】カメラの不図示のレリーズ釦の第１ストロ
ーク操作に連動するスイッチＳＷ１のＯＮなどにより視
線検出の要求がなされると、ＭＰＵ１はステップ１０２
からの視線検出のルーチンに入る。

【００１８】ステップ１０２においては、演算に使用す
る変数の初期化処理を行い、次のステップ１０３におい
て、蓄積時間の設定を行う（ステップ１０３）。これは
眼鏡の有無・外光の強度等を考慮して行い、同時にＩＲ
ＥＤ群５内より点灯させるべくＩＲＥＤペアの選択も行
う。そして、ステップ１０４以降の蓄積制御動作へと移
る。

【００１９】まず、ステップ１０４においては、ＣＣＤ
４の電荷クリア動作を行うための指示をドライバ回路３
に対して行う。この指示を受けたドライバ回路３はクリ
ア動作を行い、ＣＣＤ４のメモリゾーン、電荷転送ライ
ン等に残っている電荷を消去する。次いで、ステップ１
０５において、上記ステップ１０３において選択したＩ
ＲＥＤペアを点灯させるためにＩＲＥＤ選択信号をドラ
イバ回路３に送信すると同時に、蓄積信号をハイレベル
にしてＣＣＤ４による蓄積を開始し、上記の設定した蓄
積時間が経過したら蓄積信号をローレベルにし、蓄積を
終了する。この蓄積に同期して選択されたＩＲＥＤペア
は点灯することになる。

【００２０】次いで、ＭＰＵ１は光像ブロック（プルキ
ンエ像候補），瞳孔エッジ候補抽出の処理を行うステッ
プ１０６以降の動作へと移る。

【００２１】まず、ステップ１０６においては、ドライ
バ回路３を介してＣＣＤ４の１ライン分の画像信号を順
次読み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記
憶していく。そして、次のステップ１０７において、こ
のデータを使って光像ブロック（プルキンエ像候補）並
びに瞳孔エッジ候補の抽出処理を行っていく。この処理
はＣＣＤ４のライン数分だけ行う。

【００２２】ここで、上記ステップ１０７において行わ
れる「光像ブロック（プルキンエ像候補）抽出」に関し
て、図３のフローチャートを用いて説明する。

【００２３】ＭＰＵ１は、ステップ２０１において、１
ライン分のデータを読み込む。そして、次のステップ２
０２及び２０３において、まず、ある一定値以上の輝度
をもつ光像ブロックを抽出する。そして、光像ブロック
の立上り、立下り条件を満たすか否かの判別を行う。す
なわち、ある一定値以上の輝度を持ち、その両端の傾斜
がある程度急峻か否かを判別する。なお、光像ブロック
幅、例えばある一定値以上の輝度である画素数が一定値
以上のもののみを有効とみなしてもよい。

【００２４】今、あるラインのｉ番目の画素の輝度をｄ
［ｉ］とした時、次に示す条件 （１）ｄ［ｉ］≧Ｃonst１ ＡＮＤ ｄ［ｉ］−ｄ［ｉ−ａ］≧Ｃonst２ （２）ｄ［ｊ］≧Ｃonst１ ＡＮＤ ｄ［ｊ］−ｄ［ｊ−ａ］≧Ｃonst２ 但し、Ｃonst１，Ｃonst２，ａは定数、ｊはｉ＋１以上
の変数 を満たした場合、これを光像ブロック（プルキンエ像候
補）と認識し、ステップ２０４において、ｉを立上り点
座標、ｊを立下り点座標として記憶する。

【００２５】この抽出演算は左方（画素番号の小さい
方）から順次行った場合、立上り点座標ｉは初めに上記
（１）の条件を満たした点を採用するが、立下り点座標
ｊは上記（２）の条件を満たす最後の点を採用する。ま
た、当然のことながら１ラインに複数の光像ブロックが
存在することが十分に考えられるので、この抽出演算処
理は、そのラインの有効とみなされる全ての画素につい
て行われる。

【００２６】そして、ステップ２０５において、それ以
前に光像ブロックが抽出されていると判別した場合は、
次のステップ２０６において、いま記憶した立上り点、
立下り点がその光像ブロックと同一か否かの判定を行
う。すなわち ［抽出済光像ブロックの右側境界≦現光像ブロックの右
端と左端の平均〔（ｉ＋ｊ）／２〕≦抽出済光像ブロッ
クの左側境界］ の条件を満たしたならば、同一の光像ブロックとみな
し、ステップ２０７へ移行し、このステップにおいて、
光像ブロック立上り点（光像ブロックの右側境界）、光
像ブロック立下り点（光像ブロックの左側境界）、並び
に、光像ブロックの下側境界（垂直方向の光像ブロック
幅）の値を更新する。ｎ番目の抽出済の光像ブロックの
上下左右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，Ｂｎ
ｘ１，Ｂｎｘ２とした時、 Ｂｎｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂｎｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｎｙ２＝Ｂｎｙ２＋１ と各境界の値を更新する。

【００２７】また、条件を満していなかった場合には、
新たな光像ブロックが生じたと判断してステップ２０８
へ移行し、このステップにおいて、光像ブロックの上下
左右の境界の座標を以下のように記憶する。

【００２８】 Ｂｎｘ１＝ｉ Ｂｎｘ２＝ｊ Ｂｎｙ１＝（読み出したラインのライン数） Ｂｎｙ２＝（読み出したラインのライン数） さらに、光像ブロックが枝わかれした場合や途中で二つ
の光像ブロックが合流した場合の対策として、光像ブロ
ックの複製、吸収の処理を行うことも考えられる。

【００２９】光像ブロックが枝わかれした場合には、光
像ブロックの複製を行う。

【００３０】例えば、図４（ａ）に示すように枝わかれ
している場合（光像ブロック参照）、図４（ｂ）に示
す二つの光像ブロック，を生成するため、これら光
像ブロックのの重なり部分を複製する。ラインＬ２にお
いて、二つの光像ブロックが抽出されるが、この二つの
光像ブロックはともにそれまでに抽出されている光像ブ
ロック（図４（ｂ）の，の重なり部分の光像ブロッ
ク）と同一のものとみなされる。よって、図４（ｂ）の
二つの光像ブロック，を生成するために、重なりの
部分を双方に加える形で処理を続ける。

【００３１】すなわち、初めから光像ブロック，が
存在したかのように処理を行い、ラインＬ２において
は、光像ブロックの立上り点（光像ブロックの右側境
界）、光像ブロックの立下り点（光像ブロックの左側境
界）、並びに、光像ブロックの下側境界（垂直方向の光
像ブロック幅）の値を次に様にして更新する。重なり部
分の上下左右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，
Ｂｎｘ１，Ｂｎｘ２とした時、 Ｂｎｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂｎｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｎｙ２＝Ｂｎｙ２＋１ と各境界の値を更新する。ラインＬ２以降においても同
様にして各境界の値を更新していく。

【００３２】以上の結果、図４（ｂ）の例においては、
光像ブロックにおいては左側及び下側の境界値が、光
像ブロックにおいては、右側及び下側の境界値が更新
されることになる。

【００３３】二つの光像ブロックが合流した場合には、
光像ブロックの吸収を行う。

【００３４】例えば、図５に示すように合流した場合に
は、ラインＬ２で抽出される光像ブロックはラインＬ
１まで抽出された二つの光像ブロック，を吸収する
形で一つの光像ブロックとして統合する。すなわち、ラ
インＬ２においては、光像ブロックの立上り点（光像ブ
ロックの右側境界）、光像ブロックの立下り点（光像ブ
ロックの左側境界）、並びに、光像ブロックの下側境界
（垂直方向の光像ブロック幅）の値を次のようにして更
新する。

【００３５】光像ブロックの上下左右の境界の座標を
各々Ｂａｙ１，Ｂａｙ２，Ｂａｘ１，Ｂａｘ２、光像ブ
ロックの上下左右の境界の座標を各々Ｂｂｙ１，Ｂｂ
ｙ２，Ｂｂｘ１，Ｂｂｘ２とした時、新たな光像ブロッ
クの上下左右の境界の座標Ｂｎｙ１，Ｂｎｙ２，Ｂｎｘ
１，Ｂｎｘ２は、 Ｂａｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂａｘ１≦ｉ なら Ｂｎｘ１＝Ｂａｘ１ Ｂｂｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｂｘ２≧ｊ なら Ｂｎｘ２＝Ｂｂｘ２ Ｂａｙ１＜Ｂｂｙ１ なら Ｂｎｘ２＝Ｂａｙ１ Ｂａｙ１≧Ｂｂｙ１ なら Ｂｎｘ２＝Ｂｂｙ１ Ｂｎｙ２＝Ｂａｙ２＋１＝Ｂｂｙ２＋１ と各境界の値を更新する。ラインＬ２以降においては、
吸収した光像ブロックについて、通常の光像ブロック抽
出処理と同様の処理を行い、光像ブロックの境界値を更
新していく。

【００３６】この複製、吸収の処理はどちらか一方のみ
を行ってもよいし、両方を行ってもよい。

【００３７】そして、ステップ２０９において１ライン
分の動作が終了した事を判別すると、ステップ２１０へ
進み、瞳孔エッジ抽出処理を行う。

【００３８】再び図２に戻り、ステップ１０８におい
て、全ラインについてこの処理が終了したことを判別す
ると、ステップ１０９へ移り、「プルキンエ像選択」の
処理を開始する。

【００３９】ここにおける一番目の処理では、各々の光
像ブロックの水平・垂直方向のブロック幅を調べ、その
幅がともに定数Ｃonst３以下のもののみ採用する。これ
以上ブロック幅が大きいものは、眼鏡のゴースト、外光
に照明された瞼等での反射などプルキンエ像以外の光像
である為、排除する。

【００４０】二番目の処理では、一番目の処理で採用し
た光像ブロックの垂直方向座標を調べる。もし、ある光
像ブロックとある光像ブロックが、垂直方向に重なって
いるか接している時は、この二つの光像ブロックの垂直
方向座標は略等しいと判断する。すなわち、ｎ番目の光
像ブロックの上下左右の境界位置を各々Ｂｎｙ１，Ｂｎ
ｙ２，Ｂｎｘ１，Ｂｎｘ２とした時、ｍ番目の光像ブロ
ックの上下左右の境界位置を各々Ｂｍｙ１，Ｂｍｙ２，
Ｂｍｘ１，Ｂｍｘ２とした時、 Ｂｎｙ１≦Ｂｍｙ２ かつ Ｂｎｙ２≧Ｂｍｙ１ の条件式が成り立った場合、二つの光像ブロックの垂直
方向座標は略等しいと判断する。次いで、この垂直方向
座標の略等しいものの無い光像ブロックを排除する。そ
の後、略等しいものの有る光像ブロックについて各々の
水平方向のブロック間隔Δｍｎを調べ、その値が所定範
囲内（Δ１≦Δｍｎ≦Δ２）のもののみを採用する（但
し、Δ１，Δ２は定数）。

【００４１】例えば、光像ブロックＢ１，Ｂ２，Ｂ３の
三つの垂直方向座標が略等しい場合、Ｂ１とＢ２の間隔
Δ１２，Ｂ２とＢ３の間隔Δ２３，Ｂ３とＢ１の間隔Δ
３１を求め、それが所定値内にあるか否かを調べ、その
結果、Δ１２，Δ２３が所定値内にあれば、プルキンエ
像候補ペアとして［Ｂ１，Ｂ２］［Ｂ２，Ｂ３］の組み
合わせを採用する。この時点でプルキンエ像候補ペアが
一つあれば（光像ブロックの数が二つであれば）、これ
をプルキンエ像として採用する。もしこの時点でプルキ
ンエ像が決定できない場合には次の処理を行う。

【００４２】三番目の処理では、プルキンエ像ペアの中
心座標とこれとは別個に求められる瞳孔中心の座標を比
較し、瞳孔中心の座標に最も近いもの、すなわちプルキ
ンエ像ペアの中心座標と瞳孔中心の座標の距離が最小と
なるものをプルキンエ像として選択する。なお、説明の
都合上、プルキンエ像選択の三つのステップをまとめて
記載したが、実際の処理においては以下のステップ１１
０において説明する瞳孔円演算の後にこの三番目の処理
は行われる。

【００４３】以上のようにして決定されたプルキンエ像
ペアＰ１，Ｐ２及びプルキンエ像Ｐｃの座標は Ｐ１ｘ＝（Ｂｎｘ１＋Ｂｎｘ２）／２ Ｐ１ｙ＝（Ｂｎｙ１＋Ｂｎｙ２）／２ Ｐ２ｘ＝（Ｂｍｘ１＋Ｂｍｘ２）／２ Ｐ２ｙ＝（Ｂｍｙ１＋Ｂｍｙ２）／２ Ｐｃｘ＝（Ｐ１ｘ＋Ｐ２ｘ）／２ Ｐｃｙ＝（Ｐ１ｙ＋Ｐ２ｙ）／２ のように計算する。但し、Ｐ１ｘ，Ｐ１ｙ，Ｐ２ｘ，Ｐ
２ｙ，Ｐｃｘ，Ｐｃｙはプルキンエ像ペアＰ１，Ｐ２及
びプルキンエ像Ｐｃの水平垂直座標である。また、ｎ番
目，ｍ番目の光像ブロックがプルキンエ像として選択し
たものとする。

【００４４】次に、ステップ１１０へ移り、瞳孔円の演
算を以下のようにして行う。

【００４５】前述の瞳孔エッジ抽出処理においてＭＰＵ
１は、抽出した瞳孔エッジの座標、そのラインＬの最低
輝度ＭＩＮ(L) 及び画像全体の最低輝度ＭＩＮ０をメモ
リ２に記憶している。

【００４６】そこで、まずＭＰＵ１は、瞳孔エッジが抽
出されているエリアの最低輝度（ＭＩＮ(L) ）と画像全
体の最低輝度（ＭＩＮ０＋定数）を比較し、 ＭＩＮ(L) ≦ＭＩＮ０＋定数 の条件を満たさない場合は、そのエリアに存在する瞳孔
エッジは不適切なものとしてこれを排除する。

【００４７】次いで、先のプルキンエ像選択の二番目ま
でのステップ１０９で求めたプルキンエ像（候補）の周
辺の瞳孔エッジを排除する。これは、プルキンエ像候補
（光像ブロック）の水平垂直座標（Ｐｎｘ，Ｐｎｙ）を
中心にしたエリア内のもの、例えば、（Ｐｎｘ−定数，
Ｐｎｙ−定数），（Ｐｎｘ−定数，Ｐｎｙ＋定数），
（Ｐｎｘ＋定数，Ｐｎｙ−定数），（Ｐｎｘ＋定数，Ｐ
ｎｙ＋定数）の４点で囲まれた四角形内のものを排除す
ることにより行われる。プルキンエ像は２個存在するの
で、この処理は各々のプルキンエ像について行う。

【００４８】さらに、これまでに選択した瞳孔エッジ候
補の座標の平均値ｍと標準偏差σを求め、［平均値ｍ−
ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ（但し、ａ
は定数）］の範囲内のもののみを採用する。

【００４９】この演算は水平方向のみに関して行っても
よいし、水平垂直両方向に関して行ってもよい。また、
この処理を二重に行ってもよい。すなわち、［平均値ｍ
−ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ］の範囲
内に入ったものの平均値ｍ′と標準偏差σ′を再び求
め、この二量によって定められる範囲［平均値ｍ′−ａ
＊標準偏差σ′〜平均値ｍ′＋ａ＊標準偏差σ′］内の
もののみを採用する。

【００５０】次いで、以上に様にして選択した瞳孔エッ
ジを用い、瞳孔中心及び瞳孔半径を求める。この方法と
しては最小二乗法を用いれば良い。

【００５１】その後、ステップ１１１へ移り、プルキン
エ像と瞳孔中心の位置を用いて眼球の回転角、さらには
カメラのピント板上での視点位置を演算する。そして、
ステップ１１２において、この視点位置を基にＡＦポイ
ント等を決定し、カメラの制御を行う。

【００５２】（第２の実施例）図６は本発明の第２の実
施例における視線検出装置を備えたカメラの主要部分の
動作を示すフローチャートである。なお、回路構成は図
１に示した第１の実施例と同様であり、また、該カメラ
のメインルーチンは図２に示した第１の実施例であるの
で、この動作に関わる部分の説明では同一の回路番号及
びステップ番号を付すものとする。

【００５３】第１の実施例と同様、カメラの不図示のレ
リーズ釦の第１ストローク操作に連動するスイッチＳＷ
１のＯＮなどにより視線検出の要求がなされると、ＭＰ
Ｕ１はステップ１０２からの視線検出のルーチンに入
る。

【００５４】ステップ１０２においては、演算に使用す
る変数の初期化処理を行い、次のステップ１０３におい
て、蓄積時間の設定を行う（ステップ１０３）。これは
眼鏡の有無・外光の強度等を考慮して行い、同時にＩＲ
ＥＤ群５内より点灯させるべくＩＲＥＤペアの選択も行
う。そして、ステップ１０４以降の蓄積制御動作へと移
る。

【００５５】まず、ステップ１０４においては、ＣＣＤ
４の電荷クリア動作を行うための指示をドライバ回路３
に対して行う。この指示を受けたドライバ回路３はクリ
ア動作を行い、ＣＣＤ４のメモリゾーン、電荷転送ライ
ン等に残っている電荷を消去する。次いで、ステップ１
０５において、上記ステップ１０３において選択したＩ
ＲＥＤペアを点灯させるためにＩＲＥＤ選択信号をドラ
イバ回路３に送信すると同時に、蓄積信号をハイレベル
にしてＣＣＤ４による蓄積を開始し、上記の設定した蓄
積時間が経過したら蓄積信号をローレベルにし、蓄積を
終了する。この蓄積に同期して選択されたＩＲＥＤペア
は点灯することになる。

【００５６】次いで、ＭＰＵ１は光像ブロック（プルキ
ンエ像候補），瞳孔エッジ候補抽出の処理を行うステッ
プ１０６以降の動作へと移る。

【００５７】まず、ステップ１０６においては、ドライ
バ回路３を介してＣＣＤ４の１ライン分の画像信号を順
次読み込み、Ａ／Ｄ変換を行い、メモリ２にその値を記
憶していく。そして、次のステップ１０７において、こ
のデータを使って光像ブロック（プルキンエ像候補）並
びに瞳孔エッジ候補の抽出処理を行っていく。この処理
はＣＣＤ４のライン数分だけ行う。

【００５８】ここで、上記ステップ１０７において行わ
れる「光像ブロック抽出」に関して、前出の図４及び図
５を用いて図６のフローチャートにより説明する。

【００５９】まず、ＭＰＵ１はステップ３０１におい
て、１ライン分のデータを読み込み、次のステップ３０
２及び３０３において、光像ブロックの立上り、立下り
条件を満たすか否かの判別を行う。すなわち、ある一定
値以上の輝度を持ち、その両端の傾斜がある程度急峻か
否かを判別する。

【００６０】今、あるラインのｉ番目の画素の輝度をｄ
［ｉ］とした時、次に示す条件 （１）ｄ［ｉ］≧Ｃonst１ ＡＮＤ ｄ［ｉ］−ｄ［ｉ−ａ］≧Ｃonst２ （２）ｄ［ｊ］≧Ｃonst１ ＡＮＤ ｄ［ｊ］−ｄ［ｊ−ａ］≧Ｃonst２ 但し、Ｃonst１，Ｃonst２，ａは定数、ｊはｉ＋１以上
の変数 を満たした場合、これを光像ブロック（プルキンエ像候
補）と認識し、ステップ３０４において、ｉを立上り点
座標、ｊを立下り点座標として記憶する。

【００６１】この抽出演算は左方（画素番号の小さい
方）から順次行った場合、立上り点座標ｉは初めに上記
（１）の条件を満たした点を採用するが、立下り点座標
ｊは上記（２）の条件を満たす最後の点を採用する。ま
た、当然のことながら１ラインに複数の光像ブロックが
存在することが十分に考えられるので、この抽出演算処
理は、そのラインの有効とみなされる全ての画素につい
て行う。

【００６２】そして、ステップ３０５において、それ以
前に光像ブロックを抽出していると判別した場合は、次
のステップ３０６において、いま記憶した立上り点、立
下り点がその光像ブロックと同一か否かの判定を行う。
すなわち ［抽出済光像ブロックの右側境界≦現光像ブロックの右
端と左端の平均〔（ｉ＋ｊ）／２〕≦抽出済光像ブロッ
クの左側境界］ の条件を満たしたならば、同一の光像ブロックとみな
し、ステップ３０７へ移行し、このステップにおいて、
光像ブロック立上り点（光像ブロックの右側境界）、光
像ブロック立下り点（光像ブロックの左側境界）、並び
に、光像ブロックの下側境界（垂直方向の光像ブロック
幅）の値を更新する。ｎ番目の抽出済ブロックの上下左
右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，Ｂｎｘ１，
Ｂｎｘ２とした時、 Ｂｎｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂｎｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｎｙ２＝Ｂｎｙ２＋１ と各境界の値を更新する。さらに、この範囲内の像信号
に関して輝度（信号強度）の和ＳＩ［ｎ］及び輝度とそ
の水平座標、垂直座標の積の和ＳＩｘ［ｎ］，ＳＩｙ
［ｎ］を次式にしたがって求め、その値を更新し記憶し
ていく。

【００６３】 ＳＩ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］＊ｘ］ ＳＩｙ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］＊処理中のラ
イン数Ｌ） また、条件を満たさなかった場合には、新たな光像ブロ
ックが生じたと判断してステップ３０８へ移行し、この
ステップにおいて、上下左右の境界の座標を以下のよう
に記憶する。

【００６４】 Ｂｎｘ１＝ｉ Ｂｎｘ２＝ｊ Ｂｎｙ１＝（読み出したラインのライン数） Ｂｎｙ２＝（読み出したラインのライン数） さらに、この範囲内の像信号に関して輝度（信号強度）
の和ＳＩ［ｎ］及び輝度とその水平座標、垂直座標の積
の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を次式にしたがって求
め、その値を更新し記憶していく。

【００６５】 ＳＩ［ｎ］＝Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝Σ（ｄ［ｘ］＊ｘ） ＳＩｙ［ｎ］＝Σ（ｄ［ｘ］＊処理中のライン数Ｌ） ここでのｘの範囲は、立上り点ｉ≦ｘ≦立下り点ｊとな
る。

【００６６】この際、上下のラインの情報をデータで加
算してもよい。

【００６７】この場合、まず新たな光像ブロックが生じ
たと判断した時、上下左右の境界の座標を前述のように
記憶すると共に、この範囲内の像信号に関して輝度（信
号強度）の和ＳＩ［ｎ］及び輝度とその水平座標、垂直
座標の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を次式にした
がって求め、記憶していく。

【００６８】 ＳＩ［ｎ］＝Σ（ｄ［ｘ］）＋Σ（ｅ［ｘ］） ＳＩｘ［ｎ］＝Σ（ｄ［ｘ］＊ｘ）＋Σ（ｅ［ｘ］＊ｘ］ ＳＩｙ［ｎ］＝Σ（ｄ［ｘ］＊処理中のライン数Ｌ） ＋Σ（ｅ［ｘ］＊処理中のライン数Ｌ−１） 但し、ｅ［ｘ］は処理中のラインの一つ前のラインＬ−
１のｉ番目の画素の輝度である。また、この場合のｘの
範囲は、処理中のラインＬの立上り点ｉ、立下り点ｊに
挟まれる範囲（ｉ≦ｘ≦ｊ）となる。

【００６９】また、一つ前のラインにおいて、光像ブロ
ック（プルキンエ像候補）が検出されている場合は、光
像ブロックが検出できなかった場合でも、検出されてい
る光像ブロックの範囲内の像信号に関して輝度（信号強
度）の和ＳＩ［ｎ］及び輝度とその水平座標、垂直座標
の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を次式にしたがっ
て求め、記憶していく。

【００７０】 ＳＩ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］＊ｘ］ ＳＩｙ［ｎ］＝ＳＩ［ｎ］＋Σ（ｄ［ｘ］＊処理中のラ
イン数Ｌ） 検出している光像ブロックが複数個ある場合は、その各
々について輝度の和ＳＩ［ｎ］及び輝度とその水平座
標，垂直座標の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］の値
を更新し記憶していく。

【００７１】さらに、光像ブロックが枝わかれした場合
や途中で二つの光像ブロックが合流した場合の対策とし
て、光像ブロックの複製、吸収の処理を行うことも考え
られる。

【００７２】光像ブロックが枝わかれした場合には、光
像ブロックの複製を行う。

【００７３】例えば、図４（ａ）に示すように枝わかれ
している場合（光像ブロック参照）、図４（ｂ）に示
す二つの光像ブロック，を生成するため、これら光
像ブロックのの重なり部分を複製する。ラインＬ２にお
いて、二つの光像ブロックが抽出されるが、この二つの
光像ブロックはともにそれまでに抽出されている光像ブ
ロック（図４（ｂ）の，の重なり部分の光像ブロッ
ク）と同一のものとみなされる。よって、図４（ｂ）の
二つの光像ブロック，を生成するために、重なりの
部分を双方に加える形で処理を続ける。

【００７４】すなわち、初めから光像ブロック，が
存在したかのように処理を行い、ラインＬ２において
は、光像ブロックの立上り点（光像ブロックの右側境
界）、光像ブロックの立下り点（光像ブロックの左側境
界）、並びに、光像ブロックの下側境界（垂直方向の光
像ブロック幅）の値を次に様にして更新する。重なり部
分の上下左右の境界の座標を各々Ｂｎｙ１，Ｂｎｙ２，
Ｂｎｘ１，Ｂｎｘ２とした時、 Ｂｎｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂｎｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｎｙ２＝Ｂｎｙ２＋１ と各境界の値を更新する。

【００７５】さらに、この範囲内の像信号に関して輝度
（信号強度）の和ＳＩ［ｎ］及び輝度とその水平座標、
垂直座標の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を次式に
したがって求め、その値を更新し記憶していく。

【００７６】 ＳＩ［ｎ］＝ＳＩ［Ａ］＋Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝ＳＩ［Ａ］＋Σ（ｄ［ｘ］＊ｘ］ ＳＩｙ［ｎ］＝ＳＩ［Ａ］＋Σ（ｄ［ｘ］＊処理中のラ
イン数Ｌ） ここでのｘの範囲は、立上り点ｉ≦ｘ≦立下り点ｊとな
る。また、ＳＩ［Ａ］，ＳＩｘ［Ａ］，ＳＩｙ［Ａ］は
重なり部分の輝度の和及び輝度とその水平座標、垂直座
標の積の和である。

【００７７】ラインＬ２以降においても同様にして、各
境界の値及び輝度の和ＳＩ［ｎ］及び輝度とその水平座
標、垂直座標の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を更
新していく。

【００７８】二つの光像ブロックが合流した場合には、
光像ブロックの吸収を行う。

【００７９】例えば、図５に示すように合流した場合に
は、ラインＬ２で抽出される光像ブロックはラインＬ
１まで抽出された二つの光像ブロック，を吸収する
形で一つの光像ブロックとして統合する。すなわち、ラ
インＬ２においては、光像ブロックの立上り点（光像ブ
ロックの右側境界）、光像ブロックの立下り点（光像ブ
ロックの左側境界）、並びに、光像ブロックの下側境界
（垂直方向の光像ブロック幅）の値を次のようにして更
新する。

【００８０】光像ブロックの上下左右の境界の座標を
各々Ｂａｙ１，Ｂａｙ２，Ｂａｘ１，Ｂａｘ２、光像ブ
ロックの上下左右の境界の座標を各々Ｂｂｙ１，Ｂｂ
ｙ２，Ｂｂｘ１，Ｂｂｘ２とした時、新たな光像ブロッ
クの上下左右の境界の座標Ｂｎｙ１，Ｂｎｙ２，Ｂｎｘ
１，Ｂｎｘ２は、 Ｂａｘ１＞ｉ なら Ｂｎｘ１＝ｉ Ｂａｘ１≦ｉ なら Ｂｎｘ１＝Ｂａｘ１ Ｂｂｘ２＜ｊ なら Ｂｎｘ２＝ｊ Ｂｂｘ２≧ｊ なら Ｂｎｘ２＝Ｂｂｘ２ Ｂａｙ１＜Ｂｂｙ１ なら Ｂｎｘ２＝Ｂａｙ１ Ｂａｙ１≧Ｂｂｙ１ なら Ｂｎｘ２＝Ｂｂｙ１ Ｂｎｙ２＝Ｂａｙ２＋１＝Ｂｂｙ２＋１ と各境界の値を更新する。

【００８１】さらに、この範囲内の像信号に関して輝度
（信号強度）の和ＳＩ［ｎ］及び輝度とその水平座標、
垂直座標の積の和ＳＩｘ［ｎ］，ＳＩｙ［ｎ］を次式に
したがって求め、その値を更新し記憶していく。

【００８２】 ＳＩ［ｎ］＝ＳＩ［Ａ］＋ＳＩ［Ｂ］＋Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝ＳＩ［Ａ］＋ＳＩ［Ｂ］＋Σ（ｄ［ｘ］＊ｘ］ ＳＩｙ［ｎ］＝ＳＩ［Ａ］＋ＳＩ［Ｂ］ ＋Σ（ｄ［ｘ］＊処理中のライン数Ｌ） ここでのｘの範囲は、立上り点ｉ≦ｘ≦立下り点ｊとな
る。また、ＳＩ［Ａ］，ＳＩｘ［Ａ］，ＳＩｙ［Ａ］，
ＳＩ［Ｂ］，ＳＩｘ［Ｂ］，ＳＩｙ［Ｂ］は光像ブロッ
クＡ，Ｂの輝度の和及び輝度とその水平座標、垂直座標
の積の和である。

【００８３】ラインＬ２以降においては、吸収した光像
ブロックについて通常の光像ブロック抽出処理と同様の
処理を行い、光像ブロックの境界の値及び輝度の和ＳＩ
［ｎ］及び輝度とその水平座標、垂直座標の積の和ＳＩ
ｘ［ｎ］，ＳＩｙ［ｎ］を更新していく。

【００８４】この複製、吸収の処理はどちらか一方のみ
を行ってもよいし、両方を行ってもよい。

【００８５】そして、ステップ３０９において１ライン
分の動作が終了した事を判別すると、ステップ３１０へ
進み、瞳孔エッジ抽出処理を行う。

【００８６】再び図２に戻り、ステップ１０８におい
て、全ラインについてこの処理が終了したことを判別す
ると、ステップ１０９へ移り、プルキンエ像選択の処理
を開始する。

【００８７】ここにおける一番目の処理では、各々の光
像ブロックの水平・垂直方向のブロック幅を調べ、その
幅がともに定数Ｃonst３以下のもののみ採用する。これ
以上ブロック幅が大きいものは、眼鏡のゴースト、外光
に照明された瞼等での反射などプルキンエ像以外の光像
である為、排除する。

【００８８】二番目の処理では、一番目の処理で採用し
た光像ブロックの垂直方向座標を調べる。もし、ある光
像ブロックとある光像ブロックが、垂直方向に重なって
いるか接している時は、この二つの光像ブロックの垂直
方向座標は略等しいと判断する。すなわち、ｎ番目の光
像ブロックの上下左右の境界位置を各々Ｂｎｙ１，Ｂｎ
ｙ２，Ｂｎｘ１，Ｂｎｘ２とした時、ｍ番目の光像ブロ
ックの上下左右の境界位置を各々Ｂｍｙ１，Ｂｍｙ２，
Ｂｍｘ１，Ｂｍｘ２とした時、Ｂｎｙ１≦Ｂｍｙ２ か
つ Ｂｎｙ２≧Ｂｍｙ１の条件式が成り立った場合、二
つの光像ブロックの垂直方向座標は略等しいと判断す
る。次いで、この垂直方向座標の略等しいものの無い光
像ブロックを排除する。その後、略等しいものの有る光
像ブロックについて各々の水平方向のブロック間隔Δｍ
ｎを調べ、その値が所定範囲内（Δ１≦Δｍｎ≦Δ２）
のもののみを採用する（但し、Δ１，Δ２は定数）。こ
の時点でプルキンエ像候補ペアが一つあれば（光像ブロ
ックの数が二つであれば）、これをプルキンエ像として
採用する。もしこの時点でプルキンエ像が決定できない
場合には次の処理を行う。

【００８９】三番目の処理では、プルキンエ像ペアの中
心座標とこれとは別個に求められる瞳孔中心の座標を比
較し、瞳孔中心の座標に最も近いもの、すなわちプルキ
ンエ像ペアの中心座標と瞳孔中心の座標の距離が最小と
なるものをプルキンエ像として選択する。なお、説明の
都合上、プルキンエ像選択の三つのステップをまとめて
記載したが、実際の処理においては以下のステップ１１
０において説明する瞳孔円演算の後にこの三番目の処理
は行われる。

【００９０】以上のようにして決定されたプルキンエ像
ペアＰ１，Ｐ２及びプルキンエ像Ｐｃの座標は Ｐ１ｘ＝（Ｂｎｘ１＋Ｂｎｘ２）／２ Ｐ１ｙ＝（Ｂｎｙ１＋Ｂｎｙ２）／２ Ｐ２ｘ＝（Ｂｍｘ１＋Ｂｍｘ２）／２ Ｐ２ｙ＝（Ｂｍｙ１＋Ｂｍｙ２）／２ Ｐｃｘ＝（Ｐ１ｘ＋Ｐ２ｘ）／２ Ｐｃｙ＝（Ｐ１ｙ＋Ｐ２ｙ）／２ のように計算する。但し、Ｐ１ｘ，Ｐ１ｙ，Ｐ２ｘ，Ｐ
２ｙ，Ｐｃｘ，Ｐｃｙはプルキンエ像ペアＰ１，Ｐ２及
びプルキンエ像Ｐｃの水平垂直座標である。また、ｎ番
目，ｍ番目の光像ブロックがプルキンエ像として選択し
たものとする。

【００９１】次に、ステップ１１０へ移り、瞳孔円の演
算を以下のようにして行う。

【００９２】前述の瞳孔エッジ抽出処理においてＭＰＵ
１は、抽出した瞳孔エッジの座標、そのラインＬの最低
輝度ＭＩＮ(L) 及び画像全体の最低輝度ＭＩＮ０をメモ
リ２に記憶している。

【００９３】そこで、まずＭＰＵ１は、瞳孔エッジが抽
出されているエリアの最低輝度（ＭＩＮ(L) ）と画像全
体の最低輝度（ＭＩＮ０＋定数）を比較し、ＭＩＮ(L)
≦ＭＩＮ０＋定数の条件を満たさない場合は、そのエリ
アに存在する瞳孔エッジは不適切なものとしてこれを排
除する。

【００９４】次いで、先のプルキンエ像選択の二番目ま
でのステップ１０９で求めたプルキンエ像（候補）の周
辺の瞳孔エッジを排除する。これは、プルキンエ像候補
（光像ブロック）の水平垂直座標（Ｐｎｘ，Ｐｎｙ）を
中心にしたエリア内のもの、例えば、（Ｐｎｘ−定数，
Ｐｎｙ−定数），（Ｐｎｘ−定数，Ｐｎｙ＋定数），
（Ｐｎｘ＋定数，Ｐｎｙ−定数），（Ｐｎｘ＋定数，Ｐ
ｎｙ＋定数）の４点で囲まれた四角形内のものを排除す
ることにより行われる。プルキンエ像は２個存在するの
で、この処理は各々のプルキンエ像について行う。

【００９５】さらに、これまでに選択した瞳孔エッジ候
補の座標の平均値ｍと標準偏差σを求め、［平均値ｍ−
ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ（但し、ａ
は定数）］の範囲内のもののみを採用する。

【００９６】この演算は水平方向のみに関して行っても
よいし、水平垂直両方向に関して行ってもよい。また、
この処理を二重に行ってもよい。すなわち、［平均値ｍ
−ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ］の範囲
内に入ったものの平均値ｍ′と標準偏差σ′を再び求
め、この二量によって定められる範囲［平均値ｍ′−ａ
＊標準偏差σ′〜平均値ｍ′＋ａ＊標準偏差σ′］内の
もののみを採用する。

【００９７】次いで、以上に様にして選択した瞳孔エッ
ジを用い、瞳孔中心及び瞳孔半径を求める。この方法と
しては最小二乗法を用いれば良い。

【００９８】その後、ステップ１１１へ移り、プルキン
エ像と瞳孔中心の位置を用いて眼球の回転角、さらには
カメラのピント板上での視点位置を演算する。そして、
ステップ１１２において、この視点位置を基にＡＦポイ
ント等を決定し、カメラの制御を行う。

【００９９】上記の第１及び第２の実施例によれば、あ
る一定値以上の輝度を持ち、その立上り、立下りの傾斜
がある一定以上ある光像ブロックを抽出し、その光像を
それ以前に抽出した光像ブロックと比較し、同一と判断
できるものがそれ以前に抽出したものの中に存在する場
合は、その光像ブロックの上下左右の境界位置を更新
し、存在しない場合には、新たな光像ブロックとして登
録し、上下左右（二次元方向）の境界位置を記憶する。
このようにして複数の光像ブロック（プルキンエ像候
補）を求め、この抽出した光像ブロック（プルキンエ像
候補）の中から、水平、垂直方向（二次元方向）のブロ
ック幅、その光像ブロック中心の垂直方向座標の略等し
いものの個数、他の光像ブロックとの間隔、瞳孔との位
置関係を考慮してプルキンエ像を選択するようにしてい
る。このようにすることにより、涙、眼鏡のゴースト等
の、プルキンエ像と類似した像とプルキンエ像を適切に
区別し、外光等により極端に輝度の高い光像の影響を排
除し、正確にプルキンエ像の位置を求めることが可能と
なる。

【０１００】また、光像ブロック（プルキンエ像候補）
の重心を輝度の和、輝度と水平、垂直座標の積の和より
求めるようにしている為、プルキンエ像の中心位置を画
素単位以上の分解能で算出することが可能となる。

【０１０１】（第３の実施例）図７及び図８は本発明の
第３の実施例における視線検出装置を備えたカメラの主
要部分の動作を示すフローチャートであり、他の実施例
と異なるのは、受光手段としてラインセンサを用いると
共に単一のＩＥＲＤを点灯して処理を行う点である。従
って、回路構成としては、図１に示した第１の実施例と
は、ＣＣＤがラインセンサに、ＩＲＥＤ群が一つのＩＲ
ＥＤになる点のみ異なり、他は同様である。また、該カ
メラのメインルーチンは図２に示した第１の実施例であ
るので、この動作に関わる部分の説明では同一のステッ
プ番号を付すものとする。

【０１０２】第１の実施例と同様、カメラの不図示のレ
リーズ釦の第１ストローク操作に連動するスイッチＳＷ
１のＯＮなどにより視線検出の要求がなされると、ＭＰ
Ｕ１はステップ１０２からの視線検出のルーチンに入
る。

【０１０３】ステップ１０２においては、演算に使用す
る変数の初期化処理を行い、次のステップ１０３におい
て、蓄積時間の設定を行う。そして、ステップ１０４以
降の蓄積制御動作へと移る。

【０１０４】まず、ステップ１０４においては、ライン
センサの電荷クリア動作を行うための指示をドライバ回
路３に対して行う。この指示を受けたドライバ回路３は
クリア動作を行い、ラインセンサのメモリゾーン、電荷
転送ライン等に残っている電荷を消去する。次いで、ス
テップ１０５において、ＩＲＥＤを点灯させるためにＩ
ＲＥＤ駆動信号をドライバ回路３に送信すると同時に、
蓄積信号をハイレベルにしてラインセンサによる蓄積を
開始し、上記の設定した蓄積時間が経過したら蓄積信号
をローレベルにし、蓄積を終了する。

【０１０５】次いで、ＭＰＵ１は光像ブロック（プルキ
ンエ像候補），瞳孔エッジ候補抽出の処理を行うステッ
プ１０６以降の動作へと移る。

【０１０６】まず、ステップ１０６においては、ドライ
バ回路３を介してラインセンサ上の画像信号を順次読み
込み、Ａ／Ｄ変換を行い、メモリ２にその値を記憶して
いく。そして、次のステップ１０７において、このデー
タを使って光像ブロック（プルキンエ像候補）並びに瞳
孔エッジ候補の抽出処理を行っていく。

【０１０７】ここで、上記ステップ１０７において行わ
れる「光像ブロック（プルキンエ像候補）抽出」に関し
て説明する。

【０１０８】ＭＰＵ１は、１ライン分のデータを読み込
む。そして、ある一定値以上の輝度をもつ光像ブロック
を抽出する。次いで、光像ブロックの立上り、立下り条
件を満たすか否かの判別を行う。すなわち、ある一定値
以上の輝度を持ち、その両端の傾斜がある程度急峻か否
かを判別する。なお、光像ブロック幅、例えばある一定
値以上の輝度である画素数が一定値以上のもののみを有
効とみなしてもよい。

【０１０９】今、あるラインのｉ番目の画素の輝度をｄ
［ｉ］とした時、次に示す条件 （１）ｄ［ｉ］≧Ｃonst１ ＡＮＤ ｄ［ｉ］−ｄ［ｉ−ａ］≧Ｃonst２ （２）ｄ［ｊ］≧Ｃonst１ ＡＮＤ ｄ［ｊ］−ｄ［ｊ−ａ］≧Ｃonst２ 但し、Ｃonst１，Ｃonst２，ａは定数、ｊはｉ＋１以上
の変数 を満たした場合、これを光像ブロック（プルキンエ像候
補）と認識し、ステップ２０４において、ｉを立上り点
座標、ｊを立下り点座標として記憶する。すなわち、光
像ブロックの左右の境界位置Ｂｎｘ１，Ｂｎｘ２を Ｂｎｘ１＝ｉ Ｂｎｘ２＝ｊ と求め、記憶していく。さらに、この範囲内の像信号に
関して輝度（信号強度）の和ＳＩ［ｎ］及び輝度とその
水平座標の積の和ＳＩｘ［ｎ］を次式にしたがって求
め、記憶していく。

【０１１０】 ＳＩ［ｎ］＝Σ（ｄ［ｘ］） ＳＩｘ［ｎ］＝Σ（ｄ［ｘ］＊ｘ） ここでのｘの範囲は、立上り点ｉ≦ｘ≦立下り点ｊとな
る。

【０１１１】次に、上記ステップ１０７において行われ
る「瞳孔エッジの抽出」に関して、図７のフローチャー
トを用いて説明する。

【０１１２】まず、ＭＰＵ１はステップ４０１におい
て、ラインセンサ上のデータを読み込み、次のステップ
４０２において、このデータより最低値ＭＩＮＬ並びに
その位置（座標）を求める。そして、ステップ４０３に
おいて、水平方向にセンサを分割し、各々のエリアにお
ける最低値を求める。

【０１１３】そして、ステップ４０４以降において、水
平方向の瞳孔エッジ抽出を最低値ＭＩＮＬの座標より開
始する。

【０１１４】まず、ステップ４０５において、カウンタ
を減算し、左側の瞳孔エッジの検出を行う。そして、出
力信号がｎ画素にわたって単調減少しているか否かを調
べる。すなわち、次式 ｄ［ｊ］＜ｄ［ｊ−１］＜ｄ［ｊ−２］＜……＜ｄ［ｊ−（ｎ−１）］＜ｄ ［ｊ−ｎ］ が成り立つか否かを調べる。また、この際、単調減少が
続いていればその間はカウントを継続し、スロープの長
さＤを求めておく。さらに、全てのスロープ内の画素に
ついて隣りの画素との差が一定値Ｃｄｅ以上か否かを調
べる。例えば、ｄ［ｊ−ｎ］−ｄ［ｊ］，ｄ［ｊ−ｎ］
−ｄ［ｊ−（ｎ−１）］……について調べる。このよう
にすることによって、信号強度が最低値に略等しい瞳孔
部からある一定値以上の傾斜をもって立上がるスロープ
（瞳孔エッジのスロープ）を検出することができる。

【０１１５】次いで、ステップ４０６において、まつ毛
による輝度変化の影響を取り除く処理を行う。

【０１１６】このまつ毛による輝度変化は前述した様に
図６に示す様になる。そこで、アップエッジＡと対にな
るダウンエッジＢがその直後にないか否かを調べること
で、いま検出したエッジがまつ毛か否かの判断ができ
る。

【０１１７】上記３つの条件を満たしたならば、画素
（ｊ−２Ｄ）付近（例えばｊ−２Ｄ±数画素）を調べ、
もし最低値（ＭＩＮ）に略等しいものがあったなら、こ
の輝度変化はまつ毛によるものと判断する。

【０１１８】そして、以上の３つの条件を満たしたもの
は瞳孔エッジとみなし、ステップ４０７において、左側
瞳孔エッジ情報として画素番号（ｊ＋ｊ−Ｄ）／２をメ
モリ２に記憶する。

【０１１９】この処理をＭＰＵ１はラインセンサの有効
範囲の端部に達するまで行う（ステップ４０８）。その
後、ＭＰＵ１は反対側（右側）の瞳孔エッジを検出する
ステップ４０９以降のルーチンへ移る。

【０１２０】上記反対側（右側）の瞳孔エッジを検出す
るルーチン（ステップ４０９から５１３まで）において
も、同様の処理を行う。

【０１２１】すなわち、 （１）ｎ画素にわたって単調増加している（スロープの
長さＤを求める）。

【０１２２】（２）すべてのスロープ内の画素について
隣りの画素との差が一定値Ｃｄｅ以上である。

【０１２３】（３）アップエッジの直後にダウンエッジ
がない（まつ毛による輝度の変化ではない）。 の３つの条件を満足した場合はその位置を瞳孔エッジと
みなし、右側瞳孔エッジ情報としてそのライン番号Ｌと
画素番号（ｊ＋ｊ＋Ｄ）をメモリ２に記憶し、有効範囲
の端部に達するまで処理を継続する。

【０１２４】以上のようにしてこの処理をラインセンサ
上の有効範囲内の全画素について行う。

【０１２５】再び図２に戻り、ステップ１０８におい
て、第１の実施例と同様にしてプルキンエ像選択の処理
を行う。

【０１２６】つまり、一番目の処理では、各々の光像ブ
ロックの水平方向のブロック幅を調べ、その幅がともに
定数ＣH 以下のもののみ採用する。これ以上ブロック幅
が大きいものは、眼鏡のゴースト・外光のまぶた等での
反射などプルキンエ像以外の光像である為、排除する。
この時点でのプルキンエ像候補が一つになればこれをプ
ルキンエ像として採用する。もしこの時点でプルキンエ
像が決定できない場合に、次の処理を行う。

【０１２７】二番目の処理では、プルキンエ像の輝度値
の平均値をまず求めた後、その値を比較し、最大のもの
をプルキンエ像として選択する。

【０１２８】例えば、ブロックＢ１とＢ２，Ｂ３がこれ
までの処理で選ばれている場合、光像ブロックＢ１，Ｂ
２，Ｂ３の輝度値の平均値Ｉａｖｅ１，Ｉａｖｅ２，Ｉ
ａｖｅ３を次式の様にして計算する。

【０１２９】 Ｉａｖｅ１＝ＳＩ［１］／（Ｂ１ｘ２−Ｂ１ｘ１＋１） Ｉａｖｅ２＝ＳＩ［２］／（Ｂ２ｘ２−Ｂ２ｘ１＋１） Ｉａｖｅ３＝ＳＩ［３］／（Ｂ３ｘ２−Ｂ３ｘ１＋１） そして、Ｉａｖｅ１，Ｉａｖｅ２，Ｉａｖｅ３を比較
し、最も値の大きいものをプルキンエ像とする。

【０１３０】以上のようにして決定されたプルキンエ像
Ｐｃの座標は Ｐｃｘ＝ＳＩｘ［ｎ］／ＳＩ［ｎ］ のように計算される。但し、Ｐｃｘはプルキンエ像Ｐｃ
の水平座標である。また、ｎ番目の光像ブロックがプル
キンエ像として選択されたものとする（ステップ１０
９）。

【０１３１】次に、ステップ１１０へ移り、「瞳孔円の
演算」を以下のようにして行う。

【０１３２】この「瞳孔円の演算」は図８のステップ５
０１から５１７までにおいて、以下のようにして行われ
る。

【０１３３】前述の瞳孔エッジ抽出処理においてＭＰＵ
１は、抽出した瞳孔エッジの座標、そのエッジ（スロー
プ）における最低輝度ＭＩＮｎ及び画像全体の最低輝度
ＭＩＮ０をメモリ２に記憶している。

【０１３４】そこで、まずＭＰＵ１は、瞳孔エッジが抽
出されているエリアの最低輝度（ＭＩＮ(e) ）と画像全
体の最低輝度（ＭＩＮ０＋定数Ｃ）を比較し、 ＭＩＮ(e) ≦ＭＩＮ０＋定数Ｃ の条件を満たさない場合は、そのエリアに存在する瞳孔
エッジは不適切なものとしてこれを排除する。

【０１３５】次いで、先のステップ１０９において求め
たプルキンエ像の周辺の瞳孔エッジを排除する。これ
は、プルキンエ像の水平位置Ｐｎｘを中心にしたエリア
内のもの、例えば、（Ｐｎｘ−定数），（Ｐｎｘ＋定
数）で囲まれた範囲内のものを排除することにより行わ
れる。

【０１３６】さらに、これまでに選択した瞳孔エッジ候
補の座標の平均値ｍと標準偏差σを求め、［平均値ｍ−
ａ＊標準偏差σ〜平均値ｍ＋ａ＊標準偏差σ（但し、ａ
は定数）］の範囲内のもののみを採用する。

【０１３７】次いで、以上に様にして選択した瞳孔エッ
ジを用い、瞳孔中心を求める。これは、採用された瞳孔
エッジの平均値により求めることができる。

【０１３８】その後、ステップ１１１へ移り、プルキン
エ像と瞳孔中心の位置を用いて眼球の回転角、さらには
カメラのピント板上での視点位置を演算する。そして、
ステップ１１２において、この視点位置を基にＡＦポイ
ント等を決定し、カメラの制御を行う。

【０１３９】上記の第３の実施例によれば、ある一定値
以上の輝度を持ち、その立上り、立下りの傾斜がある一
定以上ある光像ブロックを抽出し、その光像をそれ以前
に抽出した光像ブロックと比較し、同一と判断できるも
のがそれ以前に抽出したものの中に存在する場合は、そ
の光像ブロックの水平（左右）方向の境界位置を更新
し、存在しない場合には、新たな光像ブロックとして登
録し、水平方向の境界位置を記憶する。このようにして
複数の光像ブロック（プルキンエ像候補）を求め、この
抽出した光像ブロック（プルキンエ像候補）の中から、
水平方向のブロック幅を考慮してプルキンエ像を選択す
るようにしている。このようにすることにより、涙、眼
鏡のゴースト等の、プルキンエ像と類似した像とプルキ
ンエ像を適切に区別し、外光等により極端に輝度の高い
光像の影響を排除し、正確にプルキンエ像の位置を求め
ることが可能となる。

【０１４０】また、光像ブロック（プルキンエ像候補）
の重心を輝度の和、輝度と水平座標の積の和より求める
ようにしている為、プルキンエ像の中心位置を画素単位
以上の分解能で算出することが可能となる。

【０１４１】

【発明の効果】 以上説明したように、本発明によれ
ば、眼球を照明する照明手段と、前記照明手段に照明さ
れる前記眼球を撮像する撮像センサと、前記撮像センサ
が撮像した眼球画像に含まれる像のうち輝度信号の強度
が一定値以上であり、かつ輝度信号の立上がりまたは立
下がりの傾斜が一定値以上である像をプルキンエ像候補
として記憶する記憶手段と、前記記憶手段に記憶される
前記プルキンエ像候補の中から所定の条件を満たすもの
をプルキンエ像として選出する選出手段と、前記選出手
段により選出されたプルキンエ像に基づいて視線を検出
する視線検出手段とを有することにより、プルキンエ像
を正確に検出することができ、高精度な視線検出が可能
となる。

【０１４２】

【０１４３】

【０１４４】

【０１４５】

【０１４６】

【０１４７】

【図面の簡単な説明】

【図１】本発明の第１の実施例装置を具備したカメラの
概略構成を示すブロック図である。

【図２】図１のカメラのメイン動作を示すフローチャー
トである。

【図３】図２のステップ１０７において行われる動作を
示すフローチャートである。

【図４】本発明の第１の実施例において複製の処理が行
われる光像ブロックの一例を示すである。

【図５】本発明の第１の実施例において吸収の処理が行
われる光像ブロックの一例を示すである。

【図６】本発明の第２の実施例装置を備えたカメラの光
像ブロック抽出動作を示すフローチャートである。

【図７】本発明の第３の実施例装置を備えたカメラの瞳
孔エッジ抽出動作を示すフローチャートである。

【図８】本発明の第３の実施例装置を備えたカメラの瞳
孔円演算動作を示すフローチャートである。

【図９】従来の視線検出装置の要部構成を示す回路図で
ある。

【符号の説明】

１ ＭＰＵ ２ メモリ ４ ＣＣＤ ５ ＩＲＥＤ群

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 眼球を照明する照明手段と、前記照明手
   段に照明される前記眼球を撮像する撮像センサと、前記
   撮像センサが撮像した眼球画像に含まれる像のうち輝度
   信号の強度が一定値以上であり、かつ輝度信号の立上が
   りまたは立下がりの傾斜が一定値以上である像をプルキ
   ンエ像候補として記憶する記憶手段と、前記記憶手段に
   記憶される前記プルキンエ像候補の中から所定の条件を
   満たすものをプルキンエ像として選出する選出手段と、
   前記選出手段により選出されたプルキンエ像に基づいて
   視線を検出する視線検出手段とを有することを特徴とす
   る視線検出装置。
2. 【請求項２】 前記記憶手段は、前記プルキンエ像候補
   の位置に関する情報を記憶することを特徴とする請求項
   １に記載の視線検出装置。
3. 【請求項３】 前記撮像センサは、前記眼球を二次元で
   撮像する二次元撮像センサであることを特徴とする請求
   項１または２に記載の視線検出装置。
4. 【請求項４】 前記選出手段は、前記プルキンエ像候補
   のサイズを測り、所定の値よりも小さいものをプルキン
   エ像として選出することを特徴とする請求項１ないし３
   の何れかに記載の視線検出装置。
5. 【請求項５】 前記照明手段は、複数の光源により前記
   眼球を照明するとともに、前記選出手段は、前記プルキ
   ンエ像候補の中からプルキンエ像として前記照明光源の
   数と同数選出することを特徴とする請求項１ないし４の
   何れかに記載の視線検出装置。
6. 【請求項６】 前記撮像センサが撮像した眼球画像から
   瞳孔の中心位置に関する情報を検出する瞳孔位置検出手
   段を有し、前記選出手段は、前記プルキンエ像候補の中
   から前記瞳孔の中心位置と前記プルキンエ像候補の中心
   位置との距離が最小となるものをプルキンエ像として選
   出することを特徴とする請求項１ないし５の何れかに記
   載の視線検出装置。
7. 【請求項７】 前記視線検出手段は、前記瞳孔位置検出
   手段より検出した瞳孔の中心位置と前記選出手段により
   選出されたプルキンエ像とに基づいて視線を検出するこ
   とを特徴とする請求項６に記載の視線検出装置。