JPH0918760A

JPH0918760A - 視線検出装置およびこれに用いる撮像装置

Info

Publication number: JPH0918760A
Application number: JP7166232A
Authority: JP
Inventors: Hirofumi Takei; 浩文竹井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-06-30
Filing date: 1995-06-30
Publication date: 1997-01-17

Abstract

(57)【要約】【目的】視線検出をより正確かつ短時間に行うことが
できるようにする。【構成】光電変換部１の出力信号から、外光に起因す
る信号成分を除去する外光除去手段２と、光電変換部１
に結像される全体像を複数のブロックに分割し、外光成
分が除去された映像信号を各ブロックごとに平均化して
出力するブロック平均化手段３と、各ブロックの平均化
信号に基づいて角膜反射像および瞳孔エッジが存在する
と予想される領域を特定する領域特定手段４と、上記特
定された領域の映像信号を用いて視線検出を行う注視点
検出手段６とを設け、光電変換部１に結像される全体像
の中から瞳孔が存在すると予想される部分を特定し、そ
の特定した部分の映像信号のみを用いて視線検出を行う
ようにすることにより、にせの角膜反射像や瞳孔エッジ
が検出されてしまう不都合を防止することができるよう
にするとともに、全体領域を処理する場合に比べて処理
するデータ量を少なくすることができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線検出装置およびこ
れに用いる撮像装置に関するものである。

【０００２】

【従来の技術】従来、観察者が注視しているファンイン
ダ画面上の位置を検出する手段は、いくつか提案されて
いるが、以下にその一つの原理を説明する。図１０
（ａ）は、視線検出方法の原理を説明するための図であ
り、視線検出手段の一部および眼球の上面図である。ま
た、図１０（ｂ）は、同じく視線検出方法の原理を説明
するための図であり、上記視線検出手段の一部および眼
球の側面図である。

【０００３】図１０（ａ）および（ｂ）において、１０
６ａ，１０６ｂは発光ダイオード（ＩＲＥＤ）等の光源
であり、観察者が感じることのない赤外光を放射する。
図１０（ａ）に示すように、各光源１０６ａ，１０６ｂ
は、結像レンズ１１１の光軸に対してｘ軸方向（水平方
向）に略対象に配置されている。また、図１０（ｂ）に
示すように、各光源１０６ａ，１０６ｂは、ｙ軸方向
（垂直方向）には光軸のやや下側に配置されている。

【０００４】各光源１０６ａ，１０６ｂは、このような
配置の下で、観察者の眼球１０８を発散して照明してい
る。そして、各光源１０６ａ，１０６ｂから放射され、
眼球１０８で反射した照明光の一部は、結像レンズ１１
１によって集光されてイメージセンサ１１２に結像す
る。

【０００５】図１１（ａ）は、イメージセンサ１１２に
投影される眼球１０８の像を概略的に表す図であり、図
１１（ｂ）は、イメージセンサ１１２の出力強度の分布
を表す図である。

【０００６】以下、図１０および図１１を用いて視線の
検出方法を詳しく説明する。まず、図１０（ａ）に示す
水平面について考える。光源１０６ｂより放射された赤
外光は、観察者の眼球１０８の角膜１１０を照明する。
このとき、角膜１１０の表面で反射した赤外光により形
成される角膜反射像（虚像）ｄは、結像レンズ１１１に
より集光され、イメージセンサ１１２上の位置ｄ’に結
像する。

【０００７】同様に、光源１０６ａより放射された赤外
光は、眼球１０８の角膜１１０を照明する。このとき、
角膜１１０の表面で反射した赤外光により形成された角
膜反射像（虚像）ｅは、結像レンズ１１１により集光さ
れ、イメージセンサ１１２上の位置ｅ’に結像する。

【０００８】また、虹彩１０４の端部ａ，ｂからの光束
は、結像レンズ１１１を介してイメージセンサ１１２上
の位置ａ’，ｂ’に投影され、この位置に上記虹彩１０
４の端部ａ，ｂの像が結像する。以下、説明のため、虹
彩１０４の端部ａ，ｂのｘ座標をそれぞれｘ_a，ｘ_bと
し、角膜反射像ｄ，ｅのｘ座標をそれぞれｘ_d，ｘ_eと
する。

【０００９】このようにして、虹彩１０４の端部ａ，ｂ
の像や、角膜反射像ｄ，ｅがイメージセンサ１１２に結
像すると、イメージセンサ１１２により、図１１（ｂ）
に示すような出力が得られる。なお、図１１（ｂ）中に
示されるｘ_a’，ｘ_b’は、図１１（ａ）で示される虹
彩１０４の端部ａ，ｂの像がイメージセンサ１１２上に
結像される位置ａ’，ｂ’のｘ座標を示している。ま
た、ｘ_d’，ｘ_e’は、上記角膜反射像ｄ，ｅのイメー
ジセンサ１１２上における結像位置ｄ’，ｅ’のｘ座標
を示している。

【００１０】ところで、結像レンズ１１１の光軸に対す
る眼球１０８の回転角θ_xが小さい場合、図１１（ａ）
の×印で示すように、虹彩１０４の端部ａ，ｂのｘ座標
ｘ_a，ｘ_bはイメージセンサ１１２上で多数点求めるこ
とができる。そこで、まず、これら多数のｘ座標ｘ_a，
ｘ_bを用いて、円の最小自乗法により瞳孔中心ｃのｘ座
標ｘ_cを算出する。

【００１１】一方、角膜１１０の曲率中心ｏのｘ座標を
ｘ_oとすると、眼球１０８の光軸に対する水平方向の回
転角θ_xを用いて、ｏｃ×ｓｉｎθ_x＝ｘ_c−ｘ_o （式１）と表すことができる。なお、ｏｃは上記曲率中心ｏと瞳
孔中心ｃとの間の距離を示している。

【００１２】また、角膜反射像ｄと角膜反射像ｅとの間
の中点ｋのｘ座標ｘ_kに対して所定のｘ軸方向の補正値
δ_xを考慮して座標ｘ_oを求めると、ｘ_k＝（ｘ_d＋ｘ_e）／２ｘ_o＝（ｘ_d＋ｘ_e）／２＋δ_x （式２）となる。なお、補正値δ_xは、装置の設置方法や装置と
眼球との距離等から幾何学的に求められる数値である
が、ここではその算出方法の説明は省略する。

【００１３】次に、（式１）を（式２）へ代入して眼球
１０８の光軸に対する回転角θ_xを求めると、 θ_x＝ｓｉｎ^-1［［ｘ_c−｛（ｘ_d＋ｘ_e）／２＋δ_x｝］／ｏｃ］（式３）となる。

【００１４】さらに、イメージセンサ１１２上に投影さ
れた各々の特徴点の座標を求めるために、（式３）の中
の各特徴点のｘ座標に '（ダッシュ）を付加して書き換
えると、 θ_x＝ｓｉｎ^-1［［ｘ_c’−｛（ｘ_d’＋ｘ_e’）／２＋δ_x’｝］／（ｏｃ／β）］（式４）となる。

【００１５】ここで、βは結像レンズ１１１から眼球１
０８までの距離ｓｚｅにより決まる倍率を表す数値であ
り、実際は角膜反射像ｄ，ｅの間隔｜ｘ_d’−ｘ_e’｜
の関数として求められる。

【００１６】次に、図１０（ｂ）に示す垂直面について
考える。この場合、２個の光源１０６ａ，１０６ｂによ
り生じる角膜反射像はともに同じ位置に発生する。ここ
では、この角膜反射像をｉの符号を付して示し、そのｙ
座標をｙ_iとする。また、眼球１０８の光軸に対する垂
直方向の回転角θ_yの算出方法は、水平面の場合とほぼ
同一であるが、（式２）のみが異なっている。

【００１７】すなわち、角膜１１０の曲率中心ｏのｙ座
標をｙ_oとすると、ｙ_o＝ｙ_i＋δ_y （式５）となる。なお、ｙ軸方向の補正値δ_yは、装置の配置方
法や眼球距離等から幾何学に求められる数値であるが、
ここではその算出方法の説明は省略する。

【００１８】よって、（式１）をｙ座標に置き換えた式
および（式５）を用いて眼球１０８の光軸に対する垂直
方向の回転角θ_yを求めると、 θ_y＝ｓｉｎ^-1［｛ｙ_c’−（ｙ_i’＋δ_y’）｝／（ｏｃ／β）］（式６）となる。

【００１９】さらに、ファインダ画面（注視画面）上の
位置座標（ｘ_n，ｙ_n）は、注視画面の光学系で決まる
定数ｍを用いると、水平面上では、ｘ_n＝ｍ×ｓｉｎ^-1［｛ｘ_c’−（ｘ_d’＋ｘ_e’）／２＋δ_x’｝／（ｏｃ／β）］（式７）となる。また、垂直面上では、ｙ_n＝ｍ×ｓｉｎ^-1［｛ｙ_c’−（ｙ_i’＋δ_y’）｝／（ｏｃ／β）］（式８）となる。

【００２０】また、図１１に示すように、瞳孔エッジの
検出は、イメージセンサ１１２の位置ｘ_b’における出
力波形の立ち上がり、および位置ｘ_a’における立ち下
がりを利用して行う。以上のようにして角膜反射像およ
び瞳孔エッジを検出することにより視線検出を行う。

【００２１】次に、上記した視線検出手段を応用した機
能の一例について説明する。図１２は、視線フォーカス
機能（視線スイッチを利用してフォーカス動作を行わせ
る機能）を持つビデオカメラの一例を示す概略的な構成
図である。

【００２２】図１２に示したビデオカメラは、ズームレ
ンズを備え被写体を撮像するレンズ撮像系１２１と、こ
のレンズ撮像系１２１により撮像される被写体をファイ
ンダ画面１２２を通して観察するためのファインダ１２
３と、このファインダ１２３の前に配置された接眼レン
ズ１２４と、撮影者の眼１２５の視線Ｅを検出する視線
検出手段１２６と、フォーカスエリアの概略を表すＡＦ
枠、その他テープカウンタや撮影モードなどの撮影者に
必要な各種情報をファインダ画面１２２へ表示する表示
回路１２７と、このビデオカメラの各部を制御するシス
テムコントロール手段１２８とを有して概略構成され
る。

【００２３】また、上記視線検出手段１２６は、撮影者
の眼１２５に赤外光を照射する赤外発光ダイオードなど
の赤外光照射装置１３０と、可視光を透過し赤外光を反
射するダイクロイックミラー１３１と、このダイクロイ
ックミラー１３１にて反射された赤外光を集光する集光
レンズ１３２と、この集光レンズ１３２により集光され
た赤外光を電気信号に変換するイメージセンサ１３３
と、このイメージセンサ１３３上に投影された撮影者の
眼１２５の像信号を基に、撮影者のファインダ画面１２
２上の注視点を求める注視点検出回路１３４とを具備し
ている。

【００２４】上述のように、ダイクロイックミラー１３
１は、可視光を透過するため、撮影者は接眼レンズ１２
４を通してファインダ画面１２２を観察できるようにな
っている。また、ダイクロイックミラー１３１は、赤外
光を反射するため、赤外光照射装置１３０から照射され
る赤外光による眼１２５の像を反射するようになってい
る。そして、ダイクロイックミラー１３１での反射光
は、集光レンズ１３２で集光されて、イメージセンサ１
３３上に像を結ぶようになっている。

【００２５】図１３は、注視点検出回路１３４の一例を
示す概略構成図である。注視点検出回路１３４は主に、
マイクロコンピュータ（マイコン）１４１で構成され、
その内部にＣＰＵ１４５とメモリ１４２とを有してい
る。ＣＰＵ１４５は、赤外光の点灯タイミングや発光量
を制御するための赤外光制御信号ｓ４を、Ｄ／Ａ変換器
１４４を介して赤外光照射装置１３０に送出する。ま
た、イメージセンサ１３３を制御するためのイメージセ
ンサ制御信号ｓ３をイメージセンサ１３３に送出する。

【００２６】そして、上記赤外光制御信号ｓ４に応じて
赤外光照射装置１３０が赤外光を照射したときにイメー
ジセンサ１３３により生成された撮影者の眼１２５の映
像信号ｓ１をＡ／Ｄ変換器１４３で各ラインごとにＡ／
Ｄ変換し、その変換したデータを内部メモリ１４２に格
納する。ＣＰＵ１４５は、内部メモリ１４２に格納され
たデータを基に、上述した原理や、特開平１−２４１５
１１号公報、特開平２−３２３１２号公報等によって開
示されたアルゴリズムに従い、撮影者のファインダ画面
１２２上の注視点を求める。

【００２７】図１４は、マイクロコンピュータ１４１内
にあるＣＰＵ１４５の処理手順の概略を示したフローチ
ャートである。図１４において、まず最初にステップＰ
３１では、撮影者の眼１２５の明るさを測光して、イメ
ージセンサ１３３の電荷蓄積時間や映像信号を増幅する
アンプゲイン等を決定する。そして、ステップＰ３２
で、上記ステップＰ３１にて求められた電荷蓄積時間お
よびアンプゲインに基づきイメージセンサ１３３の蓄積
動作を行う。

【００２８】次のステップＰ３３では、イメージセンサ
１３３から出力される映像信号ｓ１をマイクロコンピュ
ータ１４１内のＡ／Ｄ変換器１４３がデジタル値に変換
し、それを内部メモリ１４２に格納する。ステップＰ３
４では、内部メモリ１４２に取り込んだデジタルの映像
信号を基に、角膜反射像を検出する。ステップＰ３５で
は、上記内部メモリ１４２に取り込んだデジタルの映像
信号を基に、瞳孔エッジを検出する。

【００２９】ステップＰ３６では、イメージセンサ１３
３の全画面について処理を行ったかどうか、すなわち、
全ラインについての処理が完了したかどうかを判断す
る。ここで、全ラインの処理が完了していないときは、
ステップＰ３３の処理に戻る。一方、全ラインの処理が
完了したときは、ステップＰ３７に進む。ステップＰ３
７では、上記ステップＰ３４、Ｐ３５にて求められた角
膜反射像および瞳孔エッジを基に、上述した原理で注視
点を演算する。

【００３０】ステップＰ３８は、上記ステップＰ３７の
演算結果を受けて分岐する処理を行う判断部であり、注
視点の演算が成功したかどうかを判断する。ここで、演
算が成功したと判断したときはステップＰ３９に進む。
ステップＰ３９では、演算された結果を注視点情報ｓ２
としてシステムコントロール手段１２８に出力する。シ
ステムコントロール手段１２８は、この注視点情報ｓ２
を基に、レンズ撮像系１２１を制御し、撮影者の注視点
にフォーカスが合うように制御する。

【００３１】一方、上記ステップＰ３８にて演算が成功
しなかったと判断した場合には、このステップＰ３９の
処理は行わない。次のステップＰ４０では、視線検出処
理を継続するかどうかを判断する。ここで、視線検出処
理を継続する場合は、ステップＰ３１に戻り、上述のよ
うな処理を繰り返し行う。また、視線検出処理を継続し
ない場合は、処理を終了する。

【００３２】

【発明が解決しようとする課題】しかしながら、上記従
来の構成では、注視点検出回路１３４（マイクロコンピ
ュータ１４１）がイメージセンサ１３３の出力を順次取
り込みながら角膜反射像および瞳孔エッジを検出してい
るため、以下のような問題が生じていた。

【００３３】すなわち、図９はイメージセンサ１３３に
結像される像の例を示すものであるが、マイクロコンピ
ュータ１４１が行う角膜反射像検出処理および瞳孔エッ
ジ検出処理において、本来の角膜反射像Ａや瞳孔エッジ
Ｂの他に、実際にはまつ毛の外部から照射される光（太
陽光中の赤外光成分等）の反射に起因して“にせ角膜反
射像Ａ’”および“にせ瞳孔エッジＢ’”が検出されて
しまう場合が多い。そのため、本来の瞳孔中心の演算に
支障をきたしてしまうという問題があった。

【００３４】また、イメージセンサ１３３全体のデータ
を演算しているため、本来ならば不要なデータ部分であ
る図９の領域Ｃや領域Ｄの部分についても、マイクロコ
ンピュータ１４１がＡ／Ｄ変換、角膜反射像検出、瞳孔
エッジ検出等の処理を行っていた。さらに、図１４のフ
ローチャートから明らかなように、１回の注視点検出が
終わるごとに測光処理を行っていたため、全体の演算時
間が非常に長くなってしまうという問題もあった。

【００３５】本発明はこのような問題を解決するために
成されたものであり、本来の角膜反射像および瞳孔エッ
ジのみを正確に検出し、より正確な視線検出を行うこと
ができるようにするとともに、より短時間で視線検出を
行うことができるようにすることを目的とする。

【００３６】

【課題を解決するための手段】本発明の視線検出装置
は、撮影者が注視している位置を検出するための視線検
出装置であって、上記撮影者の眼球像を生成する光電変
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段と、上記外光除去手段により取り出された映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。

【００３７】本発明の他の特徴とするところは、撮影者
が注視している位置を検出するための視線検出装置であ
って、上記撮影者の眼球像を生成する光電変換部に結像
される全体像を複数のブロックに分割し、各ブロック内
の映像信号を各々平均化して出力するブロック平均化手
段と、上記ブロック平均化手段より出力される各ブロッ
クの平均化信号に基づいて、角膜反射像および瞳孔エッ
ジが存在すると予想される領域を特定する領域特定手段
と、上記領域特定手段により特定された領域の映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。

【００３８】本発明のその他の特徴とするところは、撮
影者が注視している位置を検出するための視線検出装置
であって、上記撮影者の眼球像を生成する光電変換部よ
り出力される映像信号から、外部からの赤外光に起因す
る信号成分を除去し、視線検出のために照射している赤
外光に起因する信号成分のみを取り出す外光除去手段
と、上記光電変換部に結像される全体像を複数のブロッ
クに分割し、上記外光除去手段により外光成分が除去さ
れた映像信号を各ブロックごとに平均化して出力するブ
ロック平均化手段と、上記ブロック平均化手段より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る領域特定手段と、上記領域特定手段により特定された
領域の映像信号を用いて上記撮影者の注視点を検出する
注視点検出手段とを具備することを特徴とする。

【００３９】本発明のその他の特徴とするところは、上
記注視点検出手段は、瞳孔エッジの検出処理を行う前に
瞳孔があると予想される部分の映像信号の輝度値を得
て、その輝度値を基準として上記瞳孔エッジの検出処理
を行うことを特徴とする。

【００４０】本発明のその他の特徴とするところは、視
線検出処理を連続して行う場合において、視線検出が一
度成功した後で再び視線検出を行うときに、上記撮影者
の眼球の測光処理、上記外光除去手段による外光除去処
理および上記ブロック平均化手段によるブロック平均化
処理を行わずに、上記領域特定手段による領域特定処理
から行うように制御する制御手段を具備することを特徴
とする。

【００４１】本発明のその他の特徴とするところは、視
線検出処理を連続して行う場合において視線検出が一度
成功した後で次の視線検出を行うときに、上記領域特定
手段は、前回検出された瞳孔付近の領域を優先して特定
するようにすることを特徴とする。

【００４２】本発明のその他の特徴とするところは、上
記制御手段は、視線検出が連続して成功した回数をカウ
ントするカウント手段を具備し、上記カウント手段によ
るカウント値が所定値よりも大きくなった場合に、上記
撮影者の眼球の測光処理、上記外光除去手段による外光
除去処理および上記ブロック平均化手段によるブロック
平均化処理を再び行った後、それにより得られる平均化
信号を用いて上記領域特定手段による領域特定処理を行
うように制御することを特徴とする。

【００４３】本発明の撮像装置は、撮影者が注視してい
る位置を検出するための視線検出装置に用いられる撮像
装置であって、上記撮影者の眼球像を生成する光電変換
部より出力される映像信号から、外部からの赤外光に起
因する信号成分を除去し、視線検出のために照射してい
る赤外光に起因する信号成分のみを取り出す外光除去手
段と、上記光電変換部に結像される全体像を複数のブロ
ックに分割し、上記外光除去手段により外光成分が除去
された映像信号を各ブロックごとに平均化して出力する
ブロック平均化手段と、上記光電変換部により生成され
る全体像の映像信号のうち、上記ブロック平均化手段よ
り出力される各ブロックの平均化信号から角膜反射像お
よび瞳孔エッジが存在すると予想される特定の領域の映
像信号のみを出力する領域読み出し手段とを具備するこ
とを特徴とする。

【００４４】

【作用】請求項１に記載の発明によれば、外光成分が除
去された映像信号に基づいて注視点の検出が行われるよ
うになるので、外部からの赤外光に起因して本来は角膜
反射像や瞳孔エッジでない部分が誤って角膜反射像や瞳
孔エッジとして検出されてしまうという外光による悪影
響を少なくすることが可能となる。

【００４５】また、請求項２に記載の発明によれば、光
電変換部に結像される全体像の中から、本来の角膜反射
像および瞳孔エッジが存在すると思われる領域が予想さ
れ、その予想された領域のみが注視点検出処理の対象と
され、それ以外の領域については無視されることとなる
ので、眼球像でない領域内において、本来は角膜反射像
および瞳孔エッジでない部分が誤って角膜反射像および
瞳孔エッジであるとして検出されてしまう不都合が防止
される。また、全体領域を処理する場合に比べて、処理
するデータ量を少なくすることが可能となる。

【００４６】また、請求項３に記載の発明によれば、外
光による影響が除去された状態で領域の特定が行われる
こととなるので、本来の角膜反射像および瞳孔エッジが
存在すると思われる領域の予想がより正確に行われるよ
うになり、上述したようなにせの角膜反射像や瞳孔エッ
ジが検出されてしまうという不都合が更に抑制されるよ
うになる。

【００４７】また、請求項４に記載の発明によれば、瞳
孔エッジの検出処理を行う際に、より正確な基準値をも
って処理することが可能となり、眼球の虹彩部分や涙等
の影響によって眼球上に生じる影のエッジ部分が誤って
瞳孔エッジであるとして検出されてしまう不都合が防止
される。

【００４８】また、請求項５または６に記載の発明によ
れば、視線検出処理を連続して行う場合において、視線
検出が一度成功したときは、その後の視線検出処理にお
いて、成功したときに行っていた一連の視線検出処理の
うちの一部の処理が行われないようになり、処理手順を
少なくすることが可能となる。

【００４９】また、請求項７に記載の発明によれば、視
線検出が連続して成功することによって測光処理等がし
ばらく行われていない場合でも、所定回数の連続成功後
には眼球の測光処理等がやり直されるようになり、時間
とともに変化する外光条件に合わせて視線検出が行われ
るようになる。

【００５０】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。なお、視線検出の原理は従来例と同様なので、そ
の説明は省略する。図１は、本実施例による視線検出装
置の要部構成を示すブロック図である。

【００５１】図１において、１は光電変換部であり、測
光手段７による測光によって決定された条件に基づいて
撮影者の眼球像を結像し、その映像信号を生成する。２
は外光除去手段であり、上記光電変換部１より出力され
る映像信号から、外部からの赤外光（例えば、太陽光に
含まれる赤外光成分）に起因する信号成分を除去し、視
線検出のために照射している赤外光に起因する信号成分
のみを取り出す。

【００５２】３はブロック平均化手段であり、上記光電
変換部１に結像される全体像を複数のブロックに分割
し、上記外光除去手段２により外光成分が除去された映
像信号を各ブロックごとに平均化して出力する。４は領
域特定手段であり、上記ブロック平均化手段３より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る。

【００５３】５は領域読み出し手段であり、上記光電変
換部１により生成された全領域の映像信号のうち、上記
領域特定手段４により特定された領域の映像信号のみを
出力する。６は注視点検出手段であり、上記領域読み出
し手段５により読み出された特定領域の映像信号を用い
て角膜反射像および瞳孔エッジを検出することにより、
上記撮影者の注視点を検出する。

【００５４】このように、本実施例では、光電変換部１
により生成される全体像の中から、角膜反射像および瞳
孔エッジが存在すると予想される部分を特定し、その特
定した部分の映像信号のみを用いて視線検出を行ってい
る。

【００５５】これにより、全体像の中に含まれる眼球像
以外の領域内において、本来は角膜反射像や瞳孔エッジ
でない部分が誤って角膜反射像や瞳孔エッジであるとし
て検出されてしまうことを防止して、本来の角膜反射像
および瞳孔エッジのみを正確に検出することができる。
また、光電変換部１の像出力のうち不要な部分について
は演算を行っていないので、全体領域を処理する場合に
比べて処理するデータ量を少なくすることができ、処理
時間を短くすることもできる。

【００５６】また、角膜反射像および瞳孔エッジが存在
すると予想される部分を特定する際に、本来の照明光以
外の外光による信号成分を除去するようにしているの
で、外光による影響を少なくすることができ、領域の特
定をより正確に行うことができるようになる。したがっ
て、視線検出をより正確に行うことができる。

【００５７】なお、ここでは、外光成分を除去した映像
信号を領域特定のために使用しているが、注視点検出手
段６における注視点検出処理に直接用いるようにしても
良い。この場合には、外光成分が除去された映像信号に
基づいて注視点の検出が行われるようになるので、上述
した例と同様に、外部からの赤外光に起因してにせの角
膜反射像や瞳孔エッジが検出されてしまうという不都合
を抑制することができる。

【００５８】また、上記注視点検出手段６は、瞳孔エッ
ジの検出処理を行う前に、上記領域読み出し手段５によ
り読み出された映像信号を用いて瞳孔があると予想され
る部分の輝度値を求め、その輝度値を基準として上記瞳
孔エッジの検出処理を行うように構成しても良い。この
ようにすれば、眼球の虹彩部分や涙等の影響によって眼
球上に影等が生じる場合に、基準値が不当に設定される
ことによってその影のエッジ部分が誤って瞳孔エッジで
あるとして検出されてしまう不都合を防止することがで
きる。

【００５９】８は制御手段であり、装置全体の制御を行
う。例えば、視線検出処理を連続して行う場合であって
視線検出が一度成功した場合には、その後で視線検出を
行うときは、上記測光手段７による撮影者の眼球の測光
処理、上記外光除去手段２による外光除去処理および上
記ブロック平均化手段３によるブロック平均化処理を行
わずに、上記領域特定手段４による領域特定処理から行
うように制御する。

【００６０】このように、本実施例では、視線検出処理
を連続して行う場合において、視線検出が一度成功した
ときは、その後の視線検出処理において、一連の視線検
出処理のうちの一部の処理を行わないようにしているの
で、処理手順を少なくすることができ、全体としての処
理時間を短くすることができる。

【００６１】また、制御手段８は、視線検出が連続して
成功した回数をカウントするカウント手段９を具備して
いる。そして、上記カウント手段９によるカウント値が
所定値よりも大きくなった場合に、上記測光手段７によ
る撮影者の眼球の測光処理、上記外光除去手段２による
外光除去処理および上記ブロック平均化手段３によるブ
ロック平均化処理から再びやり直すように制御する。

【００６２】これにより、視線検出が連続して成功する
ことによって、測光処理等がしばらく行われていない場
合でも、所定回数の連続成功後には眼球の測光処理等が
やり直されるようになり、時間とともに変化する外光条
件に合わせて視線検出を行うことができるようになる。

【００６３】図２（ａ）は、本実施例による外光除去機
能を有するイメージセンサ（撮像装置）２００の構造を
示す概略構成図である。ここに示したイメージセンサ２
００は、図１に示した光電変換部１、外光除去手段２、
ブロック平均化手段３、領域特定手段４および領域読み
出し手段５に相当する手段を具備している。

【００６４】なお、このイメージセンサ２００を利用し
た視線検出手段付きのビデオカメラは、図１２と同様に
構成される。すなわち、本実施例のビデオカメラは、図
１２において、イメージセンサ１３３の代わりに図２
（ａ）のようなイメージセンサ２００を用いたものであ
る。以下では、必要に応じて図１２に示した各構成を引
用して説明する。

【００６５】図２（ａ）において、２０１はイメージセ
ンサ制御回路であり、外部からのイメージセンサ制御信
号を受け、イメージセンサ２００内の各ブロックを制御
する。２０２はイメージセンサ部（光電変換部）であ
り、光電変換により撮影者の眼の映像信号を生成する。

【００６６】２０３はイメージセンサ部２０２から出力
される映像信号を一時的に蓄える第１のメモリ、２０４
は外光除去手段としての減算回路、２０５は減算回路２
０４から出力される映像信号を一時的に蓄える第２のメ
モリである。また、２０６はブロック平均化回路であ
り、上記第２のメモリ２０５からの出力信号を複数のブ
ロックに分割し、分割した各々のブロックで信号の平均
化を行う。

【００６７】２０７は読み出し領域制限回路であり、イ
メージセンサ制御回路２０１から与えられる読み出し領
域制御信号により、上記ブロック平均化回路２０６から
出力される各ブロックの平均化信号に基づいて指定され
た領域の映像信号のみを出力するようにする。

【００６８】次に、上記のように構成したイメージセン
サ２００の外光除去蓄積動作（映像信号から太陽光など
に起因する外光成分を除去し、視線検出のために照射し
ている赤外光に起因する信号成分のみを生成する動作）
を、図２（ｂ）を参照しながら説明する。

【００６９】まず、イメージセンサ部２０２において最
初の電荷蓄積動作を行う。その際、撮影者の眼球を照明
する赤外光照射装置１３０は消灯したままで電荷の蓄積
を行う。この蓄積動作により生じる映像信号は、赤外光
照明による信号成分を含まない信号であり、外光のみに
よる信号成分(SigG1) となる。この外光成分の信号(Sig
G1) は、第１のメモリ２０３に格納される（図２（ｂ）
の蓄積１）。

【００７０】次に、赤外光照射装置１３０を点灯させて
イメージセンサ部２０２の２回目の蓄積動作を行う。こ
のときに生じる映像信号は、赤外光照明による信号成分
と外光による信号成分との両方を含んだ信号(Sig1 ＋Si
gG2)となる（図２（ｂ）の蓄積２）。そして、この赤外
光＋外光成分の信号(Sig1 ＋SigG2)がイメージセンサ部
２０２から減算回路２０４に出力されると同時に、最初
の蓄積動作で得た外光成分の信号(SigG1) が第１のメモ
リ２０３から減算回路２０４に出力される。

【００７１】このとき、最初の蓄積動作により生じた外
光成分の信号(SigG1) と２回目の蓄積動作により生じた
外光成分の信号(SigG2) は、ほぼ等しいとみなしてよ
い。したがって、減算回路２０４からの出力信号は、 (Sig1 ＋SigG2)−(SigG1) ≒(Sig1) となり、外光成分が除かれた赤外光照明による信号成分
(Sig1)のみとなる。この減算回路２０４からの出力信号
(Sig1)は、第２のメモリ２０５に格納される。

【００７２】次に、ブロック平均化回路２０６が行うブ
ロック読み出し動作について説明する。例えば、イメー
ジセンサ部２０２の光電変換素子の数（以下、画素数と
する）が、図３（ａ）のように水平方向に１００画素、
垂直方向に６０画素である場合には、第２のメモリ２０
５には、１００×６０＝６０００個の画素信号が記憶さ
れている。

【００７３】ブロック平均化回路２０６は、これらの画
素信号を水平方向、垂直方向ともに１０画素ごとのブロ
ックに分割し、各々のブロック内で各画素信号の平均を
とるようにする回路である。このブロック平均化回路２
０６から出力されるデータは、図３（ｂ）のように１０
×６＝６０個となる。これにより、画面全体の大まかな
状態を少ない数のデータを処理するだけで把握できるよ
うになる。

【００７４】上記ブロック平均化回路２０６によりブロ
ック平均化された信号は、読み出し領域制限回路２０７
に与えられる。読み出し領域制限回路２０７は、ブロッ
ク平均化回路２０６から与えられるブロック平均化信号
に基づいて、瞳孔エッジや角膜反射像が存在すると予想
される部分を特定し、その特定したブロックの映像信号
のみを次段に出力するようにする。

【００７５】図４は、図２（ａ）のような構成を持つイ
メージセンサ２００を用いて視線検出を行う場合の処理
の流れを示すフローチャートである。なお、図４におい
て、図１４に示した従来例と同じ名称を記した処理は、
同じ動作を行う。

【００７６】まず、図４のステップＰ１では、撮影者の
眼の明るさを測光して、イメージセンサ部２０２の電荷
蓄積時間や映像信号を増幅するアンプゲイン等を決定す
る。そして、ステップＰ２で、上記ステップＰ１にて求
められた電荷蓄積時間およびアンプゲインに基づき、イ
メージセンサ部２０２について上述した外光除去蓄積動
作を行う。

【００７７】次のステップＰ３では、上述したブロック
読み出し処理、すなわち、減算回路２０４で外光成分が
除去されたイメージセンサ部２０２からの映像信号をブ
ロック平均化回路２０６を通して読み出し領域制限回路
２０７に出力する処理を行う。図３（ａ）のような眼球
像がイメージセンサ部２０２上に結像された場合、その
映像信号をブロック平均化回路２０６を通すことで図３
（ｂ）のような画像を得る。これにより、読み出し領域
制限回路２０７内に大まかな眼球像の情報を短時間で取
り込めるようになる。

【００７８】ステップＰ４では、イメージセンサ部２０
２上に結像された全体像のうち、どの部分の映像信号を
読み出して上記マイコン１４１に出力すればよいかを判
断する。例えば、図３（ｂ）のような大まかな眼球像の
情報が読み出し領域制限回路２０７に取り込まれた場
合、読み出し領域制限回路２０７は、そのブロック平均
化された輝度データが基準値よりも小さい領域、すなわ
ち、垂直方向の２０ライン目から４０ライン目までの領
域を読み出すように特定する。

【００７９】ステップＰ５では、図１４のステップＰ３
２に示した従来例と同じ通常の電荷蓄積動作をイメージ
センサ部２０２について行う。ステップＰ６では、上記
ステップＰ５における蓄積動作によって求められた映像
信号のうち、上記ステップＰ４で特定された領域の映像
信号のみをマイコン１４１内に取り込む。そして、ステ
ップＰ７、Ｐ８で、上記マイコン１４１内に取り込んだ
映像信号を用いて、従来例と同じ角膜反射像検出処理お
よび瞳孔エッジ検出処理を行う。

【００８０】次に、ステップＰ９では、上記ステップＰ
４で特定された領域が全て処理されたかどうか、すなわ
ち、特定領域内の全ラインについての処理が完了したか
どうかを判断する。ここで、全ラインの処理が完了して
いないときは、ステップＰ６の処理に戻る。また、全ラ
インの処理が完了したときは、ステップＰ１０に進む。
ステップＰ１０では、上記ステップＰ７、Ｐ８にて求め
られた角膜反射像および瞳孔エッジを基に撮影者の注視
点を演算する。

【００８１】ステップＰ１１では、上記ステップＰ１０
における注視点の演算結果を評価する。そして、ステッ
プＰ１２で、上記ステップ１１における評価結果を基
に、注視点の演算が成功したかどうかを判断する。ここ
で、演算が成功したと判断したときはステップＰ１３に
進み、上記ステップＰ１０で演算された注視点情報をシ
ステムコントロール手段１２８に出力するとともに、ス
テップＰ１４で、注視点の演算が成功したかどうかを示
す成功フラグを“Ｈｉ”にすることにより、演算が成功
したことを記憶する。

【００８２】一方、上記ステップＰ１２にて演算が成功
しなかったと判断した場合には、ステップＰ１５に進
み、成功フラグを“Ｌｏ”にすることにより、演算が失
敗したことを記憶する。次のステップ１６では、視線検
出処理を継続するかどうかを判断する。ここで、視線検
出を継続する場合は、ステップＰ１７に進み、成功フラ
グが“Ｈｉ”であるかどうか、すなわち、注視点の演算
が成功したかどうかを判断する。

【００８３】そして、成功フラグが“Ｈｉ”であれば、
ステップＰ４の処理に戻る。すなわち、ステップＰ３の
ブロック読み出し処理より前の処理は行わずに、前回の
演算で得られた瞳孔中心座標を中心として映像信号の読
み出し領域を新たに特定するようにする。また、成功フ
ラグが“Ｌｏ”であれば、ステップＰ１の処理に戻り、
もう一度最初の処理から実行する。なお、上記ステップ
Ｐ１６において視線検出処理を継続しないと判断した場
合は、処理を終了する。

【００８４】以上のように、従来はイメージセンサ１３
３の全ての領域の映像信号を処理して注視点を演算して
いたのに対し、本実施例によれば、図８（ａ）に示すよ
うに、不要な領域Ｃ，Ｄの情報を除外した有効な領域Ｅ
の映像信号のみを処理して注視点を演算することができ
る。

【００８５】このため、従来、不要な領域Ｃ，Ｄの情報
も用いて演算していたために生じていた“にせ角膜反射
像”や“にせ瞳孔エッジ”の検出という不都合を防ぐこ
とができるようになり、注視点の演算を正確に行うこと
ができる。しかも、処理するデータ量を従来の全画面を
処理する場合に比べて少なくすることができるので、よ
り短時間で演算を行うことができる。

【００８６】さらに、一度演算が成功した場合には、そ
の後の演算処理を、ステップＰ１、Ｐ２、Ｐ３の各処理
を省略してステップＰ４の処理から行うようにしている
ので、処理手順を少なくすることができ、連続して注視
点の演算を行う場合に、より効率的に演算を行うことが
できるようになる。

【００８７】なお、以上の実施例では、図８（ａ）のよ
うに、読み出し領域の特定を垂直方向にのみ行うように
しているが、図８（ｂ）のように、垂直方向および水平
方向の両方向に対して行うようにしてもよい。このよう
にすれば、演算量を更に少なくすることができ、演算時
間を一層短くすることができる。

【００８８】次に、本発明の第２の実施例について説明
する。図５は、この第２の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図５にお
いて、図４に示したステップ番号と同じ番号を付した処
理は、上述した第１の実施例と同じ処理を行うものであ
り、ここでは重複する説明を省略する。

【００８９】図５において、ステップＰ１８では、注視
点の演算が連続して成功した回数をカウントする。ステ
ップＰ１９では、上記ステップＰ１８でカウントされた
連続成功回数がＮ（任意の整数）回以上かどうかを判断
する。ここで、連続成功回数がＮ回以上でなければ、そ
のままステップＰ４の処理に戻る。一方、連続成功回数
がＮ回以上であれば、ステップＰ２０に進んで連続成功
回数のカウント値を０にクリアし、その後、ステップＰ
１の処理に戻る。

【００９０】このように、第２の実施例では、注視点の
演算が連続して成功していても、その累積成功回数がＮ
回以上になったら、最初のステップＰ１における測光処
理から処理をやり直すようにしている。これは、眼球に
照射される外光条件は時間とともに変化し、最初に設定
した蓄積時間と同一の蓄積時間でイメージセンサ部２０
２の蓄積動作を行うと、イメージセンサ部２０２から出
力される映像信号がサチュレーションを起こしてしまう
ため、このような不都合を回避し、より精度のよい蓄積
時間で動作させることができるようにするためである。

【００９１】次に、本発明の第３の実施例について説明
する。図６は、この第３の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図６にお
いて、図５に示したステップ番号と同じ番号を付した処
理は、第２の実施例と同じ処理を行うものであり、ここ
では重複する説明を省略する。

【００９２】図６において、ステップＰ２１では、ステ
ップＰ４における読み出し領域特定処理で特定された領
域の中心部のデータをマイコン１４１内に取り込み、眼
球像の中の最小輝度値を検出する処理を、ステップＰ８
の瞳孔エッジ検出処理に先行して行う。以下に、このよ
うな処理を行っている理由を説明する。

【００９３】図７（ａ）は、領域読み出しを行った眼球
像の一例を示す図である。外光の条件が悪い場合には、
眼球の虹彩部分や涙などの影響により、例えば図７
（ａ）に示した領域Ｇの部分に輝度の低い影ができる場
合がある。

【００９４】ところで、ステップＰ８における瞳孔エッ
ジ検出処理は、以下のようにして行われる。すなわち、
マイコン１４１内の内部メモリ１４２の都合上、図７
（ａ）の白抜矢印で示される処理方向に従ってマイコン
１４１内に映像信号が順次取り込まれて処理され、それ
までに処理された中の最低輝度値を基準にして瞳孔エッ
ジが検出される。一方、虹彩等による影の領域Ｇの輝度
レベルは、瞳孔部の輝度レベルよりも高めになる場合が
ほとんどである。

【００９５】ここで、ステップＰ２１の最低値先行検出
処理を行わない場合の瞳孔エッジの検出を簡単に説明す
る。図７（ａ）のラインＬ１について処理を行う場合に
ついて、図７（ｂ）を参照しながら説明する。この場
合、いままでの最低輝度値Ｓ１に余裕度ｄを加えた値(S
1ref) を基準にして、その基準値(S1ref) と交差する信
号が検出されると、その基準値(S1ref) と検出された信
号との交点部分を瞳孔エッジとみなしてしまう。そうす
ると、図７（ａ）の領域Ｇの部分に“にせ瞳孔エッジ”
が検出され、注視点の演算に障害を与えてしまうおそれ
がある。

【００９６】これに対して、ステップＰ２１の最低値先
行検出処理を行った場合は、図７（ｃ）に示すように、
瞳孔エッジ検出の基準値は、あらかじめラインＬ２の処
理で検出した最低輝度値(S2ref) となるため、図７
（ａ）のラインＬ１について処理を行っても、ラインＬ
１において基準値(S2ref) と交差する点はなくなる。こ
のため、眼球の虹彩部分や涙の影響により多少の影がで
きても、にせ瞳孔エッジは検出されなくなり、より精度
の高い演算を行うことができるようになる。

【００９７】

【発明の効果】上述したように本発明によれば、光電変
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段を設けたので、外部からの赤外光に起因してにせの
角膜反射像や瞳孔エッジが検出されてしまうという不都
合を防止することができ、注視点の検出をより正確に行
うことができる。

【００９８】また、本発明の他の特徴によれば、光電変
換部に結像される全体像を複数のブロックに分割し、各
ブロック内の映像信号を各々平均化して出力するブロッ
ク平均化手段と、上記ブロック平均化手段より出力され
る各ブロックの平均化信号に基づいて、角膜反射像およ
び瞳孔エッジが存在すると予想される領域を特定する領
域特定手段とを設け、上記領域特定手段により特定され
た領域の映像信号を用いて上記撮影者の注視点を検出す
るようにしたので、光電変換部に結像される全体像中に
含まれる眼球像以外の領域内において、にせの角膜反射
像や瞳孔エッジが検出されてしまう不都合を防止して、
本来の角膜反射像および瞳孔エッジのみを正確に検出す
ることができるとともに、全体領域を処理する場合に比
べて、処理するデータ量を少なくすることができるよう
になり、注視点の検出をより正確かつ短時間に行うこと
ができる。

【００９９】また、本発明のその他の特徴によれば、瞳
孔エッジの検出処理を行う前に、瞳孔があると予想され
る部分の映像信号の輝度値を得て、その輝度値を基準と
して上記瞳孔エッジの検出処理を行うようにしたので、
眼球の虹彩部分や涙等の影響によって不要な瞳孔エッジ
が検出されてしまう不都合を防止することができ、注視
点の検出を更に正確に行うことができる。

【０１００】また、本発明のその他の特徴によれば、視
線検出処理を連続して行う場合であって視線検出が一度
成功した場合には、その後で視線検出を行うときに、一
連の視線検出処理のうちの一部の処理を行わないように
制御するようにしたので、処理手順を少なくすることが
でき、注視点の検出を更に短い時間で行うことができ
る。

【０１０１】また、本発明のその他の特徴によれば、視
線検出が連続して成功した回数をカウントするカウント
手段を設け、そのカウント値が所定値よりも大きくなっ
た場合に、それまで省略していた上記一部の処理を再び
やり直すように制御するようにしたので、時間とともに
変化する外光条件に合わせて視線検出を行うことができ
るようになり、視線検出を更に正確に行うことができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例である視線検出装置の要部構
成を示すブロック図である。

【図２】本発明の撮像装置の一実施例であるイメージセ
ンサの構成および動作を示す図である。

【図３】イメージセンサ部に結像される眼球像の概略お
よびブロック平均化された眼球像の概略を示す図であ
る。

【図４】第１の実施例による視線検出処理の流れを示す
フローチャートである。

【図５】第２の実施例による視線検出処理の流れを示す
フローチャートである。

【図６】第３の実施例による視線検出処理の流れを示す
フローチャートである。

【図７】第３の実施例において領域読み出しされた眼球
像の概略および瞳孔エッジ検出処理の内容を示す図であ
る。

【図８】第１および第２の実施例において領域読み出し
された眼球像の概略を示す図である。

【図９】従来のイメージセンサ上の眼球像の概略を示す
図である。

【図１０】視線検出処理の原理を説明するための図であ
る。

【図１１】視線検出処理の原理を説明するための図であ
る。

【図１２】従来のビデオカメラの構成を示す図である。

【図１３】注視点検出回路の構成例を示す図である。

【図１４】従来の視線検出処理の流れを示すフローチャ
ートである。

【符号の説明】

１光電変換部２外光除去手段３ブロック平均化手段４領域特定手段５領域読み出し手段６注視点検出手段７測光手段８制御手段９カウント手段２００イメージセンサ２０２イメージセンサ部２０４減算回路２０６ブロック平均化回路２０７読み出し領域制限回路１３０赤外光照射装置１３４注視点検出回路１４１マイクロコンピュータ１４５ＣＰＵ

Claims

【特許請求の範囲】

【請求項１】撮影者が注視している位置を検出するた
めの視線検出装置であって、上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、上記外光除去手段により取り出された映像信号を用いて
上記撮影者の注視点を検出する注視点検出手段とを具備
することを特徴とする視線検出装置。
【請求項２】撮影者が注視している位置を検出するた
めの視線検出装置であって、上記撮影者の眼球像を生成する光電変換部に結像される
全体像を複数のブロックに分割し、各ブロック内の映像
信号を各々平均化して出力するブロック平均化手段と、上記ブロック平均化手段より出力される各ブロックの平
均化信号に基づいて、角膜反射像および瞳孔エッジが存
在すると予想される領域を特定する領域特定手段と、上記領域特定手段により特定された領域の映像信号を用
いて上記撮影者の注視点を検出する注視点検出手段とを
具備することを特徴とする視線検出装置。
【請求項３】撮影者が注視している位置を検出するた
めの視線検出装置であって、上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、上記光電変換部に結像される全体像を複数のブロックに
分割し、上記外光除去手段により外光成分が除去された
映像信号を各ブロックごとに平均化して出力するブロッ
ク平均化手段と、上記ブロック平均化手段より出力される各ブロックの平
均化信号に基づいて、角膜反射像および瞳孔エッジが存
在すると予想される領域を特定する領域特定手段と、上記領域特定手段により特定された領域の映像信号を用
いて上記撮影者の注視点を検出する注視点検出手段とを
具備することを特徴とする視線検出装置。
【請求項４】上記注視点検出手段は、瞳孔エッジの検
出処理を行う前に瞳孔があると予想される部分の映像信
号の輝度値を得て、その輝度値を基準として上記瞳孔エ
ッジの検出処理を行うことを特徴とする請求項１〜３の
何れか１項に記載の視線検出装置。
【請求項５】視線検出処理を連続して行う場合におい
て、視線検出が一度成功した後で再び視線検出を行うと
きに、上記撮影者の眼球の測光処理、上記外光除去手段
による外光除去処理および上記ブロック平均化手段によ
るブロック平均化処理を行わずに、上記領域特定手段に
よる領域特定処理から行うように制御する制御手段を具
備することを特徴とする請求項３に記載の視線検出装
置。
【請求項６】視線検出処理を連続して行う場合におい
て視線検出が一度成功した後で次の視線検出を行うとき
に、上記領域特定手段は、前回検出された瞳孔付近の領
域を優先して特定するようにすることを特徴とする請求
項５に記載の視線検出装置。
【請求項７】上記制御手段は、視線検出が連続して成
功した回数をカウントするカウント手段を具備し、上記カウント手段によるカウント値が所定値よりも大き
くなった場合に、上記撮影者の眼球の測光処理、上記外
光除去手段による外光除去処理および上記ブロック平均
化手段によるブロック平均化処理を再び行った後、それ
により得られる平均化信号を用いて上記領域特定手段に
よる領域特定処理を行うように制御することを特徴とす
る請求項５に記載の視線検出装置。
【請求項８】撮影者が注視している位置を検出するた
めの視線検出装置に用いられる撮像装置であって、上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、上記光電変換部に結像される全体像を複数のブロックに
分割し、上記外光除去手段により外光成分が除去された
映像信号を各ブロックごとに平均化して出力するブロッ
ク平均化手段と、上記光電変換部により生成される全体像の映像信号のう
ち、上記ブロック平均化手段より出力される各ブロック
の平均化信号から角膜反射像および瞳孔エッジが存在す
ると予想される特定の領域の映像信号のみを出力する領
域読み出し手段とを具備することを特徴とする撮像装
置。