JPH089222A - 視線検出機能付き撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 視線検出時に眼球照明手段の異常を自動的に
判定して適切な処置をとれるようにする。 【構成】 マイクロコンピュータのＣＰＵは、２つの角
膜反射像の出力レベル、すなわち明度（輝度）に基づい
て眼球照明の異常判定処理（角膜反射像監視処理）を行
い、異常であると判定したときは、その旨を表示して警
告すると共に、ＩＲＥＤ点灯回路への電源供給を停止す
る。眼球照明の異常判定処理は、２つの角膜反射像の出
力レベルと所定の基準値とを比較したり、２つの角膜反
射像の出力レベルの比率や差と所定の基準値とを比較し
たりすることにより行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線検出装置を備えた
ビデオカメラ等の撮像装置に関する。

【０００２】

【従来の技術】従来、ビデオカメラ等に備えられ、前記
ビデオカメラのファインダー画面に表示されたズーム、
フェード等の機能を意味する指標を視線で選択して前記
機能を働かせたり、前記ファインダー画面の注視点にフ
ォーカスを合わせたりする、いわゆる視線入力機能に用
いられる視線検出装置が提案されている。以下、この視
線検出装置の原理を説明する。

【０００３】図１２（ａ）は視線検出方法の原理図（上
面図）、図１２（ｂ）は視線検出方法の原理図（側面
図）である。

【０００４】図１２（ａ），（ｂ）において、１２０６
ａ，１２０６ｂは観察者に対して不感の赤外光を放射す
る発光ダイオード（ＩＲＥＤ）等の光源であり、各光源
は結像レンズ１２１１の光軸に対してｘ方向（水平方
向）に略対象に（図１２（ａ）参照）、またｙ方向（垂
直方向）にはやや下側に（図１２（ｂ）参照）配置さ
れ、観察者の眼球を発散照射している。眼球で反射した
照明光の一部は結像レンズ１２１１によってイメージセ
ンサ１２１２に結像する。図１３（ａ）はイメージセン
サ１２１２に投影される眼球像の概略図、図１３（ｂ）
はイメージセンサ１２１２の出力強度図である。

【０００５】以下、各図を用いて視線の検出方法を説明
する。まず水平面で考えると、図１２（ａ）において光
源１２０６ｂより放射された赤外光は観察者の眼球１２
０８の角膜１２１０を照明する。このとき、角膜１２１
０の表面で反射した赤外光により形成される角膜反射像
ｄ（虚像）は結像レンズ１２１１により集光され、イメ
ージセンサ１２１２上の位置ｄ′に結像する。同様に光
源１２０６ａより放射された赤外光は眼球の角膜１２１
０を照明する。このとき、角膜１２１０の表面で反射さ
れた赤外光により形成された角膜反射像ｅ（虚像）は、
結像レンズ１２１１により集光され、イメージセンサ１
２１２上の位置ｅ′に結像する。

【０００６】また、虹採１２０４で囲まれた瞳孔１３０
１のエッジａ，ｂからの光束は、結像レンズ１２１１を
介してイメージセンサ１２１２上の位置ａ′，ｂ′に該
エッジａ，ｂの像を結像する。結像レンズ１２１１の光
軸に対する眼球１２０８の光軸の回転角θが小さい場
合、瞳孔１３０１のエッジａ，ｂのｘ座標をｘａ，ｘｂ
とすると、ｘａ，ｘｂはイメージセンサ１２１２上で多
数点求めることが出来る（図１３（ａ）中の×印参
照）。そこで、まず円の最小二乗法等によって瞳孔中心
ｘｃを算出する。一方、角膜１２１０の曲率中心ｏのｘ
座標をｘｏとすると、眼球１２０８の光軸に対する回転
角θｘは、

【数１】ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ となる。また、角膜反射像ｄとｅの中点ｋに所定の補正
値δｘを考慮してｘｏを求めると、

【数２】ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ

【０００７】ここで、δｘは装置の設置方法、眼球距離
等から幾何学的に求められる数値である（その算出方法
は省略する）。そこで、数式１を数式２へ代入してθｘ
を求めると、

【数３】θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘ
ｅ）／２＋δｘ｝］／ｏｃ］ となり、さらに、イメージセンサ６１２上に投影された
各々の特徴点の座標を、「′」（ダッシュ）をつけてθ
ｘを書き換えると、

【数４】θｘ＝ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋
ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ となる。

【０００８】ここで、βは結像レンズ１２１１に対する
眼球１２０８の距離ｓｚｅにより決まる倍率であり、実
際は角膜反射像の間隔｜ｘｄ′−ｘｅ′｜の関数として
求められる。

【０００９】次に、垂直面で考えると、図１２（ｂ）の
ような構成となる。すなわち、ここで、２個の光源（Ｉ
ＲＥＤ）１２０６ａ，１２０６ｂにより生じる角膜反射
像は同じ垂直位置に発生し、この座標をｙｉとする。眼
球１２０８の回転角θｙの算出方法は水平面の場合とほ
ぼ同一であるが数式２のみ異なり、角膜曲率中心ｏのｙ
座標をｙｏとすると、

【数５】ｙｏ＝ｙｉ＋δｙ となる。

【００１０】ここで、δｙは装置の配置方法、眼球距離
等から幾何学に求められる数値である（その算出法は省
略する）。よって、垂直方向の回転角θｙは、

【数６】θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δ
ｙ′）］／ｏｃ／β］ となる。なお、ｙｃ′は瞳孔中心の垂直方向のイメージ
センサ１２１２上の座標である。

【００１１】さらに、ビデオカメラのファインダー画面
上の位置座標（ｘｎ，ｙｎ）は、ファインダー光学系で
決まる定数ｍを用いると、水平面上、垂直面上それぞ
れ、

【数７】ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ′−｛（ｘ
ｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］

【数８】ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ′−｛（ｙ
ｉ′＋δｙ′）］／ｏｃ／β］ となる。

【００１２】図１３で明らかなように、瞳孔エッヂの検
出はイメージセンサ１２１２の出力波形の立ち上がり
（ｘｂ′）、立ち下がり（ｘａ′）を利用する。また、
角膜反射像の座標は鋭い立ち上がり部（ｘｅ′及びｘ
ｄ′）を利用する。

【００１３】次に、視線によるフォーカス調整の機能を
説明する。図１４は、視線フォーカス調整機能を持つビ
デオカメラの１例を示す構成概略図である。

【００１４】図１４に示したビデオカメラは、ズームレ
ンズを備え被写体を撮像するレンズ撮像系１０１とファ
インダー画面１０２を備え、レンズ撮像系１０１により
撮像される被写体を観察するためのファインダー１０３
と、このファインダー１０３の前に配置された接眼レン
ズ１０４と、撮影者の眼１０５の視線を検出する視線検
出部１０６と、フォーカスエリアの概略を表すＡＦ枠、
その他テープカウンターや撮影モードなど撮影者に必要
な情報をファインダー画面１０２へ表示する表示回路１
０７と、このカメラの各部を制御するシステムコントロ
ーラ１０８を有している。

【００１５】視線検出部１０６は、撮影者の眼１０５に
赤外光を照射する赤外発光ダイオード１６０と、可視光
を透過し赤外光を反射するダイクロイックミラー１６１
と、このダイクロイックミラー１６１にて反射された赤
外光を集光する集光レンズ１６２と、この集光レンズ１
６２により集光された赤外光を電気信号に変換する撮像
素子（ＣＣＤ等の光電変換素子）１６３と、この撮像素
子１６３上の撮影者の眼１０５の像を基に、撮影者のフ
ァインダー画面１０２上の注視点を求める注視点検出回
路１６４とを具備している。

【００１６】ダイクロイックミラー１６１は、可視光を
透過するため、撮影者が接眼レンズ１０４を通してファ
インダー画面１０２を観察できるようになっている。ま
た、ダイクロイックミラー１６１は、赤外光を反射する
ため、赤外発光ダイオード１６０によって照射された眼
１０５の反射像を反射する。そして、反射された眼１０
５の反射像は、集光レンズ１６２で集光されて撮像素子
１６３上に結像される。

【００１７】図１５は、注視点検出回路１６４の一例を
示す構成概略図である。注視点検出回路１６４は主にマ
イクロコンピュータ２１で構成され、内部にメモリ部２
２、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器２４、およびＣＰ
Ｕ２５を有し、ＣＰＵ２５は、上記赤外発光ダイオード
１６０を含む図示省略した赤外光照射装置に対して、赤
外光点灯タイミングと赤外光の発光量を制御する赤外光
制御信号をＤ／Ａ変換器２４を介して転送する。

【００１８】また、ＣＰＵ２５は、光電変換素子１６３
を制御する光電変換素子制御信号を出力する。そして、
赤外光を照射した時に結像された光電変換素子１６３上
の撮影者の眼１０５の映像信号をＡ／Ｄ変換２３でＡ／
Ｄ変換し、内部メモリ２２にそのデータを格納する。次
に、格納された映像信号データを基に、前述した原理や
特開平１−２４１５１１，２−３２３１２号公報等によ
って開示されたアルゴリズムに従い、撮影者のファイン
ダー画面１０２上の注視点を求める。

【００１９】図１６は、上記注視点検出回路１６４を構
成するマイクロコンピュータ２１内のＣＰＵ２５の処理
手順の概略を示したフローチャートである。

【００２０】ＣＰＵ２５は、光電変換素子起動信号を出
力し（ステップＳ１６０１）、ＩＲＥＤ点灯信号を出力
する（ステップＳ１６０２）。そして、赤外光が撮影者
の眼１０５に照射されてその反射像が光電変換素子１６
３上に結像されるのを待って（ステップＳ１６０３）、
ＩＲＥＤ消灯信号を出力する（ステップＳ１６０４）。
次に、撮影者の眼１０５の映像信号を光電変換素子１６
３から読出し（ステップＳ１６０５）、Ａ／Ｄ変換器２
３によりＡ／Ｄ変換して内部メモリ２２に蓄積する（ス
テップＳ１６０６）。

【００２１】そして、光電変換素子停止信号を出力し
（ステップＳ１６０７）、内部メモリ２２に蓄積された
撮影者の眼１０５の映像信号に基づいて注視点演算処理
を行って、撮影者のファインダー画面１０２上の注視点
を求め（ステップＳ１６０８）、その注視点データをシ
ステムコントローラ１０８に出力する（ステップＳ１６
０９）。そして、視線検出を継続するか否を判別し（ス
テッチプＳ１６１０）、継続する場合はステップＳ１６
０１に戻り、継続しない場合はステッチプＳ１６１０に
戻って再度視線検出を継続するか否を判別する。なお、
システムコントローラ１０８は、注視点データに基づい
てレンズ撮像系１０１を駆動し、撮影者の注視点にフォ
ーカスが合うように制御したり、或いは視線スイッチに
よるズーミング、フェード等の機能を実行したりする。

【００２２】

【発明が解決しようとする課題】しかし、このような従
来の構成では、赤外光照射装置１６０の故障等で眼の照
明が正常に行えない場合、前記角膜反射像が正常に発生
しないため正しい注視点の情報が得られない。

【００２３】例えば、図１２（ａ）の発光ダイオード１
２０６ａが通常より暗い場合、イメージセンサの出力強
度図は図１３（ｃ）に示したように、瞳孔エッジ部のＸ
ｂ′１の立ち下がりが小さくなり、マイコンが瞳孔エッ
ジと判断できなくなる。このため、注視点（視線）を正
確に検出できなくなり、撮影者が注視した点とは異なる
点に誤って合焦させたり、或いは撮影者が所望する視線
スイッチとは別の視線スイッチによってズーミング、フ
ェード等の機能が誤って実行されたりするという問題が
あった。

【００２４】しかも、眼の照明手段が人間の眼に不感の
赤外発光ダイオード（ＩＲＥＤ）であるため、撮影者等
の肉眼でＩＲＥＤの発光状態を確認できないという欠点
があった。

【００２５】本発明は、このような背景の下になされた
もので、その第１の目的は、視線検出時に眼球照明手段
の異常を自動的に判定できるようにすることにある。

【００２６】本発明の第２の目的は、視線検出時に眼球
照明手段の異常を自動的に判定して適切な処置をとれる
ようにすることにある。

【００２７】

【課題を解決するための手段】上記第１の目的を達成す
るため、請求項１記載の発明は、眼球照明手段により眼
球に照射された光に対する角膜反射像を利用して視線を
検出する視線検出手段を備えた視線検出機能付き撮像装
置において、前記角膜反射像の明度を検出する明度検出
手段と、該明度検出手段により検出された前記角膜反射
像の明度に基づいて前記眼球照明手段の異常を判定する
異常判定手段とを備えている。

【００２８】上記第２の目的を達成するため、請求項２
記載の発明は、眼球照明手段により眼球に照射された光
に対する角膜反射像を利用して視線を検出する視線検出
手段を備えた視線検出機能付き撮像装置において、前記
角膜反射像の明度を検出する明度検出手段と、該明度検
出手段により検出された前記角膜反射像の明度に基づい
て前記眼球照明手段の異常を判定する異常判定手段と、
該異常判定手段により前記眼球照明手段が異常であると
判定された際、前記眼球照明手段への電源供給を停止す
る電源供給停止手段とを備えている。

【００２９】上記第２の目的を達成するため、請求項３
記載の発明は、眼球照明手段により眼球に照射された光
に対する角膜反射像を利用して視線を検出する視線検出
手段を備えた視線検出機能付き撮像装置において、前記
角膜反射像の明度を検出する明度検出手段と、該明度検
出手段により検出された前記角膜反射像の明度に基づい
て前記眼球照明手段の異常を判定する異常判定手段と、
該異常判定手段により前記眼球照明手段が異常であると
判定された際、その旨を警告する警告手段とを備えてい
る。

【００３０】上記第１，または第２の目的を達成するた
め、請求項４記載の発明では、請求項１，請求項２，ま
たは請求項３における前記明度検出手段は、前記角膜反
射像の複数の位置の明度を検出するように構成されてい
る。

【００３１】上記第１，または第２の目的を達成するた
め、請求項５記載の発明では、請求項４における前記異
常判定手段は、明度検出手段により検出された前記角膜
反射像の複数の位置の明度の比率を基準値と比較するこ
とにより前記眼球照明手段の異常を判定するように構成
されている。

【００３２】上記第１，または第２の目的を達成するた
め、請求項６記載の発明では、請求項４における前記異
常判定手段は、明度検出手段により検出された前記角膜
反射像の複数の位置の明度の差を基準値と比較すること
により前記眼球照明手段の異常を判定するように構成さ
れている。

【００３３】上記第１，または第２の目的を達成するた
め、請求項７記載の発明では、請求項４における前記異
常判定手段は、明度検出手段により検出された前記角膜
反射像の複数の位置の明度を基準値と比較することによ
り前記眼球照明手段の異常を判定するように構成されて
いる。

【００３４】上記第１，または第２の目的を達成するた
め、請求項８記載の発明では、請求項１，請求項２，ま
たは請求項３における前記異常判定手段は、前記視線検
出手段による視線検出処理が複数回実行される毎に前記
眼球照明手段の異常を判定するように構成されている。

【００３５】上記第１，または第２の目的を達成するた
め、請求項９記載の発明では、請求項１，請求項２，ま
たは請求項３における前記異常判定手段は、前記視線検
出手段による複数回の視線検出処理に亘って連続して所
定の判定条件を満足したときに、前記眼球照明手段が異
常であると判定するように構成されている。

【００３６】

【作用】請求項１記載の発明では、前記異常判定手段
は、前記明度検出手段により検出された前記角膜反射像
の明度に基づいて前記眼球照明手段の異常を判定するこ
とにより、視線検出時に眼球照明手段の異常を自動的に
判定する。

【００３７】請求項２記載の発明では、前記異常判定手
段は、前記明度検出手段により検出された前記角膜反射
像の明度に基づいて前記眼球照明手段の異常を判定し、
前記電源供給停止手段は、前記異常判定手段により前記
眼球照明手段が異常であると判定された際、前記眼球照
明手段への電源供給を停止することにより、視線検出時
に眼球照明手段の異常を自動的に判定して適切な処置を
とれるようにする。

【００３８】請求項３記載の発明では、前記異常判定手
段は、前記明度検出手段により検出された前記角膜反射
像の明度に基づいて前記眼球照明手段の異常を判定し、
前記警告手段は、前記異常判定手段により前記眼球照明
手段が異常であると判定された際、その旨を警告するこ
とにより、視線検出時に眼球照明手段の異常を自動的に
判定して適切な処置をとれるようにする。

【００３９】請求項４記載の発明では、請求項４記載の
発明では、請求項１，請求項２，または請求項３におけ
る前記明度検出手段は、前記角膜反射像の複数の位置の
明度を検出することにより、視線検出時に眼球照明手段
の異常を自動的により的確に判定し、または更により適
切な処置をとれるようにする。

【００４０】請求項５記載の発明では、請求項４におけ
る前記異常判定手段は、明度検出手段により検出された
前記角膜反射像の複数の位置の明度の比率を基準値と比
較することにより前記眼球照明手段の異常を判定し、視
線検出時に眼球照明手段の異常を自動的により的確に判
定し、または更により適切な処置をとれるようにする。

【００４１】請求項６記載の発明では、請求項４におけ
る前記異常判定手段は、明度検出手段により検出された
前記角膜反射像の複数の位置の明度の差を基準値と比較
することにより前記眼球照明手段の異常を判定し、視線
検出時に眼球照明手段の異常を自動的により的確に判定
し、または更により適切な処置をとれるようにする。

【００４２】請求項７記載の発明では、請求項４におけ
る前記異常判定手段は、明度検出手段により検出された
前記角膜反射像の複数の位置の明度を基準値と比較する
ことにより前記眼球照明手段の異常を判定し、視線検出
時に眼球照明手段の異常を自動的により的確に判定し、
または更により適切な処置をとれるようにする。

【００４３】請求項８記載の発明では、請求項１，請求
項２，または請求項３における前記異常判定手段は、前
記視線検出手段による視線検出処理が複数回実行される
毎に前記眼球照明手段の異常を判定することにより、視
線検出時に眼球照明手段の異常を自動的に判定し、また
は更に適切な処置をとれるようにすると共に、単位時間
当たりの視線検出処理回数を多くする。

【００４４】請求項９記載の発明では、請求項１，請求
項２，または請求項３における前記異常判定手段は、前
記視線検出手段による複数回の視線検出処理に亘って連
続して所定の判定条件を満足したときに、前記眼球照明
手段が異常であると判定することにより、視線検出時に
眼球照明手段の異常を自動的に判定し、または更に適切
な処置をとれるようにすると共に、涙などによる瞬間的
な前記角膜反射像の明度の変化により前記眼球照明手段
が異常であると誤判定するのを防止する。

【００４５】

【実施例】以下、本発明の実施例を図面を参照しながら
説明する。視線検出の原理は従来例と同様であるので説
明を省略する。

【００４６】図１は、本発明の実施例による視線検出機
能付き撮像装置の概略構成を示すブロック図であり、構
成要素は図１４に示した従来例と同様となっているの
で、その説明は省略する。

【００４７】図２は、本発明の実施例における注視点検
出回路の一例を示す構成図である。この注視点検出回路
１６４の構成要素も図１５に示した従来例と同様となっ
ているので、相違点だけを簡単に説明すると、マイクロ
コンピュータ２１からは従来の制御信号の他に、新たに
眼球照明エラー信号と赤外光電源制御信号が出力される
よう構成されている。

【００４８】図３は、本発明の実施例における赤外光照
射装置の一例を示す構成図であり、スイッチ３１とＩＲ
ＥＤ点灯回路３２を有している。この赤外光照射装置１
６０（図１における赤外発光ダイオードに相当）には図
示しない外部からの電源がスイッチ３１に入力されてい
る。

【００４９】ＩＲＥＤ点灯回路３２は、赤外発光ダイオ
ード（ＩＲＥＤ）やトランジスタ等で構成されており、
注視点検出回路１６４からの赤外光制御信号によりＩＲ
ＥＤの発光が制御される。このＩＲＥＤ点灯回３２の電
源はスイッチ３１に接続されている。スイッチ３１は注
視点検出回路１６４からの赤外光電源制御信号により開
閉される。

【００５０】図４は、本発明の実施例における注視点検
出回路１６４内のマイクロコンピュータ２１の処理の流
れを示すフローチャートである。

【００５１】マイクロコンピュータ２１のＣＰＵ２５
は、ステップＳ４０１〜Ｓ４０８までは、図１６に示し
た従来例と同様の処理を行う。すなわち、ＣＰＵ２５
は、光電変換素子起動信号を出力し（ステップＳ４０
１）、ＩＲＥＤ点灯信号を出力する（ステップＳ４０
２）。そして、赤外光が撮影者の眼１０５に照射されて
その反射像が光電変換素子１６３上に結像されるのを待
って（ステップＳ４０３）、ＩＲＥＤ消灯信号を出力す
る（ステップＳ４０４）。

【００５２】次に、撮影者の眼１０５の映像信号を光電
変換素子１６３から読出し（ステップＳ４０５）、Ａ／
Ｄ変換器２３によりＡ／Ｄ変換して内部メモリ２２に蓄
積する（ステップＳ４０６）。そして、光電変換素子停
止信号を出力し（ステップＳ４０７）、内部メモリ２２
に蓄積された撮影者の眼１０５の映像信号に基づいて注
視点演算処理を行って、撮影者のファインダー画面１０
２上の注視点を求める（ステップＳ４０８）。

【００５３】次に、所定の角膜反射像監視処理を行って
（ステップＳ４０９）、眼球照明が正常になされている
か否かを判別する（ステップＳ４１０）。その結果、眼
球照明が正常になされてれば、注視点データをシステム
コントローラ１０８に出力する（ステップＳ４１１）。
そして、視線検出を継続するか否を判別し（ステッチプ
Ｓ４１２）、継続する場合はステップＳ４０１に戻り、
継続しない場合はステップＳ４１２に戻って再度視線検
出を継続するか否を判別する。

【００５４】一方、眼球照明が異常になされている判別
されたときは、システムコントローラ１０８に眼球照明
エラー信号を出力し（ステップＳ４１３）、赤外光照明
装置１６０に赤外光電源オフ信号を出力する（ステップ
Ｓ４１４）。

【００５５】［第１実施例］次に、図４のステップＳ４
０９における角膜反射像監視処理の第１実施例を図５の
フローチャートに従って説明する。図５におけるＰｅと
は、図６に示した角膜反射像ｅの像出力レベルであり、
Ｐｄとは角膜反射像ｄの像出力レベルである。

【００５６】角膜反射像監視処理では、まず、角膜反射
像ｅ，ｄの像出力レベル（明度、輝度）Ｐｅ，Ｐｄの大
きさを比較して、２つの像出力レベルの比率αを算出す
る（ステップＳ５０１〜Ｓ５０３）。次に、像出力レベ
ルの比率αが最大許容角膜反射像比率αｍａｘ以下であ
るか否かを判別し（ステップＳ５０４）、α＞αｍａｘ
であれば、眼球照明異常であると判定する（ステップＳ
５１０）。

【００５７】また、Ｐｅ，Ｐｄそれぞれの像レベルが最
大像出力レベルＰｍａｘより大きい場合や（ステップＳ
５０５，Ｓ５０６）、最小像出力レベルＰｍｉｎ未満の
場合も（ステップＳ５０７，Ｓ５０８）、眼球照明異常
と判定する。これらの条件を全て満足した場合には、眼
球照明は正常であると判定する（ステップＳ５０９）。

【００５８】図７は、上記判定の状態を示す図であり、
縦軸を角膜反射像ｄの像出力レベルＰｄ、横軸を角膜反
射像ｅの像出力レベルＰｅとしている。本図において、
Ｐｅ，Ｐｄが斜線部内の関係にある場合は眼球照明は正
常と判定され、それ以外の関係にある場合は眼球照明エ
ラーと判定されることになる。

【００５９】このような処理により、例えば図６（ｂ）
のような角膜反射像の場合は正眼球照明が正常と判定さ
れ、図６（ｃ），（ｄ）のような場合は眼球照明異常と
判断される。眼球照明異常と判定されると、図１のシス
テムコントローラ１０８に眼球照明エラー信号が出力さ
れ、システムコントローラ１０８は、表示回路１０７に
眼球照明エラー表示を行うように制御する。その結果、
表示回路１０７は、ファインダー画面１０２に図８
（ａ）に示すような眼球照明エラー表示を行い、撮影者
に警告する。

【００６０】なお、警告の方法は、文字によるメッセー
ジでなくてもよく、図８（ｂ）に示すように、通常では
点灯表示しているＡＦ枠を点滅表示に変化させるなどし
てもよい。また、Ｐｅ，Ｐｄそれぞれの像レベルが最大
像出力レベルＰｍａｘより大きい場合や、最小像出力レ
ベルＰｍｉｎ未満の場合には、対応する発光ダイオード
１２０６ａ，または１２０６ｂ等が異常であるというい
うように、異常発生した発光ダイオードを個別に指摘し
て警告することにより、より的確にメンテナンスを行う
ことが可能となる。

【００６１】さらに、眼球照明エラーと判定されると、
図１の注視点検出回路１６４から、赤外光電源オフ信号
が赤外光照明装置１６０に出力され、これによりスイッ
チ３１がオフされてＩＲＥＤ点灯回路３２の電源がオフ
されるので、不要な電源消費を抑制することができる。
また、所望する視線スイッチ以外の視線スイッチをオン
してズーミングやフェード等を誤って実行させたり、所
望するものとは異なる被写体に誤って合焦させたりする
のを防止できる。

【００６２】［第２実施例］次に、角膜反射像監視処理
の第２実施例を図９のフローチャートに従って説明す
る。

【００６３】第２実施例では、視線検出処理を行う毎に
眼球照明の異常判定を行うことなく、１０回の視線検出
処理中に１回の割合で眼球照明の異常判定を行うように
している。

【００６４】すなわち、視線検出処理回数カウンタＣを
“１”だけインクリメントし（ステップＳ９０１）、視
線検出処理回数カウンタＣ内の視線検出処理回数が“１
０”になったか否かを判別する（ステップＳ９０２）。
その結果、視線検出処理回数が“１０”になっていなけ
れば、そのまま終了することにより、眼球照明の異常判
定処理を回避する。

【００６５】一方、視線検出処理回数が“１０”になっ
ていれば、視線検出処理回数カウンタＣを“０”にリセ
ットする（ステップＳ９０４）。その後は、図５に示し
た第１実施例とほぼ同様の条件に従って眼球照明の異常
判定を行うので（ステップＳ９０４〜Ｓ９１０）、その
詳細な説明は省略するが、本実施例では、２つの像出力
レベルの比率αの代わりに、２つの像出力レベルの差の
絶対値Ｄを判断基準とし、この差の絶対値Ｄが最大許容
値Ｄｍａｘより大きいことを条件として、眼球照明の異
常を判定している点で第１実施例と異なる。

【００６６】このような処理の結果、本実施例において
眼球照明が正常と判定される角膜反射像ｅ，ｄの像出力
レベルＰｅ，Ｐｄの関係は、図１０の斜線の領域とな
る。本実施例では、本来の視線検出処理の所要時間に対
する角膜反射像監視処理の所要時間が少なくなり、連続
して視線検出処理を行う場合に、単位時間当たりの視線
検出回数を多くすることができる。

【００６７】なお、本実施例において眼球照明の異常判
定を第１実施例と同一の条件で行うことも可能である。
また、眼球照明の異常判定の間隔は、視線検出処理回数
１０回につき１回でなく、自由に設定してもよく、さら
に、間隔を眼の状態に応じて可変できるようにしてもよ
い。

【００６８】［第３実施例］次に、角膜反射像監視処理
の第２実施例を図１１のフローチャートに従って説明す
る。

【００６９】第３実施例では、第２実施例と同様に、眼
球照明の異常判定を視線検出処理回数１０回につき１回
だけ行っているが、ステップＳ１１０９，Ｓ１１１０，
Ｓ１１１１の処理を追加することで、第１，第２実施例
のように判定条件を１回満足するだけで眼球照明が異常
であると判定することなく、判定条件を５回連続して満
足したときに、眼球照明が異常であると判定している。

【００７０】すなわち、判定条件を１つでも満足したと
きは、判定条件満足回数カウンタＥを“１”だけインク
リメントし（ステップＳ１１１０）、判定条件満足回数
が５回に達したか否かを判別する（ステップＳ１１１
１）。その結果、判定条件満足回数が５回に達したとき
は、眼球照明が異常であると判定し（ステップＳ１１１
３）、５回に達していないときは、眼球照明が正常であ
ると判定する（ステップＳ１１１２）。

【００７１】また、５つの判定条件を全て満足したとき
は、判定条件満足回数カウンタＥを“０”クリアするこ
とにより（ステップＳ１１０９）、判定条件を５回連続
して満足したときに、眼球照明が異常であると判定され
るようにする。

【００７２】このような処理により、眼の涙等による瞬
間的な角膜反射像の変化で直ちに眼球照明異常と判定す
ることがなくなり、眼球照明の異常による角膜反射像の
変化をより正確に判断できる。なお、この実施例では、
判定条件を５回連続して満足したときに眼球照明が異常
であると判定しているが、この回数の閾値は、必ずしも
５回である必要はなく、自由に設定可能であることは言
うまでもない。

【００７３】なお、本発明は上記実施例に限定されるこ
となく、例えば、赤外発光ダイオード等の眼球照明手段
（光源）が１つだけ設けられ、複数設けられていない場
合にも適用することが可能である。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
視線検出時に眼球照明手段の異常を自動的に判定し、そ
の判定に基づいて眼球照明手段の電源をオフしたり、警
告を発することにより、メンテナンス性を向上でき、不
要な電源消費を抑制でき、或いは、所望する視線スイッ
チ以外の視線スイッチをオンしてズーミングやフェード
等を誤って実行させたり、所望するものとは異なる被写
体に誤って合焦させたりするのを防止できる。

【図面の簡単な説明】

【図１】本発明の実施例による視線検出機能付き撮像装
置の概略構成を示すブロック図である。

【図２】本発明の実施例における注視点検出回路の一例
を示す構成図である。

【図３】本発明の実施例における赤外光照射装置の一例
を示す構成図である。

【図４】本発明の実施例における注視点検出回路による
注視点検出処理を示すフローチャートである。

【図５】本発明の第１実施例における角膜反射像監視処
理を示すフローチャートである。

【図６】角膜反射像の出力信号例を示す図である。

【図７】本発明の第１実施例における二つの角膜反射像
の出力レベルの関係を示す図である。

【図８】眼球照明エラーの警告例を示す図である。

【図９】本発明の第２実施例における角膜反射像監視処
理を示すフローチャートである。

【図１０】本発明の第２実施例における二つの角膜反射
像の出力レベルの関係を示す図である。

【図１１】本発明の第３実施例における角膜反射像監視
処理の流れを示すフローチャートである。

【図１２】視線検出の原理を説明するための説明図であ
る。

【図１３】視線検出の原理を説明するための説明図であ
る。

【図１４】従来の視線検出機能付き撮像装置の概略構成
を示すブロック図である。

【図１５】従来の注視点検出回路の一例を示す構成図で
ある。

【図１６】従来の注視点検出回路による注視点検出処理
を示すフローチャートである。

【符号の説明】 ２１…マイクロコンピュータ ２２…メモリ ２３…Ａ／Ｄ変換器 ２４…Ｄ／Ａ変換器 ２５…ＣＰＵ ３１…スイッチ ３２…ＩＲＥＤ点灯回路 １０６…視線検出部 １０８…システムコントローラ １６０…赤外発光ダイオード（赤外光照射装置） １６１…ダイクロイックミラー １６２…集光レンズ １６３…撮像素子 １６４…注視点検出回路

Claims (9)

【特許請求の範囲】
1. 【請求項１】 眼球照明手段により眼球に照射された光
   に対する角膜反射像を利用して視線を検出する視線検出
   手段を備えた視線検出機能付き撮像装置において、 前記角膜反射像の明度を検出する明度検出手段と、 該明度検出手段により検出された前記角膜反射像の明度
   に基づいて前記眼球照明手段の異常を判定する異常判定
   手段と、 を備えたことを特徴とする視線検出機能付き撮像装置。
2. 【請求項２】 眼球照明手段により眼球に照射された光
   に対する角膜反射像を利用して視線を検出する視線検出
   手段を備えた視線検出機能付き撮像装置において、 前記角膜反射像の明度を検出する明度検出手段と、 該明度検出手段により検出された前記角膜反射像の明度
   に基づいて前記眼球照明手段の異常を判定する異常判定
   手段と、 該異常判定手段により前記眼球照明手段が異常であると
   判定された際、前記眼球照明手段への電源供給を停止す
   る電源供給停止手段と、 を備えたことを特徴とする視線検出機能付き撮像装置。
3. 【請求項３】 眼球照明手段により眼球に照射された光
   に対する角膜反射像を利用して視線を検出する視線検出
   手段を備えた視線検出機能付き撮像装置において、 前記角膜反射像の明度を検出する明度検出手段と、 該明度検出手段により検出された前記角膜反射像の明度
   に基づいて前記眼球照明手段の異常を判定する異常判定
   手段と、 該異常判定手段により前記眼球照明手段が異常であると
   判定された際、その旨を警告する警告手段と、 を備えたことを特徴とする視線検出機能付き撮像装置。
4. 【請求項４】 前記明度検出手段は、前記角膜反射像の
   複数の位置の明度を検出することを特徴とする請求項
   １，請求項２，または請求項３記載の視線検出機能付き
   撮像装置。
5. 【請求項５】 前記異常判定手段は、明度検出手段によ
   り検出された前記角膜反射像の複数の位置の明度の比率
   を基準値と比較することにより前記眼球照明手段の異常
   を判定することを特徴とする請求項４記載の視線検出機
   能付き撮像装置。
6. 【請求項６】 前記異常判定手段は、明度検出手段によ
   り検出された前記角膜反射像の複数の位置の明度の差を
   基準値と比較することにより前記眼球照明手段の異常を
   判定することを特徴とする請求項４記載の視線検出機能
   付き撮像装置。
7. 【請求項７】 前記異常判定手段は、明度検出手段によ
   り検出された前記角膜反射像の複数の位置の明度を基準
   値と比較することにより前記眼球照明手段の異常を判定
   することを特徴とする請求項４記載の視線検出機能付き
   撮像装置。
8. 【請求項８】 前記異常判定手段は、前記視線検出手段
   による視線検出処理が複数回実行される毎に前記眼球照
   明手段の異常を判定することを特徴とする請求項１，請
   求項２，または請求項３記載の視線検出機能付き撮像装
   置。
9. 【請求項９】 前記異常判定手段は、前記視線検出手段
   による複数回の視線検出処理に亘って連続して所定の判
   定条件を満足したときに、前記眼球照明手段が異常であ
   ると判定することを特徴とする請求項１，請求項２，ま
   たは請求項３記載の視線検出機能付き撮像装置。