JPH04335607A - 視線検出装置および視線検出手段を備えた光学機器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオ・カメラ、スチル
カメラ等に用いる視線検出装置に関するものである。

【０００２】

【従来の技術】エリアセンサーにより光学像を電気映像
信号に変換するビデオ・カメラ等では、その映像信号か
ら光学系の合焦度や、露出量を知ることができるので、
被写体の動きに応じて撮影画面の一部領域の映像信号を
取り出して、自動焦点調整・自動露出調整を行う。いわ
ゆる追尾ＡＦ・ＡＥ機能が提示されている。図６に概略
を示す。

【０００３】図６において、１６は撮影レンズ、１７は
絞り、１５はＣＣＤイメージセンサー等の二次元撮像素
子を有する撮像素子、１４はゲート回路、１８はＡ／Ｄ
変換器でＭ．Ｐ．Ｕとのインターフェイス機能を備えて
いる。また、１はマイクロプロセッシングユニット（Ｍ
ＰＵ）、１１はレンズ駆動回路、１３は絞り駆動回路で
ある。

【０００４】撮影者が撮りたい被写体を画面中央に置き
、追尾ＡＦに切替えると、被写界深度に応じた測距ゾー
ンが現れ、被写体の動きに合わせて移動する。その移動
のメカニズムは、画面を１６×１６＝２５６のフィール
ド（領域）に分割し（このフィールドがＥＳ信号を演算
する基本領域となる）、測距枠内のＥＳ信号がピークと
なるフィールドをＭ．Ｐ．Ｕ１で演算処理して検出し、
その位置を中心に測距枠を移動させて、被写体の動きを
追尾している。すなわち図７のフローチャートに示す様
に、追尾ＡＦに切替えられると（ステップ１）、Ｍ．Ｐ
．Ｕ１は被写界深度に応じた測距ゾーンを設定し（初め
はその中心は画面中央である）、その情報をゲート１４
に出力し、ゲートからＡ／Ｄ変換器１９に出力される信
号の範囲（ゾーン）が設定される（ステップ２）。そし
て、ゲートを通して出力された撮像素子の測距枠内から
の信号をＡ／Ｄ変換器１９でデジタル信号に変換したの
ち、Ｍ．Ｐ．Ｕ１に読み込む（ステップ３）。Ｍ．Ｐ．
Ｕはこの信号を用いて、ＡＦ演算、ＡＥ演算を行いレン
ズの駆動量、絞りの駆動量を算出しその値をレンズ駆動
回路１１、絞り駆動回路１３へ出力する。両駆動回路で
は、その値に基づいてレンズ絞りを駆動する（ステップ
４）。

【０００５】それを同時にＭ．Ｐ．Ｕ１は、測距枠内に
ある２５６分割されたフィールドのＥＳ信号（被写体の
エッジの立ちぐあい・鮮明さを表す信号）を、フィール
ド毎に演算し、その値が最大となる点、すなわち測距枠
内で最もコントラストの高い点を求める。そして、その
点が中心となる様に測距枠を移動させて、その情報をゲ
ートに出力し、ゲートから出力される信号の範囲を設定
する（ステップ５）。以下この動作は追尾動作スイッチ
がＯＮであれば（ステップ６）繰返されて、追尾動作が
行われる。

【０００６】また、銀塩スチル・カメラにおいても、複
数の測距点を持ち、移動する被写体を追尾するＡＦ機能
を持つものが提案されている。

【０００７】

【発明が解決しようとしている課題】しかしながら上記
従来例では、ゾーン内の被写体で最もコントラストの高
い部分を追尾しているため、「背景に、一番輝度の高い
ものが存在する場合」、「全体が暗いところ」、「同じ
輝度の複数の被写体が画面内でバラバラに動いている場
合」、「被写体のコントラストが低い場合」、「同様の
距離で、追尾している被写体と別の被写体が交叉した場
合。（別の被写体の方が輝度の高い場合）」などはうま
く追尾が行えないという欠点があった。

【０００８】

【課題を解決するための手段】本発明においては、撮影
者の視線の動きを検知する視線検出装置を設け、動きの
ある被写体に対する視線の動きにより注視位置（主被写
体）を推定することにより、追尾動作を可能にしたもの
であり、かつ注視位置の変化を判断するのに、視線位置
の変化量が所定の値以上であることを条件としたことに
より、正確な注視位置の切替えが行え、視線情報を用い
たＡＦ、ＡＥ、追尾等への応用の際の精度の向上が行え
る。

【０００９】

【実施例】本発明の実施例の構成の概略を図１に示す。

【００１０】図１は本発明の実施例のブロック図で、１
はＭ．Ｐ．Ｕ、２はメモリー、３はＡ／Ｄ変換機能を有
するインターフェイス回路、４は撮影者の眼球を観察す
るためのイメージセンサー及びその駆動回路よりなるセ
ンサーユニット。７は発光素子としての赤外発光ダイオ
ード、５は発光制御回路、６はカメラの縦位置・横位置
を検知する位置センサ、１０はＡＦセンサー、１１はレ
ンズ駆動ユニット、１２は測光センサ、１３は絞り駆動
ユニットである。

【００１１】本実施例においては、イメージセンサーか
らの画像信号を演算することにより撮影者の視線を求め
るわけであるが、その原理は以下の通りである。撮影者
の眼球に平行光（もしくは発散光）を照射すると、この
光が角膜前面で反射し、発光ダイオードの虚像が生じる
。この虚像は、プルキンエ像と呼ばれるが、その発生位
置は眼球の回転角が零の際は瞳孔中心と一致し、眼球が
回転するにつれ、プルキンエ像と瞳孔中心の間隔は、回
転角の正弦にほぼ比例する形で拡がってゆく。よってイ
メージセンサー上の画像信号より、プルキンエ像の位置
、瞳孔中心の位置、さらにその間隔を算出してやれば、
眼球の回転角、さらには撮影者の視点を知ることができ
る。（カメラのファインダーの光学的な特性により、頭
部がカメラに対して動いても、眼球の回転角が同じなら
ば、ピント板上の視点は同じである。）次に上記の原理
を用いた本実施例の動作について図２のフローチャート
を用いて説明する。

【００１２】カメラのメインスイッチ（不図示）がオン
するなどして、視線検出の開始が指示されると、Ｍ．Ｐ
．Ｕ１は視線検出のルーチンへ制御を移す（ステップ１
０）。

【００１３】視線検出のルーチンに入るとまず、初期化
の処理を行い、視線検出に関わる全ての変数の値を零に
する（ステップ１１）。そして、そのときのカメラの位
置（縦位置か横位置か）の情報を位置センサ６から受け
、発光制御回路５は赤外発光ダイオード（ｉＲＥＤ）群
７のうちどれを発光するかの設定を行う。同時にＭ．Ｐ
．Ｕ１は、インターフェイス回路３を介してイメージセ
ンサー駆動回路４に積分信号を、発光制御回路５に積分
信号に同期した発光制御信号を与える。これにより、そ
のときのカメラの位置に対応した赤外発光ダイオードが
、イメージセンサーの蓄積に同期して発光される（ステ
ップ１２）。ついで、イメージセンサー４上に結像した
プルキンエ像の生じた眼球前眼部の画像をインターフェ
イス回路３を介して読み込む（ステップ１３）。そして
この画像を処理することにより、プルキンエ像の位置Ｐ
と少なくとも３つの瞳孔輪部（いわゆる瞳孔エッジ）の
位置Ｄ１，Ｄ２，Ｄ３を検出する（ステップ１４）。こ
の検出された諸量より眼球の水平方向、鉛直方向の回転
角θＨ，θＶを算出する。眼球の回転角が算出されたな
らば、視軸補正などの個人差補正を行い、撮影者のピン
ト板上での視点を求めその滞留時間等により注視点を求
める（ステップ１５）。さらにこの注視点からＡＦの指
示がなされた際に焦点検出を行うエリア、いわゆるＡＦ
エリア並びに露出制御を行うＡＥエリアを決定する（ス
テップ１６）。

【００１４】ところで、一般に銀塩フィルムを用いるカ
メラにおいては、ＡＦポイントを増せば、それと同数の
測距ユニットを必要とする。そのため、コスト的・スペ
ース的デメリットからＡＦポイントの数は制限される。 したがって、ピント板上の視点位置に対応するＡＦポイ
ントが存在しない可能性がある。そこで以下の様に補間
処理を行う。

【００１５】第一の方法は、ピント板上の視点に対応す
るＡＦエリアが存在しない場合は、ピント板上の注視点
から最も近いＡＦポイントをその視点のＡＦポイントと
する方法である。例えば、図３（Ａ）に示す様にＡＦポ
イントが設定されている場合、注視点位置の座標（ｘ、
ｙ）とＡ〜Ｇの７点のＡＦポイントの中央の座標（ｘＡ
，ｙＡ）（ｘＢ，ｙＢ）（ｘＣ，ｙＣ）（ｘＤ，ｙＤ）
（ｘＥ，ｙＥ）（ｘＦ，ｙＦ）（ｘＧ，ｙＧ）の距離ｌ
を次式で求め、その値が最小となるものを、その注視位
置のＡＦポイントとする。

【００１６】

【外１】

【００１７】第二の方法はあらかじめＡＦポイントとと
もに、そのＡＦポイントを選択するエリアを設定してお
くものである。例えば図３（Ｂ）に示す様にＡＦポイン
トＡ〜Ｇとそれを選択するエリアを設定する。

【００１８】ＡＥアリアの決定に関しても同様のことが
言えるが、測光センサーは、エリア分割をされたものを
用いることが多いため、第二の方法が主になる。すなわ
ち、図（Ｂ）の７つのエリアに各々対応する様に分割測
光する測光装置を設ける。

【００１９】ところで、実際の撮影者の視点は常に被写
体にあるわけではなく、ある程度、ふらついたり、画面
外の表示を見たりする。そこで視点が画面外にある場合
は追尾動作の対象外にしたり、公知の手法で撮影者の注
視点を抽出するなどの処理が必要となる。

【００２０】さらに本実施例においては効果的に追尾動
作を行うため、視点の移動量がある一定値未満の場合は
ＡＦ・ＡＥエリアの移動を行わない様にしている。その
動作手順図８に示す。注視位置からＡＦ・ＡＥエリア決
定のルーチンに入ると、まずメモリーに記憶されている
前回の注視位置でのＡＦ・ＡＥエリアの情報を読み込む
（ステップ２１）。もしそれが初期化された値であった
なら、すなわち、初めてのエリア決定の動作であったな
ら（ステップ２２）、そのときの注視点の位置を基にし
て上述の様な補間処理を行うなどしてエリアを決定し（
ステップ２５）、その情報をメモリーに記憶する（ステ
ップ２６）。そして、二度目以降の場合は、前回のＡＦ
・ＡＥエリアの情報との比較を行い、十分に離れている
か否かの判定を行う。これは、ＡＦ・ＡＥエリアの情報
として、その決定の際に用いた注視点位置の座標をメモ
リーしている場合は、今回求められた視点の座標（ｘｉ
，ｙｉ）と、前回の視点位置の座標（ｘｉ−１，ｙｉ−
１）との距離

【００２１】

【外２】 を求め（ステップ２３）、この値がある一定値ｌｃｏｎ
ｓｔ以上であったなら（ステップ２４）今回求められた
視点の座標（ｘｉ，ｙｉ）を用い、さらに上述の様な補
間処理を行うなどして新しい注視位置のエリアを決定し
、その情報をメモリーに記憶する。逆にΔｌがｌｃｏｎ
ｓｔ未満の場合は、前回求められたエリア情報を更新せ
ずにそのまま用いる。

【００２２】この様な処理を行うのは人間の眼球運動の
特性に起因する検出誤差を最小にし、かつ煩雑にＡＦ・
ＡＥエリアを切換えることにより生じる誤動作・不都合
（例えば丁度二つのＡＦエリアの中間で視点が小さく動
いたとき、二つのＡＦエリアのうち片方が主被写体、も
う一方が背景のとき両者の間をレンズが往復する不都合
）抑止を目的としている。

【００２３】ここで問題とする眼球運動の特性は固視微
動である。固視微動は、眼球の中心禍に対象物体の像を
捉え、その状態を保持するために、不随意的に発生する
不規則な微小運動である。この微動は中心禍の視細胞へ
の光刺激を常に変動させ、信号発生効率を低下させない
役割を持っている。

【００２４】したがって、撮影者がある被写体を凝視し
た際には、この固視微動が生じる。生じた固視微動によ
ってＡＦ・ＡＥエリアが変化することの無いように、固
視微動の範囲（一般にピント板上で０．５ｍｍ以下）を
カバーするように定数ｌｃｏｎｓｔを設定する。

【００２５】そして、測光・スイッチＳＷ１がオンにな
ったなら（ステップ１７）、ＡＦ動作と測光を行う（ス
テップ１８、１９）。ＡＦ動作はまず、Ｍ．Ｐ．Ｕが注
視点に対応するエリア内のＡＦセンサーからの信号を読
み込み、その信号を演算することにより、レンズ駆動量
を求める。そしてその後、レンズ駆動ユニットを制御し
、焦点調整を行う。またＭ．Ｐ．Ｕ１は注視点に対応す
るエリアを重み付けした全エリアの分割測光センサーか
らの信号に基づき、測光値を求め、指定された撮影モー
ドにしたがって露出定数（シャッター速度・絞り値…）
を決定する。

【００２６】そして、レリーズ釦の第２段操作が行われ
てレリーズの要求がなされたならば（ステップ２０）算
出された絞り値への絞り駆動、ミラー動作、シャッター
の開閉、フィルムの巻上などのレリーズに関する一連の
動作を行う。

【００２７】今までの説明においては、ＡＦ動作（信号
読み込み→演算→レンズ駆動）と測光をほぼ同時に行っ
ているが、実際のカメラにおいては、設定されているモ
ードに従うものである。すなわち、カメラのモード設定
で、レリーズ直前に測光を行い、その測光値に基づいて
露出値を定めても良い。

【００２８】また、ＡＦ動作のうちレンズ駆動のみをレ
リーズ要求のあったのちに行っても構わない。

【００２９】以上説明してきた様に、本実施例は撮影者
の視線の動きを検知し、視線の存在するエリアでＡＦ・
ＡＥを行う。いわゆる被写体の自動追尾を行うものであ
る。

【００３０】（他の実施例）第２実施例のブロック図を
図４に示す。

【００３１】１はＭ．Ｐ．Ｕ、２はメモリー、３はイン
ターフェイス回路、４は視線検出用のイメージセンサー
並びにその駆動回路、５は発光制御回路、７は赤外発光
ダイオード、１１はレンズ駆動ユニット、１３は絞り駆
動ユニット、１５は撮影用の撮像素子、１６は撮影レン
ズ、１７は絞りユニット、１４はゲートである。

【００３２】第１実施例が銀塩スチルカメラに好適なシ
ステムであるのに対し、第２実施例はビデオ・カム・コ
ーダーなどに好適なシステムである。また視線検出の原
理は、第１実施例と同じ、プルキンエ像と、瞳孔中心を
用いるものである。

【００３３】本実施例の動作手順を図５に示す。

【００３４】カメラの視線検出要求スイッチ（例えば自
動追尾スイッチ）ＳＷ３がオンするなどして、視線検出
の開始が指示されると、Ｍ．Ｐ．Ｕ１は視線検出のルー
チンへ制御を移す（ステップ３０）。

【００３５】視線検出のルーチンへ入ると、まず初期化
処理を行い、視線検出に関わる全ての変数を零にする（
ステップ３１）。その後のＭ．Ｐ．Ｕ１はイメージセン
サー、駆動回路４に積分信号を、そしてこれに同期した
発光制御信号を発光制御回路５に各々インターフェイス
回路３を介して与える。これにより、赤外発光ダイオー
ド７がイメージセンサー４の蓄積に同期して発光される
（ステップ３２）。ついでイメージセンサー４上に結像
したプルキンエ像の生じた眼球前眼部の画像をインター
フェイス回路３を介して読み込む（ステップ３３）。 そして、この画像を処理することにより眼球の水平方向
・鉛直方向の回転角、さらに個人差補正を行うことによ
り撮影者の画面上での注視点を求める（ステップ３５）
。そしてこの注視点を基にＡＦ・ＡＥを行うエリア（図
３（Ｂ）に近似した）を決定し（ステップ３６）、この
エリアの情報に基づきＡＦ・ＡＥ等が行われる（ステッ
プ３７）。

【００３６】なお、ステップ３２〜３７の動作は、視線
検出要求が続くかぎり繰返される（ステップ３８）。

【００３７】この場合も第１実施例と同様の理由で、視
点が画面外にある場合は追尾動作の対象外にしたり、公
知の手法（例えば滞留時間）や先に提案した特願平２−
２２０７９０号公報によって撮影者の注視点を抽出する
等の処理が必要となる。

【００３８】そして、本実施例においても効果的に追尾
動作を行うために第１実施例と同様に視点の移動量があ
る一定値未満の場合は、ＡＦ・ＡＥエリアの移動を行わ
ない様にしている。その動作手順を図９に示す。視点位
置からＡＦ・ＡＥエリア決定のルーチンに入ると、まず
メモリーに記憶されている前回のＡＦ・ＡＥエリア決定
に用いた視点位置情報を読み込む（ステップ４０）。も
しそれが初期化された値であったなら（ステップ４１）
、そのときの視点位置をエリア決定のための視点位置（
ｘｏｙｏ）としてメモリーに記憶したのちエリア設定の
ルーチンへ進む（ステップ４４）。また二度目以降の場
合は、前回のエリア決定の為の視点位置との比較を行い
、十分に離れていたならば、すなわち今回の視点位置（
ｘｉ，ｙｉ）と前回の視点位置（ｘｉ−１ｙｉ−１）と
の距離

【００３９】

【外３】 を求め（ステップ４２）、この値がある一定値ｌｃｏｎ
ｓｔ以上であったなら、今回の視点位置（ｘｉ，ｙｉ）
をエリア決定の為の視点位置（ｘｏｙｏ）としてメモリ
ーに記憶したのち次のルーチンへ進む（ステップ４３）
。

【００４０】ＡＦ・ＡＥエリアの決定は、エリア決定の
為の視点位置（ｘｏｙｏ）を用いて、次の様にして決定
する。まず、そのときの撮影レンズの焦点距離、絞り値
から被写界深度を求め（ステップ４５）、その値に応じ
て、エリアの大きさを定める（ステップ４６）。これは
被写界深度が浅いときは小さく、深いときは大きくなる
様に設定される。そして、前段階で求めたエリア決定の
為の視点位置（ｘｏ，ｙｏ）を中心に、被写界深度に応
じた大きさを持つエリアを定め、これをＡＦ・ＡＥエリ
アとする（ステップ４７）。

【００４１】追尾動作が行われている間は上記の様に、
ＡＦ・ＡＥエリアが決定され、被写体の動き（撮影者の
画面上での視点の動き）に合わせて移動する。追尾動作
中はＭ．Ｐ．Ｕ１は、上記の様にして決定したＡＦ・Ａ
Ｅエリア情報をゲート１４に出力する。これによりゲー
ト１４から、Ａ／Ｄ変換機能を有すインターフェイス回
路３に出力される映像信号の範囲（ＡＦ・ＡＥを行うエ
リア）が設定される。

【００４２】そして、ゲート１４を通して出力された撮
像素子１５のエリア内の信号は、インターフェイス回路
３で、ディジタル信号に変換したのち、Ｍ．Ｐ．Ｕ１に
読み込む。Ｍ．Ｐ．Ｕ１は、この信号を用いてＡＦ演算
、ＡＥ演算を行い、レンズ駆動量、絞り駆動量を算出し
、その値をレンズ駆動回路１１、絞り駆動回路１３へ出
力する。両駆動回路では、その値に基づいて、レンズ絞
りを駆動する。そして再び視線検出のルーチンに入り、
算出された撮影者の画面上での視点並びに被写界深度を
用いて、新たなＡＦ・ＡＥエリアを設定し、そのエリア
からの信号を用いてＡＦ・ＡＥ等を行う。

【００４３】以上の動作を繰返し行うことにより追尾動
作が行われる。

【００４４】なお、ビデオ・カム・コーダーにおいては
、撮像素子から出力される像信号を用いてＡＦ演算、Ａ
Ｅ演算が行われるので、基本的に全画面のどこのエリア
であっても距離・測光が可能であり、銀塩カメラの様な
ＡＦポイント・ＡＥポイントの補間処理は原則として不
要である。

【００４５】上述の実施例では固視微動の様な少ない視
線の移動量の場合には、エリアの変更を行わない様にし
たが、逆に移動量が大きすぎて、ファインダーの外に目
を向けた場合でも同じようにエリアの変更は行わない様
にすることも同様な効果を得ることができる。その場合
には、図８のステップ２３及び図９のステップ４３に加
えて「Δｌ≦ｌｍａｘ」のステップを追加し、ここでの
「ｌｍａｘ」を大きい値に設定することによって行える
。

【００４６】

【発明の効果】本発明においては、撮影者の視線（視点
）の移動量が一定値未満の場合には、注視位置の移動を
判断しない様にすることにより、固視微動等による影響
などの不都合を解消したものである。

【００４７】また、実施例では、視線検出機能の出力（
撮影者の画面上での視点）に基づき、ＡＦ・ＡＥ等を行
う際の情報を得るエリアを決定し、このエリアを視線検
出手段からの出力に応じて移動させることにより、従来
例の欠点を克服した、より精度の高い追尾動作を可能に
したものである。

【００４８】同時にＡＦ・ＡＥセンサーもしくは撮像素
子の決定されたエリアに対応する部分を読み出し演算処
理することにより、高速の追尾動作を可能にした。

【図面の簡単な説明】

【図１】本発明第１実施例のブロック図。

【図２】第１実施例のフローチャート。

【図３】ＡＦ・ＡＥエリアを示す図。

【図４】第２実施例のブロック図。

【図５】第２実施例のフローチャート。

【図６】従来例のブロック図。

【図７】従来例のフローチャート。

【図８】第１実施例のフローチャート。

【図９】第２実施例のエリア決定を行う動作のフローチ
ャートである。

【符号の説明】

１　　マイクロ・プロセッシング・ユニット（Ｍ．Ｐ．
Ｕ） ４　　視線検出用のイメージセンサー及びその駆動回路
５　　発光制御回路 ６　　位置センサ ７　　赤外発光ダイオード １０　　ＡＦセンサ １２　　測光センサー １５　　撮影用の撮像素子 １６　　撮影レンズ

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　撮影者の視線情報から注視位置を判断
   する視線検出装置を有するカメラにおいて、前記視線検
   出装置により判断された前記注視位置の情報は、その後
   の視線位置の変化量が所定の値以上の場合に、新たな注
   視位置として判断する手段を設けたことを特徴とする視
   線検出装置を有するカメラ。
2. 【請求項２】　　撮影画面を複数の領域に分割し、上記
   注視位置は注視領域情報として判断したことを特徴とす
   る請求項１記載の視線検出装置を有するカメラ。
3. 【請求項３】　　観察者の視線情報から注視位置を判断
   する視線検出装置において、前記視線検出装置により判
   断された前記注視位置の情報は、その後の視線位置の変
   化量が所定の値以上の場合に、新たな注視位置として判
   断する手段を設けたことを特徴とする視線検出装置。
4. 【請求項４】　　観察範囲を複数の領域に分割し、上記
   注視位置は注視領域情報として判断したことを特徴とす
   る請求項３記載の視線検出装置。