JPH05288982A

JPH05288982A - 注視点選択装置

Info

Publication number: JPH05288982A
Application number: JP4088631A
Authority: JP
Inventors: Masabumi Yamazaki; 正文山崎
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-09
Filing date: 1992-04-09
Publication date: 1993-11-05

Abstract

(57)【要約】【目的】この発明の注視点選択装置にあっては、画面内
の意図する領域を簡単に選択するために、撮影者の注視
点を検出して動体検出ゾーン内の追尾被写体を判断して
これを特定することを特徴とする。【構成】ビデオカメラ１０は被写体像を映像信号に光電
変換すると共に、Ｙ／Ｃ分離回路１１、Ａ／Ｄ変換回路
１２及びビデオＲＡＭ１３ａを介して使用者の注視点を
表す注視点信号を入力する。ＣＰＵ１４は、上記映像信
号の中から上記注視点信号に基いて比較的広い第１領域
を選択し、またこの第１領域を更に複数の領域に分割す
る。そして、ＣＰＵ１４、ビデオＲＡＭ１３ａ、１３
ｂ、ＲＡＭ１５及びＲＯＭ１６により、上記分割された
複数の領域から、動体が存在するか若しくは最大コント
ラスト領域を第２の領域として検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は注視点選択装置に関
し、特に画面の広い領域から焦点調節等のための任意の
領域を指定する注視点選択装置に関するものである。

【０００２】

【従来の技術】従来、カメラ等に於いて、画面の広い領
域から簡単に焦点調節等のための任意の領域を指定する
ための装置が、種々開発されている。そして、特に動き
のある被写体に対しては、使用者が手動によってカメラ
の映像内の狭い領域をすばやく指定して動体の領域を判
別していた。また、使用者の視線方向を検知することに
より、注視点を検出するというものもあった。

【０００３】そして、例えば特願平２−２３５０７４号
によれば、測距視野選択装置に関する技術が開示されて
いる。これは、画面を複数の領域に分割し、その中から
１つの領域を選択する手段と、選択された領域を表すフ
ォーカスフレーム表示手段と、フォーカスフレーム内に
存在する被写体に焦点を合わせる合焦手段とより成るカ
メラに於いて、上記フォーカスフレームをフォーカスフ
レーム選択部材と、抵抗値比較手段とフォーカスフレー
ムの表示を移動させる手段とで構成し、所望のフォーカ
スフレームの存在する方向を検出すると同時にフォーカ
スフレームを該方向に移動して表示させるものである。
また、特開平３−１７７８２８号公報には、視線検出装
置の視線検出方向の改良に関する技術が開示されてい
る。

【０００４】更に、特開平２−９６７０７号公報には、
被写体パターンを入力した時に被写体要部の位置を示す
信号を出力するように学習されたネットワークを有し
て、このネットワークの出力により複数の光電変換素子
の出力の中から被写体主要部の信号を選択し、それに基
いて焦点が検出される露出制御装置に関する技術が開示
されている。

【０００５】

【発明が解決しようとする課題】しかしながら、ジョイ
スティック等により、使用者が手動操作によってカメラ
の映像内の画面の広い領域から任意の領域を選択する場
合、特に動きのある被写体に対してすばやく任意の領域
を選択するのは大変困難であり、熟練を要するものであ
る。また、視線検知による方法では、精度良く画面の任
意領域を選択するのが難しい。

【０００６】一方、ニューラルネットワーク等により、
カメラの映像内の画面の広い領域から自動的に主要被写
体を認識する場合、主要被写体の候補が多数存在して認
識が困難であるという問題がある。

【０００７】この発明は上記課題に鑑みてなされたもの
で、画面の広い領域から使用者の意図する注視点を簡単
に選択することができる注視点選択装置を提供すること
を目的とする。

【０００８】

【課題を解決するための手段】すなわちこの発明は、被
写体像を映像信号に変換する光電変換手段と、使用者の
注視点を表す注視点信号を入力する入力手段と、上記映
像信号の中から上記注視点信号に基いて比較的広い第１
領域を選択する選択手段と、上記第１領域を更に複数の
領域に分割する分割手段と、この分割手段によって分割
された複数の領域から動体の存在するか若しくは最大コ
ントラスト領域を第２の領域として検出する検出手段と
を具備することを特徴とする。

【０００９】

【作用】この発明の注視点選択装置にあっては、被写体
像が光電変換手段で映像信号に変換され、使用者の注視
点を表す注視点信号が入力手段で入力される。そして、
上記映像信号の中から上記注視点信号に基いて、比較的
広い第１領域が選択手段で選択手段される。また、上記
第１領域は、分割手段によって更に複数の領域に分割さ
れる。この分割手段によって分割された複数の領域か
ら、動体が存在するか若しくは最大コントラスト領域が
第２の領域として検出手段によって検出される。

【００１０】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。図１は、この発明の一実施例で、注視点選択装
置が適用されたカメラシステムの構成を示すブロック図
である。

【００１１】同図に於いて、ビデオカメラ１０から出力
されるＮＴＳＣコンポジット信号の一方は、Ｙ／Ｃ分離
回路１１で輝度信号が分離され、輝度信号のみＡ／Ｄ変
換回路１２でＡＤ変換されてビデオＲＡＭ１３ａに入力
される。ＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、
１４、ＲＡＭ１５及びＲＯＭ１６と結合しているもの
で、システム全体の制御、演算を行う。

【００１２】上記ＲＯＭ１６には、予め制御の手順がプ
ログラムされている。また、ＲＡＭ１５は、演算途中の
データの記憶、演算結果のデータの記憶に用いられる。
更に、ビデオＲＡＭ１３ｂは、ＣＰＵ１４で演算された
注視点の位置を表示したり追尾マークの表示データを記
憶するものである。

【００１３】ビデオＲＡＭ１３ｂに記憶された表示デー
タは、ＣＲＴコントローラ１７のタイミングに従ってゲ
ート１８を通り、スーパーインポーザ１９の一方の入力
となる。このスーパーインポーザ１９は、ビデオカメラ
１０の映像信号に、ゲート１８の出力である注視点の位
置や追尾マーク等を重ねて表示するための装置である。
スーパーインポーザ１９の出力は、表示部２０に表示さ
れる。

【００１４】尚、ＣＰＵ１４に入力される信号ｓ１は、
カメラの操作者が注視点を移動させるための信号であ
る。また、スイッチＳＷは、注視点を保持し、追尾を開
始するためのスイッチである。

【００１５】図２は、カメラの操作者が注視点を選択し
てから追尾するまでの表示例を示したものである。図２
（ａ）は、操作者が物体ＯＢＪの近傍に注視点マークＰ
“＋”を移動させた状態を示した図である。ここで、ス
イッチＳＷ（図１参照）がオンされると、同図（ａ）の
“＋”マークを中心に、図２（ｂ）に示されるように広
い領域の動体検出ゾーンがスーパーインポーズされる。
次いで、後に詳述する演算により動体領域が特定されて
追尾が開始される。尚、同図（ｂ）の表示はなくともよ
いものである。更に、図２（ｃ）は、後述する追尾ゾー
ンの表す領域に、追尾マークがスーパーインポーズされ
た状態を示したものである。

【００１６】図３は、注視点のマーク（図２の“＋”）
を移動させるための部材の配置を示したものである。こ
れは銀塩カメラへの応用例であり、その詳細は本出願人
が先に出願した特願平２−２３５０７４号に詳しく述べ
てある。

【００１７】図３に於いて、カメラ本体２１のグリップ
２２上に、注視点移動部材２３が配置されている。そし
て、この注視点移動部材２３の中心に注視点選択部材２
４（図１のスーパーインポーザ１９に相当する）が配置
されている。注視点選択部材２４はレリーズ釦を兼用し
ている。

【００１８】また、図４及び図５は、視線方向を検出
し、それにより画面の任意の領域を指示するための原理
図である。これらについて、例えば特開平２−５号公報
や特開平２−６５８３４号公報、或いは電子通信学会技
術報告ＰＲＵ８８−７３、ＰＰ．１７−２４に詳しく述
べられている。これらは、眼の瞳孔と角膜反射像（第１
プリキンエ像）、または虹彩と角膜反射像の組合わせか
ら視線方向を検出するもので、注視点を指示する方法と
して注目されている。

【００１９】図４に於いて、２５は赤外ＬＥＤであり、
この赤外ＬＥＤ２５からレンズ２６を介して平行光束が
作られる。また、図中２７、２８はダイクロイックミラ
ー、２９は撮影者の眼、３０はＣＣＤ、３１はレンズで
ある。

【００２０】赤外ＬＥＤ２５から発せられた赤外線は、
レンズ２６、ダイクロイックミラー２７、２８を介して
眼２９に入る。そして、眼２９で反射された光は、ダイ
クロイックミラー２８、２７及びレンズ３１を介してＣ
ＣＤ３０で撮像され、上述した原理で視線方向が計算さ
れる。これにより、撮影レンズ３２、ミラー３３、マッ
ト３４、コンデンサーレンズ３５、ペンタプリズム３６
及びダイクロイックミラー２８を介して、撮影者が観測
する注視点の位置を検出することが可能となる。図５
は、眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示
したものである。図６は、動体検出ゾーンとカメラの動
き検出領域の一例を示した図である。

【００２１】画面３７内の動体検出ゾーン３８は、更に
このゾーンの中が、後述するように複数ブロックに分割
され、この中から１つのブロックが選択され、追尾ゾー
ンに特定されるようになっている。選択されるブロック
は動体が最優先されるが、その場合、カメラが動いてい
るのか、物体が動いているのかの判別が課題となる。
尚、図中Ｓ１〜Ｓ４で示される領域は、カメラの動きを
判別するために設定した動きベクトル検出領域３９〜４
２である。

【００２２】図７は、図６の動体検出ゾーン３８を複数
のブロックに分割した例である。同図（ａ）〜（ｄ）に
示されるように、各々がオーバラップするように、９ブ
ロックの追尾ゾーン（ａ₁₁、ａ₁₂、ａ₁₃、ａ₂₁、ａ₂₂、
ａ₂₃、ａ₃₁、ａ₃₂、ａ₃₃）に分割され、それぞれの領域
の動きベクトルを検出することになる。

【００２３】これら９ブロックの追尾ゾーンのうち、１
つの追尾ゾーン内は図８に示されるように、１６個の代
表点画素（Ｐ（_1,1）、Ｐ（_1,2）、…、Ｐ（_4,4））
で構成されている。

【００２４】また、図９は図８の中の１つの画素
（Ｐ₁₁）が、５つの画素（Ｐ（₀）、Ｐ（₁）、
Ｐ（₂）、Ｐ（₃）、Ｐ（₄））の平均値で表されること
を示す図である。この平均値は、数１の関係式のように
して求められる。

【００２５】

【数１】

【００２６】図１０は、この発明で採用された動きベク
トル（移動量と方向）の検出の原理を示す図である（参
考文献：テレビジョン学会技術報告Ｖｏｌ．１１，Ｎ
ｏ．３，ＰＰ．４３−４８，ＰＰ０Ｅ’８７−１２（Ｍ
ａｙ，１９８７）。

【００２７】動きベクトル検出法としては種々の方法が
あるが、精度スピードの点から、以下に述べる代表点マ
ッチングがたいへんすぐれている。これは画面上のいく
つかの画素（以下これを代表点と称する）に着目し、現
在の位置と所定時間後の位置の変化から、動きベクトル
を決定する方法である。

【００２８】図１０の模式図に於いて、現在の代表点Ｐ
が同図（ａ）に示される位置にあるものとする。所定時
間後のこの代表点Ｐと最もレベルが一致する点を、同図
（ｂ）のｐ₁〜ｐ₉と比較することにより求める。ここで
は、その最もレベルが近い画素の位置へ代表点が移動し
たと判断し、該当するベクトルを動きベクトルと判断す
る。実際は精度を上げるため、代表点の数を増やしてい
る。

【００２９】図１１は、代表点配置の一例を示したもの
である。同図に於いて、水平方向に１５ドットおきに３
４ポイント、垂直方向に１５ライン毎に３４ポイントの
代表点を配置している。尚、追尾ゾーンは、上述したよ
うに、４×４＝１６の代表点より構成される。また、ゾ
ーンＢ（追尾ゾーンＡの動きベクトル検出範囲）は、水
平、垂直方向ともに±２ポイントに設定される。

【００３０】すなわち、図１１で代表点Ｐの検出範囲
は、図示の如く計２５ポイントとなる。また、図９で説
明したように、各ポイントに相当する画素のレベルは、
周囲４点の画素との加算平均を行うことにより、ローパ
スフィルタ効果をもたせている。これにより、エッジの
鋭い画像を得て、細いラインへの検出能力を高めてい
る。次に、図１２乃至図２１のフローチャートを参照し
て、同実施例の動作を説明する。

【００３１】図１２はこのカメラシステムの全体の制御
動作を説明するフローチャートである。同図に於いて、
先ず、注視点の設定が行われる（ステップＳ１）。ここ
で、ＣＰＵ１４は、注視点の座標を読取る。次に、設定
された注視点を中心にして、現時点に於ける動体検出ゾ
ーンと、カメラの動きベクトル検出ゾーン（図６及び図
１１参照）の代表点のポイントのレベルが求められる
（これを基準像のロード及び代表点フィルタリングと称
するものとする）。次いで、所定時間（１／３０ｓｅ
ｃ）後、同様にして上記と同領域の代表点ポイントのレ
ベルが求められる（これを参照像のロード及び代表点フ
ィルタリングと称するものとする）（ステップＳ２）。

【００３２】そして、ｉに０が初期設定される（ステッ
プＳ３）。ここで、ｉは図７に示された９つの追尾ゾー
ン（ｉ＝０〜８）と、カメラの動きベクトル検出ゾーン
（ｉ＝９〜１２）の領域を表す変数である。次に、サブ
ルーチンＣＮＴＣＡＬにて、ｉ＝０〜１２の各領域のコ
ントラストが求められる（ステップＳ４）。各々の領域
は、図８に示されるように、１６個の代表点から成る。
いま、それぞれの代表点を図８のようにＰ（_1,1）、Ｐ
（_1,2）、…、Ｐ（_4,4）とし、記述を簡単にするため
に、各々代表点の出力レベルも同じ記号Ｐ（ｉ，ｊ）で
表わすものとする。

【００３３】図１３は、基準像のコントラスト計算を実
行するＣＮＴＣＡＬのサブルーチンである。先ず、コン
トラストＣＮＴの演算が、次のように行われる（ステッ
プＡ１）。すなわち、Ｘ方向のコントラストをＣＮＴ
Ｘ、Ｙ方向のコントラストをＣＮＴＹ、そしてコントラ
ストをＣＮＴとすると、それぞれ数２、数３及び数４の
関係式のようになる。

【００３４】

【数２】

【００３５】

【数３】

【００３６】

【数４】

【００３７】次にＣＮＴが所定レベルＣ１と比較され
（ステップＡ２）、映像のコントラストが不足すると
き、すなわちＣＮＴ＜Ｃ１のときは信頼度なしとして、
ＲＬＢＴＹにＮＧが代入される（ステップＡ３）。この
後、コントラスト演算のサブルーチンＣＮＴＣＡＬから
リターンされる。

【００３８】図１２のフローチャートに戻り、信頼度変
数ＲＬＢＴＹが判別され（ステップＳ５）、ＲＬＢＴＹ
＝ＮＧのときベクトルパターンＶＰ（ｉ）にＮＧが代入
される（ステップＳ６）。ここでＶＰ（ｉ）は、動きベ
クトルの種類をパターン分類するための変数であり、Ｖ
Ｐ（ｉ）＝ＮＧとは動きベクトルを検出できないことを
意味する。

【００３９】そして、変数ＣＮＴ（ｉ）にＣＮＴが代入
され（ステップＳ７）、ｉ＝１２が判別される（ステッ
プＳ８）。ここで、ｉ＝１２でなければｉに１を加えた
後（ステップＳ９）、ステップＳ４に戻る。一方、ステ
ップＳ８に於いて、ｉ＝１２であればコントラスト演算
（ステップＳ４〜Ｓ９）を終了する。

【００４０】次に、更新回数の変数ＬＯＯＰに０が設定
された後（ステップＳ１０）、再び領域選択ｉに０が初
期設定される（ステップＳ１１）。ＣＰＵ１４は、先ず
ｉ＝０に相当する領域の代表点の信号を選択すると、図
１４に示されるサブルーチンＶＥＣＴＣＡＬに於いて、
上記基準像と参照像との間で相関演算を行う（ステップ
Ｓ１２）。

【００４１】図１４に於いて、いま基準像のＰ（ｉ，
ｊ）の位置（図８参照）に相当する信号レベルをＰＳ
（ｉ．ｊ）、参照像の信号レベルをＰＲ（ｉ，ｊ）とす
ると、相関値出力ＣＯＲＲ（Ｓ）は数５の関係式の如く
なる（ステップＢ１）。

【００４２】

【数５】ここでＨ＝０，１，２、Ｖ＝０，１，２であり、Ｈ，Ｖ
はＸ方向、Ｙ方向へのずらし量に相当する。

【００４３】次に、ＣＯＲＲ（Ｈ，Ｖ）の極小値ＭＩＮ
（ＣＯＲＲ（Ｈ，Ｖ））が求められる。このときのＨが
変数ＶＥＣＴＨに、Ｖが変数ＶＥＣＴＶに代入される。
そして、上述したように求められた領域ｉのコントラス
ト信号ＣＮＴ（ｉ）により、上記ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））が除算される（ステップＢ２）。２つの像
が真に一致したことにより、極小値ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））が求められるとき、ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））／ＣＮＴ（ｉ）は、所定の値βより小さく
なり、大きい程信頼度が悪くなることが実験的にも確認
されている。

【００４４】ここで、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／
ＣＮＴ（ｉ）＜βが判別され（ステップＢ３）、ＭＩＮ
（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βでないと
き、信頼度なしとして変数ＲＬＢＴＹにＮＧが代入され
る（ステップＢ４）。

【００４５】こうして、サブルーチンＶＥＣＴＣＡＬか
らリターンされ、図１２のステップ１３へ進む。ここ
で、ＲＬＢＴＹ＝ＮＧであれば、ベクトルパターンＶＰ
（ｉ）にＮＧが代入される（ステップＳ１４）。

【００４６】次に、変数ＶＨ（ｉ）に水平方向動きベク
トルＶＥＣＴＨが、変数ＶＶ（ｉ）に垂直方向の動きベ
クトルＶＥＣＴＶが代入される（ステップＳ１５）。そ
の後、全ての領域ｉ＝０〜１２について、以上の動きベ
クトルの演算が終了したか否かが判別される（ステップ
Ｓ１６）。終了していない場合は、ｉ＝１２になるまで
ｉに１が加えられ（ステップＳ１７）、ステップＳ１２
に戻る。一方、上記ステップＳ１６に於いてｉ＝１２で
あれば、次に各々の領域ｉ＝０〜１２の動きベクトル
（ＶＨ（ｉ），ＶＶ（ｉ））を分類するためのサブルー
チンＶＥＣＴＰＡＴが実行される（ステップＳ１８）。

【００４７】図１５は、動きベクトルのパターン分類プ
ログラムＶＥＣＴＰＡＴのサブルーチンである。同図に
於いて、先ず領域を選択するための変数ｉに０が代入さ
れ（ステップＣ１）、またベクトルパターンの番号を表
す変数ｋに０が代入される（ステップＣ２）。次いで、
ベクトルパターンＶＰ（ｉ）がＮＧであるか否かが判別
され（ステップＣ３）、ＮＧでなければＶＰ（ｉ）が本
来パターン分類としてあり得ない定数ＩＮＩＴであるか
どうかが判別される（ステップＣ４）。

【００４８】ＩＮＩＴは、本プログラムには記されてい
ないが、図１２のフローチャートの開始直後に初期設定
される値である。具体的には、ＩＮＩＴは０〜１２以外
の値であればよい。もし、ＶＰ（ｉ）＝ＩＮＩＴである
ときは、ＶＰ（ｉ）にｋの値が代入される（ステップＣ
５）。次いで、変数ｊにｉ＋１が代入され（ステップＣ
６）、ＶＰ（ｊ）＝ＮＧでなく（ステップＣ７）、且つ
ＶＰ（ｊ）＝ＩＮＩＴ（ステップＣ８）のとき、動きベ
クトルの差異｜ＶＨ（ｉ）−ＶＨ（ｊ）｜、｜ＶＶ
（ｉ）−ＶＶ（ｊ）｜が求められて、それぞれ変数ΔＶ
Ｈ、ΔＶＶに代入される（ステップＣ９）。

【００４９】ここで、ΔＶＨ＜α、且つΔＶＶ＜αのと
き（ステップＣ１０）、ベクトル（ＶＨ（ｉ），ＶＶ
（ｉ））とベクトル（ＶＨ（ｊ），ＶＶ（ｊ）は同一ベ
クトルと判断されて、ＶＰ（ｊ）にｋが代入される（ス
テップＣ１１）。次に、ｊ＝１２であるか否かが判別さ
れ（ステップＣ１２）、ｊ＝１２でないときは、ｊ＋１
がｊに代入され（ステップＣ１３）、ステップＣ７に戻
って同様の演算が実行される。

【００５０】上記ステップＣ７でＹＥＳ、ステップＣ８
でＮＯ、ステップＣ１０でＮＯの場合も、ｊ＝１２であ
るか否かが判別され、ｊ＝１２でないならば、ｊにｊ＋
１が代入されて同様の演算が繰返される。

【００５１】ステップＣ１２に於いて、ｊ＝１２であれ
ば、次にベクトルパターンの種類を表す変数ｋにｋ＋１
が代入される（ステップＣ１４）。そして、ｉ＝１２で
あれば（ステップＣ１５）、本サブルーチンからリター
ンする。上記ステップＣ１５に於いて、ｉ＝１２でなけ
れば、変数ｉにｉ＋１が代入されて（ステップＣ１
６）、再びステップＣ３に戻り、以上のループが繰返さ
れる。表１は、以上のループで実行される演算の具体例
を示したものである。

【００５２】

【表１】

【００５３】この例に示されるように、ベクトル（ＶＨ
（ｉ），ＶＶ（ｉ））が所定の誤差で一致していれば、
ベクトルパターンＶＰ（ｉ）には同一の番号が与えられ
る。そして、ベクトルパターンが異なる毎に順に、０，
１，２，…の数字が与えられる。また、ＶＰ（ｉ）＝Ｎ
Ｇはそのままである。

【００５４】ＶＥＣＴＰＡＴのサブルーチンの処理が終
了すると（ステップＳ１８）、図１６に示されるサブル
ーチンＲＥＣＯＧＮＧが実行される（ステップＳ１
９）。このサブルーチンでは、変数ｉに０が代入され
（ステップＤ１）、ＶＰ（ｉ）＝ＮＧであれば（ステッ
プＤ２）、次にｉ＝８であるか否かが判別される（ステ
ップＤ３）。ここで、ｉ＝８でなければｉにｉ＋１が代
入され（ステップＤ４）、その後ステップＤ２に戻る。

【００５５】上記ステップＤ３でｉ＝８であれば、変数
ＲＮＧに１が代入される（ステップＤ５）。また、上記
ステップＤ２に於いてＶＰ（ｉ）＝ＮＧでなければ、変
数ＲＮＧに０が代入される（ステップＤ６）。

【００５６】すなわち、このサブルーチンは、動体検出
ゾーン（ｉ＝０〜８）の領域の全てのベクトルパターン
がＮＧのときにのみ、変数ＲＮＧに１が代入されるプロ
グラムである。

【００５７】図１２のフローチャートに戻り、ステップ
Ｓ２０に於いて、ＲＮＧ＝１のとき、追尾不能の表示が
行われる（ステップＳ２１）。一方、上記ステップＳ２
０にてＲＮＧ＝１でないときは、次にサブルーチンＲＥ
ＣＯＧＰＡＴＮＵＭが実行される（ステップＳ２２）。

【００５８】図１７に示されるように、このプログラム
は動体検出ゾーン（ｉ＝０〜８）の領域のベクトルパタ
ーン数（種類）を求めるサブルーチンである。ベクトル
パターンＶＰ（ｉ）は、上述したサブルーチンＶＥＣＴ
ＰＡＴで０から順に分類されているので、ＶＰ（ｉ）の
最大値を求め、それに１を加えた値がベクトルパターン
数に等しくなる。

【００５９】先ず、動体検出ゾーンを表す変数ｉに０が
代入される（ステップＥ１）。次いで、変数ＶＰＮＵＭ
に−１が代入される（ステップＥ２）。そして、ＶＰ
（ｉ）＝ＮＧが判別されて（ステップＥ３）、ＶＰ
（ｉ）＝ＮＧでなければ、続いてＶＰ（ｉ）とＶＰＮＵ
Ｍが比較される（ステップＥ４）。ここで、ＶＰ（ｉ）
＞ＶＰＮＵＭであればＶＰＮＵＭにＶＰ（ｉ）が代入さ
れる（ステップＥ５）。

【００６０】次に、変数ｉが判別されて（ステップＥ
６）、ｉ＝８でなければｉにｉ＋１が代入された後（ス
テップＥ７）、ステップＥ３に戻り、以上の動作が繰返
される。上記ステップＥ３に於いて、ＶＰ（ｉ）＝ＮＧ
であればステップＥ６に進む。以上の結果、ＶＰ（ｉ）
（ｉ＝０〜８）の最大値がＶＰＮＵＭに代入される。

【００６１】そして、ＶＰＮＵＭの値が判別されて（ス
テップＥ８）、ＶＰＮＵＭ＝０であれば、ベクトルパタ
ーン数は１つということでベクトルパターン数を表す変
数ＰＮＵＭに１が代入される（ステップＥ９）。一方、
上記ステップＥ８にて、ＶＰＮＵＭ＝０でなく、更にＶ
ＰＮＵＭ≧２でない場合は（ステップＥ１０）、ＰＮＵ
Ｍに２が代入される。また、上記ステップＥ１０にてＰ
ＮＶＭ≧２である場合は、ＰＮＵＭに３が代入される。
その後、このサブルーチンはリターンされる。

【００６２】再度図１２のフローチャートに戻って、ス
テップＳ２３に於いて、ベクトルパターン数ＰＮＵＭ＝
１の場合は、動体検出ゾーンに存在する物体の動きベク
トルは１種類ということである。この場合の動体検出ゾ
ーンの物体の動きの可能性としては、（ｉ）物体は動体
検出ゾーンの中で一体となって一方向に動いている、
（ii）物体は動いていない、（iii)物体は動いていない
がカメラが動いている、（iv）動体検出ゾーン内の一部
が動いているが動きが遅く検出できない等が考えられ
る。

【００６３】同実施例の考え方としては、上記（ｉ）〜
（iii)の場合は図７の９領域の中で、最大コントラスト
の領域を追尾ゾーン、または測距ゾーンとする。また、
上記（iv）の場合は、基準像はそのままにして参照像を
更新することにより、再び動きベクトルを検出する。こ
の更新回数は、変数ＬＯＯＰで決定される。

【００６４】次いで、ＬＯＯＰ＝３が判別され（ステッ
プＳ２４）る。ここで、ＬＯＯＰ＝３でない場合は、次
に参照画像の更新がなされ（ステップＳ２５）、変数Ｌ
ＯＯＰにＬＯＯＰ＋１が代入された後（ステップＳ２
６）、ステップＳ１１に戻る。一方、上記ステップＳ２
４に於いて、ＬＯＯＰ＝３になってもベクトルパターン
数ＰＮＵＭ＝１である場合は、次に、図１８に示される
ように、サブルーチンＲＥＣＯＧＴＲＫＺＮＥ１が実行
される。

【００６５】このサブルーチンは、動体検出ゾーンから
最大コントラストの追尾ゾーンを検出するプログラムで
ある。図１８に於いて、先ず領域を表す変数ｉに０が代
入される（ステップＦ１）。次いで、変数ＭＡＸＣＮＴ
に−１が代入される（ステップＦ２）。そして、動体検
出ゾーン（ｉ＝０〜８）の各領域のコントラスト値ＣＮ
Ｔ（ｉ）とＭＡＸＣＮＴが比較される（ステップＦ
３）。

【００６６】このステップＦ３に於いて、ＣＮＴ（ｉ）
＞ＭＡＸＣＮＴの場合は、ＭＡＸＣＮＴにＣＮＴ（ｉ）
が代入される（ステップＦ４）。そして、最終的に決定
される追尾ゾーンｉがＴＲＫＺＮＥに代入される（ステ
ップＦ５）。こうして、ｉ＝８になってこのサブルーチ
ンがリターンされるまで（ステップＦ６）、変数ｉにｉ
＋１が代入されて（ステップＦ７）、以上のステップＦ
３〜Ｆ７の動作が繰返される。

【００６７】次に、図１２のフローチャートに於いて、
上記ＴＲＫＺＮＥの表す領域に追尾マークがスーパーイ
ンポーズされる（図２（ｃ）の状態）。続いて、サブル
ーチンＴＲＡＣＫで追尾が行われる（ステップＳ３
３）。

【００６８】また、上記ステップＳ２３に於いて、ベク
トルパターン数ＰＮＵＭが１でない場合は、次にＰＮＵ
Ｍ＝３か否かが判別される（ステップＳ２８）。ここ
で、ＰＮＵＭ＝３の場合は、動きの異なる物体が混在す
るので、追尾不能の表示がなされる（ステップＳ２
９）。

【００６９】いま、上記ステップＳ２８にて、ＰＮＵＭ
＝３でないときは、自動的にＰＮＵＭ＝２となる。この
ときは、一方の動きベクトルは、カメラの動きである可
能性が高い。このときは、動体検出ゾーンとは異なる画
面の４隅に固定配置された４つの動きベクトル検出領域
３９〜４２（図６参照）（ｉ＝９〜１２）の動きベクト
ルと比較されることにより、動体検出ゾーンの２つの動
きベクトルの中から真に物体の動いている領域が特定さ
れる。

【００７０】サブルーチンＣＭＰＶＥＣＴＰＡＴ（ステ
ップＳ３０）は、（ａ）上記動体検出ゾーンとは異なる
４つの領域（ｉ＝９〜１２）の中に動体検出ゾーンとは
異なる動きベクトルＶＰ（ｉ）が観測された場合は追尾
不能とする、（ｂ）ＶＰ（ｉ）＝ＮＧ（検出不能）の領
域が２つ以上ある場合は追尾不能とする、（ｃ）ＶＰ
（ｉ）（ｉ＝９〜１２）の中で２種類の動きベクトルが
存在し、両方のベクトルパターンの存在する領域の数が
同じ場合（例えば２：２、１：１）は、追尾不能とす
る、ことを基本とする。

【００７１】次に、図１９のサブルーチンＣＭＰＶＥＣ
ＴＰＡＴを説明する。同図に於いて、先ず、領域を表す
変数ｉに９が、そして変数ＮＮＧ、Ｎ０、Ｎ１、ＲＮＧ
２に、それぞれ０が代入される（ステップＧ１）。この
場合、ｉ＝０〜８のベクトルパターンＶＰ（ｉ）の最大
値は１であることに注意する。

【００７２】次いで、ＶＰ（ｉ）≧２が判別され（ステ
ップＧ２）、ＶＰ（ｉ）≧２の場合は上記（ａ）の理由
で追尾不能表示のフラグＲＮＧ２に１が代入されて（ス
テップＧ３）リターンされる。一方、ＶＰ（ｉ）≧２で
なく、且つＶＰ（ｉ）＝ＮＧの場合は（ステップＧ
４）、ＮＧのカウンタ変数ＮＮＧがインクリメントされ
る（ステップＧ５）。

【００７３】次に、ＶＰ（ｉ）＝０が判別されて（ステ
ップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメ
ントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１
の場合は（ステップＧ８）、Ｎ１がインクリメントされ
る（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返
される（ステップＧ１０）。

【００７４】こうして、ＮＮＧにはＶＰ（ｉ）＝ＮＧと
なるベクトルパターン数が、Ｎ０にはＶＰ（ｉ）＝０と
なるベクトルパターン数が、そしてＮ１にはＶＰ（ｉ）
＝１となるベクトルパターン数が代入されたことにな
る。

【００７５】上記ステップＧ１０でＮ＝１２の場合、次
にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）
の理由により、追尾不能表示フラグＲＮＧ２に１が代入
される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は
（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不
能表示フラグＲＮＧ２に１が代入される。

【００７６】そして、Ｎ０＞Ｎ１が判別されて（ステッ
プＧ１４）、Ｎ０＞Ｎ１の場合は変数ＶＰに０が（ステ
ップＧ１５）、Ｎ０≦Ｎ１の場合はＶＰに１が代入され
て（ステップＧ１６）、リターンされる。

【００７７】図１２のフローチャートに戻って、ステッ
プＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴが終了さ
れると、続いてサブルーチンＲＥＣＯＧＴＲＫＺＮＥ２
が実行される（ステップＳ３１）。これは、サブルーチ
ンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて
動体検出ゾーンの中から動体の存在する領域を検出する
プログラムである。

【００７８】ステップＳ３０のサブルーチンＣＭＰＶＥ
ＣＴＰＡＴで求められたＶＰは、領域ｉ＝９〜１２のベ
クトルパターン２種（０〜１）のうち多い方のベクトル
パターンであり、これをカメラの動きベクトルと判断す
る。したがって、動体検出ゾーンの２種の動きベクトル
のうち、ＶＰと等しくない方の動きベクトルをもった追
尾ゾーンが、動体の存在する領域である。更に、動体の
存在する領域が複数存在するときは、コントラストの高
い領域が最終的に追尾ゾーンとされる。

【００７９】図２０はこの判断をするプログラムを示し
たものである。同図に於いて、先ずｉに０が代入される
（ステップＨ１）。そして、ＭＡＸＣＮＴに−１が代入
される（ステップＨ２）。次いで、ＶＰ（ｉ）＝ＶＰで
あるか否かが判別される（ステップＨ３）

【００８０】このステップＨ３にて、ＶＰ（ｉ）＝ＶＰ
でない場合にコントラストＣＮＴ（ｉ）とＭＡＸＣＮＴ
が比較され（ステップＨ４）、更にＣＮＴ（ｉ）＞ＭＡ
ＸＣＮＴであればＭＡＸＣＮＴにＣＮＴ（ｉ）が代入さ
れる（ステップＨ５）。その後、ｉがＴＲＫＺＮＥに代
入される（ステップＨ６）。

【００８１】次に、ｉ＝８が否かが判別される（ステッ
プＨ７）。ここで、ｉ＝８でない場合は、ｉがインクリ
メントされて（ステップＨ８）、以上の動作が繰返され
る。これにより、最終的に変数ＴＲＫＺＮＥには、追尾
ゾーンｉが代入されることになる。

【００８２】図１２のフローチャートに戻り、ステップ
Ｓ３２に於いて、ＲＮＧ２＝１のとき、追尾不能の表示
が行われ、ＲＮＧ２＝１でない場合は、追尾マークが表
示された後（ステップＳ３３）、追尾演算ＴＲＡＣＫの
サブルーチンが実行される（ステップＳ３４）。

【００８３】図２１は、サブルーチンＴＲＡＣＫを示し
たものである。同図に於いて、先ず、タイマｔに０が設
定される（ステップＩ１）。次いで、参照像のロードと
代表点フィルタリング演算が行われる（ステップＩ
２）。そして、サブルーチンＶＥＣＴＣＡＬが行われる
動きベクトルが求められる（ステップＩ３）。

【００８４】ここで、信頼度変数ＲＬＢＴＹ＝ＮＧか否
かの判別がなされる（ステップＩ４）。このステップＩ
４にて、ＲＬＢＴＹ＝ＮＧの場合は追尾不能の表示が行
われる（ステップＩ５）。一方、ＲＬＢＴＹ＝ＮＧでな
い場合は、動きベクトルの値に応じて追尾マークの更新
が行われる（ステップＩ６）。

【００８５】次に、タイマがｔ＞ｔ₀（ｔ₀は例えば１
秒）であるか否かが判別され（ステップＩ７）、ｔ＞ｔ
₀のときは、次にｔに０が設定されて（ステップＩ
８）、基準像が更新される（ステップＩ９）。

【００８６】次いで、コントラスト演算が行われ（ステ
ップＩ１０）、もしコントラスト不足でＲＬＢＴＹ＝Ｎ
Ｇのときは（ステップＩ１１）、追尾不能表示がなされ
る（ステップＩ１２）。一方、上記ステップＩ１１に
て、ＲＬＢＴＹ＝ＮＧでない場合は、再び基準像と参照
像との相関演算が行われて追尾する。以上のように、所
定時間毎に基準像が更新されることにより、移動中に少
しずつ形状が変わるような物体にも追尾が可能となる。

【００８７】図２２は、同実施例の概略的な制御の流れ
を示すタイミングチャートである。同図（ａ）は画像を
１／３０ｓｅｃ毎に取込む様子を示したものである。同
図（ｂ）は動体検出ゾーンとカメラの動きベクトル検出
ゾーンの代表点フィルタリングとコントラスト演算のタ
イミングを示したものである。また、同図（ｃ）は動作
ベクトルの演算のタイミングを示している。更に、同図
（ｄ）は、追尾演算のタイミングを示したものである。

【００８８】初めに、図２２（ａ）の第１画像を基準と
し、第２画像と比較して動きベクトルが検出される。こ
こで、動きベクトルが検出されるときは、基準像はその
ままに第１画像と第３画像から動きベクトルが求められ
る。同図は、最終的に第１画像と第４画像により動きベ
クトルが求まった場合を示している。このようにして、
第５画像以降の追尾が開始される。尚、上述した実施例
は、動体追尾システムへの適用例であるが、注視点を選
択した後、直ちに撮影する銀塩カメラへの適用も可能で
ある。また、追尾と同時に自動焦点を行う装置への適用
も可能である。

【００８９】更に、動きのある被写体をすばやく選択し
て、追尾したり視線方向検知によって正確に注視点をと
らえ、画面の任意領域に簡単な操作で焦点を合わせる装
置への適用が可能となる。

【００９０】

【発明の効果】以上のようにこの発明によれば、画面の
広い領域から使用者の意図する注視点を簡単に選択する
ことができる注視点選択装置を提供することができる。

【図面の簡単な説明】

【図１】この発明の一実施例で、注視点選択装置が適用
されたカメラシステムの構成を示すブロック図である。

【図２】カメラの操作者が注視点を選択してから追尾す
るまでの表示例を示したもので、（ａ）は操作者が物体
ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態
を示した図、（ｂ）は同図（ａ）の“＋”マークを中心
に動体検出ゾーンがスーパーインポーズされた状態を示
した図、（ｃ）は追尾ゾーンの表わす領域に追尾マーク
がスーパーインポーズされた状態を示した図である。

【図３】図２の注視点のマークを移動させるための部材
の配置を示した外観図である。

【図４】視線方向を検出し、それにより画面の任意の領
域を指示するための原理図である。

【図５】眼の角膜反射像、瞳孔、虹彩の出力波形の一例
を示した図である。

【図６】動体検出ゾーンとカメラの動き検出領域の一例
を示した図である。

【図７】図６の動体検出ゾーンを複数のブロックに分割
した例を示した図である。

【図８】図７の１つの追尾ゾーン内の１６個の代表点画
素配置を示した図である。

【図９】図８の中の１つの画素が、５つの画素の平均値
で表されることを示した図である。

【図１０】動きベクトル（移動量と方向）の検出の原理
を示した図である。

【図１１】代表点配置の一例を示した図である。

【図１２】図１２はこのカメラシステムの全体の制御動
作を説明するフローチャートである。

【図１３】基準像のコントラスト計算を実行するプログ
ラムＣＮＴＣＡＬのサブルーチンである。

【図１４】基準像と参照像との間で相関演算を行うプロ
グラムＶＥＣＴＣＡＬのサブルーチンである。

【図１５】動きベクトルのパターン分類プログラムＶＥ
ＣＴＰＡＴのサブルーチンである。

【図１６】動体検出ゾーンの領域の全てのベクトルパタ
ーンがＮＧのときにのみ、変数ＲＮＧに１が代入される
プログラムＲＥＣＯＧＮＧのサブルーチンである。

【図１７】動体検出ゾーンの領域のベクトルパターン数
（種類）を求めるプログラムＲＥＣＯＧＰＡＴＮＵＭの
サブルーチンである。

【図１８】動体検出ゾーンから最大コントラストの追尾
ゾーンを検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ１
のサブルーチンである。

【図１９】ベクトルパターンＶＰを求めるプログラムＣ
ＭＰＶＥＣＴＰＡＴのサブルーチンである。

【図２０】サブルーチンＣＭＰＶＥＣＴＰＡＴで求めら
れたＶＰの値に基いて動体検出ゾーンの中から動体の存
在する領域を検出するプログラムＲＥＣＯＧＴＲＫＺＮ
Ｅ２のサブルーチンである。

【図２１】追尾演算のプログラムＴＲＡＣＫのサブルー
チンである。

【図２２】この発明の一実施例の概略的な制御の流れを
示すタイミングチャートである。

【符号の説明】

１０…ビデオカメラ、１１…Ｙ／Ｃ分離回路、１２…Ａ
／Ｄ変換回路、１３ａ、１３ｂ…ビデオＲＡＭ、１４…
ＣＰＵ、１５…ＲＡＭ、１６…ＲＯＭ、１７…ＣＲＴコ
ントローラ、１８…ゲート、１９…スーパーインポー
ザ、２０…表示部、２３…注視点移動部材、２４…注視
点選択部材、３８…動体検出ゾーン、３９、４０、４
１、４２…動きベクトル検出領域。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年４月１５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００７３

【補正方法】変更

【補正内容】

【００７３】次に、ＶＰ（ｉ）＝０が判別されて（ステ
ップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメ
ントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１
の場合は（ステップＧ８）、Ｎ１がインクリメントされ
る（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返
される（ステップＧ１０、Ｇ１７）。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正内容】

【００７５】上記ステップＧ１０でｉ＝１２の場合、次
にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）
の理由により、追尾不能表示フラグＲＮＧ２に１が代入
される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は
（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不
能表示フラグＲＮＧ２に１が代入される。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図１４

【補正方法】変更

【補正内容】

【図１４】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図１９

【補正方法】変更

【補正内容】

【図１９】

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０３Ｂ 13/02 7139−2ＫＨ０４Ｎ 5/232 Ｃ

Claims

【特許請求の範囲】

【請求項１】被写体像を映像信号に変換する光電変換
手段と、使用者の注視点を表す注視点信号を入力する入力手段
と、上記映像信号の中から上記注視点信号に基いて比較的広
い第１領域を選択する選択手段と、上記第１領域を更に複数の領域に分割する分割手段と、この分割手段によって分割された複数の領域から動体の
存在するか若しくは最大コントラスト領域を第２の領域
として検出する検出手段とを具備することを特徴とする
注視点選択装置。