JPH05292376A - カメラの動体検出装置 - Google Patents

Abstract

(57)【要約】 【目的】この発明のカメラの動体検出装置にあっては、
カメラが動いても所望の動体が存在する領域を正確に検
出するために、各移動ベクトルを比較して複数に分割さ
れた領域から動体が存在する領域を検出することを特徴
とする。 【構成】ビデオカメラ１０により得られた被写体の映像
が、Ｙ／Ｃ分離回路１１、Ａ／Ｄ変換回路１２及びビデ
オＲＡＭ１３ａを介してＣＰＵ１４で検出される。ＣＰ
Ｕ１４、ビデオＲＡＭ１３ａ、１３ｂ、ＲＡＭ１５及び
ＲＯＭ１６により、異なる２つの時刻に、上記検出され
た映像の、表示部２０上に表示される任意の第１の所定
領域と第２の所定領域から抽出されたそれぞれ２つずつ
の映像から、それぞれの映像の移動ベクトルが検出され
る。そして、検出された映像の移動ベクトルに基いて、
上記第１の所定領域に存在する物体が動体か否かがＣＰ
Ｕ１４により判別される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はカメラの動体検出装置
に関し、特に動体を自動的に判別して撮影したり動体を
自動的に追尾撮影するカメラの動体検出装置に関するも
のである。

【０００２】

【従来の技術】従来より、カメラの映像の比較的広い領
域を複数に分割し、その中から動体の存在する領域を判
別する動体検出を行うカメラが、種々開発されている。
そして、特に動きのある被写体に対しては、操作者が手
動によってカメラの映像内の狭い領域をすばやく指定し
て動体の領域を判別していた。また、操作者の視線方向
を検知することにより、注視点、すなわち動体を検出す
るというものもあった。

【０００３】そして、例えば特願平２−２３５０７４号
によれば、測距視野選択装置に関する技術が開示されて
いる。これは、画面を複数の領域に分割し、その中から
１つの領域を選択する手段と、選択された領域を表すフ
ォーカスフレーム表示手段と、フォーカスフレーム内に
存在する被写体に焦点を合わせる合焦手段とより成るカ
メラに於いて、上記フォーカスフレームをフォーカスフ
レーム選択部材と、抵抗値比較手段とフォーカスフレー
ムの表示を移動させる手段とで構成し、所望のフォーカ
スフレームの存在する方向を検出すると同時にフォーカ
スフレームを該方向に移動して表示させるものである。
また、特開平３−１７７８２８号公報には、視線検出装
置の視線検出方向の改良に関する技術が開示されてい
る。

【０００４】更に、特開平２−９６７０７号公報には、
被写体パターンを入力した時に被写体要部の位置を示す
信号を出力するように学習されたネットワークを有し
て、このネットワークの出力により複数の光電変換素子
の出力の中から被写体主要部の信号を選択し、それに基
いて焦点が検出される露出制御装置に関する技術が開示
されている。

【０００５】

【発明が解決しようとする課題】しかしながら、ジョイ
スティック等により、操作者が手動操作によってカメラ
の映像内の画面の広い領域から任意の領域を選択する場
合、特に動きのある被写体に対してすばやく任意の領域
を選択するのは大変困難であり、熟練を要するものであ
る。また、視線検知による方法では、精度良く画面の任
意領域を選択するのが難しい。

【０００６】一方、ニューラルネットワーク等により、
カメラの映像内の画面の広い領域から自動的に主要被写
体を認識する場合、主要被写体の候補が多数存在して認
識が困難であるという問題がある。

【０００７】更に、動体の検出に関しては、先ず大まか
な視野を選択し、その中から特定の被写体を選択するよ
うにしているが、従来はカメラの動きと、目的とする移
動被写体を分離しなければ正確に追尾することができな
いものであった。

【０００８】この発明は上記課題に鑑みてなされたもの
で、カメラの映像内の画面の広い領域から任意の領域を
簡単に選択することができ、カメラが動いても簡単な操
作により、所望の動体が存在する領域を正確に検出する
ことのできるカメラの動体検出装置を提供することを目
的とする。

【０００９】

【課題を解決するための手段】すなわちこの発明は、被
写体の映像を検出する第１の検出手段と、異なる２つの
時刻に上記第１の検出手段で検出された映像の任意の第
１の所定領域から抽出された２つの映像から映像の移動
ベクトルを検出する第２の検出手段と、上記第１の所定
領域とは異なる位置の第２の所定領域から上記と同一の
時刻に抽出された２つの映像から映像の移動ベクトルを
検出する第３の検出手段と、上記第２の検出手段及び第
３の検出手段とにより検出された映像の移動ベクトルか
ら上記第１の所定領域に存在する物体が動体か否かを判
別する判別手段とを具備することを特徴とする。

【００１０】またこの発明は、被写体の映像を検出する
映像検出手段と、この映像検出手段で検出された映像の
任意の位置の第１の所定領域を複数の領域に分割する手
段と、異なる２つの時刻に上記第１の所定領域の２つの
映像から上記複数のそれぞれの領域のそれぞれの映像の
移動ベクトルを検出する第１の移動ベクトル検出手段
と、上記第１の所定領域とは異なる位置の第２の所定領
域から上記と同一の時刻に抽出された２つの映像から映
像の移動ベクトルを検出する第２の移動ベクトル検出手
段と、上記第１の移動ベクトル検出手段と第２の移動ベ
クトル検出手段とにより検出された映像の移動ベクトル
とから、上記第１の所定領域中の複数に分割された領域
の中から動体の存在する領域を判別する手段とを具備す
ることを特徴とする。

【００１１】

【作用】この発明のカメラの動体検出装置にあっては、
被写体の映像が第１の検出手段で検出され、異なる２つ
の時刻に、上記検出された映像の任意の第１の所定領域
と、この第１の所定領域とは異なる位置の第２の所定領
域から抽出されたそれぞれ２つずつの映像から、それぞ
れの映像の移動ベクトルが第２及び第３の検出手段によ
って検出される。そして、第２の検出手段及び第３の検
出手段とにより検出された映像の移動ベクトルに基い
て、上記第１の所定領域に存在する物体が動体か否かが
判別手段により判別される。

【００１２】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。図１は、この発明の一実施例で、カメラの動体
検出装置が適用されたカメラシステムの構成を示すブロ
ック図である。

【００１３】同図に於いて、ビデオカメラ１０から出力
されるＮＴＳＣコンポジット信号の一方は、Ｙ／Ｃ分離
回路１１で輝度信号が分離され、輝度信号のみＡ／Ｄ変
換回路１２でＡＤ変換されてビデオＲＡＭ１３ａに入力
される。ＣＰＵ１４は、ビデオＲＡＭ１３ａ、１３ｂ、
１４、ＲＡＭ１５及びＲＯＭ１６と結合しているもの
で、システム全体の制御、演算を行う。

【００１４】上記ＲＯＭ１６には、予め制御の手順がプ
ログラムされている。また、ＲＡＭ１５は、演算途中の
データの記憶、演算結果のデータの記憶に用いられる。
更に、ビデオＲＡＭ１３ｂは、ＣＰＵ１４で演算された
注視点の位置を表示したり追尾マークの表示データを記
憶するものである。

【００１５】ビデオＲＡＭ１３ｂに記憶された表示デー
タは、ＣＲＴコントローラ１７のタイミングに従ってゲ
ート１８を通り、スーパーインポーザ１９の一方の入力
となる。このスーパーインポーザ１９は、ビデオカメラ
１０の映像信号に、ゲート１８の出力である注視点の位
置や追尾マーク等を重ねて表示するための装置である。
スーパーインポーザ１９の出力は、表示部２０に表示さ
れる。

【００１６】尚、ＣＰＵ１４に入力される信号ｓ１は、
カメラの操作者が注視点を移動させるための信号であ
る。また、スイッチＳＷは、注視点を保持し、追尾を開
始するためのスイッチである。

【００１７】図２は、カメラの操作者が注視点を選択し
てから追尾するまでの表示例を示したものである。図２
（ａ）は、操作者が物体ＯＢＪの近傍に注視点マークＰ
“＋”を移動させた状態を示した図である。ここで、ス
イッチＳＷ（図１参照）がオンされると、同図（ａ）の
“＋”マークを中心に、図２（ｂ）に示されるように広
い領域の動体検出ゾーンがスーパーインポーズされる。
次いで、後に詳述する演算により動体領域が特定されて
追尾が開始される。尚、同図（ｂ）の表示はなくともよ
いものである。更に、図２（ｃ）は、後述する追尾ゾー
ンの表す領域に、追尾マークがスーパーインポーズされ
た状態を示したものである。

【００１８】図３は、注視点のマーク（図２の“＋”）
を移動させるための部材の配置を示したものである。こ
れは銀塩カメラへの応用例であり、その詳細は本出願人
が先に出願した特願平２−２３５０７４号に詳しく述べ
てある。

【００１９】図３に於いて、カメラ本体２１のグリップ
２２上に、注視点移動部材２３が配置されている。そし
て、この注視点移動部材２３の中心に注視点選択部材２
４（図１のスーパーインポーザ１９に相当する）が配置
されている。注視点選択部材２４はレリーズ釦を兼用し
ている。

【００２０】また、図４及び図５は、視線方向を検出
し、それにより画面の任意の領域を指示するための原理
図である。これらについて、例えば特開平２−５号公報
や特開平２−６５８３４号公報、或いは電子通信学会技
術報告ＰＲＵ８８−７３、ＰＰ．１７−２４に詳しく述
べられている。これらは、眼の瞳孔と角膜反射像（第１
プリキンエ像）、または虹彩と角膜反射像の組合わせか
ら視線方向を検出するもので、注視点を指示する方法と
して注目されている。

【００２１】図４に於いて、２５は赤外ＬＥＤであり、
この赤外ＬＥＤ２５からレンズ２６を介して平行光束が
作られる。また、図中２７、２８はダイクロイックミラ
ー、２９は撮影者の眼、３０はＣＣＤ、３１はレンズで
ある。

【００２２】赤外ＬＥＤ２５から発せられた赤外線は、
レンズ２６、ダイクロイックミラー２７、２８を介して
眼２９に入る。そして、眼２９で反射された光は、ダイ
クロイックミラー２８、２７及びレンズ３１を介してＣ
ＣＤ３０で撮像され、上述した原理で視線方向が計算さ
れる。これにより、撮影レンズ３２、ミラー３３、マッ
ト３４、コンデンサーレンズ３５、ペンタプリズム３６
及びダイクロイックミラー２８を介して、撮影者が観測
する注視点の位置を検出することが可能となる。図５
は、眼の角膜反射像、瞳孔、虹彩の出力波形の一例を示
したものである。図６は、動体検出ゾーンとカメラの動
き検出領域の一例を示した図である。

【００２３】画面３７内の動体検出ゾーン３８は、更に
このゾーンの中が、後述するように複数ブロックに分割
され、この中から１つのブロックが選択され、追尾ゾー
ンに特定されるようになっている。選択されるブロック
は動体が最優先されるが、その場合、カメラが動いてい
るのか、物体が動いているのかの判別が課題となる。
尚、図中Ｓ１〜Ｓ４で示される領域は、カメラの動きを
判別するために設定した動きベクトル検出領域３９〜４
２である。

【００２４】図７は、図６の動体検出ゾーン３８を複数
のブロックに分割した例である。同図（ａ）〜（ｄ）に
示されるように、各々がオーバラップするように、９ブ
ロックの追尾ゾーン（ａ₁₁、ａ₁₂、ａ₁₃、ａ₂₁、ａ₂₂、
ａ₂₃、ａ₃₁、ａ₃₂、ａ₃₃）に分割され、それぞれの領域
の動きベクトルを検出することになる。

【００２５】これら９ブロックの追尾ゾーンのうち、１
つの追尾ゾーン内は図８に示されるように、１６個の代
表点画素（Ｐ（ _1,1）、Ｐ（ _1,2）、…、Ｐ（ _4,4））
で構成されている。

【００２６】また、図９は図８の中の１つの画素
（Ｐ₁₁）が、５つの画素（Ｐ（₀）、Ｐ（₁）、
Ｐ（₂）、Ｐ（₃）、Ｐ（₄））の平均値で表されること
を示す図である。この平均値は、数１の関係式のように
して求められる。

【００２７】

【数１】

【００２８】図１０は、この発明で採用された動きベク
トル（移動量と方向）の検出の原理を示す図である（参
考文献：テレビジョン学会技術報告Ｖｏｌ．１１，Ｎ
ｏ．３，ＰＰ．４３−４８，ＰＰ０Ｅ’８７−１２（Ｍ
ａｙ，１９８７）。

【００２９】動きベクトル検出法としては種々の方法が
あるが、精度スピードの点から、以下に述べる代表点マ
ッチングがたいへんすぐれている。これは画面上のいく
つかの画素（以下これを代表点と称する）に着目し、現
在の位置と所定時間後の位置の変化から、動きベクトル
を決定する方法である。

【００３０】図１０の模式図に於いて、現在の代表点Ｐ
が同図（ａ）に示される位置にあるものとする。所定時
間後のこの代表点Ｐと最もレベルが一致する点を、同図
（ｂ）のｐ₁〜ｐ₉と比較することにより求める。ここで
は、その最もレベルが近い画素の位置へ代表点が移動し
たと判断し、該当するベクトルを動きベクトルと判断す
る。実際は精度を上げるため、代表点の数を増やしてい
る。

【００３１】図１１は、代表点配置の一例を示したもの
である。同図に於いて、水平方向に１５ドットおきに３
４ポイント、垂直方向に１５ライン毎に３４ポイントの
代表点を配置している。尚、追尾ゾーンは、上述したよ
うに、４×４＝１６の代表点より構成される。また、ゾ
ーンＢ（追尾ゾーンＡの動きベクトル検出範囲）は、水
平、垂直方向ともに±２ポイントに設定される。

【００３２】すなわち、図１１で代表点Ｐの検出範囲
は、図示の如く計２５ポイントとなる。また、図９で説
明したように、各ポイントに相当する画素のレベルは、
周囲４点の画素との加算平均を行うことにより、ローパ
スフィルタ効果をもたせている。これにより、エッジの
鋭い画像を得て、細いラインへの検出能力を高めてい
る。次に、図１２乃至図２１のフローチャートを参照し
て、同実施例の動作を説明する。

【００３３】図１２はこのカメラシステムの全体の制御
動作を説明するフローチャートである。同図に於いて、
先ず、注視点の設定が行われる（ステップＳ１）。ここ
で、ＣＰＵ１４は、注視点の座標を読取る。次に、設定
された注視点を中心にして、現時点に於ける動体検出ゾ
ーンと、カメラの動きベクトル検出ゾーン（図６及び図
１１参照）の代表点のポイントのレベルが求められる
（これを基準像のロード及び代表点フィルタリングと称
するものとする）。次いで、所定時間（１／３０ｓｅ
ｃ）後、同様にして上記と同領域の代表点ポイントのレ
ベルが求められる（これを参照像のロード及び代表点フ
ィルタリングと称するものとする）（ステップＳ２）。

【００３４】そして、ｉに０が初期設定される（ステッ
プＳ３）。ここで、ｉは図７に示された９つの追尾ゾー
ン（ｉ＝０〜８）と、カメラの動きベクトル検出ゾーン
（ｉ＝９〜１２）の領域を表す変数である。次に、サブ
ルーチンＣＮＴＣＡＬにて、ｉ＝０〜１２の各領域のコ
ントラストが求められる（ステップＳ４）。各々の領域
は、図８に示されるように、１６個の代表点から成る。
いま、それぞれの代表点を図８のようにＰ（ _1,1）、Ｐ
（ _1,2）、…、Ｐ（ _4,4）とし、記述を簡単にするため
に、各々代表点の出力レベルも同じ記号Ｐ（ｉ，ｊ）で
表わすものとする。

【００３５】図１３は、基準像のコントラスト計算を実
行するＣＮＴＣＡＬのサブルーチンである。先ず、コン
トラストＣＮＴの演算が、次のように行われる（ステッ
プＡ１）。すなわち、Ｘ方向のコントラストをＣＮＴ
Ｘ、Ｙ方向のコントラストをＣＮＴＹ、そしてコントラ
ストをＣＮＴとすると、それぞれ数２、数３及び数４の
関係式のようになる。

【００３６】

【数２】

【００３７】

【数３】

【００３８】

【数４】

【００３９】次にＣＮＴが所定レベルＣ１と比較され
（ステップＡ２）、映像のコントラストが不足すると
き、すなわちＣＮＴ＜Ｃ１のときは信頼度なしとして、
ＲＬＢＴＹにＮＧが代入される（ステップＡ３）。この
後、コントラスト演算のサブルーチンＣＮＴＣＡＬから
リターンされる。

【００４０】図１２のフローチャートに戻り、信頼度変
数ＲＬＢＴＹが判別され（ステップＳ５）、ＲＬＢＴＹ
＝ＮＧのときベクトルパターンＶＰ（ｉ）にＮＧが代入
される（ステップＳ６）。ここでＶＰ（ｉ）は、動きベ
クトルの種類をパターン分類するための変数であり、Ｖ
Ｐ（ｉ）＝ＮＧとは動きベクトルを検出できないことを
意味する。

【００４１】そして、変数ＣＮＴ（ｉ）にＣＮＴが代入
され（ステップＳ７）、ｉ＝１２が判別される（ステッ
プＳ８）。ここで、ｉ＝１２でなければｉに１を加えた
後（ステップＳ９）、ステップＳ４に戻る。一方、ステ
ップＳ８に於いて、ｉ＝１２であればコントラスト演算
（ステップＳ４〜Ｓ９）を終了する。

【００４２】次に、更新回数の変数ＬＯＯＰに０が設定
された後（ステップＳ１０）、再び領域選択ｉに０が初
期設定される（ステップＳ１１）。ＣＰＵ１４は、先ず
ｉ＝０に相当する領域の代表点の信号を選択すると、図
１４に示されるサブルーチンＶＥＣＴＣＡＬに於いて、
上記基準像と参照像との間で相関演算を行う（ステップ
Ｓ１２）。

【００４３】図１４に於いて、いま基準像のＰ（ｉ，
ｊ）の位置（図８参照）に相当する信号レベルをＰＳ
（ｉ．ｊ）、参照像の信号レベルをＰＲ（ｉ，ｊ）とす
ると、相関値出力ＣＯＲＲ（Ｓ）は数５の関係式の如く
なる（ステップＢ１）。

【００４４】

【数５】 ここでＨ＝０，１，２、Ｖ＝０，１，２であり、Ｈ，Ｖ
はＸ方向、Ｙ方向へのずらし量に相当する。

【００４５】次に、ＣＯＲＲ（Ｈ，Ｖ）の極小値ＭＩＮ
（ＣＯＲＲ（Ｈ，Ｖ））が求められる。このときのＨが
変数ＶＥＣＴＨに、Ｖが変数ＶＥＣＴＶに代入される。
そして、上述したように求められた領域ｉのコントラス
ト信号ＣＮＴ（ｉ）により、上記ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））が除算される（ステップＢ２）。２つの像
が真に一致したことにより、極小値ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））が求められるとき、ＭＩＮ（ＣＯＲＲ
（Ｈ，Ｖ））／ＣＮＴ（ｉ）は、所定の値βより小さく
なり、大きい程信頼度が悪くなることが実験的にも確認
されている。

【００４６】ここで、ＭＩＮ（ＣＯＲＲ（Ｈ，Ｖ））／
ＣＮＴ（ｉ）＜βが判別され（ステップＢ３）、ＭＩＮ
（ＣＯＲＲ（Ｈ，Ｖ））／ＣＮＴ（ｉ）＜βでないと
き、信頼度なしとして変数ＲＬＢＴＹにＮＧが代入され
る（ステップＢ４）。

【００４７】こうして、サブルーチンＶＥＣＴＣＡＬか
らリターンされ、図１２のステップ１３へ進む。ここ
で、ＲＬＢＴＹ＝ＮＧであれば、ベクトルパターンＶＰ
（ｉ）にＮＧが代入される（ステップＳ１４）。

【００４８】次に、変数ＶＨ（ｉ）に水平方向動きベク
トルＶＥＣＴＨが、変数ＶＶ（ｉ）に垂直方向の動きベ
クトルＶＥＣＴＶが代入される（ステップＳ１５）。そ
の後、全ての領域ｉ＝０〜１２について、以上の動きベ
クトルの演算が終了したか否かが判別される（ステップ
Ｓ１６）。終了していない場合は、ｉ＝１２になるまで
ｉに１が加えられ（ステップＳ１７）、ステップＳ１２
に戻る。一方、上記ステップＳ１６に於いてｉ＝１２で
あれば、次に各々の領域ｉ＝０〜１２の動きベクトル
（ＶＨ（ｉ），ＶＶ（ｉ））を分類するためのサブルー
チンＶＥＣＴＰＡＴが実行される（ステップＳ１８）。

【００４９】図１５は、動きベクトルのパターン分類プ
ログラムＶＥＣＴＰＡＴのサブルーチンである。同図に
於いて、先ず領域を選択するための変数ｉに０が代入さ
れ（ステップＣ１）、またベクトルパターンの番号を表
す変数ｋに０が代入される（ステップＣ２）。次いで、
ベクトルパターンＶＰ（ｉ）がＮＧであるか否かが判別
され（ステップＣ３）、ＮＧでなければＶＰ（ｉ）が本
来パターン分類としてあり得ない定数ＩＮＩＴであるか
どうかが判別される（ステップＣ４）。

【００５０】ＩＮＩＴは、本プログラムには記されてい
ないが、図１２のフローチャートの開始直後に初期設定
される値である。具体的には、ＩＮＩＴは０〜１２以外
の値であればよい。もし、ＶＰ（ｉ）＝ＩＮＩＴである
ときは、ＶＰ（ｉ）にｋの値が代入される（ステップＣ
５）。次いで、変数ｊにｉ＋１が代入され（ステップＣ
６）、ＶＰ（ｊ）＝ＮＧでなく（ステップＣ７）、且つ
ＶＰ（ｊ）＝ＩＮＩＴ（ステップＣ８）のとき、動きベ
クトルの差異｜ＶＨ（ｉ）−ＶＨ（ｊ）｜、｜ＶＶ
（ｉ）−ＶＶ（ｊ）｜が求められて、それぞれ変数ΔＶ
Ｈ、ΔＶＶに代入される（ステップＣ９）。

【００５１】ここで、ΔＶＨ＜α、且つΔＶＶ＜αのと
き（ステップＣ１０）、ベクトル（ＶＨ（ｉ），ＶＶ
（ｉ））とベクトル（ＶＨ（ｊ），ＶＶ（ｊ）は同一ベ
クトルと判断されて、ＶＰ（ｊ）にｋが代入される（ス
テップＣ１１）。次に、ｊ＝１２であるか否かが判別さ
れ（ステップＣ１２）、ｊ＝１２でないときは、ｊ＋１
がｊに代入され（ステップＣ１３）、ステップＣ７に戻
って同様の演算が実行される。

【００５２】上記ステップＣ７でＹＥＳ、ステップＣ８
でＮＯ、ステップＣ１０でＮＯの場合も、ｊ＝１２であ
るか否かが判別され、ｊ＝１２でないならば、ｊにｊ＋
１が代入されて同様の演算が繰返される。

【００５３】ステップＣ１２に於いて、ｊ＝１２であれ
ば、次にベクトルパターンの種類を表す変数ｋにｋ＋１
が代入される（ステップＣ１４）。そして、ｉ＝１２で
あれば（ステップＣ１５）、本サブルーチンからリター
ンする。上記ステップＣ１５に於いて、ｉ＝１２でなけ
れば、変数ｉにｉ＋１が代入されて（ステップＣ１
６）、再びステップＣ３に戻り、以上のループが繰返さ
れる。表１は、以上のループで実行される演算の具体例
を示したものである。

【００５４】

【表１】

【００５５】この例に示されるように、ベクトル（ＶＨ
（ｉ），ＶＶ（ｉ））が所定の誤差で一致していれば、
ベクトルパターンＶＰ（ｉ）には同一の番号が与えられ
る。そして、ベクトルパターンが異なる毎に順に、０，
１，２，…の数字が与えられる。また、ＶＰ（ｉ）＝Ｎ
Ｇはそのままである。

【００５６】ＶＥＣＴＰＡＴのサブルーチンの処理が終
了すると（ステップＳ１８）、図１６に示されるサブル
ーチンＲＥＣＯＧＮＧが実行される（ステップＳ１
９）。このサブルーチンでは、変数ｉに０が代入され
（ステップＤ１）、ＶＰ（ｉ）＝ＮＧであれば（ステッ
プＤ２）、次にｉ＝８であるか否かが判別される（ステ
ップＤ３）。ここで、ｉ＝８でなければｉにｉ＋１が代
入され（ステップＤ４）、その後ステップＤ２に戻る。

【００５７】上記ステップＤ３でｉ＝８であれば、変数
ＲＮＧに１が代入される（ステップＤ５）。また、上記
ステップＤ２に於いてＶＰ（ｉ）＝ＮＧでなければ、変
数ＲＮＧに０が代入される（ステップＤ６）。

【００５８】すなわち、このサブルーチンは、動体検出
ゾーン（ｉ＝０〜８）の領域の全てのベクトルパターン
がＮＧのときにのみ、変数ＲＮＧに１が代入されるプロ
グラムである。

【００５９】図１２のフローチャートに戻り、ステップ
Ｓ２０に於いて、ＲＮＧ＝１のとき、追尾不能の表示が
行われる（ステップＳ２１）。一方、上記ステップＳ２
０にてＲＮＧ＝１でないときは、次にサブルーチンＲＥ
ＣＯＧＰＡＴＮＵＭが実行される（ステップＳ２２）。

【００６０】図１７に示されるように、このプログラム
は動体検出ゾーン（ｉ＝０〜８）の領域のベクトルパタ
ーン数（種類）を求めるサブルーチンである。ベクトル
パターンＶＰ（ｉ）は、上述したサブルーチンＶＥＣＴ
ＰＡＴで０から順に分類されているので、ＶＰ（ｉ）の
最大値を求め、それに１を加えた値がベクトルパターン
数に等しくなる。

【００６１】先ず、動体検出ゾーンを表す変数ｉに０が
代入される（ステップＥ１）。次いで、変数ＶＰＮＵＭ
に−１が代入される（ステップＥ２）。そして、ＶＰ
（ｉ）＝ＮＧが判別されて（ステップＥ３）、ＶＰ
（ｉ）＝ＮＧでなければ、続いてＶＰ（ｉ）とＶＰＮＵ
Ｍが比較される（ステップＥ４）。ここで、ＶＰ（ｉ）
＞ＶＰＮＵＭであればＶＰＮＵＭにＶＰ（ｉ）が代入さ
れる（ステップＥ５）。

【００６２】次に、変数ｉが判別されて（ステップＥ
６）、ｉ＝８でなければｉにｉ＋１が代入された後（ス
テップＥ７）、ステップＥ３に戻り、以上の動作が繰返
される。上記ステップＥ３に於いて、ＶＰ（ｉ）＝ＮＧ
であればステップＥ６に進む。以上の結果、ＶＰ（ｉ）
（ｉ＝０〜８）の最大値がＶＰＮＵＭに代入される。

【００６３】そして、ＶＰＮＵＭの値が判別されて（ス
テップＥ８）、ＶＰＮＵＭ＝０であれば、ベクトルパタ
ーン数は１つということでベクトルパターン数を表す変
数ＰＮＵＭに１が代入される（ステップＥ９）。一方、
上記ステップＥ８にて、ＶＰＮＵＭ＝０でなく、更にＶ
ＰＮＵＭ≧２でない場合は（ステップＥ１０）、ＰＮＵ
Ｍに２が代入される。また、上記ステップＥ１０にてＰ
ＮＶＭ≧２である場合は、ＰＮＵＭに３が代入される。
その後、このサブルーチンはリターンされる。

【００６４】再度図１２のフローチャートに戻って、ス
テップＳ２３に於いて、ベクトルパターン数ＰＮＵＭ＝
１の場合は、動体検出ゾーンに存在する物体の動きベク
トルは１種類ということである。この場合の動体検出ゾ
ーンの物体の動きの可能性としては、（ｉ）物体は動体
検出ゾーンの中で一体となって一方向に動いている、
（ii）物体は動いていない、（iii)物体は動いていない
がカメラが動いている、（iv）動体検出ゾーン内の一部
が動いているが動きが遅く検出できない等が考えられ
る。

【００６５】同実施例の考え方としては、上記（ｉ）〜
（iii)の場合は図７の９領域の中で、最大コントラスト
の領域を追尾ゾーン、または測距ゾーンとする。また、
上記（iv）の場合は、基準像はそのままにして参照像を
更新することにより、再び動きベクトルを検出する。こ
の更新回数は、変数ＬＯＯＰで決定される。

【００６６】次いで、ＬＯＯＰ＝３が判別され（ステッ
プＳ２４）る。ここで、ＬＯＯＰ＝３でない場合は、次
に参照画像の更新がなされ（ステップＳ２５）、変数Ｌ
ＯＯＰにＬＯＯＰ＋１が代入された後（ステップＳ２
６）、ステップＳ１１に戻る。一方、上記ステップＳ２
４に於いて、ＬＯＯＰ＝３になってもベクトルパターン
数ＰＮＵＭ＝１である場合は、次に、図１８に示される
ように、サブルーチンＲＥＣＯＧＴＲＫＺＮＥ１が実行
される。

【００６７】このサブルーチンは、動体検出ゾーンから
最大コントラストの追尾ゾーンを検出するプログラムで
ある。図１８に於いて、先ず領域を表す変数ｉに０が代
入される（ステップＦ１）。次いで、変数ＭＡＸＣＮＴ
に−１が代入される（ステップＦ２）。そして、動体検
出ゾーン（ｉ＝０〜８）の各領域のコントラスト値ＣＮ
Ｔ（ｉ）とＭＡＸＣＮＴが比較される（ステップＦ
３）。

【００６８】このステップＦ３に於いて、ＣＮＴ（ｉ）
＞ＭＡＸＣＮＴの場合は、ＭＡＸＣＮＴにＣＮＴ（ｉ）
が代入される（ステップＦ４）。そして、最終的に決定
される追尾ゾーンｉがＴＲＫＺＮＥに代入される（ステ
ップＦ５）。こうして、ｉ＝８になってこのサブルーチ
ンがリターンされるまで（ステップＦ６）、変数ｉにｉ
＋１が代入されて（ステップＦ７）、以上のステップＦ
３〜Ｆ７の動作が繰返される。

【００６９】次に、図１２のフローチャートに於いて、
上記ＴＲＫＺＮＥの表す領域に追尾マークがスーパーイ
ンポーズされる（図２（ｃ）の状態）。続いて、サブル
ーチンＴＲＡＣＫで追尾が行われる（ステップＳ３
３）。

【００７０】また、上記ステップＳ２３に於いて、ベク
トルパターン数ＰＮＵＭが１でない場合は、次にＰＮＵ
Ｍ＝３か否かが判別される（ステップＳ２８）。ここ
で、ＰＮＵＭ＝３の場合は、動きの異なる物体が混在す
るので、追尾不能の表示がなされる（ステップＳ２
９）。

【００７１】いま、上記ステップＳ２８にて、ＰＮＵＭ
＝３でないときは、自動的にＰＮＵＭ＝２となる。この
ときは、一方の動きベクトルは、カメラの動きである可
能性が高い。このときは、動体検出ゾーンとは異なる画
面の４隅に固定配置された４つの動きベクトル検出領域
３９〜４２（図６参照）（ｉ＝９〜１２）の動きベクト
ルと比較されることにより、動体検出ゾーンの２つの動
きベクトルの中から真に物体の動いている領域が特定さ
れる。

【００７２】サブルーチンＣＭＰＶＥＣＴＰＡＴ（ステ
ップＳ３０）は、（ａ）上記動体検出ゾーンとは異なる
４つの領域（ｉ＝９〜１２）の中に動体検出ゾーンとは
異なる動きベクトルＶＰ（ｉ）が観測された場合は追尾
不能とする、（ｂ）ＶＰ（ｉ）＝ＮＧ（検出不能）の領
域が２つ以上ある場合は追尾不能とする、（ｃ）ＶＰ
（ｉ）（ｉ＝９〜１２）の中で２種類の動きベクトルが
存在し、両方のベクトルパターンの存在する領域の数が
同じ場合（例えば２：２、１：１）は、追尾不能とす
る、ことを基本とする。

【００７３】次に、図１９のサブルーチンＣＭＰＶＥＣ
ＴＰＡＴを説明する。同図に於いて、先ず、領域を表す
変数ｉに９が、そして変数ＮＮＧ、Ｎ０、Ｎ１、ＲＮＧ
２に、それぞれ０が代入される（ステップＧ１）。この
場合、ｉ＝０〜８のベクトルパターンＶＰ（ｉ）の最大
値は１であることに注意する。

【００７４】次いで、ＶＰ（ｉ）≧２が判別され（ステ
ップＧ２）、ＶＰ（ｉ）≧２の場合は上記（ａ）の理由
で追尾不能表示のフラグＲＮＧ２に１が代入されて（ス
テップＧ３）リターンされる。一方、ＶＰ（ｉ）≧２で
なく、且つＶＰ（ｉ）＝ＮＧの場合は（ステップＧ
４）、ＮＧのカウンタ変数ＮＮＧがインクリメントされ
る（ステップＧ５）。

【００７５】次に、ＶＰ（ｉ）＝０が判別されて（ステ
ップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメ
ントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１
の場合は（ステップＧ８）、Ｎ１がインクリメントされ
る（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返
される（ステップＧ１０）。

【００７６】こうして、ＮＮＧにはＶＰ（ｉ）＝ＮＧと
なるベクトルパターン数が、Ｎ０にはＶＰ（ｉ）＝０と
なるベクトルパターン数が、そしてＮ１にはＶＰ（ｉ）
＝１となるベクトルパターン数が代入されたことにな
る。

【００７７】上記ステップＧ１０でＮ＝１２の場合、次
にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）
の理由により、追尾不能表示フラグＲＮＧ２に１が代入
される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は
（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不
能表示フラグＲＮＧ２に１が代入される。

【００７８】そして、Ｎ０＞Ｎ１が判別されて（ステッ
プＧ１４）、Ｎ０＞Ｎ１の場合は変数ＶＰに０が（ステ
ップＧ１５）、Ｎ０≦Ｎ１の場合はＶＰに１が代入され
て（ステップＧ１６）、リターンされる。

【００７９】図１２のフローチャートに戻って、ステッ
プＳ３０のサブルーチンＣＭＰＶＥＣＴＰＡＴが終了さ
れると、続いてサブルーチンＲＥＣＯＧＴＲＫＺＮＥ２
が実行される（ステップＳ３１）。これは、サブルーチ
ンＣＭＰＶＥＣＴＰＡＴで求められたＶＰの値に基いて
動体検出ゾーンの中から動体の存在する領域を検出する
プログラムである。

【００８０】ステップＳ３０のサブルーチンＣＭＰＶＥ
ＣＴＰＡＴで求められたＶＰは、領域ｉ＝９〜１２のベ
クトルパターン２種（０〜１）のうち多い方のベクトル
パターンであり、これをカメラの動きベクトルと判断す
る。したがって、動体検出ゾーンの２種の動きベクトル
のうち、ＶＰと等しくない方の動きベクトルをもった追
尾ゾーンが、動体の存在する領域である。更に、動体の
存在する領域が複数存在するときは、コントラストの高
い領域が最終的に追尾ゾーンとされる。

【００８１】図２０はこの判断をするプログラムを示し
たものである。同図に於いて、先ずｉに０が代入される
（ステップＨ１）。そして、ＭＡＸＣＮＴに−１が代入
される（ステップＨ２）。次いで、ＶＰ（ｉ）＝ＶＰで
あるか否かが判別される（ステップＨ３）

【００８２】このステップＨ３にて、ＶＰ（ｉ）＝ＶＰ
でない場合にコントラストＣＮＴ（ｉ）とＭＡＸＣＮＴ
が比較され（ステップＨ４）、更にＣＮＴ（ｉ）＞ＭＡ
ＸＣＮＴであればＭＡＸＣＮＴにＣＮＴ（ｉ）が代入さ
れる（ステップＨ５）。その後、ｉがＴＲＫＺＮＥに代
入される（ステップＨ６）。

【００８３】次に、ｉ＝８が否かが判別される（ステッ
プＨ７）。ここで、ｉ＝８でない場合は、ｉがインクリ
メントされて（ステップＨ８）、以上の動作が繰返され
る。これにより、最終的に変数ＴＲＫＺＮＥには、追尾
ゾーンｉが代入されることになる。

【００８４】図１２のフローチャートに戻り、ステップ
Ｓ３２に於いて、ＲＮＧ２＝１のとき、追尾不能の表示
が行われ、ＲＮＧ２＝１でない場合は、追尾マークが表
示された後（ステップＳ３３）、追尾演算ＴＲＡＣＫの
サブルーチンが実行される（ステップＳ３４）。

【００８５】図２１は、サブルーチンＴＲＡＣＫを示し
たものである。同図に於いて、先ず、タイマｔに０が設
定される（ステップＩ１）。次いで、参照像のロードと
代表点フィルタリング演算が行われる（ステップＩ
２）。そして、サブルーチンＶＥＣＴＣＡＬが行われる
動きベクトルが求められる（ステップＩ３）。

【００８６】ここで、信頼度変数ＲＬＢＴＹ＝ＮＧか否
かの判別がなされる（ステップＩ４）。このステップＩ
４にて、ＲＬＢＴＹ＝ＮＧの場合は追尾不能の表示が行
われる（ステップＩ５）。一方、ＲＬＢＴＹ＝ＮＧでな
い場合は、動きベクトルの値に応じて追尾マークの更新
が行われる（ステップＩ６）。

【００８７】次に、タイマがｔ＞ｔ₀ （ｔ₀ は例えば１
秒）であるか否かが判別され（ステップＩ７）、ｔ＞ｔ
₀ のときは、次にｔに０が設定されて（ステップＩ
８）、基準像が更新される（ステップＩ９）。

【００８８】次いで、コントラスト演算が行われ（ステ
ップＩ１０）、もしコントラスト不足でＲＬＢＴＹ＝Ｎ
Ｇのときは（ステップＩ１１）、追尾不能表示がなされ
る（ステップＩ１２）。一方、上記ステップＩ１１に
て、ＲＬＢＴＹ＝ＮＧでない場合は、再び基準像と参照
像との相関演算が行われて追尾する。以上のように、所
定時間毎に基準像が更新されることにより、移動中に少
しずつ形状が変わるような物体にも追尾が可能となる。

【００８９】図２２は、同実施例の概略的な制御の流れ
を示すタイミングチャートである。同図（ａ）は画像を
１／３０ｓｅｃ毎に取込む様子を示したものである。同
図（ｂ）は動体検出ゾーンとカメラの動きベクトル検出
ゾーンの代表点フィルタリングとコントラスト演算のタ
イミングを示したものである。また、同図（ｃ）は動作
ベクトルの演算のタイミングを示している。更に、同図
（ｄ）は、追尾演算のタイミングを示したものである。

【００９０】初めに、図２２（ａ）の第１画像を基準と
し、第２画像と比較して動きベクトルが検出される。こ
こで、動きベクトルが検出されるときは、基準像はその
ままに第１画像と第３画像から動きベクトルが求められ
る。同図は、最終的に第１画像と第４画像により動きベ
クトルが求まった場合を示している。このようにして、
第５画像以降の追尾が開始される。尚、上述した実施例
は、動体追尾システムへの適用例であるが、注視点を選
択した後、直ちに撮影する銀塩カメラへの適用も可能で
ある。また、追尾と同時に自動焦点を行う装置への適用
も可能である。

【００９１】

【発明の効果】以上のようにこの発明によれば、カメラ
の映像内の画面の広い領域から任意の領域を簡単に選択
することができ、カメラが動いても簡単な操作により、
所望の動体が存在する領域を正確に検出することのでき
るカメラの動体検出装置を提供することができる。

【図面の簡単な説明】

【図１】この発明の一実施例で、カメラの動体検出装置
が適用されたカメラシステムの構成を示すブロック図で
ある。

【図２】カメラの操作者が注視点を選択してから追尾す
るまでの表示例を示したもので、（ａ）は操作者が物体
ＯＢＪの近傍に注視点マークＰ“＋”を移動させた状態
を示した図、（ｂ）は同図（ａ）の“＋”マークを中心
に動体検出ゾーンがスーパーインポーズされた状態を示
した図、（ｃ）は追尾ゾーンの表わす領域に追尾マーク
がスーパーインポーズされた状態を示した図である。

【図３】図２の注視点のマークを移動させるための部材
の配置を示した外観図である。

【図４】視線方向を検出し、それにより画面の任意の領
域を指示するための原理図である。

【図５】眼の角膜反射像、瞳孔、虹彩の出力波形の一例
を示した図である。

【図６】動体検出ゾーンとカメラの動き検出領域の一例
を示した図である。

【図７】図６の動体検出ゾーンを複数のブロックに分割
した例を示した図である。

【図８】図７の１つの追尾ゾーン内の１６個の代表点画
素配置を示した図である。

【図９】図８の中の１つの画素が、５つの画素の平均値
で表されることを示した図である。

【図１０】動きベクトル（移動量と方向）の検出の原理
を示した図である。

【図１１】代表点配置の一例を示した図である。

【図１２】図１２はこのカメラシステムの全体の制御動
作を説明するフローチャートである。

【図１３】基準像のコントラスト計算を実行するプログ
ラムＣＮＴＣＡＬのサブルーチンである。

【図１４】基準像と参照像との間で相関演算を行うプロ
グラムＶＥＣＴＣＡＬのサブルーチンである。

【図１５】動きベクトルのパターン分類プログラムＶＥ
ＣＴＰＡＴのサブルーチンである。

【図１６】動体検出ゾーンの領域の全てのベクトルパタ
ーンがＮＧのときにのみ、変数ＲＮＧに１が代入される
プログラムＲＥＣＯＧＮＧのサブルーチンである。

【図１７】動体検出ゾーンの領域のベクトルパターン数
（種類）を求めるプログラムＲＥＣＯＧＰＡＴＮＵＭの
サブルーチンである。

【図１８】動体検出ゾーンから最大コントラストの追尾
ゾーンを検出するプログラムＲＥＣＯＧＴＲＫＺＮＥ１
のサブルーチンである。

【図１９】ベクトルパターンＶＰを求めるプログラムＣ
ＭＰＶＥＣＴＰＡＴのサブルーチンである。

【図２０】サブルーチンＣＭＰＶＥＣＴＰＡＴで求めら
れたＶＰの値に基いて動体検出ゾーンの中から動体の存
在する領域を検出するプログラムＲＥＣＯＧＴＲＫＺＮ
Ｅ２のサブルーチンである。

【図２１】追尾演算のプログラムＴＲＡＣＫのサブルー
チンである。

【図２２】この発明の一実施例の概略的な制御の流れを
示すタイミングチャートである。

【符号の説明】

１０…ビデオカメラ、１１…Ｙ／Ｃ分離回路、１２…Ａ
／Ｄ変換回路、１３ａ、１３ｂ…ビデオＲＡＭ、１４…
ＣＰＵ、１５…ＲＡＭ、１６…ＲＯＭ、１７…ＣＲＴコ
ントローラ、１８…ゲート、１９…スーパーインポー
ザ、２０…表示部、２３…注視点移動部材、２４…注視
点選択部材、３８…動体検出ゾーン、３９、４０、４
１、４２…動きベクトル検出領域。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年４月１５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正内容】

【００７５】次に、ＶＰ（ｉ）＝０が判別されて（ステ
ップＧ６）、ＶＰ（ｉ）＝０の場合はＮ０がインクリメ
ントされる（ステップＧ７）。そして、ＶＰ（ｉ）＝１
の場合は（ステップＧ８）、Ｎ１がインクリメントされ
る（ステップＧ９）。以上の動作が、ｉ＝１２まで繰返
される（ステップＧ１０、Ｇ１７）。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正内容】

【００７７】上記ステップＧ１０でｉ＝１２の場合、次
にＮＮＧ≧２であれば（ステップＧ１１）、上記（ｂ）
の理由により、追尾不能表示フラグＲＮＧ２に１が代入
される（ステップＧ１３）。また、Ｎ０＝Ｎ１の場合は
（ステップＧ１２）、上記（ｃ）の理由で同様に追尾不
能表示フラグＲＮＧ２に１が代入される。

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図１４

【補正方法】変更

【補正内容】

【図１４】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図１９

【補正方法】変更

【補正内容】

【図１９】

Claims (2)

【特許請求の範囲】
1. 【請求項１】 被写体の映像を検出する第１の検出手段
   と、 異なる２つの時刻に上記第１の検出手段で検出された映
   像の任意の第１の所定領域から抽出された２つの映像か
   ら映像の移動ベクトルを検出する第２の検出手段と、 上記第１の所定領域とは異なる位置の第２の所定領域か
   ら上記と同一の時刻に抽出された２つの映像から映像の
   移動ベクトルを検出する第３の検出手段と、 上記第２の検出手段及び第３の検出手段とにより検出さ
   れた映像の移動ベクトルから上記第１の所定領域に存在
   する物体が動体か否かを判別する判別手段とを具備する
   ことを特徴とするカメラの動体検出装置。
2. 【請求項２】 被写体の映像を検出する映像検出手段
   と、 この映像検出手段で検出された映像の任意の位置の第１
   の所定領域を複数の領域に分割する手段と、 異なる２つの時刻に上記第１の所定領域の２つの映像か
   ら上記複数のそれぞれの領域のそれぞれの映像の移動ベ
   クトルを検出する第１の移動ベクトル検出手段と、 上記第１の所定領域とは異なる位置の第２の所定領域か
   ら上記と同一の時刻に抽出された２つの映像から映像の
   移動ベクトルを検出する第２の移動ベクトル検出手段
   と、 上記第１の移動ベクトル検出手段と第２の移動ベクトル
   検出手段とにより検出された映像の移動ベクトルとか
   ら、上記第１の所定領域中の複数に分割された領域の中
   から動体の存在する領域を判別する手段とを具備するこ
   とを特徴とするカメラの動体検出装置。