JPH0530406A - 被写体追尾装置 - Google Patents

Abstract

(57)【要約】 【目的】 主要被写体からの検出位置のずれを自動補正
して、長時間正確な追尾を実現する。 【構成】 画面２０１内の主動きベクトル検出エリア２
０３の外側に複数の外部検出エリアを設け、主動きベク
トル検出エリアから検出された主要被写体２０２の動き
ベクトルとほぼ等しい動きベクトルを示す外部検出エリ
アを選択する。その選択された外部検出エリアの位置す
る方向へ検出エリアを相対的に微調整移動することによ
って自動補正を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はオートフォーカスやオー
トアイリスなどの、カメラの自動化機能に用いる被写体
追尾装置に関する。

【０００２】

【従来の技術】従来、被写体追尾装置は種々のものがあ
り、図６は例えば特願平０２−１０３６０７号公報に示
された従来の代表点マッチング法による動きベクトル検
出回路を用いた被写体追尾装置の構成図である。図にお
いて、101は撮像装置、102は動きベクトル検出回路、10
4は積分器107の出力によって動きベクトルを検出する領
域を変更する検出エリア制御回路である。

【０００３】図７は代表点マッチング法による一般的な
動きベクトル検出回路の構成例であり、701はＡ／Ｄ変
換器、702はメモリ入力ラッチ回路、703は代表点メモ
リ、704はメモリ出力ラッチ回路、705は現フレーム信号
ラッチ回路、706は絶対値演算回路、 707はゲート回
路、708は累積加算テーブル、709はテーブル値比較回路
である。

【０００４】図８は画像上のブロックと代表点との関係
を示す図であり、 801は動きベクトル検出エリア、802
はブロック、803はブロック内画素、804は代表点であ
る。

【０００５】図９は検出エリア制御回路103の構成例
で、901は積分器からの主要被写体位置情報をもとにエ
リア開始／終了位置を設定する領域設定回路、902・903
はそれぞれ画面上の水平方向と垂直方向のカウンタ、90
4・905は水平方向と垂直方向の比較器、906 は入力信号
の論理積を計算する論理積回路である。

【０００６】次に、この従来例の被写体追尾装置の動作
を説明する。図６において、撮像装置より出力される画
像信号ａは動きベクトル検出回路102 に入力される。動
きベクトル検出回路102では、検出エリア制御回路104の
出力ｂにより定められる検出エリア内の画像信号から、
検出エリア全体の画像の動きベクトルｖを抽出する。こ
の動きベクトルを積分器107 により積分することによ
り、次のフレームでの画面内における主要被写体の位置
ｇが求められる。

【０００７】検出エリア制御回路104 はこの主要被写体
の動いた位置ｇへ次のフレームの検出エリアを移動さ
せ、主要被写体の動きを追尾する。ただし動作を開始す
る際に、積分器107 の初期値として、画像信号の主要被
写体にあたる部分が検出領域となるように設定しておく
ことが必要である。

【０００８】次に、動きベクトル検出回路102 の動作を
説明する。フレーム間の画素移動量（動きベクトル）を
検出するためには、本来画像内の全画素について、どの
方向にどれだけ動いたかを算出するのが理想的であり、
これ以上の動きベクトル検出精度はない。しかし大規模
なハードウェアと時間を要し実現困難である。そこで一
般には、画面のいくつかの画素（以下、代表点と称す）
に着目し、これらの画素の移動量から画面全体の動きベ
クトルを決定する方法がとられている。

【０００９】まず図８において、１フィールドの画像内
の動きベクトル検出エリア801 を所定個数のブロック80
2に分け、各ブロックごとに中央に１つの代表点Ｒij 80
4 を設ける。

【００１０】図７において、入力画像信号はまずＡ／Ｄ
変換器701 でＡ／Ｄ変換され、代表点804となるべきブ
ロック802内の所定の画素の信号データが、ラッチ回路7
02 を経由して代表点メモリ703に書き込まれる。代表点
メモリ703に収納されたデータは１フレーム遅延されて
読み出され、ラッチ回路704を経由して絶対値回路706に
送られる。他方、Ａ／Ｄ変換された画像信号のデータは
ラッチ回路705 を経由して絶対値回路706に送出され
る。ラッチ回路704より出力される１フレーム前の代表
点信号とラッチ回路705より出力された現フレームの画
素信号は絶対値回路706にて演算され、差の絶対値が算
出される。これらの演算はブロック単位に行なわれ、こ
の絶対値回路706の出力信号はゲート回路707で動きベク
トル検出領域だけの信号が選択され、累積加算テーブル
708 の各ブロック内の画素の同一アドレスに対応するテ
ーブルに次々と加算される。このテーブルの加算結果が
テーブル値比較回路709 に入力され、最終的に加算結果
の最小なところのアドレスをもって１フレームで画像位
置がどの方向へどれだけ移動したか、すなわち動きベク
トル値が決まる。

【００１１】次に、検出エリア制御回路104 の動作を説
明する。図９において、領域設定回路901は積分器107よ
り入力される主要被写体位置ｇに応じて、検出エリアの
エリア開始位置とエリア終了位置を決定する。それぞれ
の方向の比較器904・905は、これと水平・垂直方向のカ
ウンタ902・903の値を比較し、それぞれのカウンタの値
がエリア開始位置以上でエリア終了位置以下の領域を検
出領域として有効信号を出力する。この水平検出領域信
号と垂直検出領域信号の論理積を論理積回路906で演算
し、動きベクトル検出エリアとして有効ゲートパルスを
出力する。

【００１２】すなわち、入力信号である主要被写体の位
置に従ってエリアの開始位置と終了位置を増減させるこ
とにより、検出エリアを追尾させることができる。

【００１３】

【発明が解決しようとする課題】従来の方法では常に検
出エリアの内部の平均的な動きベクトルが主要被写体の
ものであると仮定しているために、検出エリア内に背景
などの主要被写体以外の動きベクトルが存在した場合に
は、検出する動きベクトルに誤差が生じる。このような
誤差を含んだ動きベクトルをもとに検出エリアを移動さ
せていくと、主要被写体から検出エリアがずれてしまう
ことがある。さらにいったん検出エリアがずれると検出
エリア内に背景などの主要被写体以外の動きベクトルが
増えるため、ますます検出する動きベクトルに含まれる
誤差が大きくなり、追尾性能が低下することになる。

【００１４】従来の被写体追尾装置ではこのような誤検
出を修正する手段がないために、完全に主要被写体から
検出エリアがはずれてしまうことがあった。このような
場合は撮影者による補正が必要であり、長時間の自動追
尾は難しいといった問題点があった。

【００１５】本発明は上記の問題点を解決するためにな
されたものであり、主要被写体から検出エリアがずれた
場合にこれを自動的に補正し、長時間正確な自動追尾を
可能とすることを目的とする。

【００１６】

【課題を解決するための手段】本発明に係る被写体追尾
装置は、撮影画面内に指定された検出領域で得られる映
像信号に基づいて主要被写体の動きを検出する第１の動
き検出手段と、主要被写体と上記検出領域の位置ずれを
検出する第２の動き検出手段と、上記第２の動き検出手
段の出力により上記第１の動き検出手段の出力値を補正
する補正手段とを具備し、上記補正手段の出力により検
出領域を変更するように構成したものである。

【００１７】また、上記第２の動き検出手段の検出範囲
を、上記第１の動き検出手段の検出領域の周囲に複数個
設定したものである。

【００１８】さらに、上記第２の動き検出手段を複数個
備え、上記第１の動き検出手段の検出結果と上記第２の
動き検出手段の複数の検出結果とを比較して、上記第２
の動き検出手段の複数の検出領域の中から、上記第１の
動き検出手段の検出結果とほぼ同じ検出結果が得られた
検出領域を選択し、上記選択した第２の動き検出手段の
検出領域と、上記第１の動き検出手段の検出領域との相
対位置に対応した補正量によって、第１の動き検出手段
の検出結果を補正する補正手段を備えたものである。

【００１９】

【作用】本発明による被写体追尾装置は、上記第２の動
き検出手段の検出結果によって、追尾のために用いる上
記第１の動き検出手段の検出結果を補正することができ
る。

【００２０】また、上記第２の動き検出手段の検出領域
を上記第１の動き検出手段の検出領域の周囲に複数個配
置することにより、画像信号より上記検出手段の検出領
域の主要被写体からのずれを効果的に検出することがで
きる。

【００２１】さらに、上記第２の動き検出手段の複数の
検出領域の、上記第１の動き検出手段の検出領域に対す
る相対位置の平均を用いることにより、上記第１の動き
検出手段の検出結果を補正することができる。

【００２２】

【実施例】図１は本発明の一実施例における被写体追尾
装置の構成図で、 101は撮像装置、102は主要被写体の
動きベクトルを検出する主動きベクトル検出回路、103
は外部動きベクトル検出回路、104は主検出エリア制御
回路、105は外部検出エリア制御回路、106は動きベクト
ル補正回路、107は積分器である。

【００２３】図２は動きベクトル検出回路におけるエリ
アの構成例であり、 201は１フィールドの画像、202は
主要被写体、203は主検出エリアである。

【００２４】図３は外部検出エリアのもつ方向ベクトル
の定義についての説明図であり、304はｉ番目の外部検
出エリア、305はｉ番目の外部検出エリア304 のもつ方
向ベクトルである。

【００２５】図４は動きベクトル補正回路の動作を説明
するフローチャートであり、 401は内部変数の初期化処
理、402はベクトルの比較処理、403は方向ベクトルの加
算処理、404はカウンタの増加処理、405はカウンタによ
る終了判断処理、 406は平均値の算出処理、407は動き
ベクトルの補正処理を表わす。また変数ｉ は外部検出
エリアを数えるカウンタ、ｍは選択された外部検出エリ
アの個数、ｓｕｍはベクトルの平均を求めるための合計
ベクトルである。図５は実際の画像が入力された場合の
動作条件を示す図である。

【００２６】以下、この実施例について図１から図５を
用いて説明する。図１において、撮像装置101より代表
点マッチング法による主動きベクトル検出回路102に画
像信号ａが入力される。この主動きベクトル検出回路10
2 の構成は従来例と同じである。主動きベクトル検出回
路102は主検出エリア制御回路104によるゲートパルスｂ
によって動作し、画面内の主要被写体の位置における動
きベクトルｖ0 を検出する。以下、この主動きベクトル
検出回路より得られる動きベクトルｖ0 を主動きベクト
ルと呼ぶ。また、同時に画像信号ａは複数（ｎ個とす
る）の外部動きベクトル検出回路103へも入力され、外
部検出エリア制御回路105によって設定されるｎ個の領
域におけるそれぞれの動きベクトル（ｖ1,ｖ2,..,ｖn）
が検出される。以下では上記外部動きベクトル検出回路
103 より得られるｎ個の動きベクトルを総称して外部動
きベクトルと呼ぶ。

【００２７】以下、図２によって主検出エリア制御回路
104 とｎ個の外部検出エリア制御回路105 により設定さ
れる、画面内の検出エリアの配置について説明する。図
２において、主検出エリア制御回路104 によって画面内
の主要被写体の部分に主検出エリア203を設定し、この
領域から主要被写体の動きベクトルｖ0が検出される。
また主検出エリアに加えて、その周囲に外部検出エリア
制御回路105 によって複数の外部検出エリアを設定し、
それぞれの外部検出エリアにおいてひとつずつ外部動き
ベクトルｖ1,ｖ2,...,ｖnが検出される。

【００２８】また、図３に示すように主検出エリア203
の中心位置を原点とする画面上の相対座標系において、
それぞれの外部検出エリア304 の中心の位置ベクトルの
方向をもつ微小なベクトルを、それぞれの外部検出エリ
ア固有の方向ベクトルと定義する。

【００２９】それぞれのエリアから検出された動きベク
トルは、すべて動きベクトル補正回路106に入力され
る。動きベクトル補正回路106では、まず主動きベクト
ルと全部の外部動きベクトルを順次比較していき、ほぼ
同じ値を示す外部検出エリアを選択する。これらの選択
されたエリアには主要被写体が検出されていると考えら
れる。

【００３０】次に動きベクトル補正回路106 は、上記選
択されたそれぞれの外部検出エリアのもつ方向ベクトル
を平均し、補正ベクトルを得る。そして最後に主動きベ
クトルにこの補正ベクトルを加算することで補正を行な
い、積分器107へ出力する。

【００３１】次に、以上述べた動きベクトル補正回路10
6 の動作について詳述する。ｎ個の外部検出エリアのも
つ方向ベクトルをｄ1,ｄ2,...,ｄn とする。そして図３
のようにｉ番目の外部検出エリア304の中心位置の座標
を（ｘi,ｙi）とすると、この外部検出エリア304 のも
つ方向ベクトル305は次式のように定義される。 ｄi＝α（ｘi,ｙi） ただし、 １ ≦ ｉ ≦ ｎ ０ ＜ α ＜ １ ここで、αは適当な大きさの定数である。

【００３２】通常は各方向について外部検出エリアは主
検出エリアに対して点対称に配置され、よって方向ベク
トルも点対称に設定される。したがって全部の方向ベク
トルを加えるとゼロベクトルになる。

【００３３】このように設定された方向ベクトルを用い
て補正を行なうには、まず初めに主検出エリアから検出
された主動きベクトルｖ0 と、ｎ個の外部検出エリアか
ら検出されたｎ個の外部動きベクトルとを順次比較して
いき、ほぼ同じとみなせる外部検出エリアを選択する。
すなわち、ｖi≒ｖ0となる外部検出エリアｉを選択す
る。

【００３４】このようにして選択された外部検出エリア
が、たとえば１番目からｍ番目のエリアであったとする
と、求める補正ベクトルｄe はｍ個の方向ベクトルの平
均値として、次式で得られる。

【００３５】

【数１】

【００３６】ただし、主動きベクトルｖ0 の大きさが一
定以下の場合は主要被写体が静止していると判断し、補
正ベクトルはゼロとする。これは背景のベクトルと混同
するのを避けるためである。上記補正ベクトルを主動き
ベクトルと加算することによって、動きベクトルの補正
が行なわれ、検出エリアの自動補正が実現できる。

【００３７】以上述べた動きベクトル補正回路106 の処
理はソフトウェアによって行なうことができ、以下図４
のフローチャートを用いて動作を説明する。

【００３８】図４において最初の処理401 は変数の初期
化であり、カウンタｉを１に、合計値ｓｕｍと処理個数
ｍをそれぞれ０に初期化する。次に処理402 で主動きベ
クトルとｉ番目の外部動きベクトルを比較し、誤差範囲
内で等しいと判断した場合は処理403において合計値ｓ
ｕｍにその外部検出エリアの持つ方向ベクトルｄiを加
算し、選択個数ｍを１増加させる。比較処理402 で等し
いとみなされなかった場合は処理403をスキップし、次
の処理404に入る。

【００３９】処理404ではカウンタｉを１増加させ、次
の処理405ではカウンタｉを外部検出エリア数ｎと比較
して終了判断を行なう。ｉがｎより大きくなった場合は
すべての外部検出エリアの比較が終わったので後処理40
6 へ向かうが、そうでなければ処理402の前へ戻り、ル
ープを継続する。

【００４０】処理406では方向ベクトルの合計値ｓｕｍ
を選択個数ｍで割り、平均値ｄeを求める。これが動き
ベクトルを補正すべき量にあたる。次の処理407 におい
て主動きベクトルｖ0に補正ベクトルｄeを加算すること
で補正を行ない、動きベクトルｆを出力する。

【００４１】以下図５によって、入力される画像による
動きベクトル補正回路106 の具体的な動作の説明を行な
う。図５（ａ）のように主要被写体202が主検出エリア2
03の内部にだけ存在する場合は、主検出エリアで検出さ
れる主動きベクトルは充分な検出精度をもつ。このとき
の動きベクトル補正回路106 の実際の動作を述べる。主
要被写体の動きは主動きベクトルにだけ影響し、外部動
きベクトルはすべて主動きベクトルとは違う値（背景の
動きベクトル）を示す。したがって外部検出エリアはど
れも選択されず、補正ベクトルはゼロになる。そこで出
力される動きベクトルｆは主動きベクトルｖ0 そのもの
になり、これが主要被写体を追尾する検出エリアの移動
量を決定する。

【００４２】また図５（ｂ）のように、主要被写体が画
面上で主検出エリアと外部検出エリアの全部をおおうほ
ど大きくなっているときも、上記の図５（ａ）と同様
に、主動きベクトルは充分な検出精度をもつ。このとき
は主動きベクトルと外部動きベクトルはすべて同じ値で
ある主要被写体の動きベクトルとなる。このとき外部検
出エリアはすべて選択され、平均化された方向ベクトル
である補正ベクトルはゼロになる。したがって、このと
きも検出エリアの移動量は主動きベクトルの値ｖ0によ
り決定される。

【００４３】しかし図５（ｃ）のように、ノイズなどの
影響で主検出エリアの位置が主要被写体からずれた場合
は、主要被写体の中心位置は主検出エリアの中心から偏
った位置にある。したがって、主要被写体の動きを正確
に検出するためには、検出エリアはもっとよい位置に配
置した方がよい。つまり主検出エリアを主要被写体の中
心の方向へ移動した方が、検出精度を高くすることがで
き、また以後にノイズなどの影響で誤動作した場合にも
主要被写体から完全にはずれてしまうことを防止するこ
とができる。このとき動きベクトル補正回路106 は以下
のように動作する。主動きベクトルｖ0 と同じ値を示す
外部動きベクトルは、図中の斜線を施した外部検出エリ
アにだけ現われ、これらの外部検出エリアが選択され
る。選択された外部検出エリアは主要被写体のずれてい
る方向に存在するので、方向ベクトルの平均である補正
ベクトルｖe はその方向へ現われる。主要被写体を追尾
する検出エリアの移動量はｖ0＋ｖeにより得られるの
で、検出エリアを主要被写体の最適な位置に微調整移動
することができ、したがって検出エリアの位置ずれを適
切に自動補正することができる。

【００４４】なお、以上の実施例では出力される主要被
写体の動きベクトルは、中央部の主検出エリアから得ら
れる主動きベクトルを用いたが、外部動きベクトルを含
めた全動きベクトルの平均をとることもできる。また、
動きベクトルの検出に代表点マッチング法を用いたが、
画像による他の検出法にも応用ができる。

【００４５】

【発明の効果】以上に説明したように本発明の被写体追
尾装置によれば、主要被写体と動きベクトル検出エリア
の位置ずれを検出し動きベクトルを補正する手段を備え
たので、背景の動きベクトルの混入などによって主要被
写体から検出エリアがずれた場合に、これを自動補正し
て長時間正確な追尾を行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例による被写体追尾装置の構成
を示すブロック図である。

【図２】本発明に係る動きベクトル検出回路の動きベク
トル検出エリアの構成を示す図である。

【図３】本発明に係る外部検出エリア固有の方向ベクト
ルの定義を説明するための図である。

【図４】本発明に係る動きベクトル補正回路の動作を表
わすフローチャートである。

【図５】本発明の一実施例において実際の画像が入力さ
れた場合の動作条件を示す図である。

【図６】従来の被写体追尾装置の構成を示す図である。

【図７】一般的な代表点マッチング法による動きベクト
ル検出回路の構成を示すブロック図である。

【図８】図７の動きベクトル検出回路におけるブロック
および代表点の関係を示す図である。

【図９】検出エリア制御回路の構成例を示す図である。

【符号の説明】

101 撮像装置 102 主動きベクトル検出回路 103 外部動きベクトル検出回路 104 主検出エリア制御回路 105 外部検出エリア制御回路 106 動きベクトル補正回路 107 積分器 ａ 画像信号 ｂ 主検出エリア位置 ｃ 外部検出エリア位置 ｄ 主動きベクトル ｅ 外部動きベクトル ｆ 補正された動きベクトル ｇ 被写体の位置 201 １フィールドの画像 202 被写体 203 主検出エリア 304 ｉ番目の外部検出エリア 305 ｉ番目の方向ベクトル 401 内部変数の初期化 402 ベクトルの比較 403 方向ベクトルの加算 404 カウンタの増加 405 カウンタによる終了判断 406 平均値の算出 407 動きベクトルの補正

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年３月１６日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

Claims (3)

【特許請求の範囲】
1. 【請求項１】 撮影画面内に指定された検出領域で得ら
   れる映像信号に基づいて主要被写体の動きを検出する第
   １の動き検出手段と上記第１の動き検出手段の検出結果
   により主要被写体の動きに追従するように検出領域を変
   更する被写体追尾装置において、主要被写体と上記検出
   領域の位置ずれを検出する第２の動き検出手段と、上記
   第２の動き検出手段の出力により上記第１の動き検出手
   段の出力値を補正する補正手段とを具備し、上記補正手
   段の出力により検出領域を変更するように構成したこと
   を特徴とする被写体追尾装置。
2. 【請求項２】 上記第２の動き検出手段の検出領域は、
   上記第１の動き検出手段の検出領域の周囲に複数個設定
   されたことを特徴とする請求項第１項記載の被写体追尾
   装置。
3. 【請求項３】 上記第２の動き検出手段を複数個備え、
   上記第１の動き検出手段の検出結果と上記第２の動き検
   出手段の複数の検出結果とを比較して、上記第２の動き
   検出手段の複数の検出領域の中から上記第１の動き検出
   手段の検出結果とほぼ同じ検出結果が得られた検出領域
   を選択し、上記選択した第２の動き検出手段の検出領域
   と、上記第１の動き検出手段の検出領域との相対位置に
   対応した補正量によって、第１の動き検出手段の検出結
   果を補正する補正手段を備えたことを特徴とする請求項
   第１項記載の被写体追尾装置。