JPH0530407A - 被写体追尾装置 - Google Patents

Abstract

(57)【要約】 【目的】 主要被写体からの検出位置のずれを自動補正
して長時間正確な追尾を実現する。 【構成】 画面201 内の動きベクトル検出エリア203 を
複数の小検出エリア204に分割し、それぞれの動きベク
トルを求める。その中で最も出現回数の多い動きベクト
ルを被写体202 のものと判断して、それが検出された小
検出エリア群が中央部に位置するように全検出エリア20
3 を微調整移動することによって自動補正を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はオートフォーカスやオー
トアイリスなどの、カメラの自動化機能に用いる被写体
追尾装置に関する。

【０００２】

【従来の技術】従来、被写体追尾装置は種々のものがあ
り、図７は例えば特願平０２−１０３６０７号公報に示
された従来の代表点マッチング法による動きベクトル検
出回路を用いた被写体追尾装置の構成図である。図にお
いて、101は撮像装置、102は動きベクトル検出回路、10
3は積分器105の出力によって動きベクトルを検出する領
域を変更する検出エリア制御回路である。

【０００３】図８は一般的な代表点マッチング法による
動きベクトル検出回路のブロック図である。図におい
て、 801はＡ／Ｄ変換器、802はメモリ入力ラッチ回
路、803は代表点メモリ、 804はメモリ出力ラッチ回
路、 805は現フレーム信号ラッチ回路、806は絶対値演
算回路、 807はゲート回路、 808は累積加算テーブル、
809はテーブル値比較回路である。

【０００４】図９は図８の動きベクトル検出回路におけ
るブロックと代表点との関係を示す図であり、 901は動
きベクトル検出エリア、902はブロック、903はブロック
内画素、904は代表点である。

【０００５】図１０は検出エリア制御回路 の構成を示
す図である。図において、 1001は積分器からの主要被
写体位置情報をもとにエリア開始／終了位置を設定する
領域設定回路、1002・1003はそれぞれ画面上の水平方向
と垂直方向のカウンタ、1004・1005は水平方向と垂直方
向の比較器、1006は入力信号の論理積を計算する論理積
回路である。

【０００６】次に、この従来例の被写体追尾装置の動作
を説明する。図７において、撮像装置より出力される画
像信号ａは動きベクトル検出回路102 に入力される。動
きベクトル検出回路102では、検出エリア制御回路103の
出力ｂにより定められる検出エリア内の画像信号から、
検出エリア全体の画像の動きベクトルｖを抽出する。こ
の動きベクトルを積分器105 により積分することによ
り、次のフレームでの画面内における主要被写体の位置
ｃが求められる。

【０００７】検出エリア制御回路103 はこの主要被写体
の動いた位置ｃへ次のフレームの検出エリアを移動さ
せ、主要被写体の動きを追尾する。ただし、動作を開始
する際似、積分器105 の初期値として、画像信号の主要
被写体にあたる部分が検出領域となるように設定してお
くことが必要である。

【０００８】次に、動きベクトル検出回路102 の動作を
説明する。フレーム間の画素移動量（動きベクトル）を
検出するためには、本来画像内の全画素について、どの
方向にどれだけ動いたかを算出するのが理想的であり、
これ以上の動きベクトル検出精度はない。しかし大規模
なハードウェアと時間を要し実現困難である。そこで一
般には、画面のいくつかの画素（以下、代表点と称す）
に着目し、これらの画素の移動量から画面全体の動きベ
クトルを決定する方法がとられている。

【０００９】まず図９において、１フィールドの画像内
の動きベクトル検出エリア901 を所定個数のブロック90
2 に分け、各ブロックごとに中央に１つの代表点Ｒij90
4 を設ける。

【００１０】図８において、入力画像信号はまずＡ／Ｄ
変換器801 でＡ／Ｄ変換され、代表点904 となるべきブ
ロック902 内の所定の画素の信号データが、ラッチ回路
802を経由して代表点メモリ803 に書き込まれる。代表
点メモリ803 に収納されたデータは１フレーム遅延され
て読み出され、ラッチ回路804 を経由して絶対値回路80
6 に送られる。他方、Ａ／Ｄ変換された画像信号のデー
タはラッチ回路805を経由して絶対値回路806 に送出さ
れる。ラッチ回路804 より出力される１フレーム前の代
表点信号とラッチ回路805 より出力された現フレームの
画素信号は絶対値回路806 にて演算され、差の絶対値が
算出される。これらの演算はブロック単位に行なわれ、
この絶対値回路806 の出力信号はゲート回路807 で動き
ベクトル検出領域だけの信号が選択され、累積加算テー
ブル808 の各ブロック内の画素の同一アドレスに対応す
るテーブルに次々と加算される。このテーブルの加算結
果がテーブル値比較回路809 に入力され、最終的に加算
結果の最小なところのアドレスをもって１フレームで画
像位置がどの方向へどれだけ移動したか、すなわち動き
ベクトル値が決まる。

【００１１】次に、検出エリア制御回路103 の動作を説
明する。図１０において、領域設定回路1001は積分器10
7 より入力される主要被写体位置（ｃ）に応じて、検出
エリアのエリア開始位置とエリア終了位置を決定する。
それぞれの方向の比較器1004・1005は、これと水平・垂
直方向のカウンタ1002・1003の値を比較し、それぞれの
カウンタの値がエリア開始位置以上でエリア終了位置以
下の領域を検出領域として有効信号を出力する。この水
平検出領域信号と垂直検出領域信号の論理積を論理積回
路1006で演算し、動きベクトル検出エリアとして有効ゲ
ートパルスを出力する。

【００１２】すなわち、入力信号である主要被写体の位
置に従ってエリアの開始位置と終了位置を増減させるこ
とにより、検出エリアを追尾させることができる。

【００１３】

【発明が解決しようとする課題】従来の方法では常に検
出エリアの内部の平均的な動きベクトルが主要被写体の
ものであると仮定しているために、検出エリア内に背景
などの主要被写体以外の動きベクトルが存在した場合に
は、検出する動きベクトルに誤差が生じる。このような
誤差を含んだ動きベクトルをもとに検出エリアを移動さ
せていくと、主要被写体から検出エリアがずれてしまう
ことがある。さらにいったん検出エリアがずれると検出
エリア内に背景などの主要被写体以外の動きベクトルが
増えるために、ますます検出する動きベクトルに含まれ
る誤差が大きくなり、追尾性能が低下することになる。

【００１４】従来の被写体追尾装置ではこのような誤検
出を修正する手段がないために、完全に主要被写体から
検出エリアがはずれてしまうことがあった。このような
場合は撮影者による補正が必要であり、長時間の自動追
尾は難しいといった問題点があった。

【００１５】本発明は上記の問題点を解決するためにな
されたものであり、主要被写体から検出エリアがずれた
場合にこれを自動的に補正し、長時間正確な自動追尾を
可能とすることを目的とする。

【００１６】

【課題を解決するための手段】本発明に係る被写体追尾
装置は、撮影画面内に指定された検出領域を複数の領域
に分割し、それぞれの領域において被写体の動きを検出
する複数の動き検出手段と、上記複数の動き検出手段の
検出結果を用いて主要被写体と上記検出領域の位置ずれ
を検出し、検出された主要被写体の動きを補正する補正
手段を備え、上記補正手段の出力により検出領域を変更
するように構成したものである。

【００１７】また、上記複数の動き検出手段の検出結果
のヒストグラムを作成し、その中で最も多く検出された
結果を主要被写体の動きと判断してその結果が検出され
た検出領域を選択し、上記選択した検出領域の検出領域
全体の中心からの相対位置に対応した補正量によって、
上記検出された主要被写体の動きを補正する補正手段を
備えたものである。

【００１８】

【作用】本発明による被写体追尾装置は、上記複数の動
き検出手段の検出結果によって、上記主要被写体の動き
を検出する動き検出手段の検出結果を補正することがで
きる。

【００１９】また、上記複数の動き検出手段の出力の中
から最頻値を示すものを選択し、上記選択された複数の
動き検出領域の全動き検出領域の中心に対する相対位置
の平均を用いることにより、上記主要被写体の動き検出
する動き検出手段の検出結果を補正することができる。

【００２０】

【実施例】図１は本発明の一実施例による被写体追尾装
置の構成を示すブロック図である。図において、101は
撮像装置、102は被写体の動きベクトルを検出する複数
の動きベクトル検出回路、103は検出エリア制御回路、1
04は動きベクトル補正回路、105は積分器である。

【００２１】図２は動きベクトル検出回路における検出
エリアの構成例であり、201 は１フィールドの画像、20
2は主要被写体、203は検出エリア全体、204 は分割され
た小検出エリアである。

【００２２】図３はそれぞれの小検出エリアのもつ方向
ベクトルの定義についての説明図であり、304はｉ番目
の小検出エリア、305はｉ番目の小検出エリア304 のも
つ方向ベクトルである。

【００２３】図４は動きベクトル補正回路の動作を説明
するフローチャートであり、401 はヒストグラムの作成
処理、402はヒストグラムによる最頻値の検出処理、403
は最頻値を示す小検出エリアの選択処理、404 は選択さ
れた小検出エリアのもつ方向ベクトルの平均値の算出処
理、 405は動きベクトルの補正処理を表わしている。図
６は実際の画像が入力された場合の動作条件を示す図で
ある。

【００２４】以下、この実施例について図１から図６を
用いて説明する。図１において、撮像装置101 より代表
点マッチング法による複数の動きベクトル検出回路102
に画像信号ａが入力される。それぞれの動きベクトル検
出回路102 の構成は、従来例と同じものであり、以下で
はｎ個あるものとする。それぞれの動きベクトル検出回
路102は対応する検出エリア制御回路103から出力される
ゲートパルスが有効である期間だけ動作し、画面内に指
定された領域におけるｎ個の動きベクトルｖ1,ｖ2,...,
ｖnを検出する。

【００２５】以下、図２によってｎ個の検出エリア制御
回路103 により設定される、画面内のｎ個の小検出エリ
アの配置について説明する。図２において、検出エリア
制御回路103 によって画面内の主要被写体の位置に検出
エリア全体203 が設定される。この検出エリア203 はｎ
個の小検出エリア204 に分割され、それぞれの小検出エ
リアごとに動きベクトルｖ1,ｖ2,...,ｖn が検出され
る。

【００２６】また、図３のように検出エリア全体203 の
中心位置を原点とする画面上の相対座標系において、そ
れぞれの小検出エリア204 の中心の位置ベクトルの方向
をもつ微小なベクトルをそれぞれの小検出エリアの固有
の方向ベクトルと定義する。

【００２７】それぞれの小検出エリアから検出された動
きベクトルは、すべて動きベクトル補正回路104 に入力
される。動きベクトル補正回路104では、まずそれぞれ
の小検出エリアから検出された動きベクトルの値によっ
てヒストグラムを作成する。この中でもっとも検出頻度
の高かった動きベクトルは主要被写体の動きベクトルと
考えられる。

【００２８】そこで動きベクトル補正回路104 は、上記
の最頻値である動きベクトルが検出された小検出エリア
を選択し、これらの選択された小検出エリアのもつ方向
ベクトルの平均をとって、補正ベクトルとする。そして
最後に、上記で判定された主要被写体の動きベクトルに
この補正ベクトルを加算することで補正を行ない、積分
器105へ出力する。

【００２９】次に、以上述べた動きベクトル補正回路10
4 の動作について詳述する。ｎ個の小検出エリアのもつ
方向ベクトルをｄ1,ｄ2,...,ｄn とする。そして、図３
のようにｉ番目の小検出エリア301の中心位置の座標を
（ｘi，ｙi）とすると、この小検出エリア301のもつ方
向ベクトル302は次式のように定義される。 ｄi＝α（ｘi,ｙi） ただし、 １ ≦ ｉ ≦ ｎ ０ ＜ α ＜ １ ここで、αは適当な大きさの定数である。

【００３０】通常は小検出エリアは均等に設定され、中
心に対して点対称に配置されるので、方向ベクトルも点
対称に設定される。したがって、全部の方向ベクトルを
加えるとゼロベクトルになる。

【００３１】以下図４のフローチャートにしたがって、
このように設定された方向ベクトルを用いて補正を行な
う方法を説明する。まず初めに処理401 において、それ
ぞれの小検出エリアから検出された動きベクトルの２次
元ヒストグラムを作成する。次に処理402 において、こ
のヒストグラムを参照して最も多くの回数だけ検出され
た動きベクトルを判定する。

【００３２】たとえば 動きベクトルの検出範囲を水平
方向と垂直方向でそれぞれ６等分し、ｖ(−３,−３)か
らｖ(３,３)までの３６個の区画で表わすとして、ヒス
トグラムが図５のように作成されたとする。すると図に
おいて最も出現頻度の高い区画は ｖ(２,３)の区画であ
る。この区画に対応する動きベクトルが主要被写体の動
きベクトルと考えられ、以下ではｖ0 と呼ぶ。次に処理
403 において、この動きベクトルｖ0 が検出された小検
出エリアを選択する。すなわち、検出された動きベクト
ルの値によるヒストグラムの、ｖ0 の値で代表される位
置にある小検出エリアの集合を選び出す。

【００３３】このようにして選択された小検出エリア群
が、たとえば１番目からｍ番目のエリアであったとする
と、処理404において求める補正ベクトルｄeはｍ個の方
向ベクトルの平均値として、次式（１）で得られる。

【００３４】

【数１】

【００３５】ただし、判定された主要被写体の動きベク
トルｖ0 の大きさが一定の値以下の場合は、主要被写体
が静止していると判断し、補正ベクトルはゼロとする。
これは背景のベクトルと混同するのを避けるためであ
る。この補正ベクトルを処理405 において主動きベクト
ルと加算することによって、動きベクトルの補正が行な
われ、検出エリアの自動補正が実現できる。

【００３６】以下、図６によって入力される画像による
動きベクトル補正回路104 の具体的な動作の説明を行な
う。図６（ａ）のように主要被写体202 の中心が検出エ
リア全体203 の中心と一致している場合は、検出エリア
全体で検出される主要被写体の動きベクトルは充分な検
出精度をもつ。このときの動きベクトル補正回路104の
実際の動作を述べる。動きベクトルのヒストグラムを作
成すると、主要被写体の動きベクトルは最頻値を示す。
図６（ａ）の場合は、この値が検出された小検出エリア
は検出エリア全体203の中心の回りにほぼ均等には存在
する。そこで選択されたこれらの小検出エリアの方向ベ
クトルは検出エリア全体の中心に対して点対称に現れ
る。したがってこれらの方向ベクトルの平均である補正
ベクトルはゼロベクトルになる。そこで出力される動き
ベクトルは最頻値である主要被写体の動きベクトルｖ0
そのものになり、これが主要被写体を追尾する検出エリ
ア全体203 の移動量を決定する。

【００３７】また、図６（ｂ）のように主要被写体202
が画面上で検出エリア全体203をおおうほど大きくなっ
ているときも、上記の図６（ａ）と同様に検出された最
頻値の動きベクトルｖ0 は充分な検出精度をもつ。この
ときはそれぞれの小検出エリアから検出される動きベク
トルはすべて主要被写体の動きベクトルであって同じ値
となり、すべての小検出エリアが選択される。そこで方
向ベクトルの平均である補正ベクトルはゼロになる。し
たがってこのときも検出エリアの移動量は主動きベクト
ルの値ｖ0により決定される。

【００３８】しかし、図６（ｃ）のように、ノイズなど
の影響で検出エリア全体203 の中心位置が主要被写体20
2 の中心からずれた場合は、主要被写体の動きを正確に
検出するためには検出エリアをもっとよい位置に配置し
た方がよい。つまり検出エリア全体を主要被写体の中心
の方向へ移動した方が、検出精度を高くすることがで
き、また以後にノイズなどの影響で誤動作した場合にも
主要被写体から完全にはずれてしまうことを防止するこ
とができる。

【００３９】このとき、動きベクトル補正回路106 は以
下のように動作する。検出された動きベクトルの最頻値
ｖ0は主要被写体のものなので、ｖ0と同じ値を示す動き
ベクトルは図中の斜線を施した小検出エリアにだけ現わ
れ、これらの小検出エリアが選択される。選択された小
検出エリアは主要被写体のずれている方向に存在するの
で、方向ベクトルの平均である補正ベクトルｖe はその
方向へ現われる。主要被写体を追尾する検出エリアの移
動量はｖ0＋ｖeにより得られるので、検出エリアを主要
被写体の最適な位置に微調整移動することができ、した
がって検出エリアの位置ずれを適切に自動補正すること
ができる。

【００４０】なお、以上の実施例では動きベクトルの検
出に代表点マッチング法を用いたが、画像による他の検
出法にも応用できる。

【００４１】

【発明の効果】以上に説明したように本発明の被写体追
尾装置によれば、主要被写体と動きベクトル検出エリア
の位置ずれを検出し動きベクトルを補正する手段を備え
たので、背景の動きベクトルの混入などによって主要被
写体から検出エリアがずれた場合に、これを自動補正し
て長時間正確な追尾を行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例による被写体追尾装置の構成
を示すブロック図である。

【図２】本発明に係る動きベクトル検出回路の動きベク
トル検出エリアの構成を示す図である。

【図３】本発明に係る動きベクトル検出エリアの固有の
方向ベクトルの定義を説明する図である。

【図４】本発明に係る動きベクトル補正回路の動作を表
わすフローチャートである。

【図５】本発明に係る動きベクトルの２次元ヒストグラ
ムの例を説明する図である。

【図６】本発明の一実施例において実際の画像が入力さ
れた場合の動作条件を示す図である。

【図７】従来の被写体追尾装置の構成図である。

【図８】一般的な代表点マッチング法による動きベクト
ル検出回路の構成を示すブロック図である。

【図９】図８の動きベクトル検出回路におけるブロック
と代表点との関係図である。

【図１０】検出エリア制御回路の構成例を示す図であ
る。

【符号の説明】

101 撮像装置 102 動きベクトル検出回路 103 検出エリア制御回路 104 動きベクトル補正回路 105 積分器 ａ 画像信号 ｂ 検出エリア位置 ｃ 被写体の位置 ｕ 補正された動きベクトル ｖ 検出された動きベクトル 201 １フィールドの画像 202 被写体 203 被写体追尾エリア 204 動きベクトル検出エリア 304 ｉ番目の検出エリア 305 ｉ番目の方向ベクトル 401 ヒストグラムの作成 402 最頻値の決定 403 ブロックの選択 404 方向ベクトルの平均値算出 405 動きベクトルの補正

Claims (2)

【特許請求の範囲】
1. 【請求項１】 撮影画面内に指定された検出領域で得ら
   れる映像信号に基づいて主要被写体の動きを検出する動
   き検出手段を備え、上記動き検出手段の検出結果により
   主要被写体の動きに追従するように検出領域を変更する
   被写体追尾装置において、上記動き検出領域を複数の領
   域に分割し、それぞれの領域において被写体の動きを検
   出する複数の動き検出手段と、上記複数の動き検出手段
   の検出結果を用いて主要被写体と上記検出領域の位置ず
   れを検出し、上記主要被写体の動きを検出する動き検出
   手段の検出結果を補正する補正手段を備え、上記補正手
   段の出力により検出領域を変更するように構成したこと
   を特徴とする被写体追尾装置。
2. 【請求項２】 上記の複数の動き検出手段の検出結果の
   ヒストグラムを作成し、最も多く検出された結果を主要
   被写体の動きと判断してその結果が検出された検出領域
   を選択し、上記選択した検出領域の検出領域全体の中心
   からの相対位置に対応した補正量によって、上記主要被
   写体の動きを検出する動き検出手段の検出結果を補正す
   る補正手段を備えたことを特徴とする請求項第１項記載
   の被写体追尾装置。