JPH089238A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 検出タイミングが早く、しかも遅延メモリの
容量が少なくて済み、かつ検出精度が高い動きベクトル
検出装置を提供できるようにする。 【構成】 入力される映像信号Ｓ_INを第１のサンプリン
グ間隔でサンプリングして被探索領域画像Ｓ_D を生成す
る被探索領域画像生成手段と、上記映像信号Ｓ _INを第
２のサンプリング間隔でサンプリングして、各々位相が
異なったサンプリング状態の複数の参照画像Ｓ_a 、Ｓ_b
を生成する参照画像生成手段と、上記参照画像生成手
段から与えられる複数の参照画像Ｓ_a 、Ｓ_b を交互に
切り換えながら相関演算手段に導出し、上記被探索領
域画像Ｓ_D と上記複数の参照画像Ｓ _a 、Ｓ_b とによる相
関演算を行わせるようにする参照画像切換手段とを設
け、上記被探索領域画像Ｓ_D と上記位相が異なる複数複
数の参照画像Ｓ_a 、Ｓ_b と交互に相関演算することによ
り、上記被探索領域画像Ｓ_D が間引かれていても、等価
的に全画素をサンプリングした場合と同等な精度が得ら
れるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動きベクトル検出装置に
係わり、特に、画像から被写体の動きを検出するように
した動きベクトル検出装置に用いて好適なものである。

【０００２】

【従来の技術】テレビ信号などの画像信号から、カメラ
と被写体との相対的な移動量を検出する動きベクトル検
出のために、従来よりテンプレートマッチング法が多く
用いられている。

【０００３】上記テンプレートマッチング法は、時系列
的に得られる画像信号において、ある画面の一部を矩形
状に切り取った画像を参照画像またはテンプレート画像
とする。そして、上記テンプレート画像を上下左右方向
にシフトしながら異なった画面の各部の画像と比較演算
し、最も相関が高くなるシフト量を求め、上記求めた値
を画像の動きベクトルとするものである。

【０００４】そして、上記相関を調べる範囲を探索範囲
といい、その画像を被探索領域画像またはサーチエリア
画像という。このテンプレートマッチング法は、演算の
検出精度が高いことが知られているが、テレビ画面が走
査される期間（ＮＴＳＣ方式の場合インターレースで走
査するのに１６．７ｍｓ）に同期して連続的に行うため
には、多くの高速演算回路が必要である。

【０００５】そこで、回路構成を簡素化するために、特
開昭６１−２０１５８１のように、テンプレート画像デ
ータを間引く方法や、または特開平５−１０１７６のよ
うに、画像データの階調を減らす方法等により、マッチ
ング演算の演算量を削減することが行われている。

【０００６】上記のようなテンプレートマッチング法を
用いた動きベクトル検出回路の一般的な構成を、図９に
示す。図９において、Ｓ_INは入力映像信号、１００２は
テンプレート画像を記憶するテンプレートメモリ、１０
０３はサーチエリア画像を記憶するサーチエリアメモ
リ、１００４は演算用レジスタ、１００５はシフトレジ
スタ、１００６は２つの入力の差の絶対値により相関を
評価する相関演算回路、１００７は最小値検出回路、１
００８はカウンタ、１００９はコントロール信号Ｓ_C を
導出して全体の動作を制御するコントローラである。

【０００７】このように構成された動きベクトル検出回
路によれば、入力映像信号Ｓ_INはメモリ１００２に入力
されてほぼ１フィールド遅延され、前フィールドの画像
データが演算用レジスタ１００４にロードされる。

【０００８】また、サーチエリアメモリ１００３に一旦
ストアされていた現フィールドの画像データが、シフト
レジスタ１００５にロードされる。この場合、サーチエ
リアメモリ１００３は、走査されているテレビ信号とシ
フトレジスタ１００５にロードするタイミングを合わせ
るために用いられるものであり、メモリ容量は比較的小
さくてよい。

【０００９】そして、シフトレジスタ１００５が次々サ
ーチエリアデータをシフトし、これと同時に相関演算回
路１００６が２つのレジスタ１００４および１００５の
内容の相関性を評価する。

【００１０】これらの演算レジスタ１００４、シフトレ
ジスタ１００５および相関演算回路１００６で構成さ
れ、画像をシフトしながら差の絶対値を評価する回路を
マッチング演算回路とよび、この出力がマッチング相関
係数である。

【００１１】最小値検出回路１００７は、マッチング相
関係数の最小値を検出し、カウンタ１００８はその最小
値が与えられるシフト量を数え、このカウント値が画像
の動きベクトルとして、シフト画素の単位の精度で出力
される。

【００１２】この構成において、１フィールド遅延する
画像としてテンプレートデータを使用し、現フィールド
画像としてサーチエリアデータを使用している。この組
み合わせは、反対でも検出値の符号が反転するだけで同
等な精度で動作するが、サーチエリアデータはテンプレ
ートデータが探索する範囲の全ての画像情報を持ってい
るため、長い時間遅延するデータ、すなわちテンプレー
トデータを前フィールドに割り当てるようにした、図９
のような構成がほぼ一般的になっている。

【００１３】このように、ビデオ信号からリアルタイム
に動きベクトル検出を行って、機器を制御するようなシ
ステムの例として、カメラ撮影時の手揺れなどによって
生じる画像揺れを自動的に補正する防振システムがあ
る。このようなシステムでは、動きベクトルを検出して
から次の画面の走査が始まるまでに、動きベクトルの処
理に関する演算をすべて終了しなければならない。

【００１４】また、動きベクトルを用いて機械的な部材
を制御するようなシステムにおいても、動きベクトルが
検出終了するタイミングが早くなればなるほど、駆動の
応答特性が良くなるので、動きベクトル検出の終了タイ
ミングを早くすることが望まれていた。

【００１５】また、防振カメラシステムのように小型で
低価格に抑えなければならない機器においては、動きベ
クトル検出回路を小型化することと、検出タイミングを
早くすることの両立が要求されていた。

【００１６】

【発明が解決しようとする課題】しかしながら、上記従
来例の構成では、以下に述べるような問題点があった。
すなわち、走査されたテレビ信号から動きベクトルを検
出する場合、当然ながら、その検出に必要な画像データ
が走査されてからでないと、検出処理を開始することが
できなかった。

【００１７】ここで、演算処理時間が一定である場合に
は、演算開始時間が遅いということは演算終了時間が遅
くなるので、システムの応答特性が低下することにな
る。テレビ信号の走査と演算開始タイミングとの関係
を、図３の演算開始時刻の概念図に示す。

【００１８】図３は、テレビ画面を正面から見た状態で
示されており、テンプレート画像はサーチエリア画像の
中央に位置されていて、上下左右方向に、例えば１６画
素シフトするようになされている。

【００１９】ここで、テンプレート画像は前フィールド
画像から切り取られたものであり、検出処理開始の時点
でメモリから読み出すことで、演算レジスタ１００４に
ロードすることができる。しかし、サーチエリアデータ
は現フィールドであるため、この演算を行うには、テレ
ビ信号が２０１の画素を走査し終わるまで演算を開始で
きない。

【００２０】逆に言えば、サーチデータを前フィール
ド、テンプレートデータを現フィールドに割り当てた場
合、演算開始時刻は２０２の画素となり、タイミングを
１６Ｈ（約１ｍＳ）早くすることができる。しかし、こ
のようにした場合には、面積の大きいサーチエリア画像
を１フィールド遅延しなくてはならくなるので、メモリ
容量の増大を招いてしまう。

【００２１】そこで、サーチエリア画像を間引いてメモ
リ容量を削減するようにすることが考えられる。しか
し、この場合、以下の理由で動きベクトル検出精度が低
下する問題が生じる。

【００２２】すなわち、シフトレジスタ１００５でシフ
トする最小単位は、サーチエリア画像の画素間隔と一致
する。したがって、このサーチエリア画像のサンプリン
グが粗いものであると、等価的に数画素飛びにシフトし
たのと同様になり、相関係数も粗い間隔で得られること
になるため、検出される検出される動きベクトル量子化
誤差が増大してしまう。

【００２３】本発明は上述の問題点にかんがみ、検出タ
イミングが早く、しかも遅延メモリの容量が少なくて済
み、かつ検出精度が高い動きベクトル検出装置を提供で
きるようにすることを目的とする。すなわち、

【００２４】本発明の第１の目的は、画像面積が大きい
サーチエリア画像を記憶するためのメモリ容量を小さく
できるようにするとともに、探索の最小ステップ幅を小
さく保つことで、動きベクトルの検出精度を低下させな
いようにすることである。

【００２５】第２の目的は、上記第１の目的を達成した
上で、更に、画像メモリの容量を小さくし、かつ演算終
了タイミングを早めるようにすることである。

【００２６】第３の目的は、上記第１および第２の目的
を達成した上で、更に、複数のテンプレート画像の切り
替え処理や、内挿演算精度から考慮した最適な数値を示
すようにすることである。

【００２７】第４の目的は、上記第１から第３までの目
的を達成した上で、更に、動きベクトルの誤差分布が真
値に対して正か負に偏らないようにする装置を構成する
ようにすることである。

【００２８】第５の目的は、上記第１から第４までの目
的を達成した上で、更に、内挿補間演算における誤差を
低減できるようにすることである。

【００２９】

【課題を解決するための手段】本発明の動きベクトル検
出装置は、映像信号から入力した連続する複数の画像の
相関演算を行って動きベクトルを検出するようにした動
きベクトル検出装置において、上記映像信号を第１のサ
ンプリング間隔でサンプリングして被探索領域画像を生
成する被探索領域画像生成手段と、上記映像信号を第２
のサンプリング間隔でサンプリングして、各々位相が異
なったサンプリング状態の複数の参照画像を生成する参
照画像生成手段と、上記参照画像生成手段から与えられ
る複数の参照画像を切り換えながら上記相関演算を行う
ための相関演算手段に導出し、上記被探索領域画像と上
記複数の参照画像とによる相関演算を行わせるようにす
る参照画像切換手段とを具備している。

【００３０】本発明の他の特徴とするところは、過去に
走査した画像を被探索領域画像とするとともに、現在走
査中の画像を参照画像とするようにしている。

【００３１】本発明のその他の特徴とするところは、上
記第１のサンプリング間隔の２倍の間隔でサンプリング
して２つの参照画像を生成するとともに、上記２つの参
照画像の位相が互いに反転するようにサンプリングして
いることを特徴としている。

【００３２】本発明のその他の特徴とするところは、上
記被探索領域画像のサンプリングポイントは、２つの参
照画像のサンプリングポイントの中間に位置するように
なされている。

【００３３】本発明のその他の特徴とするところは、そ
れぞれの１つの参照画像ごとに類似度の最大値を与える
画像シフト量を、相関係数を内挿補間することで求め、
得られた複数の内挿補間値を合致させるか、或いは１つ
を選択することで、動きベクトル値を推測するようにし
ている。

【００３４】

【作用】本発明は上記技術手段を有するので、参照画像
生成手段において、第２のサンプリング間隔でサンプリ
ングして生成した、各々位相が異なったサンプリング状
態の複数の参照画像が交互に選択されて導出され、それ
が上記被探索領域画像生成手段で生成された被探索領域
画像と相関演算されるので、例えば、サーチエリア画像
が１／２に間引かれていても、等価的にサーチデータ画
像の全画素をサンプリングした場合と同等な精度を得る
ことができるようになる。

【００３５】また、本発明の他の特徴によれば、相関係
数の最小値近辺の値を内挿補間することにより、より細
かい単位で滑らかな相関係数の分布を求めることができ
るようになるので、この処理を加えることによって、高
い精度で相関係数最小値とその座標を求めることが可能
となり、正確な動きベクトルを求めることができるよう
になる。

【００３６】

【実施例】以下、本発明の動きベクトル検出装置の一実
施例を図面を参照しながら説明する。図１は、本発明の
一実施例を示す動きベクトル検出装置の概略構成を示す
機能構成図である。

【００３７】図１において、は被探索領域画像生成手
段、は参照画像生成手段、ａは第１の生成手段、
ｂは第２の生成手段、は参照画像切換手段、は相関
演算手段、は最小値検出手段、はシフト量検出手
段、Ｓ_INは入力映像信号をそれぞれ示している。

【００３８】被探索領域画像生成手段は、上記映像信
号Ｓ_INを第１のサンプリング間隔でサンプリングして被
探索領域画像を生成するためのものである。また、参照
画像生成手段は、上記映像信号を第２のサンプリング
間隔でサンプリングして、各々位相が異なったサンプリ
ング状態の複数の参照画像を生成するためのものであ
る。

【００３９】上記参照画像生成手段は、第１の生成手
段ａと第２の生成手段ｂとを有しており、上記第１
の生成手段ａにより第１のテンプレートデータＳ_a が
生成されるとともに、第２の生成手段ｂにより第２の
テンプレートデータがＳ_b が生成される。

【００４０】上記参照画像切換手段は、上記参照画像
生成手段から与えられる複数の参照画像Ｓ_a およびＳ
_b を交互に切り換えながら上記相関演算を行うための相
関演算手段に導出し、上記被探索領域画像Ｓ_D と上記
複数の参照画像Ｓ_a 、Ｓ_b とによる相関演算を行わせる
ようにするためのものである。

【００４１】本実施例の上記被探索領域画像生成手段
は、過去に走査した画像を被探索領域画像Ｓ_D とすると
ともに、現在走査中の画像を参照画像Ｓ_a およびＳ_b と
するようにしている。

【００４２】また、本実施例の他の例によれば、上記第
１のサンプリング間隔の２倍の間隔でサンプリングして
２つの参照画像Ｓ_a 、Ｓ_b を有し、上記２つの参照画像
Ｓ_a、Ｓ_b は、位相が互いに反転するようにサンプリン
グされている。

【００４３】また、本実施例の他の例によれば、上記被
探索領域画像Ｓ_D のサンプリングポイントは、２つの参
照画像のサンプリングポイントの中間に位置するように
なされている。

【００４４】また、本実施例の他の例によれば、それぞ
れの１つの参照画像ごとに類似度の最大値を与える画像
シフト量を、相関係数を内挿補間することで求め、得ら
れた複数の内挿補間値を合致させるか、或いは１つを選
択することで、動きベクトル値を推測するようにしてい
る。

【００４５】次に、図２〜図８を参照して本発明の動き
ベクトル検出装置を、更に詳細に説明する。図２は、本
発明の動きベクトル検出装置の構成例を示すブロック図
である。図２において、１１０２は第１のサンプラー、
１１０３は第２のサンプラー、１１０４は第１のテンプ
レートメモリ、１１０５は第２のテンプレートメモリ、
１１０６はテンプレートデータを保持するレジスタ、１
１０７はサーチデータを間引くサンプラー、１１０８は
サーチデータメモリ、１１０９はサーチデータをシフト
させるシフトレジスタである。

【００４６】上記第１のサンプラー１１０２および第１
の第１のテンプレートメモリ１１０４により第１の生成
手段ａが構成され、上記第２のサンプラー１１０３お
よび第２の第１のテンプレートメモリ１１０５により第
１の生成手段ｂが構成されている。

【００４７】なお、入力映像信号Ｓ_IN、相関演算回路１
００６、最小値検出回路１００７、カウンタ１００８、
コントローラ１００９は、図９の従来例で説明したもの
と同一のものである。

【００４８】本実施例では、前フィールドの画像をサー
チデータ、現フィールドの画像をテンプレートデータと
して、動きベクトルを検出するようにしている。すなわ
ち、入力された映像信号Ｓ_INは、サンプラー１１０７に
よって、例えば１つ飛びの画素に間引くように処理され
てから、サーチエリアメモリ１１０８に記憶され、約１
フィールド期間遅延される。

【００４９】一方、サンプラー１１０２およびサンプラ
ー１１０３では、やはり１つ飛びの画素に間引き処理さ
れるが、サンプラー１１０２とサンプラー１１０３とで
は、位相が相互に反転した関係になっている。

【００５０】図４に、２つのサンプラー１１０２および
１１０３によって切り分けられたテンプレート画像の概
念を示す。図４において、画面正面から見て、相対的に
左側の画素からなるテンプレートデータをＬＴＤ、右側
の画素からなるテンプレートデータをＲＴＤとし、それ
ぞれ元の画像の１／２の容量のデータが２つのメモリ１
１０４および１１０５にそれぞれ記憶される。

【００５１】ここで、被探索領域画像Ｓ_D の間引きは、
右側のテンプレートデータＲＴＤと一致しているので、
サンプラー１１０７とサンプラー１１０３とを同一の回
路で構成することによって、装置を更に小さくすること
ができるようになる。

【００５２】テンプレートメモリ１１０４とテンプレー
トメモリ１１０５は、間引き処理された信号をそれぞれ
記憶するようにしている。そして、演算開始時にテンプ
レートＳ_a とＳ_b 、および被探索領域画像Ｓ_D がそれぞ
れのレジスタ１１０６、１１０９にロードされる。

【００５３】相関演算回路１００６は、入力されたデー
タの相関演算を行うことによりマッチング相関係数求
め、最小値検出回路１００７に出力する。最小値検出回
路１００７は相関係数の最小値を検出してカウンタ１０
０８に出力する。カウンタ１００８は、相関係数最小を
与えるカウント値を動きベクトルとして出力する。

【００５４】このように構成された本実施例の動きベク
トル検出装置では、テンプレートデータが現フィールド
に割り当てられているので、検出処理の開始時刻を、図
３で示した２０２とすることができる。すなわち、従来
例に比べ１６Ｈだけ、すなわち、約１ｍｓだけタイミン
グを早くすることができる。

【００５５】しかも、１フィールド遅延するサーチエリ
ア画像は１／２に間引かれているので、サーチエリアメ
モリ１１０８のメモリ容量も半分でよくなり、動きベク
トル検出装置の小型化および低価格化を図ることができ
る。

【００５６】なお、シフト単位が１画素飛びになるた
め、動きベクトルの量子化誤差増大を以下の方法で防い
でいる。すなわち、本実施例においてはマッチング演算
は１／２に間引かれたサーチデータと、１／２に間引か
れた２つのテンプレート画像との間で行われる。

【００５７】図５は、テンプレート・サーチエリアの画
像パターンがシフトする状態を示している。図５に示し
たように、第０クロックにおいて、サーチエリアデータ
ＳＡＤと右のテンプレートデータＲＴＤとの相関演算を
行い、次のクロックである第１クロックではサーチエリ
アデータＳＡＤをシフトさせずに左側のテンプレートデ
ータＬＴＤとの相関演算を行う。

【００５８】ここで、１画素だけ左側にずれたテンプレ
ート画像とのマッチング演算を行うことで、相対的にサ
ーチ画像が１画素ずれたものと類似な演算を行った場合
と同様な結果を得ることができる。

【００５９】以降、左右のテンプレートデータＬＴＤお
よびＲＴＤは、毎クロックごとに入れ替わる。第２クロ
ックでは、サーチエリアデータＳＡＤが１サンプル分、
すなわち、２画素分シフトされ、右のテンプレートデー
タＲＴＤとマッチング演算を行う。

【００６０】本実施例では、このようにサンプリングが
互いにずれたテンプレートデータを交互に用いること
で、サーチエリア画像が１／２に間引かれていても、等
価的にサーチデータ画像の全画素についてサンプリング
した場合と同等な精度を得ることができるようになる。

【００６１】さらに、本実施例において、相関演算回路
１００６で出力された相関係数の最小値近辺の値を内挿
補間して、より細かい単位で滑らかな相関係数の分布を
求めることができるようにしている。この処理を加える
ことにより、高い精度で相関係数最小値とその座標を求
めることができるようになるので、正確な動きベクトル
を求めることができる。しかも、この内挿補間が後段の
処理器で行われる時間を考慮しても、本実施例では正確
で、かつタイミングの早い動きベクトル検出を行うこと
ができる。

【００６２】なお、上記説明においては右のテンプレー
トデータＲＴＤと左のテンプレートＬＴＤとを各クロッ
ク毎に入れ換えて演算をするようにした場合について説
明したが、いずれか一方のテンプレート画像とサーチエ
リア画像との相関を先に全て演算しておき、後でもう一
方のテンプレート画像とサーチエリア画像との演算を行
うようにする。そして、両方の相関係数の中から最小値
とその時のシフト量を求めて、動きベクトルとするよう
に構成してもよい。

【００６３】このように構成した場合、相関係数の最小
値検出方法が多少複雑になるが、テンプレート画像を高
速に切り換えなくて済むようになるので、マッチング回
路自体は簡単な回路で構成することができるようにな
る。

【００６４】次に、図６および図７を参照しながら本発
明の動きベクトル検出装置の第２の実施例を説明する。
本実施例の動きベクトル検出装置の構成は、図２に示し
た第１の実施例の動きベクトル検出装置の構成と同様で
あるが、サンプリングのタイミングが第１の実施例の動
きベクトル検出装置とは異なっている。

【００６５】図６は、図４と同様にテンプレートとサー
チエリア画像の位置関係およびサンプリング関係を示し
た概念図であり、上述したものと異なっている点は、サ
ーチエリア画像のサンプリングポイントが、テンプレー
ト画像のサンプリングポイントの中央に位置しているこ
とである。

【００６６】ここで、元の画像のサンプリングポイン
ト、すなわち、ＣＣＤなどの撮像素子の画素位置や、映
像信号をＡ／Ｄ変換した時のサンプリングポイントが、
このサンプリングポイントとずれている場合には、内挿
補間によって推測値を挿入するようにしてもよい。この
ように構成することによって、撮像素子の画素数やＡ／
Ｄ変換サンプリング数を増やさずに、上記位置関係のサ
ーチエリア画像を得ることができる。

【００６７】図７は、図５と同様にデータシフトの状態
を示したもので、第０と第１クロック目ではサーチエリ
アデータはシフトせず、２つのテンプレートデータが交
互に入れ替わる動作は、上述した第１の実施例と同様で
ある。

【００６８】この動きベクトル検出装置では、相関係数
が出力される間隔は１画素間隔であるが、常にｍ＋０．
５画素（ｍは整数）の関係にある。したがって、被写体
が全く動いていない場合、出力される値は０とならず、
＋０．５画素または−０．５画素のどちらかになる。な
お、より細かい精度で動きベクトル検出を行いたい場
合、相関係数の最小値付近の値を補間することで、正確
な最小値およびその座標を求めることができる。

【００６９】この第２の実施例では、サンプラーを３種
類または画像の補間を必要とするが、第１の実施例の構
成よりも以下の点で優れている。すなわち、上述した第
１の実施例では、サーチエリア画像と右側テンプレート
画像とのサンプリングポイントが等しくなっていた。し
たがって、この組み合わせで演算したときの相関係数は
信頼性が高いが、左側テンプレート画像と演算した相関
係数は信頼性が低下していた。

【００７０】そのため、画像ノイズがある中で検出され
た動きベクトル誤差分散は、真値に対しては左右対称に
分布せず、右か左に偏ってしまうことがあった。しか
し、この第２の実施例の装置では、サーチエリア画像の
サンプリングがテンプレート画像の中央に位置している
ため、各組み合わせから得られた相関係数の信頼性は均
等であり、誤差が左右均等に分布する。このため、画像
ノイズが多い装置に組み込んでシステムを制御するよう
な場合に優れた特性を発揮することができる。

【００７１】次に、図８を参照しながら本発明の第３の
実施例を説明する。この第３の実施例は、相関係数を適
切に補間するようにしたものである。図８は、出力され
た相関係数のうち、最小値近辺の値を示しており、横軸
がシフト量Ｖ、縦軸が相関係数Ｃの値である。

【００７２】ここで、内挿補間した真の最小値を求め、
そのＸ座標が補間後の動きベクトルとなる。図中、白い
○で示したＬ₁ 、Ｌ₂ 、Ｌ₃ は左のテンプレートデータ
ＬＴＤとサーチエリアデータＳＡＤとのマッチング結
果、黒い●示したＲ₁ 、Ｒ₂ 、Ｒ₃ は右のテンプレート
データＲＴＤとサーチエリアデータＳＡＤとのマッチン
グ結果である。

【００７３】ところで、従来のように、１つのテンプレ
ート画像を１つのサーチエリア画像に対してシフトしな
がら得た相関係数値は、画像のパターンやノイズが同一
な条件のものから得た値なので、その分布を補間すれ
ば、ほぼ真の最小値の座標を推測することができる。

【００７４】しかし、本実施例では、左のテンプレート
データＬＴＤと右のテンプレートデータＲＴＤと２つの
画像を持っている。これらのデータは、１つの画像から
切り出された画像データではあるが、実際には画像パタ
ーンやノイズの状態が異なっている。そのため、２つの
テンプレート画像から得られたそれぞれの相関係数分布
形状（全体的な高さや傾斜の程度）が異なっている。

【００７５】図８の例では、左のテンプレートデータＬ
ＴＤから得られた値Ｌ₁ 、Ｌ₂ 、Ｌ ₃ の方が右のテンプ
レートデータＲＴＤから得られた値Ｒ₁ 、Ｒ₂ 、Ｒ₃ よ
り全体的に小さくなっている。このような相関係数の全
てを同様に扱って内挿補間をすると、誤差が増えたり、
誤差分散が真値に対して正または負の一方に偏りが生じ
る場合がある。

【００７６】そこで、本実施例では左のテンプレートデ
ータＬＴＤで得られた相関係数同志、および右のテンプ
レートデータＲＴＤで得られた相関係数同志で補間処理
を行い、各々最小値を推測するようにしている。

【００７７】したがって、この場合は２つの推測値が得
られることになり、最小値はノイズなどの画像条件が異
なるため両者で異なるが、そのＸ座標は、原理的に同一
である。そこで、この２つの内挿して求められた最小値
のＸ座標値を平均し、最終的な動きベクトル量とするよ
うにしている。

【００７８】この方法では、同一な画像から得られた相
関係数を補間しているので補間誤差は少なく、かつ２つ
の値を平均化しているのでノイズなどの影響による算出
値の変動が少ない利点が得られる。

【００７９】次に、相関係数の最小値近辺３点を用いた
場合の内挿方法の具体例を以下に示す。すなわち、第１
の右のテンプレートＲ₁ 、第２の右のテンプレート
Ｒ₂ 、第３の右のテンプレートＲ₃ の相関係数値をそれ
ぞれ、Ｃ_R1、Ｃ_R2、Ｃ_R3とし、において右のテンプレー
トＲ₂ のシフト量（内挿前の動きベクトル）がＶ_R2だと
すると、内挿した動きベクトルＶ_IRは、 Ｖ_IR= Ｖ_R2＋ 2｛( Ｃ_R3−Ｃ_R1) ｝／｛2(Ｃ_R3＋Ｃ_R1−2 Ｃ_R2) ｝( 式１) で与えられる。

【００８０】同様に、第１の左のテンプレートＬ₁ 、第
２の左のテンプレートＬ₂ 、第３の左のテンプレートＬ
₃ の相関係数をＣ_L1、Ｃ_L2、Ｃ_L3、第２の左のテンプレ
ートＬ₂ のシフト量をＶ_L2とした場合、 Ｖ_IL＝Ｖ_L2＋2 ｛( Ｃ_L3−Ｃ_L1) ｝／｛2(Ｃ_L3＋Ｃ_L1−２Ｃ_L2) ｝（式２） で求められる。

【００８１】また、上記のようにして平均化する方法の
ほかに、２つの補間値のうち信頼度が高い方のみを選択
する方法を用いるようにしてもよい。この場合、信頼度
は内挿して求められた最小値の大きさを評価し、この値
が小さい方、すなわち、テンプレート画像とサーチエリ
ア画像との類似度が高い方のＸ座標値を選択すればよ
い。図８の例では、左のテンプレートデータＬＴＤから
得られた内挿補間値の方が小さいため、左のテンプレー
トＬ₂ のシフト量Ｖ_ILを採用する。

【００８２】本実施例では、このように複数のテンプレ
ートデータから得られた相関係数のうち、同一のテンプ
レート画像から得られた相関係数同志で内挿補間し、そ
の結果を平均化または選択するので、検出誤差が少なく
できるとともに、誤差分布に偏りなどが生じないように
することができる。

【００８３】

【発明の効果】本発明は上述したように構成したので、
本発明の第１の発明によれば、画像面積が大きいサーチ
エリア画像を記憶するために必要なメモリの容量を小さ
くすることができるようになる。また、探索の最小ステ
ップ幅を小さく保つことで、動きベクトルの検出精度を
低下させないようにすることができる。

【００８４】第２の発明によれば、上記第１の効果を得
た上に、更に、画像メモリの容量を小さくすることがで
き、かつ演算終了タイミングを早めることができる。

【００８５】第３の発明によれば、上記第１と第２の効
果を得た上に、更に、複数のテンプレート画像の切り替
え処理、内挿演算精度から考慮した最適な数値を示すよ
うにすることができる。

【００８６】第４の発明によれば、上記第１〜３の効果
を得た上に、更に、動きベクトルの誤差分布が真値に対
して正か負に偏らないようにすることができる。

【００８７】第５の発明によれば、上記第１〜４の効果
を得た上に、更に、相関係数分布の内挿補間の誤差を低
減させることできる。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出装置の概略構成を示
す機能ブロック図である。

【図２】本発明の動きベクトル検出装置の構成の一例を
示すブロック図である。

【図３】演算開始時刻を示す概念図である。

【図４】サンプリング状態を示す概念図である。

【図５】データシフトの状態を示す概念図である。

【図６】サンプリング状態を示す概念図である。

【図７】データシフトの状態を示す概念図である。

【図８】内挿演算の概念図である。

【図９】従来の動きベクトル検出装置の一例を示すブロ
ック図である。

【符号の説明】 被探索領域画像生成手段 参照画像生成手段 ａ 第１の生成手段 ｂ 第２の生成手段 参照画像切換手段 相関演算手段 最小値検出手段 シフト量検出手段 Ｓ_IN 入力映像信号 １１０２ サンプラー １１０３ サンプラー １１０４ テンプレートメモリ １１０５ テンプレートメモリ １１０６ レジスタ １１０７ サンプラー １１０８ サーチエリアメモリ １１０９ シフトレジスタ １００６ 相関演算回路 １００７ 最小値検出回路 １１０８ カウンタ １００９ コントローラー

Claims (5)

【特許請求の範囲】
1. 【請求項１】 映像信号から入力した連続する複数の画
   像の相関演算を行って動きベクトルを検出するようにし
   た動きベクトル検出装置において、 上記映像信号を第１のサンプリング間隔でサンプリング
   して被探索領域画像を生成する被探索領域画像生成手段
   と、 上記映像信号を第２のサンプリング間隔でサンプリング
   して、各々位相が異なったサンプリング状態の複数の参
   照画像を生成する参照画像生成手段と、 上記参照画像生成手段から与えられる複数の参照画像を
   切り換えながら上記相関演算を行うための相関演算手段
   に導出し、上記被探索領域画像と上記複数の参照画像と
   による相関演算を行わせるようにする参照画像切換手段
   とを具備することを特徴とする動きベクトル検出装置。
2. 【請求項２】 請求項１の動きベクトル検出装置におい
   て、 過去に走査した画像を被探索領域画像とするとともに、
   現在走査中の画像を参照画像とすることを特徴とする動
   きベクトル検出装置。
3. 【請求項３】 請求項１または請求項２に記載の動きベ
   クトル検出装置において、 上記第１のサンプリング間隔の２倍の間隔でサンプリン
   グして２つの参照画像を生成するとともに、 上記２つの参照画像の位相が互いに反転するようにサン
   プリングしていることを特徴とする動きベクトル検出装
   置。
4. 【請求項４】 請求項１〜３のいずれか１項に記載の動
   きベクトル検出装置において、 上記被探索領域画像のサンプリングポイントは、２つの
   参照画像のサンプリングポイントの中間に位置するよう
   になされていることを特徴とする動きベクトル検出装
   置。
5. 【請求項５】 請求項１〜４のいずれか１項に記載の動
   きベクトル検出装置において、 それぞれの１つの参照画像ごとに類似度の最大値を与え
   る画像シフト量を、相関係数を内挿補間することで求
   め、 得られた複数の内挿補間値を合致させるか、或いは１つ
   を選択することで、動きベクトル値を推測することを特
   徴とする動きベクトル検出装置。