JP4514203B2 - 動きベクトル検出装置及び方法 - Google Patents

Description

本発明は、動きベクトル検出装置及び方法に関し、更に詳しくは画像間の動きが大きな場合にも適応的に動きベクトルの検出が行える動きベクトル検出装置及び方法に関する。

近年、音声信号、映像信号など所謂マルチメディアに関連する情報のデジタル化が急進しており、これに対応して映像信号の圧縮符号化復号化技術が注目されている。圧縮符号化及び復号化技術により、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることができるため、マルチメディア産業には極めて重要な技術である。

これらの圧縮符号化復号化技術は、多くの映像信号が有する自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性があり、時間冗長性は、ブロック単位の動き推定及び動き補償を用いて低減することが出来、一方、空間冗長性は、離散コサイン変換（ＤＣＴ）を用いて低減させることが出来る。

圧縮符号化復号化技術として知られるＭＰＥＧ方式などではこれらの手法により映像信号の冗長性を低減させ、経時的に変わるビデオフレーム／フィールドのデータ圧縮効果を向上させる。時間冗長性を低減させるためのブロック単位の動き推定とは、連続して入力する参照フレーム／フィールド（過去のフレーム／フィールド）と現在フレーム／フィールドとの間で最も近似するブロックを探し出す作業であり、対応するブロックの移動方向、移動量を表すベクトルを動きベクトルという。従って、動き推定とは動きベクトルの推定と同義である。

一般に動きベクトルを推定する方法としては、ブロックマッチング方式が用いられる。ブロックマッチング方式とは、参照フレーム／フィールドと現在フレーム／フィールドのように２枚の映像をブロック単位で比較し、信号類型の整合度に基づいてブロック単位で動きを推定する方法をいう。かかるブロックマッチング方式により、参照フレーム／フィールドと現在フレーム／フィールドとからブロックごとに動きベクトルを推定し、推定された動きベクトルを用いて動き補償予測を行う。このブロックマッチング方式については例えば特許文献１に記載されているが、図２を用いて説明する。

図２はブロックマッチング方式を用いた動きベクトル検出装置を示すブロック図である。同図において動きベクトル検出装置は、現在フレーム／フィールド保存部２０、参照フレーム／フィールド保存部２１、現在マクロブロック保存バッファ２２、参照サーチウィンドウ保存バッファ２３、動きベクトル探索部２４から成っている。

現在フレーム／フィールド保存部２０と参照フレーム／フィールド保存部２１はそれぞれ現在フレーム／フィールドと参照フレーム／フィールドが保存され、動きベクトルの推定に用いられる。現在マクロブロック保存バッファ２２は現在フレーム／フィールド保存部２０から現在のマクロブロックの画像を取り出す。参照サーチウィンドウ保存バッファ２３は現在のマクロブロックの中心に探索領域の中心を設定し探索領域の範囲（以下、サーチウィンドウと呼ぶ）分だけ参照フレームフィールド保存部２１から画像を取り出す。動きベクトル探索部２４ではサーチウィンドウ内で現在のマクロブロックの画像を探索し、現在のマクロブロックについての最終的な動きベクトルを推定する。

また、ブロックマッチング方式には、図３に示すように、図２の動きベクトル検出装置に、動きベクトル探索部２４で推定された動きベクトルを保存する動きベクトル保存器３５を持たせた構成も存在する。この構成では、参照フレーム／フィールド保存部２１に動きベクトル保存器３５から一つ前のマクロブロックについて推定した動きベクトルを提供する。参照フレーム／フィールド保存部２１は、一つ前のマクロブロックの動きベクトル分だけ現在マクロブロックからずらした位置に探索領域の中心位置を設定し、参照サーチウィンドウ保存バッファ２３へ参照画像を出力する。

ブロックマッチング方式のようにマクロブロックごとに動きベクトルの検出／推定を行い、この動きベクトルを用いて動き補償予測を行う方法を、局所的な検出をするという意味から、以後まとめてローカル動き補償と呼ぶことにする。またブロック単位の動きベクトルをローカル動きベクトルと呼ぶことにする。

これまで説明してきたローカル動き補償方式は現在国際標準方式Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４で用いられており、最も広く採用されている動き補償方式である。

特開平０４−３２３７８０号公報（第２頁）

しかしながら、ローカル動き補償方式においては１フレームより少ない数の画素からなるサーチウィンドウを用いているため、現在のマクロブロックの中心に探索領域の中心を設定した場合や一つ前のマクロブロックの動きベクトルを用いてサーチウィンドウの中心の位置決めを行った場合、野球中継のように画像間の動きが速いか、画面全体がパンニング(panning)される画像のマクロブロックはサーチウィンドウ内に存在しなくなることがある。この場合、従来のローカル動き補償方式においては画像フレーム間の差異値を得るノン・イントラ（又はインター）符号化を行わず、その代わりにイントラ符号化を行うため、圧縮率が低下し、符号化データ量が多くなってしまう問題点がある。

従って、本発明の目的はフレーム間の動きが大きい画像に対しても動きベクトルの検出が可能な動きベクトル検出装置及び方法を提供することにある。

また、本発明の別の目的は、フレーム間の動きが大きい画像の場合にも圧縮率の高い符号化が可能な動き補償符号化装置及び方法を提供することである。

上述の目的は、現画像を構成する複数のマクロブロックの各々について、参照画像に設定された探索領域内で探索することにより、複数のマクロブロックの各々の動きベクトルを検出する動きベクトル検出装置であって、現画像と参照画像の画素値の差分の演算を含んだ評価関数を演算することによって、現画像と参照画像の空間的な位置の差を示すグローバルベクトルを求めるグローバルベクトル決定手段と、評価関数の演算によって得られた値と所定の閾値とを比較して、グローバルベクトルの信頼性が高いか否かを判定する信頼性判定手段と、信頼性判定手段によってグローバルベクトルの信頼性が高いと判定された場合、グローバルベクトルが指す位置の周辺に探索領域を設定し、グローバルベクトルの信頼性が高くないと判定された場合には、予め定められた動きベクトルが指す位置の周辺に探索領域を設定する探索領域設定手段と、現画像の複数のマクロブロックの各々について、探索領域設定手段によって設定された探索領域内で探索し、当該マクロブロックに対する動きベクトルを検出する動きベクトル探索手段とを有することを特徴とする動きベクトル検出装置によって達成される。

また、上述の目的は、現画像を構成する複数のマクロブロックの各々について、参照画像に設定された探索領域内で探索することにより、複数のマクロブロックの各々の動きベクトルを検出する動きベクトル検出方法であって、現画像と参照画像の画素値の差分の演算を含んだ評価関数を演算することによって、現画像と参照画像の空間的な位置の差を示すグローバルベクトルを求めるグローバルベクトル決定ステップと、評価関数の演算によって得られた値と所定の閾値とを比較して、グローバルベクトルの信頼性が高いか否かを判定する信頼性判定ステップと、信頼性判定ステップによってグローバルベクトルの信頼性が高いと判定された場合、グローバルベクトルが指す位置の周辺に探索領域を設定し、グローバルベクトルの信頼性が高くないと判定された場合には、予め定められた動きベクトルが指す位置の周辺に探索領域を設定する探索領域設定ステップと、現画像の複数のマクロブロックの各々について、探索領域設定ステップによって設定された探索領域内で探索し、当該マクロブロックに対する動きベクトルを検出する動きベクトル探索ステップとを有することを特徴とする動きベクトル検出方法によっても達成される。

また、上述の目的は、コンピュータを本発明の動きベクトル検出装置の各手段として機能させるためのプログラム又はこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。

このような構成により、本発明の動きベクトル検出装置は、動きの大きい場面においても動きベクトルを検出することができる。

以下、図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
●（第１の実施形態）
図１は、本発明の第１の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。

本実施形態における動きベクトル検出装置は、参照フレーム／フィールド保存部１００、現在フレーム／フィールド保存部１０１、グローバルベクトル決定部１０２、グローバルベクトル信頼性判定部１０３、サーチウィンドウ位置決定部１０４、動きベクトル探索部１０５、動きベクトル保存部１０６、参照サーチウィンドウ保存バッファ１０７及び現在マクロブロック保存バッファ１０８とから構成される。

係る構成において、参照フレーム／フィールド保存部１００と現在フレーム／フィールド保存部１０１には、動きベクトル検出／推定のための参照フレーム／フィールド（参照画像）と現在フレーム／フィールド（現画像）がそれぞれ保存される。

グローバルベクトル決定部１０２は、参照フレーム／フィールド保存部１００及び現在フレーム／フィールド保存部１０１から提供される参照フレーム／フィールドの画素値全てと現在フレーム／フィールドの画素値全てを用い、参照フレーム／フィールドに対する現在フレーム／フィールドの空間的な位置の差を示すグローバルベクトルを決定する。

グローバルベクトル信頼性判定部１０３は、グローバルベクトル決定部１０２が決定したグローバルベクトルの信頼度を判定する。サーチウィンドウ位置決定部１０４はグローバルベクトル又は一つ前のローカル動きベクトルから参照サーチウィンドウを決定する。

動きベクトル探索部１０５、動きベクトル保存部及び参照サーチウィンドウ保存バッファ１０７、現在マクロブロック保存バッファ１０８は図２及び図３で説明した同名の構成要素と同一でよいため説明を省略する。

以上説明した本実施形態の動きベクトル検出装置の動作を、図９のフローチャートを用いて説明する。
まず、グローバルベクトル決定部１０２は、参照フレーム／フィールド（参照画像）と現在フレーム／フィールド（現画像）との動きベクトルであるグローバルベクトルを検出するため、これら画像間の位置関係毎に評価関数を演算する（ステップＳ１０３）。

参照フレーム／フィールドと現在フレーム／フィールドとが最大相関度を有する移動距離及び方向を表すグローバルベクトルを推定するためには、次のようなMSE(Mean Square Error)(数１)、MAE(Mean Absolute Error)（数２）、あるいはMAD(Mean Absolute Difference)などの評価関数を用いることができる。

ここで、Ｓ_cur（ｍ，ｎ）は現在のフレーム／フィールドでの（ｍ，ｎ）番目の画素値、Ｓ_ref（ｍ，ｎ）は参照フレーム、フィールドでの（ｍ，ｎ）番目の画素値を示す。（ｉ，ｊ）は参照フレーム／フィールドに対する現在のフレーム／フィールドの空間的な位置をそれぞれ示している。

（ただし、Ｍ，Ｎを１フレーム／フィールドでの水平及び垂直画素数とすると、ｍ＝ｋ×ｑ，ｎ＝ｌ×ｒであり、ｋ，ｌは０≦ｍ≦Ｍ、１≦ｋ≦Ｍ，０≦ｎ≦Ｎ，１≦ｌ≦Ｎを満たす自然数である。また、Ｑ，ＲはＭ−ｋ≦Ｑ≦Ｍ，Ｎ−ｌ≦Ｒ≦Ｎを満たす）
この評価関数は画素値の差に基づいたものであり、最も小さいＭＡＥ値やＭＳＥ値となるベクトルをグローバルベクトルとして決定する。

ＭＡＥ値を例にした場合の、グローバルベクトルの選定方法の例を図５に示す。参照フレームを所定の方向に１画素ずつずらしていき、画素の移動距離ごとにＭＡＥ値の総和の平均を取る。そして平均ＭＡＥ値が最小となるときの移動量がグローバルベクトルの選定基準となる。この処理を例えば所定の方向と直交する他の方向についても行い、この方向で平均ＭＡＥ値が最小となる移動量が求まれば、２つの移動量とその移動方向からグローバルベクトルを決定することができる。

また、この時に求まる最小のＭＡＥ値やＭＳＥ値をグローバルベクトル信頼性判定部１０３でグローバルベクトル信頼値ＧＲＶ(Global vector Reliable Value)として用いる。このように、グローバルベクトル決定部１０２は上述の評価関数の演算を行った後、最大相関度を示す位置への動きベクトルをグローバルベクトルとして定め、グローバルベクトル信頼性判定部１０３にグローバルベクトル信頼値ＧＲＶ及びグローバルベクトルを送信する（ステップＳ１０５）。

（グローバルベクトルの信頼性の判定方法）
次に、グローバルベクトル信頼性判定部１０３により、グローバルベクトル決定部１０２が決定したグローバルベクトルの信頼性を判定する（ステップＳ１０７）。この判定方法の例を図６に示す。

本実施形態において、グローバルベクトル信頼性判定部１０３はグローバルベクトル決定部１０２から送信されてきたグローバルベクトル信頼値ＧＲＶと予め設定してある閾値とを比較し、グローバルベクトル信頼値ＧＲＶの値が閾値以下ならばグローバルベクトルの信頼性が高いと判断する。この時、サーチウィンドウの位置決定にグローバルベクトルを用いるため、サーチウィンドウ位置決定部１０４にグローバルベクトルを送信する。

一方、グローバルベクトル信頼値ＧＲＶの値が閾値より大きければグローバルベクトルの信頼性が低いと判断する。この場合には、グローバルベクトルの代わりに動きベクトル保存部１０６から一つ前のローカル動きベクトルをサーチウィンドウ位置決定部１０４に送信させる。なお、この場合には動きが無いことを意味するゼロ動きベクトルを一つ前のローカル動きベクトルの代わりに送信することも出来る。また、その他、使用者が定義可能な任意の動きベクトルを一つ前のローカル動きベクトルの代わりに送信しても良い。

サーチウィンドウ位置決定部１０４は送信されてきた動きベクトル（グローバルベクトル（ステップＳ１０９）又は一つ前のローカル動きベクトル（ステップＳ１１１））に従いサーチウィンドウ位置を決定する。つまり、サーチウィンドウの中心を、現在のマクロブロックに対応する参照フレーム／フィールドのマクロブロックから、動きベクトルの分だけずらした位置に指定する。参照フレーム／フィールド保存部１００は、サーチウィンドウ位置決定部１０４が決定したサーチウィンドウの中心に従って必要な範囲の画像を取り出し、参照サーチウィンドウ保存バッファ１０７に送信する。

また、同時に現在フレーム／フィールド保存部１０１は、現在マクロブロックの画像を取り出し、現在マクロブロック保存バッファ１０８に送信する。

このように、グローバルベクトルの信頼性が高い時はグローバルベクトルが指す位置の周辺を探索するようにサーチウィンドウの位置を決定し、信頼性が低い時はマクロブロックの周辺を探索するようにサーチウィンドウの位置を決定する様子を模式的に図７に示す。

（動きベクトルの探索）
次に、動きベクトル探索部１０５は、サーチウィンドウ内でマクロブロックと類似した領域の探索を行い、現在のマクロブロックに対応する動きベクトルを検出／推定する（ステップＳ１１３）。推定した動きベクトルは外部に出力するほか、動きベクトル保存部１０６に送信し、グローバルベクトルの信頼性が低い場合の次のマクロブロックの動きベクトル推定で用いる。

ここで、Ｎ×Ｎサイズのマクロブロックの動きベクトルを参照フレーム／フィールドで±ｐ画素の範囲で探索するとすると、サーチウィンドウの大きさは（Ｎ＋２ｐ）×（Ｎ＋２ｐ）となる。ここで、動きベクトルの候補になり得る総ての位置で上述した評価関数を計算した後、最大相関度を示す位置へのベクトルを動きベクトルに決める。

最大相関度を有する動きベクトルを推定するためには、前述のMSE(Mean Square Error)(数３)、MAE(Mean Absolute Error)（数４）、あるいはMAD(Mean Absolute Difference)などの評価関数を用いて次のように求められる。

ここで、Ｓ_refは参照フレーム／フィールド、Ｓ_cur,kは現在のフレーム、フィールドでｋ番目のマクロブロックを示す。（ｉ，ｊ）は現在フレーム／フィールドのｋ番目のマクロブロックに対する参照フレーム／フィールドの空間的な位置をそれぞれ示している。

（ただし、Ｘ及びＹをサーチウィンドウの水平及び垂直画素数とすると、ｘ＝ｇ×ｕ，ｙ＝ｈ×ｖであり、ｇ、ｈは０≦ｘ≦Ｘ、１≦ｇ≦Ｘ，０≦ｙ≦Ｙ，１≦ｈ≦Ｙを満たす自然数である。また、Ｕ，ＶはＸ−ｇ≦Ｕ≦Ｘ，Ｙ−ｈ≦Ｖ≦Ｙを満たす。）
この評価関数は画素値の差に基づいたものであり、最も小さいMAE値やMSE値を有する場合の移動距離及び方向を表す動きベクトルを現在のマクロブロックにおける最終的な動きベクトルとして選定する。

本実施形態によれば、上述の構成により、現画像全体と参照画像全体との動きベクトルであるグローバルベクトルを求め、グローバルベクトルを用いて参照サーチウィンドウを設定することにより、現在のマクロブロックを参照サーチウィンドウの中心としたり、一つ前のローカル動きベクトルを用いて参照サーチウィンドウを設定する場合に比べ、大きな動きを有する画像に対しても動きベクトルを検出することができる。従って、本実施形態による動きベクトル検出装置を用いることにより、動きの大きい場面において動きベクトルを決定できず、イントラ符号化を行い、符号量が多くなる従来の動き補償符号化システムにおける問題を解決し、動き補償圧縮符号化効率を向上させることが可能になる。

●（第２の実施形態）
図４は、本発明の第２の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。第２の実施形態に係る動きベクトル検出装置はサーチウィンドウ位置決定部１０４に代わってサーチウィンドウ範囲決定部３０４を有する点及び動きベクトル保存部１０６を持たない点を除き、第１の実施形態のそれと基本的に同じ構造を有する。従って、図４において図１と同様の構成要素については同じ参照数字を付し、重複する説明は省略する。

以下、図１０のフローチャートを併せて参照しながら、本実施形態の動きベクトル検出装置の動作について説明する。
まず、グローバルベクトル決定までの処理（ステップＳ１０３〜Ｓ１０５）については第１の実施形態と同様である。

本実施形態においては、ステップＳ２０７においてグローバルベクトル信頼性判定部１０３が行う信頼性判定処理と、その結果に応じたサーチウィンドウの設定処理が第１の実施形態と異なる。

具体的にはステップＳ２０７においてグローバルベクトル信頼性判定部１０３が信頼性判定を行う際、閾値を複数用いる。そして、信頼値ＧＲＶと複数の閾値との関係に応じて、サーチウィンドウ範囲を段階的に変化させる。本実施形態ではグローバルベクトル信頼性判定部１０３が２つの閾値Ｔｈ１，Ｔｈ２を用いて信頼性評価を行う場合を例に挙げて説明する。

この場合、グローバルベクトル信頼値ＧＲＶと閾値Ｔｈ１，Ｔｈ２とが取りうる関係は以下の３通りである。

そして、本実施形態のグローバルベクトル信頼性判定部１０３は、（ｉ）、（ii）、（iii）の順に信頼性が落ちる、つまり（ｉ）の条件を満たす場合が最も信頼性が高いものと判定する。そして、その判定結果に応じてサーチウィンドウの範囲と探索精度を段階的に設定する（ステップＳ２０９、Ｓ２１１、Ｓ２１３）。

具体的には信頼性が最も高い場合（ｉ）には、サーチウィンドウの大きさは通常通りのものとし、探索精度も通常の１画素（あるいは半画素）単位のものとする。次に信頼性が高い（ii）の場合は（ｉ）の場合に比べ、グローバルベクトルの信頼性が落ちるため、サーチウィンドウ範囲を通常よりも大きくする。

単純にサーチウィンドウ範囲を大きくすると、参照サーチウィンドウ保存バッファ１０７に入りきらない場合や、探索処理にかかる時間が増大する。そのため、本実施形態においては、サーチウィンドウ範囲の拡大と同時に探索精度を低下させることでこれらの問題を解消する。

具体的には、参照サーチウィンドウ保存バッファ１０７に保存する参照画像の解像度を水平及び垂直方向において１／２にすると、バッファ１０７には通常の４倍の範囲の参照画像を保存できる。このような参照画像を用いて１画素毎に探索処理を行うことは、通常の解像度の参照画像に対して１画素飛びに探索を行うことと同義であり、探索精度を１／４に低下させることと同等である。

また、（iii）の場合にはさらにグローバルベクトルの信頼性が落ちるため、（ii）の場合よりも探索範囲を拡げる（例えば参照画像の解像度を水平及び垂直方向に１／３として範囲を９倍に拡大する）。このような参照画像を用いて１画素毎に探索処理を行うことは、通常の解像度の参照画像に対して２画素飛びに探索を行うことと同義であり、探索精度を１／９に低下させることと同等である。

図８に、本実施形態における、グローバルベクトルの信頼性に応じたサーチウィンドウ範囲の制御を模式的に示す。このように、本実施形態においては、グローバルベクトルがサーチウィンドウの基準位置（図８では左上座標）を決定し、グローバルベクトルの信頼性がサーチウィンドウの大きさを決定する。

なお、本実施形態では（ii）の場合にサーチウィンドウの大きさを（ｉ）の場合の４倍、（iii）の場合に（ｉ）の場合の９倍に設定したが、勿論、（ii）、（iii）各々の場合において、サーチウィンドウの倍率を別の値に設定することも出来る。例えば、水平方向のみ解像度を１／２とするなど、垂直方向とで解像度の低下率を異ならせても良い。また、本実施形態では信頼度判定に用いる閾値の数を２個に設定していたが、閾値の数を更に増やして、サーチウィンドウの大きさを更に段階的に変化させることも出来る。

サーチウィンドウ範囲決定部３０４はグローバルベクトル信頼性判定部１０３から送信されてくるグローバルベクトルとサーチウィンドウの範囲に応じて、参照フレーム／フィールド保存部１００、現在フレーム／フィールド保存部１０１から各々動きベクトル推定に必要な画像を取り出し、参照サーチウィンドウ保存バッファ１０７と現在マクロブロック保存バッファ１０８に送信する。この際、参照サーチウィンドウ保存バッファ１０７に保存する画像については、サーチウィンドウの大きさに応じて画素を間引くなどして解像度を低下させる。

そして、動きベクトル探索部１０５は、第１の実施形態において説明したようにして、動きベクトルを検出し（ステップＳ１１３）、出力する。

本実施形態ではグローバルベクトルとグローバルベクトル信頼値ＧＲＶを用いてサーチウィンドウの位置及び大きさを決定していたが、上述の数３あるいは数４で求められる値のうち最小のものを信頼値として、ローカル動きベクトルとその信頼値LRV(Local vector Reliable Value)を用いてサーチウィンドウの位置及び大きさを決定してもよい。

以上説明したように本実施形態によれば、グローバルベクトルの信頼度に応じてサーチウィンドウの大きさを制御するため、グローバルベクトルの信頼性が低い場合でもローカル動きベクトルを探索できる可能性を高めることができる。また、ローカル動きベクトル保存部１０６が不要となり、より簡便な構成を実現できる。

（他の実施形態）
上述の実施形態で説明した動きベクトル検出装置は、動き補償圧縮符号化装置に好適に適用することができ、結果として大きな動きを有する画像に対する圧縮率を向上させることが可能である。

上述の実施形態においては、１つの機器から構成される動きベクトル検出装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の第１の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。 従来の動きベクトル検出装置の構成例を示すブロック図である。 従来の動きベクトル検出装置の別の構成例を示すブロック図である。 本発明の第２の実施形態に係る動きベクトル検出装置の構成例を示すブロック図である。 実施形態におけるグローバルベクトルの選定方法を説明するための図である。 第１の実施形態における、グローバルベクトルの信頼性の判定方法を説明するための図である。 第１の実施形態における、グローバルベクトルの信頼性に応じたサーチウィンドウ位置の決定方法を説明するための図である。 第２の実施形態における、グローバルベクトルの信頼性に応じたサーチウィンドウ範囲の決定方法を説明するための図である。 本発明の第１の実施形態に係る動きベクトル検出装置の動作を説明するフローチャートである。 本発明の第２の実施形態に係る動きベクトル検出装置の動作を説明するフローチャートである。

符号の説明

１００ 現在フレーム／フィールド保存部
１０１ 参照フレーム／フィールド保存部
１０２ グローバルベクトル決定部
１０３ グローバルベクトル信頼性判定部
１０４ サーチウィンドウ位置決定部
１０５ 動きベクトル探索部
１０６ 動きベクトル保存部
１０７ 参照サーチウィンドウ保存バッファ
１０８ 現在マクロブロック保存バッファ
３０４ サーチウィンドウ範囲決定部

Claims (11)

1. 現画像を構成する複数のマクロブロックの各々について、参照画像に設定された探索領域内で探索することにより、前記複数のマクロブロックの各々の動きベクトルを検出する動きベクトル検出装置であって、
   前記現画像と前記参照画像の画素値の差分の演算を含んだ評価関数を演算することによって、前記現画像と前記参照画像の空間的な位置の差を示すグローバルベクトルを求めるグローバルベクトル決定手段と、
   前記評価関数の演算によって得られた値と所定の閾値とを比較して、前記グローバルベクトルの信頼性が高いか否かを判定する信頼性判定手段と、
   前記信頼性判定手段によって前記グローバルベクトルの信頼性が高いと判定された場合、前記グローバルベクトルが指す位置の周辺に前記探索領域を設定し、前記グローバルベクトルの信頼性が高くないと判定された場合には、予め定められた動きベクトルが指す位置の周辺に前記探索領域を設定する探索領域設定手段と、
   前記現画像の複数のマクロブロックの各々について、前記探索領域設定手段によって設定された探索領域内で探索し、当該マクロブロックに対する動きベクトルを検出する動きベクトル探索手段とを有することを特徴とする動きベクトル検出装置。
2. 前記グローバルベクトル決定手段は、前記評価関数として、前記現画像と前記参照画像との差分の画素値を自乗した値を累積する評価関数、または、前記現画像と前記参照画像との差分の画素値の絶対値を累積する評価関数を演算することによって前記グローバルベクトルを求めることを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記グローバルベクトル決定手段は、前記参照画像を前記現画像に対して所定の方向に１画素ずつずらしながら前記評価関数の演算を行い、画素の移動距離ごとに前記評価関数の演算結果の総和の平均値を算出し、さらに、前記参照画像を前記現画像に対して前記所定の方向と直交する方向に１画素ずつずらしながら前記評価関数の演算を行い、画素の移動距離ごとに前記評価関数の演算結果の総和の平均値を算出して、それぞれの平均値が最小となるときの前記所定の方向及び前記所定の方向に直交する方向における画素の移動距離に基づいて前記グローバルベクトルを求め、
   前記信頼性判定手段は、前記それぞれの平均値の最小値と前記所定の閾値とを比較することによって前記グローバルベクトルの信頼性が高いか否かを判定することを特徴とする請求項１または２記載の動きベクトル検出装置。
4. さらに、前記動きベクトル探索手段によって検出された動きベクトルを保存する保存手段を有し、
   前記探索領域設定手段が、前記グローバルベクトルの信頼性が高くないと判定された場合、前記保存手段に保存された、前記現画像における一つ前のマクロブロックで検出された動きベクトルが指す位置の周辺に前記探索領域を設定することを特徴とする請求項１乃至３のいずれか１項記載の動きベクトル検出装置。
5. 前記探索領域設定手段が、前記グローバルベクトルの信頼性が高くないと判定された場合、ゼロ動きベクトル又は予め定義された動きベクトルが指す位置の周辺に前記探索領域を設定することを特徴とする請求項１乃至３のいずれか１項記載の動きベクトル検出装置。
6. 前記信頼性判定手段は、前記評価関数の演算によって得られた値と、所定の複数の閾値とを比較することによって前記グローバルベクトルの信頼性の高さを３つ以上に分類して判定し、
   前記信頼性判定手段によって判定された前記グローバルベクトルの信頼性が低くなるにつれて、前記探索領域設定手段が前記探索領域を段階的に拡大するとともに、前記動きベクトル探索手段が前記探索領域内の探索精度を段階的に低下させることを特徴とする請求項１乃至３のいずれか１項記載の動きベクトル検出装置。
7. 前記探索領域に対応する参照画像を保存するバッファ手段をさらに有し、
   前記バッファ手段は、前記信頼性判定手段によって判定された前記グローバルベクトルの信頼性が低くなるにつれて、保存すべき前記探索領域に対応する参照画像の解像度を段階的に低くすることを特徴とする請求項６記載の動きベクトル検出装置。
8. 請求項１乃至請求項７のいずれか１項に記載の動きベクトル検出装置を用いて動きベクトルを検出し、当該動きベクトルを用いて前記現画像の動き補償圧縮符号化を行う動き補償圧縮符号化装置。
9. 現画像を構成する複数のマクロブロックの各々について、参照画像に設定された探索領域内で探索することにより、前記複数のマクロブロックの各々の動きベクトルを検出する動きベクトル検出方法であって、
   前記現画像と前記参照画像の画素値の差分の演算を含んだ評価関数を演算することによって、前記現画像と前記参照画像の空間的な位置の差を示すグローバルベクトルを求めるグローバルベクトル決定ステップと、
   前記評価関数の演算によって得られた値と所定の閾値とを比較して、前記グローバルベクトルの信頼性が高いか否かを判定する信頼性判定ステップと、
   前記信頼性判定ステップによって前記グローバルベクトルの信頼性が高いと判定された場合、前記グローバルベクトルが指す位置の周辺に前記探索領域を設定し、前記グローバルベクトルの信頼性が高くないと判定された場合には、予め定められた動きベクトルが指す位置の周辺に前記探索領域を設定する探索領域設定ステップと、
   前記現画像の複数のマクロブロックの各々について、前記探索領域設定ステップによって設定された探索領域内で探索し、当該マクロブロックに対する動きベクトルを検出する動きベクトル探索ステップとを有することを特徴とする動きベクトル検出方法。
10. コンピュータを請求項１乃至請求項７のいずれか１項に記載の動きベクトル検出装置の各手段として機能させるためのプログラム。
11. 請求項１０記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images