JP4274430B2 - 動きベクトル検出装置 - Google Patents

Description

本発明は、動きベクトル検出装置に関し、特に初期偏位ベクトルを用いた勾配法等による動きベクトルの検出に適用することができる。本発明は、動きの方向についてのみ適切な固定ベクトルを初期偏位候補ベクトルに加えて動きベクトルを検出することにより、簡易な構成により、動きが急変した場合にも対応して高い精度で動きベクトルを検出することができる。

従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。

このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。

このような動きベクトル検出手法のうち勾配法においては、例えば特開昭６２−２０６９８０号公報に、初期偏位ベクトルを用いて動きベクトルを検出する方法が提案されるようになされている。ここでこの初期偏位ベクトルは、動きベクトルの予測値であり、例えば周囲の動きベクトル検出ブロックで既に検出された動きベクトル等より検出される。この初期偏位ベクトルを用いた動きベクトル検出方法においては、特開平４−７８２８６号公報に、この初期偏位ベクトルを基準にして偏位ベクトルを検出した後、この初期偏位ベクトルと偏位ベクトルとの加算により動きベクトルを検出することにより、簡易な構成で動きベクトルを検出する方法が開示されるようになされている。この検出方法によれば、動きベクトル＝初期偏位ベクトル＋偏位ベクトルにより動きベクトルを検出することができ、例えばカメラパンのような動きが一様な場合には、偏位ベクトルは「０」となり、初期偏位ベクトルのみが値を持つようになる。

しかしながら、勾配法により動きベクトルを検出する方法は、画像勾配とフレーム間差分値とを用いた演算式で動きベクトルを検出する方法であり、検出精度が高い一方、数画素分の検出精度しかなく、動き量が急変した場合においては検出精度が劣化し、真の動き量に追従するまで数フィールドの時間が必要となる問題があった。

この問題を解決する１つの方法として、特開平７−１３５６６３号公報に、ブロックマッチング法で検出した動きベクトルを初期偏位ベクトルの選択対象である初期偏位候補ベクトルに加えて処理する方法が開示されるようになされている。すなわちブロックマッチング法による動きベクトルの検出においては、単に動きベクトル検出範囲で検出されるフィールド間差分値、フレーム間差分値の大小判定により動きベクトル検出していることにより、時間軸方向に相関の無い動きについても検出することができ、これにより動きが急変した場合についても動きベクトルを検出することができる。これによりブロックマッチング法で検出した動きベクトルを初期偏位候補ベクトルに加えて勾配法により動きベクトル検出すれば、動きの急変にも対応して、高い精度で動きベクトルを検出することができると考えられる。

しかしながらこのようにブロックマッチング法により検出した動きベクトルを初期偏位候補ベクトルに加える構成にあっては、ブロックマッチング法による動きベクトル検出回路が必要になる分、回路構成が増大する問題があった。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 特開平４−７８２８６号公報 特開平７−１３５６６３号公報

本発明は以上の点を考慮してなされたもので、従来に比して簡易な構成により、動きの急変にも対応して、高い精度で動きベクトルを検出することができる動きベクトル検出装置を提案しようとするものである。

係る課題を解決するため請求項１の発明においては、複数の初期偏位候補ベクトルから初期偏位ベクトルを選択し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、方向が異なる複数の固定ベクトルによりそれぞれ動き補正して、フレーム間差分値又はフィールド間差分値を検出する差分値演算手段と、差分値演算手段の演算結果に基づいて、固定ベクトルのうちフレーム間差分値又はフィールド間差分値が最小となる固定ベクトルを選択する選択手段とを有し、選択手段により選択された固定ベクトルと既検出の動きベクトルとを初期偏位候補ベクトルに設定して動きベクトルを検出するようにする。

また請求項２の発明においては、請求項１の構成において、固定ベクトルは、動きベクトルを検出する被検出ブロックの中心から被検出ブロックに隣接するマクロブロックまでの長さに設定されるようにする。

請求項１の構成により、複数の初期偏位候補ベクトルから初期偏位ベクトルを選択し、初期偏位ベクトルを用いて偏位ベクトルを検出して初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置に適用して、方向が異なる複数の固定ベクトルによりそれぞれ動き補正して、フレーム間差分値又はフィールド間差分値を検出する差分値演算手段と、差分値演算手段の演算結果に基づいて、固定ベクトルのうちフレーム間差分値又はフィールド間差分値が最小となる固定ベクトルを選択する選択手段とを有し、選択手段により選択された固定ベクトルと既検出の動きベクトルとを初期偏位候補ベクトルに設定して動きベクトルを検出することにより、動きの方向についてのみ適切な固定ベクトルを初期偏位候補ベクトルに加えて動きベクトルを検出することができ、これにより簡易な構成により、動きが急変した場合にも対応して高い精度で動きベクトルを検出することができる。

また請求項２の構成により、請求項１の構成において、固定ベクトルは、動きベクトルを検出する被検出ブロックの中心から被検出ブロックに隣接するマクロブロックまでの長さに設定することにより、マクロブロックの大きさを単位とした処理により動きベクトル検出の処理を一段と簡易化することができる。

本発明によれば、初期偏位ベクトルを用いた勾配法等による動きベクトルの検出において、簡易な構成により、動きが急変した場合にも対応して高い精度で動きベクトルを検出することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例に係る動きベクトル検出装置を示すブロック図である。この動きベクトル検出装置１は、例えばフォーマット変換装置、ＭＰＥＧ（Moving Picture Experts Group）等による符号化装置、ノイズ軽減装置等に適用されて、ビデオ信号を構成する輝度信号Ｙから動きベクトルＶを検出して出力する。なお動きベクトルの検出においては、輝度信号Ｙを使用する場合に限らず、色差信号Ｒ−Ｙ、Ｂ−Ｙを使用することも可能である。

この動きベクトル検出装置１は、初期偏位ベクトルＶ１によっておおよその動きベクトルを検出し、この検出された動きベクトルを用いた勾配法により偏位ベクトルΔＶを検出して初期偏位ベクトルＶ１を補正することにより、動きベクトルＶを検出する。

すなわち動きベクトル検出装置１において、前置フィルタ２は、二次元のローパスフィルタであり、輝度信号Ｙを入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。また前置フィルタ２は、輝度信号Ｙがインターレース方式によるビデオ信号によるものの場合、いわゆる重心補正の処理を実行し、これにより連続するフィールド間で動きベクトルを検出する際に、フィールド間でラインが異なることによる動きベクトルの検出精度の劣化を防止するようになされている。なおこの前置フィルタ２はローパスフィルタに限らず、帯域通過フィルタを適用することもできる。

１フィールド遅延回路３は、この前置フィルタ２から輝度信号Ｙを入力し、１フィールドの期間だけ遅延させて出力する。

動きベクトル検出回路４は、動きベクトルを検出するマクロブロックに対して、このマクロブロックに隣接する周囲の８個のマクロブロックに対応する８系統の前フィールドに係る輝度信号Ｙ１を１フィールド遅延回路３から入力すると共に、これら８系統の輝度信号Ｙ１について、前置フィルタ２から出力される現フィールドの動きベクトル検出対象に係るマクロブロックの輝度信号Ｙとの間で、それぞれフィールド間差分値を計算してこのフィールド間差分値が最も小さなマクロブロックに係るベクトルを初期偏位候補ベクトルＭＶＢとして出力するようになされている。

初期偏位ベクトル選択回路５は、メモリ回路８に保持されてなる既に検出された動きベクトルＶから被検出ブロック周辺の初期偏位候補ベクトルＶＫ１〜ＶＫ８を入力すると共に、動きベクトル検出回路４から初期偏位候補ベクトルＭＶＢを入力し、これらの動きベクトルＶＫ１〜ＶＫ８、ＭＶＢより初期偏位ベクトルＶ１を選択して出力する。

勾配法演算回路６は、初期偏位ベクトル選択回路５から出力される初期偏位ベクトルＶ１を基準にして、勾配法により偏位ベクトルΔＶを検出する。すなわち勾配法演算回路６は、１フィールド遅延回路３から出力される輝度信号Ｙ１を初期偏位ベクトルＶ１により動き補正し、この動き補正した輝度信号と前置フィルタ２から出力される輝度信号Ｙとの間の勾配法による演算により、偏位ベクトルΔＶを検出する。

加算回路７は、この偏位ベクトルΔＶを初期偏位ベクトルＶ１に加算することにより初期偏位ベクトルＶ１を補正し、その結果を動きベクトルＶとして出力する。

メモリ回路８は、加算回路７から出力される動きベクトルＶを記録して保持する。またこの保持した動きベクトルＶより、勾配法演算回路６で偏位ベクトルΔＶの計算に供する動きベクトル検出対象のマクロブロックに対応して、この保持した動きベクトルＶを初期偏位候補ベクトルの一部として出力する。なおこの実施例では、前フィールド及び現フィールドの既検出の動きベクトルから、８種類の動きベクトルＶＫ１〜ＶＫ８を初期偏位候補ベクトルの一部として出力するようになされている。

図１は、動きベクトル検出回路４を示すブロック図である。動きベクトル検出回路４において、メモリ回路１４は、前置フィルタ２から出力される輝度信号Ｙを記録して保持し、この保持した輝度信号Ｙをマクロブロックに対応する大きさの領域単位で出力する。またメモリ回路１５は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１をマクロブロックに対応する大きさの領域単位で出力する。この処理において、メモリ回路１５は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、固定ベクトル発生回路１３から出力される固定ベクトルＭＶＢ１〜ＭＶＢ８の分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を固定ベクトルＭＶＢ１〜ＭＶＢ８でそれぞれ動き補正して出力する。

ここで固定ベクトル発生回路１３は、図３に示すように、動きベクトルを検出するマクロブロックＭＢ０から、このマクロブロックＭＢ０に隣接する周囲の各マクロブロックＭＢ１〜ＭＢ８までの８種類の異なる方向のベクトルを固定ベクトルＭＶＢ１〜ＭＶＢ８として出力するようになされている。これにより固定ベクトル発生回路１３は、水平方向及び垂直方向の大きさをそれぞれＶｘ及びＶｙとおいて、マクロブロックＭＢ１〜ＭＢ８に対応して、（Ｖｘ＝−８、Ｖｙ＝−８）、（Ｖｘ＝０、Ｖｙ＝−８）、（Ｖｘ＝８、Ｖｙ＝−８）、（Ｖｘ＝−８、Ｖｙ＝０）、（Ｖｘ＝８、Ｖｙ＝０）、（Ｖｘ＝−８、Ｖｙ＝８）、（Ｖｘ＝０、Ｖｙ＝８）、（Ｖｘ＝８、Ｖｙ＝８）による固定ベクトルＭＶＢ１〜ＭＶＢ８を出力するようになされている。またこれに対応してメモリ回路１５は、動きベクトルを検出するマクロブロックＭＢ０に対して、このマクロブロックＭＢ０に隣接する周囲の８個のマクロブロックＭＢ１〜ＭＢ８に対応する８系統の輝度信号Ｙ１を前フィールドより出力するようになされている。

差分演算回路１６は、この８系統の輝度信号Ｙ１について、メモリ回路１４から出力される動きベクトル検出対象に係るマクロブロックの輝度信号との間で、それぞれフィールド間差分値ＦＤＦ１〜ＦＤＦ８を計算して出力する。なおここでこの実施例において、このフィールド間差分値ＦＤＦ１〜ＦＤＦ８には、対応する画素間で画素値の差分値を計算し、この差分値の絶対値をマクロブロック毎に加算した差分絶対値和が適用されるようになされている。なおフィールド間差分値ＦＤＦ１〜ＦＤＦ８には、このような差分値の二乗和を適用するようにしてもよい。

比較回路１７は、これらフィールド間差分値ＦＤＦ１〜ＦＤＦ８の比較結果により、フィールド間差分値ＦＤＦ１〜ＦＤＦ８が最も小さくなる固定ベクトルを固定ベクトルＭＶＢ１〜ＭＶＢ８より選択して初期偏位候補ベクトルＭＶＢとして出力する。

メモリ回路１８は、この初期偏位候補ベクトルＭＶＢを一時記録し、初期偏位ベクトル選択回路５に出力する。

これらにより動きベクトル検出回路４は、動きベクトル検出対象のマクロブロックＭＢ０から、このマクロブロックＭＢ０に隣接するマクロブロックＭＢ１〜ＭＢ８に向かう方向が異なる固定長の８種類の固定ベクトルＭＶＢ１〜ＭＶＢ８から、最もフィールド間差分値が小さくなるベクトルをブロックマッチング法により検出して初期偏位候補ベクトルＭＶＢにより出力するようになされている。

また初期偏位ベクトル選択回路５においては、既検出に係る動きベクトルＶによる初期偏位候補ベクトルＶＫ１〜ＶＫ８と、この動きベクトル検出回路４による初期偏位候補ベクトルＭＶＢとから、初期偏位ベクトルＶ１を検出するようになされている。

すなわち、初期偏位ベクトル選択回路５は、前置フィルタ２から出力される輝度信号Ｙのマクロブロック単位で、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、それぞれ初期偏位候補ベクトルＶＫ１〜ＶＫ８、ＭＶＢの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を読み出し、これにより保持した輝度信号Ｙ１をそれぞれ初期偏位候補ベクトルＶＫ１〜ＶＫ８、ＭＶＢで動き補正する。またこの読み出した輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、それぞれ初期偏位候補ベクトルＶＫ１〜ＶＫ８、ＭＶＢ毎にフィールド間差分値を計算し、このフィールド間差分値が小さな初期偏位候補ベクトルを選択し、初期偏位ベクトルＶ１として出力する。なおこの初期偏位候補ベクトルＶＫ１〜ＶＫ８、ＭＶＢに係るフィールド間差分値にあっても、差分絶対値和が適用されるものの、差分値の二乗和を適用するようにしてもよい。

これらによりこの実施例において、固定ベクトル発生回路１３、メモリ１４、１５、差分演算回路１６は、方向が異なる複数の固定ベクトルによりそれぞれ動き補正して、フレーム間差分値又はフィールド間差分値を検出する差分値演算手段を構成し、比較回路１７は、差分値演算手段の演算結果に基づいて、固定ベクトルのうちフレーム間差分値又はフィールド間差分値が最小となる固定ベクトルを選択する選択手段を構成するようになされている。

（２）実施例の動作
以上の構成において、この動きベクトル検出装置１において、処理対象であるビデオ信号の輝度信号Ｙは（図２）、前置フィルタ２により周波数特性が補正された後、初期偏位ベクトル選択回路５で初期偏位ベクトルＶ１が検出され、この初期偏位ベクトルＶ１を用いた勾配法演算回路６における勾配法の処理により偏位ベクトルΔＶが検出される。輝度信号Ｙは、この偏位ベクトルΔＶが初期偏位ベクトルＶ１に加算されて動きベクトルＶが検出され、この動きベクトルＶがメモリ回路８に記録されると共に、例えばフィールド内挿等に適用される。

またメモリ回路８に記録された動きベクトルＶは、続く動きベクトル検出対象のマクロブロックに応じて、メモリ回路８から複数の動きベクトルＶＫ１〜ＶＫ８が初期偏位ベクトルＶ１の候補として初期偏位ベクトル選択回路５に供給され、この初期偏位ベクトル選択回路５において、それぞれ各動きベクトルＶＫ１〜ＶＫ８毎にフィールド間差分値が検出され、このフィールド間差分値が最も小さな動きベクトルが初期偏位ベクトルＶ１として選択される。

これによりこの動きベクトル検出装置１では、連続するフィールド間の相関を有効に利用して、動きが小さい場合に、高い検出精度により動きベクトルＶを検出することができる。しかしながらこのままでは、動きが急変した場合に、この動きに追従するように動きベクトルＶを検出できなくなり、動きベクトルＶを誤検出することになる。

すなわち勾配法による動きベクトルの検出においては、検出可能な動きベクトルの範囲が狭いことにより、例えば物体が急に動きを変化させた場合には、動きベクトルを誤検出することになり、動きに追従できるまでに数フィールド時間が必要となる。

これに対してブロックマッチング法は、連続するフィールド間の相関に無関係に動きベクトルを検出することにより、動きベクトルの探索範囲内であれば、動きが急激に変化した場合でも、１フィールド以内に動きを検出することができる。

しかしながらブロックマッチング法は、探索対象ブロック毎に現フィールドと前フィールドとのフィールド間差分値を計算して、この計算結果を全ての探索対象ブロックについて比較する必要があり、探索対象ブロックが多くなるとその分回路規模が増大することになる。

このためこの動きベクトル検出装置１においては、動きベクトル検出対象のマクロブロックＭＢ０から、このマクロブロックＭＢ０に隣接するマクロブロックＭＢ１〜ＭＢ８に向かう方向が異なる複数の固定ベクトルＭＶＢ１〜ＭＶＢ８から、最もフィールド間差分値が小さくなるベクトルがブロックマッチング法により選択されて初期偏位候補ベクトルに加えられる。

このように異なる方向の固定ベクトルＭＶＢ１〜ＭＶＢ８から初期偏位候補ベクトルＭＶＢを選択した場合には、動きベクトルの大きさについては、精度を欠くものの、例えば静止画像から動画像に動きが急激に変化した場合にあっては、既検出の動きベクトルＶＫ１〜ＶＫ８に比して動きを反映した精度の高いものとなる。

これにより動きが急変した場合には、初期偏位ベクトル選択回路５において固定ベクトルＭＶＢ１〜ＭＶＢ８から動きの方向を反映した固定ベクトルによる初期偏位候補ベクトルＭＶＢが選択されて勾配法演算回路６に出力される。これにより勾配法演算回路６では、動きの方向についてのみ適切な初期偏位ベクトルＶ１に基づいて勾配法により偏位ベクトルΔＶが検出される。勾配法による偏位ベクトルΔＶの検出処理においては、検出可能な動きベクトルの範囲は狭いものの検出精度が高いことにより、初期偏位ベクトルＶ１が動きの方向を反映していれば、勾配法により高精度で偏位ベクトルΔＶを検出することができる。

これらにより動きベクトル検出装置１では、勾配法による動きベクトル検出回路の構成に、異なる方向の固定ベクトルＭＶＢ１〜ＭＶＢ８から初期偏位候補ベクトルＭＶＢを選択する構成を付加するだけで動きを反映した初期偏位候補ベクトルＭＶＢを選択することができる。これにより従来に比して一段と簡易な構成により、動きの急変にも対応して、高い精度で動きベクトルを検出することができる。

（３）実施例の効果
以上の構成によれば、初期偏位ベクトルを用いた勾配法による動きベクトルの検出において、従来に比して一段と簡易な構成により、動きの急変にも対応して、高い精度で動きベクトルを検出することができる。

また固定ベクトルの長さを、動きベクトルを検出する被検出ブロックの中心から被検出ブロックに隣接するマクロブロックまでの長さに設定することにより、マクロブロックの大きさを単位とした処理により動きベクトル検出の処理を一段と簡易化することができる。

なお上述の実施例においては、異なる方向の８種類の固定ベクトルＭＶＢ１〜ＭＶＢ８によりブロックマッチング法に係る初期偏位候補ベクトルを選択する場合について述べたが、本発明はこれに限らず、方向が異なる固定ベクトルであれば他の種々の数の候補より初期偏位候補ベクトルを選択する場合に広く適用することができる。

また上述の実施例においては、フィールド間で動きベクトルを検出する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出するようにしてもよい。この場合、１フィールド遅延回路３に代えて１フレーム遅延回路を適用し、輝度信号Ｙを１フレーム遅延させるようにすればよい。

また上述の実施例においては、勾配法により偏位ベクトルを検出する場合について述べたが、本発明はこれに限らず、例えば位相相関法等、他の方法により偏位ベクトルを検出するようにしてもよい。

本発明は、動きベクトル検出装置に関し、例えばフォーマット変換装置に適用することができる。

本発明の実施例に係る動きベクトル検出装置の動きベクトル検出回路を示すブロック図である。 本発明の実施例に係る動きベクトル検出装置を示すブロック図である。 初期偏位候補ベクトルの選択処理の説明に供する略線図である。

符号の説明

１……動きベクトル検出装置、３……１フィールド遅延回路、４……動きベクトル検出回路、５……初期偏位ベクトル選択回路、６……勾配法演算回路、７……加算回路、８、１４、１５、１８……メモリ回路、１３……固定ベクトル発生回路、１６……差分演算回路、１７……比較回路

Claims (2)

1. 複数の初期偏位候補ベクトルから初期偏位ベクトルを選択し、前記初期偏位ベクトルを用いて偏位ベクトルを検出して前記初期偏位ベクトルを補正することにより、順次入力されるビデオ信号の動きベクトルを検出する動きベクトル検出装置において、
   方向が異なる複数の固定ベクトルによりそれぞれ動き補正して、フレーム間差分値又はフィールド間差分値を検出する差分値演算手段と、
   前記差分値演算手段の演算結果に基づいて、前記固定ベクトルのうち前記フレーム間差分値又はフィールド間差分値が最小となる固定ベクトルを選択する選択手段とを有し、
   前記選択手段により選択された前記固定ベクトルと既検出の動きベクトルとを前記初期偏位候補ベクトルに設定して前記動きベクトルを検出する
   ことを特徴とする動きベクトル検出装置。
2. 前記固定ベクトルは、
   前記動きベクトルを検出する被検出ブロックの中心から前記被検出ブロックに隣接するマクロブロックまでの長さに設定されてなる
   ことを特徴とする請求項１に記載の動きベクトル検出装置。
   
   

Images