JP3944806B2 - Motion vector detection method and apparatus - Google Patents

Description

【００３３】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置（ｑ，ｒ）でそれぞれ水平方向に２画素及び垂直方向に２ラインでなる対応するブロツク内の４画素の輝度データｄの平均値を算出するようにして求めることにより、これらトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分でなる階層画像（以下、これを第１の基本階層画像と呼ぶ）ＫＧ１を生成する。
【００３４】
またこの動きベクトル検出器１４は、図１２（Ａ）及び（Ｂ）に示すように、参照原画像上で第１の基本階層画像ＫＧ１に対する第１の探索領域ＴＲ１の位置を決定し、この第１の探索領域ＴＲ１のトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分Ｌｆ_(q,r) を次式
【００３５】
【数２】

【００３６】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置（ｑ，ｒ）でそれぞれ水平方向に２画素及び垂直方向に２ラインでなる対応するブロツク内の４画素の輝度データＤの平均値を算出するようにして求めることにより、これらトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分でなる階層画像（以下、これを第１の参照階層画像と呼ぶ）ＳＧ１を生成する。
【００３７】
因みに上述した（１）式及び（２）式では、変数ｆｉに「０」を代入することによりトツプフイールドｔｆの低域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの低域成分を求めることができる。
【００３８】
次いで動きベクトル検出器１４では、図１３に示すように、第１段階の動きベクトル検出処理において、第１の参照階層画像ＳＧ１内を第１の基本階層画像ＫＧ１によつてサーチしながら順次ブロツクマツチングする。
【００３９】
このとき動きベクトル検出器１４は、第１の基本階層画像ＫＧ１と、これに第１の参照階層画像ＳＧ１内で対応させた第１のブロツク階層画像ＢＫ１とにおいて、この第１の基本階層画像ＫＧ１のトツプフイールドｔｆに対する予測誤差ｂｄｔ１_(q,r) を次式
【００４０】
【数３】

【００４１】
で表されるように、当該第１の基本階層画像ＫＧ１のトツプフイールドｔｆの各低域成分と、第１のブロツク階層画像ＢＫ１のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【００４２】
また第１の基本階層画像ＫＧ１のボトムフイールドｂｆに対する予測誤差ｂｄｂ１_(q,r) を次式
【００４３】
【数４】

【００４４】
で表されるように、当該第１の基本階層画像ＫＧ１のボトムフイールドｂｆの各低域成分と、第１のブロツク階層画像ＢＫ１のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【００４５】
そして第１の基本階層画像ＫＧ１と第１のブロツク階層画像ＢＫ１とのフレーム間の予測誤差ｂｄｆ１_(q,r) を次式
【００４６】
【数５】

【００４７】
で表されるように、対応する予測誤差ｂｄｔ１_(q,r) 及び予測誤差ｂｄｂ１_(q,r) 同士を順次加算するようにして求め、当該求めた予測誤差ｂｄｆ１_(q,r) の値が最も最小となるときの第１のブロツク階層画像ＢＫ１を検出する。これによりこの動きベクトル検出器１４は、この検出した第１のブロツク階層画像ＢＫ１を第１の基本階層画像ＫＧ１と最も一致するものと判断し、これら第１のブロツク階層画像ＢＫ１と第１の基本階層画像ＫＧ１との間の動き量に基づいて２フレーム間の動きベクトルＭＶａ１を階層画像レベルで検出する。
【００４８】
続いてこの動きベクトル検出器１４は、図１４に示すように、第２段階の動きベクトル検出処理において、上述した第１段階の動きベクトル検出処理において検出した動きベクトル（以下、これを第１段階の動きベクトルと呼ぶ）ＭＶａ１に基づいて、参照原画像ＦＧ１上で第２の探索領域ＴＲ２の位置を決定する。
【００４９】
そしてこの動きベクトル検出器１４は、第２の探索領域ＴＲ２内をマクロブロツク画像ＭＧ１でサーチしながら順次ブロツクマツチングすることにより、当該マクロブロツク画像ＭＧ１とこれに第２の探索領域ＴＲ２内で対応させた第１のブロツク画像ＢＧ１とにおいて、このマクロブロツク画像ＭＧ１のトツプフイールドｔｆに対する予測誤差ＢＤｔ_(m,n) を次式
【００５０】
【数６】

【００５１】
で表されるように、当該マクロブロツク画像ＭＧ１のトツプフイールドｔｆの各画素位置（ｉ，ｊ）の輝度データｄと、第１のブロツク画像ＢＧ１のそれぞれ対応させた画素位置（ｍ，ｎ）の輝度データＤとの差分の絶対値の総和を算出するようにして求める。
【００５２】
またこのマクロブロツク画像ＭＧ１のボトムフイールドｂｆに対する予測誤差ＢＤｂ_(m,n) を次式
【００５３】
【数７】

【００５４】
で表されるように、当該マクロブロツク画像ＭＧ１のボトムフイールドｂｆの各画素位置（ｉ，ｊ）の輝度データｄと、第１のブロツク画像ＢＧ１のそれぞれ対応させた画素位置（ｍ，ｎ）の輝度データＤとの差分の絶対値の総和を算出するようにして求める。
【００５５】
そしてマクロブロツク画像ＭＧと第１のブロツク画像ＢＧ１とのフレーム間の予測誤差ＢＤｆ_(m,n) を次式
【００５６】
【数８】

【００５７】
で表されるように、対応する予測誤差ＢＤｔ_(m,n) 及び予測誤差ＢＤｂ_(m,n) 同士を順次加算するようにして求め、当該求めた予測誤差ＢＤｆ_(m,n) の値が最も最小となるときの第１のブロツク画像ＢＧ１を検出する。これによりこの動きベクトル検出器１４は、検出した第１のブロツク画像ＢＧ１をマクロブロツク画像ＭＧ１と最も一致するものと判断し、これら第１のブロツク画像ＢＧ１とマクロブロツク画像ＭＧ１との間の動き量に基づいて原画像レベルで第１段階の動きベクトルＭＶａ１を補正するような動きベクトルＭＶａ２を検出する。
【００５８】
かくしてこの動きベクトル検出器１４は、次式
【００５９】
【数９】

【００６０】
で表されるように、階層画像を生成する際に欠落した画素を補うように第１段階の動きベクトルＭＶａ１を２倍にし、これに第２段階の動きベクトル検出処理において検出した動きベクトル（以下、これを第２段階の動きベクトルと呼ぶ）ＭＶａ２を加算することによりマクロブロツク画像ＭＧ１の最終的な２フレーム間の動きベクトルＭＶａ３を検出する。
【００６１】
ところで、一般的に動きベクトルを検出するためには予測誤差の演算量が膨大になるにもかかわらずに、上述したような動きベクトル検出処理では、階層的に動きベクトルを検出することから、第１の探索領域ＴＲ１の大きさを比較的小さくすることができると共に、第２の探索領域ＴＲ２の大きさも第１段階の動きベクトルＭＶａ１に基づいて決定することにより比較的小さくすることができ、これにより予測誤差の演算量を大幅に削減できる利点がある。
【００６２】
ところがこの動きベクトル検出処理では、動きベクトル検出対象のマクロブロツク画像ＭＧ１の動き量が比較的大きいと、当該マクロブロツク画像ＭＧ１から生成した第１の基本階層画像ＫＧ１と最も一致するブロツク階層画像ＢＫ１がその第１の探索領域ＴＲ１を越えて位置してしまい、第１段階の動きベクトルＭＶａ１を的確に検出し難くなる問題があつた。すなわちこの動きベクトル検出器１４では、マクロブロツク画像ＭＧ１の動き量が比較的大きいと最終的な動きベクトルＭＶａ３の検出精度が大幅に低下する問題があつた。
【００６３】
本発明は以上の点を考慮してなされたもので、単位ブロツクの動き量に係わらずに動きベクトルを的確に検出し得る動きベクトル検出方法及び装置を提案しようとするものである。
【００６４】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、符号化対象の映像データから分割された所定の単位ブロツクの所望階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出方法において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、隣接するフレーム間で、所望階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１のステツプと、当該第１のステツプにおいて検出したフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する第２のステツプと、当該第２のステツプにおいて決定した探索領域に基づいて所望階層における第３及び第２のフレーム間の動きベクトルを検出する第３のステツプと、第１のステツプにおいて検出した所望階層よりも下層における全てのフイールド間の動きベクトルと、第３のステツプにおいて検出した所望階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの所望階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第４のステツプとを設けるようにした。
【００６５】
この結果、第１のステツプにおいて検出した所望階層よりも下層におけるフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定することから、単位ブロツクの動き量が比較的大きい場合でも所望階層における第３及び第２のフレーム間の動きベクトルを的確に検出することができる。
【００６６】
また本発明においては、符号化対象の映像データから分割された所定の単位ブロツクの所望階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出装置において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、隣接するフレーム間で、所望階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１の動きベクトル検出手段と、当該第１の動きベクトル検出手段により検出されたフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段と、当該決定手段により決定された探索領域に基づいて所望階層における第３及び第２のフレーム間の動きベクトルを検出する第２の動きベクトル検出手段と、第１の動きベクトル検出手段により検出された所望階層よりも下層における全てのフイールド間の動きベクトルと、第２の動きベクトル検出手段により検出された所望階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの所望階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第３の動きベクトル検出手段とを設けるようにした。
【００６７】
この結果、第１の動きベクトル検出手段によつて検出した所望階層よりも下層におけるフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定することから、単位ブロツクの動き量が比較的大きい場合でも所望階層における第３及び第２のフレーム間の動きベクトルを的確に検出することができる。
【００７２】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００７３】
（１）本実施の形態による符号化装置の構成
図９との対応部分に同一符号を付して示す図１において、２０は全体として本実施の形態による符号化装置を示し、動きベクトル検出器２１の構成を除いて従来の符号化装置１と同様に構成されている。
【００７４】
この符号化装置２０において動きベクトル検出器２１は、入力処理部２から与えられる第１及び第２のマクロブロツクデータＤ１及びＤ４を参照データとして用い、動きベクトル検出対象の第２のマクロブロツクデータＤ４の動き量に応じた階層的な動きベクトル検出処理を実行することにより、当該第２のマクロブロツクデータＤ４の動き量が比較的大きい場合でも動きベクトルを的確に検出し得るようになされている。
【００７５】
この場合図２に示すように、動きベクトル検出回路２１においては、全体がＣＰＵ２２によつて制御されており、まず第１の符号化処理モード時、第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続する。
【００７６】
この状態において入力処理部２から順次出力される第１のマクロブロツクデータＤ１は、フレームメモリ構成でなる原画像メモリ２５に供給されると共に、第３の切換え器２３を介して階層画像生成器２６に供給される。
【００７７】
このとき原画像メモリ２５は、第１のアドレス生成器２７からアドレス情報が与えられており、これにより入力処理部２から順次与えられる第１のマクロブロツクデータＤ１をアドレス情報によつて指定されたアドレス位置に書き込み、第１のフレームデータを再構成する。
【００７８】
また階層画像生成器２６は、入力処理部２から与えられる第１のマクロブロツクデータＤ１に基づいてその低域成分及び高域成分でなる参照階層ブロツクデータＤ１０を生成してこれを第４の切換え器２４を介してフレームメモリ構成でなる階層画像メモリ２８に送出する。
【００７９】
階層画像メモリ２８は、このとき第２のアドレス生成器２９からアドレス情報が与えられており、これにより階層画像生成器２６から順次与えられる参照階層ブロツクデータＤ１０をアドレス情報によつて指定されたアドレス位置に書き込む。
【００８０】
またこの動きベクトル検出器２１では、第２の符号化処理モード時、第３及び第４の切換え器２３及び２４のスイツチを第１の接点Ａに接続したままの状態において、入力処理部２から第２のマクロブロツクデータＤ４が原画像メモリ２５に供給されると共に、第３の切換え器２３を介して階層画像生成器２６に供給される。
【００８１】
原画像メモリ２５は、入力処理部２から与えられる第２のマクロブロツクデータＤ４を、第１のアドレス生成器２７から与えられるアドレス情報によつて指定されたアドレス位置に書き込む。
【００８２】
階層画像生成器２６は、上述した参照階層ブロツクデータＤ１０の生成時と同様にして、入力処理部２から与えられる第２のマクロブロツクデータＤ４に基づいてその低域成分及び高域成分でなる参照階層ブロツクデータＤ１０を生成し、これを第４の切換え器２４を介して階層画像メモリ２８に送出する。
【００８３】
これにより階層画像メモリ２８は、階層画像生成器２６から与えられる参照階層ブロツクデータＤ１０を第２のアドレス生成器２９から与えられるアドレス情報によつて指定されたアドレス位置に書き込む。
【００８４】
そしてこの動きベクトル検出器２１では、入力処理部２から与えられる１つの第２のマクロブロツクデータＤ４に対して上述した処理が終了すると、第２の符号化処理モードから第１の動きベクトル検出処理モードに移つて第１段階の動きベクトル検出処理を開始し、第３及び第４の切換え器２３及び２４のスイツチを第２の接点Ｂに接続する。
【００８５】
この状態において原画像メモリ２５は、第２の符号化処理モード時に格納した第２のマクロブロツクデータＤ４を第１のアドレス生成器２７から与えられるアドレス情報に基づいて読み出し、当該読み出した第２のマクロブロツクデータＤ４を動きベクトル検出対象として原画像予測誤差演算器３０に送出すると共に第３の切換え器２３を介して階層画像生成器２６に送出する。
【００８６】
階層画像生成器２６は、原画像メモリ２５から与えられる第２のマクロブロツクデータＤ４に基づいてその低域成分及び高域成分でなる基本階層ブロツクデータＤ１１を生成してこれを第４の切換え器２４を介して階層画像予測誤差演算器３１に送出する。
【００８７】
このとき第２のアドレス生成器２９には、ＣＰＵ２２から第２のマクロブロツクデータＤ４に基づくマクロブロツク画像の原画像上での位置情報が与えられると共に、前方向又は後方向のいずれの動き補償フレーム間予測を実行するのかを表す予測方向情報が与えられる。
【００８８】
これにより第２のアドレス生成器２９は、この位置情報及び予測方向情報に基づいて、動きベクトル検出対象の第２のマクロブロツクデータＤ４よりも時間的に例えば１フレーム過去の１フレーム分の各参照階層ブロツクデータＤ１０に基づく画像（以下、これを第２の参照階層画像と呼ぶ）上で第３の探索領域の大きさ及び位置を決定し、当該第３の探索領域内に位置する参照階層ブロツクデータＤ１０を選定する。そしてその選定した参照階層ブロツクデータＤ１０に対するアドレス情報を生成してこれを階層画像メモリ２８に送出する。
【００８９】
これにより階層画像メモリ２８は、第２のアドレス生成器２９から与えられるアドレス情報に基づいて、指定されたアドレス位置に書き込まれている参照階層ブロツクデータＤ１０を第１の参照ブロツクデータＤ１２として読み出して階層画像予測誤差演算器３１に送出する。
【００９０】
そして階層画像予測誤差演算器３１は、階層画像生成器２６から与えられた基本階層ブロツクデータＤ１１からその低域成分のみを取り出し、当該取り出した低域成分と、階層画像メモリ２８から与えられた第１の参照ブロツクデータＤ１２とに基づいてブロツクマツチングすることにより最下層における隣接するフレーム間の対応するフイールド間の動きベクトルを第１段階の動きベクトルとして検出し、これを第１の動きベクトルデータＤ１３として第２のアドレス生成器２９及び原画像予測誤差演算器３０並びに選定処理器３２に送出する。
【００９１】
このようにして動きベクトル検出器２１では、第１段階の動きベクトルを検出すると、第１の動きベクトル検出処理モードから第２の動きベクトル検出処理モードに移り、第２段階の動きベクトル検出処理を開始する。
【００９２】
このとき選定処理器３２は、階層画像予測誤差演算器３１から与えられた第１の動きベクトルデータＤ１３に基づいて得られる第１段階の動きベクトルの大きさが予め設定された所定の比較値よりも大きいか否かを判断し、この判断結果に応じて、第１段階の動きベクトルの大きさに応じて予め設定された２種類の第２段階の動きベクトル検出処理内容のうち対応する処理内容を指定する選定結果情報を第２のアドレス生成器２９及び階層画像予測誤差演算器３１に送出する。
【００９３】
この場合第２のアドレス生成器２９は、選定処理器３２から与えられる選定結果情報に基づいて第１段階の動きベクトルが比較的小さい場合に応じた動きベクトル検出処理内容が指定されたときには、階層画像予測誤差演算器３１から与えられる第１の動きベクトルデータＤ１３に基づいて、第２の参照階層画像よりも時間的にさらに例えば１フレーム過去の１フレーム分の各参照階層ブロツクデータＤ１０に基づく画像（以下、これを第３の参照階層画像と呼ぶ）上で予め設定された領域の比較的狭い第４の探索領域の位置を決定する。
【００９４】
これに対して第２のアドレス生成器２９は、選定結果情報に基づいて第１段階の動きベクトルが比較的大きい場合に応じた動きベクトル検出処理内容が指定されたときには、当該第１の動きベクトルデータＤ１３に基づいて第３の参照階層画像の低域成分でなる画像（以下、これを第４の参照階層画像と呼ぶ）上で予め設定された領域の比較的広い第５の探索領域の位置を決定する。
【００９５】
そして第２のアドレス生成器２９は、決定した第４又は第５の探索領域内に位置する参照階層ブロツクデータＤ１０を選定し、この選定した参照階層ブロツクデータＤ１０に対するアドレス情報を生成してこれを階層画像メモリ２８に送出する。
【００９６】
これにより階層画像メモリ２８は、第２のアドレス生成器２９から与えられるアドレス情報に基づいて指定されたアドレス位置に書き込まれている参照階層ブロツクデータＤ１０を第２の参照ブロツクデータＤ１４として読み出して階層画像予測誤差演算器３１に送出する。
【００９７】
階層画像予測誤差演算器３１は、基本階層ブロツクデータＤ１１と、階層画像メモリ２８から与えられた第２の参照ブロツクデータＤ１４とに基づいてブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の動きベクトルを第２段階の動きベクトルとして検出し、これを第２の動きベクトルデータＤ１５として第１のアドレス生成器２７及び原画像予測誤差演算器３０に送出する。
【００９８】
続いてこの動きベクトル検出器２１では、第２段階の動きベクトルを検出すると、第２の動きベクトル検出処理モードから第３の動きベクトル検出処理モードに移つて第３段階の動きベクトル検出処理を開始する。
【００９９】
このとき第１のアドレス生成器２７は、階層画像予測誤差演算器３１から与えられる第２の動きベクトルデータＤ１５に基づいて、第３の参照階層画像に対応する（動きベクトル検出対象の第２のマクロブロツクデータＤ４よりも時間的に２フレーム分離れている）参照原画像上で第６の探索領域の大きさ及び位置を決定し、当該第６の探索領域内に位置する第１又は第２のマクロブロツクデータＤ１又はＤ４を選定する。そしてこの選定した第１又は第２のマクロブロツクデータＤ１又はＤ４に対するアドレス情報を生成してこれを原画像メモリ２５に送出する。
【０１００】
これにより原画像メモリ２５は、第１のアドレス生成器２７から与えられるアドレス情報に基づいて指定されたアドレス位置に書き込まれている第１又は第２のマクロブロツクデータＤ１又はＤ４を第３の参照ブロツクデータＤ１６として読み出して原画像予測誤差演算器３０に送出する。
【０１０１】
原画像予測誤差演算器３０は、第２のマクロブロツクデータＤ４と、第３の参照ブロツクデータＤ１６とに基づいてブロツクマツチングすることにより原画像レベルにおける第２段階の動きベクトルを補正するような第３段階の動きベクトルを検出する。
【０１０２】
そして原画像予測誤差演算器３０は、階層画像予測誤差演算器３１から与えられた第１段階及び第２段階の動きベクトルと、第３段階の動きベクトルとに基づいて第２のマクロブロツクデータＤ４の最終的な２フレーム間の動きベクトルを検出し、これを動きベクトルデータＤ１７として動き補償器１６及び可変長符号化器８に送出する。
【０１０３】
かくしてこの動きベクトル検出器２１においては、動きベクトル検出対象の第２のマクロブロツクデータＤ４の最終的な２フレーム間の動きベクトルを検出すると、第３の動きベクトル検出処理モードから再び第２の符号化処理モードに移つて第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続し、この状態において入力処理部２から１つの第２のマクロブロツクデータＤ４が与えられる。
【０１０４】
そしてこの動きベクトル検出器２１では、この後入力処理部２から１つの第２のマクロブロツクデータＤ４が与えられる毎に上述した第２の符号化処理モードから第３の動きベクトル検出処理モードまでの動きベクトル検出処理を順次繰り返し、かくして第２のマクロブロツクデータＤ４の動き量に応じて動きベクトルを検出する。
【０１０５】
（２）動きベクトル検出処理
実際上この動きベクトル検出器２１では、第１の動きベクトル検出処理モード時に、階層画像生成器２６により動きベクトル検出対象の第２のマクロブロツクデータＤ４のトツプフイールド及びボトムフイールドのデータからそれぞれ低域成分と高域成分とを取り出すようにして基本階層ブロツクデータＤ１１を生成する。
【０１０６】
すなわち階層画像生成器２６は、図３（Ａ）〜（Ｃ）に示すように、第２のマクロブロツクデータＤ４に基づくマクロブロツク画像ＭＧ２上でトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分ｌｆ’_(q,r) を次式
【０１０７】
【数１０】

【０１０８】
で表されるように、フイールド毎に水平方向に４画素おき及び垂直方向に４ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度データｄの平均値を算出するようにして求めると共に、マクロブロツク画像ＭＧ２上でトツプフイールドｔｆ及びボトムフイールドｂｆの高域成分ａｆ’_(q,r) を次式
【０１０９】
【数１１】

【０１１０】
で表されるように、フイールド毎に水平方向に４画素おき及び垂直方向に４ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度データｄの平均値を算出し、その平均値と当該ブロツク内の各画素の輝度データｄとの差分の絶対値の平均値を算出するようにして求めることにより、水平方向に４画素及び垂直方向に４ラインの低域成分（図３（Ｂ））と、水平方向に４画素及び垂直方向に４ラインの高域成分（図３（Ｃ））とからなる基本階層ブロツクデータＤ１１を生成する。
【０１１１】
因みにこの階層画像生成器２６は、第１及び第２の符号化処理モード時に参照用の第１又は第２のマクロブロツクデータＤ１又はＤ４のトツプフイールド及びボトムフイールドのデータからもそれぞれ低域成分と高域成分とを取り出すようにして参照階層ブロツクデータＤ１０を生成する。
【０１１２】
すなわち階層画像生成器２６は、図４（Ａ）〜（Ｃ）に示すように、参照用の第１又は第２のマクロブロツクデータＤ１又はＤ４に基づくマクロブロツク画像ＭＧ３上でトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分Ｌｆ’_(q,r) を次式
【０１１３】
【数１２】

【０１１４】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度データＤの平均値を算出するようにして求めると共に、マクロブロツク画像ＭＧ３上でトツプフイールドｔｆ及びボトムフイールドｂｆの高域成分Ａｆ’_(q,r) を次式
【０１１５】
【数１３】

【０１１６】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度データＤの平均値を算出し、その平均値と当該ブロツク内の各画素の輝度データＤとの差分の絶対値の平均値を算出するようにして求めることにより、水平方向に８画素及び垂直方向に８ラインの低域成分（図４（Ｂ））と、水平方向に８画素及び垂直方向に８ラインの高域成分（図４（Ｃ））とからなる参照階層ブロツクデータＤ１０を生成する。
【０１１７】
因みに上述した（10）式及び（12）式では、変数ｆｉに「０」を代入することによりトツプフイールドｔｆの低域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの低域成分を求めることができる。また上述した（11）式及び（13）式では、変数ｆｉに「０」を代入することによりトツプフイールドｔｆの高域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの高域成分を求めることができる。
【０１１８】
そしてこの動きベクトル検出器２１において第１の動きベクトル検出処理モード時、図５に示すように、第２のアドレス生成器２９は、位置情報及び予測方向情報に基づいて、第２の参照階層画像ＳＧ２上で、基本階層ブロツクデータＤ１１のトツプフイールドｔｆの低域成分に基づく画像（以下、これを第２の基本階層画像と呼ぶ）ＫＧ２の所定の１つの角ｗ１と対応する位置を中心とした例えば水平方向Ｓｘに±８画素及び垂直方向Ｓｙに±８ラインでなる第３の探索領域ＴＲ３を決定する。
【０１１９】
これにより階層画像予測誤差演算器３１は、第３の探索領域ＴＲ３内を第２の基本階層画像ＫＧ２によつてサーチしながら順次ブロツクマツチングすることにより、当該第２の基本階層画像ＫＧ２と、これに第３の探索領域ＴＲ３内で対応させた第２のブロツク階層画像ＢＫ２との（トツプフイールドｔｆに対する）予測誤差ｂｄｔ２_(q,r) を次式
【０１２０】
【数１４】

【０１２１】
で表されるように、この第２の基本階層画像ＫＧ２内の各低域成分と、ブロツク階層画像ＢＫ２内のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【０１２２】
これにより階層画像予測誤差演算器３１は、順次求めた予測誤差ｂｄｔ２_(q,r) が最小となるときの第２のブロツク階層画像ＢＫ２を検出し、当該検出した第２のブロツク階層画像ＢＫ２と、第２の基本階層画像ＫＧ２との間の動き量に基づいて、最下層における隣接するフレーム間の対応するフイールド間の第１段階の動きベクトルＭＶｂ１を比較的粗く検出する。
【０１２３】
次いで動きベクトル検出器２１において第２の動きベクトル検出処理モード時、選定処理器３２は、例えば第３の探索領域ＴＲ３の水平方向の画素数（例えば±８画素）を所定の比較値とするように予め設定されており、当該比較値と第１段階の動きベクトルＭＶｂ１のｘ成分の絶対値とを比較する。
【０１２４】
すなわちこの選定処理器３２は、次式
【０１２５】
【数１５】

【０１２６】
で表されるように、第１段階の動きベクトルＭＶｂ１のｘ成分ｍｘの絶対値と、比較値Ｓｘｔとを比較した結果、当該第１段階の動きベクトルＭＶｂ１のｘ成分ｍｘの絶対値が比較値Ｓｘｔよりも小さいときには、マクロブロツク画像ＭＧ２の動き量が比較的小さいと判断し、この判断結果に応じて、予め設定された領域の大きさの異なる第４の探索領域（領域が狭い）と第５の探索領域（領域が広い）とのうち領域の狭い第４の探索領域を選定すると共に、当該判断結果に応じた動きベクトルの検出処理内容を選定する。
【０１２７】
これに対してこの選定処理器３２は、次式
【０１２８】
【数１６】

【０１２９】
で表されるように、第１段階の動きベクトルＭＶｂ１のｘ成分ｍｘの絶対値と、比較値Ｓｘｔとを比較した結果、当該第１段階の動きベクトルＭＶｂ１のｘ成分ｍｘの絶対値が比較値Ｓｘｔ以上のときには、マクロブロツク画像ＭＧ２の動き量が比較的大きいと判断し、この判断結果に応じて第４の探索領域と第５の探索領域とのうち領域の広い第５の探索領域を選定すると共に、当該判断結果に応じた動きベクトル検出処理内容を選定する。
【０１３０】
ここでまず選定処理器３２が第４の探索領域を選定した場合、図６に示すように、第２のアドレス生成器２９は、選定結果情報に基づいて、第３の参照階層画像ＳＧ３上で第１段階の動きベクトルＭＶｂ１の終点ｗ２と対応する位置に例えば水平方向Ｓｘに±８画素及び垂直方向Ｓｙに±８ラインでなる（第３の探索領域ＴＲ３と同じ大きさでなる）第４の探索領域ＴＲ４の中心位置を重ねるようにして当該第４の探索領域ＴＲ４の位置を決定する。
【０１３１】
これにより階層画像予測誤差演算器３１は、選定された処理内容に応じて、第４の探索領域ＴＲ４内を基本階層ブロツクデータＤ１１に基づく画像（以下、これを第３の基本階層画像と呼ぶ）ＫＧ３によつてサーチしながら順次ブロツクマツチングすることにより、当該第３の基本階層画像ＫＧ３と、これに第４の探索領域ＴＲ４内で対応させた第３のブロツク階層画像ＢＫ３とにおいて、この第３の基本階層画像ＫＧ３のトツプフイールドｔｆに対する予測誤差ｂｄｔ３_(q,r) を次式
【０１３２】
【数１７】

【０１３３】
で表されるように、第３の基本階層画像ＫＧ３のトツプフイールドｔｆの各低域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和と、当該第３の基本階層画像ＫＧ３のトツプフイールドｔｆの各高域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた高域成分との差分の絶対値の総和とを加算するようにして求める。
【０１３４】
また第３の基本階層画像ＫＧ３のボトムフイールドｂｆに対する予測誤差ｂｄｂ３_(q,r) を次式
【０１３５】
【数１８】

【０１３６】
で表されるように、この第３の基本階層画像ＫＧ３のボトムフイールドｂｆの各低域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和と、当該第３の基本階層画像ＫＧ３のボトムフイールドｂｆの各高域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた高域成分との差分の絶対値の総和とを加算するようにして求める。
【０１３７】
そして第１の基本階層画像ＫＧ３とこれに対応させた第３のブロツク階層画像ＢＫ３とのフレーム間の予測誤差ｂｄｆ３_(q,r) を次式
【０１３８】
【数１９】

【０１３９】
で表されるように、対応する予測誤差ｂｄｔ３_(q,r) 及び予測誤差ｂｄｂ３_(q,r) 同士を順次加算するようにして求め、当該求めた予測誤差ｂｄｆ３_(q,r) が最小となるときの第３のブロツク階層画像ＢＫ３を検出する。
【０１４０】
これによりこの階層画像予測誤差演算器３１は、検出した第３のブロツク階層画像ＢＫ３と第３の基本階層画像ＫＧ３との間の動き量に基づいて、最下層よりも上層における隣接するフレーム間（第２及び第３の参照階層画像ＳＧ２及びＳＧ３間）の第２段階の動きベクトルＭＶｂ２１を第１段階の動きベクトルＭＶｂ１よりも検出精度を向上させて検出する。
【０１４１】
これに対して選定処理器３２が第５の探索領域を選定した場合、図７に示すように、第２のアドレス生成器２９は、選定結果情報に基づいて、第３の参照階層画像ＳＧ３の低域成分のみでなる第４の参照階層画像ＳＧ４上で第１段階の動きベクトルＭＶｂ１の終点ｗ２に対応する位置に例えば水平方向２Ｓｘに±16画素及び垂直方向Ｓｙに±８ラインでなる（第３の探索領域ＴＲ３の水平方向Ｓｘを２倍にした大きさでなる）第５の探索領域ＴＲ５の中心位置を重ねるようにして当該第５の探索領域ＴＲ５の位置を決定する。
【０１４２】
この場合階層画像予測誤差演算器３１は、選定された処理内容に応じて第５の探索領域ＴＲ５内を、第３の基本階層画像ＫＧ３の低域成分のみでなる画像（以下、これを第４の基本階層画像と呼ぶ）ＫＧ４によつてサーチしながら順次ブロツクマツチングする。
【０１４３】
これにより階層画像予測誤差演算器３１は、このとき第４の基本階層画像ＫＧ４と、これに第５の探索領域ＴＲ５内で対応させた第４のブロツク階層画像ＢＫ４とにおいて、当該第４の基本階層画像ＫＧ４のトツプフイールドｔｆに対する予測誤差ｂｄｔ４_(q,r) を次式
【０１４４】
【数２０】

【０１４５】
で表されるように、第４の基本階層画像ＫＧ４のトツプフイールドｔｆの各低域成分と、第４のブロツク階層画像ＢＫ４のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【０１４６】
また第４の基本階層画像ＫＧ４のボトムフイールドｂｆに対する予測誤差ｂｄｂ４_(q,r) を次式
【０１４７】
【数２１】

【０１４８】
で表されるように、第４の基本階層画像ＫＧ４のボトムフイールドｂｆの各低域成分と、第４のブロツク階層画像ＢＫ４のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【０１４９】
そして第４の基本階層画像ＫＧ４と第４のブロツク階層画像ＢＫ４とのフレーム間の予測誤差ｂｄｆ４_(q,r) を次式
【０１５０】
【数２２】

【０１５１】
で表されるように、対応する予測誤差ｂｄｔ４_(q,r) 及び予測誤差ｂｄｂ４_(q,r) 同士を順次加算するようにして求め、当該求めた予測誤差ｂｄｆ４_(q,r) が最小となるときの第４のブロツク階層画像ＢＫ４を検出し、当該検出した第４のブロツク階層画像ＢＫ４と第４の基本階層画像ＫＧ４との間の動き量に基づいて最下層よりも上層における隣接するフレーム間の第２段階の動きベクトルＭＶｂ２２を第１段階の動きベクトルＭＶｂ１よりも検出精度を向上させ、かつ第２段階の動きベクトルＭＶｂ２１よりも検出精度をわずかに下げて検出する。
【０１５２】
このようにして第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔよりも小さいときには、領域の比較的狭い第４の探索領域ＴＲ４内を低域成分及び高域成分でなる第３の基本階層画像ＫＧ３によつてサーチしながら順次ブロツクマツチングするようにして第２段階の動きベクトルＭＶｂ２１を比較的高精度に検出し、また第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔ以上のときには、領域の比較的広い第５の探索領域ＴＲ５内を低域成分のみでなる第４の基本階層画像ＫＧ４によつてサーチしながら順次ブロツクマツチングするようにして第２段階の動きベクトルＭＶｂ２２をある程度精度を低下させて検出する。
【０１５３】
このようにしてこの動きベクトル検出器２１は、第１段階の動きベクトルＭＶｂ１の大きさに応じて処理内容が変わつても、予測誤差の演算量をほぼ同等にして第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２を検出し得るようになされている。
【０１５４】
続いてこの動きベクトル検出器２１において第３の動きベクトル検出処理モード時、図８に示すように、第１のアドレス生成器２７は、動きベクトル検出対象の第２のマクロブロツクデータＤ４に対応する原画像ＦＧ２よりも時間的に例えば２フレーム過去の参照原画像ＦＧ３上で、先に検出した第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２のいずれか一方の終点ｗ３と対応する位置を中心として、参照階層ブロツクデータＤ１０を生成する際に欠落した画素を補うように例えば水平方向に±１画素及び垂直方向に±１ラインでなる第６の探索領域ＴＲ６を決定する。
【０１５５】
これにより原画像予測誤差演算器３０は、第６の探索領域ＴＲ６内を動きベクトル検出対象の第２のマクロブロツクデータＤ４に基づくマクロブロツク画像ＭＧ２によつてサーチしながら順次ブロツクマツチングすることにより、上述した（６）式、（７）式及び（８）式を用いて当該マクロブロツク画像ＭＧ２に第６の探索領域ＴＲ６内で順次対応させた第２のブロツク画像ＢＧ２のうち、このマクロブロツク画像ＭＧ２と最も一致する第２のブロツク画像ＢＧ２を検出し、当該検出した第２のブロツク画像ＢＧ２とマクロブロツク画像ＭＧ２との間の動き量に基づいて原画像レベルで第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２を補正するような第３段階の動きベクトルＭＶｂ３を検出する。
【０１５６】
そして原画像予測誤差演算器３０は、マクロブロツク画像ＭＧ２の動き量が比較的小さいために上述した第２段階の動きベクトル検出処理において、第２段階の動きベクトルＭＶｂ２１を検出している場合、次式
【０１５７】
【数２３】

【０１５８】
で表されるように、階層画像を生成する際に欠落した画素を補うように、第１段階の動きベクトルＭＶｂ１と第２段階の動きベクトルＭＶｂ２１との加算結果を２倍にし、これに第３段階の動きベクトルＭＶｂ３を加算することにより当該マクロブロツク画像ＭＧ２の最終的な２フレーム間の動きベクトルＭＶＢ１を検出する。
【０１５９】
またマクロブロツク画像ＭＧ２の動き量が比較的大きいために上述した第２段階の動きベクトル検出処理において、第２段階の動きベクトルＭＶｂ２２を検出している場合には、次式
【０１６０】
【数２４】

【０１６１】
で表されるように、階層画像を生成する際に欠落した画素を補うように、第１段階の動きベクトルＭＶｂ１と第２段階の動きベクトルＭＶｂ２２との加算結果を２倍にし、これに第３段階の動きベクトルＭＶｂ３を加算することにより当該マクロブロツク画像ＭＧ２の最終的な２フレーム間の動きベクトルＭＶＢ２を検出する。
【０１６２】
かくしてこの動きベクトル検出器２１では、マクロブロツク画像ＭＧ２の動き量の大きさに応じて第２の動きベクトル検出処理モードの処理内容を換えることにより、当該マクロブロツク画像ＭＧ２の動き量が比較的大きい場合でも最終的な動きベクトルを的確に検出し得るようになされている。
【０１６３】
なおこの実施の形態の場合、動きベクトル検出器２１では、Ｂピクチヤが割り当てられた第２のマクロブロツクデータＤ４の動きベクトルを検出するとき、前方向又は後方向のいずれか一方の動きベクトル検出処理によつて検出した第１段階の動きベクトルに基づいて第４又は第５の探索領域ＴＲ４又はＴＲ５のいずれか一方を選定するようになされており、これによりＢピクチヤが割り当てられた第２のマクロブロツクデータＤ４の動きベクトルを検出するときの予測誤差の演算量が増大することを防止し得るようになされている。
【０１６４】
またこの実施の形態の場合、動きベクトル検出器２１では、Ｂピクチヤが割り当てられた第２のマクロブロツクデータＤ４を参照用として用いる際に、動きベクトル検出処理の第１段階でのみ用いることから、当該Ｂピクチヤが割り当てられた第２のマクロブロツクデータＤ４からはトツプフイールドｔｆのデータの低域成分のみでなる参照階層ブロツクデータを生成するようになされており、これにより参照階層ブロツクデータを格納する階層画像メモリ２８の記憶容量を低減化している。
【０１６５】
（３）本実施の形態の動作及び効果
以上の構成において、この符号化装置２０の動きベクトル検出器２１では、第１の動きベクトル検出処理モード時に第２の参照階層画像ＳＧ２上で第３の探索領域ＴＲ３の大きさ及び位置を決定し、当該第３の探索領域ＴＲ３内を第２の基本階層画像ＫＧ２によつてサーチしながら順次ブロツクマツチングすることにより最下層の隣接するフレーム間におけるフイールド間の第１段階の動きベクトルＭＶｂ１を比較的粗く検出する。
【０１６６】
次いで動きベクトル検出器２１では、第２の動きベクトル検出処理モード時に第１段階の動きベクトルＭＶｂ１の大きさに応じて第４の探索領域ＴＲ４又は第５の探索領域ＴＲ５のいずれか一方と処理内容とを選定する。
【０１６７】
そして第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔよりも小さい場合には、マクロブロツク画像ＭＧ２の動き量が比較的小さいと判断し、第３の参照階層画像ＳＧ３上で第４の探索領域ＴＲ４の位置を決定し、当該第４の探索領域ＴＲ４内を第３の基本階層画像ＫＧ３によつてサーチしながら順次ブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の第２段階の動きベクトルＭＶｂ２１を検出する。
【０１６８】
これに対して第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔ以上の場合には、マクロブロツク画像ＭＧ２の動き量が比較的大きいと判断し、第４の参照階層画像ＳＧ４上で第５の探索領域ＴＲ５の位置を決定し、当該第４の探索領域ＴＲ４２内を第４の基本階層画像ＫＧ４によつてサーチしながら順次ブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の第２段階の動きベクトルＭＶｂ２２を検出する。
【０１６９】
続いて動きベクトル検出器２１では、第３の動きベクトル検出処理モード時に第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２に基づいて、参照原画像ＦＧ３上で第６の探索領域ＴＲ６の大きさ及び位置を決定し、当該第６の探索領域ＴＲ６内をマクロブロツク画像ＭＧ２によつてサーチしながら順次ブロツクマツチングすることにより、第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２を補正するような第３段階の動きベクトルＭＶｂ３を検出する。
【０１７０】
そして動きベクトル検出器２１では、第１段階及び第２段階並びに第３段階の動きベクトルＭＶｂ１及びＭＶｂ２１並びにＭＶｂ３、又は第１段階及び第２段階並びに第３段階の動きベクトルＭＶｂ１及びＭＶｂ２２並びにＭＶｂ３に基づいてマクロブロツク画像ＭＧ２の最終的な２フレーム間の動きベクトルを検出する。
【０１７１】
従つてこの動きベクトル検出器２１では、第２段階の動きベクトル検出処理において、第１段階の動きベクトルＭＶｂ１の大きさに応じて第４の探索領域ＴＲ４又は第５の探索領域ＴＲ５のいずれか一方を選定して用いることから、マクロブロツク画像ＭＧ２の動き量の大きさに応じて第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２を的確に検出することができる。
【０１７２】
またこの動きベクトル検出器２１では、第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔよりも小さいときには低域成分及び高域成分を用いて第２段階の動きベクトルＭＶｂ２１を検出し、これに対して第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔ以上のときには、低域成分のみを用いて第２段階の動きベクトルＭＶｂ２２を検出することから、これら２種類の第２段階の動きベクトルＭＶｂ２１及びＭＶｂ２２を検出するための予測誤差の演算量をほぼ同等にすることができる。
【０１７３】
さらにこの動きベクトル検出器２１では、２種類の第２段階の動きベクトルＭＶｂ２１及びＭＶｂ２２をそれぞれ同じ回路で検出することから、マクロブロツク画像ＭＧ２の動き量に応じて動きベクトルを検出し分けるために回路規模が増大することを防止することができる。
【０１７４】
さらにこの動きベクトル検出器２１では、動きベクトルをマクロブロツク単位で検出するようにしたことにより、原画像ＦＧ２上で動きのある部分のみの動きベクトルを的確に検出することができる。
【０１７５】
以上の構成によれは、最下層における第３の探索領域ＴＲ３内を第２の基本階層画像ＫＧ２によつてサーチしながらブロツクマツチングすることにより隣接する２フレーム間におけるフイールド間の第１段階の動きベクトルＭＶｂ１を検出し、当該検出した第１段階の動きベクトルＭＶｂ１の大きさに応じて最下層よりも上層において第４の探索領域ＴＲ４又は第５の探索領域ＴＲ５のいずれか一方と処理内容とを選定して第２段階の動きベクトルＭＶｂ２１又はＭＶｂ２２のいずれか一方を検出するようにしたことにより、マクロブロツク画像ＭＧ２の動き量が比較的大きい場合でも第２段階の動きベクトルＭＶｂ２２を的確に検出し、この結果として最終的な動きベクトルＭＶＢ２も的確に検出することができ、かくしてマクロブロツク画像ＭＧ２の動き量に係わらず動きベクトルを的確に検出し得る動きベクトル検出方法及び動きベクトル検出装置を実現することができる。
【０１７６】
（４）他の実施の形態
なお上述の実施の形態においては、動きベクトル検出器２１により動きベクトル検出対象の第２のマクロブロツクデータＤ４の２フレーム間の動きベクトルを検出するようにした場合について述べたが、本発明はこれに限らず、動きベクトル検出対象の第２のマクロブロツクデータＤ４の少なくとも２フレーム間の動きベクトルを検出するようにしても良い。
【０１７７】
この場合動きベクトル検出器２１では、求めるフレームの１フレーム前までは第１段階の動きベクトル検出処理により隣接するフレーム間におけるフイールド間の第１段階の動きベクトルを順次検出し、求めるフレーム及びその１フレーム前のフレーム間の第２段階の動きベクトルを第２段階の動きベクトル検出処理により最下層よりも上層において検出する。このようにした場合でも上述した実施の形態と同様の効果を得ることができる。
【０１７８】
また上述の実施の形態においては、動きベクトル検出対象の第２のマクロブロツクデータＤ４の２フレーム間の動きベクトルを階層画像を用いて検出するようにした場合について述べたが、本発明はこれに限らず、動きベクトル検出対象の第２のマクロブロツクデータＤ４の少なくとも２フレーム間の動きベクトルを源画像レベルで検出するようにしても良い。
【０１７９】
すなわちこの場合には、求めるフレームの１フレーム前までは隣接するフレーム間又は当該フレーム間におけるフイールド間の動きベクトルを順次検出し、当該検出した動きベクトルの大きさに応じて求めるフレーム及びその１フレーム前のフレーム間における探索領域の広さを決定してこの求めるフレーム及びその１フレーム前のフレーム間の動きベクトル検出し、このようにして求めた各動きベクトルを合成するようにして最終的な少なくとも２フレーム間の動きベクトルを検出するようにしても良く、この場合にも、動きベクトル検出対象の第２のマクロブロツクデータＤ４の動き量に応じて動きベクトルを適確に検出することができる。
【０１８０】
さらに上述の実施の形態においては、第１の動きベクトル検出処理モード時にトツプフイールドｔｆの低域成分でなる第２の基本階層画像ＫＧ２を用いるようにした場合について述べたが、本発明はこれに限らず、第２の基本階層画像ＫＧ２に代えてボトムフイールドｂｆの低域成分のみ、トツプフイールドｔｆの高域成分のみ、又はボトムフイールドｂｆの高域成分のみでなる画像を用いて第１段階の動きベクトルＭＶｂ１を検出するようにしても良い。
【０１８１】
さらに上述の実施の形態においては、第１段階の動きベクトルＭＶｂ１の大きさが比較値Ｓｘｔ以上のときに低域成分のみを用いて第２段階の動きベクトルＭＶｂ２２を検出するようにした場合について述べたが、本発明はこれに限らず、このときに高域成分のみを用いて第２段階の動きベクトルを検出するようにしても良い。
【０１８２】
さらに上述の実施の形態においては、本発明をＭＰＥＧ２が適用された符号化装置２０に適用するようにした場合について述べたが、本発明はこれに限らず、ＭＰＥＧ１のフレーム構造が適用された符号化装置や動きベクトル検出装置に適用するようにしても良い。
【０１８３】
さらに上述の実施の形態においては、動きベクトル検出器２１において第３の動きベクトル検出処理モードから第２の符号化処理モードに移つたときに第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続するようにした場合について述べたが、本発明はこれに限らず、第２の動きベクトル検出処理モードから第３の動きベクトル検出処理モードに移つたときに第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続するようにしても良く、これにより第３段階の動きベクトル検出処理を実行しながら、第２の符号化処理モード時の第２のマクロブロツクデータＤ４に対する処理を実行することができる。
【０１８４】
さらに上述の実施の形態においては、第１段階の動きベクトルＭＶｂ１の水平方向の画素数を所定の比較値Ｓｘｔとするようにした場合について述べたが、本発明はこれに限らず、第１段階の動きベクトルＭＶｂ１の垂直方向の画素数や、所定のしきい値等のように、この他種々の値を比較値とすることができる。
【０１８５】
さらに上述の実施の形態においては、第１段階の動きベクトルＭＶｂ１の大きさと比較値Ｓｘｔとの比較結果に基づいて予め設定された第４の探索領域ＴＲ４又は第５の探索領域ＴＲ５のいずれか一方を選定するようにした場合について述べたが、本発明はこれに限らず、第１段階の動きベクトルＭＶｂ１の大きさに応じて探索領域の広さを決定するようにしても良い。
【０１８６】
さらに上述の実施の形態においては、第１のフレームから第２のフレームの１フレーム前の第３のフレームまでの間、所望階層よりも下層において隣接するフレーム間におけるフイールド間の動きベクトルを順次検出する第１の動きベクトル検出手段として、階層画像予測誤差演算器３１及び階層画像生成器２６を適用するようにした場合について述べたが、本発明はこれに限らず、第１のフレームから第２のフレームの１フレーム前の第３のフレームまでの間、所望階層よりも下層において隣接するフレーム間におけるフイールド間の動きベクトルを順次検出することができれば、この他種々の第１の動きベクトル検出手段を適用するようにしても良い。
【０１８７】
さらに上述の実施の形態においては、第１の動きベクトル検出手段によつて検出された動きベクトルＭＶｂ１の大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段として選定処理器３２及び第２のアドレス生成器２９を適用するようにした場合について述べたが、本発明はこれに限らず、第１の動きベクトル検出手段によつて検出された動きベクトルＭＶｂ１の大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定することができれば、この他種々の決定手段を適用するようにしても良い。
【０１８８】
さらに上述の実施の形態においては、決定手段の決定に基づいて第３及び第２のフレーム間の動きベクトルを検出する第２の動きベクトル検出手段として階層画像予測誤差演算器３１を適用するようにした場合について述べたが、本発明はこれに限らず、決定手段の決定に基づいて第３及び第２のフレーム間の動きベクトルを検出することができれば、この他種々の第２の動きベクトル検出手段を適用するようにしても良い。
【０１８９】
【発明の効果】
上述のように本発明によれば、符号化対象の映像データから分割された所定の単位ブロツクの所望階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出方法において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、隣接するフレーム間で、所望階層よりも下層におけるフイールド間の動きベクトルを順次検出し、当該検出したフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定し、当該決定した探索領域に基づいて所望階層における第３及び第２のフレーム間の動きベクトルを検出し、このように検出した所望階層よりも下層における全てのフイールド間の動きベクトルと、所望階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの所望階層における第１のフレームから第２のフレームまでの動きベクトルを検出するようにしたことにより、単位ブロツクの動き量が比較的大きい場合でも所望階層における第３及び第２のフレーム間の動きベクトルを的確に検出することができ、かくして単位ブロツクの動き量に係わらずに動きベクトルを的確に検出し得る動きベクトル検出方法を実現することができる。
【０１９０】
また符号化対象の映像データから分割された所定の単位ブロツクの所望階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出装置において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、隣接するフレーム間で、所望階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１の動きベクトル検出手段と、当該第１の動きベクトル検出手段により検出されたフイールド間の動きベクトルの大きさに応じて所望階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段と、当該決定手段により決定された探索領域に基づいて所望階層における第３及び第２のフレーム間の動きベクトルを検出する第２の動きベクトル検出手段と、第１の動きベクトル検出手段により検出された所望階層よりも下層における全てのフイールド間の動きベクトルと、第２の動きベクトル検出手段により検出された所望階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの所望階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第３の動きベクトル検出手段とを設けるようにしたことにより、単位ブロツクの動き量が比較的大きい場合でも所望階層における第３及び第２のフレーム間の動きベクトルを的確に検出することができ、かくして単位ブロツクの動き量に係わらずに動きベクトルを的確に検出し得る動きベクトル検出装置を実現することができる。
【図面の簡単な説明】
【図１】本発明による符号化装置の回路構成の一実施の形態を示すブロツク図である。
【図２】本発明による動きベクトル検出器の回路構成の一実施の形態を示すブロツク図である。
【図３】基本階層ブロツクデータの生成の説明に供する略線的概略図である。
【図４】参照階層ブロツクデータの生成の説明に供する略線的概略図である。
【図５】第１段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図６】第１段階の動きベクトルが小さいときの第２段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図７】第１段階の動きベクトルが大きいときの第２段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図８】第３段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図９】ＭＰＥＧ２方式による一般的な符号化方式の説明に供する略線的概略図である。
【図１０】従来の符号化装置の回路構成を示すブロツク図である。
【図１１】従来の第１の基本階層画像の生成の説明に供する略線的概略図である。
【図１２】従来の第１の参照階層画像の生成の説明に供する略線的概略図である。
【図１３】従来の第１段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図１４】従来の第２段階の動きベクトル検出処理の説明に供する略線的概略図である。
【符号の説明】
２０……符号化装置、２１……動きベクトル検出器、２６……階層画像生成器、２８……階層画像メモリ、２９……第２のアドレス生成器、３１……階層画像予測誤差演算器、３２……選定処理器、Ｄ１……第１のマクロブロツクデータ、Ｄ４……第２のマクロブロツクデータ、Ｄ１０……参照階層ブロツクデータ、Ｄ１１……基本階層ブロツクデータ、Ｄ１２……第１の参照ブロツクデータ、Ｄ１３……第１の動きベクトルデータ、Ｄ１４……第２の参照ブロツクデータ、Ｄ１５……第２の動きベクトルデータ、Ｄ１６……第３の参照ブロツクデータ、Ｄ１７……動きベクトルデータ、ＭＶｂ１……第１段階の動きベクトル、ＭＶｂ２１、ＭＶｂ２２……第２段階の動きベクトル、ＭＶｂ３……第３段階の動きベクトル、ＭＧ２……マクロブロツク画像、ＦＧ２……原画像、ＦＧ３……参照原画像、ＳＧ２……第２の参照階層画像、ＳＧ３……第３の参照階層画像、ＳＧ４……第４の参照階層画像、ＫＧ２……第２の基本階層画像、ＫＧ３……第３の基本階層画像、ＫＧ４……第４の基本階層画像、ＢＫ２……第２のブロツク階層画像、ＢＫ３……第３のブロツク階層画像、ＢＫ４……第４のブロツク階層画像、ＢＧ２……第２のブロツク画像、ＴＲ３……第３の探索領域、ＴＲ４……第４の探索領域、ＴＲ５……第５の探索領域、ＴＲ６……第６の探索領域。[0001]
【table of contents】
The present invention will be described in the following order.
[0002]
TECHNICAL FIELD OF THE INVENTION
Conventional technology (Fig. 9)
Problems to be Solved by the Invention (FIGS. 10 to 14)
Means for Solving the Problems (FIGS. 1 to 8)
BEST MODE FOR CARRYING OUT THE INVENTION
(1) Configuration of encoding apparatus according to this embodiment (FIGS. 1 and 2)
(2) Motion vector detection processing (FIGS. 3 to 8)
(3) Operation and effect of the present embodiment (FIGS. 1 to 8)
(4) Other embodiments (FIGS. 1 to 8)
The invention's effect
[0003]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection method and apparatus, and is suitably applied to, for example, a motion vector detection method and apparatus for detecting a motion vector when encoding video data.
[0004]
[Prior art]
In recent years, there is a system called MPEG2 (Moving Picture Experts Group Phase 2) as a video data encoding system.
[0005]
This MPEG2 system is standardized by organizations such as ITU-T (International Telecommunication Union-Telecommunication Standardization Secter), encodes video data, multiplexes it, and stores and transmits it. It is standardized for the purpose.
[0006]
Actually, in this MPEG2 system, it is defined that video data is encoded in units called macroblocks for each frame, and I (Intra) picture is used as an encoding system for high-efficiency encoding of the video data. A method called B (Bidirectionally predictive) using a bi-directional motion-compensated inter-frame prediction in the forward and backward directions, and a P (Predictive) picture using a motion-compensated inter-frame prediction in the forward direction. The method is specified.
[0007]
Here, as shown in FIG. 9, for example, data in units of frames that are temporally continuous in video data (hereinafter referred to as frame data) T _n ~ T _{n + 2} If the I picture, B picture or P picture is assigned to the frame data T, the frame data T to which the I picture is assigned. _n Is encoded using only that data, and frame data T to which a B picture is assigned. _{n + 1} Is the frame data T to which the past I-picture is assigned in time. _n And frame data T to which the future P picture is assigned in time _{n + 2} And frame data T encoded by bidirectional motion compensation inter-frame prediction in units of macroblocks MB and further assigned P-picture. _{n + 2} Is the frame data T to which the past I-picture is assigned in time. _n Is used for encoding in the macroblock unit MB by forward motion compensation interframe prediction.
[0008]
[Problems to be solved by the invention]
FIG. 10 shows an encoding apparatus 1 to which the MPEG2 system is applied, and an analog video signal S1 is supplied to the input processing unit 2 from the outside.
[0009]
The input processing unit 2 performs analog-digital conversion on the video signal S1 supplied from the outside, assigns one of the I-picture, B-picture, or P-picture to the sequentially obtained frame data, and then converts the frame data into macroblock units. Divide and output.
[0010]
Here, first, in the encoding apparatus 1, the switches of the first and second switchers 3 and 4 are connected to the first contact A in the first encoding processing mode.
[0011]
In this state, the input processing unit 2 divides the frame data to which the I-picture is assigned (hereinafter referred to as the first frame data) into macro blocks, and sequentially obtains the obtained first macro block data D1. 1 is sent to a Discrete Cosine Transform (DCT) unit 5 via a switch 3.
[0012]
The discrete cosine transformer 5 performs a discrete cosine transform process on the first macroblock data D1 given through the first switch 3, converts it into a discrete cosine transform coefficient, and sends it to the quantizer 6.
[0013]
The quantizer 6 quantizes the discrete cosine transform coefficient given from the discrete cosine transformer 5 based on the corresponding quantization coefficient given from the information controller 7, and the obtained quantized data D2 is variable length code. To the quantizer 8 and to the inverse quantizer 9.
[0014]
The variable-length encoder 8 performs variable-length encoding on the quantized data D2 given from the quantizer 6 by a predetermined method, and the obtained encoded data D3 is, for example, a recording device having a predetermined recording medium via the buffer memory 10 (Not shown).
[0015]
Incidentally, the encoded data D3 output from the variable-length encoder 8 is also supplied to the information amount controller 7 via the buffer memory 10, whereby the information amount controller 7 detects the data amount of the encoded data D3. Based on the detection result, a quantization coefficient is generated and sent to the quantizer 6 and the inverse quantizer 9.
[0016]
The inverse quantizer 9 inversely quantizes the quantized data D2 given from the quantizer 6 based on the corresponding quantization coefficient given from the information controller 7, and inverse discrete cosine transforms the obtained discrete cosine coefficient. To the device 11.
[0017]
The inverse discrete cosine transformer 11 converts the discrete cosine coefficient supplied from the inverse quantizer 9 into the first macroblock data D1 by performing an inverse discrete cosine transform process, and sends the first macroblock data D1 to the adder 12.
[0018]
At this time, the adder 12 sends the first macroblock data D1 given from the inverse discrete cosine transformer 11 to the image memory 13 having a frame memory configuration as it is, and thus the first macroblock data D1 is stored in the image memory 13. Are sequentially stored to reconstruct the first frame data.
[0019]
Thereafter, in the encoding device 1, when all of the first macroblock data D1 for one frame is output from the input processing unit 2, the encoding device 1 shifts to the second encoding processing mode, and the first and second switchers. Connect the 3 and 4 switches to the second contact B.
[0020]
In this state, the input processing unit 2 divides the frame data to which the B-picture or P-picture is assigned (hereinafter referred to as second frame data) into macroblock units, and obtains the obtained second macroblock data D4. Is sent to the motion vector detector 14 and to the subtracter 15.
[0021]
When the second macroblock data D4 is given from the input processing unit 2, the motion vector detector 14 temporally stores the second macroblock data D4 stored therein from the image memory 13. Alternatively, the predetermined first or second frame data in the future is read as reference data D5. The motion vector detector 14 obtains a motion vector of the second macroblock data D4 based on the reference data D5 read from the image memory 13 and the second macroblock data D4, and uses this as the motion vector data D6. Send to motion compensator 16.
[0022]
When the motion vector data D6 is given from the motion vector detector 14, the motion compensator 16 reads the reference data D5 from the image memory 13 at this time, and based on the motion vector data D6 from the read reference data D5, The block data that most closely matches the macro block data D4 is extracted and sent to the subtracter 15 as motion compensation data D7.
[0023]
As a result, the subtracter 15 subtracts the motion compensation data D7 given from the motion compensator 16 from the second macroblock data D4 given from the input processing unit 2, and obtains the obtained difference data D8 from the first switch 3. To the discrete cosine transformer 5.
[0024]
Thereafter, the encoding apparatus 1 generates the quantized data D9 through the discrete cosine transformer 5 and the quantizer 6 sequentially, in the same manner as in the first encoding processing mode described above, Is sent to the variable length encoder 8.
[0025]
At this time, the motion vector data D6 is supplied from the motion vector detector 14 to the variable length encoder 8, and the motion vector data D6 corresponding to the motion vector data D6 supplied from the quantizer 6 is also variable length. The quantized data D9 and the motion vector data D6 that have been encoded and variable-length encoded are output as encoded data D10 through the buffer memory 10.
[0026]
Also, the quantized data D9 output from the quantizer 6 sequentially passes through the inverse quantizer 9 and the inverse discrete cosine transformer 11. Decryption As a result, it is converted into difference data D8 and given to the adder 12.
[0027]
At this time, the motion compensation data D7 corresponding to the adder 12 is given from the motion compensator 16 via the second switch 4, so that the adder 12 receives the difference data D8, the motion compensation data D7, Are added to generate second macroblock data D4, which is sent to the image memory 13.
[0028]
In the image memory 13, the second macroblock data D4 output from the adder 12 is sequentially stored, whereby the second frame data can be reconstructed. However, at this time, only the second macroblock data D4 to which the P picture is assigned is stored in the image memory 13, and the second macroblock data D4 to which the B picture is assigned is used as reference data for motion compensation interframe prediction. Since it is not used, it is not stored.
[0029]
In this way, in the encoding device 1, when all of the second macroblock data D4 for one frame is output from the input processing unit 2, the output from the input processing unit 2 follows the second macroblock data D4. By moving to the first encoding processing mode according to the first or second macroblock data D1 or D4 to be performed, or continuing the second encoding processing mode and thereafter executing the above-described processing, the video The signal S1 can be encoded.
[0030]
In the motion vector detector 14, an image based on the second macroblock data D4 subject to motion vector detection (hereinafter referred to as a macroblock image) and an image for one frame in which the macroblock image is located (hereinafter referred to as a macroblock image). From the image based on the reference data D5 (first or second frame data), for example, two frames past in time than the original image) (hereinafter referred to as the reference original image), the number of pixels. A hierarchical image that is reduced so as to reduce is generated, and a motion vector is detected using the hierarchical image, the macroblock image, and the reference original image in a hierarchical manner.
[0031]
Actually, as shown in FIGS. 11A and 11B, the motion vector detector 14 determines the position of each pixel on the macroblock image MG1 having, for example, 16 pixels in the horizontal direction and 16 lines in the vertical direction (i , J) and the low frequency component lf of the top field tf and the bottom field bf on the macroblock image MG1. _{(q, r)} The following formula
[0032]
[Expression 1]

[0033]
As shown by the following, in each block, each position (q, r) in every two pixels in the horizontal direction and every two lines in the vertical direction has a corresponding block consisting of two pixels in the horizontal direction and two lines in the vertical direction. By calculating the average value of the luminance data d of the four pixels, a hierarchical image composed of the low frequency components of the top field tf and the bottom field bf (hereinafter referred to as the first basic hierarchical image) KG1 is generated.
[0034]
Further, as shown in FIGS. 12A and 12B, the motion vector detector 14 determines the position of the first search region TR1 with respect to the first basic layer image KG1 on the reference original image, and this first The low frequency component Lf of the top field tf and the bottom field bf of one search region TR1 _{(q, r)} The following formula
[0035]
[Expression 2]

[0036]
As shown by the following, in each block, each position (q, r) in every two pixels in the horizontal direction and every two lines in the vertical direction has a corresponding block consisting of two pixels in the horizontal direction and two lines in the vertical direction. By calculating the average value of the luminance data D of the four pixels, a hierarchical image composed of the low frequency components of the top field tf and the bottom field bf (hereinafter referred to as a first reference hierarchical image) SG1 is generated.
[0037]
Incidentally, in the expressions (1) and (2) described above, the low frequency component of the top field tf can be obtained by substituting “0” into the variable fi, and “1” is substituted into the variable fi. Thus, the low frequency component of the bottom field bf can be obtained.
[0038]
Next, as shown in FIG. 13, in the motion vector detection process in the first stage, the motion vector detector 14 sequentially scans the first reference hierarchical image SG1 using the first basic hierarchical image KG1. Ching.
[0039]
At this time, the motion vector detector 14 uses the first basic layer image KG1 in the first basic layer image KG1 and the first block layer image BK1 corresponding to this in the first reference layer image SG1. Prediction error bdt1 for the top field tf of _{(q, r)} The following formula
[0040]
[Equation 3]

[0041]
As shown in the above, the sum of absolute values of the differences between the low frequency components of the top field tf of the first basic hierarchical image KG1 and the low frequency components corresponding to the first block hierarchical image BK1 is expressed as Calculate to calculate.
[0042]
Also, the prediction error bdb1 for the bottom field bf of the first basic layer image KG1. _{(q, r)} The following formula
[0043]
[Expression 4]

[0044]
As shown, the sum of the absolute values of the differences between the low frequency components of the bottom field bf of the first basic layer image KG1 and the low frequency components respectively associated with the first block layer image BK1 is Calculate to calculate.
[0045]
And the prediction error bdf1 between the frames of the first basic layer image KG1 and the first block layer image BK1. _{(q, r)} The following formula
[0046]
[Equation 5]

[0047]
As shown, the corresponding prediction error bdt1 _{(q, r)} And prediction error bdb1 _{(q, r)} Are obtained by sequentially adding each other, and the obtained prediction error bdf1 _{(q, r)} The first block hierarchical image BK1 when the value of is the smallest is detected. Accordingly, the motion vector detector 14 determines that the detected first block layer image BK1 is the best match with the first basic layer image KG1, and the first block layer image BK1 and the first basic layer image BK1. A motion vector MVa1 between two frames is detected at the hierarchical image level based on the amount of motion between the hierarchical image KG1.
[0048]
Subsequently, as shown in FIG. 14, the motion vector detector 14 detects the motion vector detected in the first-stage motion vector detection process described above in the second-stage motion vector detection process (hereinafter referred to as the first-stage motion vector detection process). Based on MVa1), the position of the second search region TR2 is determined on the reference original image FG1.
[0049]
The motion vector detector 14 sequentially blocks the second search region TR2 while searching the macro block image MG1, thereby corresponding to the macro block image MG1 in the second search region TR2. In the first block image BG1 thus made, the prediction error BDt with respect to the top field tf of the macroblock image MG1 _{(m, n)} The following formula
[0050]
[Formula 6]

[0051]
As shown, the luminance data d of each pixel position (i, j) of the top field tf of the macro block image MG1 and the pixel position (m, n) corresponding to each of the first block image BG1. The sum of absolute values of differences from the luminance data D is calculated.
[0052]
Also, the prediction error BDb for the bottom field bf of the macroblock image MG1. _{(m, n)} The following formula
[0053]
[Expression 7]

[0054]
As shown, the luminance data d of each pixel position (i, j) of the bottom field bf of the macro block image MG1 and the pixel position (m, n) corresponding to each of the first block image BG1. The sum of absolute values of differences from the luminance data D is calculated.
[0055]
Then, a prediction error BDf between frames of the macroblock image MG and the first block image BG1. _{(m, n)} The following formula
[0056]
[Equation 8]

[0057]
And the corresponding prediction error BDt _{(m, n)} And prediction error BDb _{(m, n)} Are obtained by sequentially adding each other, and the obtained prediction error BDf _{(m, n)} The first block image BG1 when the value of is the smallest is detected. As a result, the motion vector detector 14 determines that the detected first block image BG1 is the best match with the macroblock image MG1, and the amount of motion between the first block image BG1 and the macroblock image MG1. Based on, a motion vector MVa2 that corrects the first-stage motion vector MVa1 at the original image level is detected.
[0058]
Thus, the motion vector detector 14 has the following formula:
[0059]
[Equation 9]

[0060]
As shown, the first-stage motion vector MVa1 is doubled so as to compensate for the missing pixels when generating the hierarchical image, and the motion vector detected in the second-stage motion vector detection process (hereinafter referred to as the motion vector detection process) This is referred to as the second-stage motion vector). By adding MVa2, the final motion vector MVa3 between the two frames of the macroblock image MG1 is detected.
[0061]
By the way, in general, in order to detect a motion vector, although the amount of calculation of a prediction error becomes enormous, in the motion vector detection process as described above, a motion vector is detected hierarchically. The size of one search region TR1 can be made relatively small, and the size of the second search region TR2 can also be made relatively small by determining it based on the first-stage motion vector MVa1, As a result, there is an advantage that the calculation amount of the prediction error can be greatly reduced.
[0062]
However, in this motion vector detection process, if the amount of motion of the macro block image MG1 that is the target of motion vector detection is relatively large, the block layer image BK1 that most closely matches the first basic layer image KG1 generated from the macro block image MG1 is obtained. There is a problem that it is located beyond the first search region TR1 and it is difficult to accurately detect the first-stage motion vector MVa1. That is, the motion vector detector 14 has a problem in that the accuracy of detection of the final motion vector MVa3 is greatly reduced when the amount of motion of the macroblock image MG1 is relatively large.
[0063]
The present invention has been made in view of the above points, and an object of the present invention is to propose a motion vector detection method and apparatus capable of accurately detecting a motion vector regardless of the amount of motion of a unit block.
[0064]
[Means for Solving the Problems]
In order to solve this problem, in the present invention, A motion vector from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames is detected. In the motion vector detection method, from the first frame , Second frame Than Between adjacent frames, up to the third frame one frame before In the lower hierarchy than the desired hierarchy A first step for sequentially detecting motion vectors between fields, and detection in the first step Between fields Depending on the magnitude of the motion vector In the desired hierarchy A second step for determining the size and position of the search region for detecting a motion vector between the third and second frames; Concerned Second step In Decision Search area On the basis of the In the desired hierarchy A third step for detecting a motion vector between the third and second frames; Combining the motion vectors between all the fields below the desired layer detected in the first step and the motion vectors between the third and second frames in the desired layer detected in the third step; A fourth step of detecting a motion vector from the first frame to the second frame in the desired hierarchy of the unit block; It was made to provide.
[0065]
As a result, it was detected in the first step. Between fields below the desired level Depending on the magnitude of the motion vector In the desired hierarchy Since the size and position of the search area for detecting the motion vector between the third and second frames are determined, even when the amount of motion of the unit block is relatively large In the desired hierarchy Between the third and second frames of The motion vector can be accurately detected.
[0066]
In the present invention, A motion vector is detected from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames. Motion vector detection apparatus In the first frame , Second frame Than Until the third frame one frame before, Between adjacent frames, Below the desired level In layers Sequentially detect motion vectors between fields First motion vector detecting means And the relevant First motion vector detecting means In Than detection Is The Between fields The size and position of the search area for detecting the motion vector between the third and second frames in the desired hierarchy are determined according to the size of the motion vector. Decision means And the relevant By decision means Decision Search area On the basis of the In the desired hierarchy Detect a motion vector between the third and second frames Second motion vector detection means When The motion vectors between all the fields below the desired layer detected by the first motion vector detection means and the third and second frames in the desired layer detected by the second motion vector detection means Third motion vector detecting means for combining the motion vectors and detecting motion vectors from the first frame to the second frame in a desired hierarchy of the unit block; It was made to provide.
[0067]
As a result, By the first motion vector detection means Detected Between fields below the desired level When the amount of motion of the unit block is relatively large because the size and position of the search area for detecting the motion vector between the third and second frames in the desired hierarchy are determined according to the size of the motion vector But In the desired hierarchy Between the third and second frames of The motion vector can be accurately detected.
[0072]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0073]
(1) Configuration of encoding apparatus according to this embodiment
In FIG. 1, in which the same reference numerals are assigned to the parts corresponding to those in FIG. 9, reference numeral 20 denotes the overall coding apparatus according to the present embodiment, and the conventional coding apparatus 1 except for the configuration of the motion vector detector 21. It is constituted similarly.
[0074]
In this encoding device 20, the motion vector detector 21 uses the first and second macroblock data D1 and D4 given from the input processing unit 2 as reference data, and uses the second macroblock data D4 as the motion vector detection target. By executing a hierarchical motion vector detection process according to the amount of motion, the motion vector can be accurately detected even when the amount of motion of the second macroblock data D4 is relatively large.
[0075]
In this case, as shown in FIG. 2, the motion vector detection circuit 21 is entirely controlled by the CPU 22, and first, in the first encoding processing mode, the third and fourth switches 23 and 24 are controlled. Each switch is connected to a first contact A.
[0076]
In this state, the first macroblock data D1 sequentially output from the input processing unit 2 is supplied to the original image memory 25 having a frame memory configuration, and the hierarchical image generator 26 via the third switch 23. To be supplied.
[0077]
At this time, the original image memory 25 is given the address information from the first address generator 27, and thereby the first macroblock data D1 sequentially given from the input processing unit 2 is designated by the address information. Write to the address location to reconstruct the first frame data.
[0078]
Further, the hierarchical image generator 26 generates reference hierarchical block data D10 composed of the low frequency component and the high frequency component based on the first macro block data D1 given from the input processing unit 2, and this is converted into the fourth switching. The data is sent to the hierarchical image memory 28 having a frame memory configuration via the device 24.
[0079]
At this time, the hierarchical image memory 28 is supplied with address information from the second address generator 29, whereby the reference hierarchical block data D10 sequentially supplied from the hierarchical image generator 26 is designated by the address information. Write to location.
[0080]
Further, in the motion vector detector 21, in the second encoding processing mode, the input processing unit 2 is connected with the switches of the third and fourth switchers 23 and 24 being connected to the first contact A. The second macroblock data D4 is supplied to the original image memory 25 and is also supplied to the hierarchical image generator 26 via the third switch 23.
[0081]
The original image memory 25 writes the second macro block data D4 given from the input processing unit 2 at the address position designated by the address information given from the first address generator 27.
[0082]
The hierarchical image generator 26 refers to the low-frequency component and the high-frequency component based on the second macro-block data D4 given from the input processing unit 2 in the same manner as the generation of the reference hierarchical block data D10 described above. Hierarchical block data D10 is generated and sent to the hierarchical image memory 28 via the fourth switch 24.
[0083]
Thus, the hierarchical image memory 28 writes the reference hierarchical block data D10 given from the hierarchical image generator 26 at the address position designated by the address information given from the second address generator 29.
[0084]
In this motion vector detector 21, when the above-described processing is completed for one second macroblock data D4 given from the input processing unit 2, the first motion vector detection processing is performed from the second encoding processing mode. The mode is shifted to the mode, and the first-stage motion vector detection process is started, and the switches of the third and fourth switches 23 and 24 are connected to the second contact B.
[0085]
In this state, the original image memory 25 reads out the second macroblock data D4 stored in the second encoding processing mode based on the address information given from the first address generator 27, and reads the read second macroblock data D4. The macro block data D4 is sent to the original image prediction error calculator 30 as a motion vector detection target and also sent to the hierarchical image generator 26 via the third switch 23.
[0086]
The hierarchical image generator 26 generates basic hierarchical block data D11 composed of the low-frequency component and the high-frequency component based on the second macroblock data D4 given from the original image memory 25, and this is generated as the fourth switcher. 24 to the hierarchical image prediction error calculator 31.
[0087]
At this time, the second address generator 29 is provided with positional information on the original image of the macroblock image based on the second macroblock data D4 from the CPU 22, and either the forward or backward motion compensation frame is provided. Prediction direction information indicating whether to perform inter prediction is given.
[0088]
As a result, the second address generator 29, based on the position information and the prediction direction information, references each frame for one frame in the past, for example, one frame earlier than the second macroblock data D4 subject to motion vector detection. The size and position of the third search area is determined on an image based on the hierarchy block data D10 (hereinafter referred to as the second reference hierarchy image), and the reference hierarchy block located in the third search area is determined. Data D10 is selected. Address information for the selected reference hierarchy block data D10 is generated and sent to the hierarchy image memory 28.
[0089]
As a result, the hierarchical image memory 28 reads the reference hierarchical block data D10 written at the designated address position as the first reference block data D12 based on the address information given from the second address generator 29. The result is sent to the hierarchical image prediction error calculator 31.
[0090]
Then, the hierarchical image prediction error calculator 31 extracts only the low frequency component from the basic hierarchical block data D11 provided from the hierarchical image generator 26, and the extracted low frequency component and the first low frequency component provided from the hierarchical image memory 28. Block motion based on one reference block data D12 detects a motion vector between corresponding fields between adjacent frames in the lowermost layer as a first-stage motion vector, and this is detected as the first motion vector data. As D13, the second address generator 29, the original image prediction error calculator 30, and Selection The data is sent to the fixed processor 32.
[0091]
In this way, when the motion vector detector 21 detects the first-stage motion vector, the motion vector detector 21 moves from the first motion vector detection processing mode to the second motion vector detection processing mode, and performs the second-stage motion vector detection processing. Start.
[0092]
At this time, the selection processor 32 uses a predetermined comparison value in which the magnitude of the first-stage motion vector obtained based on the first motion vector data D13 given from the hierarchical image prediction error calculator 31 is set in advance. Depending on the result of the determination, the corresponding processing content of the two types of second-stage motion vector detection processing contents set in advance according to the magnitude of the first-stage motion vector. Is sent to the second address generator 29 and the hierarchical image prediction error calculator 31.
[0093]
In this case, the second address generator 29, when the motion vector detection processing content corresponding to the case where the motion vector at the first stage is relatively small is designated based on the selection result information given from the selection processor 32, Based on the first motion vector data D13 given from the image prediction error calculator 31, an image based on each reference layer block data D10 for one frame, for example, one frame past in time from the second reference layer image. The position of the fourth search region that is relatively narrow in the region preset in advance (hereinafter referred to as the third reference layer image) is determined.
[0094]
On the other hand, when the motion vector detection processing content corresponding to the case where the first stage motion vector is relatively large is designated based on the selection result information, the second address generator 29 specifies the first motion vector. The position of the fifth search area, which is a relatively wide area set in advance on the image (hereinafter referred to as the fourth reference hierarchy image) composed of the low frequency components of the third reference hierarchy image based on the data D13 To decide.
[0095]
Then, the second address generator 29 selects the reference hierarchy block data D10 located in the determined fourth or fifth search area, and selects the selected reference. hierarchy Address information for the block data D10 is generated and sent to the hierarchical image memory 28.
[0096]
As a result, the hierarchical image memory 28 reads out the reference hierarchical block data D10 written at the address position designated based on the address information given from the second address generator 29 as the second reference block data D14 and reads the hierarchical level. This is sent to the image prediction error calculator 31.
[0097]
The hierarchical image prediction error calculator 31 performs adjacent block based on the basic hierarchical block data D11 and the second reference block data D14 given from the hierarchical image memory 28, thereby adjacent frames in the upper layer than the lowest layer. The motion vector between them is detected as a second-stage motion vector, and this is sent to the first address generator 27 and the original image prediction error calculator 30 as the second motion vector data D15.
[0098]
Subsequently, when the second-stage motion vector is detected, the motion vector detector 21 shifts from the second motion vector detection processing mode to the third motion vector detection processing mode and starts the third-stage motion vector detection processing. To do.
[0099]
At this time, the first address generator 27 corresponds to the third reference layer image based on the second motion vector data D15 given from the layer image prediction error calculator 31 (the second motion vector detection target second object). The size and position of the sixth search area is determined on the reference original image (which is temporally separated from the macroblock data D4 by two frames), and the first or second position located in the sixth search area is determined. Macro block data D1 or D4 is selected. Then, address information for the selected first or second macroblock data D1 or D4 is generated and sent to the original image memory 25.
[0100]
As a result, the original image memory 25 makes the third reference to the first or second macroblock data D1 or D4 written at the address position designated based on the address information given from the first address generator 27. It is read as block data D16 and sent to the original image prediction error calculator 30.
[0101]
The original image prediction error calculator 30 corrects the second-stage motion vector at the original image level by performing blocking based on the second macroblock data D4 and the third reference block data D16. A third stage motion vector is detected.
[0102]
Then, the original image prediction error calculator 30 calculates the second macroblock data D4 based on the first-stage and second-stage motion vectors and the third-stage motion vector supplied from the hierarchical image prediction error calculator 31. The final motion vector between the two frames is detected and sent to the motion compensator 16 and the variable length encoder 8 as motion vector data D17.
[0103]
Thus, in the motion vector detector 21, when the final motion vector between the two frames of the second macroblock data D4 to be detected as a motion vector is detected, the second code is again returned from the third motion vector detection processing mode. Then, the switch of the third and fourth switchers 23 and 24 is connected to the first contact A, respectively, and one second macroblock data D4 is given from the input processor 2 in this state. .
[0104]
Then, in this motion vector detector 21, every time one second macroblock data D4 is given from the input processing unit 2, the second encoding processing mode to the third motion vector detection processing mode described above are applied. The motion vector detection process is sequentially repeated, and thus a motion vector is detected according to the amount of motion of the second macroblock data D4.
[0105]
(2) Motion vector detection processing
In practice, in this motion vector detector 21, in the first motion vector detection processing mode, the hierarchical image generator 26 uses low-frequency data from the top field and bottom field data of the second macroblock data D4 as the motion vector detection target. The base layer block data D11 is generated so as to extract the component and the high frequency component.
[0106]
That is, as shown in FIGS. 3A to 3C, the hierarchical image generator 26 performs the low-frequency component lf ′ of the top field tf and the bottom field bf on the macroblock image MG2 based on the second macroblock data D4. _{(q, r)} The following formula
[0107]
[Expression 10]

[0108]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at every 4 pixels in the horizontal direction and every 4 lines in the vertical direction for each field. The average value of the data d is obtained, and the high frequency component af ′ of the top field tf and the bottom field bf on the macro block image MG2. _{(q, r)} The following formula
[0109]
[Expression 11]

[0110]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at every 4 pixels in the horizontal direction and every 4 lines in the vertical direction for each field. By calculating the average value of the data d and calculating the average value of the absolute value of the difference between the average value and the luminance data d of each pixel in the block, four pixels in the horizontal direction and the vertical direction In addition, basic layer block data D11 including four lines of low frequency components (FIG. 3B) and four pixels in the horizontal direction and four lines of high frequency components in the vertical direction (FIG. 3C) is generated.
[0111]
Incidentally, the hierarchical image generator 26 generates low-frequency components from the top field and bottom field data of the first or second macroblock data D1 or D4 for reference in the first and second encoding processing modes, respectively. The reference hierarchy block data D10 is generated so as to extract the high frequency component.
[0112]
That is, as shown in FIGS. 4A to 4C, the hierarchical image generator 26 generates a top field tf and a bottom on the macroblock image MG3 based on the first or second macroblock data D1 or D4 for reference. Low-frequency component Lf ′ of field bf _{(q, r)} The following formula
[0113]
[Expression 12]

[0114]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at each position of every 2 pixels in the horizontal direction and every 2 lines in the vertical direction for each field. The average value of the data D is calculated, and the high frequency component Af ′ of the top field tf and the bottom field bf on the macro block image MG3. _{(q, r)} The following formula
[0115]
[Formula 13]

[0116]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at each position of every 2 pixels in the horizontal direction and every 2 lines in the vertical direction for each field. By calculating the average value of the data D and calculating the average value of the absolute value of the difference between the average value and the luminance data D of each pixel in the block, 8 pixels in the horizontal direction and the vertical direction In addition, reference hierarchical block data D10 is generated, which includes 8 lines of low frequency components (FIG. 4B), 8 pixels in the horizontal direction, and 8 lines of high frequency components in the vertical direction (FIG. 4C).
[0117]
Incidentally, in the above-described equations (10) and (12), the low frequency component of the top field tf can be obtained by substituting “0” into the variable fi, and “1” is substituted into the variable fi. Thus, the low frequency component of the bottom field bf can be obtained. Further, in the above equations (11) and (13), the high frequency component of the top field tf can be obtained by substituting “0” into the variable fi, and “1” is substituted into the variable fi. Thus, the high frequency component of the bottom field bf can be obtained.
[0118]
When the motion vector detector 21 is in the first motion vector detection processing mode, as shown in FIG. 5, the second address generator 29 uses the second reference layer image based on the position information and the prediction direction information. An image based on the low-frequency component of the top field tf of the basic layer block data D11 on SG2 (hereinafter referred to as the second basic layer image) CG2 is centered on a position corresponding to a predetermined corner w1. For example, the third search region TR3 having ± 8 pixels in the horizontal direction Sx and ± 8 lines in the vertical direction Sy is determined.
[0119]
As a result, the hierarchical image prediction error calculator 31 sequentially blots the third search region TR3 while searching for the second basic hierarchical image KG2, so that the second basic hierarchical image KG2 and Prediction error bdt2 (with respect to the top field tf) with the second block layer image BK2 corresponding to this in the third search region TR3 _{(q, r)} The following formula
[0120]
[Expression 14]

[0121]
As shown, the sum of the absolute values of the differences between the low frequency components in the second basic layer image KG2 and the corresponding low frequency components in the block hierarchical image BK2 is calculated. Ask.
[0122]
As a result, the hierarchical image prediction error calculator 31 sequentially calculates the prediction error bdt2 obtained. _{(q, r)} The second block layer image BK2 at the time when the second block layer image BK2 is minimized, and the adjacent in the lowest layer is detected based on the motion amount between the detected second block layer image BK2 and the second basic layer image KG2. The first-stage motion vector MVb1 between corresponding fields between frames to be detected is detected relatively coarsely.
[0123]
Next, when the motion vector detector 21 is in the second motion vector detection processing mode, the selection processor 32 sets, for example, the number of pixels in the horizontal direction (eg, ± 8 pixels) of the third search region TR3 as a predetermined comparison value. The comparison value is compared with the absolute value of the x component of the first-stage motion vector MVb1.
[0124]
In other words, the selection processor 32 has the following formula:
[0125]
[Expression 15]

[0126]
As a result of comparing the absolute value of the x component mx of the first-stage motion vector MVb1 with the comparison value Sxt, the absolute value of the x-component mx of the first-stage motion vector MVb1 is the comparison value. When it is smaller than Sxt, it is determined that the amount of motion of the macroblock image MG2 is relatively small, and in accordance with the determination result, a fourth search area (area is narrow) and a first search area having different preset sizes. A narrow fourth search region is selected from among the five search regions (the region is wide), and motion vector detection processing content corresponding to the determination result is selected.
[0127]
On the other hand, the selection processor 32
[0128]
[Expression 16]

[0129]
As a result of comparing the absolute value of the x component mx of the first-stage motion vector MVb1 with the comparison value Sxt, the absolute value of the x-component mx of the first-stage motion vector MVb1 is the comparison value. When it is equal to or greater than Sxt, it is determined that the amount of motion of the macroblock image MG2 is relatively large, and a fifth search region having a wide region is selected from the fourth search region and the fifth search region according to the determination result. At the same time, the motion vector detection processing content corresponding to the determination result is selected.
[0130]
Here, when the selection processor 32 first selects the fourth search region, as shown in FIG. 6, the second address generator 29 selects the third reference layer image SG3 based on the selection result information. The position corresponding to the end point w2 of the first-stage motion vector MVb1 is, for example, ± 8 pixels in the horizontal direction Sx and ± 8 lines in the vertical direction Sy (having the same size as the third search region TR3). The position of the fourth search region TR4 is determined so as to overlap the center position of the search region TR4.
[0131]
Accordingly, the hierarchical image prediction error calculator 31 is an image based on the basic hierarchical block data D11 in the fourth search region TR4 in accordance with the selected processing content (hereinafter referred to as a third basic hierarchical image). The third basic layer image KG3 and the third block layer image BK3 corresponding to the third basic layer image KG3 and corresponding to this in the fourth search region TR4 by sequentially blocking while searching with the KG3. Prediction error bdt3 for the top field tf of the third basic layer image KG3 _{(q, r)} The following formula
[0132]
[Expression 17]

[0133]
As expressed by the sum of absolute values of differences between the low-frequency components of the top field tf of the third basic hierarchical image KG3 and the low-frequency components corresponding to the third block hierarchical image BK3, respectively, Obtained by adding the sum of the absolute values of the differences between the high frequency components of the top field tf of the third basic hierarchical image KG3 and the corresponding high frequency components of the third block hierarchical image BK3. .
[0134]
Also, the prediction error bdb3 for the bottom field bf of the third basic layer image KG3. _{(q, r)} The following formula
[0135]
[Formula 18]

[0136]
As expressed by the sum of absolute values of differences between the low-frequency components of the bottom field bf of the third basic layer image KG3 and the low-frequency components corresponding to the third block layer image BK3, respectively. The sum of the absolute values of the differences between the high frequency components of the bottom field bf of the third basic hierarchical image KG3 and the high frequency components respectively corresponding to the third block hierarchical image BK3 is added. Ask.
[0137]
The inter-frame prediction error bdf3 between the first basic layer image KG3 and the third block layer image BK3 corresponding thereto. _{(q, r)} The following formula
[0138]
[Equation 19]

[0139]
The corresponding prediction error bdt3 _{(q, r)} And prediction error bdb3 _{(q, r)} Are obtained by sequentially adding each other, and the obtained prediction error bdf3 _{(q, r)} The third block hierarchy image BK3 when is minimum is detected.
[0140]
As a result, the hierarchical image prediction error calculator 31 determines whether the adjacent frame in the upper layer is lower than the lowermost layer based on the amount of motion between the detected third block hierarchical image BK3 and the third basic hierarchical image KG3. The second-stage motion vector MVb21 (between the second and third reference layer images SG2 and SG3) is detected with improved detection accuracy than the first-stage motion vector MVb1.
[0141]
On the other hand, when the selection processor 32 selects the fifth search region, the second address generator 29 selects the third reference layer image SG3 based on the selection result information as shown in FIG. The position corresponding to the end point w2 of the first-stage motion vector MVb1 on the fourth reference layer image SG4 including only low-frequency components is, for example, ± 16 pixels in the horizontal direction 2Sx and ± 8 lines in the vertical direction Sy (the first line). The position of the fifth search region TR5 is determined so as to overlap the center position of the fifth search region TR5 (which is twice the horizontal direction Sx of the third search region TR3).
[0142]
In this case, the hierarchical image prediction error calculator 31 is an image (hereinafter referred to as a fourth image) composed of only the low frequency component of the third basic hierarchical image KG3 in the fifth search region TR5 according to the selected processing content. (Referred to as “basic layer image”) BK4 sequentially performs blockching while searching.
[0143]
Accordingly, the hierarchical image prediction error calculator 31 at this time uses the fourth basic hierarchical image KG4 and the fourth basic hierarchical image BK4 associated with the fourth basic hierarchical image KG4 in the fifth basic search region TR5. Prediction error bdt4 for the top field tf of the hierarchical image KG4 _{(q, r)} The following formula
[0144]
[Expression 20]

[0145]
As shown, the sum of absolute values of the differences between the low frequency components of the top field tf of the fourth basic layer image KG4 and the low frequency components corresponding to the fourth block layer image BK4 is calculated. To ask.
[0146]
Also, the prediction error bdb4 for the bottom field bf of the fourth basic layer image KG4. _{(q, r)} The following formula
[0147]
[Expression 21]

[0148]
As shown, the sum of the absolute values of the differences between the low frequency components of the bottom field bf of the fourth basic layer image KG4 and the low frequency components corresponding to the fourth block layer image BK4 is calculated. To ask.
[0149]
The inter-frame prediction error bdf4 between the fourth basic layer image KG4 and the fourth block layer image BK4. _{(q, r)} The following formula
[0150]
[Expression 22]

[0151]
The corresponding prediction error bdt4 _{(q, r)} And prediction error bdb4 _{(q, r)} Are obtained by sequentially adding each other, and the obtained prediction error bdf4 _{(q, r)} The fourth block layer image BK4 at the time when the value of the fourth block layer image BK4 becomes the minimum is detected, and the upper layer than the lowermost layer is detected based on the amount of motion between the detected fourth block layer image BK4 and the fourth basic layer image KG4. The second stage motion vector MVb22 between adjacent frames is detected with improved detection accuracy than the first stage motion vector MVb1, and with detection accuracy slightly lower than the second stage motion vector MVb21.
[0152]
In this way, when the magnitude of the first-stage motion vector MVb1 is smaller than the comparison value Sxt, the third basic hierarchy consisting of the low-frequency component and the high-frequency component in the fourth search region TR4 having a relatively narrow region. The second stage motion vector MVb21 is detected with relatively high precision by sequentially blotting while searching with the image KG3, and when the magnitude of the first stage motion vector MVb1 is greater than or equal to the comparison value Sxt. The second-stage motion vector MVb22 is determined to some extent by sequentially blocking the fifth search area TR5 having a relatively wide area while searching with the fourth basic layer image KG4 including only low-frequency components. Detect with reduced accuracy.
[0153]
In this way, the motion vector detector 21 sets the second stage motion vector MVb21 or the second stage motion vector MVb21 by making the calculation amount of the prediction error substantially equal even if the processing content changes according to the magnitude of the first stage motion vector MVb1. MVb22 can be detected.
[0154]
Subsequently, when the motion vector detector 21 is in the third motion vector detection processing mode, as shown in FIG. 8, the first address generator 27 corresponds to the second macroblock data D4 subject to motion vector detection. For example, on the reference original image FG3 that is two frames past in time from the original image FG2, the reference layer is centered on the position corresponding to the end point w3 of one of the second-stage motion vectors MVb21 or MVb22 detected earlier. For example, a sixth search region TR6 having ± 1 pixel in the horizontal direction and ± 1 line in the vertical direction is determined so as to compensate for the missing pixel when generating the block data D10.
[0155]
As a result, the original image prediction error calculator 30 sequentially blocks the sixth search region TR6 while searching for the macroblock image MG2 based on the second macroblock data D4 as the motion vector detection target. Among the second block images BG2 sequentially associated with the macro block image MG2 in the sixth search region TR6 using the above-described equations (6), (7) and (8), this macro block is selected. A second block image BG2 that most closely matches the image MG2 is detected, and a second-stage motion vector MVb21 at the original image level based on the amount of motion between the detected second block image BG2 and the macroblock image MG2. Alternatively, a third-stage motion vector MVb3 that corrects MVb22 is detected.
[0156]
When the original image prediction error calculator 30 detects the second-stage motion vector MVb21 in the above-described second-stage motion vector detection process because the motion amount of the macroblock image MG2 is relatively small, formula
[0157]
[Expression 23]

[0158]
In order to compensate for missing pixels when generating a hierarchical image, the addition result of the first-stage motion vector MVb1 and the second-stage motion vector MVb21 is doubled, The motion vector MVB1 between the final two frames of the macroblock image MG2 is detected by adding the stage motion vectors MVb3.
[0159]
Further, since the motion amount of the macroblock image MG2 is relatively large, in the case where the second-stage motion vector MVb22 is detected in the second-stage motion vector detection process described above,
[0160]
[Expression 24]

[0161]
In order to compensate for missing pixels when generating a hierarchical image, the addition result of the first-stage motion vector MVb1 and the second-stage motion vector MVb22 is doubled, The motion vector MVB2 between the final two frames of the macroblock image MG2 is detected by adding the stage motion vectors MVb3.
[0162]
Thus, in this motion vector detector 21, the amount of motion of the macro block image MG2 is relatively large by changing the processing content of the second motion vector detection processing mode in accordance with the amount of motion of the macro block image MG2. Even in this case, the final motion vector can be accurately detected.
[0163]
In this embodiment, when the motion vector detector 21 detects the motion vector of the second macroblock data D4 to which the B picture is assigned, either the forward or backward motion vector detection processing is performed. The second macro to which one of the fourth or fifth search region TR4 or TR5 is selected based on the first-stage motion vector detected by, and to which the B picture is assigned. An increase in the calculation amount of the prediction error when detecting the motion vector of the block data D4 can be prevented.
[0164]
In the case of this embodiment, the motion vector detector 21 uses the second macroblock data D4 to which the B picture is assigned as a reference only because it is used only in the first stage of the motion vector detection process. From the second macro block data D4 to which the B picture is assigned, reference hierarchical block data consisting only of the low frequency component of the data of the top field tf is generated, and thereby the reference hierarchical block data is stored. The storage capacity of the hierarchical image memory 28 is reduced.
[0165]
(3) Operation and effect of the present embodiment
In the above configuration, the motion vector detector 21 of the encoding device 20 determines the size and position of the third search region TR3 on the second reference layer image SG2 in the first motion vector detection processing mode. The first stage motion vector MVb1 between the adjacent frames in the lowermost layer is compared by sequentially blotting while searching in the third search region TR3 using the second basic layer image KG2. Detect rough.
[0166]
Next, in the second motion vector detection processing mode, the motion vector detector 21 performs processing with either the fourth search region TR4 or the fifth search region TR5 according to the magnitude of the first-stage motion vector MVb1. And select.
[0167]
If the magnitude of the first-stage motion vector MVb1 is smaller than the comparison value Sxt, it is determined that the amount of motion of the macroblock image MG2 is relatively small, and the fourth search is performed on the third reference layer image SG3. By determining the position of the region TR4 and sequentially blocking in the fourth search region TR4 while searching with the third basic layer image KG3, the second region between adjacent frames in the upper layer than the lowermost layer is searched. A stage motion vector MVb21 is detected.
[0168]
On the other hand, if the magnitude of the first-stage motion vector MVb1 is equal to or greater than the comparison value Sxt, it is determined that the amount of motion of the macroblock image MG2 is relatively large, and the fifth reference layer image SG4 has a fifth value. The position of the search region TR5 is determined, and by sequentially blocking while searching the fourth search region TR42 with the fourth basic layer image KG4, the adjacent regions in the upper layer than the lowermost layer are adjacent to each other. A second-stage motion vector MVb22 is detected.
[0169]
Subsequently, the motion vector detector 21 determines the size and position of the sixth search region TR6 on the reference original image FG3 based on the second-stage motion vector MVb21 or MVb22 in the third motion vector detection processing mode. Then, the third stage motion vector MVb3 which corrects the second stage motion vector MVb21 or MVb22 by sequentially blocking within the sixth search region TR6 while searching with the macroblock image MG2. Is detected.
[0170]
Then, the motion vector detector 21 is based on the first-stage and second-stage and third-stage motion vectors MVb1 and MVb21 and MVb3, or the first-stage and second-stage and third-stage motion vectors MVb1 and MVb22 and MVb3. Then, the motion vector between the final two frames of the macroblock image MG2 is detected.
[0171]
Therefore, in the motion vector detector 21, in the second-stage motion vector detection process, either the fourth search area TR4 or the fifth search area TR5 is selected according to the magnitude of the first-stage motion vector MVb1. Therefore, the second-stage motion vector MVb21 or MVb22 can be accurately detected according to the amount of motion of the macroblock image MG2.
[0172]
The motion vector detector 21 detects the second-stage motion vector MVb21 using the low-frequency component and the high-frequency component when the magnitude of the first-stage motion vector MVb1 is smaller than the comparison value Sxt. On the other hand, when the magnitude of the first-stage motion vector MVb1 is equal to or larger than the comparison value Sxt, the second-stage motion vector MVb22 is detected using only the low-frequency component. MVb21 and MVb22 The The amount of calculation of the prediction error for detection can be made substantially equal.
[0173]
Furthermore, since the motion vector detector 21 detects the two types of second-stage motion vectors MVb21 and MVb22 with the same circuit, a circuit is used to detect and distinguish motion vectors according to the amount of motion of the macroblock image MG2. An increase in scale can be prevented.
[0174]
Further, the motion vector detector 21 can accurately detect the motion vector of only the portion having motion on the original image FG2 by detecting the motion vector in units of macroblocks.
[0175]
According to the above configuration, the first step between the fields between two adjacent frames is performed by performing blockching while searching the second basic layer image KG2 in the third search region TR3 in the lowest layer. The motion vector MVb1 is detected, and either the fourth search region TR4 or the fifth search region TR5 and the processing content in the upper layer than the lowermost layer according to the magnitude of the detected first-stage motion vector MVb1 Is selected to detect either the second-stage motion vector MVb21 or MVb22, so that the second-stage motion vector MVb22 can be accurately detected even when the amount of motion of the macroblock image MG2 is relatively large. As a result, the final motion vector MVB2 can also be accurately detected, and the macroblock is thus detected. It is possible to realize a motion vector detecting method and a motion vector detecting device capable of accurately detecting a motion vector regardless of the movement amount of the image MG2.
[0176]
(4) Other embodiments
In the above-described embodiment, the case where the motion vector detector 21 detects the motion vector between the two frames of the second macroblock data D4 as the motion vector detection target has been described. Not limited to this, a motion vector between at least two frames of the second macroblock data D4 as a motion vector detection target may be detected.
[0177]
In this case, the motion vector detector 21 sequentially detects a first-stage motion vector between fields between adjacent frames by a first-stage motion vector detection process until one frame before the desired frame, and obtains the desired frame and its 1 A second-stage motion vector between frames before the frame is detected in an upper layer than the lowermost layer by a second-stage motion vector detection process. Even if it does in this way, the effect similar to embodiment mentioned above can be acquired.
[0178]
In the above-described embodiment, the case where the motion vector between the two frames of the second macroblock data D4 to be detected by the motion vector is detected using the hierarchical image has been described. Not limited to this, a motion vector between at least two frames of the second macroblock data D4 subject to motion vector detection may be detected at the source image level.
[0179]
That is, in this case, until one frame before the frame to be obtained, motion vectors between adjacent frames or fields between the frames are sequentially detected, and the frame to be obtained according to the magnitude of the detected motion vector and the one frame thereof The size of the search area between the previous frames is determined to detect the motion vector between the obtained frame and the previous frame, and the motion vectors obtained in this way are combined so that the final at least A motion vector between two frames may be detected. In this case as well, a motion vector can be accurately detected according to the amount of motion of the second macroblock data D4 to be detected as a motion vector.
[0180]
Furthermore, in the above-described embodiment, the case where the second basic layer image KG2 including the low-frequency component of the top field tf is used in the first motion vector detection processing mode has been described. Not limited to the second basic layer image KG2, the first step is performed by using an image including only the low-frequency component of the bottom field bf, only the high-frequency component of the top field tf, or only the high-frequency component of the bottom field bf. The motion vector MVb1 may be detected.
[0181]
Furthermore, in the above-described embodiment, a case is described in which the second-stage motion vector MVb22 is detected using only the low-frequency component when the magnitude of the first-stage motion vector MVb1 is equal to or greater than the comparison value Sxt. However, the present invention is not limited to this, and the second-stage motion vector may be detected using only the high-frequency component at this time.
[0182]
Further, in the above-described embodiment, the case where the present invention is applied to the encoding apparatus 20 to which MPEG2 is applied has been described. However, the present invention is not limited to this, and the code to which the MPEG1 frame structure is applied is described. The present invention may be applied to a digitizing device or a motion vector detecting device.
[0183]
Further, in the above-described embodiment, when the motion vector detector 21 shifts from the third motion vector detection processing mode to the second encoding processing mode, the switches of the third and fourth switchers 23 and 24 are switched. Although the case where each is connected to the first contact A has been described, the present invention is not limited to this, and the third motion vector detection processing mode is changed to the third motion vector detection processing mode. And the switches of the fourth switchers 23 and 24 may be connected to the first contact A, respectively, so that the third stage motion vector detection process is executed while the second encoding process mode is being executed. The second macroblock data D4 can be processed.
[0184]
Furthermore, in the above-described embodiment, the case where the number of pixels in the horizontal direction of the first-stage motion vector MVb1 is set to the predetermined comparison value Sxt has been described. However, the present invention is not limited to this, and the first stage Various other values such as the number of pixels in the vertical direction of the motion vector MVb1 and a predetermined threshold value can be used as comparison values.
[0185]
Furthermore, in the above-described embodiment, one of the fourth search region TR4 and the fifth search region TR5 set in advance based on the comparison result between the magnitude of the first-stage motion vector MVb1 and the comparison value Sxt. However, the present invention is not limited to this, and the size of the search area may be determined according to the magnitude of the first-stage motion vector MVb1.
[0186]
Furthermore, in the above-described embodiment, motion vectors between fields are sequentially detected from the first frame to the third frame one frame before the second frame, and between adjacent frames below the desired layer. The case where the hierarchical image prediction error calculator 31 and the hierarchical image generator 26 are applied as the first motion vector detection means is described. However, the present invention is not limited to this, and the second frame to the second frame If the motion vectors between the fields in adjacent frames in the layer lower than the desired layer can be sequentially detected until the third frame one frame before the other frame, various other first motion vector detection means May be applied.
[0187]
Furthermore, in the above-described embodiment, the motion vector between the third and second frames in the desired hierarchy is detected according to the magnitude of the motion vector MVb1 detected by the first motion vector detection means. Although the case where the selection processor 32 and the second address generator 29 are applied as the determining means for determining the size and position of the search area has been described, the present invention is not limited to this, and the first motion vector is not limited thereto. If the size and position of the search area for detecting the motion vector between the third and second frames in the desired hierarchy can be determined according to the size of the motion vector MVb1 detected by the detection means, Various other determination means may be applied.
[0188]
Furthermore, in the above-described embodiment, the hierarchical image prediction error calculator 31 is applied as the second motion vector detection unit that detects the motion vector between the third and second frames based on the determination by the determination unit. However, the present invention is not limited to this, and various other second motion vector detection can be performed as long as the motion vector between the third and second frames can be detected based on the determination by the determination means. You may make it apply a means.
[0189]
【The invention's effect】
As described above, according to the present invention, In a motion vector detection method for detecting a motion vector from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames, From the first frame , One frame before the second frame Between adjacent frames, up to the third frame In the lower hierarchy than the desired hierarchy The motion vectors between the fields are detected sequentially, and the detected Between fields Depending on the magnitude of the motion vector In the desired hierarchy Determining the size and position of the search region for detecting a motion vector between the third and second frames; Concerned Decision Search area On the basis of the In the desired hierarchy Detect motion vector between 3rd and 2nd frame Then, the motion vectors between all the fields in the lower layer than the desired layer detected in this way and the motion vectors between the third and second frames in the desired layer are synthesized to obtain the first in the desired layer of the unit block. Motion vector from the first frame to the second frame is detected By doing so, even if the amount of movement of the unit block is relatively large In the desired hierarchy A motion vector detection method that can accurately detect the motion vector between the third and second frames and can accurately detect the motion vector regardless of the amount of motion of the unit block can be realized.
[0190]
Also In a motion vector detection device for detecting a motion vector from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames, From the first frame , One frame before the second frame Until the third frame, Between adjacent frames, Below the desired level In layers Sequentially detect motion vectors between fields First motion vector detecting means for The concerned By the first motion vector detection means detection Is The Between fields Determine the size and position of the search area for detecting the motion vector between the third and second frames in the desired hierarchy according to the size of the motion vector With the decision means to , By the decision means Decision Search area On the basis of the In the desired hierarchy Detect a motion vector between the third and second frames The second motion vector detection means, the motion vectors between all the fields below the desired hierarchy detected by the first motion vector detection means, and the first motion vector in the desired hierarchy detected by the second motion vector detection means. And a third motion vector detecting means for detecting a motion vector from the first frame to the second frame in a desired hierarchy of the unit block by combining the motion vectors between the third frame and the second frame. By doing so, even when the amount of movement of the unit block is relatively large In the desired hierarchy Motion vector detection that can accurately detect the motion vector between the third and second frames, and thus can accurately detect the motion vector regardless of the motion amount of the unit block. apparatus Can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a circuit configuration of an encoding apparatus according to the present invention.
FIG. 2 is a block diagram showing an embodiment of a circuit configuration of a motion vector detector according to the present invention.
FIG. 3 is a schematic diagram for explaining the generation of base layer block data.
FIG. 4 is a schematic diagram for explaining the generation of reference hierarchy block data.
FIG. 5 is a schematic diagram schematically illustrating a first-stage motion vector detection process.
FIG. 6 is a schematic diagram schematically illustrating a second-stage motion vector detection process when the first-stage motion vector is small.
FIG. 7 is a schematic diagram schematically illustrating a second-stage motion vector detection process when the first-stage motion vector is large.
FIG. 8 is a schematic diagram schematically illustrating a third-stage motion vector detection process.
FIG. 9 is a schematic diagram schematically illustrating a general encoding method based on the MPEG2 method.
FIG. 10 is a block diagram showing a circuit configuration of a conventional encoding device.
FIG. 11 is a schematic diagram schematically illustrating a conventional generation of a first basic layer image.
FIG. 12 is a schematic diagram schematically illustrating a conventional first reference layer image generation.
FIG. 13 is a schematic diagram schematically illustrating a conventional first-stage motion vector detection process.
FIG. 14 is a schematic diagram schematically illustrating a second-stage motion vector detection process in the related art.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 20 ... Encoding device, 21 ... Motion vector detector, 26 ... Hierarchical image generator, 28 ... Hierarchical image memory, 29 ... Second address generator, 31 ... Hierarchical image prediction error calculator, 32... Selection processor, D1... First macroblock data, D4... Second macroblock data, D10... Reference layer block data, D11... Base layer block data, D12. Block data, D13 ... first motion vector data, D14 ... second reference block data, D15 ... second motion vector data, D16 ... third reference block data, D17 ... motion vector data, MVb1... First stage motion vector, MVb21, MVb22... Second stage motion vector, MVb3... Third stage motion vector, MG2. Lock image, FG2 ... original image, FG3 ... reference original image, SG2 ... second reference layer image, SG3 ... third reference layer image, SG4 ... fourth reference layer image, KG2 ... first 2 basic layer images, KG3 ... third basic layer image, KG4 ... fourth basic layer image, BK2 ... second block layer image, BK3 ... third block layer image, BK4 ... first 4 block hierarchy images, BG2... Second block image, TR3... Third search region, TR4... Fourth search region, TR5... Fifth search region, TR6. .

Claims (8)

In a motion vector detection method for detecting a motion vector from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames,
From the first frame until the third frame of one frame before the second frame, between adjacent frames, the sequentially detects motion vectors between fields for definitive under layer than the desired hierarchy 1 step,
The size and position of the search area for detecting the motion vector between the third and second frames in the desired hierarchy are determined according to the magnitude of the motion vector between the fields detected in the first step. A second step to
A third step for detecting the motion vector between the third and second frame in the desired hierarchy based on the search area determined in the second step,
All the motion vectors between the fields below the desired layer detected in the first step, and the motion vectors between the third and second frames in the desired layer detected in the third step; And a fourth step of detecting the motion vector from the first frame to the second frame in the desired hierarchy of the unit block . In the second step,
The size and position of the search area are determined based on a comparison result obtained by comparing the magnitude of a motion vector between the fields detected in the first step with a predetermined comparison value. Item 2. The motion vector detection method according to Item 1 . In the second step,
When a coding method using bi-directional motion compensated inter-frame prediction is assigned to the unit block, the motion vector between the forward fields detected in the first step or the motion between the backward fields. The motion vector detection method according to claim 1 , wherein the size and position of the search area are determined according to the size of one of the vectors. In the second step,
Above for the magnitude of the motion vector between the detected above field is larger than the comparison value for the first step, the search area size of the motion vector between the field detected in the first step the data amount of the layer image used to detect a motion vector between said comparison values wider than said search area smaller than, and the desired hierarchy definitive the third and second frame, the first data size of the motion vector between the fields detected in step of the hierarchical image used for detecting a motion vector between definitive the third and second frame in the desired hierarchy is smaller than the comparison value The motion vector detection method according to claim 2 , wherein the motion vector detection method is less than the amount. In a motion vector detection device for detecting a motion vector from a first frame in a desired layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames,
From the first frame until the third frame of one frame before the second frame, between adjacent frames, the sequentially detects motion vectors between fields for definitive under layer than the desired hierarchy 1 motion vector detection means;
The between the first motion vector is by Ri detected in the detection means the above field of motion vectors magnitude depending on the search area to detect the motion vector between the third and second frame in the desired hierarchy Determining means for determining size and position;
A second motion vector detecting means for detecting a motion-out vector between the third and second frame in the desired hierarchy based on the search area determined above by the determining means,
All the motion vectors between the fields below the desired hierarchy detected by the first motion vector detection means, and the third and third motion vectors in the desired hierarchy detected by the second motion vector detection means. And a third motion vector detecting means for detecting the motion vector from the first frame to the second frame in the desired hierarchy of the unit block by combining the motion vectors between the two frames. A motion vector detecting device characterized by that. The determination means is
Determining the size and position of the search area on the basis of a comparison result obtained is compared with a predetermined comparison value the magnitude of the motion vectors between the detected the field Ri by the above-described first motion vector detection means The motion vector detection apparatus according to claim 5 , wherein: The determination means is
If the encoded system using prediction between bidirectional motion compensated frame to the unit block is assigned, the motion vector or backward between the first motion vector detection means by Ri detected forward in the field The motion vector detection device according to claim 5 , wherein the size and position of the search region are determined according to the size of any one of the motion vectors between the fields . The determination means is
Above for the magnitude of the motion vector between the first motion vector detected Ri by the detection means the above Symbol field is greater than the comparison value, more detect the search area on the first motion vector detecting means because magnitude of the motion vector between said field is wider than the search area of smaller than the comparison value, and detects a motion vector between said desired hierarchy definitive said third and second frame the data amount of the layer image to be used for, the first motion vector detecting means the desired hierarchy definitive said third and if more the magnitude of the motion vectors between the detected said field is less than the comparison value to the The motion vector detection device according to claim 6 , wherein the motion vector detection device reduces the data amount of the hierarchical image used for detecting a motion vector between two frames. .

Images