JP3944804B2 - Motion vector detection method and apparatus - Google Patents

Description

【００３４】
で表されるように、マクロブロツク画像ＭＧ１のトツプフイールドｔｆの各画素位置（ｉ，ｊ）の輝度レベルｄと、第１のブロツク画像ＢＧ１のそれぞれ対応させた画素位置（ｍ，ｎ）の輝度レベルＤとの差分の絶対値の総和を算出するようにして求める。
【００３５】
またこのマクロブロツク画像ＭＧ１のボトムフイールドｂｆに対する予測誤差ＢＤｂ_(m,n) を次式
【００３６】
【数２】

【００３７】
で表されるように、このマクロブロツク画像ＭＧ１のボトムフイールドｂｆの各画素位置（ｉ，ｊ）の輝度レベルｄと、第１のブロツク画像ＢＧ１のそれぞれ対応させた画素位置（ｍ，ｎ）の輝度レベルＤとの差分の絶対値の総和を算出するようにして求める。
【００３８】
そしてマクロブロツク画像ＭＧ１と第１のブロツク画像ＢＧ１とのフレーム間における予測誤差ＢＤｆ_(m,n) を次式
【００３９】
【数３】

【００４０】
で表されるように、対応する予測誤差ＢＤｔ_(m,n) 及び予測誤差ＢＤｂ_(m,n) 同士を順次加算して求め、この予測誤差ＢＤｆ_(m,n) の値が最も最小となるときの第１のブロツク画像ＢＧ１をマクロブロツク画像ＭＧ１と最も一致するものとして検出することにより、これら第１のブロツク画像ＢＧ１とマクロブロツク画像ＭＧ１との間の動き量に基づいて動きベクトルＭＶを検出する。
【００４１】
ところでマクロブロツク画像ＭＧ１の例えば２フレーム間の動きベクトルを検出する場合には、当該マクロブロツク画像ＭＧ１がその２フレーム間に亘つて動くことを考慮して第１の探索領域ＴＲ１をマクロブロツク画像ＭＧ１の１フレーム間の動きベクトルを検出するときの探索領域に比べて広くする（例えば４倍程度に広くする）必要がある。
【００４２】
このためこの場合には、予測誤差を算出するための演算量が増大することから、動きベクトル検出器１４の回路規模を比較的増大させる必要がある。
【００４３】
従つて、最近では、動きベクトルの検出精度をある程度犠牲にしたり、探索領域の大きさを小さくする等して演算量を削減することにより、動きベクトル検出器１４の回路規模を減少させるための種々の方法が考えられている。
【００４４】
ここで演算量を削減し得る動きベクトル検出方法の１つとして、マクロブロツク画像ＭＧ１及び参照原画像ＦＧ２の第１の探索領域ＴＲ１からそれぞれ画素を減らすように縮小してなる（例えば1/4 程度に縮小）階層画像を生成し、当該生成した階層画像と、マクロブロツク画像ＭＧ１及び参照原画像ＦＧ２とを階層的に用いて動きベクトルを検出する方法（以下、これを階層サーチ法と呼ぶ）がある。
【００４５】
実際上この階層サーチ法では、図１１（Ａ）及び（Ｂ）に示すように、マクロブロツク画像ＭＧ１上でトツプフイールドｔｆ及びボトムフイールドｂｆの第１の特徴量でなる低域成分ｌｆ_(q,r) を次式
【００４６】
【数４】

【００４７】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置（ｑ，ｒ）でそれぞれ水平方向に２画素及び垂直方向に２ラインでなる対応するブロツク内の４画素の輝度レベルｄの平均値を算出するようにして求めることにより、トツプフイールドｔｆ及びボトムフイールドｂｆの低域成分でなる階層画像（以下、これを第１の基本階層画像と呼ぶ）ＫＧ１を生成する。
【００４８】
またこの階層サーチ法では、図１２（Ａ）及び（Ｂ）に示すように、参照原画像ＦＧ２の第１の探索領域ＴＲ１内のトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分Ｌｆ_(q,r) を次式
【００４９】
【数５】

【００５０】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置（ｑ，ｒ）でそれぞれ水平方向に２画素及び垂直方向に２ラインでなる対応するブロツク内の４画素の輝度レベルＤの平均値を算出するようにして求めることにより、トツプフイールドｔｆ及びボトムフイールドｂｆの低域成分でなる階層画像（以下、これを第１の参照階層画像と呼ぶ）ＳＧ１を生成する。
【００５１】
因みに上述した（４）式及び（５）式では、変数ｆｉに「０」を代入することによりトツプフイールドｔｆの低域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの低域成分を求めることができる。
【００５２】
次いで階層サーチ法では、図１３に示すように、まず動きベクトル検出処理の第１段階において、第１の参照階層画像ＳＧ１内を第１の基本階層画像ＫＧ１によつてサーチしながら順次ブロツクマツチングすることにより当該第１の基本階層画像ＫＧ１のトツプフイールドｔｆに対する予測誤差ｂｄｔ_(q,r) を次式
【００５３】
【数６】

【００５４】
で表されるように、この第１の基本階層画像ＫＧ１のトツプフイールドｔｆの各低域成分と、第１の参照階層画像ＳＧ１内の（第１の基本階層画像ＫＧ１と対応させた）第１のブロツク階層画像ＢＫ１のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【００５５】
またこの第１の基本階層画像ＫＧ１のボトムフイールドｂｆに対する予測誤差ｂｄｂ_(q,r) を次式
【００５６】
【数７】

【００５７】
で表されるように、この第１の基本階層画像ＫＧ１のボトムフイールドｂｆの各低域成分と、第１のブロツク階層画像ＢＫ１のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【００５８】
そして第１の基本階層画像ＫＧ１と第１のブロツク階層画像ＢＫ１とのフレーム間の予測誤差ｂｄｆ_(q,r) を次式
【００５９】
【数８】

【００６０】
で表されるように、対応する予測誤差ｂｄｔ_(q,r) 及び予測誤差ｂｄｂ_(q,r) 同士を順次加算して求め、当該求めた予測誤差ｂｄｆ_(q,r) の値が最も最小となるときの第１のブロツク階層画像ＢＫ１を第１の基本階層画像ＫＧ１と最も一致するものとして検出することにより、当該検出した第１のブロツク階層画像ＢＫ１と第１の基本階層画像ＫＧ１との間の動き量に基づいて最下層における２フレーム間の動きベクトルを第１段階の動きベクトルＭＶａ１として検出する。
【００６１】
続いてこの階層サーチ法では、図１４に示すように、動きベクトル検出処理の第２段階において、参照原画像ＦＧ２上で第２の探索領域ＴＲ２を決定し、当該第２の探索領域ＴＲ２内をマクロブロツク画像ＭＧ１でサーチしながら順次ブロツクマツチングすることにより、上述した（１）式〜（３）式を用いて予測誤差を求めるようにして、かくして原画像レベルで第１段階の動きベクトルＭＶａ１を補正するような第２段階の動きベクトルＭＶａ２を検出する。
【００６２】
そしてこの階層サーチ法では、次式
【００６３】
【数９】

【００６４】
で表されるように、階層画像を生成する際に欠落した画素数を補うように第１段階の動きベクトルＭＶａ１を２倍にし、これに第２段階の動きベクトルＭＶａ２を加算することによりマクロブロツク画像ＭＧ１の最終的な２フレーム間の動きベクトルＭＶａ３を検出する。
【００６５】
ところでこのような階層サーチ法では、マクロブロツク画像ＭＧ１の２フレーム間の動きベクトルを検出した場合、低域成分のみを用いて第１段階の動きベクトルＭＶａ１を検出するようにして検出精度を犠牲にしたり、探索領域を大幅に小さくする分、予測誤差の演算量を削減できる利点がある。
【００６６】
しかしながらこの階層サーチ法では、動きベクトルの検出と共にリアルタイムで参照原画像ＦＧ２から第１の参照階層画像ＳＧ１を生成するための新たな演算が必要となり、このため動きベクトルの検出時の全体の演算量を大幅には削減し難く、この結果として回路規模の低減も実現し難い問題があつた。
【００６７】
本発明は以上の点を考慮してなされたもので、回路規模を大幅に低減し得る動きベクトル検出方法及び装置を提案しようとするものである。
【００６８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、符号化対象の映像データから分割された所定の単位ブロツクの第１の階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出方法において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、複数画素毎の平均値を示す第１の特徴量に基づき、又は各画素毎と、対応する第１の特徴量とのばらつき度合いを示す第２の特徴量に基づき、隣接するフレーム間で第１の階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１のステツプと、当該第１のステツプにおいて検出したフイールド間の動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する第２のステツプと、各第１の特徴量及び各第２の特徴量並びに当該探索領域に基づき、第１の階層における第３及び第２のフレーム間の動きベクトルを検出する第３のステツプと、第１のステツプにおいて検出した第１の階層よりも下層における全てのフイールド間の動きベクトルと、第３のステツプにおいて検出した第１の階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの第１の階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第４のステツプとを設けるようにした。
【００６９】
この結果、第１の階層よりも下層では隣接するフレーム間でフイールド間の動きベクトルを検出することにより予測誤差の演算量を大幅に低減させることができ、第１の階層における第３及び第２のフレーム間の動きベクトルの検出時には探索領域の大きさを従来に比べて大幅に小さくして予測誤差の演算量を大幅に低減させることができる。
【００７０】
また本発明においては、符号化対象の映像データから分割された所定の単位ブロツクの第１の階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出装置において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、複数画素毎の平均値を示す第１の特徴量に基づき、又は各画素毎と、対応する第１の特徴量とのばらつき度合いを示す第２の特徴量に基づき、隣接するフレーム間で第１の階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１の動きベクトル検出手段と、当該第１の動きベクトル検出手段により検出されたフイールド間の動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段と、各第１の特徴量及び各第２の特徴量並びに当該探索領域に基づき、第１の階層における第３及び第２のフレーム間の動きベクトルを検出する第２の動きベクトル検出手段と、第１の動きベクトル検出手段により検出された第１の階層よりも下層における全てのフイールド間の動きベクトルと、第２の動きベクトル検出手段により検出された第１の階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの第１の階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第３の動きベクトル検出手段とを設けるようにした。
【００７１】
この結果、第１の階層よりも下層では隣接するフレーム間でフイールド間の動きベクトルを検出することにより予測誤差の演算量を大幅に低減させることができ、第１の階層における第３及び第２のフレーム間の動きベクトルの検出時には探索領域の大きさを従来に比べて大幅に小さくして予測誤差の演算量を大幅に低減させることができる。
【００７２】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００７３】
（１）本実施の形態による符号化装置の構成
図９との対応部分に同一符号を付して示す図１において、２０は全体として本実施の形態による符号化装置を示し、動きベクトル検出器２１の構成を除いて従来の符号化装置１と同様に構成されている。
【００７４】
この符号化装置２０において動きベクトル検出器２１は、入力処理部２から与えられる第１及び第２のマクロブロツクデータＤ１及びＤ４を参照データとして用いて階層的な動きベクトル検出処理を順次実行し、これにより動きベクトル検出対象の第２のマクロブロツクデータＤ４の２フレーム間の動きベクトルを検出するようになされている。
【００７５】
この場合図２に示すように、動きベクトル検出回路２１においては、全体がＣＰＵ２２によつて制御されており、まず第１の符号化処理モード時、第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続する。
【００７６】
この状態において入力処理部２から順次出力される第１のマクロブロツクデータＤ１は、フレームメモリ構成でなる原画像メモリ２５に供給されると共に、第３の切換え器２３を介して階層画像生成器２６に供給される。
【００７７】
このとき原画像メモリ２５は、第１のアドレス生成器２７からアドレス情報が与えられており、これにより入力処理部２から順次与えられる第１のマクロブロツクデータＤ１をアドレス情報によつて指定されたアドレス位置に書き込み、このようにして第１のフレームデータを再構成する。
【００７８】
また階層画像生成器２６は、入力処理部２から与えられる第１のマクロブロツクデータＤ１に基づいてそのトツプフイールド及びボトムフイールドの低域成分及び第２の特徴量でなる高域成分でなる参照階層ブロツクデータＤ１０を生成してこれを第４の切換え器２４を介してフレームメモリ構成でなる階層画像メモリ２８に送出する。
【００７９】
階層画像メモリ２８は、このとき第２のアドレス生成器２９からアドレス情報が与えられており、これにより階層画像生成器２６から順次与えられる参照階層ブロツクデータＤ１０をアドレス情報によつて指定されたアドレス位置に書き込む。
【００８０】
またこの動きベクトル検出器２１では、第２の符号化処理モード時、第３及び第４の切換え器２３及び２４のスイツチが第１の接点Ａに接続されたままの状態において、入力処理部２から第２のマクロブロツクデータＤ４が原画像メモリ２５に供給されると共に、第３の切換え器２３を介して階層画像生成器２６に供給される。
【００８１】
原画像メモリ２５は、入力処理部２から与えられる第２のマクロブロツクデータＤ４を、第１のアドレス生成器２７から与えられるアドレス情報によつて指定されたアドレス位置に書き込む。
【００８２】
階層画像生成器２６は、上述した参照階層ブロツクデータＤ１０の生成時と同様にして、入力処理部２から与えられる第２のマクロブロツクデータＤ４に基づいてそのトツプフイールド及びボトムフイールドの低域成分及び高域成分でなる参照階層ブロツクデータＤ１０を生成し、これを第４の切換え器２４を介して階層画像メモリ２８に送出する。
【００８３】
これにより階層画像メモリ２８は、階層画像生成器２６から与えられる参照階層ブロツクデータＤ１０を第２のアドレス生成器２９から与えられるアドレス情報によつて指定されたアドレス位置に書き込む。
【００８４】
そしてこの動きベクトル検出器２１では、入力処理部２から与えられる１つの第２のマクロブロツクデータＤ４に対して上述した処理が終了すると、第２の符号化処理モードから第１の動きベクトル検出処理モードに移つて第１段階の動きベクトル検出処理を開始し、第３及び第４の切換え器２３及び２４のスイツチを第２の接点Ｂに接続する。
【００８５】
この状態において原画像メモリ２５は、第２の符号化処理モード時に格納した第２のマクロブロツクデータＤ４を第１のアドレス生成器２７から与えられるアドレス情報に基づいて読み出し、当該読み出した第２のマクロブロツクデータＤ４を動きベクトル検出対象として原画像予測誤差演算器３０に送出すると共に第３の切換え器２３を介して階層画像生成器２６に送出する。
【００８６】
階層画像生成器２６は、原画像メモリ２５から与えられる第２のマクロブロツクデータＤ４に基づいてその低域成分及び高域成分でなる基本階層ブロツクデータＤ１１を生成してこれを第４の切換え器２４を介して階層画像予測誤差演算器３１に送出する。
【００８７】
このとき第２のアドレス生成器２９には、ＣＰＵ２２から第２のマクロブロツクデータＤ４に基づくマクロブロツク画像の原画像上での位置情報が与えられると共に、前方向又は後方向のいずれの動き補償フレーム間予測を実行するのかを表す予測方向情報が与えられる。
【００８８】
これにより第２のアドレス生成器２９は、その位置情報及び予測方向情報に基づいて、動きベクトル検出対象の第２のマクロブロツクデータＤ４よりも時間的に例えば１フレーム過去の１フレーム分の各参照階層ブロツクデータＤ１０の低域成分に基づく画像（以下、これを第２の参照階層画像と呼ぶ）上で第３の探索領域の大きさ及び位置を決定し、当該第３の探索領域内に位置する参照階層ブロツクデータＤ１０の低域成分を選定する。そして選定した参照階層ブロツクデータＤ１０の低域成分に対するアドレス情報を生成してこれを階層画像メモリ２８に送出する。
【００８９】
これにより階層画像メモリ２８は、第２のアドレス生成器２９から与えられるアドレス情報に基づいて、指定されたアドレス位置に書き込まれている参照階層ブロツクデータＤ１０の低域成分を第１の参照ブロツクデータＤ１２として読み出して階層画像予測誤差演算器３１に送出する。
【００９０】
そして階層画像予測誤差演算器３１は、階層画像生成器２６から与えられた基本階層ブロツクデータＤ１１からそのトツプフイールドの低域成分を取り出し、当該取り出した低域成分と、階層画像メモリ２８から与えられた第１の参照ブロツクデータＤ１２とに基づいてブロツクマツチングすることにより最下層において隣接するフレーム間におけるフイールド間の動きベクトルを第１段階の動きベクトルとして検出し、これを第１の動きベクトルデータＤ１３として第２のアドレス生成器２９及び原画像予測誤差演算器３０に送出する。
【００９１】
次いで動きベクトル検出器２１では、第１段階の動きベクトルを検出すると、第１の動きベクトル検出処理モードから第２の動きベクトル検出処理モードに移り、第２段階の動きベクトル検出処理を開始する。
【００９２】
このとき第２のアドレス生成器２９は、階層画像予測誤差演算器３１から与えられる第１の動きベクトルデータＤ１３に基づいて、第２の参照階層画像よりもさらに時間的に例えば１フレーム過去の１フレーム分の各参照階層ブロツクデータＤ１０に基づく画像（以下、これを第３の参照階層画像と呼ぶ）上で第４の探索領域の大きさ及び位置を決定し、当該第４の探索領域内に位置する参照階層ブロツクデータＤ１０を選定する。そしてこの選定した参照ブロツクデータＤ１０に対するアドレス情報を生成し、これを階層画像メモリ２８に送出する。
【００９３】
これにより階層画像メモリ２８は、第２のアドレス生成器２９から与えられるアドレス情報に基づいて指定されたアドレス位置に書き込まれている参照階層ブロツクデータＤ１０を第２の参照ブロツクデータＤ１４として読み出して階層画像予測誤差演算器３１に送出する。
【００９４】
そして階層画像予測誤差演算器３１は、階層画像生成器２６から与えられた基本階層ブロツクデータＤ１１と、階層画像メモリ２８から与えられた第２の参照ブロツクデータＤ１４とに基づいてブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の動きベクトルを第２段階の動きベクトルとして検出し、これを第２の動きベクトルデータＤ１５として第１のアドレス生成器２７及び原画像予測誤差演算器３０に送出する。
【００９５】
続いて動きベクトル検出器２１では、第２段階の動きベクトルを検出すると、第２の動きベクトル検出処理モードから第３の動きベクトル検出処理モードに移つて第３段階の動きベクトル検出処理を開始する。
【００９６】
このとき第１のアドレス生成器２７は、階層画像予測誤差演算器３１から与えられる第２の動きベクトルデータＤ１５に基づいて、第２の参照階層画像に対応する（動きベクトル検出対象の第２のマクロブロツクデータＤ４よりも時間的に２フレーム分離れている）参照原画像上で第５の探索領域の大きさ及び位置を決定し、当該第５の探索領域内に位置する第１又は第２のマクロブロツクデータＤ１又はＤ４を選定する。そしてこの選定した第１又は第２のマクロブロツクデータＤ１又はＤ４に対するアドレス情報を生成し、これを原画像メモリ２５に送出する。
【００９７】
これにより原画像メモリ２５は、第１のアドレス生成器２７から与えられるアドレス情報に基づいて指定されたアドレス位置に書き込まれている第１又は第２のマクロブロツクデータＤ１又はＤ４を第３の参照ブロツクデータＤ１６として読み出して原画像予測誤差演算器３０に送出する。
【００９８】
原画像予測誤差演算器３０は、原画像メモリ２５から与えられた第２のマクロブロツクデータＤ４と、第３の参照ブロツクデータＤ１６とに基づいてブロツクマツチングすることにより原画像レベルで第２段階の動きベクトルを補正するような動きベクトルを第３段階の動きベクトルとして検出する。
【００９９】
そして原画像予測誤差演算器３０は、階層画像予測誤差演算器３１から与えられた第１段階及び第２段階の動きベクトルと、第３段階の動きベクトルとに基づいて第２のマクロブロツクデータＤ４の２フレーム間の最終的な動きベクトルを検出し、これを動きベクトルデータＤ１７として動き補償器１６及び可変長符号化器８に送出する。
【０１００】
かくしてこの動きベクトル検出器２１においては、第３段階の動きベクトル検出処理により最終的な動きベクトルを検出すると、再び第２の符号化処理モードに移つて第３及び第４の切換え器２３及び２４のスイツチをそれぞれ第１の接点Ａに接続し、この状態において入力処理部２から１つの第２のマクロブロツクデータＤ４が与えられる。
【０１０１】
そしてこの動きベクトル検出器２１では、この後入力処理部２から１つの第２のマクロブロツクデータＤ４が与えられる毎に上述したように第２の符号化処理モードから第３の動きベクトル検出処理モードまでの動きベクトル検出処理を順次繰り返し、かくして第２のマクロブロツクデータＤ４の動きベクトルを検出する。
【０１０２】
（２）動きベクトル検出処理
実際上この動きベクトル検出器２１では、第１の動きベクトル検出処理モード時、階層画像生成器２６によつて動きベクトル検出対象の第２のマクロブロツクデータＤ４のトツプフイールド及びボトムフイールドのデータからそれぞれ低域成分と高域成分とを取り出すようにして基本階層ブロツクデータＤ１１を生成する。
【０１０３】
すなわち階層画像生成器２６は、図３（Ａ）〜（Ｃ）に示すように、動きベクトル検出対象の第２のマクロブロツクデータＤ４に基づくマクロブロツク画像ＭＧ２上でトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分ｌｆ’_(q,r) を次式
【０１０４】
【数１０】

【０１０５】
で表されるように、フイールド毎に水平方向に４画素おき及び垂直方向に４ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度レベルｄの平均値を算出するようにして求めると共に、当該トツプフイールドｔｆ及びボトムフイールドｂｆの高域成分ａｆ’_(q,r) を次式
【０１０６】
【数１１】

【０１０７】
で表されるように、フイールド毎に水平方向に４画素おき及び垂直方向に４ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度レベルｄの平均値（すなわち低域成分）を算出し、この平均値と当該ブロツク内の各画素の輝度レベルｄとの差分の絶対値の平均値（各輝度レベルｄの低域成分に対するばらつきの度合い）を算出するようにして求めることにより、水平方向に４画素及び垂直方向に４ラインの低域成分（図３（Ｂ））と、水平方向に４画素及び垂直方向に４ラインの高域成分（図３（Ｃ））とからなる基本階層ブロツクデータＤ１１を生成する。
【０１０８】
因みにこの階層画像生成器２６では、第１及び第２の符号化処理モード時、参照用の第１又は第２のマクロブロツクデータＤ１又はＤ４のトツプフイールド及びボトムフイールドのデータからもそれぞれ低域成分と高域成分とを取り出すようにして参照階層ブロツクデータＤ１０を生成する。
【０１０９】
すなわち階層画像生成器２６は、図４（Ａ）〜（Ｃ）に示すように、参照用の第１又は第２のマクロブロツクデータＤ１又はＤ４に基づくマクロブロツク画像ＭＧ３上でトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分Ｌｆ’_(q,r) を次式
【０１１０】
【数１２】

【０１１１】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度レベルＤの平均値を算出するようにして求めると共に、トツプフイールドｔｆ及びボトムフイールドｂｆの高域成分Ａｆ’_(q,r) を次式
【０１１２】
【数１３】

【０１１３】
で表されるように、フイールド毎に水平方向に２画素おき及び垂直方向に２ラインおきの各位置でそれぞれ水平方向に４画素及び垂直方向に４ラインでなる対応するブロツク内の16画素の輝度レベルＤの平均値を算出し、その平均値と当該ブロツク内の各画素の輝度レベルＤとの差分の絶対値の平均値を算出するようにして求めることにより、水平方向に８画素及び垂直方向に８ラインの低域成分（図４（Ｂ））と、水平方向に８画素及び垂直方向に８ラインの高域成分（図４（Ｃ））とからなる参照階層ブロツクデータＤ１０を生成する。
【０１１４】
因みに上述した（10）式及び（12）式では、変数ｆｉに「０」を代入することにより、トツプフイールドｔｆの低域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの低域成分を求めることができる。また上述した（11）式及び（13）式では、変数ｆｉに「０」を代入することにより、トツプフイールドｔｆの高域成分を求めることができると共に、当該変数ｆｉに「１」を代入することによりボトムフイールドｂｆの高域成分を求めることができる。
【０１１５】
そしてこの動きベクトル検出器２１では、図５に示すように、第１の動きベクトル検出処理モード時、第２のアドレス生成器２９により位置情報及び予測方向情報に基づいて、第２の参照階層画像ＳＧ２上で、基本階層ブロツクデータＤ１１のトツプフイールドｔｆの低域成分に基づく画像（以下、これを第２の基本階層画像と呼ぶ）ＫＧ２の所定の１つの角ｗ１と対応する位置を中心にした例えば水平方向Ｓｘに±８画素及び垂直方向Ｓｙに±８ラインでなる第３の探索領域ＴＲ３を決定する。
【０１１６】
これにより階層画像予測誤差演算器３１は、第３の探索領域ＴＲ３内を第２の基本階層画像ＫＧ２によつてサーチしながら順次ブロツクマツチングすることにより、当該第２の基本階層画像ＫＧ２とこれに第３の探索領域ＴＲ３内で対応させた第２のブロツク階層画像ＢＫ２とにおいて、この第２の基本階層画像ＫＧ２のトツプフイールドｔｆに対する予測誤差ｂｄｔ’_(q,r) を次式
【０１１７】
【数１４】

【０１１８】
で表されるように、第２の基本階層画像ＫＧ２内のトツプフイールドｔｆの低域成分と、第２のブロツク階層画像ＢＫ２内のそれぞれ対応させた低域成分との差分の絶対値の総和を算出するようにして求める。
【０１１９】
そして順次求めた予測誤差ｂｄｔ’_(q,r) が最小となるときの第２のブロツク階層画像ＢＫ２を検出し、当該検出した第２のブロツク階層画像ＢＫ２と第２の基本階層画像ＫＧ２との間の動き量に基づいて、隣接するフレーム間におけるフイールド間の第１段階の動きベクトルＭＶｂ１を比較的粗く検出する。
【０１２０】
次いで動きベクトル検出器２１において第２の動きベクトル検出処理モード時、図６に示すように、第２のアドレス生成器２９は、低域成分及び高域成分でなる第３の参照階層画像ＳＧ３上で、第１段階の動きベクトルＭＶｂ１の終点ｗ２と対応する位置を中心にした例えば水平方向Ｓｘに±８画素及び垂直方向Ｓｙに±８ラインでなる第４の探索領域ＴＲ４を決定する。
【０１２１】
これにより階層画像予測誤差演算器３１は、第４の探索領域ＴＲ４内を基本階層ブロツクデータＤ１１に基づく画像（以下、これを第３の基本階層画像と呼ぶ）ＫＧ３によつてサーチしながら順次ブロツクマツチングすることにより、当該第３の基本階層画像ＫＧ３とこれに第４の探索領域ＴＲ４内で対応させた第３のブロツク階層画像ＢＫ３とにおいて、この第３の基本階層画像ＫＧ３のトツプフイールドｔｆに対する予測誤差ｂｄｔ”_(q,r) を次式
【０１２２】
【数１５】

【０１２３】
で表されるように、第３の基本階層画像ＫＧ３のトツプフイールドｔｆの各低域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和と、当該第３の基本階層画像ＫＧ３のトツプフイールドｔｆの各高域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和とを加算するようにして求める。
【０１２４】
また階層画像予測誤差演算器３１は、第３の基本階層画像ＫＧ３のボトムフイールドｂｆに対する予測誤差ｂｄｂ”_(q,r) を次式
【０１２５】
【数１６】

【０１２６】
で表されるように、第３の基本階層画像ＫＧ３のボトムフイールドｂｆの各低域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和と、当該第３の基本階層画像ＫＧ３のボトムフイールドｂｆの各高域成分と、第３のブロツク階層画像ＢＫ３のそれぞれ対応させた低域成分との差分の絶対値の総和とを加算するようにして求める。
【０１２７】
そして第３の基本階層画像ＫＧ３と第３のブロツク階層画像ＢＫ３とのフレーム間の予測誤差ｂｄｆ”_(q,r) を次式
【０１２８】
【数１７】

【０１２９】
で表されるように、対応する予測誤差ｂｄｔ”_(q,r) 及び予測誤差ｂｄｂ”_(q,r) 同士を順次加算して求め、順次求めた予測誤差ｂｄｆ”_(q,r) のうち、その値が最小となるときの第３のブロツク階層画像ＢＫ３と第３の基本階層画像ＫＧ３との間の動き量に基づいて、最下層よりも上層における隣接するフレーム間の（第２及び第３の参照階層画像ＳＧ３間で第１段階の動きベクトルＭＶｂ１につながる）第２段階の動きベクトルＭＶｂ２を第１段階の動きベクトルＭＶｂ１よりも検出精度を上げて検出する。
【０１３０】
続いてこの動きベクトル検出器２１において第３の動きベクトル検出処理モード時、図７に示すように、第１のアドレス生成器２７は、マクロブロツク画像ＭＧ２に対応する原画像ＦＧ３よりも時間的に例えば２フレーム過去の参照原画像ＦＧ４上で、第２段階の動きベクトルＭＶｂ２の終点ｗ３と対応する位置を中心にして、参照階層ブロツクデータＤ１０を生成する際に欠落した画素を補うように例えば水平方向に±１画素及び垂直方向に±１ラインでなる第５の探索領域ＴＲ５を決定する。
【０１３１】
これにより原画像予測誤差演算器３０は、第５の探索領域ＴＲ５内をマクロブロツク画像ＭＧ２によつてサーチしながら順次ブロツクマツチングすることにより、上述した（１）式〜（３）式を用いて当該マクロブロツク画像ＭＧ２とこれに第５の探索領域ＴＲ５内で対応させた第２のブロツク画像ＢＧ２とのフレーム間の予測誤差を求め、順次求めた予測誤差のうち、その値が最も小さいときの第２のブロツク画像ＢＧ２とマクロブロツク画像ＭＧ２との間の動き量に基づいて原画像レベルで第２段階の動きベクトルＭＶｂ２を補正するような第３段階の動きベクトルＭＶｂ３を検出する。
【０１３２】
そして原画像予測誤差演算器３０は、次式
【０１３３】
【数１８】

【０１３４】
で表されるように、階層画像を生成する際に欠落した画素を補うように第１段階の動きベクトルＭＶｂ１と第２段階の動きベクトルＭＶｂ２との加算結果を２倍にし、これに第３段階の動きベクトルＭＶｂ３を加算することによりマクロブロツク画像ＭＧ２の最終的な２フレーム間の動きベクトルＭＶＢを検出する。
【０１３５】
なおこの実施の形態の場合、動きベクトル検出器２１では、Ｂピクチヤが割り当てられた第２のマクロブロツクデータＤ４を参照用として用いる際に、第１段階の動きベクトル検出処理でのみ用いることから、このＢピクチヤが割り当てられた第２のマクロブロツクデータＤ４からは低域成分でなる参照階層ブロツクデータのみを生成し、これを階層画像メモリ１８に格納することにより、この階層画像メモリ２８の記憶容量を低減化し得るようになされている。
【０１３６】
（３）本実施の形態の動作及び効果
以上の構成において、この符号化装置２０の動きベクトル検出器２１では、第１の動きベクトル検出処理モード時に第２の参照階層画像ＳＧ２上で第３の探索領域ＴＲ３の大きさ及び位置を決定し、当該第３の探索領域ＴＲ３内を第２の基本階層画像ＫＧ２によつてサーチしながら順次ブロツクマツチングすることにより最下層において隣接するフレーム間におけるフイールド間の第１段階の動きベクトルＭＶｂ１を検出する。
【０１３７】
次いで動きベクトル検出器２１では、第２の動きベクトル検出処理モード時に第１段階の動きベクトルＭＶｂ１に基づいて第３の参照階層画像ＳＧ３上で第４の探索領域ＴＲ４の大きさ及び位置を決定し、当該第４の探索領域ＴＲ４内を第３の基本階層画像ＫＧ３によつてサーチしながら順次ブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の第２段階の動きベクトルＭＶｂ２を検出する。
【０１３８】
続いて動きベクトル検出器２１では、第３の動きベクトル検出処理モード時に第２段階の動きベクトルＭＶｂ２に基づいて、参照原画像ＦＧ４上で第５の探索領域ＴＲ５の大きさ及び位置を決定し、当該第５の探索領域ＴＲ５内をマクロブロツク画像ＭＧ２によつてサーチしながら順次ブロツクマツチングすることにより、原画像レベルで第２段階の動きベクトルＭＶｂ２の欠落している画素を補うような第３段階の動きベクトルＭＶｂ３を検出する。
【０１３９】
そして動きベクトル検出器２１では、第１段階及び第２段階並びに第３段階の動きベクトルＭＶｂ１及びＭＶｂ２並びにＭＶｂ３を合成するようにして、動きベクトル検出対象の第２のマクロブロツクデータＤ４の最終的な２フレーム間の動きベクトルＭＶＢを検出する。
【０１４０】
この場合動きベクトル検出器２１では、第１の動きベクトル検出処理モード時に動きベクトル検出対象の第２のマクロブロツクデータＤ４の２フレーム間の最終的な動きベクトルを検出するわけではなく、第４の探索領域ＴＲ４の大きさ及び位置を決定するために用いる第１段階の動きベクトルＭＶｂ１を検出することから、第１段階の動きベクトルＭＶｂ１の検出精度を大幅に低減させることができる。
【０１４１】
従つてこの動きベクトル検出器２１では、従来の階層サーチ法に比べて大幅にデータ量を減らした基本階層ブロツクデータＤ１１のトツプフイールドｔｆの低域成分及び参照階層ブロツクデータＤ１０の低域成分のみを用いて第１段階の動きベクトルＭＶｂ１を検出することができる。またこのとき隣り合うフレーム間においてこの第１段階の動きベクトルＭＶｂ１を検出することから、従来の階層サーチ法の第１の探索領域ＴＲ１（図１０）の大きさに比べて第３の探索領域ＴＲ３の大きさを1/4 程度まで縮小させることができ、かくして従来の階層サーチ法における第１段階の動きベクトル検出処理よりも予測誤差の演算量を大幅に低減させることができる。
【０１４２】
さらにこの動きベクトル検出器２１では、第２段階の動きベクトルＭＶｂ２を検出する場合、最終的に求める動きベクトルＭＶＢの検出精度を上げるために、従来の階層サーチ法において第１段階の動きベクトルＭＶａ１（図１３）を検出するときに用いる第１の基本階層画像ＫＧ１及び第１の参照階層画像ＳＧ１よりもわずかにデータ量の多い第３の基本階層画像ＫＧ３及び第３の参照階層画像ＳＧ３を用いてこの第２段階の動きベクトルＭＶｂ２を比較的高精度に検出する必要がある。
【０１４３】
しかしながらこの第２段階の動きベクトル検出処理では、隣り合うフレーム間において当該第２段階の動きベクトルＭＶｂ２を検出することから、従来の階層サーチ法の第１の探索領域ＴＲ１（図１０）の大きさに比べて第４の探索領域ＴＲ４の大きさを1/4 程度まで縮小させることができ、その分従来の階層サーチ法における第１段階の動きベクトル検出処理よりも予測誤差の演算量を大幅に低減させることができる。
【０１４４】
この結果としてこの動きベクトル検出器２１では、上述した第１段階の動きベクトル検出処理における予測誤差の演算量と、第２段階の動きベクトル検出処理における予測誤差の演算量とを合わせてもこの合わせた演算量を従来の階層サーチ法の第１段階の動きベクトル検出処理における予測誤差の演算量よりも大幅に低減させることができる。
【０１４５】
さらにこの動きベクトル検出器２１では、第２段階の動きベクトルＭＶｂ２を基本階層ブロツクデータＤ１１及び参照階層ブロツクデータＤ１０のそれぞれトツプフイールドｔｆ及びボトムフイールドｂｆの低域成分及び高域成分を用いて比較的高精度に検出することから、予測誤差の演算量を格段的に低減させているにもかかわらずに、最終的な動きベクトルの検出精度の低下を極力抑えることができる。
【０１４６】
さらにこの動きベクトル検出器２１では、参照階層ブロツクデータＤ１０をこれが参照データとして用いられる動きベクトル検出処理に先立つて生成して階層画像メモリ２８に格納しておくことから、動きベクトルの検出処理と共にリアルタイムで階層画像を生成するための演算量を、従来の階層サーチ法に比べて大幅に低減させることができる。
【０１４７】
すなわち動きベクトル検出器２１では、動きベクトル検出処理時に基本階層ブロツクデータＤ１１のみを生成し、参照階層ブロツクデータＤ１０を階層画像メモリ２８から読み出すだけで良く、これにより動きベクトル検出処理時の消費電力を大幅に低減させることができる。
【０１４８】
以上の構成によれば、低域成分でなる第２の参照階層画像ＳＧ２の第３の探索領域ＴＲ３内をトツプフイールドｔｆの低域成分でなる第２の基本階層画像ＫＧ２によつてサーチしながらブロツクマツチングすることにより最下層において隣接するフレーム間におけるフイールド間の第１段階の動きベクトルＭＶｂ１を比較的粗く検出し、当該検出して得られた第１段階の動きベクトルＭＶｂ１に基づいて低域成分及び高域成分でなる第３の参照階層画像ＳＧ３上で第４の探索領域ＴＲ４の大きさ及び位置を決定し、この第４の探索領域ＴＲ４内を低域成分及び高域成分でなる第３の基本階層画像ＫＧ３によつてサーチしながらブロツクマツチングすることにより最下層よりも上層における隣接するフレーム間の第２段階の動きベクトルＭＶｂ２を比較的高精度に検出するようにしたことにより、動きベクトルの検出精度の低下を極力抑えて当該動きベクトルの検出のための演算量を大幅に低減させることができ、かくして回路規模を大幅に低減させることができる動きベクトル検出方法及び動きベクトル検出装置を実現することができる。
【０１４９】
（４）他の実施の形態
なお上述の実施の形態においては、動きベクトル検出器２１において、動きベクトル検出対象の第２のマクロブロツクデータＤ４の２フレーム間の動きベクトルを検出するようにした場合について述べたが、本発明はこれに限らず、動きベクトル検出対象の第２のマクロブロツクデータＤ４の１フレーム間の動きベクトルを検出する場合には、動きベクトル検出処理の第１段階の処理を実行せずに第２段階及び第３段階のみの処理により検出し、動きベクトル検出対象の第２のマクロブロツクデータＤ４の３フレーム間以上の動きベクトルを検出する場合には、動きベクトル検出処理の第１段階において求めるフレームよりも１フレーム前のフレームに到達するまでの間、最下層における隣接するフレーム間で第１段階の動きベクトルを順次検出し、求めるフレームとこれよりも１フレーム前のフレーム間に対して動きベクトル検出処理の第２段階及び第３段階をそれぞれ１回実行するようにして第２段階及び第３段階の動きベクトルを検出するようにしても良い。
【０１５０】
また上述の実施の形態においては、動きベクトル検出処理の第１段階において、トツプフイールドｔｆの低域成分でなる第２の基本階層画像ＫＧ２を用いて第１段階の動きベクトルＭＶｂ１を検出するようにした場合について述べたが、本発明はこれに限らず、ボトムフイールドｂｆの低域成分、トツプフイールドｔｆの高域成分又はボトムフイールドｂｆの高域成分でなる画像を用いて第１段階の動きベクトルＭＶｂ１を検出するようにしても良い。
【０１５１】
さらに上述の実施の形態においては、本発明をＭＰＥＧ２が適用された符号化装置２０に適用するようにした場合について述べたが、本発明はこれに限らず、ＭＰＥＧ１のフレーム構造が適用された符号化装置や動きベクトル検出装置に適用するようにしても良い。
【０１５２】
さらに上述の実施の形態においては、第１の特徴量として、複数の輝度レベルｄ毎の平均値を示す低域成分を適用するようにした場合について述べたが、本発明はこれに限らず、各画素毎の色差レベル、明度レベル、色レベル、及び赤緑青レベル等のように、この他種々の所定レベルの平均値を示す低域成分を適用するようにしても良い。
【０１５３】
さらに上述の実施の形態においては、第２の特徴量として、複数の輝度レベルｄ毎の平均値とこれら対応する各輝度レベルｄとのばらつきの度合いを示す高域成分を適用するようにした場合について述べたが、本発明はこれに限らず、各画素毎の色差レベル、明度レベル、色レベル、及び赤緑青レベル等のように、この他種々の所定レベルの平均値とこれら対応する各所定レベルとのばらつきでなる高域成分を適用するようにしても良い。
【０１５４】
さらに上述の実施の形態においては、動きベクトル検出器２１において第３の動きベクトル検出処理モードから第２の符号化処理モードに移つたときに第３及び第４の切換え器２３及び２４のスイツチを接点Ｂから接点Ａに接続するようにした場合について述べたが、本発明はこれに限らず、第２の動きベクトル検出処理モードから第３の動きベクトル検出処理モードに移つたときに第３及び第４の切換え器２３及び２４のスイツチを接点Ｂから接点Ａに接続するようにしても良く、これにより第３の動きベクトル検出処理モードにおける処理を実行しながら第２の符号化処理モードにおける処理を実行することができる。
【０１５５】
さらに上述の実施の形態においては、第１のフレームから第２のフレームの１フレーム前の第３のフレームまでの間、第１の階層よりも下層において隣接するフレーム間におけるフイールド間の動きベクトルを複数画素毎の第１の特徴量に基づいて順次検出する第１の動きベクトル検出手段として、階層画像予測誤差演算器３１、階層画像生成器２６を適用するようにした場合について述べたが、本発明はこれに限らず、第１のフレームから第２のフレームの１フレーム前の第３のフレームまでの間、第１の階層よりも下層において隣接するフレーム間におけるフイールド間の動きベクトルを各第１の特徴量に基づいて順次検出することができれば、この他種々の第１の動きベクトル検出手段を適用するようにしても良い。
【０１５６】
さらに上述の実施の形態においては、第１の動きベクトル検出手段によつて検出された動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段として、第２のアドレス生成器２９を適用するようにした場合について述べたが、本発明はこれに限らず、第１の動きベクトル検出手段によつて検出された各動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定することができれば、この他種々の決定手段を適用するようにしても良い。
【０１５７】
さらに上述の実施の形態においては、決定手段の決定に基づいて第１の階層における第３及び第２のフレーム間の動きベクトルを各第１の特徴量及び当該第１の特徴量に対応する各画素毎の第２の特徴量に基づいて検出する第２の動きベクトル検出手段として、階層画像予測誤差演算器３１を適用するようにした場合について述べたが、本発明はこれに限らず、決定手段の決定に基づいて第１の階層における第３及び第２のフレーム間の動きベクトルを各第１の特徴量及び各第２の特徴量に基づいて検出することができれば、この他種々の第２の動きベクトル検出手段を適用するようにしても良い。
【０１５８】
【発明の効果】
上述のように本発明によれば、符号化対象の映像データから分割された所定の単位ブロツクの第１の階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出方法において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、複数画素毎の平均値を示す第１の特徴量に基づき、又は各画素毎と、対応する第１の特徴量とのばらつき度合いを示す第２の特徴量に基づき、隣接するフレーム間で第１の階層よりも下層におけるフイールド間の動きベクトルを順次検出し、当該検出したフイールド間の動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定し、各第１の特徴量及び各第２の特徴量並びに当該探索領域に基づき、第１の階層における第３及び第２のフレーム間の動きベクトルを検出し、このように検出した第１の階層よりも下層における全てのフイールド間の動きベクトルと、第１の階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの第１の階層における第１のフレームから第２のフレームまでの動きベクトルを検出するようにしたことにより、第１の階層よりも下層ではフイールド間の動きベクトルを検出することにより予測誤差の演算量を大幅に低減し得ると共に、第１の階層における第３及び第２のフレーム間の動きベクトルの検出時には探索領域の大きさを従来に比べて大幅に小さくして予測誤差の演算量を大幅に低減させることができ、かくして動きベクトル検出処理時に用いる回路の回路規模を大幅に低減し得る動きベクトル検出方法を実現することができる。
【０１５９】
また符号化対象の映像データから分割された所定の単位ブロツクの第１の階層における第１のフレームから少なくとも２フレーム以上離れた第２のフレームまでの動きベクトルを検出する動きベクトル検出装置において、第１のフレームから、第２のフレームより１フレーム前の第３のフレームまでの間、複数画素毎の平均値を示す第１の特徴量に基づき、又は各画素毎と、対応する第１の特徴量とのばらつき度合いを示す第２の特徴量に基づき、隣接するフレーム間で第１の階層よりも下層におけるフイールド間の動きベクトルを順次検出する第１の動きベクトル検出手段と、当該第１の動きベクトル検出手段により検出されたフイールド間の動きベクトルに基づいて、第１の階層における第３及び第２のフレーム間の動きベクトルを検出するための探索領域の大きさ及び位置を決定する決定手段と、各第１の特徴量及び各第２の特徴量並びに当該探索領域に基づき、第１の階層における第３及び第２のフレーム間の動きベクトルを検出する第２の動きベクトル検出手段と、第１の動きベクトル検出手段により検出された第１の階層よりも下層における全てのフイールド間の動きベクトルと、第２の動きベクトル検出手段により検出された第１の階層における第３及び第２のフレーム間の動きベクトルとを合成して、単位ブロツクの第１の階層における第１のフレームから第２のフレームまでの動きベクトルを検出する第３の動きベクトル検出手段とを設けるようにしたことにより、第１の階層よりも下層ではフイールド間の動きベクトルを検出することにより予測誤差の演算量を大幅に低減し得ると共に、第１の階層における第３及び第２のフレーム間の動きベクトルの検出時には探索領域の大きさを従来に比べて大幅に小さくして予測誤差の演算量を大幅に低減させることができ、かくして回路規模を大幅に低減し得る動きベクトル検出装置を実現することができる。
【図面の簡単な説明】
【図１】本発明による符号化装置の回路構成の一実施の形態を示すブロツク図である。
【図２】本発明による動きベクトル検出器の回路構成の一実施の形態を示すブロツク図である。
【図３】基本階層ブロツクデータの生成の説明に供する略線的概略図である。
【図４】参照階層ブロツクデータの生成の説明に供する略線的概略図である。
【図５】第１段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図６】第２段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図７】第３段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図８】ＭＰＥＧ２方式による一般的な符号化方式の説明に供する略線的概略図である。
【図９】従来の符号化装置の回路構成を示すブロツク図である。
【図１０】一般的な動きベクトル検出処理の説明に供する略線的概略図である。
【図１１】従来の第１の基本階層画像の生成の説明に供する略線的概略図である。
【図１２】従来の第１の参照階層画像の生成の説明に供する略線的概略図である。
【図１３】従来の第１段階の動きベクトル検出処理の説明に供する略線的概略図である。
【図１４】従来の第２段階の動きベクトル検出処理の説明に供する略線的概略図である。
【符号の説明】
２０……符号化装置、２１……動きベクトル検出器、２２……ＣＰＵ、２５……原画像メモリ、２６……階層画像生成器、２７……第１のアドレス生成器、２８……階層画像メモリ、２９……第２のアドレス生成器、３０……原画像予測誤差演算器、３１……階層画像予測誤差演算器、Ｄ１……第１のマクロブロツクデータ、Ｄ４……第２のマクロブロツクデータ、Ｄ１０……参照階層ブロツクデータ、Ｄ１１……基本階層ブロツクデータ、Ｄ１２……第１の参照ブロツクデータ、Ｄ１３……第１の動きベクトルデータ、Ｄ１４……第２の参照ブロツクデータ、Ｄ１５……第２の動きベクトルデータ、Ｄ１６……第３の参照ブロツクデータ、Ｄ１７……動きベクトルデータ、ＭＶｂ１……第１段階の動きベクトル、ＭＶｂ２……第２段階の動きベクトル、ＭＶｂ３……第３段階の動きベクトル、ＭＧ２……マクロブロツク画像、ＦＧ３……原画像、ＦＧ４……参照原画像、ＳＧ２……第２の参照階層画像、ＳＧ３……第３の参照階層画像、ＫＧ２……第２の基本階層画像、ＫＧ３……第３の基本階層画像、ＫＧ４……第４の基本階層画像、ＢＫ２……第２のブロツク階層画像、ＢＫ３……第３のブロツク階層画像、ＢＧ２……第２のブロツク画像、ＴＲ３……第３の探索領域、ＴＲ４……第４の探索領域、ＴＲ５……第５の探索領域。[0001]
【table of contents】
The present invention will be described in the following order.
[0002]
TECHNICAL FIELD OF THE INVENTION
Conventional technology (Fig. 8)
Problems to be Solved by the Invention (FIGS. 9 to 14)
Means for solving the problems (FIGS. 1 to 7)
BEST MODE FOR CARRYING OUT THE INVENTION
(1) Configuration of encoding apparatus according to this embodiment (FIGS. 1 and 2)
(2) Motion vector detection processing (FIGS. 3 to 7)
(3) Operation and effect of the present embodiment (FIGS. 1 to 7)
(4) Other embodiments (FIGS. 1 to 7)
The invention's effect
[0003]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection method and apparatus, and is suitable for application to a motion vector detection method and apparatus for detecting a motion vector when encoding video data, for example.
[0004]
[Prior art]
In recent years, there is a system called MPEG2 (Moving Picture Experts Group Phase 2) as a video data encoding system.
[0005]
This MPEG2 system is standardized by organizations such as ITU-T (International Telecommunication Union-Telecommunication Standardization Secter), encodes video data, multiplexes it, and stores and transmits it. It is standardized for the purpose.
[0006]
Actually, in this MPEG2 system, it is defined that video data is encoded in units called macroblocks for each frame, and I (Intra) picture is used as an encoding system for high-efficiency encoding of the video data. A method called B (Bidirectionally predictive) using a bi-directional motion-compensated inter-frame prediction in the forward and backward directions, and a P (Predictive) picture using a motion-compensated inter-frame prediction in the forward direction. The method is specified.
[0007]
Here, as shown in FIG. 8, for example, video data in units of frames that are temporally continuous (hereinafter referred to as frame data) T _n ~ T _{n + 2} If I picture, B picture, and P picture are assigned to the frame data T, the frame data T to which the I picture is assigned. _n Is encoded using only that data, and frame data T to which a B picture is assigned. _{n + 1} Is the frame data T to which the past I-picture is assigned in time. _n And frame data T to which the future P picture is assigned in time _{n + 2} And frame data T encoded by bidirectional motion compensation inter-frame prediction in units of macroblocks MB and further assigned P-picture. _{n + 2} Is the frame data T to which the past I-picture is assigned in time. _n Is used for encoding in the macroblock unit MB by forward motion compensation interframe prediction.
[0008]
[Problems to be solved by the invention]
FIG. 9 shows an encoding apparatus 1 to which the MPEG2 system is applied, and an analog video signal S1 is supplied to the input processing unit 2 from the outside.
[0009]
The input processing unit 2 performs analog-digital conversion on the video signal S1 supplied from the outside, assigns one of the I-picture, B-picture, and P-picture to the sequentially obtained frame data, and then assigns the frame data in units of macroblocks. Divide and output.
[0010]
Here, first, in the encoding apparatus 1, the switches of the first and second switchers 3 and 4 are connected to the first contact A in the first encoding processing mode.
[0011]
In this state, the input processing unit 2 divides the frame data to which the I-picture is assigned (hereinafter referred to as the first frame data) into macro blocks, and sequentially obtains the obtained first macro block data D1. 1 is sent to a Discrete Cosine Transform (DCT) unit 5 via a switch 3.
[0012]
The discrete cosine transformer 5 performs a discrete cosine transform process on the first macroblock data D1 given through the first switch 3, converts it into a discrete cosine transform coefficient, and sends it to the quantizer 6.
[0013]
The quantizer 6 quantizes the discrete cosine transform coefficient given from the discrete cosine transformer 5 based on the corresponding quantization coefficient given from the information controller 7, and the obtained quantized data D2 is variable length code. To the quantizer 8 and to the inverse quantizer 9.
[0014]
The variable length encoder 8 performs variable length encoding on the quantized data D2 given from the quantizer 6 by a predetermined method, and the obtained encoded data D3 is encoded data on a predetermined recording medium, for example, via the buffer memory 10. D3 is sent to a recording device (not shown) for recording.
[0015]
Incidentally, the encoded data D3 output from the variable-length encoder 8 is also supplied to the information amount controller 7 via the buffer memory 10, whereby the information amount controller 7 detects the data amount of the encoded data D3. Based on the detection result, a quantization coefficient is generated and sent to the quantizer 6 and the inverse quantizer 9.
[0016]
The inverse quantizer 9 inversely quantizes the quantized data D2 given from the quantizer 6 based on the corresponding quantization coefficient given from the information controller 7, and inverse discrete cosine transforms the obtained discrete cosine coefficient. To the device 11.
[0017]
The inverse discrete cosine transformer 11 converts the discrete cosine coefficient supplied from the inverse quantizer 9 into the first macroblock data D1 by performing an inverse discrete cosine transform process, and sends the first macroblock data D1 to the adder 12.
[0018]
At this time, the adder 12 sends the first macroblock data D1 given from the inverse discrete cosine transformer 11 to the image memory 13 having a frame memory configuration as it is, and thus the first macroblock data D1 is stored in the image memory 13. Are sequentially stored to reconstruct the first frame data.
[0019]
Thereafter, in the encoding device 1, when all of the first macroblock data D1 for one frame is output from the input processing unit 2, the encoding device 1 shifts to the second encoding processing mode, and the first and second switchers. Connect the 3 and 4 switches to the second contact B.
[0020]
In this state, the input processing unit 2 divides the frame data to which the B-picture or P-picture is assigned (hereinafter referred to as second frame data) into macroblock units, and obtains the obtained second macroblock data D4. Is sent to the motion vector detector 14 and to the subtracter 15.
[0021]
When the second macroblock data D4 is given from the input processing unit 2, the motion vector detector 14 temporally compares the second macroblock data D4 stored in the image memory 13 with respect to the second macroblock data D4. The past predetermined frame data is read as reference data D5. The motion vector detector 14 obtains a motion vector of the second macroblock data D4 based on the reference data D5 read from the image memory 13 and the second macroblock data D4, and uses this as the motion vector data D6. Send to motion compensator 16.
[0022]
When the motion vector data D6 is given from the motion vector detector 14, the motion compensator 16 reads the reference data D5 from the image memory 13 at this time, and based on the motion vector data D6 from the read reference data D5, The block data that most closely matches the macro block data D4 is extracted and sent to the subtracter 15 as motion compensation data D7.
[0023]
As a result, the subtracter 15 subtracts the motion compensation data D7 given from the motion compensator 16 from the second macroblock data D4 given from the input processing unit 2, and obtains the obtained difference data D8 from the first switch 3. To the discrete cosine transformer 5.
[0024]
Thereafter, the encoding apparatus 1 generates the quantized data D9 through the discrete cosine transformer 5 and the quantizer 6 sequentially, in the same manner as in the first encoding processing mode described above, Is sent to the variable length encoder 8.
[0025]
At this time, the motion vector data D6 is supplied from the motion vector detector 14 to the variable length encoder 8, and the motion vector data D6 corresponding to the motion vector data D6 supplied from the quantizer 6 is also variable length. The quantized data D9 and the motion vector data D6 that have been encoded and variable-length encoded are output as encoded data D10 through the buffer memory 10.
[0026]
Also, the quantized data D9 output from the quantizer 6 sequentially passes through the inverse quantizer 9 and the inverse discrete cosine transformer 11. Decryption As a result, it is converted into difference data D8 and given to the adder 12.
[0027]
At this time, the motion compensation data D7 corresponding to the adder 12 is given from the motion compensator 16 via the second switch 4, so that the adder 12 receives the difference data D8, the motion compensation data D7, Are added to generate second macroblock data D4, which is sent to the image memory 13.
[0028]
In the image memory 13, the second macroblock data D4 output from the adder 12 is sequentially stored, whereby the second frame data can be reconstructed. However, at this time, only the second macroblock data D4 to which the P picture is assigned is stored in the image memory 13, and the second macroblock data D4 to which the B picture is assigned is used as reference data for motion compensation interframe prediction. Since it is not used, it is not stored.
[0029]
In this way, in the encoding device 1, when all the second macroblock data D4 for one frame is output from the input processing unit 2, the output from the input processing unit 2 follows the second macroblock data D4. By moving to the first encoding processing mode according to the first or second macroblock data D1 or D4 to be performed, or continuing the second encoding processing mode and thereafter executing the above-described processing, the video The signal S1 can be encoded.
[0030]
By the way, in the motion vector detector 14, as shown in FIG. 10, when detecting a motion vector of the second macroblock data D4 to be detected as a motion vector, an image based on the second macroblock data D4 (hereinafter referred to as this). Is referred to as a macroblock image) Reference data D5 in the past or in the future (in this case, two frames in the past) of the image for one frame in which MG1 is located (hereinafter referred to as the original image) FG1 A predetermined first search region TR1 for the macroblock image MG1 is determined on an image (hereinafter referred to as a reference original image) FG2 based on (first or second frame data).
[0031]
Then, the motion vector detector 14 sequentially blocks the first search region TR1 while searching the macro block image MG1, thereby performing the first matching with the macro block image MG1 most in the first search region TR1. One block image BG1 is detected, and a motion vector MV is detected based on the amount of motion between the first block image BG1 and the macroblock image MG1 obtained by the detection.
[0032]
Actually, the motion vector detector 14 uses the macroblock image MG1 and the first block image BG1 corresponding to the macroblock image MG1 in the first search region TR1 to predict the prediction error BDt with respect to the top field tf of the macroblock image MG1. _{(m, n)} The following formula
[0033]
[Expression 1]

[0034]
As shown, the luminance level d of each pixel position (i, j) of the top field tf of the macro block image MG1 and the luminance of the pixel position (m, n) corresponding to each of the first block image BG1. The sum of absolute values of differences from level D is calculated.
[0035]
Also, the prediction error BDb for the bottom field bf of the macroblock image MG1. _{(m, n)} The following formula
[0036]
[Expression 2]

[0037]
As shown, the luminance level d of each pixel position (i, j) of the bottom field bf of the macro block image MG1 and the pixel position (m, n) corresponding to each of the first block image BG1. The sum of absolute values of differences from the luminance level D is calculated.
[0038]
Then, a prediction error BDf between frames of the macro block image MG1 and the first block image BG1. _{(m, n)} The following formula
[0039]
[Equation 3]

[0040]
And the corresponding prediction error BDt _{(m, n)} And prediction error BDb _{(m, n)} The prediction error BDf is obtained by sequentially adding each other. _{(m, n)} By detecting the first block image BG1 when the value of is the smallest as the macroblock image MG1, the motion amount between the first block image BG1 and the macroblock image MG1 is detected. Based on this, a motion vector MV is detected.
[0041]
By the way, when detecting a motion vector between, for example, two frames of the macro block image MG1, the macro block image MG1 is searched for the first search region TR1 in consideration of the movement of the macro block image MG1 between the two frames. It is necessary to make it wider (for example, about 4 times wider) than the search area when detecting a motion vector between one frame.
[0042]
For this reason, in this case, since the amount of calculation for calculating the prediction error increases, it is necessary to relatively increase the circuit scale of the motion vector detector 14.
[0043]
Therefore, recently, various methods for reducing the circuit scale of the motion vector detector 14 by sacrificing the motion vector detection accuracy to some extent or reducing the amount of calculation by reducing the size of the search area. The method is considered.
[0044]
Here, as one of the motion vector detection methods that can reduce the amount of calculation, the pixel is reduced from the first search region TR1 of the macroblock image MG1 and the reference original image FG2 so as to reduce pixels (for example, about 1/4). A method of generating a hierarchical image and detecting a motion vector using the generated hierarchical image, the macroblock image MG1 and the reference original image FG2 in a hierarchical manner (hereinafter referred to as a hierarchical search method). is there.
[0045]
Actually, in this hierarchical search method, as shown in FIGS. 11A and 11B, a low-frequency component lf comprising the first feature quantity of the top field tf and the bottom field bf on the macroblock image MG1. _{(q, r)} The following formula
[0046]
[Expression 4]

[0047]
As shown by the following, in each block, each position (q, r) in every two pixels in the horizontal direction and every two lines in the vertical direction has a corresponding block consisting of two pixels in the horizontal direction and two lines in the vertical direction By calculating the average value of the luminance levels d of the four pixels, a hierarchical image composed of low-frequency components of the top field tf and the bottom field bf (hereinafter referred to as the first basic hierarchical image) KG1 Is generated.
[0048]
Further, in this hierarchical search method, as shown in FIGS. 12A and 12B, the low frequency component Lf of the top field tf and the bottom field bf in the first search region TR1 of the reference original image FG2. _{(q, r)} The following formula
[0049]
[Equation 5]

[0050]
As shown by the following, in each block, each position (q, r) in every two pixels in the horizontal direction and every two lines in the vertical direction has a corresponding block consisting of two pixels in the horizontal direction and two lines in the vertical direction. By obtaining the average value of the luminance levels D of the four pixels, a hierarchical image composed of the low frequency components of the top field tf and the bottom field bf (hereinafter referred to as the first reference hierarchical image) SG1 Is generated.
[0051]
Incidentally, in the expressions (4) and (5) described above, the low frequency component of the top field tf can be obtained by substituting “0” into the variable fi, and “1” is substituted into the variable fi. Thus, the low frequency component of the bottom field bf can be obtained.
[0052]
Next, in the hierarchical search method, as shown in FIG. 13, first, in the first stage of the motion vector detection process, the first reference hierarchical image SG1 is searched by the first basic hierarchical image KG1 and sequentially blocked. Thus, the prediction error bdt for the top field tf of the first basic layer image KG1 _{(q, r)} The following formula
[0053]
[Formula 6]

[0054]
As shown, each low-frequency component of the top field tf of the first basic layer image KG1 and the first reference layer image SG1 (corresponding to the first basic layer image KG1). The sum of absolute values of differences from the corresponding low-frequency components of the block hierarchy image BK1 is calculated.
[0055]
Also, the prediction error bdb for the bottom field bf of the first basic layer image KG1. _{(q, r)} The following formula
[0056]
[Expression 7]

[0057]
As shown, the sum of absolute values of differences between the low frequency components of the bottom field bf of the first basic layer image KG1 and the low frequency components corresponding to the first block layer image BK1 is Calculate to calculate.
[0058]
And the prediction error bdf between the frames of the first basic layer image KG1 and the first block layer image BK1. _{(q, r)} The following formula
[0059]
[Equation 8]

[0060]
And the corresponding prediction error bdt _{(q, r)} And prediction error bdb _{(q, r)} Are obtained by sequentially adding each other, and the obtained prediction error bdf _{(q, r)} By detecting the first block layer image BK1 when the value of is the smallest as the first block layer image KG1 that most closely matches the detected first block layer image BK1 and the first block layer image BK1. A motion vector between two frames in the lowest layer is detected as a first-stage motion vector MVa1 based on the amount of motion between the hierarchical image KG1.
[0061]
Subsequently, in this hierarchical search method, as shown in FIG. 14, in the second stage of the motion vector detection process, a second search region TR2 is determined on the reference original image FG2, and the inside of the second search region TR2 is determined. By sequentially blocking while searching in the macroblock image MG1, the prediction error is obtained using the above-described equations (1) to (3), and thus the first-stage motion vector MVa1 at the original image level. The second-stage motion vector MVa2 that corrects the above is detected.
[0062]
And in this hierarchical search method,
[0063]
[Equation 9]

[0064]
As shown in the above, the macro block is obtained by doubling the first-stage motion vector MVa1 so as to compensate for the number of missing pixels when generating the hierarchical image, and adding the second-stage motion vector MVa2 thereto. A motion vector MVa3 between the final two frames of the image MG1 is detected.
[0065]
By the way, in such a hierarchical search method, when a motion vector between two frames of the macroblock image MG1 is detected, the detection accuracy is sacrificed by detecting the first-stage motion vector MVa1 using only the low-frequency component. In addition, there is an advantage that the calculation amount of the prediction error can be reduced as much as the search area is greatly reduced.
[0066]
However, this hierarchical search method requires a new calculation for generating the first reference hierarchical image SG1 from the reference original image FG2 in real time together with the detection of the motion vector. For this reason, the total calculation amount when detecting the motion vector is required. As a result, it is difficult to reduce the circuit scale.
[0067]
The present invention has been made in consideration of the above points, and an object of the present invention is to propose a motion vector detection method and apparatus capable of greatly reducing the circuit scale.
[0068]
[Means for Solving the Problems]
In order to solve this problem, in the present invention, A motion vector is detected from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames. In the motion vector detection method, from the first frame , Second frame Than Until the third frame one frame before, Based on the first feature value indicating the average value for each of the plurality of pixels, or based on the second feature value indicating the degree of variation between each pixel and the corresponding first feature value, between adjacent frames. Below the first level In layers Motion vector between fields In order First step to be detected next, and detected in the first step Between fields A second step of determining a size and position of a search region for detecting a motion vector between the third and second frames in the first layer based on the motion vector; Based on each first feature amount and each second feature amount and the search area, Motion vector between the third and second frames in the first layer Inspect With the third step , The motion vectors between all the fields below the first layer detected in the first step, and the motion vectors between the third and second frames in the first layer detected in the third step. A fourth step of combining and detecting a motion vector from the first frame to the second frame in the first layer of the unit block; It was made to provide.
[0069]
As a result, By detecting a motion vector between fields between adjacent frames below the first layer, the amount of prediction error can be greatly reduced. When detecting a motion vector between the third and second frames in the first layer, the size of the search area is significantly smaller than in the prior art. do it The amount of calculation of the prediction error can be greatly reduced.
[0070]
In the present invention, A motion vector is detected from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames. In the motion vector detection device, from the first frame , Second frame Than Until the third frame one frame before, Based on the first feature value indicating the average value for each of the plurality of pixels, or based on the second feature value indicating the degree of variation between each pixel and the corresponding first feature value, between adjacent frames. Below the first level In layers Motion vector between fields In order First motion vector detecting means for detecting next and the first motion vector detecting means R was detected Between fields Determining means for determining a size and position of a search region for detecting a motion vector between the third and second frames in the first layer based on the motion vector; Based on each first feature amount and each second feature amount and the search area, Motion vector between the third and second frames in the first layer Inspect Second motion vector detecting means to be output; , The motion vectors between all fields below the first layer detected by the first motion vector detecting means, and the third and second motion vectors in the first hierarchy detected by the second motion vector detecting means. A third motion vector detecting means for detecting a motion vector from the first frame to the second frame in the first layer of the unit block by combining the motion vectors between the frames. It was made to provide.
[0071]
As a result, the calculation amount of the prediction error can be greatly reduced by detecting a motion vector between fields between adjacent frames below the first layer, and the third and second in the first layer can be reduced. When detecting motion vectors between frames, the size of the search area is much smaller than before do it The amount of calculation of the prediction error can be greatly reduced.
[0072]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0073]
(1) Configuration of encoding apparatus according to this embodiment
In FIG. 1, in which the same reference numerals are assigned to the parts corresponding to those in FIG. 9, reference numeral 20 denotes the overall coding apparatus according to the present embodiment, except for the configuration of the motion vector detector 21, It is constituted similarly.
[0074]
In this encoding device 20, the motion vector detector 21 sequentially executes hierarchical motion vector detection processing using the first and second macroblock data D1 and D4 given from the input processing unit 2 as reference data, As a result, a motion vector between two frames of the second macroblock data D4 to be detected as a motion vector is detected.
[0075]
In this case, as shown in FIG. 2, the motion vector detection circuit 21 is entirely controlled by the CPU 22, and first, in the first encoding processing mode, the third and fourth switches 23 and 24 are controlled. Each switch is connected to a first contact A.
[0076]
In this state, the first macroblock data D1 sequentially output from the input processing unit 2 is supplied to the original image memory 25 having a frame memory configuration, and the hierarchical image generator 26 via the third switch 23. To be supplied.
[0077]
At this time, the original image memory 25 is given the address information from the first address generator 27, and thereby the first macroblock data D1 sequentially given from the input processing unit 2 is designated by the address information. Write to the address location, thus reconstructing the first frame data.
[0078]
Further, the hierarchical image generator 26 is based on the first macroblock data D1 given from the input processing unit 2 and has a reference hierarchy composed of a low frequency component of its top field and bottom field and a high frequency component which is a second feature amount. Block data D10 is generated and sent to the hierarchical image memory 28 having a frame memory configuration via the fourth switch 24.
[0079]
At this time, the hierarchical image memory 28 is supplied with address information from the second address generator 29, whereby the reference hierarchical block data D10 sequentially supplied from the hierarchical image generator 26 is designated by the address information. Write to location.
[0080]
Further, in the motion vector detector 21, in the second encoding processing mode, the input processing unit 2 in the state where the switches of the third and fourth switchers 23 and 24 remain connected to the first contact A. To the second macroblock data D4 is supplied to the original image memory 25 and is also supplied to the hierarchical image generator 26 via the third switch 23.
[0081]
The original image memory 25 writes the second macro block data D4 given from the input processing unit 2 at the address position designated by the address information given from the first address generator 27.
[0082]
Similarly to the generation of the reference hierarchical block data D10 described above, the hierarchical image generator 26 is based on the second macroblock data D4 given from the input processing unit 2 and the low-frequency components of the top field and the bottom field. Reference hierarchical block data D10 composed of high-frequency components is generated and sent to the hierarchical image memory 28 via the fourth switch 24.
[0083]
Thus, the hierarchical image memory 28 writes the reference hierarchical block data D10 given from the hierarchical image generator 26 at the address position designated by the address information given from the second address generator 29.
[0084]
In this motion vector detector 21, when the above-described processing is completed for one second macroblock data D4 given from the input processing unit 2, the first motion vector detection processing is performed from the second encoding processing mode. The mode is shifted to the mode, and the first-stage motion vector detection process is started, and the switches of the third and fourth switches 23 and 24 are connected to the second contact B.
[0085]
In this state, the original image memory 25 reads out the second macroblock data D4 stored in the second encoding processing mode based on the address information given from the first address generator 27, and reads the read second macroblock data D4. The macro block data D4 is sent to the original image prediction error calculator 30 as a motion vector detection target and also sent to the hierarchical image generator 26 via the third switch 23.
[0086]
The hierarchical image generator 26 generates basic hierarchical block data D11 composed of the low-frequency component and the high-frequency component based on the second macroblock data D4 given from the original image memory 25, and this is generated as the fourth switcher. 24 to the hierarchical image prediction error calculator 31.
[0087]
At this time, the second address generator 29 is provided with positional information on the original image of the macroblock image based on the second macroblock data D4 from the CPU 22, and either the forward or backward motion compensation frame is provided. Prediction direction information indicating whether to perform inter prediction is given.
[0088]
As a result, the second address generator 29, based on the position information and the prediction direction information, references each frame for one frame in the past, for example, one frame earlier than the second macroblock data D4 subject to motion vector detection. The size and position of the third search area are determined on the image based on the low frequency component of the hierarchical block data D10 (hereinafter referred to as the second reference hierarchical image), and the position within the third search area is determined. The low-frequency component of the reference hierarchy block data D10 to be selected is selected. Then, address information for the low-frequency component of the selected reference hierarchy block data D10 is generated and sent to the hierarchy image memory 28.
[0089]
Thereby, the hierarchical image memory 28 converts the low frequency component of the reference hierarchical block data D10 written at the designated address position based on the address information given from the second address generator 29 to the first reference block data. D12 is read out and sent to the hierarchical image prediction error calculator 31.
[0090]
Then, the hierarchical image prediction error calculator 31 extracts the low-frequency component of the top field from the basic hierarchical block data D11 supplied from the hierarchical image generator 26, and is supplied from the extracted low-frequency component and the hierarchical image memory 28. Block motion based on the first reference block data D12 detects a motion vector between fields between adjacent frames in the lowermost layer as a first-stage motion vector, and this is detected as the first motion vector data. The result is sent to the second address generator 29 and the original image prediction error calculator 30 as D13.
[0091]
Next, when detecting the first stage motion vector, the motion vector detector 21 shifts from the first motion vector detection processing mode to the second motion vector detection processing mode, and starts the second stage motion vector detection processing.
[0092]
At this time, the second address generator 29, based on the first motion vector data D13 given from the hierarchical image prediction error calculator 31, further temporally, for example, 1 frame past one frame from the second reference hierarchical image. The size and position of the fourth search area are determined on an image (hereinafter referred to as a third reference hierarchy image) based on the reference layer block data D10 for the frame, and the fourth search area is included in the fourth search area. The reference hierarchy block data D10 that is located is selected. Then, address information for the selected reference block data D10 is generated and sent to the hierarchical image memory 28.
[0093]
As a result, the hierarchical image memory 28 reads out the reference hierarchical block data D10 written at the address position designated based on the address information given from the second address generator 29 as the second reference block data D14 and reads the hierarchical level. This is sent to the image prediction error calculator 31.
[0094]
Then, the hierarchical image prediction error calculator 31 performs block clipping based on the basic hierarchical block data D11 given from the hierarchical image generator 26 and the second reference block data D14 given from the hierarchical image memory 28. Thus, a motion vector between adjacent frames in the upper layer than the lowermost layer is detected as a second-stage motion vector, and this is detected as the second motion vector data D15 in the first address generator 27 and original image prediction error calculator 30 To send.
[0095]
Subsequently, when the motion vector detector 21 detects the second stage motion vector, the motion vector detector 21 shifts from the second motion vector detection processing mode to the third motion vector detection processing mode and starts the third stage motion vector detection processing. .
[0096]
At this time, the first address generator 27 corresponds to the second reference layer image based on the second motion vector data D15 given from the layer image prediction error calculator 31 (the second motion vector detection target second object). The size and position of the fifth search area are determined on the reference original image (which is temporally separated from the macroblock data D4 by two frames), and the first or second position located in the fifth search area is determined. Macro block data D1 or D4 is selected. Then, address information for the selected first or second macroblock data D1 or D4 is generated and sent to the original image memory 25.
[0097]
As a result, the original image memory 25 makes the third reference to the first or second macroblock data D1 or D4 written at the address position designated based on the address information given from the first address generator 27. It is read as block data D16 and sent to the original image prediction error calculator 30.
[0098]
The original image prediction error calculator 30 performs the second step at the original image level by performing blockching based on the second macroblock data D4 given from the original image memory 25 and the third reference block data D16. A motion vector that corrects the motion vector is detected as a third-stage motion vector.
[0099]
Then, the original image prediction error calculator 30 calculates the second macroblock data D4 based on the first-stage and second-stage motion vectors and the third-stage motion vector supplied from the hierarchical image prediction error calculator 31. The final motion vector between the two frames is detected and sent to the motion compensator 16 and the variable length encoder 8 as motion vector data D17.
[0100]
Thus, in the motion vector detector 21, when the final motion vector is detected by the third-stage motion vector detection process, the third and fourth switchers 23 and 24 are moved again to the second encoding processing mode. Each switch is connected to the first contact A, and in this state, one second macroblock data D4 is given from the input processing unit 2.
[0101]
Then, in this motion vector detector 21, each time one second macroblock data D4 is given from the input processing unit 2 thereafter, the second motion vector detection processing mode is changed from the second encoding processing mode as described above. The motion vector detection process up to is sequentially repeated, and thus the motion vector of the second macroblock data D4 is detected.
[0102]
(2) Motion vector detection processing
In practice, in the motion vector detector 21, in the first motion vector detection processing mode, the hierarchical image generator 26 uses the top field and bottom field data of the second macroblock data D4 as the motion vector detection target, respectively. The base layer block data D11 is generated by taking out the low frequency component and the high frequency component.
[0103]
That is, as shown in FIGS. 3A to 3C, the hierarchical image generator 26 generates the top field tf and the bottom field bf on the macroblock image MG2 based on the second macroblock data D4 subject to motion vector detection. Low frequency component lf ' _{(q, r)} The following formula
[0104]
[Expression 10]

[0105]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at every 4 pixels in the horizontal direction and every 4 lines in the vertical direction for each field. The average value of the level d is obtained, and the high frequency component af ′ of the top field tf and the bottom field bf is obtained. _{(q, r)} The following formula
[0106]
[Expression 11]

[0107]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at every 4 pixels in the horizontal direction and every 4 lines in the vertical direction for each field. An average value of level d (that is, a low frequency component) is calculated, and an absolute value of a difference between the average value and the luminance level d of each pixel in the block (the variation of each luminance level d with respect to the low frequency component) Degree) is calculated to obtain a low frequency component (FIG. 3B) of 4 pixels in the horizontal direction and 4 lines in the vertical direction, and a high frequency region of 4 pixels in the horizontal direction and 4 lines in the vertical direction. Base layer block data D11 including the components (FIG. 3C) is generated.
[0108]
Incidentally, in the hierarchical image generator 26, in the first and second encoding processing modes, the low-frequency component is also obtained from the top field and bottom field data of the reference first or second macroblock data D1 or D4, respectively. The reference hierarchy block data D10 is generated in such a manner that the high-frequency components are extracted.
[0109]
That is, as shown in FIGS. 4A to 4C, the hierarchical image generator 26 generates a top field tf and a bottom on the macroblock image MG3 based on the first or second macroblock data D1 or D4 for reference. Low-frequency component Lf ′ of field bf _{(q, r)} The following formula
[0110]
[Expression 12]

[0111]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at each position of every 2 pixels in the horizontal direction and every 2 lines in the vertical direction for each field. The average value of the level D is calculated, and the high frequency component Af ′ of the top field tf and the bottom field bf is obtained. _{(q, r)} The following formula
[0112]
[Formula 13]

[0113]
As shown, the luminance of 16 pixels in the corresponding block consisting of 4 pixels in the horizontal direction and 4 lines in the vertical direction at each position of every 2 pixels in the horizontal direction and every 2 lines in the vertical direction for each field. By calculating the average value of level D and calculating the average value of the absolute value of the difference between the average value and the luminance level D of each pixel in the block, 8 pixels in the horizontal direction and the vertical direction In addition, reference hierarchical block data D10 is generated, which includes 8 lines of low frequency components (FIG. 4B), 8 pixels in the horizontal direction, and 8 lines of high frequency components in the vertical direction (FIG. 4C).
[0114]
Incidentally, in the expressions (10) and (12) described above, the top field tf is obtained by substituting “0” into the variable fi. of A low frequency component can be obtained, and a low frequency component of the bottom field bf can be obtained by substituting “1” into the variable fi. Further, in the above-described equations (11) and (13), the top field tf is obtained by substituting “0” into the variable fi. of A high frequency component can be obtained, and a high frequency component of the bottom field bf can be obtained by substituting “1” into the variable fi.
[0115]
In the motion vector detector 21, as shown in FIG. 5, in the first motion vector detection processing mode, the second reference layer image is generated based on the position information and the prediction direction information by the second address generator 29. An image based on the low-frequency component of the top field tf of the base layer block data D11 on SG2 (hereinafter referred to as the second base layer image) CG2 is centered on a position corresponding to a predetermined corner w1. For example, the third search region TR3 having ± 8 pixels in the horizontal direction Sx and ± 8 lines in the vertical direction Sy is determined.
[0116]
As a result, the hierarchical image prediction error calculator 31 sequentially blocks the third search region TR3 while searching for the second basic hierarchical image KG2, thereby searching for the second basic hierarchical image KG2 and the second basic hierarchical image KG2. Prediction error bdt ′ with respect to the top field tf of the second basic layer image KG2 in the second block layer image BK2 corresponding to the third search region TR3. _{(q, r)} The following formula
[0117]
[Expression 14]

[0118]
As shown, the sum of absolute values of differences between the low frequency components of the top field tf in the second basic layer image KG2 and the corresponding low frequency components in the second block layer image BK2 Calculate to calculate.
[0119]
Then, the sequentially obtained prediction error bdt ′ _{(q, r)} Is detected between the adjacent frames based on the amount of motion between the detected second block layer image BK2 and the second basic layer image KG2. The first stage motion vector MVb1 between the fields is detected relatively coarsely.
[0120]
Next, when the motion vector detector 21 is in the second motion vector detection processing mode, as shown in FIG. 6, the second address generator 29 operates on the third reference layer image SG3 composed of a low frequency component and a high frequency component. Thus, for example, a fourth search region TR4 having ± 8 pixels in the horizontal direction Sx and ± 8 lines in the vertical direction Sy centered on the position corresponding to the end point w2 of the first-stage motion vector MVb1 is determined.
[0121]
As a result, the hierarchical image prediction error calculator 31 sequentially blocks while searching the image in the fourth search region TR4 based on the basic hierarchical block data D11 (hereinafter referred to as the third basic hierarchical image) KG3. By matching, the top field tf of the third basic layer image KG3 in the third basic layer image KG3 and the third block layer image BK3 corresponding to the third basic layer image KG3 in the fourth search region TR4. Prediction error for bdt " _{(q, r)} The following formula
[0122]
[Expression 15]

[0123]
As expressed by the sum of absolute values of differences between the low-frequency components of the top field tf of the third basic hierarchical image KG3 and the low-frequency components corresponding to the third block hierarchical image BK3, respectively, Obtained by adding the sum of absolute values of differences between the high frequency components of the top field tf of the third basic hierarchical image KG3 and the low frequency components corresponding to the third block hierarchical image BK3, respectively. .
[0124]
The hierarchical image prediction error calculator 31 also predicts the prediction error bdb "for the bottom field bf of the third basic hierarchical image KG3. _{(q, r)} The following formula
[0125]
[Expression 16]

[0126]
As expressed by the sum of absolute values of differences between the low-frequency components of the bottom field bf of the third basic layer image KG3 and the low-frequency components corresponding to the third block layer image BK3, respectively, Obtained by adding the sum of absolute values of differences between the high frequency components of the bottom field bf of the third basic layer image KG3 and the corresponding low frequency components of the third block layer image BK3. .
[0127]
Then, a prediction error bdf "between frames of the third basic layer image KG3 and the third block layer image BK3. _{(q, r)} The following formula
[0128]
[Expression 17]

[0129]
The corresponding prediction error bdt " _{(q, r)} And prediction error bdb " _{(q, r)} Are obtained by sequentially adding each other, and the prediction error bdf "obtained sequentially. _{(q, r)} Of the adjacent frames in the upper layer above the lowermost layer based on the amount of motion between the third block layer image BK3 and the third basic layer image KG3 when the value is the smallest (second The second-stage motion vector MVb2 (which is connected to the first-stage motion vector MVb1 between the third reference layer images SG3) is detected with higher detection accuracy than the first-stage motion vector MVb1.
[0130]
Subsequently, when the motion vector detector 21 is in the third motion vector detection processing mode, as shown in FIG. 7, the first address generator 27 is temporally more than the original image FG3 corresponding to the macroblock image MG2. For example, on the reference original image FG4 in the past two frames, for example, a horizontal line is made up to compensate for the missing pixel when generating the reference layer block data D10 with the position corresponding to the end point w3 of the second stage motion vector MVb2 as the center. A fifth search region TR5 having ± 1 pixel in the direction and ± 1 line in the vertical direction is determined.
[0131]
As a result, the original image prediction error calculator 30 uses the above-described equations (1) to (3) by sequentially blocking the fifth search region TR5 while searching the macroblock image MG2. When a prediction error between frames of the macro block image MG2 and the second block image BG2 corresponding to the macro block image MG2 is determined in the fifth search region TR5, and the value is the smallest among the sequentially obtained prediction errors A third-stage motion vector MVb3 that corrects the second-stage motion vector MVb2 at the original image level is detected based on the amount of motion between the second block image BG2 and the macro-block image MG2.
[0132]
The original image prediction error calculator 30 has the following formula:
[0133]
[Formula 18]

[0134]
As shown in the above, the addition result of the first-stage motion vector MVb1 and the second-stage motion vector MVb2 is doubled to compensate for the missing pixels when generating the hierarchical image, and the third-stage Motion vector MVb3 is added to detect the final motion vector MVB between two frames of the macroblock image MG2.
[0135]
In the case of this embodiment, the motion vector detector 21 uses the second macroblock data D4 to which the B picture is assigned for reference only in the first-stage motion vector detection process. Only the reference hierarchical block data consisting of low frequency components is generated from the second macro block data D4 to which the B picture is assigned, and this is stored in the hierarchical image memory 18, whereby the storage capacity of the hierarchical image memory 28 is obtained. Can be reduced.
[0136]
(3) Operation and effect of the present embodiment
In the above configuration, the motion vector detector 21 of the encoding device 20 determines the size and position of the third search region TR3 on the second reference layer image SG2 in the first motion vector detection processing mode. The first stage motion vector MVb1 between the adjacent frames in the lowest layer is detected by sequentially blotting the third search region TR3 while searching the second basic layer image KG2. To do.
[0137]
Next, the motion vector detector 21 determines the size and position of the fourth search region TR4 on the third reference hierarchical image SG3 based on the first-stage motion vector MVb1 in the second motion vector detection processing mode. Then, the second stage motion vector MVb2 between adjacent frames in the upper layer than the lowermost layer is detected by sequentially blotting while searching in the fourth search region TR4 using the third basic layer image KG3. To do.
[0138]
Subsequently, the motion vector detector 21 determines the size and position of the fifth search region TR5 on the reference original image FG4 based on the second-stage motion vector MVb2 in the third motion vector detection processing mode. A third block that compensates for the missing pixel of the second-stage motion vector MVb2 at the original image level by sequentially block-blocking the fifth search region TR5 with the macro-block image MG2. A stage motion vector MVb3 is detected.
[0139]
Then, the motion vector detector 21 combines the motion vectors MVb1, MVb2, and MVb3 of the first stage, the second stage, and the third stage so that the final macroblock data D4 as the motion vector detection target is finalized. A motion vector MVB between two frames is detected.
[0140]
In this case, the motion vector detector 21 does not detect the final motion vector between the two frames of the second macroblock data D4 as the motion vector detection target in the first motion vector detection processing mode. Since the first-stage motion vector MVb1 used to determine the size and position of the search region TR4 is detected, the detection accuracy of the first-stage motion vector MVb1 can be greatly reduced.
[0141]
Therefore, in this motion vector detector 21, only the low-frequency component of the top field tf of the basic hierarchical block data D11 and the low-frequency component of the reference hierarchical block data D10, the amount of data being greatly reduced compared to the conventional hierarchical search method. It is possible to detect the first-stage motion vector MVb1. At this time, since the first-stage motion vector MVb1 is detected between adjacent frames, the third search region TR3 is larger than the size of the first search region TR1 (FIG. 10) of the conventional hierarchical search method. Can be reduced to about 1/4, and the amount of calculation of the prediction error can be greatly reduced as compared with the first-stage motion vector detection processing in the conventional hierarchical search method.
[0142]
Further, in the case of detecting the second-stage motion vector MVb2, the motion vector detector 21 detects the first-stage motion vector MVa1 (in the conventional hierarchical search method in order to increase the detection accuracy of the finally obtained motion vector MVB ( 13), the third basic layer image KG3 and the third reference layer image SG3 having a slightly larger amount of data than the first basic layer image KG1 and the first reference layer image SG1 are used. It is necessary to detect the second-stage motion vector MVb2 with relatively high accuracy.
[0143]
However, since the second-stage motion vector detection process detects the second-stage motion vector MVb2 between adjacent frames, the size of the first search region TR1 (FIG. 10) of the conventional hierarchical search method is detected. The size of the fourth search region TR4 can be reduced to about 1/4, and the amount of calculation of the prediction error is much larger than that of the first-stage motion vector detection process in the conventional hierarchical search method. Can be reduced.
[0144]
As a result, in this motion vector detector 21, even if the calculation amount of the prediction error in the first-stage motion vector detection process described above and the calculation amount of the prediction error in the second-stage motion vector detection process are combined, It is possible to significantly reduce the amount of computation compared to the amount of prediction error computation in the first-stage motion vector detection processing of the conventional hierarchical search method.
[0145]
Further, the motion vector detector 21 uses the low-frequency component and the high-frequency component of the top field tf and the bottom field bf of the base layer block data D11 and the reference layer block data D10, respectively, for the second-stage motion vector MVb2. Since the detection is performed with high accuracy, it is possible to suppress the decrease in the final motion vector detection accuracy as much as possible, although the calculation amount of the prediction error is remarkably reduced.
[0146]
Further, the motion vector detector 21 generates the reference hierarchical block data D10 prior to the motion vector detection process in which the reference hierarchical block data D10 is used as reference data and stores it in the hierarchical image memory 28. Thus, the amount of computation for generating a hierarchical image can be greatly reduced as compared with the conventional hierarchical search method.
[0147]
That is, the motion vector detector 21 only has to generate only the basic layer block data D11 during the motion vector detection process and read out the reference layer block data D10 from the layer image memory 28, thereby reducing the power consumption during the motion vector detection process. It can be greatly reduced.
[0148]
According to the above configuration, while searching in the third search region TR3 of the second reference hierarchical image SG2 composed of low-frequency components by the second basic hierarchical image KG2 composed of the low-frequency components of the top field tf. By block blotting, the first-stage motion vector MVb1 between the adjacent frames in the lowermost layer is detected relatively coarsely, and the low-frequency band is based on the first-stage motion vector MVb1 obtained by the detection. The size and position of the fourth search region TR4 are determined on the third reference hierarchical image SG3 composed of the components and the high-frequency components, and the fourth search region TR4 is composed of the low-frequency components and the high-frequency components. The second stage motion vector MVb between adjacent frames in the upper layer than the lowermost layer by performing blotching while searching with the basic layer image KG3 of the third layer Can be detected with relatively high accuracy, and the amount of computation for detecting the motion vector can be greatly reduced by suppressing the decrease in the detection accuracy of the motion vector as much as possible, thus greatly increasing the circuit scale. It is possible to realize a motion vector detection method and a motion vector detection device that can be reduced.
[0149]
(4) Other embodiments
In the above-described embodiment, the case where the motion vector detector 21 detects the motion vector between the two frames of the second macroblock data D4 as the motion vector detection target has been described. However, the present invention is not limited to this. When detecting a motion vector for one frame of the second macroblock data D4 subject to motion vector detection, the second stage and the first stage of the motion vector detection process are not executed. In the case of detecting a motion vector between three or more frames of the second macroblock data D4 to be detected by the third stage only by the process of the third stage, the frame is obtained from the frame obtained in the first stage of the motion vector detection process. The first-stage motion vector is sequentially transferred between adjacent frames in the lowest layer until the previous frame is reached. The second and third stage motion vectors are detected by executing the second stage and the third stage of the motion vector detection process once each between the desired frame and the frame one frame before this. You may make it do.
[0150]
In the above-described embodiment, in the first stage of the motion vector detection process, the first-stage motion vector MVb1 is detected using the second basic layer image KG2 that is the low-frequency component of the top field tf. However, the present invention is not limited to this, and the first-stage motion vector is obtained using an image composed of a low-frequency component of the bottom field bf, a high-frequency component of the top field tf, or a high-frequency component of the bottom field bf. MVb1 may be detected.
[0151]
Further, in the above-described embodiment, the case where the present invention is applied to the encoding apparatus 20 to which MPEG2 is applied has been described. However, the present invention is not limited to this, and the code to which the MPEG1 frame structure is applied is described. The present invention may be applied to a digitizing device or a motion vector detecting device.
[0152]
Furthermore, in the above-described embodiment, the case where the low-frequency component indicating the average value for each of the plurality of luminance levels d is applied as the first feature amount has been described, but the present invention is not limited thereto, Other low-frequency components indicating average values of various predetermined levels such as a color difference level, a lightness level, a color level, and a red / green / blue level for each pixel may be applied.
[0153]
Furthermore, in the above-described embodiment, when the high frequency component indicating the degree of variation between the average value for each of the plurality of luminance levels d and the corresponding luminance levels d is applied as the second feature amount. Although the present invention is not limited to this, the average value of various other predetermined levels such as a color difference level, a lightness level, a color level, and a red / green / blue level for each pixel, and the corresponding predetermined values. You may make it apply the high frequency component which consists of the dispersion | variation with a level.
[0154]
Further, in the above-described embodiment, when the motion vector detector 21 shifts from the third motion vector detection processing mode to the second encoding processing mode, the switches of the third and fourth switchers 23 and 24 are switched. Although the case where the contact point B is connected to the contact point A has been described, the present invention is not limited to this, and the third and third motion vector detection processing modes are switched to the third and third motion vector detection processing modes. The switches of the fourth switchers 23 and 24 may be connected from the contact point B to the contact point A, whereby the processing in the second encoding processing mode is performed while the processing in the third motion vector detection processing mode is executed. Can be executed.
[0155]
Furthermore, in the above-described embodiment, the motion vector between fields between the adjacent frames in the lower layer than the first layer is obtained from the first frame to the third frame one frame before the second frame. Although the case where the hierarchical image prediction error calculator 31 and the hierarchical image generator 26 are applied as the first motion vector detection means for sequentially detecting based on the first feature amount for each of the plurality of pixels has been described, The invention is not limited to this, and the motion vectors between fields between the adjacent frames in the lower layer than the first layer from the first frame to the third frame one frame before the second frame are set. Other various first motion vector detection means may be applied as long as they can be sequentially detected based on one feature quantity.
[0156]
Further, in the above-described embodiment, a search for detecting a motion vector between the third and second frames in the first layer based on the motion vector detected by the first motion vector detecting means. Although the case where the second address generator 29 is applied as the determining means for determining the size and position of the region has been described, the present invention is not limited to this, and the first motion vector detecting means is used. If the size and position of the search area for detecting the motion vector between the third and second frames in the first hierarchy can be determined based on each detected motion vector, various other determinations can be made. You may make it apply a means.
[0157]
Furthermore, in the above-described embodiment, the motion vectors between the third and second frames in the first layer are converted to the first feature amounts and the first feature amounts corresponding to the first feature amounts based on the determination by the determination unit. Although the case where the hierarchical image prediction error calculator 31 is applied as the second motion vector detection means for detecting based on the second feature amount for each pixel has been described, the present invention is not limited to this, and is determined. If the motion vector between the third and second frames in the first hierarchy can be detected based on each first feature amount and each second feature amount based on the determination of the means, various other types Two motion vector detection means may be applied.
[0158]
【The invention's effect】
As described above, according to the present invention, In a motion vector detection method for detecting a motion vector from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames, From the first frame , One frame before the second frame Until the third frame, Based on the first feature value indicating the average value for each of the plurality of pixels, or based on the second feature value indicating the degree of variation between each pixel and the corresponding first feature value, between adjacent frames. Below the first level In layers Motion vector between fields In order Next detected and detected Between fields Determining a size and position of a search region for detecting a motion vector between the third and second frames in the first layer based on the motion vector; Based on each first feature amount and each second feature amount and the search area, Motion vector between the third and second frames in the first layer Inspect Out Then, the motion vectors between all the fields in the lower layer than the first layer detected in this way and the motion vectors between the third and second frames in the first layer are synthesized, and the unit block first Detects motion vectors from the first frame to the second frame in one layer By doing so, it is possible to significantly reduce the amount of calculation of the prediction error by detecting the motion vector between the fields below the first layer, and the third and second frames in the first layer. The size of the search area is greatly reduced compared to the conventional method when detecting motion vectors between do it It is possible to realize a motion vector detection method that can significantly reduce the amount of calculation of the prediction error and thus can significantly reduce the circuit scale of the circuit used in the motion vector detection process.
[0159]
Also In a motion vector detection device for detecting a motion vector from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames, From the first frame , One frame before the second frame Until the third frame, Based on the first feature value indicating the average value for each of the plurality of pixels, or based on the second feature value indicating the degree of variation between each pixel and the corresponding first feature value, between adjacent frames. Below the first level In layers Motion vector between fields In order First motion vector detecting means for detecting next and the first motion vector detecting means R was detected Between fields Determining means for determining a size and position of a search region for detecting a motion vector between the third and second frames in the first layer based on the motion vector; Based on each first feature amount and each second feature amount and the search area, Motion vector between the third and second frames in the first layer Inspect Second motion vector detecting means to be output; , The motion vectors between all fields below the first layer detected by the first motion vector detecting means, and the third and second motion vectors in the first hierarchy detected by the second motion vector detecting means. A third motion vector detecting means for detecting a motion vector from the first frame to the second frame in the first layer of the unit block by combining the motion vectors between the frames. Thus, the amount of calculation of the prediction error can be greatly reduced by detecting a motion vector between fields below the first layer, and the third and second in the first layer can be reduced. When detecting motion vectors between frames, the size of the search area is much smaller than before. do it It is possible to realize a motion vector detection device that can greatly reduce the amount of calculation of the prediction error and thus can greatly reduce the circuit scale.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a circuit configuration of an encoding apparatus according to the present invention.
FIG. 2 is a block diagram showing an embodiment of a circuit configuration of a motion vector detector according to the present invention.
FIG. 3 is a schematic diagram for explaining the generation of base layer block data.
FIG. 4 is a schematic diagram for explaining the generation of reference hierarchy block data.
FIG. 5 is a schematic diagram schematically illustrating a first-stage motion vector detection process.
FIG. 6 is a schematic diagram schematically illustrating a second-stage motion vector detection process.
FIG. 7 is a schematic diagram schematically illustrating a third-stage motion vector detection process.
FIG. 8 is a schematic diagram schematically illustrating a general encoding method according to the MPEG2 method.
FIG. 9 is a block diagram showing a circuit configuration of a conventional encoding device.
FIG. 10 is a schematic diagram illustrating a general motion vector detection process.
FIG. 11 is a schematic diagram schematically illustrating a conventional generation of a first basic layer image.
FIG. 12 is a schematic diagram schematically illustrating a conventional first reference layer image generation.
FIG. 13 is a schematic diagram schematically illustrating a conventional first-stage motion vector detection process.
FIG. 14 is a schematic diagram schematically illustrating a second-stage motion vector detection process in the related art.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 20 ... Encoding device, 21 ... Motion vector detector, 22 ... CPU, 25 ... Original image memory, 26 ... Hierarchical image generator, 27 ... First address generator, 28 ... Hierarchical image Memory 29... Second address generator 30... Original image prediction error calculator 31... Hierarchical image prediction error calculator D 1... First macro block data D 4. Data, D10: Reference hierarchical block data, D11: Basic hierarchical block data, D12: First reference block data, D13: First motion vector data, D14: Second reference block data, D15: ... second motion vector data, D16 ... third reference block data, D17 ... motion vector data, MVb1 ... first stage motion vector, MVb2 ... second stage motion Vector, MVb3... Third-stage motion vector, MG2... Macroblock image, FG3... Original image, FG4... Reference original image, SG2. Image, KG2 ... second basic layer image, KG3 ... third basic layer image, KG4 ... fourth basic layer image, BK2 ... second block layer image, BK3 ... third block layer Image, BG2 ... second block image, TR3 ... third search region, TR4 ... fourth search region, TR5 ... fifth search region.

Claims (2)

In a motion vector detection method for detecting a motion vector from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames,
From the first frame until the third frame of one frame before the second frame, based on the first feature amount indicating a mean value for each of the plurality of pixels, or the each of the one pixel, the corresponding based on the second feature amount indicating the degree of dispersion of the above first feature amount, between adjacent frames the first of a motion vector between full yield that put in a lower layer than the first level to sequential detection Steps,
Based on the motion vector between the field detected in the first step, the size and position of the search area to detect the motion-out vector between the third and second frame in the first hierarchy A second step to determine;
Based on the above first feature amount and each said second feature quantity and the search area, and a third step that detect the motion-out vector between the third and second frame in the first hierarchy ,
All the motion vectors between the fields below the first layer detected in the first step, and between the third and second frames in the first layer detected in the third step. And a fourth step of detecting the motion vector from the first frame to the second frame in the first layer of the unit block. Motion vector detection method. In a motion vector detection device for detecting a motion vector from a first frame in a first layer of a predetermined unit block divided from video data to be encoded to a second frame separated by at least two frames,
From the first frame until the third frame of one frame before the second frame, based on the first feature amount indicating a mean value for each of the plurality of pixels, or the each of the one pixel, the corresponding the basis of the second feature amount indicating the degree of dispersion of the first feature quantity, a first movement of the motion vector to sequential detection between fields which definitive under layer than the first layer between the adjacent frames Vector detection means;
Search area for based on the motion vector between the detected the field Ri by the above-described first motion vector detection means detects the motion-out vector between the third and second frame in the first hierarchy Determining means for determining the size and position of
Based on the above first feature amounts and the above second feature and the search area, the second motion vector detect the motion-out vector between the third and second frame in the first hierarchy Detection means ;
All the motion vectors between the fields below the first hierarchy detected by the first motion vector detection means, and the first hierarchy detected by the second motion vector detection means. A third motion for detecting the motion vector from the first frame to the second frame in the first hierarchy of the unit block by combining the motion vectors between the third and second frames. A motion vector detection apparatus comprising: vector detection means .

Images