JPH11511621A

JPH11511621A - 階層的動き推定技術に基づいた最適動きベクトル決定方法及びその装置

Info

Publication number: JPH11511621A
Application number: JP9511849A
Authority: JP
Inventors: ジュング、ヘイ−ムック
Original assignee: デーウー・エレクトロニクス・カンパニー・リミテッド
Priority date: 1995-09-15
Filing date: 1995-11-24
Publication date: 1999-10-05
Also published as: AU3995295A; MY132291A; WO1997010677A1; KR100207390B1; KR970019671A; TW288247B; US5717470A

Abstract

(57)【要約】動きベクトルは、多段階層的動き推定によって、フレームの進行中、現フレームと前フレームとの間で決定される。候補ブロックは複数の階層的探索エリアにグループ付けられる。最初、最高位階層の探索エリアに含まれる候補ブロックをチェックして、候補ブロックと探索ブロックとの間の平均二乗誤差(MSE)が予め定められた閾値より小さいかを判断する。もしＭＳＥが閾値より小さい場合、対応する候補ブロックの位置ベクトルが探索ブロックの動きベクトルとして決定され、そうでない場合には、次の階層に含まれている候補ブロックが処理される。探索ブロックの動きベクトルを決定するために、残りの階層の探索エリアに対して異なる条件が適用される。条件のうちの１つにおいて、動きベクトルに対するＭＳＥ値が予め定められた候補ブロックのＭＳＥ値のうちの最小値として定められる基準誤差関数より小さくなければならない。その他の条件においては、現在処理される階層の最小ＭＳＥ値がより高い階層の最小ＭＳＥより遥かに小さく、また最小ＭＳＥ値が３つの隣接レベル間で２倍増加する。このようなプロセスは、上記の条件を満足する動きベクトルが検出されるか、または全ての階層が処理されるまで行われる。

Description

【発明の詳細な説明】階層的動き推定技術に基づいた最適動きベクトル決定方法及びその装置発明の技術分野本発明は、動きベクトルを決定するための方法及びその装置に関し、特に、階層的動き推定技術を用いて、２つの連続する映像フレームから動きベクトルを決定する動きベクトル決定方法及びその装置に関する。背景技術公知のように、ディジタル映像信号の伝送はアナログ信号のものより高画質の映像を提供することができる。一連の映像“フレーム”から成る映像信号をディジタル形式で表わす場合、とりわけ、高精細度テレビジョン(HDTV)システムの場合に、伝送の際においては大量のディジタルデータが必要である。しかしながら、従来の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、その制限されたチャネル帯域幅を通じて多量のディジタルデータを伝送するためには、伝送すべきデータの量を圧縮したり減らしたりすることは避けられない。このため、いろいろな画像信号圧縮技術のうち、確率的符号化技術と時間的、空間的圧縮技術とを組み合わせた、いわゆるハイブリッド符号化（hybridcoding）技術が最も効率的なものとして知られている。殆どのハイブリッド符号化技術は、動き補償ＤＰＣＭ(差分パルス符号変調)、２次元ＤＣＴ(離散的コサイン変換)、ＤＣＴ係数の量子化、及びＶＬＣ（可変長符号化）などの技術を用いている。動き補償ＤＰＣＭは、現フレームとその前フレームとの間の物体の動きを推定し、その物体の動きに基づいて現フレームを予測して、現フレームとその予測値との間の差を表す差分信号を生成するプロセスである。動き補償ＤＰＣＭデータのような映像データの間の空間的冗長性を減らすか、または除去する２次元ＤＣＴは、例えば、８×８画素のディジタル映像データよりなるブロックを変換係数データの組に変換する。この技術は、例えば、Chen及びPratt氏による論文,「Scene Adaptive Coder」,IEEE Transactions o n Communications ，COM- ３２，No．３，pp．２２５-２３２(March １９８４)に開示されている。量子化器、ジグザグ走査及びＶＬＣを通じてそのような変換係数データを処理することによって、伝送すべきデータの量を効果的に圧縮し得る。詳述すると、動き補償ＤＰＣＭでは、現フレームと前フレームとの間の動き推定に基づいて、現フレームのデータを対応する前フレームのデータから予測する。そのように推定された動きは、前フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって表され得る。一連の画像信号において物体の変位推定に最も頻繁に用いられる方法のうちの１つに、ブロックマッチング法(black matching algorithm)がある。このブロックマッチング法によると、現フレームは複数の探索ブロックに分けられる。各探索ブロックの大きさは、一般的に８×８画素から３２×３２画素の範囲で定められる。現フレームの探索ブロックと、前ブロックにおいて一般により大きい探索領域内に含まれた同等の大きさの複数の候補ブロック各々との間の類似度を計算することによって、現フレームにおける探索ブロックに対する動きベクトルが決定される。平均絶対誤差または平均二乗誤差等の誤差関数を用いて、現フレームの探索ブロックと探索領域における各候補ブロックとの間の類似度を求める。ここで、動きベクトルとは、探索ブロックと最小の誤差関数をもたらす候補ブロックとの間の変位を表す。探索ブロックが、該当探索ブロックに対応する探索領域内の全ての可能な候補ブロックと比較されるので(即ち、全探索ブロックマッチング)、多大な計算量となる。その結果として、高速の処理能力及び/または実時間処理のための多くのプロセッサが組込まれる複雑なハードウェアが必要となる。従って、前述した全探索ブロックマッチング法においての多大な計算量を鑑みて、単純化されたアルゴリズムが提案されてきた(例えば、J.R.Jainらの論文，「Displacement Measurement Its Appilcation in Interframe Image Coding」，IEEE Transactions of Communications COM-２９，No．１２，pp．１７９９− １８０８(December １９８１))。この単純化されたアルゴリズムは、探索エリアを連続的に減らすことによって最小ひずみの方向を探索する。最初の段階においては、探索領域内の予め定められた位置に位置している５個の候補ブロックの組のうち、最小誤差関数をもたらす１つの候補ブロックを探索する。この最小誤差関数をもたらす候補ブロックを検出した後、上記のプロセスが検出された候補ブロックによって決定された探索エリア上の予め定められた位置における他の５個の候補ブロックの組に対して繰返して行われる。このような過程は探索エリアが３×３候補ブロックの大きさに減少するまで続く。最後の段階においては、９個の候補ブロックのうちで最小誤差関数をもたらす候補ブロックが、探索ブロックに最も類似な候補ブロックとして決定され、また探索ブロックと最後に選択された候補ブロックとの間の変位は、探索ブロックの動きベクトルとして確定される。たとえそのような前述した全探索ブロックマッチング方法を単純化した探索方法が大量の計算量や複雑なハードウェア要件を減らし得るとしても、決定された動きベクトルが全体的な最小誤差関数をもたらす最も類似な候補ブロックよりも局所的な最小誤差関数をもたらす候補ブロックを反映する可能性があるので、必ずしもブロックマッチング法を最適に具現化はしない。発明の開示従って、本発明の主な目的は、階層的動き推定方法を用いてハードウエア要件を減らすと共に最適の動きベクトルを決定する改善された動きベクトル決定方法及びその装置を提供することにある。ここで、探索ブロックに対する各階層的動きベクトルは該当探索ブロックに対応する探索領域に含まれている予め定められた探索エリア内で探索される。上記の目的を達成するために、本発明によれば、多段階層的動き推定を用いて、同等の大きさの複数の探索ブロックに分けられる現フレームと対応する数の探索領域に分割される前フレームとの間の動きベクトルを決定する動きベクトル決定方法であって、各探索領域は前記同等の大きさの複数の候補ブロックに更に分割され、各探索領域における前記候補ブロックは最高位階層から最低位階層までの異なる階層の複数の探索エリアにグループ付けられ、前記最高位階層の探索エリアに含まれている各候補ブロックに対して探索ブロックを動き推定して、前記探索ブロックと最小誤差関数をもたらす前記候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記最高位階層の最小誤差関数とを発生する第１段階と、前記最小誤差関数と前記最高位階層の閾値とを比較する第２段階と、前記最小誤差関数が前記最高位階層の閾値以下である場合は、前記ポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定し、前記最小誤差関数が前記最高位階層の閾値より大きい場合には、前記探索ブロックに対応する前記探索領域に含まれている予め定められた候補ブロックの組から求められる最も少ない誤差関数を表す基準誤差関数を計算する第３段階と、より低い階層の探索エリアに含まれている各候補ブロックに対して前記探索ブロックを動き推定して、前記探索ブロックと前記最小誤差関数をもたらす前記より低い階層の探索エリアに含まれている候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記探索ブロックに対する前記より低い階層の最小誤差関数とを発生する第４段階と、前記第１段階から第４段階で求められた最小誤差関数のうち、最も小さい誤差関数を選択する第５段階と、前記選択された最も小さい誤差関数が、基準閾値より大きい分だけ、前記最も小さい誤差関数をもたらす階層より低い階層の最小誤差関数より小さいか、または２つの連続した階層のいずれか一方に対する最小誤差関数が、前記２つの連続した階層のいずれか一方より高い階層の最小誤差関数以上であり、前記選択された最も小さい誤差関数が前記基準誤差関数より小さいことによって、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定するまで、前記第４段階及び第５段階を繰返して行う第６段階と、前記探索ブロックの動きベクトルが前記第６段階で決定されない場合、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定する第７段階と、前記現フレームにおける残りの探索ブロックの各々に対して前記第１段階から第７段階を適用する第８段階とを含むことを特徴とする動きべクトル決定方法を提供する。図面の簡単な説明第１図は、本発明の動き推定部のブロック図であり、第２図は、第１図中の動きベクトル決定部の詳細なブロック図であり、第３図は、本発明に用いられる、階層的探索エリアの構造の一例を示す図であり、第４図は、本発明による基準誤差関数を決定するのに用いられる候補ブロックの位置を示す図であり、第５Ａ図及び第５Ｂ図は、各々探索ブロックに対する動きベクトルの決定を説明するためのフローチャートである。発明の実施の様態以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。第１図には、本発明の動き推定部のブロック図が示されている。ディジタル映像信号は、現フレームとして第１フレームメモリ２１０に、また前フレームとして第２フレームメモリ２１２に入力される。実際に、入力ディジタル映像信号は、ブロック単位に入力メモリ（図示せず）から読み出される。ここで、映像信号の各フレームは、ブロック単位の処理のために画素データよりなる連続的なブロックとして格納される。入力ディジタル映像信号のブロックの大きさは、一般的に８×８画素から３２×３２画素までの範囲で定められる。従来のブロックマッチング法によると、現フレームは、同等の大きさ（例えば、１６ ×１６画素）の複数の探索ブロックに分割される。探索ブロックに対する動きベクトルを決定するために、探索ブロックと前フレームにおいて一般的により大きい探索領域内に含まれている同等の大きさの複数の候補ブロックの各々との間で類似度計算が行われ、こうして最適マッチングブロックが検出される。探索領域は、予め定められた探索範囲(例えば、水平及び垂直方向に±１２画素の範囲)によって画定される。一方、本発明において、現ブロックにおける探索ブロックに対する動き推定は、探索領域内の複数の候補ブロックを複数(例えば、７)の階層的探索エリアにグループ付けることによって行われる。第３図には、本発明の動き推定方法に用いられる階層的探索エリアを表す例示図が示されている。図中、正方形は、例えば探索領域に含まれる候補ブロックの左上コーナーにある画素を表し、また探索領域に含まれる候補ブロックを代表する。本発明による階層的動き推定を実行するために、候補ブロックはグループ付けられるが、即ち探索領域は複数(例えば、７)の探索エリアに分割される。図中、探索エリアの内部に表れている数字０から６は、各探索領域の階層レベルを表し、より大きい数字であればあるほどより低いレベルを表す。本発明の好適な実施例において、図中、０で表される０レベルの探索エリアは１つの候補ブロックを有し、この候補ブロックは探索ブロックと同一の位置に置かれる。また、残りの１レベルから６レベルの探索エリアに含まれている各候補ブロックの数は、各レベルによって変わる。ここで、本発明はいろいろな異なる方法、例えば前述したものと異なり各々の探索エリアを構成することによって具現され得ることに注目されたい。殆どのビデオ映像において、動く物体を含む部分は、フレーム移動の際、変化しないその背景に比べて比較的小さい。更に、動きベクトルの最大値が画質関係上大きい値に設定されても、実際に動きベクトルの数はあまり多くない。第３図に示すように、より高いレベルは、より小さい値の動きベクトルに対応する。従って、より高いレベルの探索エリアに含まれている候補ブロックは、探索ブロックに対する最適マッチングブロックになる可能性が高い。本発明において、最初、最大レベル（例えば、０レベル）の探索エリアに含まれる候補ブロックを検査して、候補ブロックと探索ブロックとの間の平均二乗誤差(MSE)が予め定められた閾値より小さいかを判断する。もしＭＳＥが閾値より小さい場合、候補ブロックの位置ベクトル、例えば（０．０）が探索ブロックの動きベクトルとして決定され、そうでない場合には、次のレベルに含まれている候補ブロックが処理される。即ち、より低いレベルの探索エリアにおける各候補ブロックに対して異なる条件が適用される。条件のうちの１つは、動きベクトルに対するＭＳＥ値が予め定められた候補ブロックのＭＳＥ値のうちの最小値として定められる基準誤差関数より小さくなければならないということである。第４図には、本発明による基準誤差関数を決定するのに用いられる候補ブロックの位置が示されている。第４図に示されているものと異なる候補ブロックの組が用いられ得る。図中で、候補ブロックは、探索領域で一様に分散されている。その他の条件は、第５Ａ図及び第５Ｂ図を参照して説明する。適当な動きベクトルが１レベルの動き推定で検出されない場合は、次のレベルに対して動き推定が行われる。このようなプロセスは、全ての条件を満足する動きベクトルが決定されるか、または全てのレベルに対して処理されるまで続く。典型的な場合において、動きベクトルは、上述のように、より高いレベルの動き推定で決定される可能性が高い。従って、本発明によれば、全探索ブロックマッチング方法に比べて、動きベクトルを検出するのにかかる計算時間が短い。第５Ａ図及び第５Ｂ図は、各々、現探索ブロックの動きベクトルを決定するプロセスを説明するフローチャートである。ステップＳ１０において、処理されるべき探索ブロックＢが入力される。ステップＳ１２において、レベル番号を表すｉは「０」と設定され、候補ブロックの位置ベクトルを表すＤＶ(i)は(０、０) と設定され、ＭＳＥ(i)が計算される。このＭＳＥ(i)はｉレベルの探索エリアに含まれている候補ブロックの最小ＭＳＥを表す。ステップＳ１２において、ＭＳＥ(i)は０レベルの探索エリアにある候補ブロック(例えば、その位置は探索ブロックと同一の位置にある)の最小ＭＳＥを表す。ＭＶはＭＳＥの最小値に対応する位置ベクトルを表し、ステップＳ１４において(０、０)と設定される。ＭＳＥ(０）が予め定められた閾値Ｔ₀より小さい場合は、プロセスは終了し、ＭＶ値 (０、０)が現探索ブロックの動きベクトルとして決定される。ＭＳＥ(i)がＴ₀を超える場合、ステップＳ１８で、残りのレベルに対して行われる前に、後続ステップで用いられるべき値が初期化される。詳述すると、ＭＳＥの最小値を表すＬＭは、ＭＳＥ(i)と設定され、探索ブロックの動きベクトルを決定するのに用いられるＮ１及びＮ２は、各々、「０」に初期化される。ステップＳ２０で、基準誤差関数ＭＳＥ(ＲＥＦ)が検索された後、ステップＳ２２で次のレベルの処理のためにｉは１だけ増加される。ステップＳ２４において、ｉレベルの探索エリアに含まれている候補ブロックの最小ＭＳＥであるＭＳＥ(i)と、対応する位置ベクトルＤＶ(i)とが検出される。その後、現レベルにおける最小ＭＳＥであるＭＳＥ(i)がＬＭ以上である場合、ステップＳ４０において前レベルの最小ＭＳＥであるＭＳＥ(i-１)と比較される。ＭＳＥ(i)が前レベルのＭＳＥ(i-１)より大きい場合、ステップＳ４２でＮ２は１だけ増加される。ここで、Ｎ２は、隣接するレベルの間で最小ＭＳＥ値の増加分を表す。そうでない場合、即ちＭＳＥ(i)がＭＳＥ(i-１)以下である場合、ステップＳ３０でＮ１及びＮ２は全て「０」とリセットされる。ステップＳ４４及びＳ４６において、ＭＳＥ(i)とＬＭとの間の差は予め定められた値Ｔ_iと比較され、その差がＴ_iより大きい時はＮ１は１だけ増加される。一方、ステップＳ２６において、ＭＳＥ(i)がＬＭより小さい場合、ＬＭ及びＭＶは、各々、ＭＳＥ(i)及びＤＶ(i)に更新される。この場合、Ｎ１及びＮ２も全て「０」に初期化される(ステップＳ３０）。ステップＳ３２及びＳ３４で、現在ＭＶに含まれている位置ベクトルが、探索ブロックの動きベクトルに付加される条件を満足するか否かがチェックされる。詳述すると、ステップＳ３２においてＮ１=１は、現ＭＳＥ(i)値が前レベルで求められた最小ＭＳＥ値であるＬＭより遥かに小さいことを表し、Ｎ２=２は３つの隣接レベル間で最小ＭＳＥ値が２倍増加することを表し、最小ＭＳＥは基準誤差関数ＭＳＥ（ＲＥＦ）以下でなければならない。ステップＳ３２及びＳ３４に示されている条件を満足する最小ＭＳＥ値が検出されると、ステップＳ３８において現ＭＶ値が探索ブロックＢの動きベクトルとして決定される。ここで、ＭＶは、現ＬＭ値、即ち処理されたレベルの最小ＭＳＥ値の間の最小値に対応する位置ベクトルを表す。そうでない場合は、全プロセスが次のレベルに対して再び行われる。ｉ値は０からＫ-１まで変化し、Ｋは探索領域に含まれる異なるレベルの数である。現レベルが、探索領域において最後のレベル(例えば、(Ｋ-１)レベル)である場合、ステップＳ３６及びＳ３８に示すように現ＭＶ値が動きベクトルとして決定される。要するに、現ＬＭ値、即ち処理されたレベルにおけるＭＳＥの最小値が、ＭＳＥ(i)が３つの隣接レベル間で２倍増加し、または現ＭＳＥ(i)及びＬＭとの間の差がＴ_iより大きい条件下で、動きベクトルとして決定される。これらの条件は、ＬＭがＭＳＥの局所的な最小値でないことを確実にするためである。かくして、探索領域に含まれている全ての候補ブロックを処理することなく、最小ＭＳＥをもたらす正確な動きベクトルを検出することができる。また、基準誤差関数に対する条件によって、ＬＭが局所的な最小値になる可能性は少なくなる。本発明の他の好適な実施例において、ステップＳ４０は動きベクトルの正確さを大きく影響せずにスキップされ得る。ステップＳ４０で考慮された条件は、ＭＳＥ(i)があるレベルで増加しその次のレベルで減少する場合を除いて、局所的な最小値が最小ＭＳＥ値として決定されないようにするためである。しかし、ステップＳ４０による計算上の複雑さを考慮してみると、局所的な最小値になる可能性は低い。ステップＳ４０なしに、ＭＳＥ(i)がＬＭより大きい場合のみ、Ｎ２は１だけ増加し、２つの連続するＭＳＥ値、例えばＭＳＥ(m)及びＭＳＥ(m+１)がＬＭより大きい場合は、ＭＳＥ(m+ １)がＭＳＥ(m)より小さくてもＮ２は「２」に設定される。第１図に戻ると、本発明による現フレームの階層的動き推定が、対応する０レベルの探索エリアに対して探索ブロックを動き推定することによって開始される。０レベルの動き推定の実行のために、メモリ制御部２２０は探索ブロックに対する位置データ及び０レベル情報をラインＬ２０を介してフレームアドレス生成部２２４に供給する。続いて、このフレームアドレス生成部２２４は、ラインＬ２０を通じて受け取った位置データ及び０レベル情報に応じて、対応する０レベルの探索エリアにおける探索ブロック及び候補ブロックに対するアドレスデータを第１及び第２フレームメモリ２１０、２１２に各々供給する。加算器２１６において、第２フレームメモリから取出された候補ブロックの画素データと、第１フレームメモリ２１０から取出された探索ブロックの画素データとの間の差分が計算され、両データの間の差分、即ち差分信号がＭＳＥ部２１８に入力される。その後、第５Ａ図のステップＳ１６で述べたように、探索ブロックの動きベクトルが０レベルの動き推定で検出されたか否かを判断するために、候補ブロックに対するＭＳＥがラインＬ３０を介して動きベクトル決定部２３０に供給される。第２図には、第１図中の動きベクトル決定部２３０の詳細なブロック図が示されている。ラインＬ３０上の０レベルの最小ＭＳＥは、２つのスイッチＳＷ１及びＳＷ２の各入力端子Ａに入力され、これらのスイッチＳＷ１及びＳＷ２はラインＬ２０上の０レベル情報に応じてその入力端子Ａをその出力端子Ｃに切り換える。その後、０レベルの最小ＭＳＥは、ＬＭを格納するＭＩＮＭＳＥメモリ３１０、０レベル比較部３１２及びＭＳＥメモリ３１６に供給される。一方、スイッチＳＷ４においてもラインＬ２０上の０レベル情報に応じて入力端子Ａと出力端子Ｃとが結合され、入力端子Ａ上の「０」値の動きベクトルが現探索ブロックに対するポテンシャル動きベクトルとしてＭＶメモリ３３４に格納されるようにする。０レベル比較部３１２において、０レベルＭＳＥ値は予め定められた閾値Ｔ₀ と比較される。この閾値は入力ディジタル映像信号の特性、例えば、その分散によって調節され得る。本発明による０レベル比較部３１２は、スイッチＳＷ１の出力端子Ｃ上のＭＳＥ値が閾値より大きい場合はハイレベルの比較信号を、そうでない場合にはローレベルの比較信号をスイッチＳＷ３に供給する。この比較信号は第１図に示すメモリ制御部２２０と、ラインＬ２０上の０レベル情報に応じてＭＶメモリ３３４とに供給される。ここで、ハイレベルの比較信号は、探索ブロックに対する動きベクトルを探すこと無しに０レベル動き推定を終わらせることを表す。第１図に戻って、０レベル動き推定が探索ブロックの動きベクトルの検出なしに終わる場合、フレームアドレス生成部２２４はハイレベルの比較信号に応答して探索ブロック及び基準ブロックの画素データを取出すためにアドレスデータを第１及び第２フレームメモリ２１０、２１２に各々供給する。動き推定部２１４は、従来の動き推定技術を用いて第１フレームメモリ２１０からの探索ブロックに対する画素データと基準ブロックに対する画素データとに基づいて探索ブロックに対する動き推定を行うことによって、第５Ａ図のステップＳ２０に示すように、基準誤差関数をラインＬ５０を介して動きベクトル決定部２３０に供給する。この基準誤差関数は、第２図に示すＲＥＦＭＥＳ比較部３２２に入力される。基準ブロックに対する動き推定が終了すると、メモリ制御部２２０はラインＬ２０上に１レベル情報を発生する。この１レベル情報に応答して、フレームアドレス生成部２２４は、探索ブロックの画素データとその探索ブロックにおける対応する１レベルの探索エリア内にある候補ブロックの画素データとを取出すためのアドレスデータを第１及び第２フレームメモリ２１０、２１２に各々発生する。その後、動き推定部２１４は、第１フレームメモリ２１０からの探索ブロックに対する画素データと、対応する１レベルの探索エリアにおける候補ブロックに対する画素データとに基づいて探索ブロックに対する１レベル動き推定を行うことによって、ラインＬ４０を介して１レベルの最小ＭＳＥを、ラインＬ６０を介して探索ブロックの対応する１レベルの動きベクトルを動きベクトル決定部２３０に各々供給する。動きベクトル決定部２３０において、１レベルの最小ＭＳＥは、第５Ｂ図を参照して述べたように、探索ブロックの動きベクトルが検出されるか否かを判断するためにチェックされる。詳述すると、ラインＬ４０上の１レベルの最小ＭＳＥは、スイッチＳＷ２の入力端子Ａに印加され、このスイッチＳＷ２はその入力端子ＡをラインＬ２０上の１レベル情報に応答してその出力端子Ｃにスイッチングする。その後、１レベルの最小ＭＳＥはＭＳＥ選択部３１４、ＭＳＥメモリ３１６及びＭＳＥ比較部３２０に供給される。また、対応する１レベルの動きベクトルは、ラインＬ６０を介してＭＶ選択部３３６に入力される。その後、ＭＳＥ選択部３１４は、０レベルの最小ＭＳＥとＭＩＮＭＳＥメモリ３１０から取出された１レベルの最小ＭＳＥとを比較すると共に、それらの間のより小さいＭＳＥ値を選定して、選択されたＭＳＥ値をスイッチＳＷ１の入力端子Ｂに供給し、またその値を示す選択信号をラインＬ７０を介してＭＶ選択部３３６に供給する。第５Ｂ図のステップＳ４０に示すように、ＭＳＥ比較部３２０において現レベルの最小ＭＳＥであるＭＳＥ (１)は、前レベルの最小ＭＳＥであるＭＳＥ(０)と比較される。ＭＳＥ(１)が前レベルのＭＳＥ(０)より大きい場合、ＡＮＤゲート３２４においてラインＬ７０及びラインＬ９０上の信号は論理積演算されてハイレベルの論理信号がラインＬ１１０上に出力される。よって、カウンタ３２６に格納されているＮ２の値は１だけ増加される。そうでない場合は、即ちＭＳＥ(１)がＭＳＥ(０)より小さい場合、Ｎ２がカウンタリセット３２８によって「０」にリセットされる。カウンタ３２６は、Ｎ２が「２」である時、ラインＬ１２０上にハイレベルの信号を供給する。ＭＳＥ(１)とＬＭとの間の差分は差分比較部３１８において予め定められた閾値Ｔ_iと比較され、その差分がＴ_iより大きい時、ハイレベルの信号がライン L８０を介してＯＲゲート３３０に供給される。ここで、ラインＬ８０の値はＮ１の値である。Ｎ１が「１」、またはＮ２が「２」である時、ラインＬ１３０はハイレベル状態になる。ラインＬ１３０がハイレベル状態であり、ＭＩＮＭＳＥメモリ３１０に格納されているＭＳＥ値が基準誤差関数より小さい時、ラインＬ１４０はハイレベルの状態となる。ラインＬ１４０上のハイレベルの信号に応答して、ＭＶメモリ３３４は探索ブロックの動きベクトルをラインＬ１２上に発生する。また、探索ブロックに対する動きベクトルが検出され、次の探索ブロックの処理の準備を報知するために、ハイレベルの信号がスイッチＳＷ３を介してメモリ制御部２２０に供給される。ラインＬ１４０がローレベルの状態になる場合には、動き推定がそれらの各レベルの対応する探索エリアに対して動き推定部２１４で実行されることを除いて、次のレベルは１レベル動き推定に対して行われたような方法で処理される。探索ブロックに対する動きベクトルが検出されるか、または全てのレベルが処理されるまで、後続レベルは処理し続けられる。上記した本発明の他の好適な実施例において、第２図に示す装置は、第５Ｂ図のステップＳ４０無しに上記プロセスを実行するために変更され得る。詳述すると、ＭＳＥメモリ３１６が前レベルの最小ＭＳＥ値を格納し、ＭＳＥ比較部３２０がその値を現レベルのＭＳＥ値と比較する。従って、ＭＳＥメモリ３１６、ＭＳＥ比較部３２０及びＯＲゲート３２４は、削除され得る。上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変を成し得るであろう。

───────────────────────────────────────────────────── 【要約の続き】を満足する動きベクトルが検出されるか、または全ての階層が処理されるまで行われる。

Claims

【特許請求の範囲】１．多段階層的動き推定を用いて、同等の大きさの複数の探索ブロックに分けられる現フレームと対応する数の探索領域に分割される前フレームとの間の動きベクトルを決定する動きベクトル決定方法であって、各探索領域は前記同等の大きさの複数の候補ブロックに更に分割され、各探索領域における前記候補ブロックは最高位階層から最低位階層までの異なる階層の複数の探索エリアにグループ付けられ、前記最高位階層の探索エリアに含まれている各候補ブロックに対して探索ブロックを動き推定して、前記探索ブロックと最小誤差関数をもたらす前記候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記最高位階層の最小誤差関数とを発生する第１段階と、前記最小誤差関数と前記最高位階層の閾値とを比較する第２段階と、前記最小誤差関数が前記最高位階層の閾値以下である場合は、前記ポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定し、前記最小誤差関数が前記最高位階層の閾値より大きい場合には、前記探索ブロックに対応する前記探索領域に含まれている予め定められた候補ブロックの組から求められる最も少ない誤差関数を表す基準誤差関数を計算する第３段階と、より低い階層の探索エリアに含まれている各候補ブロックに対して前記探索ブロックを動き推定して、前記探索ブロックと前記最小誤差関数をもたらす前記より低い階層の探索エリアに含まれている候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記探索ブロックに対する前記より低い階層の最小誤差関数とを発生する第４段階と、前記第１段階から第４段階で求められた最小誤差関数のうち、最も小さい誤差関数を選択する第５段階と、前記選択された最も小さい誤差関数が、基準閾値より大きい分だけ、前記最も小さい誤差関数をもたらす階層より低い階層の最小誤差関数より小さいか、または２つの連続した階層のいずれか一方に対する最小誤差関数が、前記２つの連続した階層のいずれか一方より高い階層の最小誤差関数以上であり、前記選択された最も小さい誤差関数が前記基準誤差関数より小さいことによって、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定するまで、前記第４段階及び第５段階を繰返して行う第６段階と、前記探索ブロックの動きベクトルが前記第６段階で決定されない場合、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定する第７段階と、前記現フレームにおける残りの探索ブロックの各々に対して前記第１段階から第７段階を適用する第８段階とを含むことを特徴とする動きベクトル決定方法。２．前記最高位階層の前記探索エリアが、１つの候補ブロックよりなることを特徴とする請求項１に記載の動きベクトル決定方法。３．前記最高位階層の前記閾値が予め定められた値であり、前記基準閾値が前記選択された最も小さい誤差関数に基づいて決定されることを特徴とする請求項２に記載の動きベクトル決定方法。４．多段階層的動き推定を用いて、同等の大きさの複数の探索ブロックに分割される現フレームと対応する数の探索領域に分割される前フレームとの間の動きベクトルを決定する動きベクトル決定方法であって、各探索領域は前記同等の大きさの複数の候補ブロックに更に分割され、各探索領域における前記候補ブロックは最高位階層から最低位階層までの異なる階層の複数の探索エリアにグループ付けられ、前記最高位階層の探索エリアに含まれている各候補ブロックに対して探索ブロックを動き推定して、前記探索ブロックと最小誤差関数をもたらす前記候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記最高位階層の最小誤差関数とを発生する第１段階と、前記最小誤差関数と前記最高位階層の閾値とを比較する第２段階と、前記最小誤差関数が前記最高位階層の閾値以下である場合は、前記ポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定し、前記最小誤差関数が前記最高位階層の閾値より大きい場合には、前記探索ブロックに対応する前記探索領域に含まれている予め定められた候補ブロックの組から求められる最も少ない誤差関数を表す基準誤差関数を計算する第３段階と、より低い階層の探索エリアに含まれている各候補ブロックに対して前記探索ブロックを動き推定して、前記探索ブロックと前記最小誤差関数をもたらす前記より低い階層の探索エリアに含まれている候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記探索ブロックに対する前記より低い階層の最小誤差関数とを発生する第４段階と、前記第１段階から第４段階で求められた最小誤差関数のうちの最も小さい誤差関数を選択する第５段階と、前記選択された最も小さい誤差関数が、基準閾値より大きい分だけ、前記最も小さい誤差関数をもたらす階層より低い階層の最小誤差関数より小さいか、または前記選択された最も小さい誤差関数が、前記最も小さい誤差関数をもたらす階層より低い２つの連続した階層のいずれか一方の最小誤差関数より小さく、前記選択された最も小さい誤差関数が前記基準誤差関数より小さいことによって、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定するまで、前記第４段階及び第５段階を繰返して行う第６段階と、前記探索ブロックの動きベクトルが前記第６段階で決定されない場合、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定する第７段階と、前記現フレームにおける残りの探索ブロックの各々に対して前記第１段階から第７段階を適用する第８段階とを含むことを特徴とする動きベクトル決定方法。５．前記最高位階層の前記探索エリアが、１つの候補ブロックよりなることを特徴とする請求項４に記載の動きベクトル決定方法。６．前記最高位階層の前記閾値が予め定められた値であり、前記基準閾値が前記選択された最も小さい誤差関数に基づいて決定されることを特徴とする請求項５に記載の動きベクトル決定方法。７．多段階層的動き推定を用いて、同等の大きさの複数の探索ブロックに分割される現フレームと対応する数の探索領域に分割される前フレームとの間の動きベクトルを決定する動きベクトル決定装置であって、各探索領域は前記同等の大きさの複数の候補ブロックに更に分割され、各探索領域における前記候補ブロックは最高位階層から最低位階層までの異なる階層の複数の探索エリアにグループ付けられ、前記最高位階層の探索エリアに含まれている各候補ブロックに対して探索ブロックを動き推定して、前記探索ブロックと最小誤差関数をもたらす前記候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記最高位階層の最小誤差関数とを発生する第１動き推定手段と、前記最小誤差関数と前記最高位階層の閾値とを比較する比較手段と、前記最小誤差関数が前記最高位階層の閾値以下である場合は、前記ポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定し、前記最小誤差関数が前記最高位階層の閾値より大きい場合には、前記探索ブロックに対応する前記探索領域に含まれている予め定められた候補ブロックの組から求められる最も少ない誤差関数を表す基準誤差関数を計算する第１動きベクトル決定手段と、より低い階層の探索エリアに含まれている各候補ブロックに対して前記探索ブロックを動き推定して、前記探索ブロックと前記最小誤差関数をもたらす前記より低い階層の探索エリアに含まれている候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記探索ブロックに対する前記より低い階層の最小誤差関数とを発生する第２動き推定手段と、前記各手段から求められた最小誤差関数のうちの最も小さい誤差関数を選択する選択手段と、前記選択された最も小さい誤差関数が、基準しきいより大きい分だけ、前記最も小さい誤差関数をもたらす階層より低い階層の最小誤差関数より小さいか、または２つの連続した階層のいずれか一方に対する最小誤差関数が、前記２つの連続した階層のいずれか一方より高い階層の最小誤差関数以上であり、前記選択された最も小さい誤差関数が前記基準誤差関数より小さいことによって、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定するまで、前記第２動き推定手段及び前記選択手段の動作を繰返して行う反復手段と、前記探索ブロックの動きベクトルが前記反復手段で決定されない場合、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定する第２動きベクトル決定手段と、前記現フレームにおける残りの探索ブロックの各々に対して前記各手段を適用する手段とを含むことを特徴とする動きベクトル決定装置。８．前記最高位階層の前記探索エリアが、１つの候補ブロックよりなることを特徴とする請求項７に記載の動きベクトル決定装置。９．前記最高位階層の前記閾値が予め定められた値であり、前記基準閾値が前記選択された最も小さい誤差関数に基づいて決定されることを特徴とする請求項８に記載の動きベクトル決定装置。１０．多段階層的動き推定を用いて、同等の大きさの複数の探索ブロックに分割される現フレームと対応する数の探索領域に分割される前フレームとの間の動きベクトルを決定する動きベクトル決定装置であって、各探索領域は前記同等の大きさの複数の候補ブロックに更に分割され、各探索領域における前記候補ブロックは最高位階層から最低位階層までの異なる階層の複数の探索エリアにグループ付けられ、前記最高位階層の探索エリアに含まれている各候補ブロックに対して探索ブロックを動き推定して、前記探索ブロックと最小誤差関数をもたらす前記候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記最高位階層の最小誤差関数とを発生する第１動き推定手段と、前記最小誤差関数と前記最高位階層の閾値とを比較する比較手段と、前記最小誤差関数が前記最高位階層の閾値以下である場合は、前記ポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定し、前記最小誤差関数が前記最高位階層の閾値より大きい場合には、前記探索ブロックに対応する前記探索領域に含まれている予め定められた候補ブロックの組から求められる最も少ない誤差関数を表す基準誤差関数を計算する第１動きベクトル決定手段と、より低い階層の探索エリアに含まれている各候補ブロックに対して前記探索ブロックを動き推定して、前記探索ブロックと前記最小誤差関数をもたらす前記より低い階層の探索エリアに含まれている候補ブロックのうちの何れか１つとの間の変位を表すポテンシャル動きベクトルと、前記探索ブロックに対する前記より低い階層の最小誤差関数とを発生する第２動き推定手段と、前記各手段から求められた最小誤差関数のうちの最も小さい誤差関数を選択する選択手段と、前記選択された最も小さい誤差関数が、基準しきいより大きい分だけ、前記最も小さい誤差関数をもたらす階層より低い階層の最小誤差関数より小さいか、または前記選択された最も小さい誤差関数が、前記最も小さい誤差関数をもたらす階層より低い２つの連続した階層のいずれか一方の最小誤差関数より小さく、前記選択された最も小さい誤差関数が前記基準誤差関数より小さいことによって、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定するまで、前記第２動き推定手段及び前記選択手段の動作を繰返して行う反復手段と、前記探索ブロックの動きベクトルが前記反復手段で決定されない場合、前記選択された最も小さい誤差関数に対応するポテンシャル動きベクトルを前記探索ブロックの動きベクトルとして決定する第２動きベクトル決定手段と、前記現フレームにおける残りの探索ブロックの各々に対して前記各手段を適用する手段とを含むことを特徴とする動きベクトル決定装置。１１．前記最高位階層の前記探索エリアが、１つの候補ブロックよりなることを特徴とする請求項１０に記載の動きベクトル決定装置。１２．前記最高位階層の前記閾値が予め定められた値であり、前記基準閾値が前記選択された最も小さい誤差関数に基づいて決定されることを特徴とする請求項１１に記載の動きベクトル決定装置。