JPH10505210A - 広域−局所ブロック動き推定用の方法及び装置 - Google Patents

Abstract

(57)【要約】 動きベクトルを推定する装置及びこれに付随する方法が開示されている。この装置は、入力として第１の画像フレーム（３００）及び第２の画像フレーム（３０２）有しており、これらは各々、画像を表す複数の画素を含んでいる。この装置は、第１画像フレーム（３００）内の探索領域（３１６）をデシメートして低減解像度画素ブロック（３０８）を生成するピラミッドプロセッサ（１０２）と、この低減解像度画素ブロック（３０８）を用いて、低減解像度画素ブロックが低減解像度探索領域（３１０）の画素からなるマッチングブロックと実質的にマッチするまで低減解像度探索領域（３１０）内で広域探索を行う広域探索システム（１０４）と、第２画像フレーム内の低減解像度画素ブロックの位置と第１画像フレーム内の画素からなるマッチングブロックの位置との間の隔たりを表す推定動きベクトルを計算する手段（１０６）と、を備えている。

Description

【発明の詳細な説明】 広域−局所ブロック動き推定用の方法及び装置 本発明は、一般に、画像シーケンスを符号化するシステムに関し、特に、ブロ ックベースの動き推定のために動きベクトルを決定する際の計算の複雑さを低減 する装置及びその付随方法に関する。 ビデオ画像シーケンス等の画像シーケンスは、通常、一連の画像フレームを含 んでいる。動く物体を含むビデオの再生には、１メガバイトを超える情報を含む 場合もある各フレームについて、通常、毎秒３０画像フレームのフレーム速度が 必要となる。この結果、このような画像シーケンスを伝送したり記憶したりする には、大きな送信帯域幅や記憶容量が必要となる。必要な送信帯域幅又は記憶容 量を低減するため、フレームシーケンス内の冗長情報が記憶又は送信されないよ うにシーケンスが圧縮される。このため、種々の符号化技術による画像シーケン ス圧縮は、近年の膨大な研究の対象となっている。テレビジョン、ビデオ会議及 びCD-ROMアーカイビングは、ビデオシーケンス符号化によって利益が得られる用 途である。 一般に、画像シーケンスを符号化するために、一つのフレームから次のフレー ムへのシーン中の物体の動きに関する情報が、符号化処理において重要な役割を 果たす。ほとんどの画像シーケンスにおける連続フレーム間に存在する高い冗長 性のため、動き推定として知られる技術を用いることにより、実質的なデータ圧 縮を達成することができる。例えば、シーケンス中に動きがない場合、シーケン ス中の各フレームは、そのシーケンス中の前のフレームと同一である。従って、 冗長フレームは、記憶又は送信すべきでない。このため、例えば受信機は、前に 受信したフレームを単に繰り返して、シーケンス中の各フレームを受信する必要 なしに一連の同一フレームを再生することができる。この動きのない例は、ビデ オシーケンスの連続フレーム間の冗長性を活用して前のフレームを用いて新たな フレームを予測することができる最も単純な例である。 しかし、一般的には、画像シーケンス中の一つのフレームから次のフレームに は、少なくともある程度の動きがある。動きを含むシーケンスでは、直前のフレ ーム、及び現在のフレームと直前のフレームとの差を表す情報、を用いることに より、現在のフレームを再構成することができる。例えば、単純な画像シーケン ス送信システムにおいて、送信機では、現フレームを前フレームと比較して動き 情報、即ち二つのフレーム間の差を求めている。この後、送信機は、前フレーム 及び動き情報を受信機に送信する。受信機では、前フレームを動き情報と組み合 わせることによって、現フレームが再構成される。この結果、二つの完全なフレ ームではなく、１フレームと差情報のみが送信及び受信される。必要な帯域幅を 更に低減するために、種々の副サンプリング技術を用いて参照フレーム（例えば 、前フレーム）を圧縮することができる。ビデオ会議、ビデオ電話、及びディジ タルテレビジョン等の用途では、動き情報がデータ圧縮の鍵となっている。しか しながら、フレームシーケンスからの動き情報の抽出は、膨大な計算を必要とし ており、動き推定タスクを実行するように設計されたハードウェアに重い負担を 課すことになる。 多くのシステムでは、いわゆるブロックベースアプローチを用いて動き情報を 求めている。種々のブロックベースアプローチの例は、１９９０年５月８日発行 の米国特許第４９２４３１０号や、１９９２年４月１４日発行の第５１０５２７ １号や、１９９３年５月１１日発行の第５２１０６０５号に記載されている。単 純なブロックベースアプローチでは、現フレームは複数の画素ブロック（以下で は、現ブロックと呼ぶ）に分割される。これらの現ブロックの各々について、前 フレーム中の選択探索領域内で、現ブロックと「最も良く」マッチする画素ブロ ックの探索が行われる。この探索は、通常、選択された現ブロックと前フレーム の選択探索領域中の同様の大きさの画素ブロックとを繰り返し比較することによ り行われる。ブロックマッチが発見されれば、現フレーム内の現ブロックの位置 に対する前フレーム内の探索領域中のマッチングブロックの位置が、動きベクト ルを定めることになる。このアプローチ、即ち各現ブロックを選択探索領域全体 と比較するアプローチは、全探索アプローチ（full search approach）又は全数 探索アプローチ（exhaustive search approach）として知られている。全探索ア プローチによる動きベクトルの導出は、膨大な計算を必要とする。このため、こ のようなシステムは、フレーム処理が比較的遅くなりがちであり、製造費用も高 かった。 従って、この技術分野では、この技術分野で現在存在するものよりも計算量の 少ないブロック動き推定装置及びその付随方法が必要とされている。 本発明は、計算に効果のある方法で動きベクトルを求める広域−局所ブロック 動き推定装置及びその付随方法を提供することにより従来技術の欠点を克服して いる。具体的には、本発明は、二つのステップからなる処理を用いる。第１のス テップでは、複数の推定動きベクトルを生成し、第２のステップでは、これらの 推定動きベクトルを洗練して最終的な動きベクトルにする。第１ステップは、本 装置が一連の低解像度フレームを生成するように、一連の画像フレームをフィル タリング及びデシメート（decimate）することによって行われる。各低解像度フ レームは、複数の画素ブロックに区分（パーティショニング）されている。これ らの連続的な低解像度フレームを用いることにより、本装置は、全数探索（以下 では、広域探索と呼ぶ）を実行して推定動きベクトルを生成する。 具体的に述べると、二つの選択された低解像度フレーム（現フレームと前フレ ーム）内において、本装置は、複数の現画素ブロック及び複数の前画素ブロック を定める。これらの前ブロックは、現ブロックよりも多数の画素を有する個別探 索領域である。本装置は、処理のために１個の現ブロック及び１個の前ブロック を選択する。選択された現ブロックは、この後、全数探索法を用いて選択探索領 域と比較される。この比較は、この探索領域内のある画素ブロックが現ブロック と実質的にマッチしていることが分かるまで行われる。前フレーム中のマッチン グブロックの位置と現フレーム中の現ブロックの位置との間の隔たりが、推定動 きベクトルを定める。この探索処理は、本装置が各現ブロックについて推定動き ベクトルを定めるまで、各現ブロックに対して繰り返される。この探索は低減（ 低）解像度画像に対して行われるため、この探索は比較的迅速に行われる。 推定動きベクトルが計算されると、本装置は、動きベクトルを推定するために 使用した低解像度フレームに対応する全解像度フレームシーケンスの中から前フ レーム及び現フレームを選択する。これらの連続した全解像度フレームと推定動 きベクトルを用いることにより、本装置は、修正全数探索（以下では、局所探索 と呼ぶ）を実行して最終的な動きベクトルを生成する。具体的に述べると、これ らの全解像度フレームでは、本装置は、これらのフレームを複数の前画素ブロッ ク及び現画素ブロックに区分する。全解像度フレーム内のこれらのブロックは、 低解像度フレーム内の同じブロックに対応している。このため、この前ブロック は、現ブロックよりも大きなサイズを有する探索領域を形成している。本装置は 、この探索領域を探索して、現ブロックとこの探索領域との間のマッチを求める 。しかしながら、与えられた低解像度現ブロックについての推定動きベクトルは 、全解像度探索領域内の全解像度現ブロックについての初期探索開始位置を与え る。このため、全解像度探索領域内で全数探索を実行することなしにマッチが迅 速に発見される。 広域探索の雑音余裕度を改善するために、低解像度現ブロックは、メタブロッ クとして形成される。これらのメタブロックは、一群の近接低解像度現ブロック によって形成される。通常、これらのメタブロックは、複数のサブブロックに区 分されている。ここで、各サブブロックは、複数の現ブロックを含んでいる。こ のメタブロックは、個々の現ブロックの代わりに広域探索で使用される。低解像 度探索領域内の画素を伴うメタブロックについてマッチが発見されると、メタブ ロック全体についての動きベクトルとともに、メタブロック内の各サブブロック についても動きベクトルが計算される。本装置は、メタブロックを構成する現ブ ロックの各々に推定動きベクトルを割り当てる。これらの動きベクトルは、現ブ ロックを含むサブブロックの動きベクトル、メタブロック全体に対応づけられた 動きベクトル、又はサブブロック動きベクトルとメタブロック動きベクトルとの 組み合わせ、のいずれかから選択される。推定動きベクトルが現ブロックに割り 当てられると、上述の局所探索が完了する。 本発明の内容は、以下の詳細な説明を添付の図面と共に考察することによって 容易に理解することができる。ここで、 図１は、本発明の広域−局所ブロック動き推定システムのブロック図である。 図２は、図１に示されるシステムの動作を示すフローチャートである。 図３は、図１の動き推定システムによって処理される一連の画像の図である。 図４及び図５は、図１の動き推定システムの他の実施形態で処理される画素の メタブロックの図である。 図６は、図１の動き推定システムの他の実施形態で処理される一連の画像の図 である。 図７は、図１のブロック動き推定システムの他の実施形態で図５のメタブロッ ク内のサブブロックの動きベクトル情報を求めるために用いるシストリックアレ イの図である。 理解の容易のため、図に共通の同一要素を表すために可能な限り同一の参照番 号が使用されている。 図１は、本発明の好適な実施形態のブロック図を表している。本発明の広域− 局所動き推定システムは、ピラミッドプロセッサ１０２、広域探索システム１０ ４、及び局所探索システム１０６を含んでいる。具体的に述べると、一連の画像 フレームは、リード１０８で、動き推定システム１００への入力を形成している 。この画像シーケンスは、ピラミッドプロセッサ１０２及び局所探索システム１ ０６の双方への入力である。一般に、ピラミッドプロセッサ１０２は、入力に到 達したフレームとして各画像フレームをフィルタリング（フィルタ１１２）、及 びデシメート（画像デシメータ（image decimator）１１４）して、一連の低減 された解像度の画像フレームを生成する。広域探索システム１０４は、これらの 低減解像度フレームを解析して、複数の推定動きベクトルを生成する。最後に、 局所探索システム１０６は、これらの推定動きベクトルを用いて入力シーケンス のフレームを解析し、複数の最終動きベクトルを生成する。これらの最終動きベ クトルは、この後、ビデオ処理システム（図示せず）が画像フレーム内のビデオ 情報を圧縮するために使用することができる。 更に詳しく述べると、ピラミッドプロセッサ１０２において、フィルタ１１２ は、通常、ガウスフィルタである。このガウスフィルタは、フレーム中で近接す る画素値を用いて加重和処理を実行する。フィルタリングされた画素は、入力画 素の正規化加重和である。この加重和が近接画素から受ける寄与は、遠くの近接 画素ほど少なくなっている。画像デシメータ１１４は、一般的な画素副サンプリ ング回路である。ピラミッドプロセッサの出力は、一連の画像フレームである。 ここで、各フレームは、対応する入力フレームよりも低い解像度を有している。 例を挙げると、デシメータ１１４は、与えられた正方形領域内の画素数を１／６ ４に低減する８倍デシメータである。以下では、ピラミッドプロセッサ１０２に よって生成されるフレームを、低解像度フレームと呼ぶことにする。 広域探索システム１０４は、２つの連続した低解像度フレームを比較して、こ れらの低解像度画像について推定動きベクトルを求める。具体的に述べると、こ れらの低解像度フレームは、現フレームが複数の現ブロックを含み、前フレーム が複数の前ブロックを含むように、複数の画素からなる複数のブロックに区分（ パーティショニング）されている。これらの前ブロックは、現ブロックよりも多 数の画素を含んでいる。例えば、各現ブロックは２画素×２画素であり、各前ブ ロックは３２画素×３２画素である。各現ブロックは、マッチが発見されるまで 、選択された前ブロックと繰り返し比較される。例えば、現ブロック中の４画素 は、前ブロック中の１０２４画素のうちの４画素と比較され、この後、これら４ 個の現ブロック画素が動かされ、再度、比較される、という処理が繰り返される 。このため、低解像度探索領域では、本システムは、全数探索（exhaustive sea rch）を実行する。以下では、この探索を、広域探索と呼ぶことにする。最も低 い算出誤差を生成するブロックが、マッチとなる。この他に、算出誤差が所定の 誤差しきい値よりも小さいときに、本ルーチンは、マッチを発見したとみなす。 マッチが発見されると、低解像度現フレーム中の現ブロックの位置と現ブロック とマッチする前ブロック中の画素ブロックの位置との差が、推定動きベクトルを 決定する。この処理は、低解像度現フレーム中の各現ブロックについて動きベク トルが計算されるまで、各現ブロックについて繰り返される。これらの推定動き ベクトルは、ライン１１０を介して局所探索システムに送られる。 局所探索システム１０６は、入力フレームシーケンス中の二つの連続した全解 像度フレーム内の画素を用いて修正を加えた全数探索（以下では局所探索と呼ぶ ）を実行する。これら二つのフレームは、ピラミッドプロセッサ１０２によって 以前にデシメートされ、かつ、広域探索システム１０４によって比較された二つ のフレームに相当している。この局所探索システムは、現在及び前の全解像度フ レームを複数の現画素ブロック及び複数の前画素ブロックに区分する。現ブロッ クは、前ブロックよりも少ない画素を含んでいる。例えば、各現ブロックは、 １６画素×１６画素の領域を含んでおり、各前ブロックは、２５６画素×２５６ 画素の領域を含んでいる。この局所探索システムは、広域探索システムによって 供給される推定動きベクトルを用いて比較を開始する。このため、この比較は、 全解像度フレーム内において、最適なマッチ位置に極めて近い対応前ブロック内 に現ブロックを配置する位置で開始される。この現ブロックは、通常、マッチが 発見されるまで、わずかな移動量しか必要としない。このため、推定動きベクト ルを用いることにより、この局所探索は、一般的な全数探索よりも極めて高速と なる。このシステムの出力は、入力フレームシーケンス中の一つのフレームから 次のフレームへの動きを表す一連の最終動きベクトルである。この他に、本シス テムは、全解像度前フレーム内のマッチド画素ブロックを出力して、画像処理シ ステムによってこれらのマッチド画素を更に処理できるようにしても良い。 図２は、図１に示されるシステムの動作を示すルーチンのフローチャートを表 している。図３は、現在及び前の全解像度及び低解像度画像の双方の図を表して いる。本発明の動作の方法の動作を最も良く理解するために、読者は、図２と図 ３の双方を同時に参照すると良い。 ステップ２００において、本システムに全解像度フレームシーケンスが入力さ れる。図３では、全解像度フレームシーケンスは、フレーム３００（前フレーム ）及び３０２（現フレーム）で表されている。図２のステップ２０２では、各フ レームがフィルタリングされる。これは、通常、ガウスフィルタを用いて行われ る。この後、ステップ２０４では、各フレームがデシメートされ、低解像度フレ ームが生成される。これらの低解像度フレームは、フレーム３０４（前の低解像 度フレーム）及び３０６（現在の低解像度フレーム）として表されている。ステ ップ２０６において、このルーチンは、一つの低解像度現フレーム３０６及び一 つの低解像度前フレーム３０４を選択する。ここで選択されたフレームは、ステ ップ２０８で、複数の画素ブロックに区分される。すなわち、現ブロック及び前 ブロックが定められる。ステップ２１０では、このルーチンは、一つの現ブロッ ク３０８及び対応する一つの前ブロック３１０を選択する。この対応前ブロック は、現ブロックとのマッチの探索が行われる探索領域を定める。ステップ２１２ では、現ブロックと前ブロックとが比較される（図３では矢印３１２で表され ている）。本ルーチンは、ステップ２１４で、マッチが発見されたかどうかを照 会する。ステップ２１４の照会に対する答えが否定的である場合、このルーチン は、否定経路に沿ってステップ２１６に進む。ステップ２１６において、このル ーチンは、前ブロック内に現ブロックを再配置してからステップ２１２に戻り、 ここでもう一度比較が行われる。このルーチンは、ステップ２１４で実質的なマ ッチが発見されるまで、ステップ２１６を通ってループする。マッチ判定を行う 技術の一例では、広域探索システムによって実行される種々の画素比較のために 最小二乗誤差又は平均絶対誤差を算出する。最低の算出誤差を生成するブロック が、マッチということになる。この他に、算出誤差が所定の誤差しきい値よりも 小さいときに、このルーチンは、マッチが発見されたものとみなす。この後、こ のルーチンは、ステップ２１８で、現在処理されている現ブロックについて推定 動きベクトルを求める。動きベクトルが算出されると、このルーチンは、ステッ プ２２０で、全ての現ブロックが自己に関する動きベクトルを有するかどうかを 照会する。その答えが否定的である場合は、このルーチンは、否定経路２２０に 沿ってステップ２１０に進む。ステップ２１０では、別の現ブロック及び対応前 ブロックが選択された後、推定動きベクトルを求めるための処理（広域探索）が 行われる。ステップ２２０での照会に対する答えが肯定的である場合、このルー チンは、ステップ２２４に進む。この時点で、このルーチンは、低解像度現フレ ーム中の現ブロックの各々に関する一組の推定動きベクトルを算出したことにな る。 ステップ２２４において、このルーチンは、一つの現フレーム３０２及び一つ の前フレーム３００を全解像度入力シーケンスから選択する。この現フレーム及 び前フレームは、現在利用可能な一組の推定動きベクトルを求めるために使用さ れた現在及び前の低解像度フレーム３０６及び３０４に対応している。選択され たこれらの入力フレームは、ステップ２２６で、複数の現ブロック及び前ブロッ クに区分される。重要なことに、これらの現ブロック及び前ブロックは、フレー ム中の位置に関して、低解像度フレームから導出された現ブロック及び前ブロッ クに対応している。このため、全解像度フレーム中に与えられた任意の現ブロッ ク又は前ブロックは、低解像度フレーム中に低解像度の等価物を有している。 ステップ２２８では、このルーチンは、全解像度フレームから一つの現ブロッ ク３１４及び対応する一つの前ブロック３１６を選択する。この対応前ブロック は、現ブロックとのマッチの探索が行われる探索領域を定める。ステップ２３０ では、推定動きベクトルを使用して、前ブロック３１６によって定められた探索 領域内で現ブロック３１４を初期配置する（図３では矢印３１８で表されている ）。この推定動きベクトルは、全解像度フレーム３０２内の現ブロック３１４に 対応する低解像度フレーム内の現ブロック３０８に関連づけられたベクトルであ る。ステップ２３２では、現ブロックと前ブロックとが比較される（図３では矢 印３２０で表されている）。このルーチンは、ステップ２３４で、実質的なマッ チが発見されたかどうかを照会する。この局所探索システムは、最小二乗誤差技 術又は平均絶対誤差技術を用いて全数探索を実行し、ブロック間での“最適な” マッチを求める。現ブロックの初期位置が広域探索システムによって推定される ため、局所探索に必要な探索範囲は、通常、２〜４画素だけである。ステップ２ ３２での照会に対する答えが否定的である場合、このルーチンは、否定経路に沿 ってステップ２３６に進む。ステップ２３６において、このルーチンは、前ブロ ック３１６内に現ブロック３１４を再配置してからステップ２３２に戻り、ここ でもう一度比較が行われる。このルーチンは、ステップ２３４でマッチが発見さ れるまで、ステップ２３６を通ってループする。この後、このルーチンは、ステ ップ２３８において、現在処理されている現ブロックに関する最終動きベクトル を決定する。最終動きベクトルが算出されると、このルーチンは、ステップ２４ ０で、全ての現ブロックが自己に関する最終動きベクトルを有するかどうかを照 会する。この照会に対する答えが否定的である場合、このルーチンは、否定経路 ２４２に沿ってステップ２２８に進む。ステップ２２８では、別の現ブロック及 び対応する現ブロックが選択された後、動きベクトルを決定するための処理が行 われる。ステップ２４０での照会の答えが肯定的である場合、このルーチンは、 ステップ２４４でステップする。 簡単のため、図示の前ブロック３１０及び３１６は、図３において、それぞれ ２５６×２５６画素及び３２×３２画素を含んでいるものとして表されている。 しかしながら、実際には、これらの探索領域は、この探索領域内での現ブロック ３１４及び３０８の移動を許容するために、更に１行及び１列ずつ必要とする。 従って、実際には、これらの探索領域の寸法は、各次元において、それぞれ、２ ５６＋１画素に対応現ブロックの長さ（１６画素）を加えたもの、及び３２＋１ 画素に対応現ブロックの長さ（２画素）を加えたものとなる。 前述のように、低解像度現ブロック３０８は、２×２画素領域をカバーしてい る。従って、このブロックは、４個の画素しか含まない。このため、４個の画素 しか含まない現ブロックを用いて広域探索システムにより行われる比較は、満足 できない結果を生むことになる可能性もある。具体的には、現ブロック中の少数 の画素はノイズと相関しやすいため、偽のマッチが広域探索システムによって検 出されることがある。 従って、この広域−局所ブロック動き推定システムでは、単一の低解像度現ブ ロックを用いる代わりに、図４に示されるメタブロック４００をなすように整列 された複数の現ブロックＢ_0,0〜Ｂ_n,nを用いることができる。動き推定システム の好適な実施形態では、メタブロック４０２が１６個の現ブロックＢ_0,0〜Ｂ_3,3 から形成されている。具体的には、メタブロック４０２中の各現ブロックＢ_0,0 〜Ｂ_3,3は、全解像度現フレーム内のデシメートされていない１６×１６領域に 対応する２×２行列に整列された４個の画素を含んでいる。 図５には、複数の異なるテストパーティション（サブブロックとも呼ばれる） に分割されたメタブロック５００が示されている。例えば、メタブロックは、２ 個のテストパーティション５０４及び５０６を有するメタブロック５００を形成 するように垂直に半分に分割されていても良い。ここで、各テストパーティショ ンは、現ブロックの４行と２列を含んでいる。また、メタブロックは、２個のテ ストパーティション５０８及び５１０を有するメタブロック５０２を形成するよ うに水平に半分に分割されていても良い。ここで、各テストパーティションは、 現ブロックの２行と４列を含んでいる。このブロック動き推定システムでは、メ タブロックを他の任意の都合の良い数のテストパーティションに分割することも できる。例えば、４分の１ずつに分割して、メタブロック５１４内でテストパー ティション５１２ａ〜ｄを形成したり、メタブロック５２４内で重なり合うテス トパーティション５１６、５１８、５２０、５２２に分割して良い。 図６には、広域探索を実行する際のメタブロックの使用を説明する画像処理図 ６００が示されている。この画像処理図６００では、低解像度前フレーム３０４ 及び低解像度現フレーム３０６が、前述したように、フィルタ及びデシメータに よって前入力フレーム３００及び現入力フレーム３０２に対してそれぞれ実行さ れるデシメーション処理の結果である。これも前述したことであるが、低解像度 前ブロック３１０は、低解像度フレーム３０４内に配置される。低解像度現ブロ ックＢ_0,0〜Ｂ_3,3を含むメタブロック５００は、低解像度フレーム３０６内に配 置される。メタブロックを使用するときは、広域探索システムは、各メタブロッ ク内の各現ブロックＢ_0,0〜Ｂ_3,3について推定動きベクトルを決定する。 図示の６４×６４画素の全解像度メタブロック６０２は、現入力フレーム３０ ２内に配置されており、１６個の現ブロックＢ_0,0′〜Ｂ_3,3′を含んでいる。こ れらの現ブロックは、それぞれ１６×１６画素の全解像度現ブロックを有してい る。事実上、メタブロック６０２内の各テストブロックＢ′_i,jは、対応する低 解像度現ブロックＢ_i,jをメタブロック５００内に与えるようにデシメータによ って処理される。このため、各Ｂ′_i,jは、Ｂ_i,jに対応している。現全解像度フ レーム３０２は、図示のメタブロック６０２等の複数のメタブロックでカバーさ れる。フレーム３０２内の複数のメタブロック６０２は、相互に重なり合わない 。この複数のメタブロックの各６４×６４画素メタブロック６０２は、メタブロ ック５００等の８×８低解像度メタブロックに対応している。 最適なマッチ情報を得るため、メタブロック５００は、広域探索を用いて、広 域探索システムにより低解像度前ブロック３１０（低解像度探索領域）と比較さ れる。この比較は、矢印３１２で表されている。この方法では、広域探索システ ムは、メタブロック５００の全体について動きベクトル情報を求める。更に、メ タブロック５００内のテストブロックＢ_0,0〜Ｂ_3,3の各々について、推定動きベ クトル情報が求められる。 例えば、各テストブロックＢ_0,0〜Ｂ_3,3には、メタブロック５００全体につい て広域探索システムによって求められた動きベクトル情報が単純に割り当てられ る。これにより、ブロック動き推定システムの動作が大きく単純化される。しか しながら、この方法では、メタブロックのサイズが大きいことから異なる方向へ 動く多数の物体をカバーしてしまうため、ブロック動き推定の精度が比較的低く 、画質が悪くなってしまう。 動きベクトル推定の精度を高めるため、本システムは、メタブロック５００の 各パーティション（サブブロック）について推定動きベクトルを求める。例えば 、メタブロック５００は、図５に示されるようなメタブロック５１４を形成する ように区分されていても良い。この場合、各マッチ位置で５個の推定動きベクト ルが求められる。具体的に述べると、一つの動きベクトルは、メタブロック５１ ４の全体について求められ、また、４個のテストパーティション５１２ａ〜ｄの 各々について一つずつ動きベクトルが求められる。メタブロックがメタブロック ５２４を形成するように区分されている場合は、一つの動きベクトルは、メタブ ロック５２４の全体について求められ、また、４個の重なりテストパーティショ ン５１６、５１８、５２０及び５２２の各々について一つずつ動きベクトルが求 められる。これらのメタブロックの各々において、各パーティションについての 推定動きベクトルは、その連続した複数の現ブロックに割り当てられる。しかし ながら、複数のテストパーティションが特定の現ブロックと重なっていると、こ れらの動きベクトルのいずれか一つがその現ブロックに対して選択されるか、或 いはこれらの動きベクトルが、その現ブロックを表すように任意の方法で単一の ベクトルに合成される。このような合成は、平均化や重み付き平均化等によって 行うことができる。 一般に、メタブロックを配置し、推定動きベクトル情報を各パーティションに ついて求め、各パーティションについての動きベクトル情報をそのパーティショ ン内のブロックＢ_0,0〜Ｂ_3,3に割り当てることによって、画質を高めることがで きる。また、メタブロックを多数のパーティションに分割することによって、画 質を更に高めることができる。しかし、メタブロックが複数の２×２画素ブロッ クに区分されている場合、この２×２画素ブロックに関して既に説明したような 劣悪な結果となってしまう。従って、合理的なパーティショニング・トレードオ フは、雑音に対する抵抗、偽マッチ、必要とされるハードウェアの量、雑音余裕 度、計算処理強度等の要因を考慮に入れることにより形成される。 前述のように、区分されたメタブロックを低解像度フレームの探索に使用する ことにより、複数の推定動きベクトル、すなわちメタブロック全体についての一 つのベクトル及び各区分領域についてのベクトルが生成される。これらのベクト ルは、メタブロック及びその構成要素についての最適なマッチを算出するために 、最小二乗誤差等の技術を用いて求められる。これらの推定ベクトルは、この後 、経路３１８で図示されるように、局所探索システムに送られる。 このように、２パーティションのメタブロック、例えばメタブロック５００を 想定すると、局所探索システムは、広域探索システムによって最小二乗誤差マッ チが発見された３個の候補位置を解析しなければならない。これらの３個の位置 は、低解像度メタブロックの全体、及びその内部の２個のパーティションの各々 に対応している。従って、局所探索システムの探索を実行するためには、各局所 テストブロックＢ_0,0′〜Ｂ_3,3′について三つの可能性の中から一つを選択しな ければならない。 三つの可能性の中の一つは、各低解像度現ブロックＢ_0,0〜Ｂ_3,3についてすぐ に除去することができる。これは、各ブロックＢ_0,0〜Ｂ_3,3が、テストパーティ ション５０４及び５０６の一方の外側にあるためである。例えば、テストブロッ クＢ_0,0についての開始位置を選択するとき、テストブロックＢ_0,0はテストパー ティション５０６の内側には配置されないため、テストパーティション５０６に ついての推定動きベクトルに対応する候補探索位置は無視することができる。メ タブロック５００の全体及びテストパーティション５０４に対応する候補探索位 置しか考慮しなくて良い。 この方法では、動きベクトルは、各ブロックＢ_0,0′〜Ｂ_3,3′について、２× ２画素ブロックＢ_0,0〜Ｂ_3,3の一つ一つに基づいて選択されるのではなく、メタ ブロック５００の全体、又はテストパーティション５０４、５０６の一方、のい ずれかに基づいて選択される。メタブロック５００及びテストパーティション５ ０４、５０６は２×２ブロックＢ_0,0〜Ｂ_3,3よりも相当に大きいことから、２× ２テストブロックが低解像度探索領域内の小さなビットパターンとランダムにマ ッチしやすくなっているため、この広域−局所ブロック動き推定システムは、雑 音に対してより大きな抵抗を有する。 最終的な動きベクトルの選択は、矢印６０４及び６０６で示されるように、二 つの可能性のある開始位置の双方について全解像度ブロックＢ′_i,jの最適なマ ッチを求めることにより行われる。これには、メタブロック５００の全体に対応 する推定動きベクトルか、或いは適切なテストパーティション５０４及び５０６ に対応する推定動きベクトル、のいずれかを選択することが含まれている。探索 領域３１６内の二つの可能性のある開始位置の一方が選択されると、局所探索シ ステムは、前述したようにして探索を実行する。 動き推定システムの他の実施形態では、二つの可能性のある候補探索開始位置 の各々について全探索を実行し、二つの局所探索結果を提供することも可能であ る。二つの局所探索結果のうち好適な方を用いて、動きベクトルを生成すると良 い。この方法は、単一の推定動きベクトルを選択してこの選択された動きベクト ルに従って単一の探索を実行する場合よりも効果が薄いものと思われる。 図７には、８×８のシストリックアレイ（systolic array）７００が示されて いる。このシストリックアレイ１３０は、広域−局所ブロック動き推定システム 内でメタブロックの動きベクトル情報及びメタブロック内の種々のテストパーテ ィションの各々の動きベクトル情報を同時に求めるために使用することが可能な 一般的なシストリックアレイである。このシストリックアレイ７００はこのよう な導出を行うための便利な方法を提供するが、メタブロックを分割することによ り形成することができる種々の可能なパーティションの動きベクトル情報を、動 きベクトル情報を求めるための任意の公知方法を使用して求めることもできる。 シストリックアレイ７００は、一般的なシストリックアレイである。このアレ イでは、各ノードＮ_i,jがアレイ入力又はノード出力のいずれかからノード入力 を受け取り、ノード演算処理を実行して、ノード出力をアレイ出力又は別のノー ドの入力に与えるようになっている。従って、広域探索システムの比較によって 求められた差分がこのシストリックアレイに与えられれば、推定動きベクトル情 報を計算することができる。特に、低解像度メタブロック５００内の種々のテス トパーティションについての推定動きベクトル情報は、容易に求めることができ る。シストリックアレイのこの処理は、コンピュータ又は別個のハードウェア演 算回路によって実行されるプログラム命令によって行うことができる。 メタブロック５００では、シストリックアレイのノードＮ_4,4の出力とＮ_8,4の 出力とを加算することにより、テストパーティション５０４についての推定動き ベクトル情報が得られる。テストパーティション５０６についての推定動きベク トル情報は、シストリックアレイのノードＮ_4,8の出力とＮ_8,8の出力とを加算す ることによって得られる。メタブロック５００全体についての推定動きベクトル 情報は、動きベクトル情報ノードＮ_4,4、Ｎ_4,8、Ｎ_8,4及びＮ_8,8の各出力を加算 することによって得られる。 同様に、メタブロック５０２のテストパーティション５０８及び５１０につい ても、シストリックアレイの推定動きベクトル情報ノードＮ_4,4＋Ｎ_4,8とＮ_8,4 ＋Ｎ_8,8とが加算される。テストメタブロック５１４では、推定動きベクトル情 報ノードＮ_4,4がテストパーティション５１２ａに対応しており、推定動きベク トル情報ノードＮ_4,8は、テストパーティション５１２ｂに対応しており、推定 動きベクトル情報ノードＮ_8,4は、テストパーティション５１２ｃに対応してお り、推定動きベクトル情報ノードＮ_8,8は、テストパーティション５１２ｄに対 応している。 当業者は、広範な発明概念から逸脱することなく上述の実施形態に変形を加え ることが可能である。従って、本発明は、ここで開示された特定の実施形態に限 定されるわけではなく、添付の請求の範囲によって画定される発明の趣旨と範囲 内で変形例をカバーすることが意図されている。

Claims (1)

1. 【特許請求の範囲】 １． 動きベクトルを推定する方法であって、 画像を表す複数の画素を各々が含んでいる第１の画像フレーム及び第２の画像 フレームを用意するステップと、 前記第１画像フレーム内の探索領域をデシメートして、低減された解像度の探 索領域を生成するステップと、 前記第２画像フレーム内の画素ブロックをデシメートして、所定の複数のサブ ブロックに区分された複数の低減された解像度の画素ブロックを含んでいるメタ ブロックを生成するステップと、 前記メタブロックが前記低解像度探索領域内のマッチング画素ブロックと実質 的にマッチするまで、前記メタブロックを使用して前記低減解像度探索領域内で 広域探索を実行するステップと、 前記第２画像フレーム内の前記メタブロック中の前記低減解像度画素ブロック の各々の位置と前記第１画像フレーム内の前記マッチング画素ブロックの位置と の間の隔たりを表す複数の推定動きベクトルを計算するステップと、 を備える方法。 ２． 前記複数の推定動きベクトルから一つの推定動きベクトルを選択するステ ップと、 前記第２画像フレームから、前記第１画像フレーム内の全解像度探索領域内に 、全解像度画素ブロックを、前記選択された推定動きベクトルによって定められ る初期位置に配置するステップと、 前記全解像度画素ブロックが前記全解像度探索領域内のマッチング画素ブロッ クと実質的にマッチするまで、前記全解像度画素ブロックを用いて前記全解像度 探索領域内で前記初期位置から局所探索を実行するステップと、 前記第２画像フレーム内の前記全解像度画素ブロックの位置と前記第１画像フ レーム内の前記マッチング画素ブロックの位置との間の隔たりを表す最終動きベ クトルを計算するステップと、 を更に備える請求項１記載の方法。 ３． 前記広域探索実行ステップは、 前記メタブロックが前記低減解像度探索領域内のマッチング画素ブロックと実 質的にマッチするまで前記メタブロックを使用するステップと、 前記サブブロックの各々及び前記メタブロックについて推定動きベクトルを計 算するステップと、 前記メタブロックを形成する前記低減解像度画素ブロックの各々に推定動きベ クトルを割り当てるステップと、 を更に備えている請求項１記載の方法。 ４． 前記割り当てステップは、 前記複数の低減解像度画素ブロックから一つの低減解像度画素ブロックを選択 するステップと、 推定動きベクトルを前記選択された低減解像度画素ブロックに割り当てるステ ップであって、ここで割り当てられる推定動きベクトルは、前記メタブロックに ついて計算された推定動きベクトル、又は前記サブブロックについて計算された 推定動きベクトルのうちの一つ、のいずれかから選択されたものであるステップ と、 を更に備えている請求項３記載の方法。 ５． 前記割り当てステップは、 前記複数の低減解像度画素ブロックから一つの低減解像度画素ブロックを選択 するステップと、 推定動きベクトルを前記選択された低減解像度画素ブロックに割り当てるステ ップであって、ここで割り当てられる推定動きベクトルは、前記メタブロックに ついて計算された推定動きベクトルと前記サブブロックについて計算された推定 動きベクトルのうちの一つ以上との組み合わせであるステップと、 を更に備えている請求項３記載の方法。 ６． 画像を表す複数の画素を各々が含んでいる第１の画像フレーム及び第２の 画像フレームを入力として有する動きベクトル推定装置であって、 前記第１画像フレーム内の探索領域をデシメートして低減された解像度の探索 領域を生成すると共に、前記第２画像フレーム内の画素ブロックをデシメートし て所定の複数のサブブロックに区分された複数の低減された解像度の画素ブロッ クを含んでいるメタブロックを生成するピラミッドプロセッサと、 前記ピラミッドプロセッサに接続され、前記メタブロックが前記低解像度探索 領域内のマッチング画素ブロックと実質的にマッチするまで前記メタブロックを 使用して前記低減解像度探索領域内で広域探索を実行する広域探索手段と、 前記広域探索手段に接続され、前記第２画像フレーム内の前記メタブロック中 の前記複数の低減解像度画素ブロックの各々の位置と前記第１画像フレーム内の 前記マッチング画素ブロックの位置との間の隔たりを表す複数の推定動きベクト ルを計算する手段と、 を備える装置。 ７． 前記複数の推定動きベクトルから一つの推定動きベクトルを選択する手段 と、 前記第２画像フレームから、前記第１画像フレーム内の全解像度探索領域内に 、全解像度画素ブロックを、前記選択された推定動きベクトルによって定められ る初期位置に配置する手段と、 前記全解像度画素ブロックが前記全解像度探索領域内のマッチング画素ブロッ クと実質的にマッチするまで、前記全解像度画素ブロックを用いて前記全解像度 探索領域内で前記初期位置から局所探索を実行する局所探索手段と、 前記第２画像フレーム内の前記全解像度画素ブロックの位置と前記第１画像フ レーム内の前記マッチング画素ブロックの位置との間の隔たりを表す最終動きベ クトルを計算する手段と、 を更に備える請求項１０記載の装置。 ８． 前記広域探索手段は、 前記メタブロックが前記低減解像度探索領域内のマッチング画素ブロックと実 質的にマッチするまで前記メタブロックを使用する手段と、 前記サブブロックの各々及び前記メタブロックについて推定動きベクトルを計 算する手段と、 前記メタブロックを形成する前記低解像度画素ブロックの各々に推定動きベク トルを割り当てる手段と、 を更に備えている請求項７記載の装置。 ９． 前記割り当て手段は、 前記複数の低減解像度画素ブロックから一つの低減解像度画素ブロックを選択 する手段と、 推定動きベクトルを前記選択された低減解像度画素ブロックに割り当てる手段 であって、ここで割り当てられる推定動きベクトルは、前記メタブロックについ て計算された推定動きベクトル、又は前記サブブロックについて計算された推定 動きベクトルのうちの一つ、のいずれかから選択されたものである手段と、 を更に備えている請求項８記載の装置。 １０． 前記割り当て手段は、 前記複数の低減解像度画素ブロックから一つの低減解像度画素ブロックを選択 する手段と、 推定動きベクトルを前記選択された低減解像度画素ブロックに割り当てる手段 であって、ここで割り当てられる推定動きベクトルは、前記メタブロックについ て計算された推定動きベクトルと前記サブブロックについて計算された推定動き ベクトルのうちの一つ以上との組み合わせである手段と、 を更に備えている請求項８記載の装置。