JP4688462B2 - 予測符号化を用いて画像ブロックの差分符号化を行う方法及び装置 - Google Patents

Description

本発明は予測符号化を用いて画像ブロックの差分符号化を行う方法及び装置に関する。より詳細には、本発明は「ダイレクト」モードを利用した符号化方法及び装置に関する。後で説明するように、「ダイレクト」モードは動き補償を用いた双方向モードの予測であり、この動き補償の動きベクトルの成分は、後続の予測符号化画像の同位置マクロブロックの符号化に使用される動きベクトルの成分から導出される。

本発明の技術分野はビデオ圧縮、とりわけ、ＭＰＥＧ４パート２もしくはパート１０、Ｈ．２６３、及びＨ．２６１のビデオ符号化である。

例えばＭＰＥＧタイプなどのデータ圧縮規格では、符号化すべき画像は一般に画像間符号化タイプの画像と画像内符号化タイプの画像であり、後者の場合には、タイプＰの予測符号化又はタイプＢの双方向予測符号化が用いられる。ここで、画像という用語は広い意味で使われており、画像を構成するビデオオブジェクトプレーンをも含む。ビデオオフジェクトプレーンは、Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅｓを表すＶＯＰの名称でより良く知られている。

従来は、コーダ内に含まれている動き推定器がまず呼び出され、タイプＰの画像の動きフィールドを抽出する。続いて、このＰ画像の符号化後に、Ｂ画像の各々に関して、従来の前方予測モード、後方予測モード、及び双方向予測モードのために動き推定器が再び呼び出される。各Ｂ画像の種々の動き推定が完了すると、コーダ内で実施されている基準に従って、「時間ダイレクト」モードを含めた使用可能なすべてのモードの中から最良のモードを選択することにより、符号化が行われる。例えば、ＩＳＯ／ＩＥＣ １４４９６−２規格のパラグラフ７．６．９．５において説明されているこの「時間ダイレクト」モードは、最も最近に復号されたタイプＰ画像内の同位置マクロブロックの動きベクトルを使用して、タイプＢ画像内の現在のマクロブロックの双方向予測を行う。この同位置マクロブロックとは、同じ場所に位置するマクロブロック、つまり、Ｐ画像の現在のマクロブロックと同じ垂直インデックスと水平インデックスを有するマクロブロックのことである。

図１には、ダイレクトモードを使用した動き予測が示されている。

４つの連続した画像、すなわち、タイプＩ又はＰの第１基準画像、タイプＢの第２及び第３画像、ならびにタイプＰの第４基準画像が表示順に、つまり、再配列される前の順序で示されている。

参照番号１で表されたタイプＰの第４画像の現在のマクロブロックＭＢｐに関する予測は、参照番号２で表されたタイプＩ又はＰの第１画像のマクロブロックである。相応する動きベクトルＭＶｐは参照番号３で表されている。

マクロブロックＭＢｐに対応する、第２画像の同位置マクロブロックは参照番号４で表されている。Ｂ画像に属するこのマクロブロックに対するダイレクトタイプの予測は、第１画像の第１マクロブロックＭＢｆｗと最終画像の第２マクロブロックＭＢｂｃｋを出す。参照番号５及び６で表されたこれらのマクロブロックはそれぞれ、図において参照番号７及び８で表された前方動きベクトルＭＶ_Ｆと後方動きベクトルＭＶ_Ｂに対応している。

ＭＰＥＧ規格では、動きベクトルは一般的にマクロブロックに割り当てられるが、この方法は単純な画像ブロックにも適用でき、したがって、以下では、画像ブロックとマクロブロックを区別しない。

例として、動き推定の際に使用される、Ｐ画像のブロックのベクトルの抽出を可能にする従来的アプローチを、サーチウィンドウ内で、以下のように画像内差分の絶対和を最小化するブロックマッチングの技法に基づかせることもできる。

ここで、
ｉ，ｊ：Ｌ＊Ｌのサイズのブロックに含まれているピクセルの行インデックス及び列インデックス
Ｐ_ｃｕｒ（ｉ，ｊ）：タイプＰの現在画像のブロック
ＩＰ_ｐｒｅｖ（ｉ，ｊ）：タイプＩ又はＰの（時間的観点から見た）先行画像のブロック
ＳＡＤ^Ｐ _{ｄｘ，ｄｙ}：タイプＰの現在画像のブロックのピクセルの輝度値とｄｘ、ｄｙだけ変位したタイプＩ又はＰの先行画像の輝度値との差分の絶対和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓを表す頭字語）
ＳＡＤ^Ｐ _{Ｄｘ，Ｄｙ}：２Ｎ＋１，２Ｎ＋１の寸法のサーチウィンドウ内の画像ブロックの集合における、変位Ｄｘ、Ｄｙに応じたＳＡＤ^Ｐ _{ｄｘ，ｄｙ}の最小値
である。

Ｂ画像の同位置ブロックに関しては、該ブロックは以下のようベクトルＭＶ_ＦとＭＶ_Ｂとを用いてダイレクトモードで予測される。

上式はブロックＭＢ_ｂｃｋとＭＢ_ｆｗのピクセルごとの半和である。
ここで、
ＭＢ_ｂｃｋ＝後方予測モードにおけるＰ_ｎｅｘｔ（ｘ_ｂｃｋ，ｙ_ｂｃｋ）
Ｐ_ｎｅｘｔ（ｘ_ｂｃｋ，ｙ_ｂｃｋ）は、時間的観点から見て次のＰ画像に属する予測ブロックを表しており、この予測ブロックの位置は成分ｘ_ｂｃｋ，ｙ_ｂｃｋを有するベクトルにより変位した同位置ブロックの位置に相当する
ＭＢ_ｆｗ＝前方予測モードにおけるＩＰ_ｐｒｅｖ（ｘ_ｆｏｒ，ｙ_ｆｏｒ）
ＩＰ_ｐｒｅｖ（ｘ_ｆｏｒ，ｙ_ｆｏｒ）は先行するＩ／Ｐ画像に属する予測ブロックを表しており、この予測ブロックの位置は成分ｘ_ｆｏｒ，ｙ_ｆｏｒを有するベクトルにより変位した同位置ブロックの位置に相当する
ｘ_ｂｃｋ，ｙ_ｂｃｋは同位置ブロックＭＢ_ｐのベクトルＭＶ_ｐの成分から導出されるベクトルＭＶ_Ｂの成分である
ｘ_ｆｏｒ，ｙ_ｆｏｒは同位置ブロックＭＢ_ｐのベクトルＭＶ_ｐの成分から導出されるベクトルＭＶ_Ｆの成分である
同位置ブロックに割り当てられた動きベクトルＭＶ_ＢとＭＶ_Ｆは、動きベクトルＭＶ_ｐと共直線であり、それぞれタイプＰの次の画像、同位置ブロックのソースであるタイプＩ又はＰの先行画像を指している
ＭＢｐｒｄ_ｄｒｃは、前方予測ブロックと後方予測ブロックとに基づいて計算された、ダイレクトモードでのＢ画像の予測ブロックである。

このようなアプローチでは、動き推定と、Ｐ画像のブロックＭＢの予測モードの選択は、時間的観点から見て先行するＢ画像の内容とは無関係に行いうる。結果として、符号化、すなわち、データ圧縮は双方向タイプのこれらの画像にとっては最適ではない。

本発明の課題は上に示した従来のアプローチの不利益を軽減することであり、双方向タイプの画像に対して符号化を最適化する。

上記課題は、第１基準画像内の現在の画像ブロックを第２基準画像内の予測画像ブロックに基づいて差分符号化する方法であって、基準画像が双方向タイプ又は差分符号化によって前記基準画像のブロックを考慮することのできるタイプＢの１つ又は複数の画像に隣接しており、現在ブロックと現在ブロックに割り当てられた、成分ｄｘ、ｄｙを有する動きベクトルＶｐにより指示された候補ブロックとの差分Ｄ^Ｐ _{ｄｘ，ｄｙ}の関数として、予測ブロックを候補ブロックから選択するステップを有する形式の方法において、前記選択が、タイプＢの画像内の現在画像ブロックの同位置ブロックと基準画像内のブロックとの差分Ｄ^Ｂ _{ｄｘ，ｄｙ}にも依存しており、基準画像内の前記ブロックは、前記同位置ブロックに割り当てられた動きベクトルにより指示され、ただし、該動きベクトルは、成分ｄｒｘ、ｄｒｙを有し、前記動きベクトルＶｐと同一の直線上にあるようにすることにより解決される。

本発明のある特定の特徴によれば、成分ｄｒｘ、ｄｒｙを有する動きベクトルは、タイプＢの画像と第１基準画像との間の後方動きベクトルであるか、または、タイプＢの画像と第２基準画像との間の前方動きベクトルである。

本発明のある特定の特徴によれば、前記選択はタイプＢの画像と第２基準画像との間の成分ｄｒｘ_ｆｗ、ｄｒｙ_ｆｗを有する共直線動きベクトルに相応する差分Ｄ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ}と、タイプＢの画像と第１基準画像との間の成分ｄｒｘ_ｂｃｋ、ｄｒｙ_ｂｃｋを有する動きベクトルに相応する差分Ｄ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ}とを考慮する。

本発明のある特定の特徴によれば、前記選択は、タイプＢの第１画像Ｂ_０と基準画像との間の共直線動きベクトルに相応する差分Ｄ^Ｂ０ _{ｄｒｘ，ｄｒｙ}と、タイプＢの第２画像Ｂ_１と基準画像との間の共直線動きベクトルに相応する差分Ｄ^Ｂ１ _{ｄｒｘ，ｄｒｙ}とに依存する。

本発明のある特定の特徴によれば、候補ブロックの中から選択されるブロックは、前記候補ブロックに関して計算した差分値Ｄ^Ｐ _{ｄｘ，ｄｙ}、Ｄ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ}、及びＤ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ}の関数の最小値に相応する。

本発明のある特定の実施形態によれば、差分はブロックのピクセルの輝度値間の差分の絶対和（ＳＡＤ）に基づいて計算される。

本発明の利点は、スループット規制された画像の品質の改善と、低コストで品質を一定に保つこととに関係している。Ｐ画像のベクトルを選択する際の、数種のＳＡＤからの選択が、実質的に動きフィールドの均一性を高める。

本発明による方法は、変位ベクトルに内在する画像内差分（ＳＡＤ^Ｐ）だけでなく、２つのＩ／Ｐ，Ｐ画像の間に位置するタイプＢの各画像内の各々の同位置ブロックのダイレクトモード予測に起因する予測誤差も考慮することにより、Ｐ画像のブロックのレベルで動き推定を行う。ダイレクトモードでタイプＢの画像のブロックを符号化するコストは、タイプＰの画像の同位置ブロックの動きベクトルを選択する際に考慮される。

本方法は、Ｂ画像の符号化の際に、一般的に符号化コストの観点からしてこのタイプの画像に対する最も経済的なモードであるダイレクトモードを有利に使用できるようにすることができる。このダイレクトモードは、ある条件下では、（例えばＩＳＯ １３８１８−２の§７．６．６に記載の）「スキップトマクロブロック」モードとなり得る。「スキップトマクロブロック」モードとはゼロ残差に相応する符号化モードであり、コストはほぼゼロである。

本発明の他の特徴及び利点は、非限定的な実施例による以下の説明と添付した図面とを合わせて参照することにより明らかになる。

図２には、Ｐ画像の現在のブロックＭＢ_ｐの予測と、Ｂ_０と呼ばれるタイプＢの第１画像とＢ_１と呼ばれるタイプＢの第２画像とに属する同位置ブロックのダイレクトタイプの予測とが示されている。

すでに上で使用した用語には、それらが第１画像Ｂ_０に関係しているのか又は第２画像Ｂ_１に関係しているのかに応じて、０又は１が付されている。

したがって、画像Ｂ_０に関するかぎり、動きベクトル７及び８はＭＶ_Ｆ ^０及びＭＶ_Ｂ ^０と表示され、それぞれ基準画像Ｉ／Ｐ及びＰに関する予測ブロックＭＢ^０ _ｆｗ，ＭＢ^０ _ｂｃｋを表す。

画像Ｂ_１に対応する動きベクトルはＭＶ_Ｆ ^１及びＭＶ_Ｂ ^１と表示され、それぞれ基準画像Ｉ／Ｐ及びＰに関する予測ブロックＭＢ^１ _ｆｗ，ＭＢ^１ _ｂｃｋを表す。

タイプＢの２つの画像が基準画像Ｉ／ＰとＰの間にあるこのケースでは、ＳＡＤの計算に基づいて、Ｐ画像のブロックに対応する動きベクトルＭＶ_ｐを選択するための考えられる基準は次のようになる。

ここで、
ＳＡＤ^Ｐ _{ｄｘ，ｄｙ}はＰ画像のブロックに関する変位ｄｘ、ｄｙの差分の絶対和であり、
ＳＡＤ^Ｂ０ _{ｄｒｘ，ｄｒｙ}は画像Ｂ_０に対するダイレクトタイプの予測モードに関しての差分の絶対和であり、
ＳＡＤ^Ｂ１ _{ｄｒｘ，ｄｒｙ}は画像Ｂ_１に対するダイレクトタイプの予測モードに関しての差分の絶対和である。

この基準は、Ｐ画像向けのベクトルの選択が、Ｐ画像のマクロブロックの予測に内在する予測誤差、Ｂ画像のマクロブロックに関する予測誤差といったいくつかの予測誤差の考慮に基づいているという意味において、複数のＳＡＤに基づいていると言われる。

タイプＢの第１画像Ｂ_０に関しては、そして２つのＢ画像が２つのＩ／Ｐ，Ｐ画像の間にある図２に示された実施例の枠内では、成分ｄｒｘ、ｄｒｙを有するベクトルはそれぞれダイレクトモードの前方及び後方予測に関して以下のような値をとる。

ここで、
ＭＢ^０ _ｂｃｋ＝後方予測モードにおけるＰ_ｎｅｘｔ（ｄｒｘ^０ _ｂｃｋ，ｄｒｙ^０ _ｂｃｋ）
ＭＢ^０ _ｆｗ＝前方予測モードにおけるＩ／Ｐ_ｐｒｅｖ（ｄｒｘ^０ _ｆｗ，ｄｒｙ^０ _ｆｗ）
である。したがって、画像Ｂ_０のＳＡＤは

となる。Ｂ^０ _ｃｕｒ（ｉ，ｊ）は、現在のブロックＭＢ_ｐに相応する、画像Ｂ_０の同位置ブロック４である。

タイプＢの第２画像Ｂ_１についても同様に、ＳＡＤ^Ｂ１ _{ｄｒｘ，ｄｒｙ}はベクトルを用いてダイレクトモードで得られる。

Ｂ^１ _ｃｕｒ（ｉ，ｊ）は、現在のブロックＭＢ_ｐに相応する、画像Ｂ_１の同位置ブロック９である。

本方法を説明する上記の例は、３つのＳＡＤ値の和を用いてベクトルＤｘ、Ｄｙの選択を行うことを支持する。

ここで、各ＳＡＤには同じ重み、すなわち、１が付されている。

第１の変更形態は、求めるべきベクトルが主にＰ画像に関係するかぎりにおいて、画像タイプに応じて異なる重みをＳＡＤに付すことからなる。

α及びβは異なる係数である。例えば、
α＝０．５
β＝（１−α）／（ｍ−１）
ここで、ｍはＰ画像の周期、すなわち、２つのＰ画像間の画像の期間又はインターバルの数を表す。図１及び２の例はｍの値が３の場合に相当する。

第２の変更形態はＢ画像に現れる瞬時の対象の変位を考慮することからなる。なお、この瞬時の対象の変位は、Ｐ及びＩ／Ｐ画像の相応するブロックとは異なるＢ画像の同位置ブロックの動きを伴うことがあり得る。

基準画像に隣接するタイプＢの３つの画像の例では、ＳＡＤの計算は次のようになる。

ここで、例えば、β＝（１−α）である。

“Ｍｅｄｉａｎ”はメジアン関数に相当し、従って、タイプＢの画像のＳＡＤの極値は拒絶される。

この基準は、ＳＡＤ^Ｐが小さいという事実に依拠しているが、さらに、ＳＡＤ^Ｂのほとんどを最小化するベクトルを探索することもできる。その目的は、Ｐ画像のマクロブロックの予測の改善と、改善の程度は劣るがＢ画像の同位置マクロブロックの改善との間の妥協点をとったベクトルを選択することであり、この基準は、決定基準にバイアスがかからないようにするため、Ｂ画像内で時間的予測によっては予測されえない画像領域に属するマクロブロックは拒絶されるという事実に依拠している。Ｂ画像内では、この予測不能な領域は後に他の符号化モード、例えばイントラコーディングを用いて符号化される。

Ｂ画像が２つしか存在しない場合には、メジアン関数は、最大のＳＡＤ^Ｂを拒絶する最小値関数に置き換えられる。

上に示された例及び変更形態はＳＡＤの値に相当するブロック差分に関係している。それらはまたＳＡＤの値の和にも関係している。

もちろん、任意のタイプのブロック間差分値、実際には、これらのブロックの間の相関を表す任意の値を使用することも考えられ、またそれは本発明の範囲からも逸脱しない。従来技術による動き推定に関しては、ブロック相互相関を計算する際に使用される値を扱ってもよい。１つのブロック全体にわたるピクセルごとの輝度値の差分の２乗和を扱ってもよい。

変数ＳＡＤ又は差分値の任意の関数ｆを使用することも本発明の範囲の一部を形成している。ＳＡＤ又は差分値の最小化は符号化コストの低減に対応している。

一般化のために、ブロック内差分のこの値は以下ではＤと呼ばれる。

Ｄ^Ｐ _{ｄｘ，ｄｙ}は、Ｐ画像の現在のブロックと成分ｄｘ、ｄｙを有する動きベクトルにより予測されたブロックとの差分である。

Ｄ^Ｂ _{ｄｒｘ，ｄｒｙ}は、Ｂ画像の同位置ブロックと成分ｄｒｘ、ｄｒｙを有するダイレクト動きベクトルにより予測されたブロックとの差分である。より詳細には、成分ｄｒｘ_ｆｗ、ｄｒｙ_ｆｗを有する前方ダイレクト動きベクトルを扱っている場合にはＤ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ}であり、成分ｄｒｘ_ｂｃｋ、ｄｒｙ_ｂｃｋを有する後方ダイレクト動きベクトルを扱っている場合にはＤ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ}である。

つぎに、成分Ｄｘ、Ｄｙを有する動きベクトルに対応するＩ／Ｐ画像内の予測ブロックの選択が、Ｐ画像の現在のブロックと成分ｄｘ、ｄｙを有するＤ^Ｐ _{ｄｘ，ｄｙ}と呼ばれる動きベクトルに対応するＩ／Ｐ画像の予測ブロックとの差分値の関数として、また、これらの値の各々に対して、画像Ｂ_０及び／又はＢ_１の同位置ブロックと、成分ｄｘ、ｄｙを有する動きベクトルと共直線な成分ｄｒｘ_ｆｗ、ｄｒｙ_ｆｗを有する動きベクトルに基づいてマッチングされたＩ／Ｐ画像内の予測ブロックとの差分値Ｄ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ}の関数として、ならびに、画像Ｂ_０及び／又はＢ_１の同位置ブロックと、成分ｄｘ、ｄｙを有する動きベクトルと共直線な成分ｄｒｘ_ｂｃｋ、ｄｒｙ_ｂｃｋを有する動きベクトルに基づいてマッチングされたＩ／Ｐ画像内の予測ブロックとの差分値Ｄ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ}の関数として行われる。

ｆは任意の関数、例えば、アファイン関数である。

これらの差分値は必ずしも直接的に画像ブロックの輝度及び／又はクロミナンスに関係してはいなくてもよい。例えば、差分の、すなわち、残差ブロックの、ピクセルのフーリエ変換又はアダマール変換の係数の絶対和を扱ってもよい。使用されるアダマール変換が例えば４×４又は８×８ピクセルの残差画像信号の２次元変換である場合、この変換の利点は、＋１及び−１の分解係数を使用しながらもＤＣＴ領域に近づくことによってスペクトル領域に切り替わることである。これらの係数は計算全体をより迅速に行うことができるようにする。

動き推定器内でのテスト中に、動きベクトルの潜在的な符号化コストが考慮されるように、これらの差分にバイアスを加えてもよい。

本発明において実施される動き推定は、もちろん、ブロックマッチングのプロセスに限定されない。本発明における動き推定は、例えば再帰ＰＥＬタイプなどの任意の動き推定、画像のピクセルレベルで行われる推定、又は階層タイプの推定であってもよい。階層タイプの場合、推定は解像度の昇順に画像に対して行われる。本発明における動き推定は輝度、クロミナンス、階調関数などを使用してもよい。

ブロックマッチングは、多重ＳＡＤ最小化基準を採用した「フルサーチ」タイプのものであってよい。同位置ブロックのサーチは所定のサーチウィンドウで行われる。サーチウィンドウの各々の新ブロックは、前に処理されたブロックから１ピクセルの幅で水平又は垂直に移動したものに相当し、この新ブロックの各々に対して、相関の測定とＳＡＤ計算が行われる。

本発明の別の変更形態は、Ｐ画像とＩ／Ｐ画像との間の動きの推定を行い、現在のマクロブロックＭＢｐに関して、例えばＳＡＤ^Ｐ又は差分値の最小値を与えるＫ個の最も関連する動きベクトルを選択することからなる。その後、これらＫ個のベクトルに基づいて、プロセスは複数のＳＡＤ又は差分値に基づいた基準を最小化するベクトルを選択する。例えば、Ｋは８に等しく、選択されるベクトルはＳＡＤの和を最小化するベクトルである。

ＳＡＤ又は差分値の計算は、Ｂ画像と符号化順序からすると先行画像であるＩ／Ｐソース画像との間で行ってよい。また、Ｂ画像と復号されたＩ／Ｐローカル画像との間で行ってもよい。

本発明はこの種のプロセスを使用したすべての動き推定装置、又はこの種の動き推定装置を用いたすべての圧縮もしくは符号化システムに関する。

本発明の使用は、とりわけ、例えばｈ２３６、ＭＰＥＧ４又はｈ２６１規格などのダイレクト予測モードを含んだビデオ符号化規格を用いたデジタル画像の伝送に関する。

ダイレクトモードによるブロック予測を示す。 ダイレクトモードを用いた画像Ｂ_０と画像Ｂ_１のブロックの予測を示す。

符号の説明

１ 現在マクロブロック
２ 予測画像ブロック
３ 予測画像ブロック２に対応する動きベクトル
４ Ｂ画像
５ 第２基準画像
６ 第１基準画像
７ 前方動きベクトル
８ 後方動きベクトル
９ 画像Ｂ_１の同位置ブロック

Claims (10)

1. 第１基準画像内の現在ブロックを第２基準画像内の予測ブロックに基づいて差分符号化する方法であって、基準画像は差分符号化によって前記基準画像のブロックを考慮することのできる双方向タイプ又はタイプＢの１つ又は複数の画像に隣接しており、現在ブロックと、現在ブロックに割り当てられた動きベクトルＶｐにより指示された候補ブロックと、の間の差分Ｄ^Ｐ _{ｄｘ，ｄｙ}の関数として、予測ブロックを候補ブロックから選択するステップを有する形式の方法において、
   前記選択が、タイプＢの画像内の現在ブロックの同位置ブロックと基準画像内のブロックとの間の差分Ｄ ^Ｂ _{ｄｒｘ，ｄｒｙ} にも依存しており、基準画像内の前記ブロックは、前記同位置ブロックに割り当てられた動きベクトルにより指示され、ただし、該動きベクトルは、前記動きベクトルＶｐと平行することを特徴とする、第１基準画像内の現在画像ブロックを第２基準画像内の予測画像ブロックに基づいて差分符号化する方法。
2. 前記動きベクトルＶｐと平行する前記動きベクトルは、タイプＢの画像と第１基準画像との間の後方動きベクトルである、請求項１記載の方法。
3. 前記動きベクトルＶｐと平行する前記動きベクトルは、タイプＢの画像と第２基準画像との間の前方動きベクトルである、請求項１記載の方法。
4. 前記選択は、前記差分Ｄ ^Ｂ _{ｄｒｘ，ｄｒｙ} として、前記基準画像が前記第２基準画像となる差分Ｄ ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ} と、前記基準画像が前記第１基準画像となる差分Ｄ ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ} と、を考慮する、請求項１記載の方法。
5. 前記選択は、前記差分Ｄ ^Ｂ _{ｄｒｘ，ｄｒｙ} として、タイプＢの前記画像がタイプＢの第１画像Ｂ _０ となるＤ ^Ｂ０ _{ｄｒｘ，ｄｒｙ} と、タイプＢの前記画像がタイプＢの第２画像Ｂ _１ となるＤ ^Ｂ１ _{ｄｒｘ，ｄｒｙ} と、を考慮する、請求項１記載の方法。
6. 候補ブロックの中から選択されるブロックは、前記候補ブロックに関して計算した差分Ｄ ^Ｐ _{ｄｘ，ｄｙ}、Ｄ^Ｂ _{ｄｒｘｆｗ，ｄｒｙｆｗ} 、Ｄ ^Ｂ _{ｄｒｘｂｃｋ，ｄｒｙｂｃｋ}の関数の最小値に相応する、請求項４記載の方法。
7. ブロックのピクセルの輝度値間の差分の絶対和（ＳＡＤ）に基づいて差分Ｄを計算する、請求項１記載の方法。
8. ブロックのピクセルの輝度値間のピクセルごとの差分である残差の変換の係数の絶対和に基づいて差分Ｄを計算する、請求項１記載の方法。
9. 候補ブロックは、所定のサーチウィンドウから抽出することのできる、現在ブロックと同じサイズの画像ブロックである、請求項１記載の方法。
10. ＭＰＥＧ４規格の時間ダイレクトモードに従ってタイプＢの画像の符号化を行う、請求項１記載の方法。

Images