JP5545783B2 - 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法 - Google Patents

Description

本発明は、画像符号化の一般的な領域に関する。より具体的には、本発明は、画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法に関する。

画像シーケンスを符号化して符号化されたデータのストリームにする方法およびこのストリームを復号する方法の多くは、時間的予測または画像間予測と、同様に、空間的予測または画像内予測を使用する。画像内予測または画像間予測は、画像シーケンスの圧縮の改善が可能になる。画像内予測または画像間予測は、現在のブロックについて、予測ブロックを生成すること、さらに、現在のブロックと予測ブロックとの差分（この差分は残差ブロックとも呼ばれる）を符号化することを含む。予測ブロックが現在のブロックと相関性が高いほど、現在のブロックを符号化するために必要となるビット数が低下するため、圧縮効率が高まる。しかしながら、画像シーケンスの各画像間に輝度（ｌｕｍｉｎｏｓｉｔｙ）変化が存在している場合には、画像間予測の効率性が失われる（現在の画像内に輝度変化が存在している場合には、画像内予測の効率性が失われる）。このような輝度変化は、例えばイルミネーション（輝度）の変更、フェージング効果、フラッシュなどに起因する。

輝度変化を考慮した画像シーケンスを符号化／復号する方法が知られている。従って、ＩＳＯ／ＩＥＣ １４４９６−１０文献に記載されたＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格のフレームワーク内では、輝度変化が存在する場合の圧縮を改善するために、重み付け予測法を使用することが知られている。このため、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格は、画素の１つ以上のブロックからなる画像スライス毎に、重み付け予測パラメータのストリーム内で明示的な送信を可能にする。１つの重み付け予測パラメータまたは、幾つかの重み付け予測パラメータのセットによるイルミネーション補正（輝度補正）は、１つの重み付け予測パラメータまたは、重み付け予測パラメータのセットが関連付けられた画像スライスの全てのブロックに対して同様に適用される。例えば図１に示された動きベクトルＭＶのような１つの動きデータを用いて、現在のブロックＢｃの平均とこの現在ブロックに関連付けられた参照ブロックＢｒの平均との比を計算することによって、現在のブロックＢｃの重み付け予測パラメータが決定される。動きベクトルＭＶが画素よりも低い精度を有する場合には、参照ブロックＢｒが補間される。ブロックの平均は、例えばブロックの各画素に関連付けられた輝度値の平均である。参照ブロックは、例えば動き推定のステップで決定される。現在のブロックの輝度変化は、現在のブロックに関連付けられた各値から特定されるため、このような予測方法は、精度が高い。しかしながら、このような方法は、ビットレートの観点からはコストが高い。なぜならば、このような方法は、画像スライス毎に、従って、潜在的には、ブロック毎に、重み付け予測パラメータのセットをストリームの形態で送信することを含むからである。

さらに、局所的な輝度変化を補正して符号化器側と復号器側とで同様に、局所的に重み付け予測パラメータを決定することが本技術分野において知られている。この場合、重み付け予測パラメータはストリーム内で明示的に送信されない。例えば図１を参照するに、現在のブロックＢｃの近傍Ｎｃの平均と現在のブロックＢｃに関連付けられた参照ブロックＢｒの近傍Ｎｒの平均との比を計算することによって、現在のブロックＢｃの重み付け予測パラメータが決定される。近傍の平均は、例えば対象となる近傍の各画素に関連付けられた輝度値の平均である。Ｎｃは、現在のブロックＢｃの因果関係のある（ｃａｓｕａｌ）近傍に存在する。従って、Ｂｃの前に、Ｎｃは符号化される（Ｎｃは再構築される）。このような方法は、重み付け予測パラメータがストリーム内で明示的に送信されずに、符号化器側と復号器側で同様に決定されるため、ビットレートの観点からは、コストが低い。しかしながら、このような予測方法は、現在のブロックＢｃに関連付けられた重み付け予測パラメータが現在のブロックのコンテンツを考慮しないという点で上述した方法よりも精度が低い。

本発明の目的は、従来技術の欠点の少なくとも１つを克服することにある。この目的のため、本発明は、複数のブロックに分割された画像シーケンスを表す符号化されたデータのストリームを復号する方法に関する。この方法は、現在のブロックについて、
−現在のブロックに関連する符号化されたデータのストリームの第１の部分を復号して残差ブロックを再構築するステップと、
−予測ブロックを決定するブロックと、
−残差ブロックと重み付け予測パラメータによって重み付けされた予測ブロックとを統合することによって現在のブロックを再構築するステップと、を含む。

上記重み付け予測パラメータが、
−上記予測ブロックの平均を計算するステップと、
−上記現在のブロックのＤＣ係数を再構築するステップと、
−上記予測ブロックの平均と上記ＤＣ係数とから上記現在のブロックの平均を計算するステップと、
−上記現在のブロックの平均と上記予測ブロックの平均との比である重み付け予測パラメータを計算するステップと、によって決定されると有益である。

第１の実施形態の変形例によれば、上記現在のブロックの平均を計算するステップにおいて、上記予測ブロックの平均は、符号化されたデータのストリームから復号される初期重み付け予測パラメータによって重み付けされる。

第２の実施形態の変形例によれば、上記現在のブロックの平均を計算するステップにおいて、上記予測ブロックの平均は、上記現在のブロックの近傍の平均とこの現在のブロックに関連付けられた参照ブロックの対応する近傍の平均との比と等しい初期重み付けパラメータによって重み付けされる。

本発明は、さらに、複数のブロックに分割された画像シーケンスを符号化する方法に関する。この方法は、現在のブロックについて、
−上記現在のブロックの予測ブロックを決定するステップと、
−上記現在のブロックから重み付け予測パラメータによって重み付けされた予測ブロックを抽出することによって残差ブロックを決定するステップと、
−上記残差ブロックを符号化するステップと、を含む。

上記重み付け予測パラメータは、
−上記予測ブロックの平均および上記現在のブロックの平均を計算するステップと、
−上記現在のブロックの平均と上記予測ブロックの平均との間の予測エラーを計算するステップと、
−上記予測ブロックの平均と順次量子化され逆量子化された予測エラーとから上記現在のブロックの補正された平均を計算するステップと、
−再構築された現在のブロックの平均と上記予測ブロックの平均との比として重み付けされた予測パラメータを計算するステップと、によって決定されると有益である。

実施形態の一変形例によれば、上記予測エラーを計算するステップにおいて、上記予測ブロックの平均が初期重み付け予測パラメータによって重み付けされる。ここで、この初期重み付け予測パラメータは符号化されたデータのストリーム内で符号化される。

本発明の特定の特徴によれば、現在のブロックが属する画像の部分について、初期重み付け予測パラメータが決定される。この決定は、
−第１の平均と呼ばれる上記画像の部分の平均を決定するステップと、
−第２の平均と呼ばれる上記予測ブロックが属する対応する画像の部分の平均を決定するステップと、
−上記第１の平均と上記第２の平均との比として重み付け予測パラメータを計算するステップと、に従って行われる。

発明の特定の特徴によれば、画像の部分は、画像全体、または画像スライスである。

本発明の実施形態の別の変形例によれば、上記予測エラーを計算するステップにおいて、上記予測ブロックの平均は、上記現在のブロックの近傍の平均とこの現在のブロックに関連付けられた参照ブロックの対応する近傍の平均との比と等しい初期重み付け予測パラメータによって重み付けされる。

本発明は、添付図面を参照して、限定を意図することなく、各実施形態および有益な実施態様によって例示した内容により、より良好に理解できるであろう。

現在のブロックＢｃ、参照ブロックＢｒ、さらに、これらのブロックのそれぞれの近傍ＮｃおよびＮｒを示す図である。 本発明に従った復号方法を示す図である。 本発明に従った符号化方法を示す図である。 本発明に従った符号化器を示す図である。 本発明に従った復号器を示す図である。

本発明は、画像シーケンスを再構築するために、この画像シーケンスを表す符号化されたデータのストリームＦを復号する方法、さらに、画像シーケンスを符号化されたデータのストリームＦの形態に符号化する方法に関する。画像シーケンスは、一連の、幾つかの画像である。各画像は、それぞれが少なくとも１つの画像データに関連付けられた複数の画素、または、画像点からなる。１つの画像データは、例えば１つの輝度データ、または１つの色差データである。

「輝度変化（ｂｒｉｇｈｔｎｅｓｓ ｖａｒｉａｔｉｏｎ）」という表現は、「ルミナンス変化（ｌｕｍｉｎａｎｃｅ ｖａｒｉａｔｉｏｎ）」、「ルミナスティ変化（ｌｕｍｉｎｏｓｉｔｙ ｖａｒｉａｔｉｏｎ）」、または、「イルミネーション変化（ｉｌｌｕｍｉｎａｔｉｏｎ ｖａｒｉａｔｉｏｎ）」という英語の用語でも知られている。

用語「動きデータ」は、最も広い意味で理解されるべきである。動きデータは、動きベクトルを含み、参照画像を画像シーケンス内で識別可能とするための参照画像インデックスを含むこともある。また、動きデータは、予測ブロックを導出するために参照ブロックに対して適用しなければならない補間タイプを示す１つの情報を含むことがある。

用語「残差データ」は、他のデータの抽出後に得られるデータを意味する。抽出は、一般的には、ソース・データから予測データを画素毎に減算することである。しかしながら、抽出は、より一般的な用語であり、特に、重み付け減算を含む。この用語は、用語「残差」と同義である。残差ブロックは、残差データが関連付けられた画素のブロックである。

用語「変換された残差データ」は、変換が適用されている残差データを意味する。離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）は、２００３年９月にＪ．Ｗｉｌｅｙ＆Ｓｏｎ社によって出版されたＩ．Ｅ． Ｒｉｃｈａｒｄｓｏｎ氏の「Ｈ．２６４およびＭＰＥＧ−４ビデオ圧縮」と題された書籍のチャプタ３．４．２．２に記載されたこのような変換の例である。Ｉ．Ｅ． Ｒｉｃｈａｒｄｓｏｎ氏の書籍のチャプタ３．４．２．３に記載されたウェーブレット変換およびアダマール（Ｈａｄａｍａｒｄ）変換は、別の例である。このような変換は、画像データのブロック、例えば残差輝度のデータおよび／または残差色差のデータを「周波数データのブロック」または「係数のブロック」とも呼ばれる「変換されたデータのブロック」に変換する。係数のブロックは、一般的には、連続係数またはＤＣ係数として知られる低周波数係数と、ＡＣ係数として知られる高周波数係数とを含む。

用語「予測データ」は、他のデータを予測するために使用されるデータを意味する。予測ブロックは、予測データが関連付けられる画素のブロックである。予測ブロックは、予測するブロックが属する画像と同じ画像の１つのブロックまたは幾つかのブロックから得ることができる（空間的予測または画像内予測）。もしくは、予測ブロックは、予測するブロックが属する画像とは異なる画像のうちの１つのブロック（一方向予測）または幾つかのブロック（双方向予測）から得ることができる（時間的予測または画像間予測）。

用語「再構築されたデータ」は、残差データを予測データと統合した後に得られるデータを意味する。この統合は、一般的には、予測データと残差データの画素毎の合計である。しかしながら、統合は、より一般的なものであり、特に、重み付けされた合計を含む。再構築されたブロックは、再構築された画像データが関連付けられた画素のブロックである。

図２は、画像シーケンスを表す符号化されたデータのストリームＦを復号する方法を示している。現在のブロックＢｃについて、この方法を記載する。この方法は、画像の幾つかのブロックに対して適用されることがある。

ステップ１において、現在のブロックＢｃについて予測ブロックＢｐｒｅｄが決定される。例えば予測ブロックＢｐｒｅｄは、現在のブロックＢｃに関連する符号化されたデータのストリームＦの部分を復号する際に得られる動きデータから決定される。変形例によれば、予測ブロックＢｐｒｅｄは、テンプレート・マッチングタイプ法によって再構築された動きデータから決定される。このような方法は、Ｓｔｅｆｆｅｎ Ｋａｍｐ氏らの「復号器側動きベクトルの導出（Ｄｅｃｏｄｅｒ Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ」と題され、２００７年１０月２０日に中国、深セン（Ｓｈｅｎｚｈｅｎ）でＩＴＵ−ＴのＶＣＥＧグループの第３３回会議の間に出版された文献ＶＣＥＧ−ＡＧ１６に記載されている。

ステップ２において、予測ブロックＢｐｒｅｄの平均ａｖｒ_ｐｒｅｄが特定される。単純な例として、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた輝度値の平均と等しい。変形例によれば、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた輝度値および色差値の平均と等しい。別の変形例によれば、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた色差値の平均と等しい。

ステップ４において、現在のブロックＢｃの

と示されるＤＣ係数は、符号化されたデータのストリームＦから再構築される。このために、エントロピー復号によって、ＤＣ係数に関連する符号化されたデータＦが量子化されたＤＣ係数に復号され、この量子化されたＤＣ係数に対して逆量子化が適用されて

が得られる。なお、このステップにおいて、ＡＣ係数は、（残差エラーの観点から）現在のブロックに関連して再構築されることもある。このＡＣ係数は、後に、Ｂｃを再構築するために使用される。このために、エントロピー復号によって、ＡＣ係数に関連する符号化されたデータＦが量子化されたＡＣ係数に復号され、この量子化されたＡＣ係数に対して逆量子化が適用される。

ステップ６において、予測ブロックＢｐｒｅｄの平均ａｖｒ_ｐｒｅｄとＤＣ係数

から以下のように現在のブロックＢｃの平均ａｖｒ_{ｃｒ＿ｄｅｃ}が計算される。

ここで、ｓｃａｌｅは、ブロックの平均値とこの対象となるこのブロックに関連付けられたＤＣ係数の値とをリンクする比例係数である。比例係数は、画像領域からＤＣ係数が属する変換領域への移行に使用される変換（例えばＤＣＴ８×８、ＤＣＴ１６×１６、アダマールなど）に依存する。

変形例によれば、ステップ６において、初期重み付け予測パラメータｗｐ_ｃｒにより重み付けされた予測ブロックの平均ａｖｒ_ｐｒｅｄとＤＣ係数

とから、以下のように現在のブロックＢｃの平均値ａｖｒ_{ｃｒ＿ｄｅｃ}が計算される。

初期重み付け予測パラメータｗｐ_ｃｒは、例えば従来技術において知られている方法のうちの１つによって得られる。例えば初期重み付け予測パラメータｗｐ_ｃｒは、符号化されたデータのストリームＦから復号される。変形例によれば、初期重み付け予測パラメータｗｐ_ｃｒは、図１に示すような、現在のブロックの近傍Ｎｃの平均と参照ブロックＢｒに対応する近傍Ｎｒの平均との比を計算することによって決定される。

ステップ８において、重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}が特定される。この特定は、ステップ６で計算された現在のブロックの平均ａｖｒ_{ｃｒ＿ｄｅｃ}とステップ２で計算された予測ブロックの平均ａｖｒ_ｐｒｅｄとの比、即ち、ｗｐ_{ｃｒ＿ｄｅｃ}＝ａｖｒ_{ｃｒ＿ｄｅｃ}／ａｖｒ_ｐｒｅｄによって計算される。

ステップ１０において、現在のブロックＢｃについて残差ブロックＢｒｅｓが再構築される。このために、現在のブロックに関連するＡＣ係数がステップ４で既に復号されていなければ、これらのＡＣ係数は現在のブロックＢｃに関連する符号化されたデータのストリームＦの部分を復号することによって再構築される。ＤＣ係数の代わりの空値（ｎｕｌｌ ｖａｌｕｅ）と再構築されたＡＣ係数とからなる係数のブロックは、逆変換によって残差ブロックＢｒｅｓに変換される。

ステップ１４において、現在のブロックＢｃが再構築される。この再構築は、ステップ１０で再構築された残差ブロックＢｒｅｓと重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}によって重み付けされた予測ブロックＢｐｒｅｄとを統合することによって行われる。例えば現在のブロックＢｃは、残差ブロックＢｒｅｓと重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}によって重み付けされた予測ブロックとの画素毎の合計と等しい。
Ｂｃ（ｉ，ｊ）＝Ｂｒｅｓ（ｉ，ｊ）＋ｗｐ_{ｃｒ＿ｄｅｃ} ^＊Ｂｐｒｅｄ（ｉ，ｊ）
ここで、（ｉ，ｊ）は、画素の座標である。

変形例によれば、現在のブロックＢｃは、以下のタイプの等式に従って、残差ブロックおよび予測ブロックに対してフィルタリングを適用したものの合計と等しい。

ここで、ａ（．）およびｂ（．）は、リニア・フィルタの係数である。（ｋ，Ｉ）は、−１〜１の間で変化する整数である。単純な例として、ａ（）は、以下の値をとることがある。
１／６４ −１０／６４ １／６４
−１０／６４ １００／６４ −１０／６４
１／６４ −１０／６４ １／６４

さらに、ｂ（）は、以下の値をとることがある。
１／１６ ２／１６ １／１６
２／１６ ４／１６ ２／１６
１／１６ ２／１６ １／１６

図３は、符号化されたデータのストリームＦの形態の画像シーケンスを符号化する方法を示している。現在のブロックＢｃについてこの方法を記載する。この方法は画像の幾つかのブロックに対して適用されることがある。

ステップ１５において、現在のブロックＢｃについて、予測ブロックＢｐｒｅｄが決定される。例えばビデオ符号化器／復号器の技術における当業者にとって公知なブロック・マッチングのタイプの動き推定方法によって得られる動きデータから予測ブロックＢｐｒｅｄが決定される。しかしながら、本発明は、予測ブロックＢｐｒｅｄを決定するために使用される方法によって限定されるものでは全くない。

ステップ１６において、予測ブロックＢｐｒｅｄの平均ａｖｒ_ｐｒｅｄおよび現在のブロックＢｃの平均ａｖｒ_ｃｒが特定される。単純な例として、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた輝度値の平均と等しい。変形例によれば、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた輝度値および色差値の平均と等しい。別の変形例によれば、平均ａｖｒ_ｐｒｅｄは、予測ブロックＢｐｒｅｄの各画素に関連付けられた色差値の平均と等しい。これらの変形例は、同様に、現在のブロックＢｃの平均ａｖｒ_ｃｒの計算にも適用される。

ステップ１８において、現在のブロックＢｃの平均ａｖｒ_ｃｒと予測ブロックＢｐｒｅｄの平均との間の予測エラーＩ_{ｒｅｓＤＣ}が以下のように計算される。
Ｉ_{ｒｅｓＤＣ}＝（ａｖｒ_ｃｒ−ａｖｒ_ｐｒｅｄ）×ｓｃａｌｅ

この予測エラー（誤差）Ｉ_{ｒｅｓＤＣ}は、現在ブロックＢｃの平均ａｖｒ_ｃｒと予測ブロックＢｐｒｅｄの平均ａｖｒ_ｐｒｅｄとの差に比例する。比例係数ｓｃａｌｅは、ブロックの平均値と対象となるこのブロックに関連付けられたＤＣ係数の値とをリンクする係数である。比例係数は、ＤＣ係数が属する画像領域から変換領域への移行に使用される変換（例えばＤＣＴ８×８、ＤＣＴ１６×１６、アダマールなど）に依存する。

変形例によれば、ステップ１８において、初期重み付け予測パラメータｗｐ_ｃｒによって重み付けされた予測ブロックａｖｒ_ｐｒｅｄの平均と現在のブロックＢｃの平均ａｖｒ_ｃｒとから、予測エラーＩ_{ｒｅｓＤＣ}が以下のように計算される。
Ｉ_{ｒｅｓＤＣ}＝（ａｖｒ_ｃｒ−ａｖｒ_{ｐｒｅｄ＿ｃｒ}）×ｓｃａｌｅ
ここで、ａｖｒ_{ｐｒｅｄ＿ｃｒ}＝ｗｐ_ｃｒ ^＊ａｖｒ_ｐｒｅｄ

初期重み付け予測パラメータｗｐ_ｃｒは、例えば従来技術において知られている方法のうちの１つから得られる。例えば初期重み付け予測パラメータｗｐ_ｃｒは、図１に示されたような現在のブロックの近傍Ｎｃの平均と参照ブロックＢｒに対応する近傍Ｎｒの平均との比を計算することによって決定される。

別の変形例によれば、初期重み付け予測パラメータｗｐ_ｃｒは、現在のブロックＢｃが属する画像の部分について、
−第１の平均と呼ばれる、上記画像の部分の平均を決定するステップと、
−第２の平均と呼ばれる、予測ブロックが属する対応する画像の部分の平均を決定するステップと、
−上記第１の平均と上記第２の平均との比として重み付け予測パラメータを計算するステップと、に従って決定される。

この画像の部分は、画像全体、または、画像スライスである。この場合、本発明に従った符号化方法は、追加のステップとして、符号化されたデータのストリームＦ内の初期重み付け予測パラメータを符号化するステップを含む。

ステップ２０において、現在のブロックＢｃの補正された平均値ａｖｒ_{ｃｒ＿ｄｅｃ}が予測ブロックＢｐｒｅｄの平均ａｖｒ_ｐｒｅｄおよび順次量子化され逆量子化された予測エラーから、以下のように計算される。

ここで、

であり、Ｑは、量子化演算子であり、Ｑ^−１は、逆量子化演算子である。変形例によれば、ａｖｒ_ｐｒｅｄは、ａｖｒ_{ｃｒ＿ｄｅｃ}の計算のために上記等式においてａｖｒ_{ｐｒｅｄ＿ｃｒ}に置き換えられる。

ステップ２２において、重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}が特定される。この特定は、ステップ２０で計算された現在のブロックａｖｒ_{ｃｒ＿ｄｅｃ}の平均とステップ１６で計算された予測ブロックａｖｒ_ｐｒｅｄの平均との比を計算することによって行われる。

ステップ２６において、残差ブロックＢｒｅｓは、重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}を使用して重み付けされた予測ブロックＢｐｒｅｄを現在のブロックＢｃから抽出することによって決定される。例えば残差ブロックＢｒｅｓは、現在のブロックＢｃと重み付け予測パラメータｗｐ_{ｃｒ＿ｄｅｃ}で重み付けした予測ブロックＢｐｒｅｄとの画素毎の差と等しい。
Ｂｒｅｓ（ｉ，ｊ）＝Ｂｃ（ｉ，ｊ）−ｗｐ_{ｃｒ＿ｄｅｃ} ^＊Ｂｐｒｅｄ（ｉ，ｊ）
ここで、（ｉ，ｊ）は、画素の座標である。

変形例によれば、残差ブロックＢｒｅｓは、以下のタイプの等式に従って、現在のブロックおよび予測ブロックに対してフィルタリングを適用したものの差と等しい。

ここで、ａ’（）およびｂ’（）は、リニア・フィルタの係数であり、このリニア・フィルタの係数ａ’（）およびｂ’（）は、前に定義された係数ａ（）およびｂ（）とは異なることがある。（ｋ，Ｉ）は、例えば−１〜１の間で変化する整数である。単純な例として、ａ’（）は、以下の値をとることがある。
１／２５６ −１８／２５６ １／２５６
−１８／２５６ ３２４／２５６ −１８／２５６
１／２５６ −１８／２５６ １／２５６

さらに、ｂ’（）は、以下の値をとることがある。
１／６４ ６／６４ １／６４
６／６４ ３６／６４ ６／６４
１／６４ ６／６４ １／６４

ステップ２８において、ステップ２６で決定されたブロックＢｒｅｓがｗｐ_{ｃｒ＿ｄｅｃ}による補正のため、空値または非常に低い値の初期ＤＣ係数、およびＡＣ係数からなる係数のブロックに変換される。次に、初期ＤＣ係数は、ステップ１８で計算された予測エラーＩ_{ｒｅｓＤＣ}によって置き換えられる。従って、Ｉ_{ｒｅｓＤＣ}はストリームＦ内に効果的に符号化されたＤＣ係数である。このように変更された係数のブロックは、次に、量子化され、エントロピー符号化により符号化される。

例えばエントロピー符号化ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）のタイプのビデオ符号化器の技術における当業者とって公知なエントロピー符号化方法が使用される。このエントロピー符号化方法は、例えば２００３年９月にＪ．Ｗｉｌｅｙ ＆ Ｓｏｎｓ社によって出版されたＩ．Ｅ． Ｒｉｃｈａｒｄｓｏｎ氏による「Ｈ．２６４およびＭＰＥＧ−４ビデオ圧縮（Ｈ．２６４ ａｎｄ ＭＰＥＧ−４ ｖｉｄｅｏ ｃｏｍｐｒｅｓｓｉｏｎ）」と題された書籍のチャプタ３．５．２に記載されたような、予め計算されたＶＬＣテーブルを使用する。変形例によれば、コンテクストベースの適応算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のタイプの方法を使用することができる。これは、Ｉ．Ｅ． Ｒｉｃｈａｒｄｓｏｎ氏による書籍のチャプタ６．５．４、さらに、「情報技術−オーディオビジュアル・オブジェクトの符号化−Ｐａｒｔ １０：アドバンスドビデオ符号化（Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と題されたＩＳＯ／ＩＥＣ １４４９６−１０の文献のセクション９．３に記載されているようなものである。別の変形例によれば、コンテクストベースの適応可変長符号化（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｈ Ｃｏｄｉｎｇ（ＣＡＶＬＣ））のタイプの方法を使用することができる。これは、「情報技術−オーディオビジュアル・オブジェクトの符号化−Ｐａｒｔ １０：アドバンスドビデオ符号化（Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と題されたＩＳＯ／ＩＥＣ １４４９６−１０の文献のセクション９．２、さらに、Ｉ．Ｅ． Ｒｉｃｈａｒｄｓｏｎ氏の書籍のチャプタ６．４．１３．２に記載されているようなものである。

本発明に従った符号化および復号方法は、現在のブロックのコンテンツを考慮すること、即ち、特に、近傍のコンテンツに限定されないことにより、予測方法を改善し、イルミネーション（輝度）の局所的変化に劇的に適応化し、このような局所的変化に関連するパラメータを明示的に符号化することが不要であるという利点を有する。さらに、これには、重み付け予測パラメータがストリーム内で転送されない場合に符号化効率を改善させるという利点がある。

本発明は、さらに、図４を参照して説明する符号化器１２および図５を参照して説明する復号器１３に関する。図４および図５において、各モジュールは機能的なユニットとして示されているが、物理的に区別可能なユニットに対応することもあるし、物理的に区別可能なユニットに対応しない場合もある。例えばこれらのモジュール、または、モジュールのうちの幾つかは、１つのコンポーネントにグループ化されることもあれば、同一のソフトウエアの複数の構成機能となることもある。逆に、幾つかのモジュールは、複数の別個の物理的なエンティティとして構成されることもある。

図４を参照するに、符号化器１２は、画像シーケンスに属する画像を入力部で受信する。各画像は、それぞれ、少なくとも１つの画像データに関連付けられた、画素の複数のブロックに分割されている。符号化器１２は、特に、時間的予測を用いた符号化を実施する。時間的予測による符号化、または、インター符号化（ＩＮＴＥＲ ｃｏｄｉｎｇ）に関連する符号化器１２のモジュールのみが図４に示されている。図示されていないが、ビデオ符号化器における当業者によって公知な他のモジュールは、空間的予測を用いて、または空間的予測を用いずにイントラ符号化（ＩＮＴＲＡ ｃｏｄｉｎｇ）を実施する。符号化器１２は、特に、計算モジュール１２００を含み、この計算モジュール１２００は、例えば予測ブロックＢｐｒｅｄを現在のブロックＢｃから画素毎の減算により抽出して残差画像データのブロック、または、残差ブロックＢｒｅｓを生成することが可能である。さらに、符号化器１２は、残差ブロックＢｒｅｓを変換し、そして量子化して量子化されたデータにすることが可能なモジュール１２０２を含む。例えば変換Ｔは、離散コサイン変換（ＤＣＴ）である。さらに、符号化器１２は、量子化されたデータを符号化して符号化されたデータのストリームＦにすることが可能なエントロピー符号化モジュール１２０４を含む。さらに、符号化器１２は、モジュール１２０２の逆の処理を実行するモジュール１２０６を含む。モジュール１２０６は、逆量子化Ｑ^−１を実行し、その後、逆変換Ｔ^−１を実行する。モジュール１２０６は、計算モジュール１２０８に結合されており、この計算モジュール１２０８は、例えばモジュール１２０６からのデータのブロックおよび予測ブロックＢｐｒｅｄを画素毎の加算により統合してメモリ１２１０に記憶される再構築された画像データのブロックを生成することが可能である。

符号化器１２は、さらに、動き推定モジュール１２１２を含み、この動き推定モジュール１２１２は、ブロックＢｃと、メモリ１２１０に記憶された、前に符号化されそして再構築された参照画像Ｉｒのブロックとの間の少なくとも１つの動きベクトルを推定することが可能である。変形例によれば、現在のブロックＢｃとオリジナルの参照画像Ｉｃとの間で動き推定が実行され、この場合には、メモリ１２１０は、動き推定モジュール１２１２に結合されていない。当業者にとってよく知られている方法に従って、動き推定モジュールは、１つの動きデータ、特に、動きベクトルをサーチし、現在のブロックＢｃとこの動きデータによって特定される参照画像Ｉｒにおけるブロックとの間で計算されるエラー（誤差）が最小になるようにする。

決定された動きデータは、動き推定モジュール１２１２によって、所定の符号化モードのセットのうち、ブロックＢｃの符号化モードを選択することが可能な決定モジュール１２１４に送信される。例えばビットレート歪みタイプの基準を最小にするような符号化モードがとられる。しかしながら、本発明は、この選択方法に限定されるものではなく、とられるモードは、別の基準、例えば先験的に決められるタイプの基準に従って選択することができる。決定モジュール１２１４によって選択される符号化モード、さらに、動きデータ、例えば１個の動きデータ、または、時間的予測モードやインター・モードの場合は、複数の動きデータが予測モジュール１２１６に送信される。予測モジュール１２１６は、本発明に従った符号化方法のステップ１５〜２２を実施可能である。選択される符号化モード、さらに、必要であれば、動きデータもまた、エントロピー符号化モジュール１２０４に送信されてストリームＦ内に符号化される。予測モジュール１２１６は、決定モジュール１２１４によって決定される符号化モードから予測ブロックＢｐｒｅｄを決定する。この予測ブロックＢｐｒｅｄは、動き推定モジュール１２１２によって決定される動きデータから決定されることもある（画像間予測）。

図５を参照するに、復号モジュール１３は、画像シーケンスを表す符号化されたデータのストリームＦを入力部で受信する。ストリームＦは、例えばチャンネルを通じて符号化器１２によって送信される。復号器１３は、復号されたデータ、例えば符号化モードおよび画像のコンテンツに関連する復号されたデータを生成することが可能なエントロピー復号モジュール１３００を含む。

さらに、復号器１３は、動きデータ再構築モジュールを含む。第１の実施形態によれば、動きデータ再構築モジュールは、この動きデータを表すストリームＦの部分を復号するエントロピー復号モジュール１３００である。図１３に示されていない変形例によれば、動きデータ再構築モジュールは、動き推定モジュールである。復号器１３によって動きデータを再構築するためのこの解決法は、「テンプレート・マッチング」として知られている。

画像のコンテンツに関連する復号されたデータは、次に、逆量子化を行って、その後に逆変換を行うことが可能なモジュール１３０２に送信される。モジュール１３０２は、符号化されたストリームＦを生成した符号化器１２のモジュール１２０６と同一である。モジュール１３０２は、計算モジュール１３０４に結合されており、この計算モジュール１３０４は、例えばモジュール１３０２および予測モジュールＢｐｒｅｄからのブロックを画素毎の加算により統合してメモリ１３０６に記憶される再構築された現在のブロックＢｃを生成することが可能である。さらに、復号器１３は、予測モジュール１３０８を含む。予測モジュール１３０８は、エントロピー復号モジュール１３００によって現在のブロックのために復号された符号化モードから予測ブロックＢｐｒｅｄを決定する。さらに、この予測ブロックＢｐｒｅｄの決定は、動きデータ再構築モジュールによって決定された動きデータから行われることがある。予測モジュール１３０８は、本発明に従って、復号方法のステップ１〜８を実施可能である。

勿論、本発明は、上述した実施形態の例に限定されるものではない。

特に、当業者であれば、上述した実施形態に対してどのような変形を施すこともでき、これらを組み合わせて様々な利点からの恩恵を受けることができる。本発明の変換のタイプは限定されるものではない。特に、本発明は、ＤＣＴ変換、アダマール変換、ウェーブレット変換と共に使用することができる。

Claims (11)

1. 複数のブロックに分割された画像のシーケンスを表す符号化されたデータのストリームを復号する方法であって、
   現在のブロックに対して予測ブロックを決定するステップと、
   前記予測ブロックの平均を計算するステップと、
   前記ストリームから前記現在のブロックに関連するＤＣ係数およびＡＣ係数を再構築するステップと、
   前記予測ブロックの前記平均と前記ＤＣ係数とから前記現在のブロックの平均を計算するステップと、
   前記現在のブロックの前記平均と前記予測ブロックの前記平均との比である重み付け予測パラメータを計算するステップと、
   ＤＣ係数として零（ゼロ）と前記再構築されたＡＣ係数とを含む係数のブロックを残差ブロックに変換するステップと、
   前記残差ブロックと前記重み付け予測パラメータによって重み付けされた前記予測ブロックとを統合することによって前記現在のブロックを再構築するステップと、
   を含む、前記方法。
2. 前記現在のブロックの前記平均を計算するステップにおいて、前記予測ブロックの前記平均は、前記符号化されたデータのストリームから復号された初期重み付け予測パラメータによって重み付けされる、請求項１に記載の方法。
3. 前記現在のブロックの前記平均を計算するステップにおいて、前記予測ブロックの前記平均は、前記現在のブロックの近傍の平均と前記現在のブロックに関連付けられた参照ブロックの対応する近傍の平均との比に等しい初期重み付け予測パラメータによって重み付けされる、請求項１に記載の方法。
4. 符号化されたデータのストリーム内の複数のブロックに分割された画像のシーケンスを符号化する方法であって、
   前記現在のブロックに対する予測ブロックを決定するステップと、
   前記予測ブロックの平均と前記現在のブロックの平均とを計算するステップと、
   前記現在のブロックの前記平均と前記予測ブロックの前記平均との間の予測エラーを計算するステップと、
   前記予測ブロックの前記平均および順次量子化され逆量子化された予測エラーから前記現在のブロックの補正された平均を計算するステップと、
   前記現在のブロックの前記補正された平均と前記予測ブロックの前記平均との比である重み付け予測パラメータを計算するステップと、
   前記重み付け予測パラメータによって重み付けされた前記予測ブロックを前記現在のブロックから抽出することによって残差ブロックを決定するステップと、
   前記残差ブロックをＤＣ係数およびＡＣ係数に変換し、該ＡＣ係数を量子化し、前記量子化された予測エラーおよび該量子化されたＡＣ係数をエントロピー符号化することによって前記符号化されたデータのストリーム内の前記残差ブロックを符号化するステップと、
   を含む、前記方法。
5. 前記予測エラーを計算するステップにおいて、前記予測ブロックの前記平均は初期重み付け予測パラメータによって重み付けされ、該初期重み付け予測パラメータは符号化されたデータの前記ストリーム内に符号化される、請求項４に記載の方法。
6. 前記現在のブロックが属する前記画像の部分に対して、
   第１の平均と称する前記画像の前記部分の平均を決定するステップと、
   第２の平均と称する前記現在のブロックに関連付けられた参照ブロックが属する対応する前記画像の部分の平均を決定するステップと、
   前記第１の平均と前記第２の平均との比である前記重み付け予測パラメータを計算するステップと、
   に従って、前記初期重み付け予測パラメータが決定される、請求項５に記載の方法。
7. 前記画像の前記部分は前記画像の全体である、請求項６に記載の方法。
8. 前記画像の前記部分は画像スライスである、請求項６に記載の方法。
9. 前記予測エラーを計算するステップにおいて、前記予測ブロックの前記平均は、前記現在のブロックの近傍の平均と前記現在のブロックに関連付けられた参照ブロックの対応する近傍の平均との比に等しい初期重み付け予測パラメータによって重み付けされる、請求項４に記載の方法。
10. 複数のブロックに分割された画像のシーケンスを表す符号化されたデータのストリームを復号する復号器であって、
    現在のブロックに対して予測ブロックを決定する手段と、
    前記予測ブロックの平均を計算する手段と、
    前記ストリームから前記現在のブロックに関連するＤＣ係数およびＡＣ係数を再構築する手段と、
    前記予測ブロックの前記平均と前記ＤＣ係数とから前記現在のブロックの平均を計算する手段と、
    前記現在のブロックの前記平均と前記予測ブロックの前記平均との比である重み付け予測パラメータを計算する手段と、
    ＤＣ係数として零（ゼロ）と前記再構築されたＡＣ係数とを含む係数のブロックを残差ブロックに変換する手段と、
    前記残差ブロックと前記重み付け予測パラメータによって重み付けされた前記予測ブロックとを統合することによって前記現在のブロックを再構築する手段と、
    を備える、前記復号器。
11. 符号化されたデータのストリーム内の複数のブロックに分割された画像のシーケンスを符号化する符号化器であって、
    前記現在のブロックに対する予測ブロックを決定する手段と、
    前記予測ブロックの平均と前記現在のブロックの平均とを計算する手段と、
    前記現在のブロックの前記平均と前記予測ブロックの前記平均との間の予測エラーを計算する手段と、
    前記予測ブロックの前記平均および順次量子化され逆量子化された予測エラーから前記現在のブロックの補正された平均を計算する手段と、
    前記現在のブロックの前記補正された平均と前記予測ブロックの前記平均との比である重み付け予測パラメータを計算する手段と、
    前記重み付け予測パラメータによって重み付けされた前記予測ブロックを前記現在のブロックから抽出することによって残差ブロックを決定する手段と、
    前記残差ブロックをＤＣ係数およびＡＣ係数に変換し、該ＡＣ係数を量子化し、前記量子化された予測エラーおよび該量子化されたＡＣ係数をエントロピー符号化することによって前記符号化されたデータのストリーム内の前記残差ブロックを符号化する手段と、
    を備える、前記符号化器。

Images