JP5855013B2 - 映像符号化の方法及び装置 - Google Patents

Description

本発明は、映像符号化に関連する情報を符号化及び復号化する方法及び装置に関する。

映像符号化は、イントラモード及び／又はインターモードで行われる。イントラモードは映像フレーム内の冗長性を利用し、インターモードは映像フレーム間の冗長性を利用する。インターモードにおいて、画素ルマ（luma）／クロマ（chroma）予測値は、参照ピクチャと呼ばれる既に符号化／復号化されたピクチャから取得される。予測に使用される参照ピクチャの数に依存して、インターモードは、それぞれ１つ、２つ及び３つの参照ピクチャが使用される単一方向予測モード（又は単一方向モード）、双方向予測モード（Ｂモード）及び可能であれば３方向予測モード等に分類される。本明細書において、これらの種々のモード、すなわち、単一方向予測、双方向予測等を「参照モード」と呼ぶ。

Ｈ．２６４及びＭＰＥＧ４ Ｐａｒｔ１０としても既知である高度映像符号化（ＡＶＣ）は、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）及びＭＰＥＧ（Moving Picture Experts Group）の２Ｄ映像符号化に対する最新の規格である。ＡＶＣコーデックは、ハイブリッドコーデックであり、フレーム間の冗長性とフレーム内の冗長性とを除去することを利用する。

ＡＶＣにおいて、関連する参照ピクチャの標識（indicator）が特定の順序で配置される２つの参照リストが規定される。これらの標識は、ＡＶＣにおいて参照インデックスと表され、例えば（０，１，．．．，Ｎ）等の０〜Ｎの番号がつけられる。一般に、第１のリストＬｉｓｔ０（Ｌ０）は、主に過去の参照ピクチャ、すなわち時間に関して現在のピクチャに先行する参照ピクチャを管理し、第２のリストＬｉｓｔ１（Ｌ１）は、未来の参照ピクチャ、すなわち時間に関して現在のピクチャに後続する参照ピクチャを管理する。低遅延映像符号化の場合、Ｌ１も過去の参照ピクチャを管理する。各リストは、最大１５個の参照ピクチャの標識を保持できる。すなわち、インデックスの数ＮはＮ＝１４である。

更にＡＶＣにおいて、参照ピクチャリストの一方（例えば、単一方向予測のために）又は双方の参照ピクチャリスト（例えば、双方向予測のために）の選択を指定する標識又は参照モードインデックスは、マクロブロック（ＭＢ）モード／サブＭＢモードのパーティション構造と共に符号化され、その一方で、各リストにおける選択された参照ピクチャを指定する標識又は参照ピクチャインデックスは、独立した構文要素として符号化される。「パーティション構造」は、例えば１６×１６のＭＢの１６×１６、１６×８又は８×１６等のパーティションを示す。例えば１６×１６のパーティションは、一般に、単一方向予測が使用される場合は１つの動きベクトル（ＭＶ）及び１つの参照インデックスと関連付けられ、双方向予測が使用される場合は２つのＭＶ及び２つの参照インデックスと関連付けられる。ＭＶは、水平成分ＭＶｘと垂直成分ＭＶｙとを有し、現在のパーティションの画素が対応する参照ピクチャから生成される方法を記述する。

ピクチャ又はパーティションと関連付けられる参照ピクチャの数は、同一のパーティションと関連付けられた参照モード、すなわち単一方向予測か又は双方向予測かに依存する。復号器において参照情報を復号化する時、復号器がピクチャ又はパーティションを正確に復号化できるように、ピクチャ又はパーティションと関連付けられた参照モードインデックスと１つ以上の参照ピクチャインデックスとが正確に復号化される必要がある。参照モードインデックス、１つ以上の参照ピクチャインデックス、のいずれかが不正確に復号化されると、参照情報を誤って解釈してしまう可能性がある。

上述したＡＶＣの方法等の参照情報を符号化する現在の方法は、各ブロックと関連付けられた参照情報を搬送するために比較的多くのビットを必要とする。これは、符号化効率の点で非効率であると認識される。

参照情報、すなわち現在のフレームの予測に使用される１つ以上の参照ピクチャを識別する情報、の符号化効率の向上を可能にするのが望ましい。本発明の目的は、参照情報の符号化効率の向上を可能にすることである。本発明の更なる目的は、参照情報の改善された予測を可能にする方法及び装置を提供することである。これらの目的は、添付の独立請求項に係る方法及び装置により達成される。オプションの実施形態は、従属請求項により規定される。以下に説明する予測、符号化及び復号化は、同一のエンティティ又はノード内、あるいは異なるエンティティ又はノード内で行われる。

第１の態様によると、方法は映像復号化エンティティにおいて提供される。方法は、符号化ブロックＢ_ｅと、各々が１つ以上の参照ピクチャと関連付けられる符号化ブロックＢ_ｅの隣接ブロックの集合とを取得することを備える。方法は、隣接ブロックの集合と関連付けられた参照ピクチャのうち、複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを更に備える。方法は、例えば符号化ブロックＢ_ｅを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値ＣｐｒｅｄがＣに対応するかどうかを指定する指示（indication）を取得することを更に備える。予測値ＣｐｒｅｄがＣに対応することが示される場合、符号化ブロックＢ_ｅは予測値Ｃｐｒｅｄに基づいて復号化される。このように、画素の復号化ブロックＢが取得される。

第２の態様によると、装置は映像復号化エンティティにおいて提供される。装置は、符号化ブロックＢ_ｅと、各々が１つ以上の参照ピクチャと関連付けられる符号化ブロックＢ_ｅの隣接ブロックの集合とを取得するように構成された機能ユニットを備える。装置は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを更に備える。装置は、符号化ブロックＢ_ｅを復号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値ＣｐｒｅｄがＣに対応するかを指定する指示を取得するように更に構成された取得ユニット（９０４）である機能ユニットを更に備える。装置は、予測値ＣｐｒｅｄがＣに対応すると示される場合に予測値Ｃｐｒｅｄに基づいて符号化ブロックＢ_ｅを復号化して、画素の復号化ブロックＢを提供するように構成された機能ユニットを更に備える。

第３の態様によると、方法は映像符号化エンティティにおいて提供される。方法は、画素のブロックＢに隣接するブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定することを備える。方法は、ブロックＢを符号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択することを更に備える。方法は、予測値ＣｐｒｅｄがＣに対応するかを判定することと、前記判定の結果を指定する指示をブロックの復号器に提供することとを更に備える。

第４の態様によると、装置は映像符号化エンティティにおいて提供される。装置は、各隣接ブロックが前記隣接ブロックを符号化する時に使用された１つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックＢに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された機能ユニットを備える。装置は、ブロックＢを符号化する時に使用された参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された機能ユニットを更に備える。装置は、予測値ＣｐｒｅｄがＣに対応するかを判定するように更に構成される。装置は、前記判定の結果を指定する指示をブロックの復号器に提供するように構成された機能ユニットを更に備える。

上記方法及び装置は、符号化効率を向上するために使用される。符号化効率は、現在のフレームの予測に使用される１つ以上の参照ピクチャを識別するためにより少ないビットを使用することが可能になることにより向上される。更に上記方法及び装置は、誤り耐性の向上を可能にする。また、上記方法及び装置は、参照ピクチャインデックス予測を容易に実行できるようにする。

上記方法及び装置は、種々の実施形態において実現される。いくつかの実施形態において、隣接ブロックと関連付けられた参照ピクチャは、参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせにより識別される。他の実施形態において、隣接ブロックと関連付けられた参照ピクチャは、単一の構文要素により識別される。参照モードとインデックスとをまとめて単一の構文要素を形成することにより、参照インデックス番号の操作が容易になる。

いくつかの実施形態において、参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度は、隣接ブロックと関連付けられた参照ピクチャ及び／又は参照ピクチャの組み合わせのカウントを含む。参照ピクチャ又は参照ピクチャの組み合わせの種々の発生は、当該発生が関連付けられる隣接ブロックと関連付けられた変換係数の数等の種々の基準に基づいて種々の重みを割り当てられる。

ＣｐｒｅｄがＣに対応するかの指示は、ビットストリームにおける構文要素として信号伝送（signaling）されるか、あるいは暗黙的に（implicitly）信号伝送される。ＣｐｒｅｄがＣに対応しないことが示される場合、更なる情報が搬送され、これにより符号化ブロックＢ_ｅを復号化する時に使用する参照ピクチャが判定できる。

判定された参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度は、参照ピクチャ又は参照ピクチャの組み合わせの標識を可変長コードワードにマッピングするために使用される。ＣｐｒｅｄがＣに対応するかの指示は、そのようなコードワードであってもよい。ＣｐｒｅｄがＣに対応しないと示される時に必要とされる更なる情報は、そのようなコードワードを使用して信号伝送されてもよい。従って、最短のコードワードが最も確率の高いものに使用されることが保証される。

更にいくつかの実施形態において、マルチ予測と関連付けられたブロックの１つ以上のサブ領域は、暗黙的な情報に基づいて識別され、それらサブ領域において、マルチ予測参照ブロックの対応する各領域は相対的に低い相関を有する。識別されたサブ領域に対してマルチ予測の代わりに別の予測が使用されてもよい。その別の予測は、単一予測であるか又は重み付きマルチ予測であってもよい。その別の予測は、マルチ予測と関連付けられた参照ブロックのうち１つのみを使用する予測である。

上記実施形態は、主に方法に関して説明された。しかし、上記説明は、上述の特徴の実行を可能にするように構成された装置の実施形態を含むことを意図する。上記例示的な実施形態の種々の特徴は、要望、要求又は好みに応じて種々の方法で組み合わされてもよい。

更に別の態様によると、１つ以上の処理ユニットで実行された時に上述の方法のうちの１つに従って対応する手順を上述の装置のいずれかに実行させるコンピュータ可読コード手段を含むコンピュータプログラムが提供される。

更に別の態様によると、上記のコンピュータプログラムを含むコンピュータプログラム製品が提供される。

例示的な実施形態を使用し、添付の図面を参照して、本発明について更に詳細に説明する。
、 例示的な実施形態に従って、現在のブロックの隣接ブロックと関連付けられた参照モードと１つ以上の参照ピクチャとの種々の組み合わせの発生頻度を判定することを示す概略図である。 従来技術に係る種々のインデックス記号に対する標識（コードワード）の割り当てを示す概略図である。 例示的な一実施形態に係る標識（コードワード）の割り当てを示す概略図である。 例示的な一実施形態に係る参照情報に対するコードワードの割り当てを示す図である。 例示的な一実施形態に係る参照モードと１つ以上の参照ピクチャとに関連する情報の符号化の手順を示すフローチャートである。 例示的な一実施形態に係る映像符号化エンティティにおける参照モードと１つ以上の参照ピクチャとに関連する情報の符号化を行うように構成された装置を示すブロック図である。 例示的な一実施形態に係る参照モードと１つ以上の参照ピクチャとに関連する情報の復号化の手順を示すフローチャートである。 例示的な一実施形態に係る映像復号化エンティティにおける参照モードと１つ以上の参照ピクチャとに関連する情報の復号化を行うように構成された装置を示すブロック図である。 例示的な一実施形態に係る映像符号化／復号化エンティティにおける装置を示す概略図である。 従来技術に係る参照情報表現から例示的な一実施形態に係る参照情報表現への変換を示す概略図である。 例示的な一実施形態に係るＡＶＣ参照インデックス表現と参照インデックス表現との間の差分を示すテーブルである。 例示的な一実施形態に係る参照情報標識の割り当てを示す概略図である。 例示的な一実施形態に係る暗黙的な情報に基づく分割を示す概略図である。

既存の映像符号化技術に関する１つの問題は、満足のいく参照モード／参照ピクチャ予測方式が規定又は適用されていないことであることが理解される。例えばシーンカット／フェージング／フラッシュシナリオにおいて、例えば参照モードと参照ピクチャとの同一の組み合わせが隣接又は近接するＭＢの予測に使用されることは非常に一般的なことであることが理解される。更に、現在の符号化方法は、隣接するＭＢに対して使用された参照モード／参照ピクチャの間の相関を利用しないことが理解される。以前のソリューションにおいては、ＭＢ参照情報を識別する別個の成分は、個別に符号化され、映像復号器に搬送される。

本明細書内では、画素ブロックを符号化する時に使用された参照モード及び１つ以上の参照ピクチャの標識は合同符号化され、従って、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」又は「ＲＩＳインデックス」である単一の構文要素により表されると仮定する。「ＲＩＳ」は「参照インデックス信号伝送（Reference Index Signaling）」又は「参照情報標識信号伝送（Reference information Indicator Signaling）」を示し、これについては本説明中で以下に更に詳細に説明する。そのような合同符号化は、単一の参照ピクチャを使用する単一方向予測と、例えば双方向予測及び３方向予測等の複数の参照ピクチャを使用する予測と、の双方に対して参照情報予測を実行するのに役立つ可能性がある。尚、以下に説明する参照情報予測の手順は、例えばＡＶＣで使用される参照モードインデックス及び参照ピクチャリストインデックス等の最新の参照情報表現に対しても使用可能である。

本明細書内において、「ブロックＸの隣接ブロック」という用語は、ブロックＸに隣接するブロック、すなわちブロックＸに近接するか又はブロックＸの近傍に配置されるブロックを示すものとして使用される。更に本明細書内において、「ブロック」という用語は画素のユニットを表すものとして使用される。「参照ピクチャ」又は「参照ブロック」という用語は、先に符号化／復号化されたピクチャ、ブロック、ピクチャの領域又はエリアを参照するものとして使用され、ピクチャ、ブロック、領域等は、予測のために参照として使用される。

ＭＢレベルでの例示的な予測方式は以下のように説明できる。例示的な予測方式は、符号器及び復号器の双方に適用され、いかなるブロックサイズにも適用可能である。

現在のＭＢの符号化／復号化に関連して、符号器／復号器は、そのＭＢの「コンテキスト」とも呼ばれる周囲の符号化ＭＢの参照標識を解析するように構成される。これら周囲のブロックは、現在のブロックの「隣接ブロック」と示される。符号器／復号器は、候補標識又はインデックスの集合のうちの各々が隣接ブロックに現れる回数をカウントし、例えば事前定義された方式に従って、カウントが最も多いものを予測値又は推定値として選択する。選択された参照標識は、インター予測と関連しているはずである。選択された参照標識は、現在のＭＢを符号化／復号化する時に使用するのに適切である参照ピクチャ（及び参照モード）の予測値又は推定値に設定される。その予測値は、現在のＭＢ自体の解析ではなくＭＢの符号化／復号化隣接ブロックに関連する情報の解析により導出されることになる。符号器において、この例では予測値は現在のＭＢを符号化する時に使用する参照ピクチャ（及び参照モード）を選択するのに使用されないため、ＭＢはこの予測値の選択中に符号化されてもされなくてもよい。復号器において、この予測中において、現在のＭＢは符号化状態である。

図１は、例示的な隣接ブロック参照標識の解析及び推定値の選択を示す。図１に示す例において、現在のブロックの４つの隣接ブロックが考慮される。しかし、方法は、考慮される隣接ブロックの他の集合又は部分集合に対しても適用可能である。隣接ブロックの集合の一例は、例えば現在のブロックに対する左ブロック、左上ブロック及び上ブロックから構成される。集合の別の例は、左ブロック及び上ブロックのみを含む。図１において、現在のブロックの隣接ブロックは、各参照標識又はインデックス１、１、２及び０と関連付けられている。従って、参照標識「１」は、隣接ブロックに２回現れることにより、最も大きいカウント、すなわち最も高い発生頻度を有している。参照標識「１」は、現在のブロックを符号化する時又は予測が復号器において行われる時に使用されたか又は使用される参照ピクチャ（及びモード）の予測値又は推定値、現在のブロックを復号化する時に使用される参照ピクチャ（及びモード）の予測値を表すために選択される。

図２は、現在のブロックの隣接ブロックと関連付けられた参照標識をカウントすることにより現在のブロックに対する特定の参照標識の発生頻度を判定する別の例示的な実施形態を示す。ここで、現在のブロックは大きなＭＢであり、隣接ブロックのサイズは現在のブロックより小さい。いくつかの例において、当該ブロックのブロックサイズに関係なくコンテキストにおいて同数の隣接ブロックを有することは興味深い。

隣接ブロックで特定の参照標識の発生回数をカウントする場合、２つ以上の候補が同一の最大カウント数を有する可能性がある。これを図２に示す。図中、参照標識「１」及び「２」の双方が４回現れている。これは、例えば事前定義された順序付け方式に従って参照標識を選択することにより解決できる。例えば参照標識が図１及び図２に示すように数字０〜２で表される場合、最大の数字又は最小の数字により表された参照標識が予測値として選択される。

元の画素値のブロック、すなわち符号化される前の元のブロックと予測された画素値のブロックとの差分は、例えばＤＣＴ（離散コサイン変換）である変換符号化により符号化される。変換の出力は変換係数を含み、その後、変換係数は量子化される。ブロックと関連付けられた変換係数の数は、所定の量子化に対して予測ブロックと元のブロックとの間の一致の程度を反映する。相対的に少ない変換係数は、適切に一致していることを示す。その結果、殆ど変換係数を有さない隣接ブロックと関連付けられた参照標識は、より信頼性が高いと考えられる。

従って、発生のカウントは、例えば参照ブロックと関連付けられた符号化変換係数に従って重み付けされる。上述したように、わずかな符号化変換係数しか有さない隣接ブロックと関連付けられた参照インデックスは、多くの変換係数を有する隣接ブロックと関連付けられた参照インデックスより信頼できる予測値と考えられ、参照インデックス予測のためにより大きい重みを割り当てられる。別の例において、符号化係数を有するブロックは、符号化係数を有さないブロック、すなわちスキップされたブロックより大きい重みを有してもよい。別の例において、例えば大きいＭＢである大きいＭＶパーティションを有する隣接ブロックと関連付けられた参照インデックスは、より小さいＭＶパーティションを有する隣接ブロックより信頼できると考えられ、参照インデックス予測のためにより大きい重みが割り当てられる。２の倍数である重みを使用することは、複雑さの観点で有益である。重み付きカウントは、ルックアップテーブルを使用することによっても実現される。

いくつかの参照標識は、他の参照標識より互いにより強く関連する。例えば合同符号化された参照情報を使用する場合、参照フレームｒｅｆ０及びｒｅｆ１を使用する双方向予測を表す参照標識は、例えば参照フレームｒｅｆ２を使用する単一方向予測を表す参照標識よりも、ｒｅｆ０及びｒｅｆ１のうちの一方を使用する単一方向予測を表す参照標識とより強く関連する。従って、双方向予測標識をカウントする時、同一の参照フレームを使用する単一方向予測を表す対応する標識が、ある小さいカウント値、すなわち「完全な一致」に対するカウント値より小さいカウント値により更新されようにする。同様に、例えばｒｅｆ０及びｒｅｆ１を使用する単一方向予測を表す参照標識は、他の双方向予測参照標識よりも、ｒｅｆ０及びｒｅｆ１を使用する双方向予測を表す対応する参照標識と強く関連する。従って、単一方向参照標識をカウントする時、当該参照フレームが使用されるマルチ予測に対応する参照標識のカウントが、ある小さい値で更新される。

参照標識予測又は参照インデックス予測を導入する１つの利点は、ＶＬＣ（可変長符号化）テーブルのより効率的なマッピングを可能にすることである。予測とＶＬＣテーブルとを共に考慮することにより、より高い圧縮が実現可能である。例えば予測を使用しない（０、１、２）等の３つのインデックスの符号化を仮定すると、図３に示すような固定のＶＬＣテーブルが割り当てられる。インデックス記号「２」が最も頻繁に発生すると仮定すると、「２」が２ビットすなわち「１１」を含むコードワードを使用して符号化され、その一方でより頻度の低い「０」が１ビットすなわち「０」を使用して符号化されるため、図３に示すテーブルには改善の余地がある。

予測が加えられる場合、より適切なＶＬＣテーブル設計が可能である。そのような改善されたＶＬＣテーブル設計の一例を図４に示す。そのような改善されたＶＬＣ設計において、参照標識又はインデックス記号を符号化するのに使用されるビットは、予測及び従って現在のブロックのコンテキストに基づいて適応される。図４に示すテーブルにおいて、現在のブロックのコンテキストにおいて最も頻繁に発生する参照標識は、この例においては「０」である単一ビットのコードワードを使用して符号化される。２ビットから成るコードワード「１０」及び「１１」は、例えば２番目に高い発生頻度を有する参照標識と３番目に高い発生頻度を有する参照標識とを識別するようにそれぞれ規定される。参照標識の符号器及び復号器の双方は、予測の実行の方法及びコードワードの解釈の方法を認識しており且つそれらの方法について同意しているべきである。

上述した例は単なる一例であり、可能な設計はこれに限定されない。例えばより多くの参照標識又はインデックス記号が含まれる場合、参照標識又はインデックス記号に種々のＶＬＣテーブルを割り当てる種々の方法が存在する。方法の一例では、頻繁に発生する参照標識に小さいインデックス番号が割り当てられ、頻繁に発生しない参照標識に大きいインデックス番号が割り当てられ、且つ大きいインデックス番号より小さいインデックス番号の方が符号化するのに少ないビットを要するように、インデックスの発生の確率によりインデックス付けを変更することである。コンテキスト対応２値算術符号化（ＣＡＢＡＣ）は、参照標識又はインデックスを表すためのビットコストを、それら参照標識又はインデックスの確率に従って変動させることを達成するために使用され得る。種々のコンテキストのいくつかの例は、例えば上述したように、隣接ブロックと関連付けられた参照標識、参照標識のカウント数、又は参照標識の重み付きカウント数である。

別の方法は、参照標識が発生している時にそれら参照標識を表す数字又はインデックスのいわゆる「バブルソート」を採用することである。この例において、ＶＬＣバブルテーブルは、ＡＶＣ ＵＶＬＣ（汎用可変長コード）テーブルのようにコードワードの長さがＶＬＣテーブルインデックスの増加と共に増加する固定のＶＬＣテーブルであるが、ＶＬＣテーブルインデックスと、参照標識を表すインデックス記号又は番号との間のマッピングが適応的である。この適応は、バブルソートの機構のように、隣接する「マッピング位置」を入れ替えることにより行われる。そのような入れ替えの一例を図５に示す。図中、記号「Ａ」はＶＬＣテーブル５０４ａのインデックス４にマッピングされ、記号「Ｂ」はＶＬＣテーブルのインデックス５にマッピングされている。ここで、ＶＬＣインデックス５（記号Ｂ）が復号化されると仮定する。記号Ｂの復号化の後、テーブル５０２においてＶＬＣインデックス４であった記号Ａと記号Ｂとのインデックスマッピングにより、テーブル５０６に示すように、記号ＡがＶＬＣインデックス５にマッピングされ且つ記号ＢがＶＬＣインデックス４にマッピングされるように位置を入れ替える。この隣接インデックスの入れ替え手段により、ＶＬＣテーブルは、最終的に最も確率の高い記号が小さいＶＬＣインデックスに、従って短いコードワードにマッピングされるように適応され、向上した圧縮効率を与える。

参照標識予測の手順の符号化部分の一実施形態について、図６を参照して説明する。手順は、映像符号化エンティティにおいて実行される。映像符号化エンティティは、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。

手順は、符号化隣接ブロックの集合を有する画素のブロックＢに対して実行されるものとして説明される。ここで、各隣接ブロックは、その隣接ブロックを符号化する時に使用された１つ以上の参照ピクチャと関連付けられている。動作６０２において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度が判定される。

動作６０４において、隣接ブロックと関連付けられた参照ピクチャのうち、最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせが、ブロックＢを符号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために選択される。ブロックＢは、この段階で符号化されていてもよいし、あるいはこれから符号化されてもよい。

例えば説明する手順の一部と考えられても考えられなくてもよい動作６０６において、ブロックＢが参照ピクチャ又は参照ピクチャの組み合わせＣを使用して符号化されている。この場合、動作６０８において、予測値Ｃｐｒｅｄが、ブロックＢを符号化することにより符号化ブロックＢ_ｅを提供する際に使用されたＣに対応するかが判定される。この判定動作の結果は、動作６１０又は６１２においてブロックＢ_ｅの復号器に提供される。例えばＣｐｒｅｄがＣに対応すると判定された場合、ビットストリームの所定のビットが「０」に設定され、ＣｐｒｅｄがＣに対応しないと判定される場合、その所定のビットが「１」に設定される。更にＣｐｒｅｄがＣに対応しないと判定される場合には、動作６１４において、Ｃを識別する更なる情報がＢ_ｅの復号器に提供される。

以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置７００の一例について図７を参照して説明する。装置は、映像符号化エンティティ７０１に配置されているものとして示されている。映像符号化エンティティ７０１は、映像符号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像符号器に加えて更なる機能ユニットを含むエンティティである。装置７００は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット７０２を介して他のエンティティと通信する。符号化される非符号化映像は、取得ユニット７０４により通信ユニット７０２又はメモリから取得され、映像のブロックは、符号化ユニット７１２において符号化されることになる。ここで、機能ユニット７１２は従来の方法を使用する。

装置７００は、判定ユニット７０６を含む。判定ユニット７０６は、各々が隣接ブロックを符号化する時に使用される１つ以上の参照ピクチャと関連付けられている符号化隣接ブロックの集合を有し且つ取得ユニット７０４から受信されたブロックＢに対して、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成されている。装置７００は、選択ユニット７０８を更に含む。選択ユニット７０８は、ブロックＢを符号化することにより符号化ブロックＢ_ｅを提供する時に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャのうち判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成される。

判定ユニット７０６は、予測値ＣｐｒｅｄがＣに対応するかを判定するように更に構成される。装置７００は、前記判定の結果を特定する指示をブロックＢ_ｅの復号器に提供するように構成された提供ユニット７１０を更に含む。

参照標識予測の手順の復号化部分の一実施形態について、図８を参照して説明する。手順は、映像復号化エンティティにおいて実行される。映像復号化エンティティは、映像復号器であるか、あるいは映像復号器に加えて更なる機能ユニットを含むエンティティである。符号化ブロックＢ_ｅ及びＢ_ｅの隣接ブロックの集合は、動作８０２において取得される。ブロックＢ_ｅは、ある時点において例えば上述した方法で映像符号器により符号化されており、例えば適切な伝送プロトコルを使用する無線及び／又は有線伝送を使用して復号化エンティティに提供される。各隣接ブロックは、符号器においてブロックを符号化する時に使用された１つ以上の参照ピクチャ又はフレームと関連付けられている。

動作８０４において、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャの発生頻度が判定される。これは、判定されるピクチャの組み合わせの発生頻度、例えば双方向予測又は３方向予測に使用される特定の参照ピクチャの組み合わせの発生頻度となる。参照ピクチャは、参照モードインデックス等の参照モードパラメータと隣接ブロックに関連付けられた参照ピクチャインデックス等の１つ以上の参照ピクチャパラメータとの組み合わせにより表されるか又は識別される。更に参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせは、例えば上述したように「参照標識」、「参照インデックス」又は「参照インデックス記号」で示される単一の構文要素により表されるか又は識別されるように合同符号化されている。

参照標識により表される可能性が高い参照モードパラメータ及び１つ以上の参照ピクチャパラメータにより表される各参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定すると、符号器においてブロックＢ_ｅを符号化する時に使用され、従ってブロックＢ_ｅを復号化する時に使用される１つ以上の参照ピクチャ又はフレームＣの予測値Ｃｐｒｅｄとするために又はそれを表すために、最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせの１つが選択される。

更に予測値ＣｐｒｅｄがブロックＢｅを復号化する時に使用される実際の１つ以上の参照ピクチャＣに対応するかどうかを指定する指示が動作８０８において取得される。なお、動作８０８は、動作８０２〜８０６の前、それら動作中又はそれら動作後に実行されてもよい。指示は、例えばビットストリーム中の１ビットコードワード又はフラグとして取得されてもよい。ＣｐｒｅｄがＣに対応することは、例えば事前定義された位置にコードワード「０」が到達すること（例えば、図４）により示されるが、そのことが指定された場合、動作８１２において、符号化ブロックＢ_ｅは予測値Ｃｐｒｅｄに基づいて復号化される。すなわち、Ｂ_ｅは、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有し且つ予測値Ｃｐｒｅｄとするために選択される１つ以上の参照ピクチャを使用して復号化される。Ｂ_ｅを復号化することにより、画素の復号化ブロックＢは取得又は提供される。

ＣｐｒｅｄがＣに対応するかを指定する指示は、更に暗黙的である可能性があり、例えば「１」をカウンタに加算するようなある動作の実行を省略することにより又はフラグの切り替えをしないことにより示される。

他方、予測値ＣｐｒｅｄがＣに対応しないことが示される場合、符号化ブロックＢ_ｅを復号化する時に使用する参照ピクチャを判定するために、動作８１４において更なる情報が取得される。適切な１つ以上の参照ピクチャを識別する更なる情報を取得すると、動作８１６において、ブロックＢ_ｅは前記情報を使用して復号化される。

以下において、上述した参照標識予測の手順の実行を可能にするように構成された装置９００の一例について図９を参照して説明する。装置は、映像復号化エンティティ９０１に配置されているものとして示される。映像復号化エンティティ９０１は、映像復号器であるか、あるいは例えばコンピュータ、移動端末又は映像専用デバイス等の映像復号器に加えて更なる機能ユニットを含むエンティティである。装置９００は、あらゆる種類の有線又は無線通信のための従来の手段を含むと考えられる通信ユニット９０２を介して他のエンティティと通信するように更に示される。

装置９００は、復号化される符号化ブロックＢ_ｅと符号化ブロックＢ_ｅの隣接ブロックの集合とを取得するように構成された取得ユニット９０４を含む。ここで、各隣接ブロックは、１つ以上の参照ピクチャ、すなわちブロックを符号化する時に使用され且つブロックを復号化する時にも使用されるピクチャと関連付けられる。隣接ブロックと関連付けられた参照ピクチャは、ブロックと関連付けられた参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせに基づいて、あるいは例えばブロックと関連付けられた単一の構文要素に基づいて識別される。取得ユニット９０４は、通信ユニット９０２の一部と考えられてもよい。

装置９００は、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット９０６を更に含む。例えば参照ピクチャＡ及びＢの双方と関連付けられるか、Ｄのみと関連付けられるか、あるいはＡのみと関連付けられる隣接ブロックの数をそれぞれカウントすることにより判定する。これは、隣接ブロックのうち特定の参照ピクチャ又は参照ピクチャの組み合わせとの関連付けの発生回数をカウントすること、あるいは隣接ブロックの集合のうち例えば参照ピクチャの発生回数をカウントすることと言うこともできる。

関連付けられた種々の参照ピクチャ及び組み合わせは、種々の重みを割り当てられる。例えば参照ピクチャＡ及びＢの組み合わせ（との関連付け）の発生回数をカウントする場合、参照ピクチャＢのみとの関連付けの発生は小さい重みを割り当てられるため、「Ａ＋Ｂ」の発生の合計にあまり寄与しない。更に、最初の発生時に参照ピクチャＤが例えば少ない数の変換係数を有するブロックと関連付けられる場合、そのときの参照ピクチャＤとの関連付けの１回の発生は、参照ピクチャＤとの関連付けの別の発生より大きい重みを割り当てられる。

装置９００は、選択ユニット９０８を更に含む。選択ユニット９０８は、符号化ブロックＢ_ｅを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャ又は参照ピクチャの組み合わせのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成されている。同一の発生頻度を共有する参照ピクチャ又は参照ピクチャの組み合わせがいくつか存在する可能性がある。そのような状況においては、事前定義済みの方式又は参照ピクチャの選択方法を規定する規則に基づいて、それらピクチャ又は組み合わせの１つが選択されることになる。

取得ユニット９０４は、予測値ＣｐｒｅｄがＣに対応するかを指定する指示を取得するように更に構成される。例えばＣｐｒｅｄがＣに対応する場合、ビットストリームから取得された事前定義済みビットは「０」であり、ＣｐｒｅｄがＣに対応しない場合、事前定義済みビットは「１」である。装置９００は、予測値ＣｐｒｅｄがＣに対応することが示される場合に、予測値Ｃｐｒｅｄに基づいて符号化ブロックＢ_ｅを復号化するように構成された復号化ユニット９１０を更に含む。復号化ユニット９１０は、画素の復号化ブロックＢを提供し、例えばそれは格納されるか又は表示される。

装置９００は、予測値ＣｐｒｅｄがＣに対応しないことが示される場合、すなわち本当のＣを識別するために更なる情報が必要とされる場合、符号化ブロックＢ_ｅを復号化する時に使用する参照ピクチャを判定するために更なる情報を取得するように更に構成される。そのような情報は、ＶＬＣコードワードの形式で入手される。

図１０は、映像復号化エンティティにおける装置１０００の一実施形態を概略的に示す。これは、図９に示した映像復号化エンティティにおける参照標識予測のための装置の一実施形態を開示する別の方法である。例えばＤＳＰ（デジタル信号プロセッサ）を有する処理ユニット１００６が装置１０００に含まれる。処理ユニット１００６は、本明細書で説明される手順の種々の動作を実行するための単一のユニットであるか又は複数のユニットである。装置１０００は、他のエンティティから信号を受信する入力ユニット１００２と、他のエンティティに信号を提供する出力ユニット１００４とを更に含む。入力ユニット１００２及び出力ユニット１００４は、統合エンティティとして構成されてもよい。

更に装置１０００は、例えばＥＥＰＲＯＭ（電気的消去可能プログラマブル読み出し専用メモリ）、フラッシュメモリ及びハードドライブである不揮発性メモリの形態の少なくとも１つのコンピュータプログラム製品１００８を含む。コンピュータプログラム製品１００８は、装置１０００の処理ユニット１００６で実行された時に図８により上述した手順の動作を装置及び／又は映像復号化エンティティに実行させるコード手段を含むコンピュータプログラム１０１０を含む。

コンピュータプログラム１０１０は、コンピュータプログラムモジュールに構造化されたコンピュータプログラムコードとして構成される。従って、説明される実施形態において、装置１０００のコンピュータプログラム１０１０のコード手段は、例えばメモリである記憶装置から又はデータ送信エンティティから発信されるビットストリームから、符号化ブロックＢ_ｅと、符号化ブロックＢ_ｅの隣接ブロックの集合と、を取得するための取得モジュール１０１０ａを含む。また、取得モジュール１０１０ａは、比較の結果の指示を取得する。コンピュータプログラムは、隣接ブロックの集合と関連付けられた参照ピクチャのうちの複数の参照ピクチャ又は参照ピクチャの組み合わせの発生頻度を判定するための判定モジュール１０１０ｂを更に含む。

コンピュータプログラム１０１０は、符号化ブロックＢ_ｅを復号化する時に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、隣接ブロックと関連付けられた参照ピクチャのうち最大発生頻度を有すると判定された参照ピクチャ又は参照ピクチャの組み合わせを選択するための選択モジュール１０１０ｃを更に含む。コンピュータプログラム１０１０は、予測値ＣｐｒｅｄがＣに対応することが示される場合に予測値Ｃｐｒｅｄに基づいて符号化ブロックＢ_ｅを復号化するための復号化モジュール１０１０ｄを更に含む。

モジュール１０１０ａ〜１０１０ｄは、実質的に図８に示すフローの動作を実行し、図９に示す映像復号化エンティティの装置をエミュレートする。換言すると、種々のモジュール１０１０ａ〜１０１０ｄが処理ユニット１００６で実行される場合、それらモジュールは図９のユニット９０４〜９１０に対応する。

同様に、図７に示した装置に対応する代替例も可能である。

図１０と共に上述した実施形態におけるコード手段は、処理ユニットにおいて実行された時に上記図面と共に上述した動作を装置及び／又は映像復号化エンティティに実行させるコンピュータプログラムモジュールとして実現されるが、少なくとも１つのコード手段は、別の実施形態において少なくとも部分的にハードウェア回路として実現されてもよい。

プロセッサは、単一のＣＰＵ（中央処理装置）であるが、２つ以上の処理ユニットを更に含むこともできる。例えばプロセッサは、汎用マイクロプロセッサ、命令セットプロセッサ及び／又は関連チップセット及び／又はＡＳＩＣ（特定用途向け集積回路）等の専用マイクロプロセッサを含んでもよい。プロセッサは、例えばキャッシュの目的でボードメモリを更に含んでもよい。コンピュータプログラムは、プロセッサに接続されたコンピュータプログラム製品により保持されてもよい。コンピュータプログラム製品は、コンピュータプログラムが格納されるコンピュータ可読媒体を含む。例えばコンピュータプログラム製品は、フラッシュメモリ、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）又はＥＥＰＲＯＭであってもよく、別の実施形態において、上述したコンピュータプログラムモジュールは、復号化エンティティ内においてメモリの形態の種々のコンピュータプログラム製品に分散可能である。

上述したように、本明細書において、画素ブロックを符号化する時に使用された参照モード及び１つ以上の参照ピクチャの標識が合同符号化されると仮定されるため、符号化ブロックを復号化するのに必要な全ての参照情報は、例えば「参照標識」、「参照インデックス」、「参照インデックス記号」、又は「ＲＩＳインデックス」が示される単一の構文要素により表される。次に、この合同符号化について更に説明する。合同符号化は、インター予測符号化及び復号化に使用される参照情報、すなわち参照モード及び参照ピクチャを表し且つ搬送するための手順である。この手順は、参照インデックス信号伝送又は参照情報標識信号伝送（ＲＩＳ）と呼ばれることもある。

ＲＩＳを使用する場合、例えばＡＶＣのようにパーティション構造の標識、すなわちＭＢ／サブＭＢモードと密接に関連する参照モードの標識を符号化し、参照ピクチャの標識を別個に符号化する代わりに、符号化ブロックと関連付けられた参照モードの標識及び参照ピクチャの標識が「１つの場所に共にまとめられる」、すなわち合同符号化される。参照モード及び参照ピクチャの標識、すなわち参照情報を合同符号化した結果、単一の構文要素又は標識は、満足のいく方法で符号化ブロックを復号化するために必要とされる参照モード及び参照ピクチャに関する全ての情報を表す。すなわち、この単一の構文要素が符号化ブロックに対して与えられると、復号器はブロックを復号化するのに必要とされる参照ピクチャを識別できる。「構文要素」は、例えば「構文単位」、「合同指示単位」又は「合同識別単位」とも表される。

そのような構文要素を使用することにより、構文要素により識別される参照情報に対する誤り耐性が向上する。更にそのような構文要素を使用することにより、参照インデックス及び参照モードのある組合せの効率的な符号化を可能にすることにより他の組み合わせより確率が高いそれらの組み合わせを利用できるようになる。例えばより短いコードワードは、より確率の高い参照インデックス及び参照モードの組み合わせに割り当てられる。

ＲＩＳを記述する１つの方法は、例えば２つの独立したリストを使用する参照情報のＡＶＣ表現等の従来の表現からＲＩＳに従う参照情報の例示的な表現への「変換」又はマッピングを記述することである。そのようなＲＩＳ表現への変換は、図１１に示すように基本的に３つのステップで行われる。

第１のステップ１１０２は、複数のインデックスリストから１つの単一の参照インデックスリストを形成することである。例えばＡＶＣのように２つの参照インデックスリストを管理する代わりに、全ての参照ピクチャインデックスは、ＡＶＣの２つのリストの代わりとして又は補足として単一の合同リストにある特定の順番でソートされる。これを図１１に示す。図中、ピクチャ参照インデックスリストＬ０及びＬ１は、インタリーブされて新しいリストＬ_ＲＩＳにマージされるか又は多重化される。更に第２のステップ１１０４において、インデックス番号は、新しいリストＬ_ＲＩＳにおいて連続した順番、すなわち０〜５に従うように再割り当てされる。

ステップ１１０４の後のリストＬ_ＲＩＳ中のインデックス番号又はエンティティは、参照モード（逆方向又は順方向の単一方向予測）及び参照ピクチャの双方に関する情報を表す。Ｌ_ＲＩＳのエントリに対するインデックスは、例えば「ＲＩＳインデックス」又は「ＲＩＳパラメータ」で示される。この例におけるステップ１１０４の後のＬ_ＲＩＳのＲＩＳインデックス番号０〜５は、４つの過去のピクチャ（元のリストＬ０＝（０，１，２，３））及び２つの未来のピクチャ（元のリストＬ１＝（０，１））を表す。

更に、双方向予測を表す１つ以上のリストエントリは、例えば挿入又は追記することによりＬ_ＲＩＳに追加される。従って、双方向予測を表すエントリを示すＲＩＳインデックスは、単一の参照ピクチャを指し示すのではなく、２つの参照ピクチャを指し示す。ＲＩＳインデックスは、参照モードと１つ以上の参照ピクチャとの組み合わせを識別できる。

その結果、最後のステップ１１０６において、２つの参照ピクチャが予測に使用される双方向予測モードに関連するエントリはＬ_ＲＩＳに連続して追記され、ＲＩＳインデックスにより示されるか又は表される。例えば、ＲＩＳインデックス番号７を有するエントリは、現在のピクチャが双方向予測参照としてピクチャ番号０及びピクチャ番号１を使用していることを信号伝送するように又は示すように設定される。従って、この情報はＲＩＳインデックス７に固有のものである。インデックス番号８は、現在のピクチャが双方向予測参照としてピクチャ番号０及びピクチャ番号２を使用していることを示すように同様に設定される。同様に、リストＬ_ＲＩＳは３方向予測を表すエントリにより更に拡張されてもよく、３つの参照ピクチャ等を識別する。

あるいは、ステップ１１０４及び１１０６は、双方向予測モードに関連するエントリが最初に例えば挿入又は追記されることにより追加され且つインデックス番号がそれに従って再割り当てされるように、逆の順番で実行されてもよい。上述したように、双方向予測モードに関連するエントリは、例えば単一方向予測に関連するエントリの間に挿入可能であり、これは、インデックス番号の再割り当てがステップ１１０４の補足として又は代わりとして挿入後に実行されていることを必要とする。この例において、マッピングは、種々のエントリのインデックスが参照モード及び１つ以上の参照ピクチャを表す単一の参照リストにより表される。尚、これは単なるオプションの一例であり、マッピングはいくつかのステップを含み、例示的な種類の明示的なリスト又はレコードはマッピングを行うのに必要とされない。

一実施形態に係るＡＶＣ参照インデックス表現とＲＩＳインデックス表現との差分の一例を図１２のテーブルに示す。この例において、現在のピクチャを符号化するために利用可能な参照ピクチャが４つ存在すると仮定する。そのうち２つの参照ピクチャは過去の参照ピクチャであり、２つの参照ピクチャは未来の参照ピクチャである。このＲＩＳ表現の例において、インデックス０、１、３及び４は、４つの参照ピクチャのそれぞれからの単一方向予測を示すように設定される。インデックス２及び５は、４つの参照ピクチャの各対からの双方向予測を示すように設定される。尚、パーティションに関連する情報が例えば「ＩＮＴＥＲ＿１６×１６＿Ｌ０」等の参照モードインデックスと共に符号化されるため、参照インデックスのＡＶＣ信号伝送はその情報を含む。しかし、これは図１２には示さない。

図１２のテーブルに示す例において、双方向予測を示すか又は表すＲＩＳインデックスの一部は、「最近接する」単一方向予測ＲＩＳインデックスの直後に配置される。すなわち、単一方向予測を表すインデックスとインタリーブされる。このＲＩＳインデックス表現を図１３に更に示す。図１３は、いわゆる７Ｂ階層のＧＯＰ（7B hierarchical Group Of Pictures（ＢＧＯＰ））を示す。図中、いわゆる「現在のフレーム」すなわち符号化されるフレームは、７Ｂ ＧＯＰにおいてフレーム３である。図１３に示すＲＩＳインデックスは、図１２のテーブルのＲＩＳインデックス０〜７に対応する。別のＲＩＳ表現は、図１１に示す例のように、ＲＩＳインデックス０〜３が単一方向予測を示すようにし、後続するＲＩＳインデックスが双方向予測を示すようにする。

例えばＨ．２６４を使用する最近の技術において、２つのＭＶ／参照ピクチャ、ブロック又はエリアを使用する双方向予測ブロックの生成は、２つの参照エリアにわたる平均化を含む。ＭＶが参照エリアにおけるサブ画素の位置を指し示す場合、サブ画素の位置の画素値は平均化の前にまず生成される必要がある。サブ画素の位置の画素値の生成は「空間フィルタリング」と呼ばれる。すなわち、生成処理は各参照エリアの空間フィルタリングを含む。従って、２つの参照エリアを使用して双方向予測ブロックを生成する最新の処理は、第１のエリアの空間フィルタリングと、第２のエリアの空間フィルタリングと、最後に行われる、フィルタリングされたエリアにわたる平均化と、を含む。空間フィルタリングは、計算の複雑さに関して相対的に高い要求を有する。

計算の複雑さを軽減できることが理解される。これについて以下に説明する。複雑さを軽減するために、最初にブロックは、例えば２つの参照ブロックを共に追加することにより（空間フィルタリングを実行せずに）整数動きに基づいて構築される。この追加は、計算の複雑さに関して相対的に安価な動作である。結果として得られるブロックは、例えば１／２画素又は１／４画素解像度を取得するために補間等のフィルタリングが行われる。サブ画素の調整は、１つのＭＶに従って、あるいは例えば別個に符号化／復号化された追加の情報に基づいて行われる。

ブロックが２つ以上のＭＶ及び参照インデックスと関連付けられる場合、これは本明細書で「マルチ予測」と呼ばれ、マルチ予測の各単一方向予測成分が判定される。単一方向予測は、例えばイントラ予測でもあり得るので、「単一予測」と呼ばれてもよい。分割情報は、それら単一方向予測間の絶対差分に基づいて導出されることが理解される。分割情報は、細粒度分割情報を搬送する時にオーバヘッドを回避するために符号器及び復号器の双方において導出される。

単一方向予測間の絶対差分が相対的に大きい領域において、単一の単一方向予測又は特定の双方向予測が使用される。単一の単一方向予測は、双方向予測（又はマルチ予測）の単一方向予測成分の１つに対してビットストリームにおいて示される参照インデックス及びＭＶに従って行われる。ブロックの、単一方向予測間の絶対差分が相対的に小さい他の領域において、そのブロックに対するビットストリームにおいて示される双方向予測が使用される。領域に対して単一の双方向予測／特定の双方向予測を使用するか又はビットストリームで示される双方向予測を使用するかの判定は、例えば領域と関連付けられた単一方向予測間の絶対差分と事前定義済み閾値との比較に基づく。

２つのＭＶ及び２つの参照エリアと関連付けられた双方向予測ブロックを仮定する。従来、この段階において、このブロックは更に分割されないが符号化される。しかし、絶対差分又は「差分マップ」を解析することから取得される「暗黙的」な情報は、符号器及び復号器の双方においてブロックを更なるパーティションに分割するために使用されることが理解される。

２つの参照エリア又は予測値の絶対差分が算出される場合、差分マップには、大きい絶対値を有するいくつかの領域と小さい絶対値を有するいくつかの領域とがある。ある領域における小さい値の絶対差分は、同一のオブジェクトが双方の参照エリアのその領域に描かれることを表す。種々のオブジェクトが各参照エリアの領域に描かれる場合、絶対差分は相対的に大きい。同一のオブジェクトが各参照エリアの対応する領域に描かれる場合、それら領域を平均するのが好適であり適切である。対応する領域において異なるオブジェクトが描かれる場合、それらを平均することは無駄である。

例えば、閾値が規定される。ここで、閾値より大きい差分値は「異なるオブジェクト領域」を表し、閾値より小さい差分値は「同一のオブジェクト領域」を表す。ブロックは、事前定義された方式でそれら領域に従って分割される。上述したように、分割は、暗黙的な情報に基づいて、すなわち分割を記述する明示的な信号伝送なしで行われる。これの別の利点は、「正方形以外の分割」がサポートされることである。例えば半球が１つのブロックに描かれる場合、ブロックの分割は球の外形又は輪郭の周囲で非常に正確に行われる。

符号器は、上述した分割方法が使用されるべきであるかを復号器に信号伝送する。分割方法が使用されるべきであると信号伝送した場合、符号器は、オプションとして、相対的に大きな絶対差分値を有する領域に対して、使用する単一方向予測又は使用する特定の双方向予測を信号伝送する。例えば、重み付き双方向予測（平均以外であり且つＤＣオフセットを含む可能性がある）が使用される。特定の双方向予測値を生成できるローカルパラメータを判定するために追加の情報を符号化／復号化する必要がある場合がある。取得された分割情報は、分割情報の予測に使用され、符号器は、復号器により復号化され使用される予測パーティションと比較される変更を符号化する。参照エリア間の差分に基づいて分割情報を導出することにより、分割方法の大まかな指示を与える。予測された分割情報の改良点を送出することによる更なる洗練も可能である。

分割情報の取得方法の一例は、ブロックを例えば４つの同一サイズのサブブロックに分割することである。その後、サブブロックの正規化されたＳＡＤ（差分絶対値和（算出された画素数により除算される））が例えば４倍大きい「親」ブロックの正規化されたＳＡＤ以上である場合、最大の正規化されたＳＡＤを有するサブブロックが、さらに４つの同一サイズの領域に繰り返し分割される。正規化されたＳＡＤは、画素毎のＳＡＤ又は特定のサブブロックサイズ毎のＳＡＤを示す。ＳＡＤの代わりに、画素差分の他の計測値が使用可能である。一例は、例えばエッジ／線である強力な局所画像構造に対してより大きい重みを有する計測値である。更に分割されない残りのサブブロックは、例えば双方向予測又はマルチ予測の変形例を使用すべきであるパーティションに設定される。

図１４は、分割方法の例示的な一実施形態を示す。左側のブロック１４０２：ａは双方向予測される。ＳＡＤの算出が行われ、大きいＳＡＤのエリアが識別及び選択され、それに応じて処理される。この例において、大きいＳＡＤのエリアは、逆方向ＭＶのみを使用する単一方向予測に変更することにより処理される。従って、元のブロックは２つのパーティションに分割される。一方のパーティションは、ビットストリームにおいて示された双方向予測を使用し、他方のパーティション（円を含むものとして示される）は単一方向予測（双方向予測の一方の成分）を使用する。レート歪み最適化（ＲＤＯ）は、最適な単一方向予測（双方向予測の成分）を選択するために使用される。

分割情報の取得方法の別の例は、例えば双方向予測ブロックを複数の同一サイズのサブブロックに分割し、当該サブブロックサイズの最大ＳＡＤを判定し、その最大値に「近い」、例えばその最大値から特定の範囲内のＳＡＤを有するサブブロックを選択し、変更された双方向予測又は単一方向予測を使用する領域の一部とすることである。

この方法は、分割に加えて、例えば双方向予測モードが使用される場合に上述したＲＩＳインデックス又は最新の参照インデックスを判定するために使用される。例えば領域に対する平滑差分マップは、その領域が「双方向ＲＩＳインデックス」と関連付けられる可能性が高いことを提案し、そのように解釈される。更に方法は、別の予測として又は上述した参照標識インデックス予測と組み合わせて使用可能である。最小ＳＡＤを有する組み合わせを選択するために双方向予測の可能な候補間のＳＡＤに基づいて符号器及び復号器の双方においてその選択が行われ得る。

尚、分割方法に基づく上述のマルチ予測により、ブロックに基づく分割を導出する代わりに符号器及び復号器の双方において他の種類の分割が導出される。これは、例えばエッジ検出及び／又はセグメンテーション等の非線形画像処理方法に従う２つ以上のパーティションへのブロックの線形（例えば、水平方向、垂直方向又は対角線方向）又は非線形分割を含む。例えばマルチ予測差分信号は、エッジ検出又は領域成長等の画像セグメンテーション方法に従ってセグメンテーションされ、ブロックパーティションはセグメンテーションされた差分信号に基づいて導出される。

サブパーティション数は、画像セグメンテーション等の画像処理方法により導出されるか、あるいは符号器から復号器に信号伝送される。線形又は非線形分割の代わりに、画素に基づく分割が適用可能である。一変形例は、使用される分割方法を符号器から復号器に信号伝送することである。別の変形例は、分割方法が他の信号伝送手段により符号器と復号器との間で同意されることである。マルチ予測を使用した方法の利点は、分割情報が符号器及び復号器で既に利用可能である情報に基づいて導出されること、すなわち分割情報が明示的に信号伝送される必要がないため符号化に使用されるビット数が減少されることである。

尚、マルチ予測を使用した分割に従って、双方向予測から、その双方向予測に使用されるＭＶから導出された単一方向ＭＶを使用する単一方向予測に切り替える代わりに、サブパーティションに対する追加のＭＶ及び／又は予測モード（単一方向インターピクチャ予測、双方向インターピクチャ予測又はイントラピクチャ予測）を信号伝送できる。換言すると、ブロックのパーティションの数及び形状は、明示的に信号化されてもよいし、且つ／又は、例えばセグメンテーション方法に基づいて暗黙的な情報から導出されてもよい。更にＭＶ及び／又は予測モードは、結果として得られるサブパーティションの一部又は全てに対して信号化される。

上記で提案されたような手順について例として提供された特定の実施形態を参照して説明したが、一般に説明は、発明の概念を示すことのみを意図し、提案された方法及び装置の範囲を限定するものとして解釈されるべきではなく、それら方法及び装置は添付の特許請求の範囲により規定される。一般的に説明される一方で、方法及び装置は、例えばＧＳＭ／ＥＤＧＥ、ＷＣＤＭＡ又はＬＴＥ、あるいは例えばＤＶＢ−Ｓ、ＤＶＢ−Ｔ又はＤＶＢ−Ｃである衛星、地上波又はケーブルを介する放送技術等の一般に利用可能な通信技術を使用して種々の通信システムに対して適用可能であり、またメモリへの映像の記憶、メモリからの映像の検索に対しても適用可能である。

対話ユニット又はモジュールの選択、並びにユニットの名前付けは単に例示するためのものであり、上述した方法のいずれかを実行するのに適した映像処理エンティティは、提案された処理動作を実行できるように複数の別の方法で構成されてもよいことが理解される。

尚、本開示において説明したユニット又はモジュールは、論理エンティティと考えられ、独立した物理エンティティである必要はない。
略語
ＡＶＣ 高度映像符号化
ＣＡＢＡＣ コンテキスト対応２値算術符号化
ＧＯＰ Group Of Pictures
ＭＢ マクロブロック
ＭＶ 動きベクトル
ＲＩＳ 参照インデックス信号伝送（Reference Index Signaling）／参照情報標識信号伝送（Reference information Indicator Signaling）
ＳＡＤ 差分絶対値和
ＶＬＣ 可変長符号化

Claims (18)

1. 映像復号化エンティティにおける方法であって、
   符号化ブロックＢ_ｅと、各々が１つ以上の参照ピクチャと関連付けられる前記符号化ブロックＢ_ｅの隣接ブロックの集合とを取得する工程（８０２）と、
   前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定する工程（８０４）と、
   前記符号化ブロックＢ_ｅを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程（８０６）と、
   前記予測値Ｃｐｒｅｄが、前記符号化ブロックＢ _ｅ を復号化するときに使用されるべき参照ピクチャまたは参照ピクチャの組み合わせＣに対応するかどうかを指定する指示を取得する工程（８０８）と、
   前記予測値Ｃｐｒｅｄが前記参照ピクチャまたは参照ピクチャの組み合わせＣに対応することが示される場合に、前記予測値Ｃｐｒｅｄに基づいて前記符号化ブロックＢ_ｅを復号化して、画素の復号化ブロックＢを提供する工程（８１２）と、
   を有することを特徴とする方法。
2. 各隣接ブロックと関連付けられた前記１つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項１に記載の方法。
3. 各隣接ブロックは、前記隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別する１つの構文要素と関連付けられることを特徴とする請求項１又は２に記載の方法。
4. 前記参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び／又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項１から３のいずれか１項に記載の方法。
5. 映像復号化エンティティにおける装置（９００）であって、
   符号化ブロックＢ_ｅと、各々が１つ以上の参照ピクチャと関連付けられる前記符号化ブロックＢ_ｅの隣接ブロックの集合とを取得するように構成された取得ユニット（９０４）と、
   前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット（９０６）と、
   前記符号化ブロックＢ_ｅを復号化する時に使用される前記参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット（９０８）と、
   前記予測値Ｃｐｒｅｄが、前記符号化ブロックＢ_ｅを復号化するときに使用されるべき参照ピクチャ又は参照ピクチャの組み合わせＣに対応するかどうかを指定する指示を取得するように更に構成された前記取得ユニット（９０４）と、
   前記予測値Ｃｐｒｅｄが前記参照ピクチャ又は参照ピクチャの組み合わせＣに対応することが示される場合に、前記予測値Ｃｐｒｅｄに基づいて前記符号化ブロックＢ_ｅを復号化して、画素の復号化ブロックＢを提供するように構成された復号化ユニット（９１０）と、を備えることを特徴とする装置（９００）。
6. 前記隣接ブロックと関連付けられた参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせに基づいて各隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項５に記載の装置。
7. 各隣接ブロックが、前記隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別する１つの構文要素と関連付けられるように更に構成されることを特徴とする請求項５又は６に記載の装置。
8. 前記隣接ブロックと関連付けられた参照ピクチャ及び／又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項５から７のいずれか１項に記載の装置。
9. 映像符号化エンティティにおける方法であって、
   各隣接ブロックが前記隣接ブロックを符号化する時に使用された１つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有する画素のブロックＢに対して、
   前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定する工程（６０２）と、
   前記ブロックＢを符号化する際に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択する工程（６０４）と、
   前記予測値Ｃｐｒｅｄが前記ブロックＢを符号化することにより符号化ブロックＢ_ｅを提供する時に使用された前記参照ピクチャ又は参照ピクチャの組み合わせＣに対応するかどうかを判定する工程（６０８）と、
   前記判定の結果を指定する指示を前記符号化ブロックＢ_ｅの復号器に提供する工程（６１０、６１２）と、を有し、
   前記指示により、前記復号器において、該復号器で生成した予測が復号化エンティティにより使用される前記参照ピクチャ又は参照ピクチャの組み合わせＣに対応するかどうかを判定することを可能にすることを特徴とする方法。
10. 各隣接ブロックと関連付けられた前記１つ以上の参照ピクチャは、前記隣接ブロックと関連付けられた参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせにより識別されることを特徴とする請求項９に記載の方法。
11. 各隣接ブロックは、前記隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別する１つの構文要素と関連付けられることを特徴とする請求項９又は１０に記載の方法。
12. 前記参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定する工程は、前記隣接ブロックと関連付けられた参照ピクチャ及び／又は参照ピクチャの組み合わせをカウントする工程を含むことを特徴とする請求項９から１１のいずれか１項に記載の方法。
13. 映像符号化エンティティにおける装置であって、
    各隣接ブロックが前記隣接ブロックを符号化する時に使用された１つ以上の参照ピクチャと関連付けられる符号化隣接ブロックの集合を有するブロックＢに対して、前記隣接ブロックの集合と関連付けられた前記参照ピクチャのうちの複数の参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定するように構成された判定ユニット（７０６）と、
    前記ブロックＢを符号化することにより符号化ブロックＢ_ｅを提供する際に使用される参照ピクチャ又は参照ピクチャの組み合わせＣの予測値Ｃｐｒｅｄとするために、前記隣接ブロックと関連付けられた前記参照ピクチャのうち前記判定された最大発生頻度を有する参照ピクチャ又は参照ピクチャの組み合わせを選択するように構成された選択ユニット（７０８）とを備え、
    前記判定ユニット（７０６）は、前記予測値Ｃｐｒｅｄが前記参照ピクチャ又は参照ピクチャの組み合わせＣに対応するかを判定するように更に構成され、前記装置は、
    前記判定の結果を指定する指示を前記ブロックＢ_ｅの復号器に提供するように構成された提供ユニット（７１０）を更に備え、前記指示により、前記復号器において、該復号器で生成した予測が復号化エンティティにより使用される前記参照ピクチャ又は参照ピクチャの組み合わせＣに対応するかどうかを判定することを可能にすることを特徴とする装置。
14. 前記隣接ブロックと関連付けられた参照モードパラメータと１つ以上の参照ピクチャパラメータとの組み合わせに基づいて、各隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別するように構成されることを特徴とする請求項１３に記載の装置。
15. 各隣接ブロックが前記隣接ブロックと関連付けられた前記１つ以上の参照ピクチャを識別する１つの構文要素と関連付けられるように更に構成されることを特徴とする請求項１３又は１４に記載の装置。
16. 前記隣接ブロックと関連付けられた参照ピクチャ及び／又は参照ピクチャの組み合わせをカウントすることにより前記参照ピクチャ及び／又は参照ピクチャの組み合わせの発生頻度を判定するように更に構成されることを特徴とする請求項１３から１５のいずれか１項に記載の装置。
17. １つ以上の処理ユニットにおいて実行された時に請求項１から４又は請求項９から１２のいずれか１項に記載の対応する手順を請求項５から８又は請求項１３から１６のいずれか１項に記載の装置に実行させるためのコンピュータプログラム（１０１０）。
18. 請求項１７に記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体（１００８）。

Images