JP6700323B2 - スケーラブルビデオコーディングのための予測モード情報アップサンプリング - Google Patents

Description

[0001] 本開示は、一般に、ビデオコーディングおよび圧縮に関する。

[0002] デジタルビデオ機能（Digital video capabilities）は、デジタルテレビジョン、デジタルダイクトブロードキャストシステム（digital direct broadcast systems）、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレイヤ、ビデオゲーミングデバイス、ビデオゲームコンソール（video game consoles）、セルラまたは衛星無線電話、ビデオテレビ会議デバイスなどを含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンスドビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、およびそのような規格の延長によって定義される規格に説明されるもののような、ビデオ圧縮技法を実施する。ビデオデバイスは、実施されたこのようなビデオコーディング技法によって、より効率的にデジタルビデオ情報を送信、受信、符号化、復号、および／または記憶し得る。

[0003] ビデオ画像、テレビ画像、ビデオレコーダによって生成された画像または静止画像、あるいはコンピュータのようなデジタル画像は、水平および垂直の線で配置されるピクセルから構成され得る。単一の画像におけるピクセル数は、通常、数万の規模である。各ピクセルは通常、輝度（luminance）および色差（chrominance）情報を含む。圧縮せずに画像エンコーダから画像デコーダへ搬送されるべき情報の量は非常に多く、これがリアルタイム画像送信を困難にし得る。送信されるべき情報の量を低減するため、多数の異なる圧縮方法が開発されている。

[0004] ビデオ圧縮技法は、ビデオシーケンスに内在する冗長性（redundancy）を低減または取り除くために、空間（spatial）（イントラピクチャ）予測、および／または時間（temporal）（インターピクチャ）予測を行う。ブロックベースのビデオコーディングのために、ビデオスライス（例えば、ビデオフレーム、ビデオフレームの一部分など）は、複数のビデオブロックに分割され、それはまた、ツリーブロック（treeblocks）、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれ得る。イントラコード化されたピクチャの（Ｉ）スライスにおけるビデオブロックは、同じピクチャにおける隣接するブロック内の参照サンプルに関する空間予測を使用して符号化される。ピクチャのインターコード化された（ＰまたはＢ）スライスにおけるビデオブロックは、同じピクチャにおける隣接するブロック内の参照サンプルに関する空間予測、または他の参照ピクチャにおける参照サンプルに関する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005] 空間または時間予測は、コード化されるべきブロックに関する予測ブロックをもたらす。残差データ（residual data）は、コード化されるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化されたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化されたブロックは、イントラコード化モードおよび残余データに従って符号化される。

[0006] ブロックベースのビデオコーディングおよび圧縮はさらに、スケーラブルな（scalable）技法の使用を行い得る。スケーラブルビデオコーディング（ＳＶＣ：Scalable video coding）は、ベースレイヤおよび１つまたは複数のスケーラブルな拡張レイヤ（enhancement layers）が使用されるビデオコーディングを指す。ＳＶＣに関して、ベースレイヤは通常、基準レベルの品質でビデオデータを搬送する。１つまたは複数の拡張レイヤは、より高い空間、時間、および／またはＳＮＲレベルをサポートするために、追加のビデオデータを搬送する。

[0007] 本開示を要約する目的で、特定の態様、利点および新規の特徴が、本明細書で説明されている。全てのこのような利点が、本明細書で説明されるいずれかの特定の実施形態に従って、必ずしも達成されるわけではないことが理解されるべきである。そのため、本開示で説明される特徴は、本明細書で教示または提示され得る他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点または利点のグループを、達成または最大限に利用する方法で具現化または行われ得る。

[0008] いくつかの実施形態に従って、ビデオデータをコーディングするように構成される装置は、メモリユニットおよびプロセッサを含む。メモリユニットは、第１の空間解像度を有する第１のレイヤと、第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するように構成される。第１のレイヤに関連付けられたビデオデータは、少なくとも第１のレイヤブロックと、第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、第１のレイヤブロックは、各サブブロックが第１のレイヤ予測モード情報の該当の(respective)予測モードデータに関連付けられた複数のサブブロックを含む。プロセッサは、メモリユニットと通信し、またプロセッサは、選択規則に少なくとも基づいて、複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出し、導出された予測モードデータおよび第１のレイヤブロックをアップサンプルし、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付けるように構成される。

[0009] 前述の段落の装置は、下記の特徴のうちの１つまたは複数を含み得る。選択規則に従って、プロセッサは、第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、複数のサブブロックの第１のサブブロックに関連付けられた予測モードデータを選択するように構成される。第１のサブブロックは、第１のレイヤブロックの複数のサブブロックのうちの１つが各々の側に隣接した中心のサブブロックである。プロセッサは、信号フラグに従って、選択規則を決定するように構成される。プロセッサは、アップサンプルされた第１のレイヤブロックと、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられたアップサンプルされた予測モードデータとに少なくとも基づいて、第２のレイヤ内の第２のレイヤブロックの予測された値を決定するように構成される。第１のレイヤブロックは、第２のレイヤ内の第２のレイヤブロックの位置に対応する第１のレイヤ内の位置に配置されるか、第１のレイヤブロックは、第２のレイヤ内の第２のレイヤブロックの近傍に位置付けられた、隣接している第２のレイヤブロックの位置に対応する第１のレイヤ内の位置に配置される。第１のレイヤブロックの各サブブロックに関連付けられた、該当の予測モードデータは、動きベクトルを含む。アップサンプルされた予測モードデータと導出された予測モードデータとの間の空間解像度比は、第２の空間解像度と第１の空間解像度との間の空間解像度比と一致する。プロセッサは、第１のコーダ−デコーダ（コーデック）が第１のレイヤブロックを圧縮するために使用される場合、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付け、第１のコーデックとは異なる第２のコーデックが第１のレイヤ内のビデオユニットを圧縮するために使用される場合、割当規則に少なくとも基づいて、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付けるように構成される。割当規則に従って、プロセッサは、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなるように、予測モードデータを割り当てるように構成される。プロセッサは、参照リストにアップサンプルされた第１のレイヤブロックを挿入するように構成される。プロセッサは、デコーダを備える。プロセッサは、エンコーダを備える。装置は、デバイスの一部分であり、デバイスは、コンピュータおよびワイヤレス通信デバイスハンドセットからなるグループから選択される。

[0010] いくつかの実施形態に従って、ビデオデータをコーディングする方法は、第１の空間解像度を有する第１のレイヤと、第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することと、ここで、第１のレイヤに関連付けられたビデオデータは、少なくとも第１のレイヤブロックと、第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、第１のレイヤブロックは、各サブブロックが第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含み、選択規則に少なくとも基づいて、複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出することと、導出された予測モードデータおよび第１のレイヤブロックをアップサンプルすることと、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付けることとを含む。

[0011] 前述の段落の方法は、下記の特徴のうちの１つまたは複数を含み得る。選択規則に従って、導出することは、第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、複数のサブブロックの第１のサブブロックに関連付けられた予測モードデータを導出することを含む。第１のサブブロックは、第１のレイヤブロックの複数のサブブロックのうちの１つが各々の側に隣接した中心のサブブロックである。方法はさらに、信号フラグに従って、選択規則を決定することを含む。方法はさらに、アップサンプルされた第１のレイヤブロックと、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられたアップサンプルされた予測モードデータとに少なくとも基づいて、第２のレイヤ内の第２のレイヤブロックの予測された値を決定することを含み、第１のレイヤブロックは、第２のレイヤ内の第２のレイヤブロックの位置に対応する第１のレイヤ内の位置に配置されるか、第１のレイヤブロックは、第２のレイヤ内の第２のレイヤブロックの近傍に位置付けられた、隣接している第２のレイヤブロックの位置に対応する第１のレイヤ内の位置に配置される。第１のレイヤブロックの各サブブロックに関連付けられた、該当の予測モードデータは、動きベクトルを含む。アップサンプルされた予測モードデータと導出された予測モードデータとの間の空間解像度比は、第２の空間解像度と第１の空間解像度との間の空間解像度比と一致する。方法はさらに、第１のコーダ−デコーダ（コーデック）が第１のレイヤブロックを圧縮するために使用される場合、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付けることと、第１のコーデックとは異なる第２のコーデックが第１のレイヤ内のビデオユニットを圧縮するために使用される場合、割当規則に少なくとも基づいて、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付けることとを含む。方法は、割当規則に従って、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなるように、予測モードデータを割り当てることをさらに含む。方法はさらに、参照リストに、アップサンプルされた第１のレイヤブロックを挿入することを含む。方法はさらに、符号化されたビデオビットストリームから抽出されたシンタックスエレメントを受信することを含み、シンタックスエレメントは、第１のレイヤビデオブロックに関連付けられた予測モード情報を示す。方法はさらに、符号化されたビデオビットストリームのためのシンタックスエレメントを生成することを含み、シンタックスエレメントは、第１のレイヤビデオブロックに関連付けられた予測モード情報を示す。

[0012] いくつかの実施形態に従って、ビデオデータをコーディングするように構成される装置は、第１の空間解像度を有する第１のレイヤと、第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するための手段と、ここで、第１のレイヤに関連付けられたビデオデータは、少なくとも第１のレイヤブロックと、第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、第１のレイヤブロックは、各サブブロックが第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含み、選択規則に少なくとも基づいて、複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出するための手段と、導出された予測モードデータおよび第１のレイヤブロックをアップサンプルするための手段と、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付けるための手段とを含む。

[0013] いくつかの実施形態に従って、実行可能なプログラム命令を記憶する非一時的コンピュータ記憶装置であって、ビデオデータをコーディングするための装置に、第１の空間解像度を有する第１のレイヤと、第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することと、ここで、第１のレイヤに関連付けられたビデオデータは、少なくとも第１のレイヤブロックと、第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、第１のレイヤブロックは、各サブブロックが第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含み、選択規則に少なくとも基づいて、複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出することと、導出された予測モードデータおよび第１のレイヤブロックをアップサンプルすることと、アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、アップサンプルされた予測モードデータを関連付けることとを含む処理を行うことを指示する。

[0014] 本明細書で説明される様々な実施形態の特徴は、下記の図面を参照して説明される。図面を通して、参照番号は、参照されたエレメント間の一致を示すために、繰り返し使用される。図面は、本明細書で説明される実施形態を図示するために提供されるが、それらの範囲を限定するものではない。
図１は、本開示において説明される技法を利用し得るビデオコーディングシステムの例を図示するブロック図である。 図２は、本開示の実施形態を実施し得るビデオエンコーダの例を図示するブロック図である。 図３は、本開示の実施形態を実施し得るビデオデコーダの例を図示するブロック図である。 図４は、拡張レイヤの予測のために使用可能なビデオデータの例を図示する概念図である。 図５は、ベースレイヤビデオデータおよびアップサンプルされたベースレイヤビデオデータの例を図示する概念図である。 図６は、ベースレイヤビデオデータおよびアップサンプルされたベースレイヤビデオデータの例を図示する概念図である。 図７は、ビデオデータをコーディングするための方法の例を図示する。

詳細な説明
[概要］
[0021] 本開示で説明される技法は、一般に、スケーラブルビデオコーディング（ＳＶＣ）、スケーラブルビデオ高効率ビデオコーディング（ＳＨＶＣ：scalable video high efficiency video coding）、マルチビューコーディング、および３Ｄビデオコーディングに関する。例えば、これら技法は、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）ＳＶＣ拡張に関連し、ＨＥＶＣ ＳＶＣ拡張で使用されたり、ＨＥＶＣ ＳＶＣ拡張内で使用されたりし得る。ＳＶＣ拡張では、ビデオ情報の複数のレイヤがあり得る。最下位のレイヤはベースレイヤ（ＢＬ）の役割を果たし、最上位のレイヤは拡張されたレイヤ（ＥＬ）の役割を果たし得る。ＭＶＣでは、「ビュー（view）」という用語が、「レイヤ（layer）」という用語の代わりに使用され得る。従って、本開示において「レイヤ」または「複数のレイヤ」に対する参照は、「ビュー」または「複数のビュー」にそれぞれ置き換えられ得る。「拡張されたレイヤ（enhanced layer）」は、しばしば、「拡張レイヤ（enhancement layer）」と呼ばれ、これら用語は区別なく使用され得る。中間のレイヤは、拡張レイヤまたはベースレイヤのいずれかまたは両方の役割を果たし得る。例えば、中間のレイヤは、ベースレイヤや何らかの介在する(intervening)拡張レイヤのようなその下方のレイヤのための拡張レイヤであり、同時に、その上方の拡張レイヤのためのベースレイヤの役割を果たす。

[0022] ＳＶＣは、品質（信号対雑音（ＳＮＲ：signal-to-noise）とも呼ばれる）スケーラビリティ（scalability）、空間スケーラビリティ、および／または時間スケーラビリティを提供するために使用され得る。拡張レイヤは、ベースレイヤと同じまたは異なる空間解像度を有し得る。例えば、拡張レイヤとベースレイヤとの空間アスペクト比（spatial aspect ratio）は、１．０、１．５、２．０、または他の異なる比であり得る。言い換えると、拡張レイヤの空間アスペクトは、ベースレイヤの空間アスペクトの１．０、１．５、２．０倍と等しいことがある。いくつかの例では、拡張レイヤのスケーリング係数（scaling factor）がベースレイヤよりも大きいことがある。例えば、拡張レイヤ内のピクチャのサイズがベースレイヤ内のピクチャのサイズよりも大きいことがある。このように、限定でないが、拡張レイヤの空間解像度がベースレイヤの空間解像度よりも大きいことがあり得る。

[0023] アップサンプルフィルタリング（Upsample filtering）は、しばしば再サンプリングフィルタリング（resample filtering）と呼ばれ、ベースレイヤの空間解像度を高めるためにベースレイヤに適用され得る。いくつかの実施では、ベースレイヤの空間解像度が拡張レイヤの空間解像度と一致するように高められ得る。この処理は、空間スケーラビリティと呼ばれ得る。アップサンプリングフィルタセット（upsampling filter set）がベースレイヤに適用でき、１つのフィルタが位相（phase）に基づくセット（しばしば少数ピクセルシフト（fractional pixel shift）と呼ばれる）から選択され得る。位相はベースレイヤと拡張レイヤピクチャとの間の空間アスペクト比に基づいて計算され得る。

[0024] ＳＶＣは、さらにベースレイヤの動きが拡張レイヤにおける動きを予測するために使用されるインターレイヤ動き予測（inter-layer motion prediction）を容易にする。動きベクトルのような動き情報、参照インデックス、あるいはベースレイヤの１つまたは複数のビデオブロックに関連付けられた相互方向（inter direction）は、拡張レイヤの１つまたは複数のビデオブロックに関連付けられた動き情報を決定するために使用され得る。例えば、ベースレイヤピクチャ内の同一位置に配置された（co-located）ブロックの動きベクトルは、ベースレイヤピクチャが参照ピクチャリスト内の同一位置に配置されたピクチャとしてリスト化される場合、拡張レイヤ内の予測されたビデオユニットの動きベクトルを予測するための候補として使用され得る。

[0025] しかしながら、いくつかの場合において、拡張レイヤの空間解像度がベースレイヤの拡張レイヤとは異なるときに、ベースレイヤのビデオブロックに関連付けられた動き情報が、スライスレベルの下のベースレイヤシステム設計に対する変更を実施したり、異なるハードウェアまたはソフトウェアシステム設計を使用したりせずに、インターレイヤ動き予測にアクセス可能なものでないことから、インターレイヤ動き予測がイネーブルされないことがある。結果として、ビデオデータを圧縮するためのビデオコーダの能力は、拡張レイヤの空間解像度がベースレイヤの空間解像度よりとは異なる場合に、低減され得る。

[0026] 有利なことに、本開示の実施形態は、しばしば非ピクセル情報として知られるベースレイヤのアップサンプリングモード情報（例えば、イントラ予測モード、インター予測モード、あるいは、動きベクトル、参照インデックス、またはビデオデータを圧縮するために使用可能である相互方向のような、動き情報）の一部分に向けられるので、アップサンプルされた予測モード情報が拡張レイヤのためのインターレイヤ動き予測において使用され得る。本開示のアプローチは、拡張レイヤがベースレイヤよりも大きい、または異なる空間解像度を有するときに、コーディングユニットまたは低レベルシステム変更を実施することなく、インターレイヤ動き予測を容易にできる。１つの例では、ベースレイヤブロックに関連付けられた予測モード情報がアップサンプルされ、アップサンプルされた予測モード情報のいくつかまたは全てが順に拡張レイヤブロックのための予測された予測モード情報を決定するために使用され得る。さらに、特定の実施形態では、デフォルト予測モード情報（default prediction mode information）が、拡張レイヤブロックのための予測された予測モード情報を決定するための候補として有益に使用され得る。

[0027] 図示する目的のみのために、本開示で説明される技法は、２つのレイヤのみを含む例で説明される（例えば、ベースレイヤのような下位レベルレイヤ、および拡張レイヤのような上位レベルレイヤ）。しかしながら、本開示で説明される例が拡張レイヤと同様に複数のベースレイヤを用いた例に対して拡張され得ることが、理解されるべきである。

[ビデオコーディングシステム］
[0028] 図１は、本開示で説明される態様に従った技法を利用し得るビデオコーディングシステム１０の例を図示するブロック図である。本明細書で説明されるような「ビデオコーダ」という用語は、一般に、ビデオエンコーダおよびビデオデコーダの両方を指す。「ビデオコーディング」または「コーディング」という用語は、一般に、ビデオ符号化またはビデオ復号を指し得る。

[0029] 図１に示されるように、ビデオコーディングシステム１０は、ソースデバイス１２および宛先デバイス１４を含む。ソースデバイス１２は、符号化されたビデオデータを生成する。宛先デバイス１４は、ソースデバイス１２によって生成された符号化されたビデオデータを復号し得る。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（例えば、ラップトップなど）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンや、いわゆる「スマート」パッドのような電話ハンドセット、テレビ、カメラ、ディスプレイデバイス、デジタルメディアプレイヤ、ビデオゲーム機、車載コンピュータなどを含む、幅広い範囲のデバイスを備え得る。いくつかの例では、ソースデバイス１２および宛先デバイス１４がワイヤレス通信のために装備され得る。

[0030] 宛先デバイス１４は、チャネル１６を介してソースデバイス１２から符号化されたビデオデータを受信し得る。チャネル１６は、ソースデバイス１２から宛先デバイス１４へ、符号化されたビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。１つの例で、チャネル１６は、ソースデバイス１２がリアルタイムに宛先デバイス１４に直接符号化されたビデオデータを送信することを可能にする通信メディアを備え得る。この例では、ソースデバイス１２が、ワイヤレス通信プロトコルのような通信規格に従って、符号化されたビデオデータを変調し、宛先デバイス１４に変調されたビデオデータを送信し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理送信ラインのような、ワイヤレスまたはワイヤード（wired）通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットのようなグローバルネットワークなどの、パケットベースのネットワークの一部分を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にする他の機器を含み得る。

[0031] 別の例では、チャネル１６が、ソースデバイス１２によって生成された符号化されたビデオデータを記憶する記憶媒体に対応し得る。この例では、宛先デバイス１４が、ディスクアクセスまたはカードアクセスを介して記憶媒体にアクセスし得る。記憶媒体は、ブルーレイディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、または符号化されたビデオデータを記憶するための他の適切なデジタル記憶媒体のような、様々な局所的にアクセスされるデータ記憶媒体を含み得る。さらなる例では、チャネル１６が、ソースデバイス１２によって生成された符号化されたビデオを記憶するファイルサーバまたは別の中間記憶媒体を含み得る。この例では、宛先デバイス１４が、ストリーミングまたはダウンロードを介して、ファイルサーバまたは他の中間記憶デバイスで記憶される符号化されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶すること、および宛先デバイス１４にその符号化されたビデオデータを送信することが可能なタイプのサーバであり得る。ファイルサーバの例は、ウェブサーバ（例えば、ウェブサイトなどのための）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、およびローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含むいずれかの標準データ接続を通して、符号化されたビデオデータにアクセスし得る。データ接続のタイプの例は、ファイルサーバ上に記憶される符号化されたビデオデータにアクセスするのに適切な、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続など）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組み合わせを含み得る。ファイルサーバからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組み合わせであり得る。

[0032] 図１の例では、ソースデバイス１２が、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。いくつかの例では、出力インターフェース２２が、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２では、ビデオソース１８が、例えばビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／またはビデオデータを生成するためのコンピュータグラフィックシステム、またはそのようなソースの組み合わせ、などのソースを含み得る。

[0033] ビデオエンコーダ２０は、キャプチャされた、プリキャプチャされた（pre-captured）、またはコンピュータによって生成されたビデオデータを符号化するように構成され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェースを介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータはまた、復号および／または再生のために宛先デバイス１４によって後にアクセスされるように、記憶媒体またはファイルサーバに記憶され得る。

[0034] 図１の例では、宛先デバイス１４が、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３２を含む。いくつかの例では、入力インターフェース２８が受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、チャネル１６を介して符号化されたビデオデータを受信する。符号化されたビデオデータは、ビデオデータを表すビデオエンコーダ２０によって生成される様々なシンタックスエレメントを含み得る。シンタックスエレメントは、例えば、ブロックの特性および／または処理、並びにＧＯＰのような他のコード化されたユニットを説明し得る。このようなシンタックスエレメントは、通信媒体に送信され、記憶媒体に記憶され、またはファイルサーバに記憶された、符号化されたビデオデータに含まれ得る。

[0035] ディスプレイデバイス３２は、宛先デバイス１４に統合され得るか、宛先デバイス１４の外部にあり得る。いくつかの例では、宛先デバイス１４が、統合されたディスプレイデバイスを含み、同様に、外部ディスプレイデバイスとインターフェース接続する（interface）ように構成され得る。他の例で、宛先デバイス１４は、ディスプレイデバイスであり得る。一般に、ディスプレイデバイス３２は、復号されたビデオデータをユーザに表示する。ディスプレイデバイス３２は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、様々なディスプレイデバイスのいずれかを備え得る。

[0036] ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣ規格のようなビデオ圧縮規格に従って動作し、ＨＥＶＣテストモデル（ＨＭ）に適合し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、ＭＰＥＧ４、パート１０、アドバンスドビデオコーディング（ＡＶＣ：Advanced Video Coding）、またはそのような規格の延長と代替的に呼ばれる、ＩＴＵ−Ｔ Ｈ．２６４規格のような、他の所有権または工業規格に従って動作し得る。しかしながら、本開示の技法は、いずれの特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例は、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３を含む。２つ以上の規格（例えば、ＨＥＶＣおよびＨ．２６４／ＡＶＣ）はさらに、いくつかの場合では、一緒または組み合わせで使用され得る。例えば、Ｈ．２６４／ＡＶＣまたは別の組み合わせのエンコーダ／デコーダ（コーデック）がベースレイヤ圧縮のために使用され、拡張レイヤ圧縮がＨＥＶＣを使用し得る。

[0037] 図１の例には示されないが、ビデオエンコーダ２０およびビデオデコーダ３０はオーディオエンコーダおよびデコーダと各々統合され、適切なＭＵＸ−ＤＥＭＵＸユニットまたは他のハードウェアおよびソフトウェアを含み、共通のデータストリームまたは別個のデータストリームにおいてオーディオおよびビデオの両方の符号化に対処し得る。適用可能ならば、いくつかの例で、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ．Ｈ．２２３マルチプレクサプロトコルや、ユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに従い得る。

[0038] また、図１は単なる例であり、本開示の技法は、符号化デバイスと復号デバイスとの間のいずれかのデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオ符号化またはビデオ復号）に適用され得る。他の例では、データがローカルメモリから検索され、ネットワークを介してストリーミングされるなどが行われ得る。符号化デバイスは、メモリにデータを符号化し、記憶することができ、および／または復号デバイスは、メモリからデータを検索し、復号できる。いくつかの例では、符号化および復号が、互いに通信せず単にデータをメモリに符号化し、および／またはデータをメモリから検索し、復号するデバイスによって行われる。

[0039] ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェア、またはこれらの任意の組み合わせのような、様々な適切な回路のいずれかとして実施され得る。技法がソフトウェアで部分的に実施される場合、デバイスは、適切に、非一時的なコンピュータ読取可能な記憶媒体にソフトウェアのための複数の命令を記憶することができ、本開示の技法を行うために、１つまたは複数のプロセッサを使用してハードウェアでこれら命令を実行できる。各ビデオエンコーダ２０およびビデオデコーダ３０は、１つまたは複数のエンコーダまたはデコーダに含まれることができ、そのいずれかは、該当のデバイスにおいてコーデックの一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラフォンのようなワイヤレス通信デバイスを備え得る。

[ビデオエンコーダ］
[0040] 図２は、本開示で説明される態様に従っていずれかまたは全ての技法を実施し得る、ビデオエンコーダ２０の例を図示するブロック図である。１つの例として、インター予測モジュール１２１およびアップサンプリングモジュール１３０は、本開示で説明される技法の全てまたはいずれかを行い得る。しかしながら、本開示の態様は、そのように限定されない。いくつかの例では、これら技法が、ビデオエンコーダ２０の様々なコンポーネント間で共有され得る。いくつかの例では、プロセッサ（図示されない）に加えて、またはプロセッサの代わりに、本開示で説明される技法の全てまたはいずれかを行うように構成され得る。

[0041] ビデオエンコーダ２０は、複数の機能的コンポーネントを含む。ビデオエンコーダ２０の機能的コンポーネントは、予測モジュール１００、残余生成モジュール（residual generation module）１０２、変換モジュール１０４、量子化モジュール１０６、逆量子化モジュール１０８、逆変換モジュール１１０、再構成モジュール１１２、フィルタモジュール１１３、復号ピクチャバッファ１１４、エントロピー符号化モジュール１１６、およびアップサンプリングモジュール１３０を含む。予測モジュール１００は、インター予測モジュール１２１、動き推定モジュール１２２、動き補償モジュール１２４、およびイントラ予測モジュール１２６を含む。他の例では、ビデオエンコーダ２０が、より多い、より少ない、または異なる機能的コンポーネントを含み得る。さらに、動き推定モジュール１２２および動き補償モジュール１２４は、高度集積化され（highly integrated）得るが、説明の目的のために図２の例とは別に表される。

[0042] ビデオエンコーダ２０は、ビデオデータを受信し得る。ビデオエンコーダ２０は、様々なソースからビデオデータを受信し得る。例えば、ビデオエンコーダ２０は、ビデオソース１８（図１）または別のソースからビデオデータを受信し得る。ビデオデータは、ピクチャのグループ（ＧＯＰ）のような、一連のビデオフレームまたはピクチャを表し得る。ＧＯＰは、ＧＯＰのヘッダ、１つまたは複数のピクチャのヘッダ、またはその他の場所に、ＧＯＰに含まれるピクチャの数を記述するシンタックスデータを含み得る。ピクチャの各スライスは、該当のスライスについての符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロック上で動作する。ビデオブロックは、ＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定されたサイズまたは可変のサイズを有し、指定されたコーディング規格に従ってサイズが異なり得る。

[0043] ビデオフレームまたはピクチャはさらに、ルマ（luma）およびクロマ（chroma）サンプル（しばしば、ピクセルと呼ばれ得る）の両方を含む、最も大きいコーディングユニット（ＬＣＵ）またはツリーブロックのシーケンスに分けられ得る。ビットストリーム内のシンタックスデータは、ＬＣＵについてのサイズを定義し、それは、サンプルの数の観点で最も大きいコーディングユニットである。スライスは、コーディングの順番で、多数の連続したツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに分割され得る。各ツリーブロックは、４分木（quadtree）に従って、コーディングユニット（ＣＵ）に分けられ得る。一般に、４分木データ構造は、ツリーブロックに対応する根ノード(root node)を有する、ＣＵごとに１つのノードを含む。ＣＵが４つのサブＣＵに分けられる場合、このＣＵに対応するノードは、その各々がサブＣＵのうちの１つに対応する４つの葉ノード(leaf nodes)を含む。

[0044] ＣＵに関連付けられたビデオブロックのサイズは、８×８個のサンプルから、最大６４×６４個のサンプルまたはそれ以上のツリーブロック（treeblock）のサイズまで広がり得る。本開示において、「Ｎ×Ｎ」および「ＮかけるＮ」は、例えば１６×１６個のサンプルや、１６かける１６個のサンプルのように、垂直および水平の寸法に関するビデオブロックのサンプル寸法を表すために区別なく使用され得る。一般に、１６×１６個のビデオブロックは、垂直方向（ｘ＝１６）における１６サンプルと、水平方向（ｙ＝１６）における１６ピクセルを有し得る。同様に、Ｎ×Ｎ個のブロックは一般に、垂直方向におけるＮサンプル、水平報告におけるＮサンプルを有し、ここで、Ｎは、負でない整数値を表す。

[0045] ４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのためにシンタックスデータ（例えば、シンタックスエレメント）を含み得る。例えば、４分木内のノードは、ノードに対応するＣＵのビデオブロックが４つのサブブロックに分割される（すなわち、分けられる）かどうかを示す分割フラグを含み得る。ＣＵのためのシンタックスエレメント(syntax elements)は、帰納的に定義でき、ＣＵのビデオブロックが複数のサブブロックに分けられるかどうかに依存し得る。ビデオブロックが分割されないＣＵは、四分木データ構造内のリーフノードに対応し得る。コーディングされたツリーブロックは、対応するツリーブロックのための四分木データ構造に基づくデータを含み得る。

[0046] ビデオエンコーダ２０は、ツリーブロックの各非分割（non-partitioned）ＣＵで符号化動作を行い得る。ビデオエンコーダ２０が非分割ＣＵで符号化動作を行う場合、ビデオエンコーダ２０は、非分割ＣＵの符号化された表示を表すデータを生成する。

[0047] ＣＵの符号化動作を行う部分として、予測モジュール１００は、ＣＵの１つまたは複数の予測ユニット（ＰＵ）間でＣＵのビデオブロックを分割し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎ個であると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×２ＮまたはＮ×Ｎ個のＰＵサイズをサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ個の、または同様の対称なＰＵサイズにおけるインター予測をサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０はまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２Ｎ個のＰＵサイズのための非対称分割（asymmetric partitioning）をサポートし得る。いくつかの例では、予測モジュール１００が、ＣＵのビデオブロックの側面と直角に接触しない境界に沿って、ＣＵのＰＵ間でＣＵのビデオブロックを分割する幾何学分割（geometric partitioning）を行い得る。

[0048] インター予測モジュール１２１は、ＣＵの各ＰＵ上でインター予測を行い得る。インター予測は、時間的圧縮を提供し得る。ＰＵ上でインター予測を行うために、動き推定モジュール１２２は、ＰＵのための動き情報を生成し得る。動き補償モジュール１２４は、動き情報に基づいたＰＵについての予測されたビデオブロック、およびＣＵに関連づけられたピクチャ以外のピクチャの復号されたサンプル（すなわち、参照ピクチャ）を生成し得る。本開示では、動き補償モジュール１２４によって生成された予測されたビデオブロックがインター予測ビデオブロックと呼ばれ得る。

[0049] スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定モジュール１２２および動き補償モジュール１２４は、ＰＵがＩスライス、Ｐスライス、またはＢスライスにあるかどうかに依存して、ＣＵのＰＵのために異なる動作を行い得る。Ｉスライスでは、全てのＰＵがイントラ予測される。よって、ＰＵがＩスライスにある場合、動き推定モジュール１２２および動き補償モジュール１２４はＰＵにインター予測を行わない。

[0050] ＰＵがＰスライス内にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０内の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含む。動き推定モジュール１２２がＰスライス内のＰＵに関する動き推定動作を行う場合、動き推定モジュール１２２は、ＰＵに関する参照ブロックのために、リスト０内の参照ピクチャを探索し得る。ＰＵの参照ブロックは、例えばサンプルのブロックなどの、ＰＵのビデオブロック内のサンプルに最も近く対応するサンプルのセットであり得る。動き推定モジュール１２２は、参照ピクチャにおけるサンプルのセットがＰＵのビデオブロック内のサンプルにどれほど緊密に対応するかを決定するために様々なメトリックを使用できる。例えば、動き推定モジュール１２２は、絶対値差分和（ＳＡＤ：sum of absolute difference）、二乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャにおけるサンプルのセットがＰＵのビデオブロック内のサンプルにどれほど緊密に対応するかを決定し得る。

[0051] ＰスライスにおけるＰＵの参照ブロックを識別した後、動き推定モジュール１２２は、参照ブロックに含まれるリスト０内の参照ピクチャ、およびＰＵと参照ブロックとの間の空間置換（spatial displacement）を示す動きベクトルを示す、参照インデックスを生成し得る。様々な例では、動き推定モジュール１２２が、精度（precision）の度合いを変化させるために、動きベクトルを生成し得る。例えば、動き推定モジュール１２２は、四分の一のサンプル精度、八分の一のサンプル精度、または他の分数サンプル精度（fractional sample precision）で動きベクトルを生成し得る。分数サンプル精度の場合は、参照ブロック値は、参照ピクチャ内の整数位置のサンプル値から挿入され得る。動き推定モジュール１２２は、ＰＵの動き情報として動きベクトルおよび参照インデックスを出力し得る。動き補償モジュール１２４は、ＰＵの動き情報によって識別される参照ブロックに基づいて、ＰＵの予測されたビデオブロックを生成し得る。

[0052] ＰＵがＢスライス内にある場合、ＰＵを含んでいるピクチャは、「リスト０」および「リスト１」と呼ばれる、参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含むピクチャが、リスト０およびリスト１の組み合わせであるリストの組み合わせに関連付けられ得る。

[0053] さらに、ＰＵがＢスライスにある場合、動き推定モジュール１２２は、ＰＵのために一方向予測または双方向予測を行い得る。動き推定モジュール１２２がＰＵのために一方向予測を行う場合、動き推定モジュール１２２は、ＰＵのために参照ブロックに関するリスト０またはリスト１の参照ピクチャを探索し得る。動き推定モジュール１２２はその後、参照ブロックを含むリスト０またはリスト１において参照ピクチャを示す参照インデックス、およびＰＵと参照ブロックとの間の空間置換を示す動きベクトルを生成し得る。動き推定モジュール１２２は、参照インデックス、予測方向インジケータ、およびＰＵの動き情報としての動きベクトルを出力し得る。予測方向インジケータは、参照インデックスがリスト０またはリスト１において参照ピクチャを示すかどうかを示し得る。動き補償モジュール１２４は、ＰＵの動き情報によって示される参照ブロックに基づいて、ＰＵの予測されたビデオブロックを生成し得る。

[0054] 動き推定モジュール１２２がＰＵのために双方向予測を行う場合、動き推定モジュール１２２は、ＰＵのために参照ブロックに関するリスト０において参照ピクチャを探索し、またＰＵのために別の参照ブロックに関するリスト１において参照ピクチャを探索し得る。動き推定モジュール１２２は次に、参照ブロックを含むリスト０およびリスト１における参照ピクチャを示す参照インデックス、および参照ブロックとＰＵとの間の空間置換を示す動きベクトルを生成し得る。動き推定モジュール１２２は、参照インデックス、およびＰＵの動き情報としてＰＵの動きベクトルを出力し得る。動き補償モジュール１２４は、ＰＵの動き情報によって示される参照ブロックに基づいて、ＰＵの予測されたビデオブロックを生成し得る。

[0055] いくつかの事例では、動き推定モジュール１２２が、エントロピー符号化モジュール１１６へＰＵのための動き情報のフルセットを出力しない。むしろ、動き推定モジュール１２２は、別のＰＵの動き情報関連して、ＰＵの動き情報をシグナリングし得る。例えば、動き推定モジュール１２２は、ＰＵの動き情報が隣接しているＰＵの動き情報に十分類似することを決定し得る。この例で、動き推定モジュール１２２は、ＰＵが隣接しているＰＵと同じ動き情報を有することをビデオデコーダ３０に指示する値を、ＰＵに関連付けられたシンタックス構造において、指示し得る。別の例では、動き推定モジュール１２２が、隣接しているＰＵおよび動きベクトル差分（ＭＶＤ）を、ＰＵと関連付けられたシンタックス構造において識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示された隣接しているＰＵの動きベクトルとの間の差分を示し得る。ビデオデコーダ３０は、ＰＵの動きベクトルを決定するために、動きベクトル差分と、示された隣接しているＰＵの動きベクトルとを使用し得る。第２のＰＵの動き情報をシグナリングする場合、第１のＰＵの動き情報を参照すると、ビデオエンコーダ２０は、より小さいビットを使用して、第２のＰＵの動き情報をシグナリングすることができ得る。

[0056] ＣＵの符号化動作を行う部分として、イントラ予測モジュール１２６は、ＣＵのＰＵにおいてイントラ予測を行い得る。イントラ予測は、空間圧縮を提供し得る。イントラ予測モジュール１２６は、ＰＵのイントラ予測を行い、イントラ予測モジュール１２６は、同じピクチャ内の他のＰＵの復号されたサンプルに基づいて、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、予測されたビデオブロックおよび様々なシンタックスエレメントを含み得る。イントラ予測モジュール１２６は、Ｉスライス、Ｐスライス、およびＢスライスにおいてＰＵのイントラ予測を行い得る。

[0057] ＰＵのイントラ予測を行うために、イントラ予測モジュール１２６は、ＰＵのための予測データの複数のセットを生成するために、イントラ予測方向を使用するか、または複数のイントラ予測モード方向（multiple intra prediction mode directions）を使用し得る。イントラ予測モジュール１２６がＰＵのための予測データのセットを生成するために、イントラ予測方向を使用する場合、イントラ予測モジュール１２６は、イントラ予測方向に関連付けられた変化度（gradient）および／または方向において、ＰＵのビデオブロックを介して、隣接しているＰＵのビデオブロックからサンプルを拡張し得る。隣接しているＰＵは、ＰＵ、ＣＵ、およびツリーブロックについて、左から右への、上から下への符号化順序であると仮定すると、ＰＵの上部、右上部、左上部、または左にあり得る。イントラ予測モジュール１２６は、ＰＵサイズに依存して、様々な数のイントラ予測方向（例えば、３３のイントラ予測方向）を使用し得る。

[0058] 予測モジュール１００は、ＰＵのために動き補償モジュール１２４によって生成される予測データ、またはＰＵのためにイントラ予測モジュール１２６によって生成される予測データのうちからＰＵのための予測データを選択し得る。いくつかの例では、予測モジュール１００が、予測データのセットのレート／歪みメトリック（distortion metrics）に基づいて、ＰＵのために予測データを選択する。

[0059] 予測モジュール１００がイントラ予測モジュール１２６によって生成される予測データを選択する場合、予測モジュール１００は、ＰＵのための予測データ（例えば、選択されたイントラ予測方向）を生成するために使用されるイントラ予測モードの方向をシグナリングし得る。予測モジュール１００は、様々な方法で、選択されたイントラ予測方向をシグナリングし得る。例えば、選択されたイントラ予測方向は、隣接しているＰＵのイントラ予測方向と同じであり得る。言い換えると、隣接しているＰＵのイントラ予測方向は、現在のＰＵのために最も起こりそうなモードであり得る。そのため、予測モジュール１００は、選択されたイントラ予測方向が、隣接しているＰＵのイントラ予測方向と同じであることを示すために、シンタックスエレメントを生成し得る。

[0060] 予測モジュール１００がＣＵのＰＵのための予測データを選択した後、残余生成モジュール１０２は、ＣＵのビデオブロックから、ＣＵのＰＵの予測されたビデオブロックを差し引くことによって、ＣＵのための残余データを生成し得る。ＣＵの残余データは、ＣＵのビデオブロックにおけるサンプルの、異なるサンプルコンポーネントに対応する２Ｄ残余ビデオブロックを含み得る。例えば、残余データは、ＣＵのＰＵの予測されたビデオブロックにおけるサンプルの輝度コンポーネントと、ＣＵの元のビデオブロックにおけるサンプルの輝度コンポーネントとの間の差に対応する残余ビデオブロックを含み得る。加えて、ＣＵの残余データは、ＣＵのＰＵの予測されたビデオブロックにおけるサンプルの色差コンポーネント（chrominance components）と、ＣＵの元のビデオブロックにおけるサンプルの色差コンポーネントとの間の差に対応する、残余ビデオブロックを含み得る。

[0061] 予測モジュール１００は、ＣＵの残余ビデオブロックを、サブブロックに分割するための四分木分割を行い得る。分割されない残余ビデオブロック（undivided residual video block）の各々は、ＣＵの異なるＴＵと関連付けられ得る。ＣＵのＴＵに関連付けられた残余ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズおよび位置に基づき得る、または基づかない可能性がある。「残余四分木」（ＲＱＴ：residual quad tree）として知られる四分木構造は、残余ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴの葉ノードに対応し得る。

[0062] 変換モジュール１０４は、ＴＵに関連付けられた残余ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄマトリックス（matrix）であり得る。変換モジュール１０４は、ＴＵに関連付けられた残余ビデオブロックに、様々な変換を適用し得る。例えば、変換モジュール１０４は、離散コサイン変換（ＤＣＴ：discrete cosine transform）、方向変換、または概念的に類似する変換を、ＴＵに関連づけられた残余ブロックに適用し得る。

[0063] 変換モジュール１０４がＴＵに関連付けられた変換係数ブロックを生成した後、量子化モジュール１０６は、変換係数ブロック内の変換係数を量子化し得る。量子化モジュール１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0064] ビデオエンコーダ２０は、様々な方法でＣＵにＱＰ値を関連づけ得る。例えば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックのレート歪み分析（rate-distortion analysis）を行い得る。レート歪み分析では、ビデオエンコーダ２０が、ツリーブロックで符号化動作を複数回行うことによって、ツリーブロックの複数のコード化された表示を生成し得る。ビデオエンコーダ２０は、ビデオエンコーダ２０がツリーブロックの異なる符号化された表示を生成する場合、ＣＵに異なるＱＰ値を関連付け得る。ビデオエンコーダ２０は、所与のＱＰ値が、最も低いビットレートおよび歪みメトリックを有するツリーブロックのコード化された表示においてＣＵに関連付けられる場合に、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。

[0065] 逆量子化モジュール１０８および逆変換モジュール１１０は、変換係数ブロックからの残余ビデオブロックを再構成するために、変換係数ブロックに逆量子化および逆変換をそれぞれ適用され得る。再構成モジュール１１２は、ＴＵに関連付けられた再構成されたビデオブロックを作り出すために、予測モジュール１００によって生成された１つまたは複数の予測されたビデオブロックから対応するサンプルへ、再構成された残余ビデオブロックを加え得る。この方法でＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。

[0066] 再構成モジュール１１２がＣＵのビデオブロック再構成した後、フィルタモジュール１１３は、ＣＵに関連付けられたビデオブロックにおいてブロッキングアーティファクト（blocking artifacts）を低減させるために、デブロッキング動作（deblocking operation）を行い得る。１つまたは複数のデブロッキング動作を行った後、フィルタモジュール１１３は、復号ピクチャバッファ１１４において、ＣＵの再構成されたビデオブロックを記憶し得る。動き推定モジュール１２２および動き補償モジュール１２４は、後続のピクチャのＰＵにインター予測を行うために、再構成されたビデオブロックを含む参照ピクチャを使用し得る。加えて、イントラ予測モジュール１２６は、ＣＵと同じピクチャにおいて、他のＰＵでイントラ予測を行うために、復号ピクチャバッファ１１４において再構成されたビデオブロックを使用し得る。

[0067] エントロピー符号化モジュール１１６は、ビデオエンコーダ２０の他の機能的コンポーネントからデータを受信し得る。例えば、エントロピー符号化モジュール１１６は、量子化ユニット１０６から変換係数ブロックを受信し、予測モジュール１００からシンタックスエレメントを受信し得る。エントロピー符号化モジュール１１６がデータを受信する場合、エントロピー符号化モジュール１１６は、エントロピー符号化データを生成するために、１つまたは複数のエントロピー符号化動作行い得る。例えば、ビデオエンコーダ２０は、データに、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（variable-to-variable）（Ｖ２Ｖ）長コーディング動作、シンタックスに基づくコンテキスト適応型２演算コーディング（ＳＢＡＣ）動作、プロバビリティインターバル分割エントロピー（Probability Interval Partitioning Entropy）（ＰＩＰＥ）コーディング動作、またはエントロピー符号化動作の別のタイプを行い得る。エントロピー符号化モジュール１１６は、エントロピー符号化データを含む出力ビットストリームを含み得る。

[0068] アップサンプリングモジュール１３０は、空間解像度を高めるために、予測モード情報のようなピクセルおよび非ピクセル情報を含むビデオデータを、スケーリング（scale）または再サンプリング（resample）し得る。いくつかの実施形態では、ベースレイヤのビデオデータが、拡張レイヤの空間解像度に一致させるために、アップサンプルされ得る。アップサンプリングモジュール１３０はまた、ベースレイヤピクチャが参照リストに挿入される前に、ベースレイヤピクチャのベースレイヤビデオデータをアップサンプルするために、ビデオエンコーダ２０の１つまたは複数の他の機能的コンポーネントに調整し得る。

[0069] ビデオエンコーダ２２０はさらに、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＭＯヘッダなどにおいて、ビデオデコーダ３０へ、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを送り得る。ＧＯＰシンタックスデータは、該当のＧＯＰ内のフレームの数を記述し、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

[ビデオデコーダ］
[0070] 図３は、本開示で説明される態様に従った技法を実施し得るビデオデコーダの例を図示するブロック図である。ビデオデコーダ３０は、本開示の技法の全てまたはいずれかを行い得る。１つの例として、動き補償ユニット１６２およびアップサンプリングモジュール１７０は、本開示で説明される技法の全てまたはいずれかを行うように構成され得る。しかしながら、本開示の態様は、そのように限定されない。いくつかの例では、本開示で説明される技法がビデオデコーダ３０の様々なコンポーネント間で共有され得る。いくつかの例では、加えてまたは代わりにプロセッサ（図示されない）が、本開示で説明される技法の全てまたはいずれかを行うように構成され得る。

[0071] ビデオデコーダ３０は、エントロピー復号ユニット１５０、動き補償ユニット１６２、イントラ予測ユニット１６４、逆量子化ユニット１５４、逆変換ユニット１５６、参照ピクチャメモリ１６０、およびサマー１５８を含む。ビデオデコーダ３０は、いくつかの例で、ビデオエンコーダ２０（図２）に関して、一般に、説明された符号化パスと逆の復号パスを行い得る。動き補償ユニット１６２がエントロピー復号ユニット１５０から受信された動きベクトルに基づいて予測データを生成し得る一方で、イントラ予測ユニット１６４がエントロピー復号ユニット１５０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0072] 復号処理の間、ビデオデコーダ３０は、ビデオエンコーダ２０から、関連付けられたシンタックスエレメントおよび符号化されたビデオスライスのビデオブロックを表す符号化されたビデオストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット１５０は、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックスエレメントを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット１５０は、動きベクトルをおよび他のシンタックスエレメントを動き補償ユニット１６２に転送（forwards）する。ビデオデコーダ３０はビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックスエレメントを受信し得る。

[0073] ビデオスライスがイントラコード化された（intra-coded）（Ｉ）スライスとしてコード化される場合、イントラ予測ユニット１６４が、現在のフレームまたはピクチャの以前に復号されたブロックからのデータ、およびシグナリングされたイントラ予測モードに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化された（inter-coded）（例えば、Ｂ、Ｐ、またはＧＰＢ）スライスとしてコード化される場合、動き補償ユニット１６２は、エントロピー復号ユニット１５０から受信された他のシンタックスエレメントおよび動きベクトルに基づいて、現在のビデオスライスのビデオブロックのために予測ブロックを作り出す。予測ブロックは、参照ピクチャリストの中うちの１つの、参照ピクチャのうちの１つから作り出され得る。ビデオデコーダ３０は、参照ピクチャメモリ１６０に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、リスト０およびリスト１を構成し得る。動き補償ユニット１６２は、動きベクトルおよび他のシンタックスエレメントを構文解析すること（parsing）によって、現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックに関する予測ブロックを作り出すための予測情報を使用する。例えば、動き補償ユニット１６２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラまたはインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスのための参照ピクチャリストのうちの１つまたは複数についての構成情報、スライスの各インター符号化されたビデオブロック（inter-encoded video block）についての動きベクトル、スライスの各インターコード化されたビデオブロックについてのインター予測状況、および現在のビデオスライスにおけるビデオブロックを復号するための他の情報を決定するために、受信されたシンタックスエレメントのいくつかを使用する。

[0074] アップサンプリングモジュール１７０は、空間解像度を高めるために、予測モード情報のようなピクセルおよび非ピクセル情報を含むビデオデータを、スケーリングまたは再サンプリングし得る。いくつかの実施形態では、ベースレイヤのビデオレイヤが、拡張レイヤの空間解像度に一致させるためにアップサンプルされ得る。アップサンプリングモジュール１３０は、ベースレイヤピクチャが参照リストに挿入される前にビデオエンコーダの１つまたは複数の他の機能的コンポーネントと調整してベースレイヤピクチャのベースレイヤビデオをアップサンプルし得る。

[0075] 動き補償ユニット１６２はまた、補間フィルタ（interpolation filters）に基づいて補間を行い得る。動き補償ユニット１６２は、参照ブロックのサブ整数ピクセル（sub-integer pixels）についての挿入された値を計算するためにビデオブロックの符号化中に、ビデオエンコーダ２０によって使用されるように挿入フィルタを使用できる。この場合、動き補償ユニット１６２は、受信されたシンタックスエレメントからビデオエンコーダ２０によって使用される補間フィルタを決定し、予測ブロックを作り出すためにこの補間フィルタを使用し得る。

[0076] 逆量子化ユニット１５４は、ビットストリームで提供され、かつ、エントロピー復号ユニット１５０によって復号された量子化変換係数を、例えば、非量子化する（de quantize）といったように、逆量子化する。逆量子化処理は、量子化の度合い、および適用されるべき逆量子化の度合いなどを決定するために、ビデオスライス内の各ビデオブロックのための、ビデオデコーダ３０によって計算された量子化パラメータＱＰＹの使用を含み得る。

[0077] 逆変換ユニット１５６は、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理のような逆変換を変換係数に適用して、ピクセル領域内の残余ブロックを作り出す。

[0078] 動き補償ユニット１６２が動きベクトルおよび他のシンタックスエレメントに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０が、逆変換ユニット１５６からの残余ブロックを動き補償ユニット１６２で生成された対応する予測ブロックに加算することによって、復号されたビデオブロックを形成する。サマー１５８は、この加算動作（summation operation）を行う１つまたは複数のコンポーネントを表す。所望される場合、デブロッキングフィルタ（deblocking filter）はまた、復号されたブロックをフィルタに適用してブロックアーティファクト（blockiness artifacts）を取り除き得る。他のループフィルタ（コーディングループ中、またはコーディングループ後のいずれか）はまた、ピクセル変換をスムーズにするために使用されたり、そうでなければ、ビデオ品質を改善したりし得る。所与のフレームまたはピクチャ内の復号されたビデオブロックは次に、後続の動き圧縮のために使用される参照ピクチャを記憶する参照ピクチャメモリ１６０内に記憶される。参照ピクチャメモリ１６０はまた、図１のディスプレイデバイス３２のようなディスプレイデバイス上での後のプレゼンテーションのために復号されたビデオを記憶する。

[0079] 別の実施形態では、図示されないが、サマー１５８がＣＵのビデオブロックを再構成した後、フィルタモジュールが、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング動作を行い得る。フィルタモジュールがＣＵに関連付けられたブロッキングアーティファクトを低減するためのデブロッキング動作を行った後、ビデオデコーダ３０が復号ピクチャバッファにおいてＣＵのビデオブロックを記憶し得る。復号ピクチャバッファは、後続の動き補償、イントラ予測、および図１のディスプレイデバイス３２のようなディスプレイデバイス上でのプレゼンテーションのために参照ピクチャを提供し得る。例えば、ビデオデコーダ３０は復号ピクチャバッファにおけるビデオブロックに基づいて他のＣＵのＰＵでイントラ予測またはインター予測動作を行い得る。

[0080] 通常のビデオエンコーダでは、元のビデオシーケンスのフレームがイントラモード（Ｉ−モード）またはインターモード（Ｐ−モード）で符号化される複数の長方形の領域またはブロックに分割される。これらブロックは、ＤＣＴコーディングのような変換コーディングのいくつかの種類を使用してコード化される。しかしながら、純粋な変換ベースのコーディング（transform-based coding）は、ピクセルのインターブロックの相互関係を考慮せずに特定のブロックにおけるインターピクセルの相互関係のみを低減させ、さらに変換のための高ビットレートを作り出し得る。現在のデジタル画像コーディング規格（digital image coding standards）はまた、ブロック間のピクセル値の相互関係を低減する特定の方法を有効利用（exploit）し得る。

[0081] 通常、Ｐ−モードで符号化されたブロックは、以前にコード化されたおよび送信されたフレームのうちの１つから予測される。ブロックの予測情報は、２次元（２Ｄ）動きベクトルによって表され得る。Ｉ−モードで符号化されたブロックについては、予測されたブロックが、同じフレーム内ですでに符号化された隣接しているブロックからの空間予測を使用して形成される。予測誤差（prediction error）（例えば、符号化されているブロックと予測されたブロックとの間の差）は、いくつかの離散変換の重み付けされた基礎関数のセットとして表され得る。予測誤差はまた、残余データとも呼ばれ得る。変換は通常、８×８または４×４個のブロック単位で行われ得る。重み付け（例えば、変換係数）は、続いて量子化される。量子化は情報の損失を取り込み、それゆえ量子化された係数は元のものよりも低い精度を有する。

[0082] 量子化された変換係数は動きベクトルおよびいくつかの制御情報とともに完全なコード化されたシーケンス表示を形成でき、シンタックスエレメントと呼ばれる。エンコーダからデコーダへの送信の前に、全てのシンタックスエレメントは、それらの表示のために必要とされるビットの数をさらに低減するためにエントロピー符号化され得る。

[0083] デコーダでは、現在のフレームにおけるブロックが、第１にエンコーダにおけるものと同じ方法でブロックの予測を構成することによって、またその予測に圧縮された予測誤差を加えることによって得られ得る。圧縮された予測誤差は、量子化された係数を使用する変換基準関数に重み付けすることによって見出され得る。再構築されたフレームと元のフレームとの間の差分は、再構築誤差と呼ばれ得る。

[ビデオコーディングおよび圧縮の実施形態］
[0084] ＭＶＣにおけるインター予測は、各ビューの中のインターピクチャ予測およびインタービュー予測（inter-view prediction）（例えば、ビュー間の予測）の両方を含み得る。インタービュー予測は、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを適用し得るが、異なるビューにおけるピクチャが参照ピクチャとして使用されることを可能にする視差動き補償（disparity motion compensation） を使用してＭＶＣでサポートされる。２つのビューのコーディングはまた、ＭＶＣによってサポートされ得る。結果として、ＭＶＣの利点の１つは、ＭＶＣを使用するエンコーダが３Ｄビデオ入力として２つ以上のビューを取得することができ、ＭＶＣを使用するデコーダがこのようなマルチビュー表示を復号できるというものであり得る。このように、ＭＶＣを使用するデコーダおよびレンダラ（renderer）は、２つ以上のビューを有する３Ｄビデオコンテンツを期待できる。

[0085] インタービュー予測は、１つの出力時間インスタンスに関する全てのビューのコード化されたピクチャを含む同じアクセスユニット内のピクチャ間で許可される。そのため、非ベースビュー（non-base view）におけるピクチャをコーディングする場合には、ピクチャが異なるビューの中にあり、同時に別のピクチャとしてのインスタンスである場合、ピクチャは、１つまたは複数の異なる位置において参照リスト内に追加され得る。

[0086] Ｂピクチャについての参照リストを構成する例では、例えば、構成処理が２つのステップを伴い得る。最初に、参照リストが初期化され得る。参照リストの初期化は、例えば、ＰＯＣ（ピクチャオーダカウント（Picture Order Count））値の順序に従ったリストにおいて、図２の復号ピクチャバッファ１１４または図３の参照ピクチャメモリ１６０のような、参照ピクチャメモリ内に参照ピクチャを置くためのメカニズムであり得る。ＰＯＣは、ピクチャのディスプレイ順で並べられ得る。第二に、参照リストがリオーダリング（reordered）され得る。参照リストのリオーダリングは、初期化された参照リストにピクチャが属さない可能性があるが、特定の位置で参照ピクチャメモリ内に参照ピクチャを置くこと、または参照リスト内のピクチャの位置を修正することを伴い得る。参照リストのリオーダリング後、いくつかのピクチャは、最終的な参照リストの位置に置かれることが考慮され得る。しかしながら、いくつかの場合には、ピクチャの位置がリストの動的な参照ピクチャの数を超えるときに、ピクチャが最終的な参照リストのエントリと見なされない可能性がある。動的な参照ピクチャの数は各リストについてのスライスヘッダにおいてシグナリングされ得る。一度参照リストが構成されると、参照インデックスが参照リスト内のピクチャを識別するために使用され得る。

[0087] 時間動きベクトル予測子（ＴＭＶＰ：Temporal Motion Vector Predictor）は、ＨＥＶＣにおいて、参照リストなどの復号ピクチャバッファ内のピクチャの動きベクトルにアクセスすることによって決定され得る。１つの例示的な実施では、ＴＭＶＰがコード化されたビデオシーケンス全体に対してイネーブルさされる場合に、シーケンスパラメータセット（sequence parameter set）における「sps_temporal_mvp_enable_flag」が、１に設定され得る。「slice_temporal_mvp_enable_flag」は次に、ＴＭＶＰが特定のスライスに対してイネーブルされるかどうかを、スライスヘッダにおいてさらにシグナリングし得る。ＴＭＶＰが特定のスライスに対してイネーブルされる場合、「collocated_from_l0_flag」は、同一位置に配置されたピクチャが、リスト０またはリスト１などの参照リストからのものであるかどうかを、スライスヘッダにおいてシグナリングするために使用され得る。参照リストが識別された後、「collocated_ref_idx」は、リスト内のピクチャにおけるピクチャを識別するために、スライスヘッダにおいてシグナリングされ得る。同一位置に配置されたＰＵは、同一位置に配置されたピクチャをチェックすることによって識別され、このＰＵを含んでいるＣＵの右下のＰＵの動きか、またはこのＰＵを含んでいるＣＵの中心にあるＰＵ内の、右下のＰＵの動きのいずれかが使用され得る。

[0088] 図４を見ると、図４は、拡張レイヤの予測のために使用可能なビデオデータ４００の例を図示する概念図である。ビデオデータ４００は、ベースレイヤブロック４１０に関連付けられた予測モード情報（図示されない）および強調表示されたベースレイヤブロック４１２のような、ベースレイヤブロック４１０を含む。予測モード情報は、ベースレイヤブロック４１０のサンプルに関連付けられた非ピクセル情報を含み、ビデオ圧縮の目的のために使用可能であり得る。このような非ピクセル情報は、イントラ予測モードのような予測モード情報、インター予測モード、シンタックス、動きベクトル、参照インデックス、およびインター方向（例えば、単一Ｌ０方向（uni-L0-direction）、単一Ｌ１方向（uni-L1-direction）、または双方向（bi-direction））を含むが、これらに限定されない。

[0089] ベースレイヤブロック４１０は、図４の例における各１６×１６個のサンプルブロックであり得る。強調表示されたベースレイヤブロック４１２の各サンプルが図４に示される。強調表示されたベースレイヤブロック４１２に関連付けられた予測モード情報は、順に、強調表示されたベースレイヤブロック４１２の４×４個のサンプルに対応する解像度で記憶され得る。例えば、予測モード情報の他のセットが、強調表示されたベースレイヤブロック４１２の他の４×４個のサンプルサブブロックに関連付けられた予測モード情報を個別に記憶し得る一方、予測モード情報の１つのセットは、強調表示されたベースレイヤブロック４１２の強調表示された４×４個のサンプルサブブロック４１４に関連付けられた予測モード情報を記憶し得る。図４のこれらブロックサイズおよび対応する予測モード情報解像度が、説明のための例として提供される。いくつかの実施形態では、ベースレイヤブロック４１０が、より多くのサンプル（例えば、３２×３２個のサンプルまたは６４×６４個のサンプル）またはより少ないサンプル（例えば、４×４個のサンプルまたは８×８個のサンプル）を含み、強調表示されたベースレイヤブロック４１２についての予測モード情報は、強調表示されたベースレイヤブロック４１２の、より多くのサンプル（例えば、８×８個のサンプル）またはより少ないサンプル（例えば、２×２または１×１個のサンプル）に対応する解像度を有し得る。

[0090] 図５を参照すると、図５は、ベースレイヤビデオデータおよびアップサンプルされたベースレイヤビデオデータの例を図示する概念図５００である。概念図５００は、アップサンプルされたベースレイヤブロック５２０およびベースレイヤブロック４１０を含む。

[0091] アップサンプルされたベースレイヤブロック５２０は、ビデオデータの拡張レイヤとベースレイヤとの間の空間アスペクト比のような空間アスペクト比に従って、ベースレイヤブロック４１０をアップサンプルすることによって決定され得る。アップサンプルされた場合、ベースレイヤブロック４１０の個々のブロックは、そのため、個々のブロックのスケーリングされた（scaled）または再サンプリングされた（resampled）バージョンを含む、対応するアップサンプルされたブロックを有する。例えば、強調表示されたアップサンプルされたベースレイヤブロック５２２は、強調表示されたベースレイヤブロック４１２に対応し、強調表示されたベースレイヤブロック４１２をアップサンプルすることによって決定され得る。

[0092] ベースレイヤブロック４１０に関連付けられた予測モード情報はまた、アップサンプルされ、アップサンプルされたベースレイヤブロック５２０に関連付けられる。ベースレイヤブロック４１０をアップサンプルするために使用されるのと同じ空間アスペクト比に従って、予測モード情報がアップサンプルされるため、予測モード情報のアップサンプリングは、ベースレイヤブロック５２０のアップサンプリングと一致し得る。いくつかの実施では、アップサンプルされた予測モード情報の空間解像度がさらに、動き情報のような特定の予測モード情報のダウンサンプリングのために使用されるブロックに依存し得る。

[0093] いくつかの実施形態では、１つまたは複数のベースレイヤブロックに関連付けられた予測モード情報（例えば、１つのベースレイヤブロックのみ）が、アップサンプルされたベースレイヤブロック全体に関連付けられたアップサンプルされた予測モード情報を決定するために使用され得る。例えば、強調表示された４×４個のサンプルサブブロック４１４に関連付けられた予測モード情報は、アップサンプルされ、強調表示されたアップサンプルされたベースレイヤブロック５２２に関連付けられた予測モード情報として割り当てられ得る。このようなアプローチは、有利であることに、（１）強調表示されたアップサンプルされたベースレイヤブロック５２２に関連付けられインター予測コーディングに使用するために記憶された予測モード情報の量を制限または低減することができ、（２）ブロックレベル変更を実施することなく、単一レイヤコーディングのためのコーデックの既存の実施を利用できる。１つの実施では、アップサンプルされたピクセル情報に加えて、予測モード情報が、生成されたインターレイヤピクチャに記憶され得る。インターレイヤピクチャは、拡張レイヤピクチャの空間解像度と一致する空間解像度を有する新規に生成されたピクチャおよびベースレイヤピクチャのアップサンプルされたバージョンであり得る。導出（derivation）の後、インターレイヤピクチャは、時間参照ピクチャと同じ情報を含み、また参照ピクチャリストに追加され、拡張レイヤのインター予測のために使用され得る。拡張レイヤブロックのサイズはさらに、コーディングにおいて使用される拡張レイヤコーデックによって定義される予測モード情報記憶装置に従って選択され得る。例えば、ＨＥＶＣ規格における動き情報サブサンプリング（motion information subsampling）では、予測モード情報の１つのセットが、１６×１６個のサンプルベースで記憶され得る。ブロックレベルにおける、およびスライスレベルを超える変更を取り入れることなくＨＥＶＣ規格に準拠するために、予測モード情報がインターレイヤピクチャにおいて記憶される粒度（granularity）は、少なくとも１６×１６個のサンプルであり得る。

[0094] このアプローチに加えて、１つまたは複数の異なる選択規則は、アップサンプルされ、アップサンプルされたベースレイヤブロックに関連付けられるべき予測モード情報を選択するために使用され得る。異なる選択規則は、予測モード情報を選択するための代替的なまたは複合的な規則を提供し得る。１つの選択規則の例は、特定の予測モード情報に関連付けられたベースレイヤサブブロック（例えば、強調表示された４×４個のサンプルサブブロック４１４）のロケーションが、予測モード情報を選択するまたは導出するために使用され得ることを提供し得る。この選択規則のためのサブブロックのロケーションは、例えば、ベースレイヤブロックの左下または右上のコーナーサブブロックのような特定のコーナーサブブロック、あるいは、ベースレイヤブロックの左上中央や右下中央のサブブロックのような中央のサブブロックを示し得る。図５の例では、強調表示された４×４個のサンプルサブブロック４１４に関連付けられた予測モード情報が、右下中央のサブブロックのロケーション選択規則に基づいて選択され得る。選択規則の別の例は、予測モード情報の値が予測モード情報を選択するために使用されることを提供し得る。例えば、予測モードユニットの動きベクトルの値が比較され、最も高いまたは最も低い、合計または平均値を有する動きベクトルに関連付けられた予測モード情報が選択され得る。１つまたは複数の選択規則は、シンタックスエレメントまたはヘッダ（例えば、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダ）、あるいは他の場所に記憶されるフラグとしてシグナリングされるか、実施に依存する規則のデフォルト設定に従って決定され得る。

[0095] 追加として、１つまたは複数の選択規則が適用される場合、ベースレイヤブロックに関連付けられるいくつかの予測モード情報は、いくつかの場合ではアップサンプルされない可能性があるため、例えば動きベクトルと同様に、情報のこの部分が空間比（spatial ratio）に依存しない可能性がある。従って、特定の予測モード情報は、選択規則に基づいて導出され、次に、アップサンプルされたベースレイヤブロックに関連付けられる前にアップサンプルされ得る。別の実施形態では、ベースレイヤブロックに関連付けられた予測モード情報が第１にアップサンプルされ、次に選択規則に従って、特定のアップサンプルされた予測モード情報が導出され、アップサンブルされたベースレイヤブロックに関連付けられる。さらに、予測モード情報は、いくつかの実施において、アップサンプリング処理の前または後にダウンサンプリングされ（downsampled）得る。

[0096] 強調表示されたアップサンプルされたベースレイヤブロック５２２のように、アップサンプルされたレイヤブロックを含むアップサンプルされたベースピクチャは、ベースレイヤ再構成ピクチャ（base layer reconstructed picture）の一部分として、または新規に生成されたピクチャ（例えば、インターレイヤピクチャ）として、１つまたは複数の拡張レイヤ参照ピクチャリストに置かれ、拡張レイヤの予測のために使用され得る。ベースレイヤ再構成ピクチャまたはインターレイヤ参照ピクチャは、１つまたは複数の参照リスト内の別のピクチャを置き換えるか、または追加され得る。アップサンプルされたベースレイヤブロックに関連付けられたアップサンプルされた予測モード情報は、拡張レイヤのインターレイヤ動き予測のために使用され得る。異なるブロックのアップサンプリングおよび／または予測モードのアップサンプリングを有する１つ以上のベースレイヤピクチャは、１つまたは複数の参照リストを追加され得る。異なるブロックのアップサンプリングおよび／または予測モードのアップサンプリングは、シンタックスエレメントまたはフラグを使用してマーキングされる（marked）か、または示され得る。特定の実施形態では、シンタックスエレメントまたはフラグが、ブロックまたは予測モードアップサンプリングの少なくとも１つが、デフォルトのアップサンプリングとは異なることを示し得る。

[0097] 特定の実施形態では、参照として挿入されたベースレイヤピクチャに、予測モード情報を割り当てることに関連する問題を避けるために、ベースレイヤピクチャが、同一位置に配置された参照ピクチャとして使用されない可能性がある（例えば、「collocated_ref_idx」パラメータは、拡張レイヤ参照リストにおけるベースレイヤピクチャの参照インデックスと等しくはない可能性がある）。このような実施における参照リストは、リスト０、リスト１、またはリスト０およびリスト１の両方に設定され得る。参照リストはさらに、時間動きベクトル予測のために使用される同一位置に配置されたピクチャが、リスト０またはリスト１から導出されるかどうかを示す「collocated_from_l0_flag」パラメータによって、定義され得る。さらに、同一位置に配置された参照インデックスがベースレイヤ参照ピクチャを指す場合、ＴＭＶＰは、利用できないものとしてマーキングされ得る（例えば、１つまたは複数のＴＭＶＰフラグは、「sps_temporal_mvp_enable_flag」または「slice_temporal_mvp_enable_flag」パラメータがオフになったことを指示され得るといったように、ＴＭＶＰが停止したことを指示し得る）。

[0098] いくつかの実施形態では、ベースレイヤピクチャがＰスライスのような拡張レイヤ参照ピクチャリストに挿入される場合に、インター予測のための予測モード情報がリスト０について指定され得るが、リスト１について指定されない。一方、ベースレイヤピクチャがＢスライスとして挿入される場合には、インター予測のための予測モード情報がリスト０およびリスト１について指定され得る。しかしながら、ベースレイヤブロックに関連付けられた予測モード情報が一方向性（uni-directional）である場合でも、予測モード情報が、予測モード情報のためのアップサンプリング処理の一部分として、双方向性（bi-directional）となり得る。１つのアプローチの例として、一方向性動きベクトル（uni-directional motion vector）は、次に、特定の参照インデックス（例えば、０または１）でリスト１に使用されるように、リスト０からスケーリングされる。別の例では、一方向の予測モード情報が０の動きまたは他のデフォルトの動き情報を用いて補間される。さらに、Ｂスライスについても、一方向性動きフィールドがリスト０またはリスト１のために使用され得る。

[0099] 図６は、ベースレイヤビデオデータおよびアップサンプルされたベースレイヤビデオデータの例を図示する概念図６００である。強調表示されたベースレイヤブロック４１２は、アップサンプルされたベースレイヤ内の強調表示されたアップサンプルされたベースレイヤブロック６２４の隣接するブロックである、強調表示されアップサンプルされたベースレイヤブロック５２２の位置に対応するベースレイヤ内の位置に配置される。しかしながら、図６は図５と同様に、強調表示された４×４個のサンプルサブブロック４１４に関連付けられた予測モード情報がアップサンプルされ、追加的にまたは代替的に、強調表示されたアップサンプルされたベースレイヤブロック６２２に関連付けられた予測モード情報として割り当てられ得る。すなわち、強調表示された４×４個のサンプルサブブロック４１４は、図５に示されたものとは異なりアップサンプルされたベースレイヤブロックに関連して配置され、アップサンプルされたベースレイヤブロックに対して同一位置に配置されない可能性がある。いくつかの実施形態では、予測モードユニット４２２からの予測モード情報が追加的にまたは代替的に、同一位置に配置された強調されたアップサンプルされたベースレイヤブロック５２２、または強調表示されたアップサンプルされたベースレイヤブロック６２４の、他の隣接しているまたは近傍のブロックのような、１つまたは複数の他のアップサンプルされたベースレイヤブロックに割り当てられ得る。

[00100] 図７は、ビデオデータをコーディングするための方法７００の例を図示する。方法７００は、インター予測モジュール１２１、アップサンプリングモジュール１３０、動き補償ユニット１６２、またはアップサンプリングモジュール１７０を含む、ビデオエンコーダ２０またはビデオデコーダ３０の、１つまたは複数のコンポーネントによって行われ得る。いくつかの実施形態では、他のコンポーネントが、本明細書で説明されたステップの１つまたは複数を実施するために使用され得る。方法７００は、例えば、図４−６に関して説明される動作の１つまたは複数を行うために使用され得る。

[00101] ノード７０５では、ベースレイヤ内のビデオブロックの複数のサブブロックの１つに関連付けられた予測モード情報が、少なくとも選択規則を使用して導出される。予測モード情報は、ビデオブロックに関連付けられた、イントラ予測モード、インター予測モード、動き情報などを含み、ビデオブロックのビデオ圧縮のために使用され得る。ビデオブロックに関連付けられた予測モード情報は、ビデオブロックの４×４個のサンプルに対応する解像度を用いて記憶され得る。いくつかの実施形態では、ビデオブロックの特定のサブブロック（例えば、右下中央のサブブロック）に関連付けられた予測モード情報が、選択規則に従って選択され導出される。特定の予測モードユニットは、シンタックスエレメントまたはフラグ、あるいは、規則のデフォルト設定に基づいて、追加的にまたは代替的に示され決定され得る。

[00102] ノード７１０では、導出された予測モード情報およびビデオブロックがアップサンプルされる。予測モード情報は、例えば、いくつかの実施におけるビデオコンテンツのベースレイヤと拡張レイヤとの間の空間アスペクト比に従って、アップサンプルされ得る。

[00103] ノード７１５では、アップサンプルされた予測モード情報が、アップサンプルされたビデオブロックの各アップサンプルされたサブブロックに関連付けられる。アップサンプルされた予測モード情報およびアップサンプルされたビデオブロックは、順に、拡張レイヤにおいてビデオブロック（例えば、サンプル値）を予測するために共同で使用され得る。特定の実施形態で、拡張レイヤ内のビデオブロックは、ベースレイヤ内のビデオブロックが拡張レイヤ内のビデオブロックの位置に対応するベースレイヤ内の位置に配置されるようにベースレイヤ内のビデオブロックと同一位置に配置され得る。代替的に、ベースレイヤ内のビデオブロックは、拡張レイヤ内のビデオブロックに対して隣接するビデオブロックの位置に対応するベースレイヤ内の位置に配置され得る。１つの例では、隣接するビデオブロックが拡張レイヤ内のビデオブロックの近傍に配置され得る。

[00104] 方法７００に対して、追加的にまたは代替的に、デフォルト予測モード情報は、いくつかの実施形態におけるアップサンプルされた予測モード情報よりもむしろ、アップサンプルされたベースレイヤブロックおよび／またはピクチャに関連付けられ得る。例えばゼロの動きは、アップサンプルされたベースレイヤブロックに関連付けられた参照インデックスおよび動きベクトルがゼロに設定されるように、アップサンプルされたベースレイヤブロックに関連付けられ得る。別の例では、アップサンプルされたベースレイヤブロックに関連付けられた予測モード情報が、関連付けられた参照インデックスをマイナス１に設定することによって、利用できないものとしてマーキングされ得る。このようなケースでは、デフォルト予測モード情報がリスト０、リスト１、またはリスト０およびリスト１の両方に設定され得る。

[00105] さらに、デフォルト予測モード情報は、アップサンプルされたレイヤブロックおよび／または割当規則に従うなどの、特定の条件下のピクチャのみに関連付けられ得る。例えば、デフォルト予測モード情報は、同一位置に配置されたピクチャをＴＭＶＰターゲット参照ピクチャが参照する場合に使用でき（例えば、ＴＭＶＰ参照インデックスが同一位置に配置されたインデックスと等しくなる）、またＴＭＶＰターゲット参照ピクチャが、同一位置に配置されたピクチャを参照しない場合に使用されない可能性がある。別の例では、デフォルト予測モード情報が、ベースレイヤを圧縮するために使用されるコーディングに依存し得る。例えば、デフォルト予測モード情報は、ベースレイヤがＨ．２６４／ＡＶＣまたはＭＰＥＧ−２などのＨＥＶＣ以外のコーデックを使用してコード化される場合に使用でき、またベースレイヤが、ＨＥＶＣコーデックを使用してコード化される場合に使用されない可能性がある。このようなアプローチは、有利であることに、ベースレイヤシンタックスを抽出することが、ベースレイヤを圧縮するために使用される所与のコーデックが困難であり得る場合、ベースレイヤシンタックスを抽出することを回避できる。

[00106] １つまたは複数の例では、説明される機能が、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実施され得る。ソフトウェアで実施される場合、これら機能は、コンピュータ読取可能媒体上で１つまたは複数の命令またはコードとして記憶または送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読取可能媒体は、例えば、通信プロトコルに従って、コンピュータプログラムの１つの場所から別の場所への移送を容易にする任意の媒体を含む通信媒体、またはデータ記憶媒体のような有形の媒体に対応するコンピュータ読取可能な記憶媒体を含み得る。このように、コンピュータ読取可能媒体は一般に、（１）非一時的である、有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実施のための命令、コード、および／またはデータ構造を検索するために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得るいずれかの利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ読取可能媒体を含み得る。

[00107] 限定ではなく例として、このようなコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置、またはその他の磁気記憶デバイス、フラッシュメモリ、あるいは、データ構造または命令の形式で所望のプログラムコードを記憶するために使用することができ、かつコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。また、任意の接続は、厳密にはコンピュータ読取可能媒体と称される。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まないが、代わりとして非一時的な有形の記憶媒体を対象にすることが理解されるべきである。本明細書で使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびＢｌｕ−ｒａｙ（登録商標）ディスクを含み、ここで、ディスク（disks）が通常、磁気的にデータを再生する一方、ディスク（discs）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読取可能媒体の範囲内に含まれるべきである。

[00108] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の同等な統合されたまたは離散型の論理回路などの、１つまたは複数のプロセッサによって実行され得る。従って、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造、または本明細書で説明された技法の実施に適した任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能が、符号化および復号のために構成された専用のハードウェアモジュールおよび／またはソフトウェアモジュール内に提供でき、または、組み合わされたコーデックに組み込まれ得る。また、これら技法は、１つまたは複数の回路または論理要素において全て実施され得る。

[00109] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、幅広い様々なデバイスまたは装置で実施され得る。様々な構成要素、モジュール、またはユニットは、本開示において、開示された技法を実行するように構成されたデバイスの機能的な態様を強調するために説明されるものの、これらは異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされ得るか、または適切なソフトウェアおよび／またはファームウェアと併せて、上述されたような１つまたは複数のプロセッサを含む、相互運用ハードウェアユニットの集合によって提供され得る。

[00110] さらに他の例では、本開示は、圧縮されたビデオコンテンツを記憶するコンピュータ読取可能媒体に向けられ、ここにおいて、ビデオコンテンツは、本明細書で説明された技法の１つまたは複数に従って圧縮される。

[00111] 様々な例が説明された。これら例および他の例は、以下の請求項の範囲内にある。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータをコーディングするように構成された装置であって、
第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するように構成されたメモリユニットであって、前記第１のレイヤに関連付けられた前記ビデオデータは少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、メモリユニットと、
前記メモリユニットと通信するプロセッサと、
を備え、前記プロセッサは、
選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出し、
前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルし、
前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付ける
ように構成される、装置。
［Ｃ２］
前記選択規則に従って、前記プロセッサは、前記第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、前記複数のサブブロックの前記第１のサブブロックに関連付けられた前記予測モードデータを選択するように構成される、Ｃ１に記載の装置。
［Ｃ３］
前記第１のサブブロックは、前記第１のレイヤブロックの前記複数のサブブロックのうちの１つが各々の側に隣接した中心のサブブロックである、Ｃ２に記載の装置。
［Ｃ４］
前記プロセッサは信号フラグに従って前記選択規則を決定するように構成される、Ｃ１に記載の装置。
［Ｃ５］
前記プロセッサは、前記アップサンプルされた第１のレイヤブロックと前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記アップサンプルされた予測モードデータとに少なくとも基づいて、前記第２のレイヤ内の第２のレイヤブロックの予測された値を決定するように構成され、
前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの位置に対応する前記第１のレイヤ内の前記位置に配置されるか、前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの近傍に位置付けられた隣接している第２のレイヤブロックの前記位置に対応する前記第１のレイヤ内の前記位置に配置される、
Ｃ１に記載の装置。
［Ｃ６］
前記第１のレイヤブロックの各サブブロックに関連付けられた前記該当の予測モードデータは動きベクトルを備える、Ｃ１に記載の装置。
［Ｃ７］
前記アップサンプルされた予測モードデータと前記導出された予測モードデータとの間の空間解像度比は、前記第２の空間解像度と前記第１の空間解像度との間の前記空間解像度比と一致する、Ｃ１に記載の装置。
［Ｃ８］
前記プロセッサは、
第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付け、
前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、割当規則に少なくとも基づいて、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付ける、
ように構成される、Ｃ１に記載の装置。
［Ｃ９］
前記割当規則に従って、前記プロセッサは、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなる前記予測モードデータを割り当てるように構成される、Ｃ８に記載の装置。
［Ｃ１０］
前記プロセッサは、参照リストに前記アップサンプルされた第１のレイヤブロックを挿入するように構成される、Ｃ１に記載の装置。
［Ｃ１１］
前記プロセッサはデコーダを備える、Ｃ１に記載の装置。
［Ｃ１２］
前記プロセッサはエンコーダを備える、Ｃ１に記載の装置。
［Ｃ１３］
前記装置はデバイスの一部分であり、前記デバイスはコンピュータおよびワイヤレス通信デバイスハンドセットからなるグループから選択される、Ｃ１に記載の装置。
［Ｃ１４］
ビデオデータをコーディングする方法であって、
第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することであって、前記第１のレイヤに関連付けられた前記ビデオデータは少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶することと、
選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出することと、
前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルすることと、
前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付けることと
を備える、方法。
［Ｃ１５］
前記選択規則に従って、前記導出することは、前記第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、前記複数のサブブロックの前記第１のサブブロックに関連付けられた前記予測モードデータを導出することを備える、Ｃ１４に記載の方法。
［Ｃ１６］
前記第１のサブブロックは、前記第１のレイヤブロックの前記複数のサブブロックのうちの１つが各々の側に隣接した中心のサブブロックである、Ｃ１５に記載の方法。
［Ｃ１７］
信号フラグに従って前記選択規則を決定することをさらに備える、Ｃ１４に記載の方法。
［Ｃ１８］
前記アップサンプルされた第１のレイヤブロックと前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記アップサンプルされた予測モードデータとに少なくとも基づいて、前記第２のレイヤ内の第２のレイヤブロックの予測された値を決定することをさらに備え、
前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの位置に対応する前記第１のレイヤ内の前記位置に配置されるか、前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの近傍に位置付けられた隣接している第２のレイヤブロックの前記位置に対応する前記第１のレイヤ内の前記位置に配置される、
Ｃ１４に記載の方法。
［Ｃ１９］
前記第１のレイヤブロックの各サブブロックに関連付けられた前記該当の予測モードデータは動きベクトルを備える、Ｃ１４に記載の方法。
［Ｃ２０］
前記アップサンプルされた予測モードデータと前記導出された予測モードデータとの間の空間解像度比は、前記第２の空間解像度と前記第１の空間解像度との間の前記空間解像度比と一致する、Ｃ１４に記載の方法。
［Ｃ２１］
第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付けることと、
前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、割当規則に少なくとも基づいて、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付けることと
をさらに備える、Ｃ１４に記載の方法。
［Ｃ２２］
前記割当規則に従って、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなる前記予測モードデータを割り当てることをさらに備える、Ｃ２１に記載の方法。
［Ｃ２３］
参照リストに、前記アップサンプルされた第１のレイヤブロックを挿入することをさらに備える、Ｃ１４に記載の方法。
［Ｃ２４］
符号化されたビデオビットストリームから抽出されたシンタックスエレメントを受信することをさらに備え、前記シンタックスエレメントは第１のレイヤビデオブロックに関連付けられた前記予測モード情報を示す、Ｃ１４に記載の方法。
［Ｃ２５］
符号化されたビデオビットストリームのためのシンタックスエレメントを生成することをさらに備え、前記シンタックスエレメントは第１のレイヤビデオブロックに関連付けられた前記予測モード情報を示す、Ｃ１４に記載の方法。
［Ｃ２６］
ビデオデータをコーディングするように構成された装置であって、
第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するための手段であって、前記第１のレイヤに関連付けられた前記ビデオデータは少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶するための手段と、
選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出するための手段と、
前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルするための手段と、
前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付けるための手段と
を備える、装置。
［Ｃ２７］
前記選択規則に従って、前記導出するための手段は、前記第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、前記複数のサブブロックの前記第１のサブブロックに関連付けられた前記予測モードデータを導出するように構成される、Ｃ２６に記載の装置。
［Ｃ２８］
前記アップサンプルされた第１のレイヤブロックと前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記アップサンプルされた予測モードデータとに少なくとも基づいて、前記第２のレイヤ内の第２のレイヤブロックの予測された値を決定するための手段をさらに備え、
前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの位置に対応する前記第１のレイヤ内の前記位置に配置されるか、前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの近傍に位置付けられた隣接している第２のレイヤブロックの前記位置に対応する前記第１のレイヤ内の前記位置に配置される、
Ｃ２６に記載の装置。
［Ｃ２９］
前記関連付けるための手段は、
第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付け、
前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、割当規則に少なくとも基づいて、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付ける
ように構成される、Ｃ２６に記載の装置。
［Ｃ３０］
実行可能なプログラム命令を記憶する非一時的コンピュータ記憶装置であって、ビデオデータをコーディングするための装置に、
第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することであって、前記第１のレイヤに関連付けられた前記ビデオデータは少なくとも第１のレイヤブロックと、前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶することと、
選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた断定モードデータを導出することと、
前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルすることと、
前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付けることと
を備える処理を行うことを指示する、非一時的コンピュータ記憶装置。
［Ｃ３１］
前記選択規則に従って、前記処理は、前記第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、前記複数のサブブロックの前記第１のサブブロックに関連付けられた前記予測モードデータを導出することを備える、Ｃ３０に記載の非一時的コンピュータ記憶装置。
［Ｃ３２］
前記処理は、前記アップサンプルされた第１のレイヤブロックと前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記アップサンプルされた予測モードデータとに少なくとも基づいて、前記第２のレイヤ内の第２のレイヤブロックの予測された値を決定することをさらに備え、
前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの位置に対応する前記第１のレイヤ内の前記位置に配置されるか、前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの近傍に位置付けられた隣接している第２のレイヤブロックの前記位置に対応する前記第１のレイヤ内の前記位置に配置される、
Ｃ３０に記載の非一時的コンピュータ記憶装置。
［Ｃ３３］
前記処理は、
第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、前記アップサンプルされた予測モードデータを関連付けることと、
前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、割当規則に少なくとも基づいて、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに、割り当てられた予測モードデータを関連付けることと
を備える、Ｃ３０に記載の非一時的コンピュータ記憶装置。

Claims (16)

1. ビデオデータを復号するように構成された装置であって、
   第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するための手段であって、前記第１のレイヤに関連付けられた前記ビデオデータは、少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは、各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶するための手段と、
   選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた前記予測モードデータを導出するための手段と、
   前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルするための手段であって、前記アップサンプルされた第１のレイヤブロックは、複数のアップサンプルされたサブブロックを含む、アップサンプルするための手段と、
   前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てるための手段と、
   インターレイヤピクチャに、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを記憶するための手段と、
   前記第２のレイヤのインター予測のために使用可能な参照ピクチャリストに、前記インターレイヤピクチャを追加するための手段と、
   第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てるための手段と、
   割当規則に少なくとも基づいて、前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、デフォルト予測モードデータを割り当てるための手段と
   を備える、装置。
2. ビデオデータを符号化するように構成された装置であって、
   第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶するための手段であって、前記第１のレイヤに関連付けられた前記ビデオデータは、少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは、各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶するための手段と、
   選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた前記予測モードデータを導出するための手段と、
   前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルするための手段であって、前記アップサンプルされた第１のレイヤブロックは、複数のアップサンプルされたサブブロックを含む、アップサンプルするための手段と、
   前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てるための手段と、
   インターレイヤピクチャに、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを記憶するための手段と、
   前記第２のレイヤのインター予測のために使用可能な参照ピクチャリストに、前記インターレイヤピクチャを追加するための手段と、
   第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てるための手段と、
   割当規則に少なくとも基づいて、前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、デフォルト予測モードデータを割り当てるための手段と
   を備える、装置。
3. ビデオデータを復号する方法であって、
   第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することであって、前記第１のレイヤに関連付けられた前記ビデオデータは、少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは、各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶することと、
   選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた前記予測モードデータを導出することと、
   前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルすることであって、前記アップサンプルされた第１のレイヤブロックは、複数のアップサンプルされたサブブロックを含む、アップサンプルすることと、
   前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てることと、
   インターレイヤピクチャに、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを記憶することと、
   前記第２のレイヤのインター予測のために使用可能な参照ピクチャリストに、前記インターレイヤピクチャを追加することと、
   第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てることと、
   割当規則に少なくとも基づいて、前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、デフォルト予測モードデータを割り当てることと
   を備える、方法。
4. ビデオデータを符号化する方法であって、
   第１の空間解像度を有する第１のレイヤと前記第１の空間解像度に対して異なる第２の空間解像度を有する第２のレイヤとに関連付けられたビデオデータを記憶することであって、前記第１のレイヤに関連付けられた前記ビデオデータは、少なくとも第１のレイヤブロックと前記第１のレイヤブロックに関連付けられた第１のレイヤ予測モード情報とを含み、前記第１のレイヤブロックは、各サブブロックが前記第１のレイヤ予測モード情報の該当の予測モードデータに関連付けられた複数のサブブロックを含む、記憶することと、
   選択規則に少なくとも基づいて、前記複数のサブブロックのうちの１つに関連付けられた前記予測モードデータを導出することと、
   前記導出された予測モードデータおよび前記第１のレイヤブロックをアップサンプルすることであって、前記アップサンプルされた第１のレイヤブロックは、複数のアップサンプルされたサブブロックを含む、アップサンプルすることと、
   前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てることと、
   インターレイヤピクチャに、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを記憶することと、
   前記第２のレイヤのインター予測のために使用可能な参照ピクチャリストに、前記インターレイヤピクチャを追加することと、
   第１のコーダ−デコーダ（コーデック）が前記第１のレイヤブロックを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、前記アップサンプルされた予測モードデータを割り当てることと、
   割当規則に少なくとも基づいて、前記第１のコーデックとは異なる第２のコーデックが前記第１のレイヤ内のビデオユニットを圧縮するために使用される場合に、前記アップサンプルされた第１のレイヤブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして、デフォルト予測モードデータを割り当てることと
   を備える、方法。
5. 前記選択規則に従って、前記導出することは、前記第１のレイヤブロックの１つまたは複数の他のサブブロックに対する第１のサブブロックのロケーションに少なくとも基づいて、前記複数のサブブロックの前記第１のサブブロックに関連付けられた前記予測モードデータを導出することを備える、請求項３または４に記載の方法。
6. 前記第１のサブブロックは、前記第１のレイヤブロックの前記複数のサブブロックのうちの１つが各々の側に隣接した中心のサブブロックである、請求項５に記載の方法。
7. 信号フラグに従って前記選択規則を決定することをさらに備える、請求項３または４に記載の方法。
8. 前記参照ピクチャリストに追加された前記インターレイヤピクチャに記憶された、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを使用して、前記第２のレイヤ内の第２のレイヤブロックの各サブブロックのために予測された値を決定することをさらに備え、前記第１のレイヤブロックが前記第２のレイヤ内の前記第２のレイヤブロックの位置に対応する前記第１のレイヤ内の位置に配置される、請求項３または４に記載の方法。
9. 前記第１のレイヤブロックの各サブブロックに関連付けられた前記該当の予測モードデータは、動きベクトルを備える、請求項３または４に記載の方法。
10. 前記アップサンプルされた予測モードデータと前記導出された予測モードデータとの間の空間解像度比は、前記第２の空間解像度と前記第１の空間解像度との間の空間解像度比と一致する、請求項３または４に記載の方法。
11. 前記割当規則に従って、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなる前記デフォルト予測モードデータを割り当てることをさらに備える、請求項３または４に記載の方法。
12. 前記参照ピクチャリストに追加された前記インターレイヤピクチャに記憶された、前記複数のアップサンプルされたサブブロックと前記複数のアップサンプルされたサブブロックの各アップサンプルされたサブブロックに関連付けられた前記予測モードデータとして割り当てられた前記アップサンプルされた予測モードデータとを使用して、前記第２のレイヤ内の第２のレイヤブロックの各サブブロックのために予測された値を決定することをさらに備え、前記第１のレイヤブロックは、前記第２のレイヤ内の前記第２のレイヤブロックの近傍に位置付けられた、隣接している第２のレイヤブロックの位置に対応する前記第１のレイヤ内の位置に配置される、請求項３または４に記載の方法。
13. 符号化されたビデオビットストリームから抽出されたシンタックスエレメントを受信することをさらに備え、前記シンタックスエレメントは、前記第１のレイヤブロックに関連付けられた前記第１のレイヤ予測モード情報を示す、請求項３に記載の方法。
14. 符号化されたビデオビットストリームのためのシンタックスエレメントを生成することをさらに備え、前記シンタックスエレメントは、前記第１のレイヤブロックに関連付けられた前記第１のレイヤ予測モード情報を示す、請求項４に記載の方法。
15. ビデオデータを符号化または復号するための装置に、請求項３乃至１４のうちのいずれかに記載の方法を行うことを指示する、実行可能なプログラム命令を記憶する非一時的コンピュータ記憶装置。
16. 前記割当規則に従って、ゼロ動きベクトル、ゼロに等しい参照インデックス、マイナス１に等しい参照インデックス、および利用できないものとしてマーキングされた動きフィールドのうちの少なくとも１つとなる前記デフォルト予測モードデータを割り当てるための手段をさらに備える、請求項１または２に記載の装置。

Images