JP6780054B2 - マルチレイヤビデオコーディングにおける３次元ルックアップテーブルベースの色域スケーラビリティ - Google Patents

Description

関連出願
[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年１０月１４日に出願された米国仮出願第６１／８９０，８４３号の利益を主張する。

[0002]本開示は、ビデオコーディングに関する。

[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタル直接ブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータもしくはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲーム機、セルラー電話機もしくは衛星無線電話機、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイス、および類似物を含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって規定された規格、およびそのような規格の拡張に記載されているビデオコーディング技法などのビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶することができる。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれる場合もあるビデオブロックに区分される場合がある。ピクチャのイントラコード化（intra-coded）（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（inter-coded）（ＰもしくはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用することができる。ピクチャは、フレームと呼ばれる場合があり、参照ピクチャは、参照フレームと呼ばれる場合がある。

[0005]空間予測または時間予測は、コーディングされるべきブロックに関する予測ブロックをもたらす。残差データは、コーディングされるべきオリジナルブロックと予測ブロックとの間のピクセル差を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、次いで量子化され得る残差変換係数が生じ得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。

[0006]概して、本開示は、マルチレイヤビデオコーディング（multi-layer video coding）における３次元（３Ｄ）ルックアップテーブルベースの色域スケーラビリティ（lookup table based color gamut scalability）について説明する。一例として、マルチレイヤビデオコーディングは、スケーラブルビデオコーディング拡張、マルチビュービデオコーディング拡張および３Ｄビデオコーディング（すなわち、マルチビュービデオコーディングプラス深度）拡張、または他のマルチレイヤビデオコーディング規格のうちのいずれかを含んでいる、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格に従い得る。色域スケーラビリティに関する技法は、ビデオデータの下位レイヤに関する色域（a color gamut）がそのビデオデータの上位レイヤに関する色域と異なるとき、レイヤ間参照ピクチャを生成するためにビデオエンコーダおよび／またはビデオデコーダによって使用され得る。

[0007]たとえば、ビデオエンコーダおよび／またはビデオデコーダは、まず、下位レイヤに関する参照ピクチャの色データを上位レイヤに関する色域に変換するために、色域スケーラビリティのための３Ｄルックアップテーブルを使用して、色予測を実行し、次いで、変換された色データに基づいて、レイヤ間参照ピクチャ（inter-layer reference pictures）を生成することができる。本開示で説明する技法によれば、ビデオエンコーダおよび／またはビデオデコーダは、第１のクロマ成分および第２のクロマ成分に関するのとは、ルーマ成分に関して異なるサイズを有する、少なくとも１つの３Ｄルックアップテーブルを生成する。ビデオエンコーダおよび／またはビデオデコーダは、３Ｄルックアップテーブルのルーマ次元に関して異なる数のセグメントを使用して、この非対称３Ｄルックアップテーブル（asymmetric 3D lookup table）を生成することができる。このようにして、良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得る。

[0008]一例では、本開示はマルチレイヤビデオデータを処理する方法を対象とし、本方法は、色域スケーラビリティのための少なくとも１つの３Ｄルックアップテーブルを生成することと、ここにおいて、少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分の各々に関するのとは、ルーマ成分に関して異なるサイズを有する、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、その少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、その変換された色データに基づいて、そのビデオデータの上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することとを備える。

[0009]別の例では、本開示はマルチレイヤビデオデータを処理するためのビデオ処理デバイスを対象とし、本デバイスは、マルチレイヤビデオデータを記憶するように構成されたメモリと、そのメモリと通信する１つまたは複数のプロセッサとを備える。この１つまたは複数のプロセッサは、色域スケーラビリティのための少なくとも１つの３Ｄルックアップテーブルを生成することと、ここにおいて、少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとは、ルーマ成分に関して異なるサイズを有する、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、その少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、その変換された色データに基づいて、そのビデオデータの上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することとを行うように構成される。

[0010]さらなる例では、本開示は、マルチレイヤビデオデータを処理するためのビデオ処理デバイスを対象とし、本デバイスは、色域スケーラビリティのための少なくとも１つの３Ｄルックアップテーブルを生成するための手段と、ここにおいて、少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとは、ルーマ成分に関して異なるサイズを有する、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、その少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行するための手段と、その変換された色データに基づいて、そのビデオデータの上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成するための手段とを備える。

[0011]別の例では、本開示は、実行されるとき、１つまたは複数のプロセッサに、色域スケーラビリティのための少なくとも１つの３Ｄルックアップテーブルを生成することと、ここにおいて、少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとは、ルーマ成分に関して異なるサイズを有する、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、その少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、その変換された色データに基づいて、そのビデオデータの上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することとを行わせる、マルチレイヤビデオデータを処理するための命令を記憶したコンピュータ可読記憶媒体を対象とする。

[0012]１つまたは複数の例の詳細は、添付の図面および以下の説明において記載される。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。

[0013]３Ｄルックアップテーブルベースの色域スケーラビリティのための技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0014]３つの異なる次元におけるスケーラビリティの一例を示す概念図。 [0015]スケーラブルビデオコーディングビットストリームのある例示的な構造を示す概念図。 [0016]ビットストリーム順序で、例示的なスケーラブルビデオコーディングアクセスユニットを示す概念図。 [0017]ＨＥＶＣに対するある例示的なスケーラブルビデオコーディング拡張（ＳＨＶＣ：scalable video coding extension to HEVC）エンコーダを示すブロック図。 [0018]サンプルビデオシーケンスのある例示的な色域を示すグラフ。 [0019]高解像度（ＨＤ：high definition）色域ＢＴ．７０９から超高解像度（ＵＨＤ：ultra-high definition）色域ＢＴ．２０２０への変換を示すブロック図。 [0020]ベースレイヤ色域とエンハンスメントレイヤ色域とが異なるときに、レイヤ間参照ピクチャを生成し得る色予測処理ユニットを含む色域スケーラブルコーダを示すブロック図。 [0021]色域スケーラビリティのためのある例示的な３Ｄルックアップテーブルを示す概念図。 [0022]色域スケーラビリティのための３Ｄルックアップテーブルを用いた３線形補間（tri-linear interpolation）を示す概念図。 [0023]マルチレイヤビデオコーディングにおいて３Ｄルックアップテーブルベースの色域スケーラビリティを使用するための技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0024]マルチレイヤビデオコーディングにおいて３Ｄルックアップテーブルベースの色域スケーラビリティを使用するための技法を実装し得るビデオデコーダの一例を示すブロック図。 [0025]３Ｄルックアップテーブルベースの色域スケーラビリティを使用してレイヤ間参照ピクチャを生成するある例示的な動作を示すフローチャート。

詳細な説明

[0026]本開示は、マルチレイヤビデオコーディングにおける３次元（３Ｄ）ルックアップテーブルベースの色域スケーラビリティについて説明する。マルチレイヤビデオコーディングは、スケーラブルビデオコーディング拡張、マルチビュービデオコーディング拡張、３Ｄビデオコーディング（すなわち、マルチビュービデオコーディングプラス深度）拡張、またはＨＥＶＣに対する他のマルチレイヤビデオコーディング拡張のうちのいずれかを含んでいる、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格に従い得る。本技法は、ビデオデータの下位レイヤに関する色域がそのビデオデータの上位レイヤに関する色域と異なるとき、レイヤ間参照ピクチャを生成するためにビデオエンコーダおよび／またはビデオデコーダによって使用され得る。

[0027]色域は、たとえば、ビデオデータのピクチャ、スライス、ブロック、またはレイヤ内の画像に関して複写され（reproduced）得る色の完全範囲（a complete range）を備える。従来、マルチレイヤビデオコーディングでは、ビデオデータの下位レイヤ（たとえば、ベースレイヤ）およびビデオデータの上位レイヤ（たとえば、エンハンスメントレイヤ）は、同じ色域内、たとえば高解像度（ＨＤ）色域ＢＴ．７０９内の色データを含む。この場合、ビデオエンコーダおよび／またはビデオデコーダは、ビデオデータの下位レイヤに関するコロケートされた参照ピクチャ（co-located reference pictures）のアップサンプリングされた（up-sampled）バージョンとして、そのビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成することができる。

[0028]しかしながら、いくつかの例では、ビデオデータの下位レイヤは、第１の色域、たとえば、ＢＴ．７０９内の色データを含むことが可能であり、そのビデオデータの上位レイヤは、異なる第２の色域、たとえば、超高解像度（ＵＨＤ）色域ＢＴ．２０２０内の色データを含むことが可能である。この例では、ビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成するために、ビデオエンコーダおよび／またはビデオデコーダは、まず、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、色予測を実行しなければならない。

[0029]ビデオエンコーダおよび／またはビデオデコーダは、色域スケーラビリティに関する３Ｄルックアップテーブルを使用して、色予測を実行することができる。いくつかの例では、色成分の各々、すなわち、ルーマ（Ｙ）成分、第１のクロマ（Ｕ）成分、および第２のクロマ（Ｖ）成分に関して、別個の３Ｄルックアップテーブルが生成され得る。３Ｄルックアップテーブルの各々は、ルーマ（Ｙ）次元と、第１のクロマ（Ｕ）次元と、第２のクロマ（Ｖ）次元とを含み、３つの独立した色成分（Ｙ、Ｕ、Ｖ）を使用してインデックス付けされる。

[0030]従来、３Ｄルックアップテーブルは、３Ｄルックアップテーブルがルーマ成分、第１のクロマ成分、および第２のクロマ成分に関して同じサイズを有するように、常に対称的である。加えて、従来、３Ｄルックアップテーブルは、３Ｄルックアップテーブルの各次元のサイズが常に同じであるように、常に平衡を保たせられる。これは結果として、高い計算複雑性と高いシグナリングコストとを有する、大きいテーブルサイズをもたらす。たとえば、テーブルサイズは、９×９×９または１７×１７×１７までであり得る。

[0031]本開示で説明する技法によれば、ビデオエンコーダおよび／またはビデオデコーダは、第１のクロマ成分および第２のクロマ成分の各々に関するのとは、ルーマ成分に関して異なるサイズを有する、少なくとも１つの３Ｄルックアップテーブルを生成する。ビデオエンコーダおよび／またはビデオデコーダは、３Ｄルックアップテーブルのルーマ次元に関して異なる数のセグメントを使用して、この非対称３Ｄルックアップテーブルを生成することができる。たとえば、ビデオエンコーダおよび／またはビデオデコーダは、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズの、すなわち、より多いセグメントを有するように、３Ｄルックアップテーブルを生成することができる。一例では、３Ｄルックアップテーブルは、８×２×２までのサイズを有し得る。このようにして、第１のクロマ成分および第２のクロマ成分に関するよりもルーマ成分に関して高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得る。

[0032]いくつかの例では、３Ｄルックアップテーブルの各々は、同じサイズＭ×Ｎ×Ｋを有し得、この場合、３Ｄルックアップテーブルのルーマ次元のサイズ（Ｍ）は、３Ｄルックアップテーブルの第１のクロマ次元のサイズ（Ｎ）および３Ｄルックアップテーブルの第２のクロマ次元のサイズ（Ｋ）の各々とは異なる。たとえば、ルーマ次元のサイズは、クロマ次元のサイズよりも大きく、Ｍ＞ＮおよびＭ＞Ｋであり得、３Ｄルックアップテーブルのクロマ次元のサイズは同じで、Ｎ＝Ｋであり得る。一例では、３Ｄルックアップテーブルの各々は８×２×２の同じサイズを有し得る。

[0033]他の例では、ルーマ成分３Ｄルックアップテーブル（ＬＵＴ_Y）は、第１のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_U）の第２のサイズ、たとえば、Ｎ×Ｎ×Ｎ、および第２のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_V）の第３のサイズ、たとえば、Ｋ×Ｋ×Ｋとは異なる第１のサイズ、たとえば、Ｍ×Ｍ×ＭまたはＭ×Ｎ×Ｋを有し得る。たとえば、ルーマ成分３Ｄルックアップテーブルのサイズは、クロマ成分３Ｄルックアップテーブルのサイズよりも大きくてよい。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルは、同じサイズであってよく、または異なるサイズであってもよい。一例では、ＬＵＴ_Yは、サイズ８×２×２を有し得、ＬＵＴ_UおよびＬＵＴ_Vの各々はサイズ２×２×２を有し得る。

[0034]さらなる例では、ルーマ成分３Ｄルックアップテーブルの精度は、第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルの各々の精度と異なってもよい。たとえば、ルーマ成分３Ｄルックアップテーブルの精度は、クロマ成分３Ｄルックアップテーブルの精度より高くてよい。場合によっては、複雑さをさらに低減させるために、ビデオエンコーダおよび／またはビデオデコーダは、ルーマ成分３Ｄルックアップテーブルを単に生成し、そのルーマ成分３Ｄルックアップテーブルを使用してルーマ成分予測を実行し、１次元（１Ｄ）線形マッピング、または区分線形マッピング（piecewise linear mapping）を使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することができる。

[0035]別の例では、本開示の本技法によれば、ビデオエンコーダおよび／またはビデオデコーダは、３Ｄルックアップテーブルに関するテーブルインデックスとして使用される色成分に関連付けられた３Ｄルックアップテーブルの次元に関してより多くのセグメントを使用して、不平衡３Ｄルックアップテーブル（an unbalanced 3D lookup table）を生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルは、ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されているルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元の各々よりも大きいルーマ次元を有し得る。この例では、ＬＵＴ_YはサイズＭ×Ｎ×Ｎを有し得、ここで、Ｍ＞Ｎである。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルのサイズは同様に決定され得る。たとえば、ＬＵＴ_Uは、テーブルインデックスにおいて使用されている第１のクロマ成分に基づいて、サイズＮ×Ｍ×Ｎを有し得、ＬＵＴ_Vは、テーブルインデックスにおいて使用されている第２のクロマ成分に基づいて、サイズＮ×Ｎ×Ｍを有し得る。このようにして、テーブルインデックスとして使用される色成分に関して、より高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの各々の総サイズは低減され得る。

[0036]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのスケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）およびマルチビュービデオコーディング（ＭＶＣ：Multi-view Video Coding）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。

[0037]新しいビデオコーディング規格、すなわちＨＥＶＣの設計が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって確定されている。「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０（ＷＤ１０）」と呼ばれるＨＥＶＣドラフト仕様書、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０（ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌに関する）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２３日、ＪＣＴＶＣ−Ｌ１００３ｖ３４は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐから利用可能である。確定したＨＥＶＣ規格は、ＨＥＶＣバージョン１と呼ばれる。

[0038]不具合報告（defect report）、Ｗａｎｇら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）Ｄｅｆｅｃｔ Ｒｅｐｏｒｔ」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ）、第１４回会合：ウィーン、オーストリア、２０１３年７月２５日〜８月２日、ＪＣＴＶＣ−Ｎ１００３ｖ１は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴＶＣ−Ｎ１００３−ｖ１．ｚｉｐから利用可能である。確定した規格文書は、ＩＴＵ−Ｔ Ｈ．２６５、Ｓｅｒｉｅｓ Ｈ：Ａｕｄｉｏｖｉｓｕａｌ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ、国際電気通信連合（ＩＴＵ：International Telecommunication Union）の電気通信標準化部門、２０１３年４月として公開されている。

[0039]ＨＥＶＣに対するマルチビュー拡張（ＭＶ−ＨＥＶＣ：multi-view extension to HEVC）およびより高度な３Ｄビデオコーディングに関する別のＨＥＶＣ拡張（３Ｄ−ＨＥＶＣ：HEVC extension for more advanced 3D video coding）がＪＣＴ−３Ｖによって開発されている。ＭＶ−ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ５（ＷＤ５）と呼ばれる、ＭＶ−ＨＥＶＣのドラフト仕様書、Ｔｅｃｈら、「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ５」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１との３Ｄビデオコーディング拡張開発に関する共同研究部会（ＪＣＴ−３Ｖ：Joint Collaborative Team on 3D Video Coding Extension Development）、第５回会合、ウィーン、オーストリア、２０１３年７月２７日〜８月２日、ＪＣＴ３Ｖ−Ｅ１００４ｖ６は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｅ１００４−ｖ６．ｚｉｐから入手可能である。３Ｄ−ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １（ＷＤ１）と呼ばれ、Ｔｅｃｈら、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の３Ｄビデオコーディング拡張開発に関する共同研究部会（ＪＣＴ−３Ｖ）、第５回会議、ウィーン、オーストリア、２０１３年７月２７日〜８月２日、ＪＣＴ３Ｖ−Ｅ１００１ｖ３に記載されている３Ｄ−ＨＥＶＣのドラフト仕様書は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｅ１００１−ｖ３．ｚｉｐから利用可能である。

[0040]ＨＥＶＣに対するスケーラブル拡張（ＳＨＶＣ）は、ＪＣＴ−ＶＣによって開発されている。ＳＨＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ３（ＷＤ３）と呼ばれるＳＨＶＣのドラフト仕様書は、Ｃｈｅｎら、「ＳＨＥＶＣ Ｄｒａｆｔ ３」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ）、第１４回会議：ウィーン、オーストリア、２０１３年７月２５日〜８月２日、ＪＣＴＶＣ−Ｎ１００８ｖ３は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴＶＣ−Ｎ１００８−ｖ３．ｚｉｐから入手可能である。

[0041]図１は、３Ｄルックアップテーブルベースの色域スケーラビリティのための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、宛先デバイス１４によって後の時点で復号されるべき、符号化されたビデオデータを提供するソースデバイス１２を含む。具体的には、ソースデバイス１２は、コンピュータ可読媒体１６を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対する機能を備え得る。

[0042]宛先デバイス１４は、コンピュータ可読媒体１６を介して、復号されるべき符号化されたビデオデータを受信することができる。コンピュータ可読媒体１６は、符号化されたビデオデータをソースデバイス１２から宛先デバイス１４に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が符号化されたビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つもしくは複数の物理伝送線路など、任意のワイヤレス通信媒体またはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る、ルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[0043]いくつかの例では、符号化されたデータは、出力インターフェース２２からストレージデバイスへ出力され得る。同様に、符号化されたデータは、ストレージデバイスから入力インターフェースによってアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれをも含み得る。さらなる例では、ストレージデバイスは、ソースデバイス１２によって生成された、符号化されたビデオを記憶することができるファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶でき、符号化されたビデオデータを宛先デバイス１４に送信できる、任意のタイプのサーバとすることができる。例示的なファイルサーバは、（たとえば、ウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準データ接続を介して、符号化されたビデオデータにアクセスすることができる。これは、ファイルサーバ上に記憶された、符号化されたビデオデータにアクセスするのに適した、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその組合せとすることができる。

[0044]本開示の技法は、ワイヤレス応用またはワイヤレス設定に必ずしも限定されない。本技法は、無線テレビジョンブロードキャスト（over-the-air television broadcasts）、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の応用など、様々なマルチメディア応用のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話などの応用をサポートするために一方向もしくは両方向のビデオ送信をサポートするように構成され得る。

[0045]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、ビデオデータを並列に処理するための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部のビデオソース１８からビデオデータを受信することができる。同様に、宛先デバイス１４は、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースしてもよい。

[0046]図１の例示されたシステム１０は、一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はビデオプリプロセッサによっても実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が、宛先デバイス１４に送信するためのコード化ビデオデータを生成するコーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、もしくはビデオ電話のためのビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートし得る。

[0047]ソースデバイス１２のビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを包含するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてコンピュータグラフィックスベースのデータ、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成ビデオの組合せを生成することができる。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き電話またはビデオ付き電話を形成し得る。しかしながら、上で述べたように、本開示で説明した技法は、一般にビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤードの応用例に適用され得る。各場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。次いで、符号化されたビデオ情報は、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。

[0048]コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、もしくは他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、たとえば、ネットワーク送信を介して、ソースデバイス１２から符号化されたビデオデータを受信し、符号化されたビデオデータを宛先デバイス１４に提供することができる。同様に、ディスクスタンピング設備（a disc stamping facility）など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを包含しているディスクを生成し得る。したがって、様々な例では、コンピュータ可読媒体１６は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。

[0049]宛先デバイス１４の入力インターフェース２８は、情報をコンピュータ可読媒体１６から受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、ビデオデコーダ３０によっても使用される、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ（ＧＯＰ）の特性ならびに／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのうちのいずれかを備え得る。

[0050]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法がソフトウェアに部分的に実装されるとき、デバイスは、ソフトウェアに対する命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するための１つまたは複数のプロセッサを使用してハードウェアにおいてそれらの命令を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、そのいずれかが、複合エンコーダ／デコーダ（コーデック）の一部として、それぞれのデバイス内に統合され得る、１つもしくは複数のエンコーダまたはデコーダに含まれてもよい。

[0051]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、それのスケーラブルビデオコーディング（ＳＶＣ）拡張と、マルチビュービデオコーディング（ＭＶＣ）拡張と、ＭＶＣベースの３次元ビデオ（３ＤＶ）拡張とを含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌおよび（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４などのビデオ圧縮規格に従って動作する。場合によっては、ＭＶＣベースの３ＤＶに適合する任意のビットストリームは、ＭＶＣプロファイル、たとえばステレオハイプロファイル（stereo high profile）に準拠するサブビットストリームを常に包含する。さらに、Ｈ．２６４／ＡＶＣへの３ＤＶコーディング拡張、すなわち、ＡＶＣベースの３ＤＶを生成するための取り組みが進行中である。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｖｉｓｕａｌに従って動作し得る。

[0052]図１の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）とのビデオコーディングに関する共同研究部会（ＪＣＴ−ＶＣ）によって確定された高効率ビデオコーディング（ＨＥＶＣ）規格に従って動作し得る。上記で参照したＨＥＶＣドラフト仕様書は、ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０（ＷＤ１０）と呼ばれ、ＨＥＶＣ規格の確定したバージョンはＨＥＶＣバージョン１と呼ばれる。ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣはＪＣＴ−３Ｖによって開発されている。ＭＶ−ＨＥＶＣの最近のドラフト仕様書はＭＶ−ＨＥＶＣ ＷＤ５と呼ばれ、３Ｄ−ＨＥＶＣの最近のドラフト仕様書は３Ｄ−ＨＥＶＣ ＷＤ１と呼ばれる。ＳＨＶＣはＪＣＴ−ＶＣによって開発されている。ＳＨＶＣの最近のドラフト仕様書は、ＳＨＶＣ ＷＤ３と呼ばれる。

[0053]ＨＥＶＣおよび他のビデオコーディング規格では、ビデオシーケンスは、一般に、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれる場合もある。ピクチャは、Ｓ_L、Ｓ_CbおよびＳ_Crと示される３つのサンプルアレイを含み得る。Ｓ_Lは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。Ｓ_Cbは、Ｃｂクロミナンスサンプルの２次元アレイである。Ｓ_Crは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれる場合もある。他の例では、ピクチャは、モノクローム（monochrome）であり得るし、ルーマサンプルのアレイのみを含む場合がある。

[0054]ビデオエンコーダ２０は、コーディングツリーユニット（ＣＴＵ：coding tree unit）のセットを生成し得る。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックはサンプルのＮ×Ｎブロックであり得る。ＣＴＵは、「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣなどの他のビデオコーディング規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスター走査順序で連続的に順序付けられた整数個のＣＴＵを含み得る。

[0055]本開示は、サンプル、およびサンプルの１つもしくは複数のブロックのサンプルをコーディングするために使用されるシンタックス構造の１つもしくは複数のブロックを指すために、「ビデオユニット」または「ビデオブロック」という用語を使用することがある。例示的なタイプのビデオユニットには、ＨＥＶＣにおけるＣＴＵ、ＣＵ、ＰＵ、変換ユニット（ＴＵ）、または他のビデオコーディング規格におけるマクロブロック、マクロブロックパーティションなどが含まれ得る。

[0056]コーディングされたＣＴＵを生成するために、ビデオエンコーダ２０は、コーディングツリーブロックをコーディングブロックに分割するように、ＣＴＵのコーディングツリーブロックに対して４分木区分（quad-tree partitioning）を再帰的に実行することができ、したがって「コーディングツリーユニット」という名称である。コーディングブロックは、サンプルのＮ×Ｎのブロックである。ＣＵは、ルーマサンプルアレイと、Ｃｂサンプルアレイと、Ｃｒサンプルアレイとを有するピクチャの、ルーマサンプルのコーディングブロックと、クロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造と、を備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。

[0057]ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分することができる。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックであり得る。ＣＵの予測ユニット（ＰＵ）は、ルーマサンプルの予測ブロックと、ピクチャのクロマサンプルの２つの対応する予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一の予測ブロックと、それらの予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、およびＣｒ予測ブロックに関する予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成し得る。

[0058]ビデオエンコーダ２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測またはインター予測を使用することができる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。

[0059]ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。インター予測は、単方向インター予測（すなわち、単予測（uni-prediction））または双方向インター予測（すなわち、双予測（bi-prediction））であり得る。単予測または双予測を実行するために、ビデオエンコーダ２０は、現在のスライスに関して、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを生成し得る。

[0060]参照ピクチャリストの各々は、１つまたは複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ２０は、参照ピクチャ中の参照ロケーションを決定するために、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１のいずれかまたは両方の中の参照ピクチャを探索することができる。さらに、単予測を使用するとき、ビデオエンコーダ２０は、参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵに関する予測サンプルブロックを生成することができる。さらに、単予測を使用するとき、ビデオエンコーダ２０は、ＰＵの予測ブロックと参照ロケーションとの間の空間変位（a spatial displacement）を示す単一の動きベクトルを生成することができる。ＰＵの予測ブロックと参照ロケーションとの間の空間変位を示すために、動きベクトルは、ＰＵの予測ブロックと参照ロケーションとの間の水平変位を指定する水平成分を含み得、ＰＵの予測ブロックと参照ロケーションとの間の垂直変位を指定する垂直成分を含み得る。

[0061]ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャ中の第１の参照ロケーションと、ＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャ中の第２の参照ロケーションとを決定することができる。ビデオエンコーダ２０は、次いで、第１の参照ロケーションおよび第２の参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、ＰＵに関する予測ブロックを生成することができる。さらに、ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＰＵのサンプルブロックと第１の参照ロケーションとの間の空間変位を示す第１の動きと、ＰＵの予測ブロックと第２の参照ロケーションとの間の空間変位を示す第２の動きとを生成することができる。

[0062]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵに関する予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成した後、ビデオエンコーダ２０は、ＣＵに関するルーマ残差ブロックを生成することができる。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックのうちの１つの中のルーマサンプルと、ＣＵの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えてビデオエンコーダ２０は、ＣＵに関するＣｂ残差ブロックを生成することができる。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックのうちの１つの中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ２０は、ＣＵに関するＣｒ残差ブロックを生成することもできる。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。

[0063]さらに、ビデオエンコーダ２０は、ＣＵのルーマ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを、１つまたは複数のルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解する（decompose）ために、４分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形ブロックであってもよい。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。

[0064]ビデオエンコーダ２０は、ＴＵに関するルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１回または複数回の変換を適用し得る。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であってよい。ビデオエンコーダ２０は、ＴＵに関するＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１回または複数回の変換を適用することができる。ビデオエンコーダ２０は、ＴＵに関するＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１回または複数回の変換を適用することができる。

[0065]係数ブロック（たとえば、ルーマ係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化することができる。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を提供するプロセスを指す。さらに、ビデオエンコーダ２０は、ピクチャのＣＵのＴＵの変換ブロックを再構成するために、変換係数を逆量子化し、その変換係数に逆変換を適用することができる。ビデオエンコーダ２０は、ＣＵのコーディングブロックを再構成するために、ＣＵのＴＵの再構成された変換ブロックと、ＣＵのＰＵの予測ブロックとを使用することができる。ピクチャの各ＣＵのコーディングブロックを再構成することによって、ビデオエンコーダ２０は、ピクチャを再構成することができる。ビデオエンコーダ２０は、復号ピクチャバッファ（ＤＰＢ：a decoded picture buffer）に再構成されたピクチャを記憶することができる。ビデオエンコーダ２０は、ＤＰＢ中の再構成されたピクチャを、インター予測およびイントラ予測のために使用することができる。

[0066]ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化することができる。たとえば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対して、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を実行することができる。ビデオエンコーダ２０は、エントロピー符号化されたシンタックス要素をビットストリーム内に出力することができる。

[0067]ビデオエンコーダ２０は、コード化ピクチャおよび関連するデータの表現を形成する一連のビットを含むビットストリームを出力することができる。ビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：network abstraction layer）ユニットを備え得る。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ローバイトシーケンスペイロード（ＲＢＳＰ：raw byte sequence payload）をカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを示すシンタックス要素を含む場合がある。ＮＡＬユニットのＮＡＬユニットヘッダによって規定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。いくつかの事例では、ＲＢＳＰはゼロビットを含む。

[0068]様々なタイプのＮＡＬユニットは、様々なタイプのＲＢＳＰをカプセル化することができる。たとえば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ）に関するＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬユニットはコード化スライスに関するＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬユニットは補助拡張情報（ＳＥＩ：supplemental enhancement information）に関するＲＢＳＰをカプセル化することができ、以下同様である。ＰＰＳは、０個以上のコード化ピクチャ全体に適用するシンタックス要素を含み得るシンタックス構造である。ビデオコーディングデータに関するＲＢＳＰをカプセル化するＮＡＬユニットは（パラメータセットおよびＳＥＩメッセージに関するＲＢＳＰとは対照的に）、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれる場合がある。コード化スライスをカプセル化するＮＡＬユニットは、本明細書ではコード化スライスＮＡＬユニットと呼ばれる場合がある。コード化スライスに関するＲＢＳＰは、スライスヘッダとスライスデータとを含み得る。

[0069]ビデオデコーダ３０は、ビットストリームを受信することができる。加えて、ビデオデコーダ３０は、ビットストリームからシンタックス要素を復号するために、ビットストリームをパーズ（parse）することができる。ビデオデコーダ３０は、ビットストリームから復号されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構成することができる。ビデオデータを再構成するための処理は、全般に、ビデオエンコーダ２０によって実行されるプロセスの逆であり得る。たとえば、ビデオデコーダ３０は、現在ＣＵのＰＵに関する予測ブロックを決定するために、ＰＵの動きベクトルを使用することができる。ビデオデコーダ３０は、ＰＵに関する予測ブロックを生成するために、ＰＵの１つまたは複数の動きベクトルを使用することができる。

[0070]加えて、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックを逆量子化することができる。ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた変換ブロックを再構成するために、係数ブロックに対して逆変換を実行することができる。ビデオデコーダ３０は、現在ＣＵのＰＵに関する予測サンプルブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵのコーディングブロックを再構成することができる。ピクチャの各ＣＵに関するコーディングブロックを再構成することによって、ビデオデコーダ３０は、ピクチャを再構成し得る。ビデオデコーダ３０は、出力のためにおよび／または他のピクチャを復号する際に使用するために、復号されたピクチャを復号ピクチャバッファ内に記憶することができる。

[0071]ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、およびＳＨＶＣでは、ビデオエンコーダは、一連のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを備えるマルチレイヤビットストリームを生成し得る。ビットストリームの様々なＮＡＬユニットが、ビットストリームの様々なレイヤに関連付けられ得る。レイヤは、同じレイヤ識別子を有するビデオコーディングレイヤ（ＶＣＬ：video coding layer）ＮＡＬユニットおよび関連する非ＶＣＬ ＮＡＬユニットのセットとして定義され得る。レイヤは、マルチビュービデオコーディングにおけるビューと等価であり得る。マルチビュービデオコーディングでは、レイヤは、異なる時間インスタンスを伴う同じレイヤのすべてのビュー成分を含み得る。各ビュー成分は、特定の時間インスタンスにおける特定のビューに属するビデオシーンのコード化ピクチャであり得る。３Ｄビデオコーディングでは、レイヤは、特定のビューのすべてのコード化深度ピクチャ、または特定のビューのコード化テクスチャピクチャのいずれかを含み得る。同様に、スケーラブルビデオコーディングのコンテキストにおいて、レイヤは、通常、他のレイヤ中のコード化ピクチャと異なるビデオ特性を有するコード化ピクチャに対応する。そのようなビデオ特性は、通常、空間解像度と品質レベル（信号対雑音比）とを含む。ＨＥＶＣおよびそれの拡張では、時間スケーラビリティ（temporal scalability）は、特定の時間レベルを伴うピクチャのグループをサブレイヤと定義することによって、１つのレイヤ中で達成され得る。

[0072]ビットストリームのそれぞれの各レイヤについて、下位レイヤ中のデータは、上位レイヤ中のデータと無関係に復号され得る。スケーラブルビデオコーディングでは、たとえば、ベースレイヤ中のデータは、エンハンスメントレイヤ中のデータと無関係に復号され得る。ＮＡＬユニットは単に、単一のレイヤのデータをカプセル化する。ＳＨＶＣでは、ビデオデコーダが、あるビュー中のピクチャをいかなる他のレイヤのデータとも無関係に復号できる場合、そのビューは「ベースレイヤ」と呼ばれ得る。ベースレイヤは、ＨＥＶＣベース仕様に準拠し得る。したがって、ビットストリームの残りの最高レイヤのデータをカプセル化するＮＡＬユニットは、ビットストリームの残りのレイヤ中のデータの復号可能性に影響を及ぼすことなくビットストリームから除去され得る。ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣでは、上位レイヤは、さらなるビュー成分を含み得る。ＳＨＶＣでは、上位レイヤは、信号対雑音比（ＳＮＲ）エンハンスメントデータ、空間エンハンスメントデータ、および／または時間エンハンスメントデータを含み得る。

[0073]いくつかの例では、上位レイヤのデータは、１つまたは複数の下位レイヤ中のデータを参照して復号され得る。下位レイヤは、レイヤ間予測を使用して上位レイヤを圧縮するための参照ピクチャとして使用され得る。下位レイヤのデータは、上位レイヤと同じ解像度を有するようにアップサンプリングされ得る。概して、１つまたは複数のアップサンプリングされた下位レイヤが、１つまたは複数の近隣ピクチャではなく、参照ピクチャとして使用され得ることを除いて、ビデオエンコーダ２０およびビデオデコーダ３０は、上記で説明したインター予測と同様の方法でレイヤ間予測を実行することができる。

[0074]図２は、３つの異なる次元におけるスケーラビリティの一例を示す概念図である。スケーラブルビデオコーディング構造では、スケーラビリティは、３つの次元において有効化される。図２の例では、スケーラビリティは、空間（Ｓ）次元１００、時間（Ｔ）次元１０２、および信号対雑音比（ＳＮＲ）次元または品質（Ｑ）次元１０４において有効化される。時間次元１０２では、たとえば、７．５Ｈｚ（Ｔ０）、１５Ｈｚ（Ｔ１）、または３０Ｈｚ（Ｔ２）を有するフレームレートが時間スケーラビリティによってサポートされ得る。空間スケーラビリティがサポートされるとき、たとえば、ＱＣＩＦ（Ｓ０）、ＣＩＦ（Ｓ１）、および４ＣＩＦ（Ｓ２）など、異なる解像度が空間次元１００において有効化される。特定の空間解像度およびフレームレートごとに、ピクチャ品質を改善するために、ＳＮＲ次元１０４内にＳＮＲレイヤ（Ｑ１）が追加され得る。

[0075]ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、たとえば、クライアントまたは送信チャネルに依存する適用要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用され得る。図２に示した例では、各立方体は、同じフレームレート（時間レベル）、空間解像度、およびＳＮＲレイヤを有するピクチャを包含する。立方体（すなわち、ピクチャ）を次元１００、１０２、１０４のいずれかに追加することによって、より良い表現が達成され得る。２つ、３つ、またはさらに多くのスケーラビリティが有効化されるとき、複合スケーラビリティがサポートされる。

[0076]Ｈ．２６４に対するＳＶＣ拡張、すなわちＳＨＶＣなど、スケーラブルビデオコーディング規格では、最低の空間レイヤおよびＳＮＲレイヤを有するピクチャは、単一レイヤビデオコーデックとの互換性を有し、最低の時間レベルにあるピクチャは、より高い時間レベルにあるピクチャを用いて拡張され得る時間ベースレイヤを形成する。ベースレイヤに加えて、空間スケーラビリティおよび／または品質スケーラビリティを実現するために、いくつかの空間エンハンスメントレイヤおよび／またはＳＮＲエンハンスメントレイヤが追加され得る。各々の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤ自体は、ベースレイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。１つの空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤについて、それが依存する下位レイヤは、その特定の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤのベースレイヤと呼ばれることがある。

[0077]図３は、スケーラブルビデオコーディングビットストリームのある例示的な構造１１０を示す概念図である。ビットストリーム構造１１０は、ピクチャまたはスライスＩ０、Ｐ４、およびＰ８を含むレイヤ０ １１２と、ピクチャまたはスライスＢ２、Ｂ６、およびＢ１０を含むレイヤ１ １１４とを含む。加えて、ビットストリーム構造１１０は、各々がピクチャ０、２、４、６、８、および１０を含むレイヤ２ １１６ならびにレイヤ３ １１７と、ピクチャ０から１１を含むレイヤ４ １１８とを含む。

[0078]ベースレイヤは、最低の空間レイヤおよび品質レイヤを有する（すなわち、ＱＣＩＦ解像度を有する、レイヤ０ １１２およびレイヤ１ １１４中のピクチャ）。これらの中で、最低時間レベルのそれらのピクチャは、図３のレイヤ０ １１２に示すように、時間ベースレイヤを形成する。時間ベースレイヤ（レイヤ０）１１２は、上位時間レベル、たとえば、１５Ｈｚのフレームレートを有するレイヤ１ １１４、または３０Ｈｚのフレームレートを有するレイヤ４ １１８、のピクチャで拡張され得る。

[0079]ベースレイヤ１１２、１１４に加えて、空間スケーラビリティおよび／または品質スケーラビリティを提供するために、いくつかの空間エンハンストレイヤおよび／またはＳＮＲエンハンスメントレイヤが追加され得る。たとえば、ＣＩＦ解像度を有するレイヤ２ １１６は、ベースレイヤ１１２、１１４に対する空間エンハンスメントレイヤであり得る。別の例では、レイヤ３ １１７は、ベースレイヤ１１２、１１４、およびレイヤ２ １１６に対するＳＮＲエンハンスメントレイヤであり得る。図３に示すように、各々の空間エンハンスメントレイヤまたはＳＮＲエンハンスメントレイヤ自体は、ベースレイヤ１１２、１１４と同じ時間スケーラビリティ構造で、時間的にスケーラブルであり得る。加えて、エンハンスメントレイヤは空間解像度とフレームレートの両方を向上させることが可能である。たとえば、レイヤ４ １１８は、フレームレートを１５Ｈｚから３０Ｈｚにさらに増大させる、４ＣＩＦ解像度エンハンスメントレイヤを提供する。

[0080]図４は、ビットストリーム順序で、例示的なスケーラブルビデオコーディングアクセスユニット１２０Ａ〜１２０Ｅ（「アクセスユニット１２０」）を示す概念図である。図４に示すように、同じ時間インスタンス内のコード化ピクチャまたはスライスは、ビットストリーム順序で連続しており、Ｈ．２６４に対するＳＶＣ拡張、すなわち、ＳＨＶＣなど、スケーラブルビデオコーディング規格のコンテキストにおいて１つのアクセスユニットを形成する。次いで、これらのアクセスユニット１２０は、表示順序とは異なるものとされ得て、たとえば、アクセスユニット１２０間の時間予測関係によって決定され得る復号順序に従う。

[0081]たとえば、アクセスユニット１２０Ａは、レイヤ０ １１２からのピクチャＩ０と、レイヤ２ １１６からのピクチャ０と、レイヤ３ １１７からのピクチャ０と、レイヤ４ １１８からのピクチャ０とを含む。アクセスユニット１２０Ｂは、レイヤ０ １１２からのピクチャＰ４と、レイヤ２ １１６からのピクチャ４と、レイヤ３ １１７からのピクチャ４と、レイヤ４ １１８からのピクチャ４とを含む。アクセスユニット１２０Ｃは、レイヤ１ １１４からのピクチャＢ２と、レイヤ２ １１６からのピクチャ２と、レイヤ３ １１７からのピクチャ２と、レイヤ４ １１８からのピクチャ２とを含む。アクセスユニット１２０Ｄは、レイヤ４ １１８からのピクチャ１を含み、アクセスユニット１２０Ｅはレイヤ４ １１８からのピクチャ３を含む。

[0082]図５は、ある例示的な３レイヤＳＨＶＣエンコーダ１２２を示すブロック図である。図５に示すように、ＳＨＶＣエンコーダ１２２は、ベースレイヤエンコーダ１２４と、第１のエンハンスメントレイヤエンコーダ１２５と、第２のエンハンスメントレイヤエンコーダ１２６とを含む。高レベルのシンタックス専用ＳＨＶＣでは、ＨＥＶＣ単一レイヤコーディングと比較されると、新しいブロックレベルのコーディングツールは存在しない。ＳＨＶＣでは、スライスおよびその上のレベルのシンタックス変更、ならびにピクチャのフィルタリングまたはアップサンプリングなどのピクチャレベルの動作のみが許可される。

[0083]レイヤ間の冗長性を低減するために、単一レイヤ中でインターフレーム予測と同じようにレイヤ間予測が達成され得るように、上位レイヤ／エンハンスメントレイヤに関して、下位レイヤ／ベースレイヤに関するアップサンプリングされたコロケートされた参照レイヤピクチャが生成され、参照バッファ内に記憶され得る。図５に示すように、リサンプリングされたレイヤ間参照（ＩＬＲ：inter-layer reference）ピクチャ１２８がベースレイヤエンコーダ１２４中の参照ピクチャから生成され、第１のエンハンスメントレイヤエンコーダ１２５内に記憶される。同様に、リサンプリングされたＩＬＲピクチャ１２９が第１のエンハンスメントレイヤエンコーダ１２５中の参照ピクチャから生成され、第２のエンハンスメントレイヤエンコーダ１２６内に記憶される。ＳＨＶＣ ＷＤ３では、ＩＬＲピクチャはエンハンスメントレイヤに関する長期参照ピクチャとして標示される。レイヤ間参照ピクチャに関連付けられた動きベクトル差分はゼロに制約される。

[0084]超高解像度テレビジョン（ＵＨＤＴＶ）デバイスおよびそのコンテンツの次の展開は、レガシーデバイスとは異なる色域を使用することになる。具体的には、ＨＤはＢＴ．７０９推奨、ＩＴＵ−Ｒ推奨ＢＴ．７０９「Ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｔｈｅ ＨＤＴＶ ｓｔａｎｄａｒｄｓ ｆｏｒ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」２０１０年１２月を使用するのに対して、ＵＨＤＴＶは、ＢＴ．２０２０推奨、ＩＴＵ−Ｒ推奨ＢＴ．２０２０「Ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ＵＨＤＴＶ ｓｙｓｔｅｍｓ ｆｏｒ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」２０１２年４月を使用することになる。色域は、たとえば、ピクチャ、スライス、ブロック、またはビデオデータのレイヤ中で画像に関して複写され得る色の完全範囲を備える。これらのシステム間の主な差は、ＵＨＤＴＶの色域はＨＤよりかなり大きい点である。ＵＨＤＴＶは、高解像度など、他のＵＨＤＴＶ特性に一致する、より真に迫った、または現実的な視聴体験を提供することになると主張されている。

[0085]図６は、サンプルビデオシーケンス１３０のある例示的な色域を示すグラフである。図６に示すように、ＳＷＧ１サンプルビデオシーケンス１３０は、ＵＨＤ色域ＢＴ．２０２０ １３２の輪郭線内の点の集まりとして示される。比較のために、ＨＤ色域ＢＴ．７０９ １３４の輪郭および国際照明委員会（ＣＩＥ：International Commission on Illumination）−ＸＹＺ線形色空間１３６の輪郭はＳＷＧ１サンプルビデオシーケンス１３０をオーバーレイする。ＵＨＤ色域ＢＴ．２０２０ １３２はＨＤ色域ＢＴ．７０９ １３４よりもかなり大きいことが図６から容易に分かる。ＢＴ．７０９色域１３４から外れるＳＷＧ１サンプルビデオシーケンス１３０内のピクセルの数に留意されたい。

[0086]図７は、ＨＤ色域ＢＴ．７０９ １３４からＵＨＤ色域ＢＴ．２０２０ １３２への変換を示すブロック図である。ＨＤ色域ＢＴ．７０９ １３４とＵＨＤ色域ＢＴ．２０２０ １３２は両方とも、ルーマ成分およびクロマ成分（たとえば、ＹＣｂＣｒまたはＹＵＶ）中のカラーピクセルの表現を定義する。各色域は、ＣＩＥ−ＸＹＺ線形色空間１３６の間の変換を定義する。この一般的な中間色空間は、ＨＤ色域ＢＴ．７０９ １３４内のルーマ値およびクロマ値のＵＨＤ色域ＢＴ．２０２０ １３２内の対応するルーマ値およびクロマ値への変換を定義するために使用され得る。

[0087]図６に示したサンプルシーケンスの色域および図７に示した色域変換に関するさらなる詳細は、Ｌ．Ｋｅｒｏｆｓｋｙ、Ａ．Ｓｅｇａｌｌ、Ｓ．−Ｈ．Ｋｉｍ、Ｋ．Ｍｉｓｒａ、「Ｃｏｌｏｒ Ｇａｍｕｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：Ｎｅｗ Ｒｅｓｕｌｔｓ」、ＪＣＴＶＣ−Ｌ０３３４、ジュネーブ、スイス、２０１３年１月１４日〜２３日（以下、「ＪＣＴＶＣ−Ｌ０３３４」と呼ばれる）に見出すことができる。

[0088]図８は、ベースレイヤ色域とエンハンスメントレイヤ色域とが異なるときに、レイヤ間参照ピクチャを生成し得る色予測処理ユニット１４４を含む色域スケーラブルコーダ１４０を示すブロック図である。色予測処理ユニット１４４は、ベースレイヤおよびエンハンスメントレイヤの色域が異なる色域スケーラブルビデオコーディングを実行するために、図１からのビデオエンコーダ２０またはビデオデコーダ３０などのビデオコーダによって使用され得る。

[0089]図８に示す例では、ベースレイヤコーディングループ１４２は、第１の色域、たとえば、ＢＴ．７０９内の色データを含むピクチャのビデオコーディングを実行し、エンハンスメントレイヤコーディングループ１４６は、第２の色域、たとえば、ＢＴ．２０２０内の色データを含むピクチャのビデオコーディングを実行する。色予測処理ユニット１４４は、第１の色域内のベースレイヤ参照ピクチャの色データを第２の色域にマッピングまたは変換するために色予測を実行し、ベースレイヤ参照ピクチャのマッピングされた色データに基づいて、エンハンスメントレイヤに関するレイヤ間参照ピクチャを生成する。

[0090]高いコーディング効率を達成するために、色予測処理ユニット１４４は、レイヤ間参照ピクチャを生成するとき、特定の色予測を実行するように構成される。下記でより詳細に説明するように、色予測処理ユニット１４４は、線形予測モデル、区分線形予測モデル、または３Ｄルックアップテーブルベースの色予測モデルのうちのいずれかに従って、色予測を実行するように構成され得る。

[0091]線形予測モデルは、上記で参照したＪＣＴＶＣ−Ｌ０３３４で提案されている。概して、線形予測モデルの色予測プロセスは、利得およびオフセットモデルとして説明され得る。線形予測モデルは個々の色平面上で動作する。整数計算を容易にするために、パラメータは、パラメータｎｕｍＦｒａｃｔｉｏｎＢｉｔｓを使用した計算において使用される小数ビットの数（the number of fractional bits）について説明する。各チャネルに関して、ｇａｉｎ［ｃ］およびｏｆｆｓｅｔ［ｃ］が指定される。線形予測モデルは、次のように定義される、

[0092]区分線形予測モデルは、上記で参照された、ＪＣＴＶＣ−Ｌ０３３４に基づく、Ｃ．Ａｕｙｅｕｎｇ、Ｋ．Ｓａｔｏ、「ＡＨＧ１４：Ｃｏｌｏｒ ｇａｍｕｔ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ ｗｉｔｈ ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎｓ ａｎｄ ｓｈｉｆｔ−ｏｆｆｓｅｔ ｍｏｄｅｌ」、ＪＣＴＶＣ−Ｎ０２７１、ウィーン、オーストリア、２０１３年７月で提案されている。区分線形予測モデルの色予測プロセスも、利得およびオフセットモデルとして説明され得る。区分線形予測モデルは、次のように定義される、

予測パラメータｋｎｏｔ［ｃ］、ｏｆｆｓｅｔ［ｃ］、ｇａｉｎ１［ｃ］、およびｇａｉｎ２［ｃ］はビットストリーム中で符号化され得る。

[0093]図９は、色域スケーラビリティのためのある例示的な３Ｄルックアップテーブル１５０を示す概念図である。３Ｄルックアップテーブルベースの色予測モデルは、Ｐ．Ｂｏｒｄｅｓ、Ｐ．Ａｎｄｒｉｖｏｎ、Ｆ．Ｈｉｒｏｎ、「ＡＨＧ１４：Ｃｏｌｏｒ Ｇａｍｕｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｕｓｉｎｇ ３Ｄ−ＬＵＴ：Ｎｅｗ Ｒｅｓｕｌｔｓ」、ＪＣＴＶＣ−Ｎ０１６８、ウィーン、オーストリア、２０１３年７月（以下、「ＪＣＴＶＣ−Ｎ０１６８」）で提案されている。色域スケーラビリティのための３Ｄルックアップテーブルの原理は図９に示される。３Ｄルックアップテーブル１５０は、第１の３Ｄ色空間、たとえば、ＨＤ色域ＢＴ．７０９のサブサンプリングと見なされてよく、この場合、各頂点（vertex）は、第２の３Ｄ色空間に対応するカラートリプレット（color triplet）（ｙ、ｕ、ｖ）（すなわち、予測された値、たとえば、ＵＨＤ色域ＢＴ．２０２０）に関連付けられる。

[0094]概して、第１の色域は、各色次元（すなわち、Ｙ、Ｕ、およびＶ）内のオクタント（octants）または直方体（cuboids）に区分され得、オクタントの頂点は、第２の色域に対応するカラートリプレットに関連付けられ、３Ｄルックアップテーブル１５０をポピュレートするために使用される。各色次元内の頂点またはセグメントの数は、３Ｄルックアップテーブルのサイズを示す。図９（ａ）は、各色次元内のオクタントの頂点、すなわち、交差する格子点を示す。図９（ｂ）は、頂点の各々に関連付けられた異なる色値を示す。示すように、図９（ａ）では、各色次元は４つの頂点を有し、図９（ｂ）では、各色次元は４つの色値を含む。

[0095]図１０は、色域スケーラビリティのための３Ｄルックアップテーブル１５０を用いた３線形補間を示す概念図である。第１の色域内の所与のベースレイヤカラーサンプルに関して、エンハンスメントレイヤに関する第２の色域内のそれの予測の計算は、次の式に従って、３線形補間を使用して行われる。

ｙ₀は、ｙよりも下位である、最も近いサブサンプリングされた頂点のインデックスである。

ｙ₁は、ｙより上位である、最も近いサブサンプリングされた頂点のインデックスである。

[0096]いくつかの例では、色成分の各々、すなわち、ルーマ（Ｙ）成分、第１のクロマ（Ｕ）成分、および第２のクロマ（Ｖ）成分に関して、別個の３Ｄルックアップテーブルが生成され得る。３Ｄルックアップテーブルの各々は、ルーマ（Ｙ）次元と、第１のクロマ（Ｕ）次元と、第２のクロマ（Ｖ）次元とを含み、３つの独立した色成分（Ｙ、Ｕ、Ｖ）を使用してインデックス付けされる。

[0097]一例では、マッピング関数は、３Ｄルックアップテーブルに基づいて各色成分に関して定義され得る。ルーマ（Ｙ）ピクセル値に関するある例示的なマッピング関数は次の式で提示される。

上記の式では、Ｙ_Eはエンハンスメントレイヤ中のルーマピクセル値を表し、レイヤ（Ｙ_B，ＵＵ_B，Ｖ_B）はベースレイヤピクセル値を表し、ＬＵＴ_Y，ＬＵＴ_U，ＬＵＴ_VおよびＬＵＴ_Cは、各色成分Ｙ、Ｕ、Ｖ、および定数に関する３Ｄルックアップテーブルを表す。同様にマッピング関数は、エンハンスメントレイヤ内の第１のクロマ（Ｕ）ピクセル値および第２のクロマ（Ｖ）ピクセル値に関して定義され得る。

[0098]図９に示す３Ｄルックアップテーブル、および図１０に示す３Ｄルックアップテーブルとの３線形補間のさらなる詳細は、上記で参照されたＪＣＴＶＣ−Ｎ０１６８に見出され得る。

[0099]概して、３Ｄルックアップテーブルベースの色域スケーラビリティは、結果として、良好なコーディング性能をもたらす。しかしながら、３Ｄルックアップテーブルは、概して、ハードウェア実装でキャッシュメモリ内に記憶されるため、３Ｄルックアップテーブルのサイズは懸念事項であり得る。大きいテーブルサイズを有する３Ｄルックアップテーブルは、結果として、高い計算複雑性と高いシグナリングコストとをもたらし得る。たとえば、従来、３Ｄルックアップテーブルは、３Ｄルックアップテーブルがルーマ成分、第１のクロマ成分、および第２のクロマ成分に関して同じサイズを有するように、常に対称的である。加えて、従来、３Ｄルックアップテーブルは、３Ｄルックアップテーブルの各次元のサイズが常に同じであるように、常に平衡を保たせられる。これは結果として、高い計算複雑性と高いシグナリングコストとを有する、大きいテーブルサイズをもたらす。たとえば、テーブルサイズは、９×９×９または１７×１７×１７までであり得る。

[0100]３Ｄルックアップテーブルベースの色域スケーラビリティに関するシグナリングコストと計算コストの両方が低減され得るように、以下の方法が提案される。

[0101]第１の方法は、ルーマ（Ｙ）成分ならびにクロマ（ＵおよびＶ）成分が異なるサイズを有するように、非対称３Ｄルックアップテーブルを生成することを含む。場合によっては、３Ｄルックアップテーブルは、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズ、すなわち、より多いセグメントを有し得る。この場合、クロマ成分はより粗いルックアップテーブルを使用することができ、ルーマ成分はより微細化されたルックアップテーブルを使用することができる。他の場合では、３Ｄルックアップテーブルは、ルーマ成分に関するよりも、クロマ成分のうちの１つまたは両方に関して大きいサイズを有し得る。

[0102]概して、３Ｄルックアップテーブルベースの色予測は、一種の３Ｄ区分線形予測である。理論的には、３Ｄルックアップテーブルの各色次元（すなわち、Ｙ、Ｕ、およびＶ）においてより多くのセグメントが使用されればされるほど、色予測精度はより高まる。しかしながら、多数のセグメントは、高いシグナリングコストおよび高い計算複雑性（すなわち、より大きいテーブルサイズ）をもたらし得る。実際には、クロマ信号はそれほど重要でない場合があり、予測がより容易であり得る。この場合、ルーマ（Ｙ）成分に関して高解像度ルックアップテーブルを有し、第１のクロマ（Ｕ）成分および第２のクロマ（Ｖ）成分の各々に関して低解像度のルックアップテーブルを有することが有利であり得る。

[0103]本開示の技法によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０などのビデオコーダは、３Ｄルックアップテーブルの第１のクロマ次元および第２のクロマ次元に関するのとは異なる数の、３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用して非対称３Ｄルックアップテーブルを生成することができる。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズ、すなわち、より多いセグメントを有するように、３Ｄルックアップテーブルを生成することができる。一例では、３Ｄルックアップテーブルは、８×２×２までのサイズを有し得る。このようにして、第１のクロマ成分および第２のクロマ成分に関するよりも、ルーマ成分に関して高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得、シグナリングコストも低減され得る。３Ｄルックアップテーブルのテーブルサイズは、ビデオパラメータセット（ＶＰＳ：a video parameter set）、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）、ピクチャパラメータセット（ＰＰＳ：picture parameter set）、スライスヘッダ、または関連拡張においてなど、ビットストリーム内でシグナリングされ得る。

[0104]いくつかの例では、３Ｄルックアップテーブルの各々は、同じサイズＭ×Ｎ×Ｋを有し得、この場合、３Ｄルックアップテーブルのルーマ次元のサイズ（Ｍ）は、３Ｄルックアップテーブルの第１のクロマ次元のサイズ（Ｎ）および３Ｄルックアップテーブルの第２のクロマ次元のサイズ（Ｋ）とは異なる。たとえば、ルーマ次元のサイズは、クロマ次元のサイズよりも大きく、Ｍ＞ＮおよびＭ＞Ｋであり得、３Ｄルックアップテーブルのクロマ次元のサイズは同じで、Ｎ＝Ｋであり得る。一例では、３Ｄルックアップテーブルの各々は８×２×２の同じサイズを有し得る。別の例では、３Ｄルックアップテーブルの各々は９×６×６の同じサイズを有し得る。

[0105]他の例では、ルーマ成分３Ｄルックアップテーブル（ＬＵＴ_Y）は、第１のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_U）の第２のサイズ、たとえば、Ｎ×Ｎ×Ｎ、および第２のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_V）の第３のサイズ、たとえば、Ｋ×Ｋ×Ｋとは異なる第１のサイズ、たとえば、Ｍ×Ｍ×ＭまたはＭ×Ｎ×Ｋを有し得る。たとえば、ＬＵＴ_Yのサイズは、ＬＵＴ_UおよびＬＵＴ_Vのサイズよりも大きくてよい。ＬＵＴ_UおよびＬＵＴ_Vのサイズは、同じであってよく、または互いとは異なってもよい。一例では、ＬＵＴ_Yは、サイズ８×２×２を有し得、ＬＵＴ_UおよびＬＵＴ_Vの各々はサイズ２×２×２を有し得る。別の例では、ＬＵＴ_Yは、サイズ９×９×９または９×６×６を有し得、ＬＵＴ_UおよびＬＵＴ_Vの各々は、サイズ９×３×３または３×３×３を有し得る。

[0106]さらなる例では、３Ｄルックアップテーブルの精度は、関連する色成分に依存し得る。たとえば、ルーマ成分３Ｄルックアップテーブルの第１の精度値は、第１のクロマ成分３Ｄルックアップテーブルと第２のクロマ成分３Ｄルックアップテーブルの両方の第２の精度値と異なってよい。たとえば、ルーマ成分３Ｄルックアップテーブルの第１の精度値は、クロマ成分３Ｄルックアップテーブルの第２の精度値より高くてよい。一例では、ルーマ成分に関する第１の精度値は８ビットであってよく、クロマ成分に関する第２の精度値は６ビットであってよい。場合によっては、３Ｄルックアップテーブルを生成するとき、エンハンスメントレイヤのターゲットビット深度を満たすために、追加のシフトが適用され得る。関連する色成分に基づく３Ｄルックアップテーブルに関するデフォルト精度値とは異なる精度値の使用は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、または関連拡張において示される場合がある。

[0107]第２の方法は、３Ｄルックアップテーブルに関するテーブルインデックスとしてどの色成分が使用されているかに応じて、各次元のサイズが異なるように、不平衡３Ｄルックアップテーブル、すなわち、テーブル［Ｍ］［Ｎ］［Ｋ］を生成することを含む。３Ｄルックアップテーブルは、テーブルインデックスとして使用される色成分に関連付けられた次元に関してより大きいサイズを有し得る。この場合、カラーマッピングはテーブルインデックスとして使用される色成分に関してより正確であり得るが、他の色成分に関して精度はより低い。

[0108]ＪＣＴＶＣ−Ｎ０１６８で提案される３Ｄルックアップテーブルは、３Ｄルックアップテーブルの各次元のサイズが常に同じであるように、常に平衡を保たせられる。上記で論じたように、３Ｄルックアップテーブルの各色次元（すなわち、Ｙ、Ｕ、およびＶ）においてより多くのセグメントが使用されればされるほど、色予測効率はより良好になる。しかしながら、多数のセグメントは、高いシグナリングコストおよび高い計算複雑性（すなわち、より大きいテーブルサイズ）をもたらし得る。第１の色域内の各色成分は、通常、第２の色域内の同じ色成分と、より高い相関を有することを考えると、関連する色成分が３Ｄルックアップテーブルに関するテーブルインデックスとして使用されるとき、テーブル次元に関して、より多くのセグメントを使用すること、すなわち、より大きいサイズを使用することによって、予測効率を改善することはより有用であり得る。３Ｄルックアップテーブルに関するテーブルインデックスとして、異なる色成分が使用されるとき、テーブル次元のサイズはより小さい場合がある。

[0109]本開示の本技法によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０などのビデオコーダは、３Ｄルックアップテーブルに関するテーブルインデックスとして使用される色成分に関連付けられた３Ｄルックアップテーブルの次元に関してより多くのセグメントを使用して、不平衡３Ｄルックアップテーブルを生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルは、ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されているルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元よりも大きいルーマ次元を有し得る。一例では、ＬＵＴ_YはサイズＭ×Ｎ×Ｎを有し得、ここで、Ｍ＞Ｎである。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルのサイズは同様に決定され得る。たとえば、ＬＵＴ_Uは、テーブルインデックスにおいて使用されている第１のクロマ成分に基づいて、サイズＮ×Ｍ×Ｎを有し得、ＬＵＴ_Vは、テーブルインデックスにおいて使用されている第２のクロマ成分に基づいて、サイズＮ×Ｎ×Ｍを有し得る。このようにして、テーブルインデックスとして使用される色成分に関して、より高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの各々の総サイズは低減され得る。

[0110]一例では、Ｙ、Ｕ、Ｖ成分が３Ｄルックアップテーブルに対する入力として使用されるとき、８×２×２テーブルがＹ成分に関して使用され得、２×８×２テーブルがＵ成分に関して使用され得、２×２×８テーブルがＶ成分に関して使用され得る。別の例では、Ｙ、Ｕ、Ｖ成分が３Ｄルックアップテーブルに対する入力として使用されるとき、９×３×３テーブルがＹ成分に関して使用され得、３×９×３テーブルがＵ成分に関して使用され得、３×３×９テーブルがＶ成分に関して使用され得る。

[0111]３Ｄルックアップテーブルのテーブルサイズは、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、または関連拡張においてなど、ビットストリーム内でシグナリングされ得る。上記の例では、テーブルサイズを示すために、ＭおよびＮの値だけがシグナリングされ得る。場合によっては、ＭおよびＮの値をシグナリングする代わりに、テーブルサイズの何のシグナリングも必要でないように、ＭおよびＮに関してデフォルト値が設定され得る。たとえば、デフォルト設定で、Ｎは３の値または２の値に設定され得る。

[0112]第３の方法は、ルーマ成分３Ｄルックアップテーブルだけを生成することと、クロマ成分に関して１次元（１Ｄ）線形マッピングまたは区分線形マッピングを使用するのに対して、ルーマ成分予測を実行するために、３Ｄルックアップテーブルだけを使用することとを含む。この例では、３Ｄルックアップテーブルがルーマ成分予測に関してだけ適用されるように、３Ｄルックアップテーブルは簡略化される。クロマ成分予測の場合、区分線形予測モデルが使用され得る。区分線形予測モデルはクロマ成分に関する３Ｄルックアップテーブルベースの色予測モデルと同様の性能を示すため、この簡略化は、計算複雑性およびシグナリングコストを低減しながら、予測精度を維持することができる。たとえば、ルーマ成分３Ｄルックアップテーブルだけを使用することは、クロマ成分に関する３線形補間を回避することによって、計算複雑性を低減することができ、クロマ成分に関する３Ｄルックアップテーブルをシグナリングしないことによって、シグナリングコストを低減することができる。

[0113]３Ｄルックアップテーブルがルーマ成分予測を実行するためにだけ使用されるとき、図９および図１０に関して上記で説明した３Ｄマッピング関数は、クロマ成分に関して１Ｄマッピング関数に簡略化され得る。第１のクロマ（Ｕ）ピクセル値および第２のクロマ（Ｖ）ピクセル値に関する例示的なマッピング関数は、次の式で提示される。ルーマ（Ｙ）ピクセル値に関する３Ｄマッピング関数は、上記で提示したのと同じであり得る。

上記の式では、Ｕ_Eはエンハンスメントレイヤ中の第１のクロマピクセル値を表し、Ｖ_Eは、エンハンスメントレイヤ中の第２のクロマピクセル値を表し、Ｕ_BおよびＶ_Bは、ベースレイヤクロマピクセル値を表し、ＬＵＴ_U、ＬＵＴ_V、およびＬＵＴ_Cは、各クロマ成分Ｕ、Ｖ、およびに定数に関する１Ｄルックアップテーブルを表す。

[0114]上記で説明した方法のうちのいずれかの使用は、ＶＰＳ、ＳＰＳ、ＰＰＳ、スライスヘッダ、または関連拡張において示され得る。いくつかの例では、３Ｄルックアップテーブルベースの色域スケーラブルを実行するための、上記で説明した方法のうちの１つまたは複数は組み合わせられてもよい。

[0115]図１１は、マルチレイヤビデオコーディングにおいて３Ｄルックアップテーブルベースの色域スケーラビリティを使用するための技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行することができる。イントラコーディングは、所与のビデオフレームもしくはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームもしくはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれをも指すことができる。単一方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれをも指すことができる。

[0116]図１１に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内で現在のビデオブロックを受信する。図１１の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、ビデオデータメモリ４１と、復号ピクチャバッファ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測処理ユニット４６と、区分ユニット４８と、色予測処理ユニット６６とを含む。ビデオブロックの再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクト（blockiness artifacts）を除去するためにブロック境界をフィルタリングするためのデブロッキングフィルタ（図１１に図示せず）も含まれ得る。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタリングすることになる。さらなるフィルタ（インループまたはポストループ）も、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡約のために図示されないが、必要な場合、加算器５０の出力を（インループフィルタとして）フィルタリングし得る。

[0117]ビデオデータメモリ４１は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶することができる。ビデオデータメモリ４１内に記憶されるビデオデータは、たとえば、ビデオソース１８から取得され得る。復号ピクチャバッファ６４は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ２０によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ４１および復号ピクチャバッファ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ４１および復号ピクチャバッファ６４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ４１は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0118]符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間予測を提供するために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに関連して受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は、代替で、空間予測を提供するために、コーディングされるべきブロックと同一のフレームまたはスライス中の１つもしくは複数の隣接ブロックに関連して受信されたビデオブロックのイントラ予測コーディングを実行することができる。ビデオエンコーダ２０は、たとえば、ビデオデータのブロックごとに適当なコーディングモードを選択するために、複数のコーディングパスを実行することができる。

[0119]さらに、区分ユニット４８は、前のコーディングパス内の前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分することができる。たとえば、区分ユニット４８は、最初に、フレームまたはスライスをＬＣＵに区分し、レートひずみ分析（たとえば、レートひずみ最適化）に基づいて、ＬＣＵの各々をサブＣＵに区分することができる。モード選択ユニット４０は、サブＣＵへのＬＣＵの区分を示す４分木データ構造をさらに生成することができる。４分木の葉ノード（leaf-node）ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。

[0120]モード選択ユニット４０は、たとえば、誤差の結果に基づいて、コーディングモード、イントラまたはインター、のうちの１つを選択し、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に提供し、参照フレームとして使用するための符号化されたブロックを再構成するために加算器６２に提供することができる。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット５６に提供する。

[0121]動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念上の目的から別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在ピクチャ（または、他のコード化ユニット）内でコーディングされている現在ブロックに対する参照ピクチャ（または、他のコード化ユニット）内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分の観点で、コーディングされるべきブロックと密に一致することが見出されたブロックである。いくつかの例では、ビデオエンコーダ２０は、復号ピクチャバッファ６４内に記憶された参照ピクチャのサブ整数ピクセル位置（sub-integer pixel positions）に関する値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置（fractional pixel positions）の値を補間することができる。したがって、動き推定ユニット４２は、フルピクセル位置（full pixel positions）および分数ピクセル位置に関する動き探索を実行し、分数ピクセル精度を有する動きベクトルを出力することができる。

[0122]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵの動きベクトルを計算する。参照ピクチャは、その各々が、復号ピクチャバッファ６４内に記憶された１つまたは複数の参照ピクチャを識別する、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得る。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0123]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて、予測ブロックをフェッチすること、またはこれを生成することを含み得る。やはり、動き推定ユニット４２および動き補償ユニット４４は、いくつかの例で、機能的に統合され得る。現在ビデオブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を突き止める（locate）ことができる。加算器５０は、下記で論じるように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２は、ルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方に関して、ルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０は、ビデオスライスのビデオブロックを復号する際のビデオデコーダ３０による使用のために、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成することもできる。

[0124]イントラ予測ユニット４６は、上述のように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測することができる。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定することができる。いくつかの例では、イントラ予測ユニット４６は、たとえば別々の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用すべき適当なイントラ予測モードを選択することができる。

[0125]たとえば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードに関するレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの間で最良レートひずみ特性を有するイントラ予測モードを選択することができる。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを作るために符号化された、元の符号化されていないブロックとの間のひずみ（または、誤差）の量、ならびに符号化されたブロックを作るのに使用されたビットレート（すなわち、ビットの個数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックに関して最良のレートひずみ値を示すのかを決定するために、様々な符号化されたブロックに関するひずみとレートとから比率を計算することができる。

[0126]ブロックに関するイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび（符号語マッピングテーブルとも呼ばれる）複数の修正されたイントラ予測モードインデックステーブルと、様々なブロックに関する符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード（a most probable intra-prediction mode）、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルのインディケーションと、を含み得る構成データを、送信されるビットストリーム中に含めることができる。

[0127]ビデオエンコーダ２０は、モード選択ユニット４０からの予測データを、コーディングされている元のビデオブロックから減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する、１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴに概念的に類似する他の変換を実行することができる。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用され得る。どの場合においても、変換処理ユニット５２は、残差ブロックに変換を適用して、残差変換係数のブロックを作る。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換することができる。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートをさらに低減させるために、変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連付けられたビット深度を低減させることができる。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を実行することができる。代替的に、エントロピー符号化ユニット５６が、この走査を実行することができる。

[0128]量子化の後に、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または別のエントロピーコーディング技法を実行することができる。コンテキストベースのエントロピーコーディングの場合、コンテキストは、隣接ブロックに基づくものとされ得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後に、符号化されたビットストリームは、別のデバイス（たとえば、ビデオデコーダ３０）に送信されるか、または後の送信もしくは取出のためにアーカイブされ得る。

[0129]逆量子化ユニット５８および逆変換処理ユニット６０は、たとえば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成するために、それぞれ、逆量子化および逆変換を適用する。動き補償ユニット４４は、復号ピクチャバッファ６４のフレームのうちの１つの予測ブロックに残差ブロックを加算することによって参照ブロックを計算することができる。動き補償ユニット４４は、動き推定での使用のためにサブ整数ピクセル値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用することもできる。加算器６２は、復号ピクチャバッファ６４内に記憶するための再構成されたビデオブロックを生成するために、再構成された残差ブロックを動き補償ユニット４４によって生成された動き補償された予測ブロックに加算する。再構成されたビデオブロックは、後続ビデオフレーム中のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット４２と動き補償ユニット４４とによって使用され得る。

[0130]本開示で説明する技法によれば、ビデオエンコーダ２０は、マルチレイヤビデオデータを符号化するとき、３Ｄルックアップテーブルベースの色域スケーラビリティを実行するように構成される。ビデオエンコーダ２０は、ＳＨＶＣ拡張、ＭＶ−ＨＥＶＣ拡張、および３Ｄ−ＨＥＶＣ拡張、または他のマルチレイヤビデオコーディング拡張のいずれかに従って、マルチレイヤビデオデータを予測して、符号化することができる。具体的には、ビデオエンコーダ２０の色予測処理ユニット６６は、ビデオデータの上位レイヤに関する色域がそのビデオデータの下位レイヤに関する色域と異なるとき、ビデオデータの上位レイヤのピクチャ中のビデオブロックを予測するために使用されるレイヤ間参照ピクチャ（inter-layer reference pictures）を生成することができる。

[0131]ビデオエンコーダ２０の色予測処理ユニット６６は、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、色域スケーラビリティのための３Ｄルックアップテーブルを使用して、色予測を実行することができる。いくつかの例では、色予測処理ユニット６６は、色成分の各々、すなわち、ルーマ成分、第１のクロマ成分、および第２のクロマ成分、に関して生成され得る、別個の３Ｄルックアップテーブルを生成することができる。３Ｄルックアップテーブルの各々は、ルーマ次元と、第１のクロマ次元と、第２のクロマ次元とを含み、３つの独立した色成分を使用してインデックス付けされる。

[0132]本開示で説明する技法によれば、ビデオエンコーダ２０の色予測処理ユニット６６は、第１のクロマ成分および第２のクロマ成分の各々に関するのとは、ルーマ成分に関して異なるサイズを有する、少なくとも１つの３Ｄルックアップテーブルを生成する。色予測処理ユニット６６は、３Ｄルックアップテーブルのルーマ次元に関して異なる数のセグメントを使用して、この非対称３Ｄルックアップテーブルを生成することができる。一例では、色予測処理ユニット６６は、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズ、すなわち、より多いセグメントを有するように、３Ｄルックアップテーブルを生成することができる。このようにして、第１のクロマ成分および第２のクロマ成分に関するよりも、ルーマ成分に関して高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得る。

[0133]いくつかの例では、色予測処理ユニット６６は、同じサイズを有するように、３Ｄルックアップテーブルの各々を生成することができ、この場合、３Ｄルックアップテーブルのルーマ次元のサイズは、３Ｄルックアップテーブルの第１のクロマ次元のサイズおよび３Ｄルックアップテーブルの第２のクロマ次元のサイズの各々とは異なる。他の例では、色予測処理ユニット６６は、第１のクロマ成分３Ｄルックアップテーブルの第２のサイズおよび第２のクロマ成分３Ｄルックアップテーブルの第３のサイズの各々とは異なる第１のサイズを有するように、ルーマ成分３Ｄルックアップテーブルを生成することができる。さらなる例では、色予測処理ユニット６６は、第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルの各々とは異なる精度値を有するように、ルーマ成分３Ｄルックアップテーブルを生成することができる。場合によっては、複雑さをさらに低減させるために、色予測処理ユニット６６は、ルーマ成分３Ｄルックアップテーブルを単に生成し、そのルーマ成分３Ｄルックアップテーブルを使用して、ルーマ成分予測を実行し、１Ｄ線形マッピング、または区分線形マッピングを使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することが可能である。

[0134]別の例として、本開示の本技法によれば、色予測処理ユニット６６は、３Ｄルックアップテーブルに関するテーブルインデックスとして使用される色成分に関連付けられた３Ｄルックアップテーブルの次元に関してより多くのセグメントを使用して、不平衡３Ｄルックアップテーブルを生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルは、ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されているルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元の各々よりも大きいルーマ次元を有し得る。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルのサイズは、テーブルインデックスにおいて使用されている第１のクロマ成分または第２のクロマ成分のうちのそれぞれの１つに基づいて同様に決定され得る。このようにして、テーブルインデックスとして使用される色成分に関して、より高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの各々の総サイズは低減され得る。

[0135]３Ｄルックアップテーブルを生成すると、色予測処理ユニット６６は、３Ｄルックアップテーブルを使用して、ビデオデータの下位レイヤに関する参照ピクチャの色予測を実行し、色予測された参照ピクチャに基づいて、そのビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成する。レイヤ間参照ピクチャを生成すると、ビデオエンコーダ２０の動き補償ユニット４４は、３Ｄルックアップテーブルを使用して生成されたレイヤ間参照ピクチャに基づいて、ビデオデータの上位レイヤのピクチャ中のビデオブロックを予測するために、上記で説明したように動作することができる。ビデオエンコーダ２０は、次いで、ビデオデコーダ３０に送信するために、ビットストリーム内の予測されたビデオブロックの残差データを符号化することができる。いくつかの例では、ビデオエンコーダ２０は、ビットストリーム内の３Ｄルックアップテーブルのサイズを示す、１つまたは複数のシンタックス要素を符号化することもでき、この場合、このサイズは、第１のクロマ成分および第２のクロマ成分に関するのとはルーマ成分に関して異なる。

[0136]図１２は、マルチレイヤビデオコーディングにおいて３Ｄルックアップテーブルベースの色域スケーラビリティを使用することを決定するための技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。図１２の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、ビデオデータメモリ７１と、動き補償ユニット７２と、イントラ予測処理ユニット７４と、色予測処理ユニット８６と、逆量子化ユニット７６と、逆変換処理ユニット７８と、復号ピクチャバッファ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図１１）に関して説明した符号化パスとは概して逆の復号パスを実行することができる。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成することができるが、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。

[0137]ビデオデータメモリ７１は、ビデオデコーダ３０の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶することができる。ビデオデータメモリ７１内に記憶されたビデオデータは、たとえば、コンピュータ可読媒体１６から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレスのネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって、取得され得る。ビデオデータメモリ７１は、符号化されたビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ：a coded picture buffer）を形成することができる。復号ピクチャバッファ８２は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ３０によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ７１および復号ピクチャバッファ８２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ７１および復号ピクチャバッファ８２は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ７１は、ビデオデコーダ３０の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0138]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化されたビデオスライスのビデオブロックと、関連付けられたシンタックス要素とを表す、符号化されたビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他のシンタックス要素とを動き補償ユニット７２へ転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでのシンタックス要素を受信し得る。

[0139]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測処理ユニット７４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックに関する予測データを生成することができる。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックに関する予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、復号ピクチャバッファ８２内に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照ピクチャリスト、すなわち、リスト０およびリスト１を構成することができる。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパーズすること（parsing）によって現在ビデオスライスのビデオブロックに関する予測情報を決定し、復号されている現在ビデオブロックの予測ブロックを生成するために、その予測情報を使用する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライス用の参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化されたビデオブロックに関する動きベクトルと、スライスの各インターコード化ビデオブロックに関するインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信されたシンタックス要素のうちのいくつかを使用する。

[0140]動き補償ユニット７２は、補間フィルタに基づいて補間を実行することもできる。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルに関して補間された値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用することができる。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを生成するためにそれらの補間フィルタを使用することができる。

[0141]逆量子化ユニット７６は、ビットストリーム中で提供され、エントロピー復号ユニット７０によって復号された、量子化された変換係数を逆量子化する（inverse quantize）、すなわち、逆量子化する（de-quantize）。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックに関してビデオデコーダ３０によって計算される量子化パラメータＱＰ_Yの使用を含み得る。逆変換処理ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0142]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックに関する予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器８０は、この加算演算を実行する１つまたは複数の構成要素を表す。必要な場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタリングするためのデブロッキングフィルタも適用され得る。（コーディングループ中の、またはコーディングループ後のいずれかにおける）他のループフィルタも、ピクセルの遷移を平滑化し、または場合によっては、ビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ８２内に記憶される。復号ピクチャバッファ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。

[0143]本開示で説明する技法によれば、ビデオデコーダ３０は、マルチレイヤビデオデータを復号するとき、３Ｄルックアップテーブルベースの色域スケーラビリティを実行するように構成される。ビデオデコーダ３０は、ＳＨＶＣ拡張、ＭＶ−ＨＥＶＣ拡張、および３Ｄ−ＨＥＶＣ拡張、またはＨＥＶＣに対する他のマルチレイヤビデオコーディング拡張のいずれかに従って、予測されたマルチレイヤビデオデータを復号して、再構成することができる。具体的には、ビデオデコーダ３０の色予測処理ユニット８６は、ビデオデータの上位レイヤに関する色域がそのビデオデータの下位レイヤに関する色域と異なるとき、ビデオデータの上位レイヤのピクチャ中のビデオブロックを予測するために使用されるレイヤ間参照ピクチャを生成することができる。

[0144]ビデオデコーダ３０の色予測処理ユニット８６は、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、色域スケーラビリティのための３Ｄルックアップテーブルを使用して、色予測を実行することができる。いくつかの例では、色予測処理ユニット８６は、色成分の各々、すなわち、ルーマ成分、第１のクロマ成分、および第２のクロマ成分、に関して生成され得る、別個の３Ｄルックアップテーブルを生成することができる。３Ｄルックアップテーブルの各々は、ルーマ次元と、第１のクロマ次元と、第２のクロマ次元とを含み、３つの独立した色成分を使用してインデックス付けされる。

[0145]本開示で説明する技法によれば、ビデオデコーダ３０の色予測処理ユニット８６は、第１のクロマ成分および第２のクロマ成分の各々に関するのとはルーマ成分に関して異なるサイズを有する、少なくとも１つの３Ｄルックアップテーブルを生成する。いくつかの例では、ビデオデコーダ３０は、ビットストリーム内の３Ｄルックアップテーブルのサイズを示す、１つまたは複数のシンタックス要素を復号することができ、この場合、このサイズは、第１のクロマ成分および第２のクロマ成分に関するのとはルーマ成分に関して異なる。色予測処理ユニット８６は、３Ｄルックアップテーブルのルーマ次元に関して異なる数のセグメントを使用して示されたサイズに従って、この非対称３Ｄルックアップテーブルを生成することができる。一例では、色予測処理ユニット８６は、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズの、すなわち、より多いセグメントを有するように、３Ｄルックアップテーブルを生成することができる。このようにして、第１のクロマ成分および第２のクロマ成分に関するよりも、ルーマ成分に関して高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得る。

[0146]いくつかの例では、色予測処理ユニット８６は、同じサイズを有するように、３Ｄルックアップテーブルの各々を生成することができ、この場合、３Ｄルックアップテーブルのルーマ次元のサイズは、３Ｄルックアップテーブルの第１のクロマ次元のサイズおよび３Ｄルックアップテーブルの第２のクロマ次元のサイズの各々とは異なる。他の例では、色予測処理ユニット８６は、第１のクロマ成分３Ｄルックアップテーブルの第２のサイズおよび第２のクロマ成分３Ｄルックアップテーブルの第３のサイズの各々とは異なる第１のサイズを有するように、ルーマ成分３Ｄルックアップテーブルを生成することができる。さらなる例では、色予測処理ユニット８６は、第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルの各々とは異なる精度値を有するように、ルーマ成分３Ｄルックアップテーブルを生成することができる。場合によっては、複雑さをさらに低減させるために、色予測処理ユニット８６は、ルーマ成分３Ｄルックアップテーブルを単に生成し、そのルーマ成分３Ｄルックアップテーブルを使用して、ルーマ成分予測を実行し、１Ｄ線形マッピング、または区分線形マッピングを使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することが可能である。

[0147]別の例として、本開示の本技法によれば、色予測処理ユニット８６は、３Ｄルックアップテーブルに関するテーブルインデックスとして使用される色成分に関連付けられた３Ｄルックアップテーブルの次元に関してより多くのセグメントを使用して、不平衡３Ｄルックアップテーブルを生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルは、ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されているルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元の各々よりも大きいルーマ次元を有し得る。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルのサイズは、テーブルインデックスにおいて使用されている第１のクロマ成分または第２のクロマ成分のうちのそれぞれの１つに基づいて同様に決定され得る。このようにして、テーブルインデックスとして使用される色成分に関して、より高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの各々の総サイズは低減され得る。

[0148]３Ｄルックアップテーブルを生成すると、色予測処理ユニット８６は、３Ｄルックアップテーブルを使用して、ビデオデータの下位レイヤに関する参照ピクチャの色予測を実行し、色予測された参照ピクチャに基づいて、ビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成する。レイヤ間参照ピクチャを生成すると、ビデオデコーダ３０の動き補償ユニット７２は、復号された残差データと、３Ｄルックアップテーブルを使用して生成されたレイヤ間参照ピクチャとに基づいて、ビデオデータの上位レイヤのピクチャ中の予測されたビデオブロックを再構成するために、上記で説明したように動作することができる。

[0149]図１３は、３Ｄルックアップテーブルベースの色域スケーラビリティを使用してレイヤ間参照ピクチャを生成するある例示的な動作を示すフローチャートである。図１３の例示的な動作は、図１２のビデオデコーダ３０の色予測処理ユニット８６によって実行されているとして本明細書で説明される。他の例では、この動作は、図１１のビデオエンコーダ２０の色予測処理ユニット６６または図８の色予測処理ユニット１４４によって実行され得る。

[0150]従来、マルチレイヤビデオコーディングでは、ビデオデータの下位レイヤ（たとえば、ベースレイヤ）およびビデオデータの上位レイヤ（たとえば、エンハンスメントレイヤ）は、同じ色域内、たとえばＨＤ色域ＢＴ．７０９内の色データを含む。この場合、ビデオデコーダは、ビデオデータの下位レイヤに関するコロケートされた参照ピクチャのアップサンプリングされたバージョンとして、そのビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成することができる。本開示で説明する例では、ビデオデータの下位レイヤは、第１の色域、たとえば、ＢＴ．７０９内の色データを含むことが可能であり、そのビデオデータの上位レイヤは、異なる第２の色域、たとえば、ＵＨＤ色域ＢＴ．２０２０内の色データを含むことが可能である。この例では、ビデオデータの上位レイヤに関するレイヤ間参照ピクチャを生成するために、ビデオデコーダ３０は、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するための色予測を実行するために、色予測処理ユニット８６を使用する。ビデオデコーダ３０の色予測処理ユニット８６は、色域スケーラビリティのための３Ｄルックアップテーブルを使用して、色予測を実行することができる。

[0151]本開示の技法によれば、色予測処理ユニット８６は、第１のクロマ成分および第２のクロマ成分の各々に関するのとは、ルーマ成分に関して異なるサイズを有する、色域スケーラビリティのための少なくとも１つの３Ｄルックアップテーブルを生成する（１８０）。エントロピー復号ユニット７０は、少なくとも１つの３Ｄルックアップテーブルのサイズを示す、１つまたは複数のシンタックス要素を復号することができ、この場合、このサイズは、第１のクロマ成分および第２のクロマ成分の各々に関するのとはルーマ成分に関して異なる。色予測処理ユニット８６は、３Ｄルックアップテーブルの第１のクロマ成分および第２のクロマ成分に関するのとは異なる数の、３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用することによって示されたサイズに従って、この非対称３Ｄルックアップテーブルを生成することができる。

[0152]たとえば、色予測処理ユニット８６は、第１のクロマ成分および第２のクロマ成分の各々に関するよりも、ルーマ成分に関して大きいサイズの、すなわち、より多いセグメントを有するように、３Ｄルックアップテーブルを生成することができる。一例では、３Ｄルックアップテーブルは、８×２×２までのサイズを有し得る。このようにして、第１のクロマ成分および第２のクロマ成分に関するよりも、ルーマ成分に関して高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの総サイズは低減され得る。

[0153]色予測処理ユニット８６は、色成分の各々、すなわち、ルーマ（Ｙ）成分、第１のクロマ（Ｕ）成分、および第２のクロマ（Ｖ）成分、に関して、別個の３Ｄルックアップテーブルを生成することができる。３Ｄルックアップテーブルの各々は、ルーマ（Ｙ）次元と、第１のクロマ（Ｕ）次元と、第２のクロマ（Ｖ）次元とを含み、３つの独立した色成分（Ｙ、Ｕ、Ｖ）を使用してインデックス付けされる。いくつかの例では、色予測処理ユニット８６は、同じサイズＭ×Ｎ×Ｋを有するように、３Ｄルックアップテーブルの各々を生成することができ、この場合、３Ｄルックアップテーブルのルーマ次元のサイズ（Ｍ）は、３Ｄルックアップテーブルの第１のクロマ次元のサイズ（Ｎ）および３Ｄルックアップテーブルの第２のクロマ次元のサイズ（Ｋ）の各々とは異なる。たとえば、ルーマ次元のサイズは、クロマ次元のサイズよりも大きく、Ｍ＞ＮおよびＭ＞Ｋであり得、クロマ次元のサイズは同じで、Ｎ＝Ｋであり得る。一例では、３Ｄルックアップテーブルの各々は８×２×２の同じサイズを有し得る。

[0154]他の例では、色予測処理ユニット８６は、第１のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_U）の第２のサイズ、たとえば、Ｎ×Ｎ×Ｎ、および第２のクロマ成分３Ｄルックアップテーブル（ＬＵＴ_V）の第３のサイズ、たとえば、Ｋ×Ｋ×Ｋ、の各々とは異なる第１のサイズ、たとえば、Ｍ×Ｍ×ＭまたはＭ×Ｎ×Ｋを有するように、ルーマ成分３Ｄルックアップテーブル（ＬＵＴ_Y）を生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルのサイズは、クロマ成分３Ｄルックアップテーブルのサイズよりも大きくてよい。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルは、同じサイズであってよく、または異なるサイズであってもよい。一例では、ＬＵＴ_Yは、サイズ８×２×２を有し得、ＬＵＴ_UおよびＬＵＴ_Vの各々はサイズ２×２×２を有し得る。

[0155]さらなる例では、色予測処理ユニット８６は、第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルの各々の精度値とは異なる精度値を有するルーマ成分３Ｄルックアップテーブルを生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルの精度値は、クロマ成分３Ｄルックアップテーブルの精度値より高くてよい。場合によっては、複雑性をさらに低減させるために、色予測処理ユニット８６は、ルーマ成分３Ｄルックアップテーブルを単に生成することができる。

[0156]別の例として、本開示の本技法によれば、ビデオデコーダ３０の色予測処理ユニット８６は、３Ｄルックアップテーブルに関するテーブルインデックスとして使用される色成分に関連付けられた３Ｄルックアップテーブルの次元に関してより多くのセグメントを使用して、不平衡３Ｄルックアップテーブルとして、少なくとも１つの３Ｄルックアップテーブルを生成することができる。たとえば、ルーマ成分３Ｄルックアップテーブルは、ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されているルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元よりも大きいルーマ次元を有し得る。この例では、ＬＵＴ_YはサイズＭ×Ｎ×Ｎを有し得、ここで、Ｍ＞Ｎである。第１のクロマ成分３Ｄルックアップテーブルおよび第２のクロマ成分３Ｄルックアップテーブルのサイズは同様に決定され得る。たとえば、ＬＵＴ_Uは、テーブルインデックスにおいて使用されている第１のクロマ成分に基づいて、サイズＮ×Ｍ×Ｎを有し得、ＬＵＴ_Vは、テーブルインデックスにおいて使用されている第２のクロマ成分に基づいて、サイズＮ×Ｎ×Ｍを有し得る。このようにして、テーブルインデックスとして使用される色成分に関して、より高い解像度を用いて良好なコーディング性能を維持しながら、テーブルの各々の総サイズは低減され得る。

[0157]少なくとも１つの３Ｄルックアップテーブルを生成した後、色予測処理ユニット８６は、ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データをそのビデオデータの上位レイヤに関する第２の色域に変換するために、その少なくとも１つの３Ｄルックアップテーブルを使用して色予測を実行する（１８２）。色予測処理ユニット８６は、次いで、変換された色データに基づいて、ビデオデータの上位レイヤに関する、少なくとも１つのレイヤ間参照ピクチャを生成する（１８４）。ルーマ成分３Ｄルックアップテーブルだけが生成される場合、色予測処理ユニット８６は、ルーマ成分３Ｄルックアップテーブルを使用して、ルーマ成分予測を実行し、レイヤ間参照ピクチャを生成するために、１Ｄ線形マッピングまたは区分線形マッピングを使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することができる。ビデオデコーダ３０は、次いで、復号された残差データと、少なくとも１つの３Ｄルックアップテーブルを使用して生成された少なくとも１つのレイヤ間参照ピクチャとに基づいて、ビデオデータの上位レイヤのピクチャ中の予測されたビデオブロックを再構成することができる。

[0158]本開示のいくつかの態様が、説明のためにＨＥＶＣ規格の拡張に関して説明されてきた。ただし、本開示で説明した技法は、他の規格またはまだ開発されていないプロプライエタリなビデオコーディング処理を含む、他のビデオコーディング処理にとって有用であり得る。

[0159]本開示で説明したビデオコーダは、ビデオエンコーダまたはビデオデコーダを指す場合がある。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指す場合がある。同様に、ビデオコーディングは、適用可能なとき、ビデオ符号化またはビデオ復号を指す場合がある。

[0160]例に応じて、本明細書で説明した技法のうちの任意のもののいくつかの動作または事象は、異なるシーケンスで実行され得、全体的に追加、結合、または除外され得ることが認識されるべきである（たとえば、説明した動作または事象のすべてが、本技法の実施のために必要であるとは限らない）。その上、いくつかの例では、動作または事象は、たとえば、マルチスレッドの処理、割込み処理、または多数のプロセッサを通して、連続的ではなく同時に実行され得る。

[0161]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実施される場合、機能は、コンピュータ可読媒体上の１つもしくは複数の命令またはコード上に記憶され、あるいはこれを介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従う、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体、に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のために命令、コード、および／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の使用可能な媒体とされ得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

[0162]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、マイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲の中に含まれるべきである。

[0163]命令は、１つもしくは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の統合された、あるいは個別の論理回路など、１つもしくは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または、本明細書で説明した技法の実装に適切な任意の他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアモジュールならびに／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つもしくは複数の回路または論理要素で十分に実装され得る。

[0164]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）もしくはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々なコンポーネント、モジュール、またはユニットは、開示した技術を実行するように構成されたデバイスの機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。そうではなく、上記で説明したように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、または上記で説明した１つもしくは複数のプロセッサを含む、適切なソフトウェアおよび／あるいはファームウェアとともに相互動作可能なハードウェアユニットの集合によって提供され得る。

[0165]様々な例が、説明された。これらおよび他の例は、以下の特許請求の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
マルチレイヤビデオデータを処理する方法であって、
色域スケーラビリティのための少なくとも１つの３次元（３Ｄ）ルックアップテーブルを生成することと、ここにおいて、前記少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分の各々に関するのとは、ルーマ成分に関して異なるサイズを有する、
前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、
前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することと
を備える、方法。
［Ｃ２］
前記少なくとも１つの３Ｄルックアップテーブルの前記サイズは、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するよりも、前記ルーマ成分に関して大きい、Ｃ１に記載の方法。
［Ｃ３］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、非対称３Ｄルックアップテーブルの第１のクロマ次元および第２のクロマ次元の各々に関するのとは異なる数の、前記非対称３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用して、前記非対称３Ｄルックアップテーブルを生成することを備える、Ｃ１に記載の方法。
［Ｃ４］
前記非対称３Ｄルックアップテーブルは、前記非対称３Ｄルックアップテーブルの前記第１のクロマ次元および前記第２のクロマ次元の各々に関するよりも多い、前記非対称３Ｄルックアップテーブルの前記ルーマ次元に関するセグメントを有する、Ｃ３に記載の方法。
［Ｃ５］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、サイズＭ×Ｎ×Ｋを有するルーマ成分３Ｄルックアップテーブルを生成すること、ここにおいて、Ｍが、前記ルーマ成分３Ｄルックアップテーブルのルーマ次元に関するサイズを表し、Ｎが、前記ルーマ成分３Ｄルックアップテーブルの第１のクロマ次元に関するサイズを表し、Ｋが、前記ルーマ成分３Ｄルックアップテーブルの第２のクロマ次元に関するサイズを表し、ここにおいて、ＭがＮおよびＫの各々とは異なる、を備える、Ｃ１に記載の方法。
［Ｃ６］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、前記サイズＭ×Ｎ×Ｋを有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、前記サイズＭ×Ｎ×Ｋを有する第２のクロマ成分３Ｄルックアップテーブルを生成することとをさらに備える、Ｃ５に記載の方法。
［Ｃ７］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、第１のサイズを有するルーマ成分３Ｄルックアップテーブルを生成することと、第２のサイズを有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、第３のサイズを有する第２のクロマ成分３Ｄルックアップテーブルを生成することとを備え、ここにおいて、前記第１のサイズが前記第２のサイズおよび前記第３のサイズの各々とは異なる、Ｃ１に記載の方法。
［Ｃ８］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、第１の精度値を有するルーマ成分３Ｄルックアップテーブルを生成することと、第２の精度値を有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、前記第２の精度値を有する第２のクロマ成分３Ｄルックアップテーブルを生成することとを備え、ここにおいて、前記第１の精度値が前記第２の精度値とは異なる、Ｃ１に記載の方法。
［Ｃ９］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、前記３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記ルーマ成分に基づいて、前記３Ｄルックアップテーブルの第１のクロマ次元および第２のクロマ次元の各々に関するよりも多くの、前記３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用して、不平衡３Ｄルックアップテーブルを生成することを備える、Ｃ１に記載の方法。
［Ｃ１０］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、
ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記ルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元の各々よりも大きいルーマ次元を有する前記ルーマ成分３Ｄルックアップテーブルを生成することと、
第１のクロマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記第１のクロマ成分に基づいて、ルーマ次元および第２のクロマ次元の各々よりも大きい第１のクロマ次元を有する前記第１のクロマ成分３Ｄルックアップテーブルを生成することと、
第２のルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記第２のクロマ成分に基づいて、第１のクロマ次元およびルーマ次元の各々よりも大きい第２のクロマ次元を有する前記第２のクロマ成分３Ｄルックアップテーブルを生成することと
を備える、Ｃ１に記載の方法。
［Ｃ１１］
前記少なくとも１つの３Ｄルックアップテーブルを生成することは、ルーマ成分３Ｄルックアップテーブルを単に生成することを備える、Ｃ１に記載の方法。
［Ｃ１２］
色予測を実行することは、前記少なくとも１つの３Ｄルックアップテーブルを使用して、ルーマ成分予測を実行することを備え、前記方法は、線形マッピングまたは区分線形マッピングのうちの１つを使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することをさらに備える、Ｃ１に記載の方法。
［Ｃ１３］
前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中のビデオブロックを予測することと、
ビットストリーム内の前記予測されたビデオブロックの残差データを符号化することと、
前記ビットストリーム内の前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を符号化することと、ここにおいて、前記サイズが、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するのとは、前記ルーマ成分に関して異なる
をさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を復号することと、ここにおいて、前記サイズが、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するのとは、前記ルーマ成分に関して異なる、
予測されたビデオブロックの残差データを復号することと、
前記復号された残差データと、前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャとに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中の前記予測されたビデオブロックを再構成することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ１５］
マルチレイヤビデオデータを処理するためのビデオ処理デバイスであって、
前記マルチレイヤビデオデータを記憶するように構成されたメモリと、
前記メモリと通信し、
色域スケーラビリティのための少なくとも１つの３次元（３Ｄ）ルックアップテーブルを生成することと、ここにおいて、前記少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとはルーマ成分に関して異なるサイズを有する、
前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、
前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することと
を行うように構成された、１つまたは複数のプロセッサと
を備える、ビデオ処理デバイス。
［Ｃ１６］
前記少なくとも１つの３Ｄルックアップテーブルの前記サイズは、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するよりも、前記ルーマ成分に関して大きい、Ｃ１５に記載のデバイス。
［Ｃ１７］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、非対称３Ｄルックアップテーブルの第１のクロマ次元および第２のクロマ次元の各々に関するのとは異なる数の、前記非対称３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用して、前記非対称３Ｄルックアップテーブルを生成するように構成される、Ｃ１５に記載のデバイス。
［Ｃ１８］
前記非対称３Ｄルックアップテーブルは、前記非対称３Ｄルックアップテーブルの前記第１のクロマ次元および前記第２のクロマ次元の各々に関するよりも多い、前記非対称３Ｄルックアップテーブルの前記ルーマ次元に関するセグメントを有する、Ｃ１７に記載のデバイス。
［Ｃ１９］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、サイズＭ×Ｎ×Ｋを有するルーマ成分３Ｄルックアップテーブルを生成すること、ここにおいて、Ｍが、前記ルーマ成分３Ｄルックアップテーブルのルーマ次元に関するサイズを表し、Ｎが、前記ルーマ成分３Ｄルックアップテーブルの第１のクロマ次元に関するサイズを表し、Ｋが、前記ルーマ成分３Ｄルックアップテーブルの第２のクロマ次元に関するサイズを表し、ここにおいて、ＭがＮおよびＫの各々とは異なる、を行うように構成される、Ｃ１５に記載のデバイス。
［Ｃ２０］
前記１つまたは複数のプロセッサは、前記サイズＭ×Ｎ×Ｋを有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、前記サイズＭ×Ｎ×Ｋを有する第２のクロマ成分３Ｄルックアップテーブルを生成することとを行うように構成される、Ｃ１９に記載のデバイス。
［Ｃ２１］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、第１のサイズを有するルーマ成分３Ｄルックアップテーブルを生成することと、第２のサイズを有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、第３のサイズを有する第２のクロマ成分３Ｄルックアップテーブルを生成することとを行うように構成され、ここにおいて、前記第１のサイズが前記第２のサイズおよび前記第３のサイズの各々とは異なる、Ｃ１５に記載のデバイス。
［Ｃ２２］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、第１の精度値を有するルーマ成分３Ｄルックアップテーブルを生成することと、第２の精度値を有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、前記第２の精度値を有する第２のクロマ成分３Ｄルックアップテーブルを生成することとを行うように構成され、ここにおいて、前記第１の精度値が前記第２の精度値とは異なる、Ｃ１５に記載のデバイス。
［Ｃ２３］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、前記３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記ルーマ成分に基づいて、前記３Ｄルックアップテーブルの第１のクロマ次元および第２のクロマ次元の各々に関するよりも多くの、前記３Ｄルックアップテーブルのルーマ次元に関するセグメントを使用して、不平衡３Ｄルックアップテーブルを生成するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２４］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、
ルーマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記ルーマ成分に基づいて、第１のクロマ次元および第２のクロマ次元の各々よりも大きいルーマ次元を有する前記ルーマ成分３Ｄルックアップテーブルを生成することと、
第１のクロマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記第１のクロマ成分に基づいて、ルーマ次元および第２のクロマ次元の各々よりも大きい第１のクロマ次元を有する前記第１のクロマ成分３Ｄルックアップテーブルを生成することと、
第２のクロマ成分３Ｄルックアップテーブルに関するテーブルインデックスとして使用されている前記第２のクロマ成分に基づいて、第１のクロマ次元およびルーマ次元の各々よりも大きい第２のクロマ次元を有する前記第２のクロマ成分３Ｄルックアップテーブルを生成することと
を行うように構成される、Ｃ１５に記載のデバイス。
［Ｃ２５］
前記少なくとも１つの３Ｄルックアップテーブルを生成するために、前記１つまたは複数のプロセッサは、ルーマ成分３Ｄルックアップテーブルを単に生成するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２６］
前記１つまたは複数のプロセッサは、前記少なくとも１つの３Ｄルックアップテーブルを使用して、ルーマ成分予測を実行することと、線形マッピングまたは区分線形マッピングのうちの１つを使用して、第１のクロマ成分予測および第２のクロマ成分予測を実行することとを行うように構成される、Ｃ１５に記載のデバイス。
［Ｃ２７］
前記ビデオ処理デバイスはビデオ符号化デバイスを備え、前記１つまたは複数のプロセッサは、
前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中のビデオブロックを予測することと、
ビットストリーム内の前記予測されたビデオブロックの残差データを符号化することと、
前記ビットストリーム内の前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を符号化することと、ここにおいて、前記サイズが、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するのとは前記ルーマ成分に関して異なる、
を行うように構成される、Ｃ１５に記載のデバイス。
［Ｃ２８］
前記ビデオ処理デバイスはビデオ復号デバイスを備え、前記１つまたは複数のプロセッサは、
前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を復号することと、ここにおいて、前記サイズが、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するのとは前記ルーマ成分に関して異なる、
予測されたビデオブロックの残差データを復号することと、
前記復号された残差データと、前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャとに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中の前記予測されたビデオブロックを再構成することと
を行うように構成される、Ｃ１５に記載のデバイス。
［Ｃ２９］
マルチレイヤビデオデータを処理するためのビデオ処理デバイスであって、
色域スケーラビリティのための少なくとも１つの３次元（３Ｄ）ルックアップテーブルを生成するための手段と、ここにおいて、前記少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとはルーマ成分に関して異なるサイズを有する、
前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行するための手段と、
前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成するための手段と
を備える、ビデオ処理デバイス。
［Ｃ３０］
マルチレイヤビデオデータを処理するための命令を記憶したコンピュータ可読記憶媒体であって、
実行されるとき、１つまたは複数のプロセッサに、
色域スケーラビリティのための少なくとも１つの３次元（３Ｄ）ルックアップテーブルを生成することと、ここにおいて、前記少なくとも１つの３Ｄルックアップテーブルが、第１のクロマ成分および第２のクロマ成分に関するのとはルーマ成分に関して異なるサイズを有する、
前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、
前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することと
を行わせる、コンピュータ可読記憶媒体。

Claims (6)

1. マルチレイヤビデオデータを処理する方法であって、
   色域スケーラビリティのための複数の３次元（３Ｄ）ルックアップテーブルを生成することと、ここにおいて、前記複数の３Ｄルックアップテーブルが、ルーマ成分に関する第１の３Ｄルックアップテーブルと、第１のクロマ成分に関する第２の３Ｄルックアップテーブルと、第２のクロマ成分に関する第３の３Ｄルックアップテーブルとを備え、前記第１の３Ｄルックアップテーブル、前記第２の３Ｄルックアップテーブル、および前記第３の３Ｄルックアップテーブルの各々は、ルーマ次元と、第１のクロマ次元と、第２のクロマ次元とを備える３つの次元を備え、前記ルーマ成分に関する前記第１の３Ｄルックアップテーブルのサイズは、前記第１のクロマ成分に関する前記第２の３Ｄルックアップテーブルのサイズよりも大きく、前記第１のクロマ成分に関する前記第２の３Ｄルックアップテーブルの前記サイズは、前記第２のクロマ成分に関する前記第３の３Ｄルックアップテーブルのサイズと同じであり、各３Ｄルックアップテーブルの前記ルーマ次元のサイズは、前記第１のクロマ次元および前記第２のクロマ次元の各々のサイズよりも大きい、
   前記複数の３Ｄルックアップテーブルに関する前記サイズを示す複数のシンタックス要素をコーディングすることと、
   前記コーディングされた複数のシンタックス要素に基づいて、前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行することと、
   前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成することとを備える、方法。
2. 前記複数の３Ｄルックアップテーブルを前記生成することは、第１の精度値を有するルーマ成分３Ｄルックアップテーブルを生成することと、第２の精度値を有する第１のクロマ成分３Ｄルックアップテーブルを生成することと、前記第２の精度値を有する第２のクロマ成分３Ｄルックアップテーブルを生成することとをさらに備え、ここにおいて、前記第１の精度値が前記第２の精度値とは異なる、請求項１に記載の方法。
3. 前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中のビデオブロックを予測することと、
   ビットストリーム内の前記予測されたビデオブロックの残差データを符号化することと、
   前記ビットストリーム内の前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を符号化することと、ここにおいて、前記１つまたは複数のシンタックス要素は、前記サイズが、前記ルーマ成分に関して、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するものとは異なることを示す
   をさらに備える、請求項１に記載の方法。
4. 前記少なくとも１つの３Ｄルックアップテーブルの前記サイズを示す、１つまたは複数のシンタックス要素を復号することと、ここにおいて、前記１つまたは複数のシンタックス要素は、前記サイズが、前記ルーマ成分に関して、前記第１のクロマ成分および前記第２のクロマ成分の各々に関するものとは異なることを示す、
   予測されたビデオブロックの残差データを復号することと、
   前記復号された残差データと、前記少なくとも１つの３Ｄルックアップテーブルを使用して生成された前記少なくとも１つのレイヤ間参照ピクチャとに基づいて、前記ビデオデータの前記上位レイヤのピクチャ中の前記予測されたビデオブロックを再構成することと
   をさらに備える、請求項１に記載の方法。
5. マルチレイヤビデオデータを処理するためのビデオ処理デバイスであって、
   色域スケーラビリティのための複数の３次元（３Ｄ）ルックアップテーブルを生成するための手段と、ここにおいて、前記複数の３Ｄルックアップテーブルが、ルーマ成分に関する第１の３Ｄルックアップテーブルと、第１のクロマ成分に関する第２の３Ｄルックアップテーブルと、第２のクロマ成分に関する第３の３Ｄルックアップテーブルとを備え、前記第１の３Ｄルックアップテーブル、前記第２の３Ｄルックアップテーブル、および前記第３の３Ｄルックアップテーブルの各々は、ルーマ次元と、第１のクロマ次元と、第２のクロマ次元とを備える３つの次元を備え、前記ルーマ成分に関する前記第１の３Ｄルックアップテーブルのサイズは、前記第１のクロマ成分に関する前記第２の３Ｄルックアップテーブルのサイズよりも大きく、前記第１のクロマ成分に関する前記第２の３Ｄルックアップテーブルの前記サイズは、前記第２のクロマ成分に関する前記第３の３Ｄルックアップテーブルのサイズと同じであり、各３Ｄルックアップテーブルの前記ルーマ次元のサイズは、前記第１のクロマ次元および前記第２のクロマ次元の各々のサイズよりも大きい、
   前記複数の３Ｄルックアップテーブルに関する前記サイズを示す複数のシンタックス要素をコーディングするための手段と、
   前記コーディングされた複数のシンタックス要素に基づいて、前記ビデオデータの下位レイヤに関する第１の色域内の参照ピクチャの色データを前記ビデオデータの上位レイヤに関する第２の色域に変換するために、前記少なくとも１つの３Ｄルックアップテーブルを使用して、色予測を実行するための手段と、
   前記変換された色データに基づいて、前記ビデオデータの前記上位レイヤに関する少なくとも１つのレイヤ間参照ピクチャを生成するための手段とを備える、ビデオ処理デバイス。
6. 実行されるとき、１つまたは複数のプロセッサに、請求項１〜４のいずれか一項に記載の方法を行わせる、マルチレイヤビデオデータを処理するための命令を記憶したコンピュータ可読記憶媒体。