JP6509842B2 - 高効率ビデオコーディング拡張におけるターゲット出力レイヤの選択 - Google Patents

Description

関連出願

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年７月１２日に出願された米国仮出願第６１／８４５，８３７号の利益を主張する。

[0002]本開示は、一般に、ビデオデータを処理することに関し、より詳細には、ビデオデータにおいて使用される動作点を処理することに関する。

[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（ピクチャ内（intra-picture））予測および／または時間的（ピクチャ間（inter-picture））予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオフレームまたはビデオフレームの一部分）は、ツリーブロック、コーディングユニット（ＣＵ）、および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコーディングされた（Ｉ）スライスにおけるビデオブロックは、同じピクチャ内の隣接ブロックにおける参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス内のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームに参照されることがある。

[0005]空間的予測または時間的予測によって、コーディングされるべきブロックの予測ブロックが生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコーディングされたブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するためにスキャンされてもよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用され得る。

[0006]一般に、本開示は、マルチレイヤＨＥＶＣ拡張のために、ターゲット出力レイヤセットおよび時間ＩＤによって指定される出力動作点の選択のための技法を記載する。技法は、動作点に関連したシグナリング情報の効率の向上を提供し、復号の間に出力されるべきレイヤを識別することに関する課題を解決することができる。

[0007]一例では、ビデオデータを復号する方法は、出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信することと、インデックスに基づいて、少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定することと、少なくともターゲット出力レイヤを復号することと、出力のターゲットにされないレイヤを出力することなく、復号されたターゲット出力レイヤを出力することとを含む。

[0008]別の例では、ビデオデータを復号するためのデバイスは、データを記憶するように構成されるメモリと、メモリと通信し、出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信し、インデックスに基づいて、少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定し、少なくともターゲット出力レイヤを復号し、出力のターゲットにされないレイヤを出力することなく、復号されたターゲット出力レイヤを出力するように構成される１つまたは複数のプロセッサとを含む。

[0009]別の例では、実行されると、少なくとも１つのプロセッサに、出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信させ、インデックスに基づいて、少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定させ、少なくともターゲット出力レイヤを復号させ、出力のターゲットにされないレイヤを出力することなく、復号されたターゲット出力レイヤを出力させる命令を記憶した非一時的コンピュータ可読記憶媒体。

[0010]別の例では、ビデオデータを復号するためのデバイスであって、デバイスは、出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信するための手段と、インデックスに基づいて、少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定するための手段と、少なくともターゲット出力レイヤを復号するための手段と、出力のターゲットにされないレイヤを出力することなく、復号されたターゲット出力レイヤを出力するための手段とを含む。

[0011]別の例では、ビデオデータを処理するための方法は、出力のターゲットにされるレイヤのセットを決定することと、ターゲット出力レイヤセットが出力のターゲットにされる決定されたレイヤのセットを表すように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを決定することと、ビデオ復号器にインデックスを送ることとを含む。

[0012]別の例では、ビデオデータを復号するためのデバイスは、データを記憶するように構成されるメモリと、メモリと通信し、出力のリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信し、出力のターゲットにされるレイヤのセットを決定し、ターゲット出力レイヤセットが出力のターゲットにされる決定されたレイヤのセットを表すように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを決定し、ビデオ復号器にインデックスを送るように構成される１つまたは複数のプロセッサとを含む。

[0013]別の例では、実行されると、少なくとも１つのプロセッサに、出力のターゲットにされるレイヤのセットを決定させ、ターゲット出力レイヤセットが出力のターゲットにされる決定されたレイヤのセットを表すように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを決定させ、ビデオ復号器にインデックスを送らせる命令を記憶した非一時的コンピュータ可読記憶媒体。

[0014]１つまたは複数の例の詳細が、添付の図面および以下の説明において述べられる。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。

本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 本開示で説明する技法を実施し得る例示的なビデオ符号化器を示すブロック図。 本開示の技法による、例示的なマルチビュー復号順序を示す概念図。 本開示の技法による、マルチビュービデオコーディングのためのＭＶＣ予測構造の一例の図。 本開示で説明する技法を実施し得る例示的なビデオ復号器を示すブロック図。 ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。 メディアアプリケーションをさらに含む例示的な宛先デバイスを示すブロック図。 ビデオデータを処理するための例示的なプロセスを示すフローチャート。 ビデオデータを復号する例示的なプロセスを示すフローチャート。

[0024]一般に、本開示は、マルチレイヤＨＥＶＣ拡張のために、ターゲット出力レイヤセットおよび時間ＩＤによって指定される出力動作点の選択に関する技法を記載する。

[0025]ビットストリームは、複数のコーディングされたビューを有し得る。ビットストリームは、時間スケーラビリティ、すなわち、異なるフレームレートのサポートも有し得る。「動作点」という用語は、復号されるべきビューの特定のセット、ならびに使用されるべき時間的サブセット（たとえば、フレームレート）を指す。いくつかの場合には、異なるレイヤまたはビューは、たとえば、あるレイヤは７２０ｐ、別のレイヤは１０８０ｐなど、異なる画像解像度を有する同じピクチャの複数のバージョンであり得る。一例として、元のビットストリームは、異なる空間解像度の３つのレイヤまたはビューと、異なるフレームレートの２つの時間的スケーラブルレイヤとを含み得る。この例では、元のビットストリームは、いずれかのフレームレートで利用可能な３つの空間解像度の各々を有する６つの動作点を含む。

[0026]異なるビューまたは画像解像度を表すことに加えて、異なるレイヤは、異なる品質表現を表し得る。たとえば、ベースレイヤは、低品質の７２０ｐの解像度のビデオとすることができ、拡張レイヤも、７２０ｐの解像度の、しかし、より高い品質の同じビデオであり、参照のためにベースレイヤに応じて決まる。

[0027]「出力動作点」という用語は、出力されるべきビューの特定のセット、復号されるべきビューのセット、ならびに使用されるべき時間的サブセットを指す。「レイヤ識別子リスト」は、動作点に含まれるべきレイヤを識別するために使用され得、ここにおいて、各レイヤは、別々の空間的にスケーラブルなレイヤ、ビューなどに対応する。レイヤ識別子リストは、ビデオパラメータセット（ＶＰＳ）に含まれ得る。レイヤ識別子リストは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを含み得、ここにおいて、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は、各ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が特定の対応するレイヤを識別するように、各レイヤが一意のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する非負整数とすることができる。最上位ｔｅｍｐｏｒａｌＩＤは、時間的サブセットを定義するために使用され得る。レイヤ識別子リストおよびターゲット最上位ｔｅｍｐｏｒａｌＩＤは、動作小数点をビットストリームから抽出するための入力として使用され得る。

[0028]より具体的には、「動作点」は、時間的におよび／または複数のレイヤもしくは／あるいはビューに関してスケーラブルな元のビットストリームから抽出され得るサブビットストリームである。すなわち、動作点は、入力としての別のビットストリーム、ターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作り出されたビットストリームである。ビットストリームは、動作点のビューを含む１つまたは複数のビューを含む。ターゲット最上位ｔｅｍｐｏｒａｌＩＤは、時間的サブセットを定義する。ターゲットレイヤリストは、動作点のために復号されるべきレイヤのセットと、出力動作点のために出力されるべきレイヤのセットとのレイヤセットを含む。出力動作点は、特に、出力レイヤのセット、すなわち、出力されるべきレイヤである、出力レイヤセットにおいて識別されるレイヤに関連する。

[0029]「レイヤセット」という用語は、復号されるべきレイヤのセットを指すために使用される。「レイヤセット」は、「レイヤセット」が復号されるべきレイヤに関する情報を含み、時間スケーラビリティに関する情報を含まないことを除いて、「動作点」と類似している。レイヤセットは、動作点がビットストリームから導出され得る同様の方法で、ビットストリームから導出され得るが、最上位ｔｅｍｐｏｒａｌＩＤは適用できない。

[0030]「出力レイヤセット」という用語は、出力されるべきレイヤのセットと、セットにおけるレイヤを識別するレイヤ識別子リストと、対応するレイヤセットの識別（対応するレイヤセットは、復号されるべきレイヤを識別する）とを指す。出力レイヤセットは、（対応するレイヤセットを示すことに加えて）出力レイヤセットが出力のターゲットにされるレイヤを識別することを除いて、レイヤセットと類似している。いくつかの例では、出力レイヤセットは、対応するレイヤセットのインデックスを含むことによって、対応するレイヤセットを識別し、ここにおいて、対応するレイヤセットは、復号されるべきレイヤを識別する。他の例では、出力レイヤセットは、いくつかの他の方法で対応するレイヤセットを識別する。

[0031]たとえば、レイヤ間（またはビュー間）の予測のために使用されるときなど、出力のターゲットにされないレイヤセットにおけるレイヤは、依然として復号され得る。出力のターゲットにされるレイヤは、復号されるべきレイヤのサブセットであり、復号されるべきレイヤの１つ、一部、またはすべては、出力のターゲットにされ得る。「サブセット」という用語が、必ずしも、出力されるべきレイヤが復号されるべきレイヤの厳密なサブセットであることを意味するとは限らないことを理解されたい。すなわち、いくつかの例では、復号されるべきレイヤと出力されるべきレイヤとは同じである。「出力レイヤセット」は、「出力レイヤセット」が出力されるべきレイヤに関する情報を含み、時間スケーラビリティに関する情報を含まないことを除いて、「出力動作点」と類似している。

[0032]サブビットストリームは、レイヤ識別子（出力動作点のためのレイヤを識別する）と、ビットストリームの出力動作点を識別する時間的サブレイヤ識別子（出力動作点のための時間的サブセットを識別する）との値に基づいて、ビットストリームから抽出され得る。出力動作点は、ビットストリーム内のビデオパラメータセット（ＶＰＳ）においてシグナリングされる。動作点の各々では、動作点シンタックス構造は、所与の動作点のサブビットストリームに属する、ビットストリーム内のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを識別するために使用されるレイヤ識別子のセットを指定する。このようにして、所与の出力動作点のサブビットストリームを構成するＮＡＬユニットは、ＮＡＬユニットのレイヤ識別子と、出力動作点に関連する最上位時間ＩＤとに基づいて元のビットストリームから抽出され得る。ＮＡＬユニットは、コーディングされたビデオデータの構成要素であり、コーディングされたビデオデータは、ＮＡＬユニットに編成される。

[0033]本開示で説明する技法は、出力レイヤセットのリストにおける特定のターゲット出力レイヤセットのインデックスを導出し、ビデオ復号器にインデックスを送ることを含む。インデックスは、復号プロセス、特に復号プロセスの復号ピクチャバッファ動作の間に使用されるターゲット出力レイヤのセットを定義するために使用され得る。また、いくつかの例では、以下でより詳細に説明するように、インデックスは、仮想参照復号器（ＨＲＤ：hypothetical reference decoder）動作および他の動作の一部として復号ピクチャバッファ（ＤＰＢ）動作のための適切なＤＰＢサイズ（またはサブＤＰＢサイズ）の選択のために使用される。

[0034]いくつかの例では、インデックスは、インデックスをビットストリーム自体に含むことによって復号器に送られるのではなく、すなわちビデオ自体がビデオ復号器に送られるビットストリームの外部の何らかの「外部手段」によって送られる。以下でより詳細に説明するように、様々な例では、インデックスは、サーバ／ソースデバイスによって、またはクライアント／宛先デバイス上の１つまたは複数の構成要素によって導出され得、以下でより詳細に説明するように、いくつかの例では、ＭＰＥＧ ＴＳまたはＤＡＳＨ ＭＰＤ（メディアプレゼンテーション記述）を含めて、異なる例において異なる方法でビデオ復号器に送られ得る。いくつかの例では、インデックスは、ビットストリームが、ビットストリームにおいて与えられる１つの動作点ではなく複数の動作点で動作することができるように、ビットストリームでインデックスを送るのではなく、「外部手段」を介してビデオ復号器に送られる。いくつかの例では、ビデオ復号器がインデックスを受信しない場合、たとえばレイヤ０のみを復号し、出力するなど、デフォルトの想定がなされている。

[0035]本開示で説明する技法は、いくつかの例では、セッション交渉の便宜のためにトランスポートレイヤ仕様でＶＰＳにおいてシグナリングされる出力動作点の情報を複製することをさらに含む。一例では、トランスポートレイヤ仕様は、たとえば、ファイル形式情報におけるビデオ復号器構成、および／またはＭＰＥＧ−２ ＴＳにおける記述子を含めて、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）におけるＭＰＤ（メディアプレゼンテーション記述）などのマニフェストファイルとすることができる。別の例として、マニフェストファイルは、セッション記述プロトコル（ＳＤＰ）メッセージを備え得る。出力動作点ごとに、ターゲット出力ビュー、追加の従属するビュー、および最も低い適用可能な最上位ｔｅｍｐｏｒａｌＩＤがシグナリングされ得る。

[0036]ＨＥＶＣスケーラブル／マルチビュー／３Ｄ拡張において可能であるインデックスを定義する外部手段に基づいて、異なるプロセスがトランスポートレイヤにおいて使用されてもよく、そのような２つの例示的な異なるプロセスは、１つはストリーミング、および１つはＳＤＰオファー／回答の方法の交渉を含む。

[0037]たとえば、ＤＡＳＨおよびリアルタイムストリーミングプロトコル（ＲＴＳＰ）ストリーミングなど、ストリーミングアプリケーションでは、以下が適用され得る。クライアントデバイスは、メディアプレゼンテーションの記述を受信し、ここにおいて、記述は、出力レイヤセットに関する情報、および、場合によっては、時間的サブセットに基づく出力動作点に関する情報を含む。クライアントデバイスは、記述を構文解析し、出力動作点のうちの１つを選択し、サーバデバイスにその出力動作点を要求することができる。サーバデバイスは、要求された出力動作点情報を最上位ｔｅｍｐｏｒａｌＩＤおよび特定のターゲット出力レイヤセットのインデックスに変換し、この情報を外部手段からの入力としてビデオ復号器に配信することができる。サーバデバイスは、出力動作点に対応する要求されたデータを送ることができる。

[0038]セッション記述プロトコル（ＳＤＰ）オファー／回答タイプの交渉を使用したアプリケーションでは、以下が適用され得る。送信機デバイスは、受信機Ａと受信機Ｂとを含む複数の受信機に招待を送ることができ、招待は、送信機が提供することができる出力動作点（たとえば、出力ビューに関して）の記述を含む。受信機は、それぞれの出力動作点を選択することができる。たとえば、受信機Ａは、出力すべきビューのセットを選択することができ、受信機Ｂも、出力すべきビューのセットを選択することができる。送信機デバイスは、出力レイヤセットの記述、および場合によっては、時間的サブセットに基づく出力動作点も含めて、受信機によって選択されたすべてのビューを含むビットストリームを符号化することができ、記述を受信機に送る。必要な出力動作点は、メディアプレゼンテーションの記述でシグナリングされる。各受信機は、それが望む出力レイヤセットのインデックスを決定し、最上位ｔｅｍｐｏｒａｌＩＤと、出力レイヤセットのリストにおける出力レイヤセットのインデックスとを受信機の復号器に渡す。この例では、インデックスは、ビデオ復号器における外部手段として使用される。

[0039]ビデオコーディング規格としては、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られている）がある。ビデオコーディング規格としては、さらに、ＩＴＵ−Ｔ Ｈ．２６４のスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）の拡張がある。

[0040]さらに、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）とのビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）が完成した、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）がある。最新のＨＥＶＣドラフト仕様は、その全体が参照により組み込まれる、ワーキングドラフト１０（本明細書では「ＨＥＶＣ ＷＤ１０」と呼ぶ）である。http://phenix.it-sudparis.eu/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zipからの、２０１３年７月１２日時点で入手可能な、Ｂｒｏｓｓら、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）Ｔｅｘｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｒａｆｔ １０、２０１３年４月、Ｉｎｃｈｅｏｎ。本開示で説明する技法は、ＨＥＶＣ規格に関して説明されるが、本開示の態様は、そのように限定されず、他のビデオコーディング規格および独自のビデオコーディング技法に拡張され得る。

[0041]入手可能であり、ＨＥＶＣのために開発された拡張がある。たとえば、ＨＥＶＣのマルチビュー拡張、すなわちＭＶ−ＨＥＶＣもＪＣＴ−３Ｖによって開発されている。ＭＶ−ＨＥＶＣの最近のワーキングドラフト（ＷＤ）は、その全体が参照により組み込まれる、ＷＤ４（本明細書では「ＭＶ−ＨＥＶＣ ＷＤ４」と呼ばれる）である。http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1004-v4.zipからの、２０１３年７月１２日時点で入手可能な、Ｔｅｃｈら、ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ４、２０１３年４月、Ｉｎｃｈｅｏｎ。ＨＥＶＣのスケーラブル拡張、すなわちＳＨＶＣも、ＪＣＴ−ＶＣによって開発されている。ＳＨＶＣの最近のワーキングドラフトは、その全体が参照により組み込まれる、ＳＨＶＣワーキングドラフト２（本明細書では「ＳＨＶＣ ＷＤ２」と呼ばれる）である。http://phenix.it-sudparis.eu/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M1008-v3.zipからの、２０１３年７月１２日時点で入手可能な、Ｃｈｅｎら、ＳＨＶＣワーキングドラフト２、２０１３年４月、Ｉｎｃｈｅｏｎ。

[0042]図１は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化されたビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話送受話器、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、様々なデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。

[0043]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオ符号化器２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオ復号器３０と、ディスプレイデバイス３２とを含む。他の例では、ソースデバイス１２および宛先デバイス１４は、他の構成要素または構成を含み得る。たとえば、ソースデバイス１２は、外部カメラなどの外部のビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースし得る。

[0044]図１の例示されたシステム１０は、一例にすぎない。本開示の技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実施され得る。概して、本技法はビデオ符号化デバイスまたはビデオ復号デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオ符号化器／復号器によっても実行され得る。その上、本開示の技法は、また、ビデオプリプロセッサによって実行され得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が、コーディングされたビデオデータを宛先デバイス１４への伝送のためにその中で生成する、そのようなコーディングデバイスの単に例である。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素と復号構成要素とを含むように実質的に対称的に動作し得る。したがって、システム１０は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話通信のための、ビデオデバイス１２と１４との間での一方向または双方向のビデオ伝送をサポートし得る。

[0045]ソースデバイス１２のビデオソース１８は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代わりとして、ビデオソース１８は、ソースビデオとしてコンピュータグラフィックスベースのデータ、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成のビデオの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ付き携帯電話またはビデオ付き携帯電話を形成し得る。しかしながら、先に述べたように、本開示に記載される技法は、一般にビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤードの応用例に適用され得る。

[0046]各ケースでは、キャプチャされたビデオ、事前にキャプチャされたビデオ、またはコンピュータで生成されるビデオは、ビデオ符号化器２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス上に記憶され得る。

[0047]リンク１６は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時的媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバは、ソースデバイス１２から符号化されたビデオデータを受信し、たとえば、ネットワーク送信を介して、その符号化されたビデオデータを宛先デバイス１４に与え得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化されたビデオデータを受信し、その符号化されたビデオデータを含むディスクを生成し得る。したがって、様々な例では、リンク１６は、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを動かすことが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信される場合がある。通信媒体は、高周波（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を促進するために有用であり得る任意の他の機器を含み得る。

[0048]宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体であり得るリンク１６から情報を受信する。リンク１６からの情報は、ビデオ符号化器２０によって定義され、またビデオ復号器３０によって使用される、ブロックおよび他のコーディングされたユニット、たとえば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、宛先デバイス１４と一体化されるか、または宛先デバイス１４の外部にあり得る。ディスプレイデバイス３２は、復号されたビデオデータをユーザに表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのうちの任意のものを備え得る。

[0049]代替的に、符号化されたデータは、出力インターフェース２２からストレージデバイス３４に出力され得る。同様に、符号化されたデータは、入力インターフェースによってストレージデバイス３４からアクセスされ得る。ストレージデバイス３４は、ハードドライブ、Ｂｌｕ−ｒａｙディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３４は、ソースデバイス１２によって生成された符号化されたビデオを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ストレージデバイス３４から記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１４に送信することが可能な任意のタイプのサーバとすることができる。例示的なファイルサーバは、ウェブサーバ（たとえば、ウェブサイトのための）、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）デバイス、または局所的なディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶されている符号化されたビデオデータにアクセスするのに適した、それらの両方の組合せを含み得る。ストレージデバイス３４からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。

[0050]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティングおよび／またはビデオテレフォニーなどの適用例をサポートするために一方向または双方向のビデオ送信をサポートするように構成され得る。

[0051]ビデオ符号化器２０およびビデオ復号器３０は、ＨＥＶＣ ＷＤ１０規格などのビデオコーディング規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。さらに、ビデオ符号化器２０およびビデオ復号器３０は、ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２など、ＨＥＶＣ拡張に従って動作し得る。代替的に、ビデオ符号化器２０およびビデオ復号器３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格、アドバンストビデオコーディング（ＡＶＣ）、またはそのような規格の拡張などの、他の独自の規格または業界規格に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３が含まれる。いくつかの態様では、ビデオ符号化器２０およびビデオ復号器３０は、それぞれ、オーディオの符号化器および復号器とともに統合され得、オーディオとビデオの両方の、共通のデータストリームまたは別個のデータストリームでの符号化を扱うための、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能であれば、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0052]ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、共同ビデオ部会（ＪＶＴ）として知られる共同パートナーシップの成果としてＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ（ＭＰＥＧ）とともにＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）によって策定された。いくつかの態様では、本開示で説明する技法は、Ｈ．２６４規格に概して準拠するデバイスに適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付のＩＴＵ−Ｔ勧告Ｈ．２６４「 Advanced Video Coding for generic audiovisual services」に記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と呼ぶことがある。共同ビデオ部会（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの拡張に取り組み続けている。

[0053]ビデオ符号化器２０およびビデオ復号器３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な適切な符号化器または復号器回路のいずれかとして実装され得る。本技法がソフトウェアに部分的に実装されるとき、デバイスは、ソフトウェアに対する命令を適切な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実行するための１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオ符号化器２０およびビデオ復号器３０の各々は、１つまたは複数の符号化器または復号器に含まれてもよく、そのいずれかは、複合符号化器／復号器（コーデック）の一部として、それぞれのデバイスに統合され得る。ビデオ符号化器２０および／またはビデオ復号器３０を含むデバイスは、集積回路、マイクロプロセッサ、および／または携帯電話などのワイヤレス通信デバイスを備え得る。

[0054]ＪＣＴ−ＶＣは、ＨＥＶＣ規格を開発し、ＨＥＶＣの拡張について作業中である。ＨＥＶＣ規格化の取組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の機能を仮定する。たとえば、Ｈ．２６４は、９つのイントラ予測符号化モードを提供するが、ＨＭは、３３ものイントラ予測符号化モードを提供し得る。

[0055]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディングユニット（ＬＣＵ）のシーケンスに分割され得ることを記述する。ビットストリーム内のシンタックスデータは、ＬＣＵにとってのサイズを定義し得、ＬＣＵは、ピクセルの数の点で最大のコーディングユニットである。スライスは、いくつかの連続したツリーブロックを、コーディングの順序で含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分される場合がある。各ツリーブロックは、４分木に従って、コーディングユニット（ＣＵ）に分割され得る。一般に、４分木データ構造は、ＣＵあたり１つのノードを、ツリーブロックに対応するルートノードとともに含む。ＣＵが４つのサブＣＵに分割される場合、ＣＵに対応するノードは、４つのリーフノードを含み、その各々は、サブＣＵのうちの１つに対応する。

[0056]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを提供し得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがこれ以上分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的な分割が存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれるようになる。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵもリーフＣＵと呼ばれるようになる。

[0057]ＣＵは、ＣＵがサイズの特異性を有しないことを別にすれば、Ｈ．２６４規格のマクロブロックと類似の目的を有する。たとえば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され、各子ノードは、次に親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最終の、分割されていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コーディングされたビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義することができ、コーディングノードの最小サイズを定義することもできる。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）を定義することもできる。本開示は、「ブロック」という用語を、ＨＥＶＣのコンテキストにおいてＣＵ、ＰＵ、またはＴＵのうちのいずれか、または他の規格のコンテキストにおいて類似のデータ構造（たとえば、Ｈ．２６４／ＡＶＣのマクロブロックおよびそのサブブロック）を参照するために使用する。

[0058]ＣＵは、コーディングノードと、コーディングノードに関連付けられた予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状において正方形でなければならない。ＣＵのサイズは、８×８ピクセルから、最大で６４×６４ピクセルまたはそれを越えるツリーブロックのサイズまで変動し得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵと関連したシンタックスデータは、たとえば、ＣＵの１つまたは複数のＰＵへの区分を記述し得る。区分モードは、ＣＵがスキップであるか、または、ダイレクトモードで符号化されるか、イントラ予測モードで符号化されるか、もしくはインター予測モードで符号化されるかの間で、異なり得る。ＰＵは、形状が非正方形に区分され得る。ＣＵと関連したシンタックスデータは、また、たとえば、ＣＵの１つまたは複数のＴＵへの、４分木に従う区分を記述し得る。ＴＵは、形状において正方形または非正方形（たとえば、長方形）であることができる。

[0059]ＨＥＶＣ規格は、異なるＣＵに対して異なり得る、ＴＵに従う変換を可能にする。ＴＵは、通常、区分されたＬＣＵのために定義された、所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか、またはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）と呼ばれる４分木構造を使用して、より小さいユニットにさらに分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換係数を生成するために変換され、その変換係数は量子化され得る。

[0060]リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含むことができる。概して、ＰＵは、対応するＣＵのすべてまたは一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。たとえば、ＰＵがイントラモードで符号化されるとき、ＰＵに関するデータは、残差４分木（ＲＱＴ）に含まれ、残差４分木は、ＰＵに対応するＴＵに関するイントラ予測モードを記述するデータを含め得る。別の例として、ＰＵがインターモードで符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルに関する解像度（たとえば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０、リスト１、またはリストＣ）を記述し得る。

[0061]１つまたは複数のＰＵを有するリーフＣＵは、１つまたは複数の変換ユニット（ＴＵ）を含むこともできる。変換ユニットは、上述するように、ＲＱＴ（ＴＵの４分木構造とも呼ばれる）を使用して規定され得る。たとえば、分割フラグは、リーフＣＵが４つの変換ユニットに分割されるかどうかを、示し得る。次いで、各変換ユニットは、さらなるサブＴＵに、さらに分割され得る。ＴＵがこれ以上分割されないとき、そのＴＵはリーフＴＵと呼ぶことができる。一般に、イントラコーディングの場合、リーフＣＵに属するすべてのリーフＴＵは同じイントラ予測モードを共有する。すなわち、同じイントラ予測モードが、一般に、リーフＣＵのすべてのＴＵに対して予測される値を計算するために適用される。イントラコーディングのために、ビデオ符号化器は、イントラ予測モードを使用して、ＴＵに対応するＣＵの部分と元のブロックとの間の差分として、各リーフＴＵに対する残差値を計算し得る。ＴＵは、必ずしも、ＰＵのサイズに限定されるとは限らない。したがって、ＴＵはＰＵよりも大きくても、または小さくなり得る。イントラコーディングのために、ＰＵは、同じＣＵに対して対応するリーフＴＵと並べられ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに該当する場合がある。

[0062]その上、リーフＣＵのＴＵは、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けることもできる。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは一般にツリーブロック（またはＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。一般に、本開示は、別段の注記がない限り、ＣＵおよびＴＵという用語を、それぞれ、リーフＣＵおよびリーフＴＵを指すために使用する。

[0063]ビデオシーケンスは、通常、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰに含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、１つまたは複数のピクチャのヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含む場合がある。ビデオ符号化器２０は、通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに作用する。ビデオブロックは、ＣＵ内のコーディングノードに対応する場合がある。ビデオブロックは、固定サイズまたは可変サイズを有し、指定のコーディング規格に応じてサイズが異なり得る。

[0064]例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎとすれば、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測、および２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称なＰＵサイズでのインター予測をサポートする。ＨＭは、また、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための、非対称な区分をサポートする。非対称な区分では、ＣＵの一方向は区分されず、他の方向は２５％および７５％に区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とそれに続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という指示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５ＮのＰＵ、および下部の２Ｎ×１．５ＮのＰＵによって水平に区分される２Ｎ×２ＮのＣＵを指す。

[0065]本開示では、「Ｎ×Ｎ」および「Ｎ ｂｙ Ｎ」は、垂直および水平の寸法の観点からビデオブロックのピクセル寸法を指すために、たとえば、１６×１６ピクセルまたは１６ｂｙ１６ピクセルのように、互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセル（ｙ＝１６）、および水平方向に１６ピクセル（ｘ＝１６）を有する。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセル、および水平方向にＮピクセルを有し、ここでＮは、非負の整数値を表す。ブロック内のピクセルは、行および列に配列され得る。さらに、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックはＮ×Ｍピクセルを備えてよく、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0066]ＣＵのＰＵを使用するイントラ予測またはインター予測のコーディングの後で、ビデオ符号化器２０は、ＣＵのＴＵに対する残差データを計算し得る。ＰＵは、空間領域（ピクセル領域とも呼ばれる）において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え、ＴＵは、変換、たとえば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオ符号化器２０は、ＣＵに関する残差データを含むＴＵを形成し、次いで、ＣＵの変換係数を生成するためにＴＵを変換し得る。

[0067]変換係数を生成するための任意の変換の後で、ビデオ符号化器２０は、変換係数の量子化を実行し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために、変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減し得る。たとえば、ｎビットの値は、量子化中にｍビットの値に端数を丸められてよく、ここで、ｎはｍよりも大きい。

[0068]量子化の後で、ビデオ符号化器は、変換係数をスキャンし得、量子化変換係数を含む２次元の行列から１次元のベクトルを生成する。スキャンは、アレイの前部により高いエネルギー（したがって、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（したがって、より高い周波数）係数を配置するように設計され得る。いくつかの例では、ビデオ符号化器２０は、エントロピー符号化され得るシリアル化されたベクトルを生成するために、量子化変換係数をスキャンするための規定のスキャン順序を利用し得る。他の例では、ビデオ符号化器２０は、適応スキャンを実行し得る。量子化変換係数をスキャンして１次元のベクトルを形成した後、ビデオ符号化器２０は、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化の方法に従って、１次元のベクトルをエントロピー符号化し得る。ビデオ符号化器２０は、ビデオデータを復号する際にビデオ復号器３０が使用するための、符号化されたビデオデータに関連付けられたシンタックス要素をエントロピー符号化することもできる。

[0069]ＣＡＢＡＣを実行するために、ビデオ符号化器２０は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接する値がゼロ以外であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオ符号化器２０は、送信されるべきシンボルに対する可変長符号を選択し得る。ＶＬＣの中の符号語は、比較的短い符号が優勢シンボルに対応し、より長い符号が劣勢シンボルに対応するように、構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長符号語を使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0070]ビデオ符号化器２０は、さらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダの中で、ビデオ復号器３０へ送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰの中のいくつかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用された符号化／予測モードを示し得る。

[0071]ＨＥＶＣ ＷＤ１０は、「プロファイル」および「レベル」の手段によってシンタックスの限られた数のサブセットの規定も可能にする。ＨＥＶＣ ＷＤ１０は、広範なアプリケーション、ビットレート、解像度、品質、およびサービスを提供するという意味で一般的であるように設計されている。アプリケーションは、とりわけ、デジタルストレージ媒体、テレビ放送、およびリアルタイム通信をカバーすべきである。ＨＥＶＣ ＷＤ１０を作成する最中に、一般的なアプリケーションからの様々な要件が考慮され、必要なアルゴリズム要素が開発され、これらは単一のシンタックスに組み込まれている。したがって、ＨＥＶＣ ＷＤ１０は、異なるアプリケーションの中のビデオデータ交換を容易にする。しかしながら、ＨＥＶＣ ＷＤ１０の全シンタックスを実装する実用性を考慮して、プロファイルおよびレベルは、シンタックスの限られた数のサブセット用の手段を提供する。

[0072]「プロファイル」は、ＨＥＶＣ ＷＤ１０によって指定されたビットストリームシンタックス全体のサブセットとして定義される。所与のプロファイルのシンタックスによって課される限界内で、ビットストリーム内のシンタックス要素によってとられる値に応じて、符号化器および復号器のパフォーマンスの極めて大きい変動を必要とする可能性が依然としてある。たとえば、復号されるピクチャの指定サイズは、符号化器および復号器のパフォーマンスの極めて大きい変動を必要とし得る。多くの適用例において、現在、特定のプロファイル内でシンタックスのすべての仮定的使用を処理することが可能な復号器を実装することは実用的でもなく、経済的でもない。

[0073]この問題に対処するために、各プロファイル内で「ティア」および「レベル」が指定される。ティアのレベルは、ビットストリーム内のシンタックス要素の値に課された制約条件の指定されたセットである。これらの制約条件は、値に関する単純な制限であり得る。あるいは、それらの制約条件は、値の演算の組合せ（たとえば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数）に関する制約の形態をとり得る。下位ティアのために指定されたレベルは、上位ティアのために指定されたレベルよりも制約される。すべてのプロファイルに関してレベルの同じセットが定義され、各レベルの定義のほとんどの態様が、様々なプロファイルにわたって共通である。個々の実装形態は、指定された制約条件内で、各サポートされるプロファイルの異なるレベルをサポートし得る。異なるコンテキストでは、レベルは、スケーリングの前の変換係数の値である。プロファイルおよびレベルは、ＨＥＶＣ ＷＤ１０の付属書類Ａにより詳細に記述されている。

[0074]ＨＥＶＣ ＷＤ１０は、ｔｅｍｐｏｒａｌＩＤ変数の特定の値を有するビデオコーディングレイヤ（ＶＣＬ）ネットワークアブストラクションレイヤ（ＮＡＬ）ユニットと、関連する非ＶＣＬ ＮＡＬユニットとから成る時間的スケーラブルビットストリームの時間的スケーラブルレイヤとしてサブレイヤを定義する。ＨＥＶＣ ＷＤ１０は、特定のサブレイヤおよび下位のサブレイヤのＮＡＬユニットから成るビットストリームのサブセットとしてサブレイヤ表現をさらに定義する。

[0075]ＨＥＶＣ ＷＤ１０の１０．１項は、ビットストリームサブセットと、サブビットストリームを生成するための抽出プロセスとを記述する。一般に、ＨＥＶＣ ＷＤ１０は、レイヤ識別子およびビットストリームの動作点を識別する時間的サブレイヤ識別子の値に基づいてビットストリームからサブビットストリームを抽出することを記述する。

[0076]動作点は、入力としての別のビットストリーム、ターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作り出されたビットストリームである。動作点は、ＯｐＬａｙｅｒＩｄＳｅｔとして示されるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値と、ＯｐＴｉｄとして示されるｔｅｍｐｏｒａｌＩＤ値とのセットによって識別され得、入力としてのＯｐＴｉｄおよびＯｐＬａｙｅｒＩｄＳｅｔを用いてＨＥＶＣ ＷＤ１０中に指定されたサブビットストリーム抽出プロセスの出力として導出された関連のビットストリームサブセットは、独立して復号可能である。動作点のターゲット最上位ｔｅｍｐｏｒａｌＩＤが、ターゲットレイヤ識別子リストに関連するレイヤセット中のｔｅｍｐｏｒａｌＩＤの最大値に等しい場合、動作点は、レイヤセットと同一である。そうでない場合、動作点は、レイヤセットのサブセットである。

[0077]いくつかの例では、サブビットストリーム抽出プロセスは、ターゲット最上位ｔｅｍｐｏｒａｌＩＤおよびターゲットレイヤ識別子リストｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔによって決定される、ターゲットセットに属さないビットストリーム内のＮＡＬユニットが、ターゲットセットに属するビットストリーム内のＮＡＬユニットから成る出力サブビットストリームを有するビットストリームから除去される、指定されたプロセスである。いくつかの例では、サブビットストリーム抽出プロセスへの入力は、変数ｔＩｄＴａｒｇｅｔおよびリストｔａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔであり、サブビットストリーム抽出プロセスの出力は、サブビットストリームである。サブビットストリームは、ｔａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔ中の値の中にないｔＩｄＴａｒｇｅｔよりも大きいｔｅｍｐｏｒａｌＩＤまたはｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつすべてのＮＡＬユニットを、ビットストリームから除去することによって導出され得る。

[0078]両端値を含む０〜６の範囲の任意の値に等しいｔＩｄＴａｒｇｅｔと、値０を含むｔａｒｇｅｔＤｅｃＬａｙｅｒＩｄＳｅｔとを有する、ＨＥＶＣ ＷＤ１０の１０．１項中に指定されるサブビットストリーム抽出プロセスの出力に含まれる任意のサブビットストリームは、ＨＥＶＣ ＷＤ１０に準拠する。ＨＥＶＣ ＷＤ１０に準拠するビットストリームは、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄと、０に等しいｔｅｍｐｏｒａｌＩＤとを有する１つまたは複数のコーディングされたスライスＮＡＬユニットを含み得る。

[0079]現在のＭＶ−ＨＥＶＣおよびＳＨＶＣ仕様は、復号の間に出力されるべきレイヤを識別することについての問題を有する。第１に、複数の出力レイヤセットがＶＰＳにおいてシグナリングされるが、復号プロセスは、どの出力レイヤセットが選択されるかを知らない。したがって、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔによって与えられる、復号されるべきレイヤの中で、どのレイヤに属するどのピクチャが出力されないものとして常に設定され得る（０に等しいＰｉｃＯｕｔｐｕｔＦｌａｇを有する）か、およびどのレイヤに属するどのピクチャが出力されるかは、明確ではない。

[0080]第２に、ＭＶＣの場合のように、外部手段が出力されるべきターゲットレイヤのセットを指定し得るが、この機構は、出力レイヤセットとターゲット出力レイヤのセットとの一致の複雑さ、およびセッション初期化の成功を一発で達成することができない可能性による不安定性の２つの側面で欠点を有し得る。

[0081]ターゲット出力レイヤのセットが外部手段を介してシグナリングされる場合、クライアント（ビデオ符号化器２０でもよい）と復号器（ビデオ復号器３０でもよい）との間のインターフェースだけでなく、復号器でももう少しデータを消費し、ターゲット出力レイヤをＶＰＳにおける出力レイヤセットが含む出力レイヤと一致させることが必要とされる。このプロセスは、復号器での不要な複雑さを導き得る。

[0082]復号器は、ターゲット出力レイヤ（外部手段によって導出される）がどんな出力レイヤとも一致しないケースを考慮に入れる必要がある。この場合、復号プロセスは、終了する、またはターゲット出力レイヤに「近い」出力レイヤセットを知的に導出することができる。しかしながら、これは、クライアントが望む動作点ではない可能性があり、したがって、もう一回セッション交渉が必要である。

[0083]以下の技法は、動作点の選択のための上記の欠点に対処するために本開示に含まれる。第１に、特定のターゲット出力レイヤセットのインデックスは、外部手段（たとえば、ソースデバイスまたはメディアアプリケーションまたは宛先デバイス上の他の構成要素）によって導出され得る。インデックスは、復号プロセス、特に復号ピクチャバッファ（ＤＰＢ）動作の間に使用されるターゲット出力レイヤのセットを定義するために使用され得る。加えて、インデックスは、ＨＲＤ動作の一部としてＤＰＢ動作のための適切なＤＰＢサイズ（またはサブＤＰＢサイズ）の選択のために使用され得る。

[0084]第２に、いくつかの例では、セッション交渉の便宜のために、ＶＰＳにおいてシグナリングされる出力動作点の情報は、たとえば動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）におけるメディアプレゼンテーション記述（ＭＰＤ）、ファイル形式における復号器構成、およびＭＰＥＧ−２トランスポートストリーム（ＴＳ）における記述子など、トランスポートレイヤ仕様において複製され得る。より単刀直入には、いくつかの例では、出力動作点ごとに、ターゲット出力ビュー、追加の従属するビュー、および最も低い適用可能な最上位ｔｅｍｐｏｒａｌＩＤがシグナリングされる。

[0085]第３に、いくつかの例では、ＨＥＶＣスケーラブル／マルチビュー／３Ｄ拡張において可能である外部手段に基づいて、そのような２つの例示的な異なるプロセスは、１つはストリーミング、および１つはＳＤＰオファー／回答の方法の交渉を含む。

[0086]たとえば、ＤＡＳＨおよびリアルタイムストリーミングプロトコル（ＲＴＳＰ）ストリーミングなど、ストリーミングアプリケーションでは、以下が適用され得る。
ｉ．クライアントは、メディアプレゼンテーションの記述（たとえば、マニフェストファイル）を取得し、ここにおいて、記述は、出力レイヤセットに関する情報、および、場合によっては、時間的サブセットに基づく出力動作点に関する情報を含む。
ｉｉ．クライアントは、記述を構文解析し、出力動作点のうちの１つを選択し、その出力動作点を要求する。
ｉｉｉ．サーバは、要求された出力動作点情報を最上位ｔｅｍｐｏｒａｌＩＤおよび特定の出力レイヤセットのインデックスに変換し、この情報を外部手段からの入力としてビデオ復号器に配信する。
ｉｖ．サーバは、出力動作点に対応する要求されたデータを送る。

[0087]マニフェストファイルは、たとえば、メディアプレゼンテーション記述（ＭＰＤ）またはＳＤＰメッセージを含み得る。

[0088]ＳＤＰオファー／回答タイプの交渉を使用したアプリケーションでは、以下が適用され得る。
ｉ．送信機は、受信機Ａと受信機Ｂとを含む複数の受信機に招待を送り、招待は、送信機が提供することができる出力動作点（出力ビューに関して）の記述を含む。
ｉｉ．受信機は、それぞれの出力動作点を決定する。たとえば、受信機Ａは、出力すべきビューのセットを選択し、受信機Ｂは、出力すべきビューのセットを選択する。
ｉｉｉ．送信機は、出力レイヤセットの記述、および場合によっては、時間的サブセットに基づく出力動作点も含めて、受信機によって選択されたすべてのビューを含むビットストリームを符号化し、記述を受信機に送る。必要な出力動作点は、メディアプレゼンテーションの記述でシグナリングされる。
ｉｖ．各受信機は、それが望む出力レイヤセットのインデックスを見つけ出し、最上位ｔｅｍｐｏｒａｌＩＤと、出力レイヤセットのインデックスとを受信機の復号器に渡す。インデックスは、ビデオ復号器における外部手段として使用される。

[0089]いくつかの例では、ソースデバイス１２は、ビデオ符号化器２０を含む同じデバイスとすることができる。他の例では、ビデオ符号化器２０は、別個のデバイスに含まれ得る。ソースデバイス１２は、符号化されたビデオデータがソースデバイス１２によって受信される前に、別個のデバイスにおけるビデオ符号化器によって符号化されたビデオデータを記憶し、管理することができる。たとえば、ストリーミングアプリケーションのための上述したサーバ、またはＳＤＰオファー／回答タイプの交渉のための上述した送信機は、必ずしも符号化器を有しているとは限らず、ビデオをそれ自体で符号化していない可能性があるが、いくつかの例では符号化し得る。

[0090]図１には図示されていないが、宛先デバイス１４は、メディアアプリケーションをさらに含み得る。メディアアプリケーションを含む宛先デバイス１４の実施形態は、図７に示されており、以下でさらに詳細に説明する。サブビットストリーム抽出は、たとえばソースデバイス１２において、宛先デバイスのメディアアプリケーションにおいて、宛先デバイスのビデオ復号器３０において、アップストリームのメディアアウェアネットワーク要素（ＭＡＮＥ：Media Aware Network Element）において、または何らかの他の位置など、異なる実施形態で異なる場所において実行され得る。上記のストリーミングアプリケーションのいくつかの例では、それは、サーバと通信するクライアントのメディアアプリケーションであり、ここにおいて、サーバは、たとえば、ソースデバイス１２であり得る。上記で説明したように、ソースデバイス１２は、必ずしもビデオ符号化器を含むとは限らず、ビデオは、ソースデバイス１２に記憶される前に符号化されている場合がある。また、上記で説明したＳＤＰオファー／回答タイプの交渉のいくつかの例では、送信機は、たとえば、ソースデバイス１２でもよく、受信機は、宛先デバイス１４の実施形態でもよく、ここにおいて、ＳＤＰオファー／回答タイプの交渉は、ソースデバイス１２と宛先デバイスの各々のメディアアプリケーションとの間に起こる。

[0091]図２は、本開示で説明する技法を実施し得るビデオ符号化器２０の一例を示すブロック図である。ビデオ符号化器２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード（Ｉモード）は、いくつかの空間ベースのコーディングモードのいずれかを指す場合がある。一方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指す場合がある。

[0092]図２に示されたように、ビデオ符号化器２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図２の例では、ビデオ符号化器２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコーディングユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測処理ユニット４６と、パーティションユニット４８とを含む。ビデオブロックの再構成のために、ビデオ符号化器２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするための、デブロッキングフィルタも含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のフィルタ（ループ内またはループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡約のために図示されないが、必要な場合、加算器５０の出力を（インループフィルタとして）フィルタリングし得る。

[0093]符号化プロセス中に、ビデオ符号化器２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間的予測をもたらすために、１つまたは複数の参照フレームの中の１つまたは複数のブロックに対して受信されたビデオブロックのインター予測のコーディングを実行する。イントラ予測処理ユニット４６は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コーディングを実施し得る。ビデオ符号化器２０は、たとえば、ビデオデータの各ブロックのための適切なコーディングモードを選択するために、複数のコーディングパスを実施し得る。

[0094]その上、区分ユニット４８は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、区分ユニット４８は、最初は、レートひずみ分析（たとえば、レートひずみ最適化）に基づいて、フレームまたはスライスをＬＣＵに区分し、ＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、ＬＣＵのサブＣＵへの区分を示す４分木データ構造をさらに生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含む場合がある。

[0095]モード選択ユニット４０は、たとえば、エラー結果に基づいて、コーディングモードのうちの１つ、イントラまたはインターを選択し、得られたイントラまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に提供し、参照フレームとして使用するための符号化されたブロックを再構築するために加算器６２に提供し得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピーコーディングユニット５６に与える。

[0096]動き推定ユニット４２および動き補償ユニット４４は、高度に統合される場合があるが、概念的な目的のために別々に示している。動き推定ユニット４２によって実行される動き推定は、動きベクトルを生成する処理であり、動きベクトルは、ビデオブロックに対する動きを推定する。動きベクトルは、たとえば、現在のフレーム内でコーディングされている現在のブロック（または、他のコーディングされたユニット）に対する、参照フレーム内の予測ブロック（または、他のコーディングされたユニット）に対する、現在のビデオフレーム内またはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、ピクセル差分の観点で、コーディングされるべきブロックと密に適合すると見出されたブロックであり、ピクセル差分は、絶対値差分の合計（ＳＡＤ）、二乗差分の合計（ＳＳＤ）、または他の差分の測定規準によって決定され得る。いくつかの例では、ビデオ符号化器２０は、参照フレームメモリ６４に記憶されている参照ピクチャの、サブ整数ピクセル位置に対する値を計算し得る。たとえば、ビデオ符号化器２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、完全なピクセル位置および分数のピクセル位置に対して動き探索を実行し、分数のピクセル精度で動きベクトルを出力し得る。

[0097]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライス中のビデオブロックのＰＵに関する動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々は、参照フレームメモリ６４に記憶されている１つまたは複数の参照ピクチャを特定する。動き推定ユニット４２は、計算された動きベクトルをエントロピーコーディングユニット５６と動き補償ユニット４４とに送る。

[0098]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。同様に、動き推定ユニット４２および動き補償ユニット４４は、いくつかの例では、機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指し示す予測ブロックの位置を特定し得る。加算器５０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算することによって残差ビデオブロックを形成し、以下で説明するようにピクセル差分の値を形成する。一般に、動き推定ユニット４２は、ルーマ構成要素に対して動き推定を実行し、動き補償ユニット４４は、クロマ構成要素とルーマ構成要素の両方のために、ルーマ構成要素に基づいて計算された動きベクトルを使用する。モード選択ユニット４０は、また、ビデオ復号器３０によるビデオスライスのビデオブロックの復号での使用のために、ビデオブロックおよびビデオスライスと関連したシンタックス要素を生成する。

[0099]イントラ予測処理ユニット４６は、上に記述したように、動き推定ユニット４２および動き補償ユニット４４によって実施されたインター予測の代替として、現在のブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し得、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[0100]たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化されたブロックのひずみおよびレートから比を計算し得る。

[0101]ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、エントロピーコーディングユニット５６にブロックのための選択されたイントラ予測モードを示す情報を与え得る。エントロピーコーディングユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオ符号化器２０は、送信されるビットストリーム中に構成データを含む場合があり、構成データは、コンテキストの各々に関して使用する、複数のイントラ予測モードのインデックステーブルおよび複数の修正されたイントラ予測モードのインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックに関する符号化コンテキストの定義と、最も起こりそうなイントラ予測モードの表示と、イントラ予測モードのインデックステーブルと、修正されたイントラ予測モードのインデックステーブルとを含み得る。

[0102]ビデオ符号化器２０は、モード選択ユニット４０からの予測データを、コーディングされている元のビデオブロックから減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算操作を実行する１つの構成要素または複数の構成要素を表現する。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的には類似の変換などの変換を残差ブロックに適用し、残差変換係数の値を備えるビデオブロックを生成する。変換処理ユニット５２は、概念的にはＤＣＴに類似の他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプ変換も使用され得る。いかなる場合でも、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、ピクセル値領域からの残差情報を、周波数領域などの変換領域に転換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４へ送り得る。

[0103]量子化ユニット５４は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって、修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列のスキャンを実行することができる。代替的に、エントロピーコーディングユニット５６がスキャンを実行し得る。

[0104]量子化の後に、エントロピーコーディングユニット５６は量子化変換係数をエントロピーコーディングする。たとえば、エントロピーコーディングユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピーコーディングユニット５６によるエントロピーコーディングの後に、符号化されたビットストリームは、別のデバイス（たとえば、ビデオ復号器３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。

[0105]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、たとえば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構築する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって、参照ブロックを計算し得る。動き補償ユニット４４は、動き推定において使用するためにサブ整数ピクセル値を計算するのに、１つまたは複数の補間フィルタを再構成された残差ブロックに適用することもできる。加算器６２は、参照フレームメモリ６４での記憶のための再構築されたビデオブロックを生成するために、再構築された残差ブロックを、動き補償ユニット４４によって生成される動き補償された予測ブロックに加算する。再構築されたビデオブロックは、動き推定ユニット４２および動き補償ユニット４４によって、後続のビデオフレームのブロックをインターコーディングするための参照ブロックとして使用され得る。

[0106]図２のビデオ符号化器２０は、本明細書で説明する技法のうちの１つまたは複数を実装するように構成されたビデオ符号化器の一例を表す。いくつかの例では、ビデオ符号化器２０は、ビットストリームに関連するビデオパラメータセット（ＶＰＳ）における動作点をシグナリングする。動作点は、時間的におよび／または複数のレイヤもしくはビューに関してスケーラブルな元のビットストリームから抽出され得るサブビットストリームを指す。ＨＥＶＣでは、動作点は、ＯＰＬａｙｅｒＩｄＳｅｔとして示されるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値と、ＯｐＴｉｄとして示されるｔｅｍｐｏｒａｌＩＤ値とのセットによって識別され得る。一例として、元のビットストリームは、異なる空間解像度の３つのレイヤまたはビューと、異なるフレームレートの２つの時間的スケーラブルレイヤとを含み得る。この例では、元のビットストリームは、いずれかのフレームレートで利用可能な３つの空間解像度の各々を有する６つの動作点を含む。

[0107]いくつかの例では、ビデオ符号化器２０はビットストリームを生成する。ビデオ符号化器２０によって生成されるビットストリームは、ビットストリームからサブビットストリームとして抽出され得る複数の出力動作点を含み得る。出力動作点は、たとえば、多重レイヤおよび／またはビュー、ならびに複数のフレームレートを含み得る。ビデオ符号化器２０は、ＶＰＳにおける出力動作点を示す情報を符号化し得る。いくつかの例では、ビデオ符号化器２０がビットストリームに関連するＶＰＳにおいてシグナリングする動作点の各々では、動作点シンタックス構造は、所与の動作点のサブビットストリームに属する、ビットストリーム内のネットワークアブストラクションレイヤ（ＮＡＬ）ユニットを識別するために使用されるレイヤ識別子（ＩＤ）のセットを指定する。このように、所与の動作点のサブビットストリームを構成するＮＡＬユニットは、ＮＡＬユニットのレイヤ識別子に基づいて元のビットストリームから抽出され得る。

[0108]いくつかの場合には、以下でより詳細に説明するように、ビデオ符号化器２０は、動作点のうちの１つまたは複数に関連する仮想参照復号器（ＨＲＤ）パラメータをさらに符号化することができる。この場合、ビデオ符号化器２０は、ＶＰＳにおけるＨＲＤパラメータ情報をシグナリングする。以下でより詳細に説明するように、ＨＲＤパラメータを有する１つまたは複数の動作点の各々では、ＨＲＤパラメータシンタックス構造は、所与の動作点のサブビットストリームの準拠をチェックするために使用されるＨＲＤを定義するＨＲＤパラメータのセットを指定し得る。

[0109]図３は、本開示の技法による、例示的なマルチビュー復号順序を示す概念図である。マルチビュービデオコーディング（ＭＶＣ）はＨ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（すなわち、ビットストリーム順序）を図３に示す。復号順序の構成は時間優先コーディングと呼ばれる。各アクセスユニットは、１つの出力時間インスタンスのためのすべてのビューのコーディングされたピクチャを含むように定義される。アクセスユニットの復号順序は出力または表示の順序と同じでない場合があることに留意されたい。

[0110]図４は、マルチビュービデオコーディングのためのＭＶＣ（ＭＶＣ）予測構造の一例の図である。ＭＶＣは、Ｈ．２６４／ＡＶＣの拡張である。図４は、マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を示す。ＭＶＣ予測構造は、各ビュー内のピクチャ間予測とビュー間予測の両方を含む。図４では、予測は矢印によって示され、ここで矢印の終点のオブジェクトは、予測の基準のために矢印の始点のオブジェクトを使用する。図４のＭＶＣ予測構造は、時間優先の復号順序構成とともに使用され得る。時間優先の復号順序では、各アクセスユニットは、１つの出力時間インスタンスに対するすべてのビューのコーディングされたピクチャを含むように定義され得る。アクセスユニットの復号順序は、必ずしも出力または表示の順序と同一とは限らない。

[0111]ＭＶＣでは、ビュー間予測は視差動き補償によってサポートされ、視差動き補償は、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー中のピクチャが参照ピクチャとして置かれることを可能にする。２つのビューのコーディングも、ＭＶＣによってサポートされ得る。ＭＶＣ符号化器は、３Ｄビデオ入力として３つ以上のビューをとらえることができ、ＭＶＣ復号器は、マルチビューの表現を復号することができる。ＭＶＣ復号器を有するレンダラは、複数のビューを伴う３Ｄビデオコンテンツを復号することができる。

[0112]同じアクセスユニット中の（すなわち、同じ時間インスタンスを伴う）ピクチャは、ＭＶＣにおいてビュー間予測され得る。ベースのないビューの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンスを伴う場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測の参照ピクチャは、任意のインター予測の参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に置かれ得る。

[0113]図４に示すように、ビュー成分は、参照用に他のビュー中のビュー成分を使用することができる。ＭＶＣでは、別のビュー中のビュー成分がインター予測の参照であるかのように、ビュー間予測が実現され得る。可能性のあるビュー間の参照は、シーケンスパラメータセット（ＳＰＳ）のＭＶＣ拡張においてシグナリングされ得る。可能性のあるビュー間の参照は、参照ピクチャリスト構築処理によって修正されてよく、これによって、インター予測またはビュー間予測の参照の順序を柔軟にできる。以下の表１に例示的なＳＰＳ ＭＶＣ拡張を示す。

[0114]ＳＰＳ ＭＶＣ拡張では、ビューごとに、参照ピクチャリスト０と参照ピクチャリスト１とを形成するために使用され得るビューの数がシグナリングされる。ＳＰＳのＭＶＣ拡張でシグナリングされたアンカーピクチャ用の予測関係は、同じビューの（ＳＰＳのＭＶＣ拡張でシグナリングされた）非アンカーピクチャ用の予測関係とは異なる場合がある。

[0115]ＭＶＣにおけるターゲット出力ビューの選択では、ターゲット出力ビューが外部手段によって知られていると仮定される。外部手段によって知られているこれらのターゲット出力ビューは、たとえば、セッション交渉の結果として導出され、あるインターフェースによってクライアントからＭＶＣ復号器にトランジットされ得る。

[0116]対照的に、ＨＥＶＣは、ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２のためのビデオパラメータセット（ＶＰＳ）拡張を有する。ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２のＶＰＳ拡張において、（復号されるべきレイヤのうちの）所与のレイヤセットについて、どのレイヤがターゲット出力レイヤ（ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇ［ｌｓＩｄｘ］［ｊ］）であるかを識別することによって、複数の出力レイヤセットがシグナリングされ得る方法で、いくつかの出力レイヤセットがシグナリングされる。ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２のビデオパラメータセット（ＶＰＳ）拡張による詳細なシンタックス設計は、表２として以下に示されるＶＰＳ拡張シンタックステーブルに示される。インデックス０〜ｖｐｓ＿ｎｕｍｂｅｒ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１を有する出力レイヤセットについて、対応するレイヤセットは、それぞれ、０〜ｖｐｓ＿ｎｕｍｂｅｒ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１にインデックス付けされたものである。ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２のビデオパラメータセット（ＶＰＳ）拡張において、これらの出力レイヤセットのターゲット出力レイヤは、ｄｅｆａｕｌｔ＿ｏｎｅ＿ｔａｒｇｅｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇの値に基づいて推定される。ＭＶ−ＨＥＶＣ ＷＤ４およびＳＨＶＣ ＷＤ２のビデオパラメータセット（ＶＰＳ）拡張に従って、ｄｅｆａｕｌｔ＿ｏｎｅ＿ｔａｒｇｅｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇが０に等しい場合、これらの出力レイヤセットにおけるすべてのレイヤは、ターゲット出力レイヤであり、ｄｅｆａｕｌｔ＿ｏｎｅ＿ｔａｒｇｅｔ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｆｌａｇが１に等しい場合、それらの出力レイヤセットにおいて最上位レイヤｉｄを有するレイヤのみがターゲット出力レイヤである。

[0117]ターゲット出力レイヤのためのレイヤ識別子リストは、ＶＰＳ拡張においてシグナリングされる出力レイヤのインデックス（ｏｕｔＰｕｔＬａｙｅｒＩｄｘ）によって識別される。

[0118]レイヤ識別子リストは、レイヤセットまたは動作点に関連するｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストであり、サブビットストリーム抽出プロセスへの入力として使用され得る。

[0119]レイヤセットは、入力としての別のビットストリーム、６に等しいターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびレイヤセットに関連したレイヤ識別子リストに等しいターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作り出されたビットストリーム内に表されるレイヤのセットである。レイヤセットは、復号されるべきレイヤのセットである。

[0120]出力レイヤセットは、出力レイヤのセットに関連するレイヤセットであり、対応するレイヤセットを識別するレイヤセットでもある。レイヤセットは、復号されるべきレイヤのセットを識別し、出力レイヤセットは、出力されるべきレイヤのセットを識別する（ならびに対応するレイヤセットを識別する）。

[0121]出力動作点は、入力としての別のビットストリーム、ターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作り出され、ターゲット出力レイヤのセットに関連するビットストリームである。このように、各出力動作点は、ターゲット出力レイヤのセットに関連している。

[0122]動作点は、入力としての別のビットストリーム、ターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの動作によって別のビットストリームから作り出され、レイヤセットに関連するビットストリームである。このように、各動作点は、レイヤセットに関連している。出力動作点は出力レイヤセットに関連しており、動作点はレイヤセットに関連している。

[0123]所与のビットストリームについて、出力レイヤセットの多くの置換が可能であり得る。たとえば、サブビットストリームが図４の８つのビューを含むビットストリームから抽出されると仮定する。サブビットストリームは、０、１および２のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する３つのレイヤ（ビュー）を有し得る。一例では、レイヤのいずれかを単独で出力する、またはレイヤ０とレイヤ１の両方を出力する、またはレイヤ０とレイヤ２とを出力する、またはレイヤ１とレイヤ２の両方を出力する、またはレイヤ０、１および２の３つすべてを出力することが可能であり得る。この場合、レイヤ０を唯一の出力レイヤとして識別するもの、レイヤ１を唯一の出力レイヤとして識別するもの、レイヤ２を唯一の出力レイヤとして識別するもの、レイヤ０とレイヤ１とを出力レイヤとして識別するもの、レイヤ０とレイヤ２とを出力レイヤとして識別するもの、レイヤ１とレイヤ２とを出力レイヤとして識別するもの、レイヤ０とレイヤ１とレイヤ２とを出力レイヤとして識別するものの、最高７つの出力レイヤセットがあり得る。一例では、レイヤ０は、レイヤ１またはレイヤ２のいずれかを復号するために、復号されなければならないビュー間参照レイヤであり得る。一例では、出力レイヤセットがレイヤ２を唯一の出力レイヤとして識別する場合、レイヤ０は、ビュー間参照のために依然として復号されなければならない。この具体的な例では、出力レイヤセットは、レイヤ２を出力レイヤとして識別し、レイヤセットは、レイヤ０とレイヤ２とを識別する。また、出力レイヤセットは、対応するレイヤセットを識別する。レイヤ１はレイヤ０または２のいずれかの参照ビューとして使用されないので、レイヤ２が出力レイヤセットに含まれる場合、レイヤ０とレイヤ２とのみを含む動作点が定義され得ることに留意されたい。

[0124]上記の例では、７つの出力レイヤセットがあったが、他の例では、たとえば、どのレイヤか、およびどれだけのレイヤが同時に出力され得るかに応じて、７つ未満の出力セットがあり得る。

[0125]例示的なビデオパラメータセット（ＶＰＳ）ローバイトシーケンスペイロード（ＲＢＳＰ）セマンティクスは次の通りである。１に等しいフラグｌａｙｅｒ＿ｉｄ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｊに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がレイヤ識別子リストｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉ］に含まれることを指定する。０に等しいフラグｌａｙｅｒ＿ｉｄ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇ［ｉ］［ｊ］は、ｊに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄの値がレイヤ識別子リストｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉ］に含まれないことを指定する。

[0126]ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［０］の値は１に等しくなるように設定され、ｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［０］［０］の値は０に等しくなるように設定される。

[0127]両端値を含む１〜ｖｐｓ＿ｎｕｍ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１の範囲内のｉの値ごとに、変数ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｉ］およびレイヤ識別子リストｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉ］が次のように導出される。

[0128]両端値を含む１〜ｖｐｓ＿ｎｕｍ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１の範囲内のｉの値ごとに、ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｉ］は、両端値を含む１〜ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１＋１の範囲内にあるものとする。

[0129]ｉＡがｉＢに等しくない状態で、両端値を含む０〜ｖｐｓ＿ｎｕｍ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１の範囲内の任意のｉＡおよびｉＢについて、ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｉＡ］がｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｉＢ］に等しいとき、ｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉＡ］［ｎ］の値は、両端値を含む０〜ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔ［ｉＡ］の範囲内のｎの少なくとも１つの値について、ｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉＢ］［ｎ］に等しくないものとする。

[0130]レイヤセットは、関連のレイヤ識別子リストによって識別される。両端値を含む０〜ｖｐｓ＿ｎｕｍ＿ｌａｙｅｒ＿ｓｅｔｓ＿ｍｉｎｕｓ１の範囲内のｉについて、ＶＰＳによって指定された第ｉのレイヤセットは、レイヤ識別子リストｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔ［ｉ］に関連する。

[0131]上記のアルゴリズムは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの可能な値ごとに、レイヤがレイヤセットに含まれるかどうかを決定することによって、レイヤセットに含まれるレイヤを識別する。

[0132]レイヤセットは、同じレイヤ識別子リストに関連するすべての動作点から成る。

[0133]図５は、本開示で説明する技法を実装し得るビデオ復号器３０の一例を示すブロック図である。図５の例では、ビデオ復号器３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測処理ユニット７４と、逆量子化ユニット７６と、逆変換処理ユニット７８と、参照フレームメモリ８２と、加算器８０とを含む。ビデオ復号器３０は、いくつかの例では、図２に示すように、ビデオ符号化器２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。

[0134]復号プロセス中に、ビデオ復号器３０は、符号化されたビデオスライスのビデオブロックおよび関連するシンタックス要素を表す符号化されたビデオビットストリームを、ビデオ符号化器２０から受信する。ビデオ復号器３０は、ネットワークエンティティ２９から符号化されたビデオビットストリームを受信することができる。ネットワークエンティティ２９は、たとえば、サーバ、メディアアウェアネットワーク要素（ＭＡＮＥ）、ビデオエディタ／スプライサ、または上で説明された技法の１つもしくは複数を実施するように構成された他のそのようなデバイスであ得る。ネットワークエンティティ２９は、本開示の技法を実行するように構成された外部手段を含み得る。上述のように、本開示で説明する技法のいくつかは、ネットワークエンティティ２９が符号化されたビデオビットストリームをビデオ復号器３０に送信する前にネットワークエンティティ２９によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ２９およびビデオ復号器３０は別個のデバイスの一部であり得るが、他の事例では、ネットワークエンティティ２９に関して説明する機能は、ビデオ復号器３０を備える同じデバイスによって実行され得る。

[0135]ビデオ復号器３０のエントロピー復号ユニット７０は、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオ復号器３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信し得る。

[0136]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、イントラ予測処理ユニット７４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされた（すなわち、Ｂ、Ｐ、またはＧＰＢ）スライスとしてコーディングされているとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロック用の予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオ復号器３０は、参照フレームメモリ８２に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構成し得る。

[0137]動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数についての構成情報と、スライスの各インター符号化されたビデオブロックのための動きベクトルと、スライスの各インターコーディングされたビデオブロックについてのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。

[0138]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、参照ブロックの整数未満のピクセル用の補間された値を計算するために、ビデオブロックの符号化中にビデオ符号化器２０によって使用された補間フィルタを使用することができる。このケースでは、動き補償ユニット７２は、受信したシンタックス要素からビデオ符号化器２０で使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。

[0139]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された、量子化された変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオ符号化器３０によって計算される量子化パラメータＱＰ_Yの使用を含み得る。逆変換処理ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0140]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオ復号器３０は、逆変換処理ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数の構成要素を表す。必要な場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタリングするためにデブロッキングフィルタが適用される場合もある。他のループフィルタ（コーディングループの中、またはコーディングループの後のいずれかにおける）も、ピクセルの遷移を平滑化し、または場合によってはビデオ品質を改善するために使用され得る。所与のフレームまたはピクチャの復号されたビデオブロックは、次いで、参照フレームメモリ８２に記憶され、この参照フレームメモリ８２は後続の動き補償のために使用される参照ピクチャを記憶する。参照フレームメモリ８２は、図１のディスプレイデバイス３２などのディスプレイデバイス上で後に提示するために、復号されたビデオも記憶する。

[0141]ビデオ復号器３０が使用し得る一般の復号プロセスが以下でさらに詳細に提供される。ビデオ復号器３０によって実行され得る１つの例示的なプロセスは、図９に図示されており、以下でさらに詳細に説明する。

[0142]図６は、ネットワーク１００の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１００は、ルーティングデバイス１０４Ａ、１０４Ｂ（ルーティングデバイス１０４）とトランスコーディングデバイス１０６とを含む。ルーティングデバイス１０４およびトランスコーディングデバイス１０６は、ネットワーク１００の一部を形成し得る少数のデバイスを表すものである。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク１００内に含まれ得る。その上、サーバデバイス１０２とクライアントデバイス１０８との間にネットワーク経路に沿って追加のネットワークデバイスが提供され得る。いくつかの例では、サーバデバイス１０２はソースデバイス１２（図１）に対応し得る一方、クライアントデバイス１０８は宛先デバイス１４（図１）に対応し得る。

[0143]概して、ルーティングデバイス１０４は、ネットワーク１００を介してネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス１０４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス１０４はプロキシデバイスと呼ばれ得る。一般に、ルーティングデバイス１０４は、ネットワーク１００を通るルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１０４Ｂは、それ自体からルーティングデバイス１０４Ａを介してサーバデバイス１０２へ至るネットワークルートを発見することができる。

[0144]図７は、メディアアプリケーション（１２４）をさらに含む宛先デバイス／クライアントデバイス１４の一例を示すブロック図である。

[0145]宛先デバイス１４はまた、制御ユニット１２０とユーザインターフェース１３０とを含む。制御ユニット１２０は、たとえば、１つまたは複数の汎用マイクロプロセッサ、処理コア、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積もしくはディスクリート論理回路など、単独でまたは任意の組合せで、１つまたは複数のハードウェアベースの処理ユニットを表し得る。同様に、（たとえばミドルウェアユニット１２２およびメディアアプリケーション１２４など）制御ユニット１２０内のユニットまたはモジュールを含む、制御ユニット１２０に起因する機能は、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組合せで、または単独で実装され得る。ソフトウェアまたはファームウェアで実装されるとき、制御ユニット１２０は、たとえば、命令を記憶するための１つまたは複数のコンピュータ可読媒体、および命令を実行するための１つまたは複数のハードウェアベースのプロセッサなど、必須のハードウェアを含むと推測される。

[0146]ユーザインターフェース１３０は、たとえばディスプレイ、タッチスクリーン、スピーカー、マイクロフォン、マウスまたはタッチパッドなどのポインティングデバイス、キーボードなど、１つまたは複数のユーザインターフェースを含み得る。ビデオ復号器３０のための１つの特定の構成が図７に示されているが、宛先デバイス１４は、たとえば制御ユニット１２０内、制御ユニット１２０とは別に、および制御ユニット１２０とユーザインターフェース１３０との間など、図７に示されるものとは異なる１つまたは複数の位置にビデオ復号器３０を含み得る。あるいは、ビデオ復号器３０は、ミドルウェアユニット１２２とメディアアプリケーション１２４との間に設けられ得る。

[0147]いくつかの例では、制御ユニット１２０は、ミドルウェアユニット１２２と、メディアアプリケーション１２４とを含む。メディアアプリケーション１２４は、たとえばビデオおよび／または音声データなど、メディアデータを再生するためのアプリケーションに対応し得る。メディアデータを再生するとき、メディアアプリケーション１２４は、出力のためにユーザインターフェース１３０に復号されたメディアデータを送ることができる。さらに、メディアアプリケーション１２４は、メディアデータをミドルウェアユニット１２２から取り出すことができる。たとえば、メディアアプリケーション１２４は、たとえば、ＤＡＳＨの技法を使用してミドルウェアユニット１２２からメディアデータを取り出すために、ＤＡＳＨを実行するように構成され得る。ミドルウェアユニット１２２は、一般に、ネットワーク１０４、１０６を介してサーバデバイス１０２からメディアデータを取得するための機能がメディアアプリケーション１２４から抽出され得るように、メディアアプリケーション１２４とネットワークインターフェース１１２との間の中間ユニットとして働き得る。すなわち、メディアアプリケーション１２４は、たとえばネットワークインターフェース１１２など、ネットワーク１０４、１０６に関係するモジュールまたはユニットと対話する必要がない。代わりに、メディアアプリケーション１２４は、ミドルウェアユニット１２２と対話し得、ミドルウェアユニット１２２は、メディアアプリケーション１２４の代わりにネットワークインターフェース１１２を介したネットワーク対話を制御する役割を果たし得る。

[0148]いくつかの例では、メディアアプリケーション１２４は、上記および以下により詳細に説明するように、サブビットストリーム抽出が実行され得る。

[0149]メディアアプリケーション１２４は、上記および以下により詳細に説明するように、ビデオデータが送られる前に行われるセッション交渉の間、たとえば図１のソースデバイス１０など、サーバデバイスと通信し得る。

[0150]図８は、ビデオデータを処理するための例示的なプロセス（８９０）を示すフローチャートである。開始ブロックの後、プロセスはブロック８９１に進み、ここにおいて、出力のターゲットにされるレイヤのセットが決定される。次いで、プロセスはブロック８９２に移動し、ここにおいて、ターゲット出力レイヤセットが出力のターゲットにされる決定されたレイヤのセットを表すように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスが決定される。次いで、プロセスはブロック８９３に進み、ここにおいて、インデックスがビデオ復号器に送られる。次いで、プロセスは戻りブロックに進み、ここにおいて、他の処理が再開される。

[0151]プロセス８９０は、たとえば図１のソースデバイス１２など、たとえば、サーバデバイスおよび／またはソースデバイスにより実行され得る。プロセス８９０は、サーバ／ソースデバイスと、たとえば図７のメディアアプリケーション１２４などのメディアアプリケーションとの間の通信の一部であり得る、サーバ／ソースデバイスから見た例示的なプロセスを示す。

[0152]いくつかの例では、セッションが開始する前、および任意のビデオデータが送られる前に、たとえば、ソースデバイス（たとえば、図１のソースデバイス１２）と宛先デバイス（たとえば、図１の宛先デバイス１４または図７の宛先デバイス１４）との間でセッション交渉が行われ得る。いくつかの例では、セッション交渉は、ソースデバイスとクライアントデバイスのメディアアプリケーション（たとえば、図７のメディアアプリケーション１２４）との間で実行され得る。交渉セッションは、たとえば、宛先デバイスがソースデバイスに対する問合せを行うことによって開始し得る。問合せに応答して、ソースデバイスは、たとえば、特定のビデオデータのために提供され得る可能な出力動作点に関係するオプションなど、情報を復号器に送り得る。これは、どのレイヤがサポートされ得るか、ビットストリームがどれだけのレイヤを有するか、どのフレームレートがサポートされているかなどに関する情報などの情報を含み得る。

[0153]それに応答して、宛先デバイスは、たとえば、宛先デバイスのニーズおよび要件に基づいて、出力動作点を選択することができる。たとえば、選択は、復号器によってどの動作点が復号され得るかに基づき、復号され得る動作点のうちのどれが好ましくは出力されるべきかについて制御可能な設定に基づき得る。宛先デバイスは、たとえば、クライアントデバイスの能力を復号し、レンダリングすることを決定する。復号の能力は、どのコーデックが利用可能であるか、ならびに、復号器によってサポートされるコーデックのプロファイルとレベルとを含み得る。レンダリングの能力は、どれだけのビューがディスプレイ、フレームレート、スクリーンサイズ（解像度の）などによって出力され得るかを含み得る。これを決定した後、クライアントは、どの出力動作点がこれらの要件を満たすかを決定する。いくつかの例では、宛先デバイスは、様々な表現のための利用可能な帯域幅およびビットレートを決定し、利用可能な帯域幅を超えない最高のビットレートを有する表現を選択することもできる。たとえば、これらの要因のうちの１つまたは複数に基づいて、宛先デバイスは、出力動作点を選択する。

[0154]いくつかの例では、出力動作点を選択した後、宛先デバイスは、ソースデバイスに選択された出力動作点を伝えることができる。いくつかの例では、ソースデバイス１２は、宛先デバイスから出力動作点の選択を受信し、ソースデバイスは、選択された出力動作点、および選択された出力動作点に対応する最上位ｔｅｍｐｏｒａｌＩＤに基づいて、宛先デバイスのビデオ復号器に、出力レイヤセットのリスト、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを送ることができる。

[0155]代替的に、いくつかの例では、宛先デバイスがソースデバイスに選択された出力動作デバイスを伝える代わりに、およびソースデバイスが、選択に基づいて、ビデオコーダに、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを含む情報を送る代わりに、選択された動作点に対応するファイルのＵＲＬ（および、それらのファイル内のバイト範囲）を示すファイル形式レベル（たとえば、ＤＡＳＨのＭＰＤ）の情報があり得る。たとえば、クライアントデバイスが出力のためにレイヤ０およびレイヤ２を選択する場合、ＭＰＤは、どのファイルがそれらのレイヤのデータに対応するかを識別することができる。利用可能な時間レイヤのサブセットのみが要求される場合、ＭＰＤは、それらの時間レイヤに対応するファイルのバイト範囲も記述し得る。

[0156]様々な例で、出力レイヤセットのリストのターゲット出力レイヤセットのインデックスが導出され、異なる方法で復号器に送られ得る。

[0157]いくつかの例では、サーバは、メディアアプリケーションにメディアプレゼンテーションの記述を送り、ここにおいて、記述は、出力レイヤセットおよび／または出力動作点に関する情報を含み、メディアアプリケーションは、記述を構文解析し、次いで、出力動作点および／または出力レイヤセットのうちの１つを選択する。次いで、メディアアプリケーションは、サーバに出力動作点および／または出力レイヤセットの選択を伝える。次いで、サーバは、選択された出力動作点および／または出力レイヤセットを、出力レイヤセットのリストのターゲット出力レイヤセットのインデックスに変換し、次いで、サーバは、インデックスをビデオ復号器に配信する。

[0158]上記の例は、メディアアプリケーションが出力動作点および／または出力レイヤセットのうちの１つを選択することについて述べたが、いくつかの例では、この選択は、宛先デバイス１４内の他の構成要素との何らかの他の能力／メッセージ交換によって決定され得る。

[0159]他の例では、サーバは、メディアアプリケーションにメディアプレゼンテーションの記述を送り、ここにおいて、記述は、情報および出力レイヤセットおよび／または出力動作点を含み、メディアアプリケーションは、記述を構文解析し、出力動作点および／または出力レイヤセットのうちの１つを選択する。次いで、メディアアプリケーションは、選択された出力動作点および／または出力レイヤセットを、出力レイヤセットのリストのターゲット出力レイヤセットのインデックスに変換する。次いで、メディアアプリケーションは、ビデオ復号器にインデックスを送る。

[0160]上記で説明したように、いくつかの例では、インデックスは、宛先デバイスからの特定の要求に基づいてサーバデバイス／ソースデバイスによって決定され、他の例では、インデックスは、サーバデバイス／ソースデバイスから宛先デバイスによって受信されるマニフェストファイルに基づいて、クライアントアプリケーションおよび／または宛先デバイスの１つまたは複数の他の構成要素によって決定される。

[0161]出力レイヤセットのリストは、リストである。リストは、同時に出力され得るレイヤのグループの有効な置換ごとの別個の要素を有する、同時に出力され得るレイヤのグループのすべての有効な置換の指示を要素として含む。いくつかの例では、レイヤセットは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値によって識別され、ここにおいて、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は、各レイヤが一意のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する非負整数である。たとえば、０、１および２のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有する、３つのレイヤを有するビットストリームがあると仮定する。レイヤのいずれかを単独で出力する、またはレイヤ０とレイヤ１の両方を出力する、またはレイヤ１とレイヤ２の両方を出力することができるとさらに仮定する。このケースでは、出力レイヤセットのリストが、レイヤ０を唯一の出力レイヤとして識別するもの、レイヤ１を唯一の出力レイヤとして識別するもの、レイヤ２を唯一の出力レイヤとして識別するもの、レイヤ０とレイヤ１とを出力レイヤとして識別するもの、およびレイヤ０とレイヤ２とを出力レイヤとして識別するものの、５つの要素を含むことになる。しかしながら、リストの各要素は、対応するレイヤセットに関する情報も含む。

[0162]より具体的には、いくつかの例では、出力レイヤリストにおける各要素は、その出力レイヤセットに対応するレイヤセットのインデックスも含む。前に説明したように、出力レイヤセット自体は、出力されるべきレイヤを識別する。レイヤセットは、復号されるべきレイヤを識別する。出力されるあらゆるレイヤは復号されなければならないが、復号されるが、出力されないレイヤがあり得る。出力レイヤセットは、出力されるべきレイヤを識別し、たとえば、対応するレイヤセットのインデックスを含むなど、何らかの方法で対応するレイヤセットも識別する。対応するレイヤセットは、復号されるべきレイヤを識別する。出力されるべきレイヤは、復号されるべきレイヤのサブセットである。たとえば、いくつかの場合には、拡張レイヤはベースレイヤに依存し得るので、ベースレイヤを復号することなく、拡張レイヤを復号することができない場合がある。

[0163]出力レイヤセットのリストが、レイヤ０を唯一の出力レイヤとして識別するもの、レイヤ１を唯一の出力レイヤとして識別するもの、レイヤ２を唯一の出力レイヤとして識別するもの、レイヤ０とレイヤ１とを出力レイヤとして識別するもの、およびレイヤ０とレイヤ２とを出力レイヤとして識別するものの、５つの要素を含む前の例をとる。レイヤ１またはレイヤ２を復号するために、レイヤ０が復号されなければならないと仮定する。この例では、出力レイヤセットは、レイヤ０を唯一の出力レイヤとして識別し、レイヤ０を復号されるべき唯一のレイヤとして識別する対応するレイヤセットのインデックスを含むもの、レイヤ１を唯一の出力レイヤとして識別し、レイヤ０とレイヤ１とを復号されるべきレイヤとして識別する対応するレイヤセットのインデックスを含むもの、レイヤ２を唯一の出力レイヤとして識別し、レイヤ０とレイヤ２とを復号されるべきレイヤとして識別する対応するレイヤセットのインデックスを含むもの、レイヤ０とレイヤ１を出力レイヤとして識別し、レイヤ０とレイヤ１とを復号されるべきレイヤとして識別する対応するレイヤセットのインデックスを含むもの、およびレイヤ０とレイヤ２を出力レイヤとして識別し、レイヤ０とレイヤ２とを復号されるべきレイヤとして識別する対応するレイヤセットのインデックスを含むものの、５つの要素を含む。

[0164]ソースデバイスは、クライアントデバイスにビットストリームを送り、クライアントデバイスのメディアアプリケーションは、ビットストリーム、出力レイヤセットのリスト、および出力レイヤセットのリストのターゲット出力レイヤセットのインデックスに基づいてサブビットストリームをビットストリームから抽出することができる。サブビットストリーム抽出では、どのレイヤが復号されるべきか、どのレイヤが出力されないかが関連するが、説明したように、出力レイヤセットのリストのインデックスおよび出力レイヤセットのリストも、復号されるべきレイヤを導出するために使用される。復号されるべきレイヤは、サブビットストリーム抽出プロセスに関連する。抽出されたサブビットストリーム、出力レイヤセットのリスト、最上位ｔｅｍｐｏｒａｌＩＤ、および出力レイヤセットのリストのターゲット出力レイヤセットのインデックスは、抽出されたサブビットストリームを復号するために復号器に送られる。

[0165]これらの例では、復号器は、本質的に以下の情報、抽出されたサブビットストリーム、どのレイヤが復号されるべきか、どのフレームレートが復号されるべきか、およびどのレイヤが出力されるべきかを必要とする。いくつかの例では、それに応じてソースデバイスが復号器にビットストリーム、出力レイヤセットのリスト、最上位ＴｅｍｐｏｒａｌＩＤ（どのフレームレートが復号されるべきかを示す）、および出力レイヤセットのインデックス（出力レイヤセットのリストと連携して、どの出力レイヤが出力されるべきかを示し、リストがそのインデックスも含む出力レイヤセットに対応するレイヤセットを介して、どのレイヤが復号されるべきかを示す）を送る。いくつかの例では、出力レイヤのリストは、ビットストリーム自体のＶＰＳに含まれ、一方、出力レイヤセットのインデックスおよび最上位ｔｅｍｐｏｒａｌＩＤは、上記のように、たとえばトランスポートレイヤを介するなど、何らかの他の方法で復号器に送られる。

[0166]いくつかの例では、ソースデバイスは、ビットストリームのＶＰＳにおいて、および／またはトランスポートレイヤもしくは何らかの他の手段を介して、選択された出力動作点のための１つまたは複数のシンタックス要素を送る。１つまたは複数のシンタックス要素は、ターゲット出力ビューの１つまたは複数の識別子、従属するビューの１つまたは複数の識別子、および最も低い適用可能な最上位ｔｅｍｐｏｒａｌＩＤを含み得る。

[0167]図９は、ビデオデータを復号する例示的なプロセス（９９５）を示すフローチャートである。いくつかの例では、図９のプロセスは、たとえば図５のビデオ復号器３０によって実行され得る。開始ブロックの後、プロセスは、ブロック９９６に進み、ここにおいて、出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスが受信される。次いで、プロセスは、ブロック９９７に移動し、ここにおいて、少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤが、インデックスに基づいて決定される。次いで、プロセスは、ブロック９９８に進み、ここにおいて、少なくともターゲット出力レイヤが復号される。次いで、プロセスは、ブロック９９９に進み、ここにおいて、出力のターゲットにされないレイヤを出力することなく、復号されたターゲット出力レイヤが出力される。次いで、プロセスは戻りブロックに移動し、ここにおいて、他の処理が再開される。

[0168]上記で説明したように、いくつかの例では、ビデオ復号器は、ソースデバイスおよび／またはメディアアプリケーションから、抽出されたサブビットストリーム、出力レイヤセットのリスト、最上位ＴｅｍｐｏｒａｌＩＤ（どのフレームレートが復号されるべきかを示す）、および出力レイヤセットのインデックス（出力レイヤセットのリストと連携して、どの出力レイヤが出力されるべきかを示し、リストがそのインデックスも含む出力レイヤセットに対応するレイヤセットを介して、どのレイヤが復号されるべきかを示す）を受信する。

[0169]出力レイヤセットのリストのターゲット出力セットのインデックスは、ビットストリーム抽出プロセスのための１つまたは複数のレイヤ識別子リストを生成するために使用され得る。出力レイヤセットのリストのターゲット出力レイヤセットのインデックスは、ターゲット出力レイヤセットのための対応するレイヤセットを識別するためにも使用され得、ここにおいて、対応するレイヤセットは、復号されるべきレイヤのセットを識別する。ターゲット出力レイヤセット自体は、復号されたレイヤのうちどれが出力されるべきかを識別するために使用され得る。最上位ｔｅｍｐｏｒａｌＩＤは、復号すべきフレームレートを決定するために使用され得る。復号されるが、出力のターゲットにされるレイヤのセットに含まれない任意のレイヤは、出力されるのではなく、代わりに破棄される。出力されるべきレイヤのセットにおけるレイヤは、出力のターゲットにされないレイヤを出力することなく出力される。

[0170]いくつかの例では、各出力動作点は、ＯｐｔＬａｙｅｒＩｄＬｉｓｔとして示される、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順の、出力されるべきすべてのピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストと、出力動作点に含まれるすべてのＮＡＬユニットの最上位ｔｅｍｐｏｒａｌＩＤに等しい変数ＯｐＴｉｄとによって識別される。いくつかの例では、ＯｐＬａｙｅｒＩｄＬｉｓｔとして示される、リストＯｐｔＬａｙｅｒＩｄＬｉｓｔに関連したレイヤ識別子リストは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順の、出力動作点に含まれるすべてのＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストから成る。いくつかの例では、ＯｐＬａｙｅｒＩｄＬｉｓｔおよびＯｐＴｉｄによって識別される出力動作点に関連したビットストリームサブセットは、入力としてのビットストリーム、ＯｐＴｉｄに等しいターゲット最上位ｔｅｍｐｏｒａｌＩＤ、およびＯｐＬａｙｅｒＩｄＬｉｓｔに等しいターゲットレイヤ識別子リストを用いたサブビットストリーム抽出プロセスの出力である。出力動作点を識別するＯｐＬａｙｅｒＩｄＬｉｓｔおよびＯｐＴｉｄは、それぞれ、出力動作点に関連するＯｐＬａｙｅｒＩｄＬｉｓｔおよびＯｐＴｉｄとも呼ばれ得る。

[0171]メディアアプリケーション１２４およびビデオ復号器３０がいくつかの例に従って使用し得る一般の復号プロセスは、次のように提供される。このプロセスへの入力は、ビットストリームである。このプロセスの出力は、復号されたピクチャのリストである。

[0172]いくつかの例では、変数ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、メディアアプリケーション１２４によって導出され得る。他の例では、変数ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、ビデオ復号器３０によって導出され得る。ＶＰＳによって指定された出力レイヤセットのリストのインデックスを指定する変数ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、次のように指定される。
− 本明細書において指定されていない何らかの外部手段が、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘを設定するために利用可能である場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、外部手段によって設定される。
− それ以外の場合、復号プロセスが、Ｃ．１項に指定されたように、ビットストリームコンフォーマンステストで呼び出される場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは、Ｃ．１項に指定されたように設定される。
− それ以外の場合、ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘは０に等しくなるように設定される。

[0173]「Ｃ．１項」は、ＨＥＶＣ ＷＤ１０のＣ．１項を指し、「Ｃ．１項」の内容も後述する。いくつかの例では、復号器は、復号プロセスを実行するだけでなく、ビットストリームが準拠しているかどうかもテストする。Ｃ．１項は、ビットストリームが準拠しているかどうかをテストする方法について述べる。Ｃ．１項のコンフォーマンステストは、可能な出力レイヤセットのすべてが制約のすべてを満たすかどうかを決定することを含む。Ｃ．１項および以下でより詳細に説明するように、Ｃ．１項によるコンフォーマンステストのために、各出力レイヤセットは、ビットストリームが復号可能であるかどうかを決定するために、連続的にテストされる。

[0174]いくつかの例では、出力されるべきピクチャの、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順の、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するレイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、および復号されるべきＮＡＬユニットの、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順の、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定するレイヤ識別子リストＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは、次のように指定される。

[0175]いくつかの例では、このアルゴリズムは、出力されるべきｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むレイヤ識別子リスト（このリストはＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔという名前である）と、可能なｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の各々を連続的に通過することによって、復号されるべきｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含むレイヤ識別子リスト（このリストはＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔという名前である）とを使用することによって、復号されるべきレイヤと、出力されるべきレイヤとを決定するために使用される。このようにして、このアルゴリズムは、出力レイヤセットのリストのターゲット出力レイヤセットへのインデックスを、ビットストリームが使用できる何かに変換する。このアルゴリズムは、いくつかの例では、メディアアプリケーション１２４によって、他の例では、ビデオ復号器３０によって実行され得る。

[0176]いくつかの例では、復号されるべき最も高い時間的サブレイヤを識別する変数ＨｉｇｈｅｓｔＴｉｄは、次のように指定される。
− 本明細書において指定されていない何らかの外部手段が、ＨｉｇｈｅｓｔＴｉｄを設定するために利用可能である場合、ＨｉｇｈｅｓｔＴｉｄは、外部手段によって設定される。
− それ以外の場合、復号プロセスが、Ｃ．１項に指定されたように、ビットストリームコンフォーマンステストで呼び出される場合、ＨｉｇｈｅｓｔＴｉｄは、Ｃ．１項に指定されたように設定される。
− それ以外の場合、ＨｉｇｈｅｓｔＴｉｄは、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に等しくなるように設定される。

[0177]いくつかの例では、サブビットストリーム抽出プロセスは、ビットストリーム、ＨｉｇｈｅｓｔＴｉｄ、およびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔが入力として適用され、出力は、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅと呼ばれるビットストリームに割り当てられる。いくつかの例では、サブビットストリーム抽出プロセスは、ビットストリーム、ＨｉｇｈｅｓｔＴｉｄおよびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔを入力として受信し、次いで、復号するためにビデオ復号器３０に送られるサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅを出力する、図７のメディアアプリケーション１２４によって実行される。他の例では、ビデオ復号器３０自体は、サブビットストリーム抽出を実行する。他の例では、ソースデバイス１０は、サブビットストリーム抽出を実行し、宛先デバイス１４に抽出されたサブビットストリームを送る。他の例では、何らかの他の構成要素、たとえばアップストリームメディアアウェアネットワーク要素（ＭＡＮＥ）は、サブビットストリーム抽出を実行することができる。

[0178]図５のビデオ復号器３０は、以下でより詳細に説明するように、復号されたピクチャを出力するために入力された抽出されたサブビットストリームＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅを復号して、ビデオ復号を実行する。

[0179]いくつかの例では、復号プロセスは、すべての復号器が数値的に同一のクロッピングされた復号されたピクチャを生成するように指定される。これらの例では、（指定されるように、正しい出力順序または出力タイミングを有する）本明細書で説明するプロセスによって生成されるものに対する同一のクロッピングされた復号されたピクチャを生成する任意の復号プロセスは、本開示の復号プロセス要件に準拠する。

[0180]いくつかの例では、フラグＰｉｃＯｕｔｐｕｔＦｌａｇは、ＢｉｔＳｔｒｅａｍＴｏＤｅｃｏｄｅにおける現在のピクチャ（ＣｕｒｒＰｉｃ）が出力されるかどうかを示す。例示的なＰｉｃＯｕｔｐｕｔＦｌａｇは次のように使用され得る。現在のピクチャが出力される場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは１であり、現在のピクチャが出力されない場合、０である。たとえば、ピクチャが出力されないレイヤの一部である場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは０に設定される。復号プロセスの間の現在のピクチャＣｕｒｒＰｉｃでは、ＰｉｃＯｕｔｐｕｔＦｌａｇは、次のように設定される。
− 現在のピクチャがＲＡＳＬピクチャであり、関連のＩＲＡＰピクチャのＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しい場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは、０に等しくなるように設定される。
− それ以外の場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに存在せず、代替の出力プロセスがこの出力レイヤセットのために有効にされない場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは、０に等しくなるように設定される。
− それ以外の場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄがＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに存在せず、代替の出力プロセスがこの出力レイヤセットのために有効にされる場合、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが外部に設けられている場合、ＰｉｃＯｕｔｐｕｔＦｌａｇは、１に等しくなるように設定され、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが外部に設けられない場合、０に設定される。
−それ以外の場合、ＰｉｃＯｕｔｐｕｔＦｌａｇはｐｉｃ＿ｏｕｔｐｕｔ＿ｆｌａｇに等しくなるように設定される。

[0181]仮想参照復号器（ＨＲＤ）では、２つのタイプのＨＲＤパラメータセット（ＮＡＬ ＨＲＤパラメータおよびＶＣＬ ＨＲＤパラメータ）が使用され得る。いくつかの例では、ＨＲＤパラメータセットは、ＳＰＳシンタックス構造またはＶＰＳシンタックス構造の一部であり得るｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造を介してシグナリングされる。

[0182]表３は、例示的なビデオパラメータセットの拡張シンタックスを提供する。この例によるビデオパラメータセットの拡張シンタックスでは、変数ｎｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓは、本開示の他の場所で使用され得るグローバル変数に変更される。

[0183]前に説明したように、インデックスは、復号プロセスの間に使用されるターゲット出力レイヤのセットを定義するためだけでなく、ＤＰＢバッファのサイズを決定するためにも使用され得る。ビデオ復号器は、一度に１つのピクチャを復号すると、それらをＤＰＢに記憶し得る。どのレイヤが復号されているかと、どのレイヤが出力されているかの両方に応じて、ＤＰＢの最適サイズは、変わり得る。したがって、ＤＰＢサイズは、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスに基づいて、ビデオ復号器によって選択され得る。

[0184]上記で説明したように、いくつかの例では、復号器は、復号プロセスを実行するだけでなく、次のように、ビットストリームが準拠しているかどうかもテストする。コンフォーマンステストは、可能な出力レイヤセットのすべてが制約のすべてを満たすかどうかを決定することを含む。各出力レイヤセットは、ビットストリームが復号可能であるかどうかを決定するために、連続的にテストされる。これらの例によるこのプロセスは、以下でより詳細に説明される。

[0185]ビットストリームの準拠を調べるために、複数のテストが必要とされる場合があり、このビットストリームは、テスト中のビットストリームと呼ばれる。各テストに対して、以下のステップが、列挙される順序で適用される。
１．ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘによって識別されるターゲット出力レイヤセットと、ターゲット最上位ｔｅｍｐｏｒａｌＩＤ値、ＨｉｇｈｅｓｔＴｉｄとが選択される。ＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘの値は、両端値を含む０〜ＮｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓ−１の範囲内とする。ＨｉｇｈｅｓｔＴｉｄの値は、両端値を含む０〜ｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内になる。次いで、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔとＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔとが、式８−１に指定されるように導出される。テスト中の動作点は、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに等しいＯｐｔＬａｙｅｒＩｄＬｉｓｔと、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔに等しいＯｐＬａｙｅｒＩｄＬｉｓｔと、ＨｉｇｈｅｓｔＴｉｄに等しいＯｐＴｉｄとを有する。
２．サブビットストリーム抽出プロセスが入力としてテスト中のビットストリーム、ＨｉｇｈｅｓｔＴｉｄ、およびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔで呼び出され、出力は、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。
３．ＴａｒｇｅｔＯｐに適用可能なｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造およびｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔが、テスト中のビットストリーム中に存在するすべてのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を含む場合、アクティブＳＰＳ中の（または、本明細書では指定されない外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。そうでない場合、ＴａｒｇｅｔＯｐに適用されるアクティブＶＰＳ中の（または、本明細書では指定されない何らかの外部手段を通して与えられる）ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選択される。選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造内で、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩビットストリームである場合、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」の直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造が選択され、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされ、そうでない場合（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがタイプＩＩビットストリームである）、条件「ｉｆ（ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは０に等しくセットされる）または条件「ｉｆ（ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）」（この場合、変数ＮａｌＨｒｄＭｏｄｅＦｌａｇは１に等しくセットされる）のいずれかの直後に続くｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造が選択される。ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅがＴｙｐｅＩＩビットストリームであり、ＮａｌＨｒｄＭｏｄｅＦｌａｇが０に等しいとき、フィラーデータＮＡＬユニット以外のすべての非ＶＣＬ ＮＡＬユニット、ならびにすべてのｌｅａｄｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓ、ｚｅｒｏ＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、およびＮＡＬユニットストリームからバイトストリームを形成するｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓシンタックス要素（付属書類Ｂにおいて指定されるように）は、存在する場合、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄され、残りのビットストリームは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。
４．ＴａｒｇｅｔＯｐに適用可能なバッファリング期間ＳＥＩメッセージ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）に関連付けられたアクセスユニットが、ＨＲＤ初期化点として選択され、アクセスユニット０と呼ばれる。
５．アクセスユニット０から始まるＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセスユニットに対して、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用されるバッファリング期間ＳＥＩメッセージ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択され、アクセスユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用されるピクチャタイミングＳＥＩメッセージ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択され、ＳｕｂＰｉｃＨｒｄＦｌａｇが１に等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しいとき、アクセスユニット中の復号ユニットに関連付けられるとともにＴａｒｇｅｔＯｐに適用される復号ユニット情報ＳＥＩメッセージ（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中に存在するか、または本明細書では指定されない外部手段を通して入手可能である）が選択される。
６．ＳｃｈｅｄＳｅｌＩｄｘの値が選択される。選択されたＳｃｈｅｄＳｅｌＩｄｘは、両端値を含む０〜ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］の範囲内であるものとし、ここでｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は、上で選択されたｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（ＨｉｇｈｅｓｔＴｉｄ）シンタックス構造中に見られる。
７．アクセスユニット０中のコーディングされたピクチャが、ＣＲＡ＿ＮＵＴまたはＢＬＡ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有し、選択されたバッファリング期間補足エンハンスメント情報（ＳＥＩ）メッセージ中のｉｒａｐ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、以下のうちのいずれかが、初期ＣＰＢ除去遅延および遅延オフセットの選択のために適用される。
− ＮａｌＨｒｄＭｏｄｅＦｌａｇが１に等しい場合、選択されたバッファリング期間ＳＥＩメッセージにおける、それぞれｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｎａｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］とによって表されるデフォルトの初期ＣＰＢ除去遅延と遅延オフセットとが選択される。それ以外の場合、選択されたバッファリング期間ＳＥＩメッセージにおける、それぞれｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｖｃｌ＿ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］とによって表されるデフォルトの初期ＣＰＢ除去遅延と遅延オフセットとが選択される。変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは、１に等しくなるように設定される。
− ＮａｌＨｒｄＭｏｄｅＦｌａｇが１に等しい場合、選択されたバッファリング期間ＳＥＩメッセージにおける、それぞれｎａｌ＿ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｎａｌ＿ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］とによって表される代替の初期ＣＰＢ除去遅延と遅延オフセットとが選択される。それ以外の場合、選択されたバッファリング期間ＳＥＩメッセージにおける、それぞれｖｃｌ＿ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ［ＳｃｈｅｄＳｅｌＩｄｘ］とｖｃｌ＿ｉｎｉｔｉａｌ＿ａｌｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ［ＳｃｈｅｄＳｅｌＩｄｘ］とによって表される代替の初期ＣＰＢ除去遅延と遅延オフセットとが選択される。変数ＤｅｆａｕｌｔＩｎｉｔＣｐｂＰａｒａｍｓＦｌａｇは０に等しくなるように設定され、アクセスユニット０に関連したランダムアクセススキップリーディング（ＲＡＳＬ：random access skipped leading）アクセスユニットは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅから破棄され、残りのビットストリームは、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。
８．選択されたｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中のｓｕｂ＿ｐｉｃ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいとき、ＣＰＢは、アクセスユニットレベル（この場合、変数ＳｕｂＰｉｃＨｒｄＦｌａｇは０に等しくセットされる）またはサブピクチャレベル（この場合、変数ＳｕｂＰｉｃＨｒｄＦｌａｇは１に等しくセットされる）のいずれかで動作するようにスケジュールされる。

[0186]本開示で説明するように、「ビデオコーダ」は、概して、ビデオ符号化デバイスとビデオ復号デバイスの両方を指すのに使用され得る。加えて、「ビデオコーディング」は、ビデオ符号化またはビデオ復号を指す可能性がある。

[0187]例に応じて、本明細書に記載される技法のうちの任意のもののいくつかの振る舞いまたは事象は、異なるシーケンスで実行され得、全体的に追加、結合、または除外され得ることが、認識されるべきである（たとえば、記載される振る舞いまたは事象のすべてが、この技法の実施のために必要であるとは限らない）。その上、いくつかの例では、振る舞いまたは事象は、たとえば、マルチスレッドの処理、割込み処理、または多数のプロセッサを用いて、連続的ではなく同時に実行され得る。

[0188]１つまたは複数の例では、述べられた機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで、実施され得る。ソフトウェアで実施される場合、諸機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体を介して記憶または伝送され得、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの、有形の媒体に相当するコンピュータ可読記憶媒体、またはコンピュータプログラムの、ある場所から別の場所への、たとえば、通信プロトコルによる転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は概して、（１）非一時的である有形コンピュータ可読記憶媒体または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のために、命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことできる。本開示の例としては、実行されると、少なくとも１つのプロセッサに、たとえば本開示で説明するプロセスのうちの１つまたは複数などのプロセスを実行させる命令を記憶した非一時的コンピュータ可読記憶媒体がある。

[0189]例として、それに限定されず、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用可能であり、コンピュータによってアクセス可能な他の任意の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号または他の一時的媒体を含まないが、その代わりに、非一時的、有形記憶媒体を対象とすることを、理解されたい。本明細書で、ディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザーディスク（登録商標）（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｄｉｓｋ）およびＢｌｕ−ｒａｙディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常は、磁気的にデータを再生し、ディスク（ｄｉｓｃ）は、レーザーで光学的にデータを再生する。上述したものの組合せも、コンピュータ可読媒体の範囲の中に含められるべきである。

[0190]命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の統合された、もしくは個別の論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造または本明細書で説明する技法の実装形態に適した任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実装され得る。

[0191]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。様々な構成要素、モジュール、またはユニットが、開示された技法を実行するように構成されるデバイスの機能的態様を強調するために本開示で説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で組み合わされ、または、上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアと一緒に相互作用するハードウェアユニットの集合によって提供され得る。

[0192]様々な例が、記載された。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
ビデオビットストリームにおける出力レイヤセットのリストを受信することと、
前記出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信することと、
前記インデックスに基づいて、前記少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定することと、
前記ビデオビットストリームから少なくとも前記ターゲット出力レイヤを復号することと、
出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを出力することと
を備える、方法。
［Ｃ２］
少なくとも部分的に前記インデックスに基づいて復号ピクチャバッファ（ＤＰＢ）サイズまたはサブＤＰＢサイズを選択することをさらに備える、
Ｃ１に記載の方法。
［Ｃ３］
前記ターゲット出力レイヤセットは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のセットを含み、少なくとも前記ターゲット出力レイヤを復号することは、前記ターゲット出力レイヤセットにおける前記ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に対応するピクチャのデータを復号することを含む、
Ｃ１に記載の方法。
［Ｃ４］
前記レイヤの各々は、ビュー、画像解像度、または品質表現のうちの少なくとも１つに対応する、
Ｃ１に記載の方法。
［Ｃ５］
少なくとも前記ターゲット出力レイヤを復号することは、前記ターゲット出力レイヤを復号することを含み、前記ターゲット出力レイヤのうちの少なくとも１つは、ターゲット出力レイヤのセットに含まれない参照レイヤに依存するとき、前記参照レイヤを復号することをさらに含む、
Ｃ１に記載の方法。
［Ｃ６］
前記出力動作点をシグナリングする前記ビデオビットストリームのビデオピクチャシーケンス（ＶＰＳ）における１つまたは複数のシンタックス要素に基づいて少なくとも前記ターゲット出力レイヤを復号することをさらに備える、
Ｃ１に記載の方法。
［Ｃ７］
前記１つまたは複数のシンタックス要素は、前記出力レイヤセットのリストを含む、
Ｃ６に記載の方法。
［Ｃ８］
前記出力レイヤセットのリストは、前記出力レイヤセットのリストにおける各出力レイヤセットにおいて、前記出力レイヤセットに対応するレイヤセットの別のインデックスを含み、少なくとも前記ターゲット出力レイヤを復号することは、前記対応するレイヤセットにおける各レイヤを復号することを含む、
Ｃ１に記載の方法。
［Ｃ９］
前記対応するレイヤセットは、復号されるべき前記レイヤの各々を識別し、前記ターゲット出力レイヤセットは、出力のターゲットにされる前記レイヤの各々を識別し、出力のターゲットにされるレイヤは、復号されるべき前記レイヤのサブセットである、
Ｃ８に記載の方法。
［Ｃ１０］
前記インデックスを受信することは、トランスポートレイヤにおいて前記インデックスを受信することを含む、
Ｃ１に記載の方法。
［Ｃ１１］
前記出力レイヤセットのリストにおける前記ターゲット出力レイヤセットの前記インデックスは、前記ターゲット出力レイヤセットに関する情報を含むマニフェストファイルに関連した出力動作点のセットから選択される特定の出力動作点に関連する、
Ｃ１０に記載の方法。
［Ｃ１２］
前記マニフェストファイルは、メディアプレゼンテーション記述（ＭＰＤ）を含む、
Ｃ１１に記載の方法。
［Ｃ１３］
前記マニフェストファイルが、セッション記述プロトコル（ＳＤＰ）メッセージを含む、Ｃ１１に記載の方法。
［Ｃ１４］
トランスポートストリームは、動的適応ストリーミングオーバーハイパーテキストトランスファープロトコル（ＨＴＴＰ）（ＤＡＳＨ）、リアルタイムトランスポートプロトコル（ＲＴＰ）、またはリアルタイムストリーミングプロトコル（ＲＴＳＰ）のうちの１つを含む、
Ｃ１１に記載の方法。
［Ｃ１５］
ビデオデータを復号するためのデバイスであって、
データを記憶するように構成されるメモリと、
前記メモリと通信する１つまたは複数のプロセッサと
を備え、前記プロセッサは、
ビデオビットストリームから前記ビデオビットストリームにおける出力レイヤセットのリストを受信することと、
前記出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信することと、
前記インデックスに基づいて、前記少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定することと、
少なくとも前記ターゲット出力レイヤを復号することと、
出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを出力することと
を行うように構成される、デバイス。
［Ｃ１６］
前記デバイスは、
集積回路、
マイクロプロセッサ、または
ワイヤレス通信デバイス
のうちの少なくとも１つを備える、Ｃ１５に記載のデバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサは、
少なくとも部分的に前記インデックスに基づいて復号ピクチャバッファ（ＤＰＢ）サイズまたはサブＤＰＢサイズを選択することを行うようにさらに構成される、
Ｃ１５に記載のデバイス。
［Ｃ１８］
前記ターゲット出力レイヤセットは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のセットを含み、少なくとも前記ターゲット出力レイヤを復号することは、前記ターゲット出力レイヤセットにおける前記ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に対応するピクチャのデータを復号することを含む、
Ｃ１５に記載のデバイス。
［Ｃ１９］
前記レイヤの各々は、ビュー、または画像解像度のうちの少なくとも１つに対応する、
Ｃ１５に記載のデバイス。
［Ｃ２０］
少なくとも前記ターゲット出力レイヤを復号することは、前記ターゲット出力レイヤを復号することを含み、前記ターゲット出力レイヤのうちの少なくとも１つが前記ターゲット出力レイヤのセットに含まれない参照レイヤに依存するとき、前記参照レイヤを復号することをさらに含む、
Ｃ１５に記載のデバイス。
［Ｃ２１］
前記１つまたは複数のプロセッサは、
出力動作点をシグナリングする前記ビデオビットストリームのビデオピクチャシーケンス（ＶＰＳ）における１つまたは複数のシンタックス要素に基づいて前記出力動作点を抽出することをようにさらに構成される、
Ｃ１５に記載のデバイス。
［Ｃ２２］
前記１つまたは複数のシンタックス要素は、前記出力レイヤセットのリストを含む、
Ｃ２１に記載のデバイス。
［Ｃ２３］
前記出力レイヤセットのリストは、前記出力レイヤセットのリストにおける各出力レイヤセットにおいて、前記出力レイヤセットに対応するレイヤセットの別のインデックスを含み、少なくとも前記ターゲット出力レイヤを復号することは、前記対応するレイヤセットにおける各レイヤを復号することを含む、
Ｃ２１に記載のデバイス。
［Ｃ２４］
前記対応するレイヤセットは、復号されるべき前記レイヤの各々を識別し、前記ターゲット出力レイヤセットは、出力のターゲットにされる前記レイヤの各々を識別し、出力のターゲットにされるレイヤは、復号されるべき前記レイヤのサブセットである、
Ｃ２３に記載のデバイス。
［Ｃ２５］
実行されると、少なくとも１つのプロセッサに、
ビデオビットストリームにおける出力レイヤセットのリストを受信することと、
前記出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信することと、
前記インデックスに基づいて、前記少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定することと、
前記ビデオビットストリームから少なくとも前記ターゲット出力レイヤを復号することと、
出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを出力することと
を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。
［Ｃ２６］
ビデオデータを復号するためのデバイスであって、
ビデオビットストリームにおける出力レイヤセットのリストを受信するための手段と、
前記出力レイヤセットのリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信するための手段と、
前記インデックスに基づいて、前記少なくとも１つのターゲット出力レイヤセットにおけるターゲット出力レイヤを決定するための手段と、
前記ビデオビットストリームから少なくとも前記ターゲット出力レイヤを復号するための手段と、
出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを出力するための手段と
を備える、デバイス。
［Ｃ２７］
ビデオデータを処理するための方法であって、
出力のターゲットにされるレイヤのセットを決定することと、
ターゲット出力レイヤセットが出力のターゲットにされる前記決定されたレイヤのセットを識別するように、出力レイヤセットのリストにおける前記ターゲット出力レイヤセットのインデックスを決定することと、
ビデオ復号器に前記インデックスを送ることと
を備える、方法。
［Ｃ２８］
少なくとも１つの出力動作点は、前記ターゲット出力レイヤセットに関連する、
Ｃ２７に記載の方法。
［Ｃ２９］
前記ターゲット出力レイヤセットは、前記ターゲット出力レイヤセットに関連した出力されるべき各ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のセットによって識別される、
Ｃ２７に記載の方法。
［Ｃ３０］
前記インデックスを受信するために使用されるトランスポートレイヤがセッション記述プロトコル（ＳＤＰ）に準拠するとき、前記インデックスは、受信デバイスによって選択されるビデオデータのビューを含む符号化されたビットストリーム、出力レイヤセットの記述、および時間的サブセットに基づく動作点に基づいて、前記受信デバイスによって決定されている、
Ｃ２７に記載の方法。
［Ｃ３１］
動作点情報を伝えることと、
前記動作点情報を伝えた後、出力動作点の選択を受信することと、
少なくとも部分的に、前記出力動作点の前記選択に基づいて、出力のターゲットにされる前記レイヤのセットを決定することと
をさらに備える、Ｃ２７に記載の方法。
［Ｃ３２］
ビデオデータを処理するためのデバイスであって、
データを記憶するように構成されるメモリと、
前記メモリと通信する少なくとも１つのプロセッサと
を備え、前記プロセッサは、
出力のリストにおける少なくとも１つのターゲット出力レイヤセットのインデックスを受信することと、
出力のターゲットにされるレイヤのセットを決定することと、
前記ターゲット出力レイヤセットが出力のターゲットにされる前記決定されたレイヤのセットを識別するように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを決定することと、
ビデオ復号器に前記インデックスを送ることと
を行うように構成される、デバイス。
［Ｃ３３］
実行されると、少なくとも１つのプロセッサに、
出力のターゲットにされるレイヤのセットを決定することと、
前記ターゲット出力レイヤセットが出力のターゲットにされる前記決定されたレイヤのセットを識別するように、出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを決定することと、
ビデオ復号器に前記インデックスを送ることと
を行わせる命令を記憶した、非一時的コンピュータ可読記憶媒体。

Claims (15)

1. ビデオデータを復号する方法であって、
   ビデオビットストリームにおける出力レイヤセットのリストを復号器が受信することと、
   前記出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを前記ビデオビットストリームとは異なる信号において前記復号器が受信すること、ここにおいて、前記出力レイヤセットのリストは、前記出力レイヤセットのリストにおける各出力レイヤセットにおいて、前記出力レイヤセットに対応するレイヤセットのインデックスを含み、前記出力レイヤセットに対応するレイヤセットのインデックスは、前記ターゲット出力レイヤセットのインデックスとは別のインデックスである、と、
   前記インデックスに基づいて、前記ターゲット出力レイヤセットにおけるターゲット出力レイヤを前記復号器が決定することと、
   前記ターゲット出力レイヤセットに対応するレイヤセットを前記受信されたインデックスを使用して前記復号器が識別することと、
   前記対応するレイヤセットにおける各レイヤを前記ビデオビットストリームから前記復号器が復号すること、ここにおいて、前記対応するレイヤセットは、復号されるべき前記レイヤの各々を識別し、前記ターゲット出力レイヤセットは、出力のターゲットにされる前記レイヤの各々を識別し、出力のターゲットにされるレイヤは、復号されるべき前記レイヤのサブセットである、と、
   出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを前記復号器が出力することと、
   少なくとも部分的に前記インデックスに基づいて復号ピクチャバッファ（ＤＰＢ）サイズまたはサブＤＰＢサイズを前記復号器が選択すること
   を備える、方法。
2. 前記ターゲット出力レイヤセットは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のセットを含み、少なくとも前記ターゲット出力レイヤを復号することは、前記ターゲット出力レイヤセットにおける前記ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に対応するピクチャのデータを復号することを含む、
   請求項１に記載の方法。
3. 前記レイヤの各々は、ビュー、画像解像度、または品質表現のうちの少なくとも１つに対応する、
   請求項１に記載の方法。
4. 出力動作点をシグナリングする前記ビデオビットストリームのビデオピクチャシーケンス（ＶＰＳ）における１つまたは複数のシンタックス要素に基づいて少なくとも前記ターゲット出力レイヤを復号することをさらに備える、
   請求項１に記載の方法。
5. 前記１つまたは複数のシンタックス要素は、前記出力レイヤセットのリストを含む、
   請求項４に記載の方法。
6. 前記インデックスを受信することは、トランスポートレイヤにおいて前記インデックスを受信することを含む、
   請求項１に記載の方法。
7. 前記出力レイヤセットのリストにおける前記ターゲット出力レイヤセットの前記インデックスは、前記ターゲット出力レイヤセットに関する情報を含むマニフェストファイルに関連した出力動作点のセットから選択される特定の出力動作点に関連する、
   請求項６に記載の方法。
8. 前記マニフェストファイルは、メディアプレゼンテーション記述（ＭＰＤ）または、セッション記述プロトコル（ＳＤＰ）メッセージを含む、請求項７に記載の方法。
9. 前記トランスポートストリームは、動的適応ストリーミングオーバーハイパーテキストトランスファープロトコル（ＤＡＳＨ）、リアルタイムトランスポートプロトコル（ＲＴＰ）、またはリアルタイムストリーミングプロトコル（ＲＴＳＰ）のうちの１つを含む、
   請求項７に記載の方法。
10. ビデオ復号器であって、
    ビデオビットストリームにおける出力レイヤセットのリストを受信するための手段と、
    前記出力レイヤセットのリストにおけるターゲット出力レイヤセットのインデックスを前記ビデオビットストリームとは異なる信号において受信するための手段、ここにおいて、前記出力レイヤセットのリストは、前記出力レイヤセットのリストにおける各出力レイヤセットにおいて、前記出力レイヤセットに対応するレイヤセットのインデックスを含み、前記出力レイヤセットに対応するレイヤセットのインデックスは、前記ターゲット出力レイヤセットのインデックスとは別のインデックスである、と、
    前記インデックスに基づいて、前記ターゲット出力レイヤセットにおけるターゲット出力レイヤを決定するための手段と、
    前記ターゲット出力レイヤセットに対応するレイヤセットを前記受信されたインデックスを使用して識別するための手段と、
    前記対応するレイヤセットにおける各レイヤを前記ビデオビットストリームから復号するための手段、ここにおいて、前記対応するレイヤセットは、復号されるべき前記レイヤの各々を識別し、前記ターゲット出力レイヤセットは、出力のターゲットにされる前記レイヤの各々を識別し、出力のターゲットにされるレイヤは、復号されるべき前記レイヤのサブセットである、と、
    出力のターゲットにされないレイヤを出力することなく、前記復号されたターゲット出力レイヤを出力するための手段と、
    少なくとも部分的に前記インデックスに基づいて復号ピクチャバッファ（ＤＰＢ）サイズまたはサブＤＰＢサイズを選択するための手段と
    を備える、ビデオ復号器。
11. ビデオデータを処理するための方法であって、
    ビデオビットストリームにおける出力レイヤセットのリストをビデオ復号器に送信することと、
    出力のターゲットにされる前記ビデオビットストリームのレイヤのセットを決定することと、
    ターゲット出力レイヤセットが出力のターゲットにされる前記決定されたレイヤのセットを識別する、および前記ターゲット出力レイヤセットに対応するレイヤセットをさらに識別するように、前記出力レイヤセットのリストにおける前記ターゲット出力レイヤセットのインデックスを決定すること、ここにおいて、前記出力レイヤセットのリストは、前記出力レイヤセットのリストにおける各出力レイヤセットにおいて、前記出力レイヤセットに対応するレイヤセットのインデックスを含み、前記出力レイヤセットに対応するレイヤセットのインデックスは、前記ターゲット出力レイヤセットのインデックスとは別のインデックスである、と、
    前記ビデオ復号器に前記インデックスを前記ビデオビットストリームとは異なる信号において送ることと
    を備える、方法。
12. 少なくとも１つの出力動作点は、前記ターゲット出力レイヤセットに関連する、
    請求項１１に記載の方法。
13. 前記インデックスを受信するために使用されるトランスポートレイヤがセッション記述プロトコル（ＳＤＰ）に準拠するとき、前記インデックスは、受信デバイスによって選択されるビデオデータのビューを含む符号化された前記ビデオビットストリーム、前記出力レイヤセットの記述、および時間的サブセットに基づく動作点に基づいて、前記受信デバイスによって決定され、前記レイヤのセットの各々は、前記ビューに対応する、、
    請求項１１に記載の方法。
14. 動作点情報を伝えることと、
    前記動作点情報を伝えた後、出力動作点の選択を受信することと、
    少なくとも部分的に、前記出力動作点の前記選択に基づいて、出力のターゲットにされる前記レイヤのセットを決定することと
    をさらに備える、請求項１１に記載の方法。
15. 実行されると、少なくとも１つのプロセッサに、請求項１乃至９、または請求項１１乃至１４のいずれか１項に記載の方法を実行させる命令を記憶した、非一時的コンピュータ可読記憶媒体。