JP2024041890A - Ｏｌｓのためのスケーラブルネスティングｓｅｉメッセージ - Google Patents

Abstract

【課題】マルチレイヤビットストリームにおける出力レイヤセット（ＯＬＳ）へのエンコードレイヤを支持するために使用されるスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを提供する。【解決手段】ビデオデコーダは、１つまたは複数のレイヤ及びスケーラブルネスティングＳＥＩメッセージ７１９を含むビットストリーム７００を受信する。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージと、スケーラブルネスティングＯＬＳフラグとを含む。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳに適用されるか又は特定のレイヤに適用されるかを指定するセットである。コーディングされたピクチャは、デコードされたピクチャを生成するために１つ又は複数のレイヤからデコードされる。【選択図】図７

Description

関連出願の相互参照
本特許出願は、参照により本明細書に組み込まれる、Ｙｅ－Ｋｕｉ Ｗａｎｇによって２０１９年９月２４日に出願され、「Ｓｃａｌａｂｌｅ Ｎｅｓｔｉｎｇ ｏｆ ＳＥＩ Ｍｅｓｓａｇｅｓ ｆｏｒ Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔｓ」と題する、米国仮特許出願第６２／９０５，１４３号の利益を主張する。

本開示は、一般に、ビデオコーディングに関し、具体的には、マルチレイヤビットストリームにおける出力レイヤセット（ＯＬＳ）へのエンコードレイヤを支持するために使用されるスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージに関する。

比較的短いビデオであっても描写するのに必要なビデオデータの量は、かなり多くなる可能性があり、これは、データが限られた帯域幅容量を有する通信ネットワークを介してストリーミングまたは通信される場合に困難をもたらす可能性がある。したがって、ビデオデータは、一般に、今日の電気通信ネットワークを介して通信される前に圧縮される。メモリリソースが制限される可能性があるため、ビデオが記憶デバイスに記憶される場合、ビデオのサイズも問題になる可能性がある。ビデオ圧縮デバイスは、送信または記憶の前にビデオデータをコーディングするためにソースでソフトウェアおよび／またはハードウェアを使用することが多く、それによって、デジタルビデオ画像を表すために必要なデータの量を減少させる。次いで、圧縮データは、ビデオデータをデコードするビデオ解凍デバイスによって宛先で受信される。ネットワークリソースが限られており、高いビデオ品質への要求がますます高まっているため、画質をほとんどまたはまったく犠牲にすることなく圧縮率を改善する、改善された圧縮および解凍技術が望ましい。

一実施形態では、本開示は、デコーダによって実装される方法であって、デコーダの受信機によって、１つまたは複数のレイヤおよびスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを含むビットストリームを受信する段階であって、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、受信する段階と、デコーダのプロセッサによって、スケーラブルネスティングされたＳＥＩメッセージに基づいて、１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成する段階と、を含む、方法を含む。

いくつかのビデオコーディングシステムは、ＳＥＩメッセージを使用する。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準に適合しているかどうかについてビットストリームをチェックするために使用されるパラメータを含み得る。仮想参照デコーダ（ＨＲＤ）は、標準適合性についてビットストリームをチェックする方法を決定するためにＳＥＩメッセージを読み取り得る。このようなシステムは、レイヤに関連するデータと、レイヤを含むＯＬＳに関連するデータとのために、別々のタイプのＳＥＩメッセージを使用し得る。これは、複雑かつ冗長なシステムをもたらす場合がある。本例は、レイヤまたはＯＬＳのいずれかに関連するパラメータを含むように構成されたスケーラブルネスティングＳＥＩメッセージを含む。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含み得、これは、スケーラブルネスティングＳＥＩメッセージがレイヤに関連するパラメータを含む、またはＯＬＳに関連するパラメータを含むかどうかを示すように設定され得る。スケーラブルネスティングＳＥＩメッセージはまた、レイヤまたはＯＬＳに関連する１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージがＯＬＳに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたＯＬＳの数を指示するフラグと、ＯＬＳをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのＯＬＳインデックスを指示するフラグとを含む。スケーラブルネスティングＳＥＩメッセージがレイヤに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたレイヤの数を指示するフラグと、レイヤをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのレイヤ識別子（ＩＤ）を指示するフラグとを含む。このようにして、ＳＥＩメッセージタイプの数を低減することができ、これは複雑度を減少させ、メッセージタイプの総数を減少させる。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定する場合、１に設定され、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定する場合、０に設定されることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報であるＳＥＩメッセージを含む場合、スケーラブルネスティングＯＬＳフラグが、１に設定されることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に設定される場合、ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素が、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値が、０～ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）－１（両端を含む）の範囲内にあることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用されるスケーラブルネスティングＯＬＳデルタから１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）のシンタックス要素を含み、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値が、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）までの範囲内にあることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、以下のようにＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出する段階をさらに含むことを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが０に設定される場合、レイヤのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素が、スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定することを提供する。

一実施形態では、本開示は、エンコーダによって実装される方法であって、エンコーダのプロセッサによって、１つまたは複数のレイヤを含むビットストリームをエンコードする段階と、プロセッサによって、スケーラブルネスティングＳＥＩメッセージをビットストリームにエンコードする段階であって、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティングＯＬＳフラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、エンコードする段階と、プロセッサによって、スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行する段階と、プロセッサに結合されたメモリによって、デコーダに向けて通信するためのビットストリームを記憶する段階と、を含む、方法を含む。

いくつかのビデオコーディングシステムは、ＳＥＩメッセージを使用する。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準に適合しているかどうかについてビットストリームをチェックするために使用されるパラメータを含み得る。ＨＲＤは、標準適合性についてビットストリームをチェックする方法を決定するためにＳＥＩメッセージを読み取り得る。このようなシステムは、レイヤに関連するデータと、レイヤを含むＯＬＳに関連するデータとのために、別々のタイプのＳＥＩメッセージを使用し得る。これは、複雑かつ冗長なシステムをもたらす場合がある。本例は、レイヤまたはＯＬＳのいずれかに関連するパラメータを含むように構成されたスケーラブルネスティングＳＥＩメッセージを含む。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含み得、これは、スケーラブルネスティングＳＥＩメッセージがレイヤに関連するパラメータを含む、またはＯＬＳに関連するパラメータを含むかどうかを示すように設定され得る。スケーラブルネスティングＳＥＩメッセージはまた、レイヤまたはＯＬＳに関連する１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージがＯＬＳに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたＯＬＳの数を指示するフラグと、ＯＬＳをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのＯＬＳインデックスを指示するフラグとを含む。スケーラブルネスティングＳＥＩメッセージがレイヤに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたレイヤの数を指示するフラグと、レイヤをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのレイヤＩＤを指示するフラグとを含む。このようにして、ＳＥＩメッセージタイプの数を低減することができ、これは複雑度を減少させ、メッセージタイプの総数を減少させる。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定する場合、１に設定され、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定する場合、０に設定されることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報であるＳＥＩメッセージを含む場合、スケーラブルネスティングＯＬＳフラグが、１に設定されることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に設定される場合、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素を含み、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素が、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定し、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値が、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内にあることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが１に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用されるスケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］のシンタックス要素を含み、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値が、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）までの範囲内にあることを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、以下のようにＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出する段階をさらに含むことを提供する。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、スケーラブルネスティングＳＥＩメッセージが、スケーラブルネスティングＯＬＳフラグが０に設定される場合、スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１のシンタックス要素を含み、スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素が、スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定することを提供する。

一実施形態では、本開示は、プロセッサと、プロセッサに結合された受信機と、プロセッサに結合されたメモリと、プロセッサに結合された送信機とを備え、プロセッサ、受信機、メモリ、および送信機は、前述の態様のいずれかに記載の方法を実行するように構成される、ビデオコーディングデバイスを含む。

一実施形態では、本開示は、ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、プロセッサによって実行された場合、ビデオコーディングデバイスに前述の態様のいずれかに記載の方法を実行させるように、コンピュータプログラム製品は、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体を含む。

一実施形態では、本開示は、１つまたは複数のレイヤおよびスケーラブルネスティングＳＥＩメッセージを含むビットストリームを受信する受信手段であって、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティングＯＬＳフラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、受信手段と、スケーラブルネスティングされたＳＥＩメッセージに基づいて、１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成するデコード手段と、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送する転送手段とを備えるデコーダを含む。

いくつかのビデオコーディングシステムは、ＳＥＩメッセージを使用する。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準に適合しているかどうかについてビットストリームをチェックするために使用されるパラメータを含み得る。ＨＲＤは、標準適合性についてビットストリームをチェックする方法を決定するためにＳＥＩメッセージを読み取り得る。このようなシステムは、レイヤに関連するデータと、レイヤを含むＯＬＳに関連するデータとのために、別々のタイプのＳＥＩメッセージを使用し得る。これは、複雑かつ冗長なシステムをもたらす場合がある。本例は、レイヤまたはＯＬＳのいずれかに関連するパラメータを含むように構成されたスケーラブルネスティングＳＥＩメッセージを含む。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含み得、これは、スケーラブルネスティングＳＥＩメッセージがレイヤに関連するパラメータを含む、またはＯＬＳに関連するパラメータを含むかどうかを示すように設定され得る。スケーラブルネスティングＳＥＩメッセージはまた、レイヤまたはＯＬＳに関連する１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージがＯＬＳに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたＯＬＳの数を指示するフラグと、ＯＬＳをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのＯＬＳインデックスを指示するフラグとを含む。スケーラブルネスティングＳＥＩメッセージがレイヤに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたレイヤの数を指示するフラグと、レイヤをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのレイヤＩＤを指示するフラグとを含む。このようにして、ＳＥＩメッセージタイプの数を低減することができ、これは複雑度を減少させ、メッセージタイプの総数を減少させる。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、デコーダが、前述した態様のいずれかの方法を実行するようにさらに構成されることを提供する。

一実施形態では、本開示は、エンコード手段であって、１つまたは複数のレイヤを含むビットストリームをエンコードする段階と、スケーラブルネスティングＳＥＩメッセージをビットストリームにエンコードする段階であって、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティングＯＬＳフラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、エンコードする段階と、のためのエンコード手段と、スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行するＨＲＤ手段と、デコーダに向けて通信するためのビットストリームを記憶する記憶手段と、を含む、エンコーダを含む。

いくつかのビデオコーディングシステムは、ＳＥＩメッセージを使用する。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準に適合しているかどうかについてビットストリームをチェックするために使用されるパラメータを含み得る。ＨＲＤは、標準適合性についてビットストリームをチェックする方法を決定するためにＳＥＩメッセージを読み取り得る。このようなシステムは、レイヤに関連するデータと、レイヤを含むＯＬＳに関連するデータとのために、別々のタイプのＳＥＩメッセージを使用し得る。これは、複雑かつ冗長なシステムをもたらす場合がある。本例は、レイヤまたはＯＬＳのいずれかに関連するパラメータを含むように構成されたスケーラブルネスティングＳＥＩメッセージを含む。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含み得、これは、スケーラブルネスティングＳＥＩメッセージがレイヤに関連するパラメータを含む、またはＯＬＳに関連するパラメータを含むかどうかを示すように設定され得る。スケーラブルネスティングＳＥＩメッセージはまた、レイヤまたはＯＬＳに関連する１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージを含み得る。スケーラブルネスティングＳＥＩメッセージがＯＬＳに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたＯＬＳの数を指示するフラグと、ＯＬＳをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのＯＬＳインデックスを指示するフラグとを含む。スケーラブルネスティングＳＥＩメッセージがレイヤに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたレイヤの数を指示するフラグと、レイヤをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのレイヤＩＤを指示するフラグとを含む。このようにして、ＳＥＩメッセージタイプの数を低減することができ、これは複雑度を減少させ、メッセージタイプの総数を減少させる。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

任意に、前述した態様のいずれかにおいて、態様の別の実装は、エンコーダが、前述した態様のいずれかの方法を実行するようにさらに構成されることを提供する。

明確にするために、前述の実施形態のいずれか１つを他の前述の実施形態のうちいずれか１つまたは複数と組み合わせて、本開示の範囲内の新しい実施形態を作成することができる。

これらおよび他の特徴は、添付の図面および特許請求の範囲と併せて以下の詳細な説明からより明確に理解されるであろう。

本開示をより完全に理解するために、添付の図面および詳細な説明に関連して以下の簡単な説明を参照するが、同様の参照番号は同様の部分を表す。

ビデオ信号をコーディングする例示的な方法のフローチャートである。

ビデオコーディングのための例示的なコーディングおよびデコード（コーデック）システムの概略図である。

例示的なビデオエンコーダを示す概略図である。

例示的なビデオデコーダを示す概略図である。

例示的な仮想参照デコーダ（ＨＲＤ）を示す概略図である。

レイヤ間予測のために構成された例示的なマルチレイヤビデオシーケンスを示す概略図である。

例示的なビットストリームを示す概略図である。

例示的なビデオコーディングデバイスを示す概略図である。

スケーラブルネスティングＳＥＩメッセージを含むビットストリームにビデオシーケンスをエンコードする例示的な方法のフローチャートである。

スケーラブルネスティングＳＥＩメッセージを含むビットストリームからビデオシーケンスをデコードする例示的な方法のフローチャートである。

スケーラブルネスティングＳＥＩメッセージを含むビットストリームを使用して、ビデオシーケンスをコーディングする例示的なシステムの概略図である。

最初に、１つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されたシステムおよび／または方法は、現在知られているかまたは存在しているかにかかわらず、任意の数の技術を使用して実装され得ることを理解されたい。本開示は、本明細書に示され説明される例示的な設計および実装を含む、以下に示される例示的な実装、図面、および技術に決して限定されるべきではなく、それらの均等物の全範囲と共に添付の特許請求の範囲内で修正することができる。

以下の用語は、本明細書で反対の文脈で使用されない限り、以下のように定義される。具体的には、以下の定義は、本開示をさらに明確にすることを意図している。しかしながら、用語は、異なる文脈において異なって記載され得る。したがって、以下の定義は、補足と見なされるべきであり、本明細書においてそのような用語について提供される説明の任意の他の定義を限定すると見なされるべきではない。

ビットストリームは、エンコーダとデコーダとの間の送信のために圧縮されたビデオデータを含む一連のビットである。エンコーダは、エンコード処理を使用して、ビデオデータをビットストリームに圧縮するように構成されたデバイスである。デコーダは、デコード処理を使用して、表示用のビットストリームからビデオデータを再構成するように構成されたデバイスである。ピクチャは、フレームまたはそのフィールドを生成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。説明を明確にするために、エンコードまたはデコードされているピクチャを現在のピクチャと呼ぶことができる。コーディングされたピクチャは、アクセスユニット（ＡＵ）内のＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の特定の値を有するビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを備え、ピクチャのすべてのコーディングツリーユニット（ＣＴＵ）を含むピクチャのコーディングされた表現である。デコードされたピクチャは、コーディングされたピクチャにデコード処理を適用することによって生成されたピクチャである。ＮＡＬユニットは、生バイトシーケンスペイロード（ＲＢＳＰ）、データのタイプの指示の形式のデータを含むシンタックス構造であり、エミュレーション防止バイトを用いて必要に応じて散在する。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスなどのビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。レイヤは、レイヤ識別子（ＩＤ）によって示されるように、指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）および関連付けられた非ＶＣＬ ＮＡＬユニットを共有するＶＣＬ ＮＡＬユニットのセットである。ＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）は、ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素である。ビデオパラメータセット（ＶＰＳ）は、ビデオ全体に関するパラメータを含むデータユニットである。コーディングされたビデオシーケンスは、１つまたは複数のコーディングされたピクチャのセットである。デコードされたビデオシーケンスは、１つまたは複数のデコードされたピクチャのセットである。

出力レイヤセット（ＯＬＳ）は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力（例えば、ディスプレイに）のために指定されるレイヤである。ＯＬＳインデックスは、対応するＯＬＳを一意に識別するインデックスである。仮想参照デコーダ（ＨＲＤ）は、エンコード処理によって生成されたビットストリームの変動性をチェックして指定された制約との適合性を検証するエンコーダ上で動作するデコーダモデルである。ビットストリーム適合性試験は、エンコードビットストリームが多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）などの標準に準拠しているかどうかを決定するための試験である。ＨＲＤパラメータは、ＨＲＤの動作条件を初期化および／または定義するシンタックス要素である。ＨＲＤパラメータは、補足拡張情報（ＳＥＩ）メッセージに含まれ得る。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を伝達する指定されたセマンティクスを有するシンタックス構造である。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳまたは１つもしくは複数のレイヤに対応する複数のＳＥＩメッセージを含むメッセージである。バッファリング期間（ＢＰ）ＳＥＩメッセージは、コーディングされたピクチャバッファ（ＣＰＢ）を管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＳＥＩメッセージである。ピクチャタイミング（ＰＴ）ＳＥＩメッセージは、ＣＰＢおよび／またはデコードされたピクチャバッファ（ＤＰＢ）におけるアクセスユニット（ＡＵ）のための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。デコードユニット情報（ＤＵＩ）ＳＥＩメッセージは、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＳＥＩメッセージである。

スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングされたＳＥＩメッセージのセットを含む。スケーラブルネスティングされたＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ内にネスティングされたＳＥＩメッセージである。フラグは、２つの可能な値：０および１のうちの１つをとることができる変数またはシングルビットシンタックス要素である。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するフラグである。ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定するシンタックス要素である。ＯＬＳの総数から１を引いた数（ＴｏｔａｌＮｕｍＯｌｓｓ－１）は、ＶＰＳで指定されたＯＬＳの総数を指定するシンタックス要素である。スケーラブルネスティングＯＬＳデルタから１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）は、ネスティングＯＬＳインデックスを導出するのに十分なデータを含むシンタックス要素である。ネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳのＯＬＳインデックスを指定するシンタックス要素である。レイヤのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定するシンタックス要素である。スケーラブルネスティングレイヤｉｄ（ｌａｙｅｒ＿ｉｄ［ｉ］）は、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定するシンタックス要素である。

本明細書では、以下の頭字語、つまり、アクセスユニット（ＡＵ）、コーディングツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、コーディングレイヤビデオシーケンス（ＣＬＶＳ）、コーディングレイヤビデオシーケンス開始（ＣＬＶＳＳ）、コーディングされたビデオシーケンス（ＣＶＳ）、コーディングされたビデオシーケンス開始（ＣＶＳＳ）、ジョイントビデオエキスパートチーム（ＪＶＥＴ）、動き制約タイルセット（ＭＣＴＳ）、最大転送ユニット（ＭＴＵ）、ネットワーク抽象化レイヤ（ＮＡＬ）、出力レイヤセット（ＯＬＳ）、ピクチャ順序カウント（ＰＯＣ）、ランダムアクセスポイント（ＲＡＰ）、生バイトシーケンスペイロード（ＲＢＳＰ）、シーケンスパラメータセット（ＳＰＳ）、ビデオパラメータセット（ＶＰＳ）、多用途ビデオコーディング（ＶＶＣ）が使用される。

データの損失を最小限に抑えながらビデオファイルのサイズを縮小するために、多くのビデオ圧縮技術を使用することができる。例えば、ビデオ圧縮技術は、ビデオシーケンスにおけるデータ冗長性を低減または除去するために、空間（例えば、イントラピクチャ）予測および／または時間（例えば、インターピクチャ）予測を実行することを含み得る。ブロックベースビデオコーディングの場合、ビデオスライス（例えば、ビデオピクチャまたはビデオピクチャの一部）は、ビデオブロックに分割され得、これは、ツリーブロック、コーディングツリーブロック（ＣＴＢ）、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、および／またはコーディングノードとも呼ばれ得る。ピクチャのイントラコーディングされた（Ｉ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間予測を使用してコーディングされる。ピクチャのインターコーディングされた一方向予測（Ｐ）または双方向予測（Ｂ）スライス内のビデオブロックは、同じピクチャ内の隣接ブロック内の参照サンプルに対する空間予測または他の参照ピクチャ内の参照サンプルに対する時間予測を使用することによってコーディングされ得る。ピクチャは、フレームおよび／または画像と呼ばれる場合があり、参照ピクチャは、参照フレームおよび／または参照画像と呼ばれる場合がある。空間または時間予測は、画像ブロックを表す予測ブロックをもたらす。残差データは、元の画像ブロックと予測ブロックとの間の画素差を表す。したがって、インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックおよびコーディングされたブロックと予測ブロックとの間の差を示す残差データを指す動きベクトルに従ってエンコードされる。イントラコーディングされたブロックは、イントラコーディングモードおよび残差データに従ってエンコードされる。さらなる圧縮のために、残差データは、画素ドメインから変換ドメインに変換され得る。これらは、量子化され得る残差変換係数をもたらす。量子化された変換係数は、最初に２次元アレイに配置されてもよい。量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査され得る。エントロピーコーディングは、さらに多くの圧縮を達成するために適用され得る。そのようなビデオ圧縮技術は、以下により詳細に説明される。

エンコードされたビデオを正確にデコードできるようにするために、ビデオは、対応するビデオコーディング標準に従ってエンコードおよびデコードされる。ビデオコーディング標準には、国際電気通信連合（ＩＴＵ）標準化部門（ＩＴＵ－Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）－１ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ ２、ＩＴＵ－Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｐａｒｔ １０としても知られる高度ビデオコーディング（ＡＶＣ）、およびＩＴＵ－Ｔ Ｈ．２６５またはＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる高効率ビデオコーディング（ＨＥＶＣ）が含まれる。ＡＶＣは、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＳＶＣ）、マルチビュービデオコーディング（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＭＶＣ）およびマルチビュービデオコーディングプラス深度（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｐｌｕｓ Ｄｅｐｔｈ、ＭＶＣ＋Ｄ）、ならびに３次元（３Ｄ）ＡＶＣ（３Ｄ－ＡＶＣ）などの拡張を含む。ＨＥＶＣは、スケーラブルＨＥＶＣ（ＳＨＶＣ）、マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）、および３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）などの拡張を含む。ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣのｊｏｉｎｔ ｖｉｄｅｏ ｅｘｐｅｒｔｓ ｔｅａｍ（ＪＶＥＴ）は、多用途ビデオコーディング（ＶＶＣ）と呼ばれるビデオコーディング標準の開発を開始した。ＶＶＣは、ＪＶＥＴ－Ｏ２００１－ｖ１４を含むワーキングドラフト（Ｗｏｒｋｉｎｇ Ｄｒａｆｔ、ＷＤ）に含まれる。

いくつかのビデオコーディングシステムは、補足拡張情報（ＳＥＩ）メッセージを用いる。ＳＥＩメッセージは、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を含む。例えば、ＳＥＩメッセージは、標準に適合しているかどうかについてビットストリームをチェックするために使用されるパラメータを含み得る。仮想参照デコーダ（ＨＲＤ）は、標準適合性についてビットストリームをチェックする方法を決定するためにＳＥＩメッセージを読み取り得る。このようなシステムは、レイヤに関連するデータと、レイヤを含む出力レイヤセット（ＯＬＳ）に関連するデータとのために、別々のタイプのＳＥＩメッセージを使用し得る。これは、複雑かつ冗長なシステムをもたらす場合がある。

本明細書では、レイヤまたはＯＬＳのいずれかに関連するパラメータを含むように構成されたスケーラブルネスティングＳＥＩメッセージが開示される。例えば、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含み得、これは、スケーラブルネスティングＳＥＩメッセージがレイヤに関連するパラメータを含む、またはＯＬＳに関連するパラメータを含むかどうかを示すように設定され得る。スケーラブルネスティングＳＥＩメッセージはまた、レイヤまたはＯＬＳに関連する１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージを含み得る。本明細書で使用される場合、１つまたは複数は、１つまたは複数のそのような項目を含む、対応する項目の任意の正数を示す。スケーラブルネスティングＳＥＩメッセージがＯＬＳに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたＯＬＳの数を指示するフラグと、ＯＬＳをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのＯＬＳインデックスを指示するフラグとを含む。スケーラブルネスティングＳＥＩメッセージがレイヤに関する場合、スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングＳＥＩメッセージに関連付けられたレイヤの数を指示するフラグと、レイヤをスケーラブルネスティングされたＳＥＩメッセージに関連付けるためのレイヤ識別子（ＩＤ）を指示するフラグとを含む。このようにして、ＳＥＩメッセージタイプの数を低減することができ、これは複雑度を減少させ、メッセージタイプの総数を減少させる。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

図１は、ビデオ信号をコーディングする例示的な動作方法１００のフローチャートである。具体的には、ビデオ信号は、エンコーダでエンコードされる。エンコード処理は、様々なメカニズムを使用することによって、ビデオ信号を圧縮し、ビデオファイルサイズを縮小する。より小さいファイルサイズは、関連する帯域幅オーバーヘッドを低減しながら、圧縮されたビデオファイルをユーザに向けて送信することを可能にする。次いで、デコーダは、圧縮されたビデオファイルをデコードして、エンドユーザに表示するための元のビデオ信号を再構成する。デコード処理は、一般に、デコーダがビデオ信号を一貫して再構成することを可能にするためにエンコード処理をミラーリングする。

段階１０１において、ビデオ信号がエンコーダに入力される。例えば、ビデオ信号は、メモリに記憶された非圧縮のビデオファイルであってもよい。別の例として、ビデオファイルは、ビデオカメラなどのビデオキャプチャデバイスによってキャプチャされ、ビデオのライブストリーミングをサポートするためにエンコードされ得る。ビデオファイルは、オーディオコンポーネントおよびビデオコンポーネントの両方を含み得る。ビデオコンポーネントは、シーケンスで見たときに動きの視覚的印象を与える一連の画像フレームを含む。フレームは、本明細書では輝度成分（または輝度サンプル）と呼ばれる光、および彩度成分（または色サンプル）と呼ばれる色に関して表現される画素を含む。いくつかの例では、フレームはまた、３次元表示をサポートするための深度値を含み得る。

段階１０３において、ビデオがブロックに分割される。分割は、各フレーム内の画素を圧縮のために正方形および／または長方形のブロックに細分することを含む。例えば、高効率ビデオコーディング（ＨＥＶＣ）（Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる）において、フレームは、最初に、所定のサイズ（例えば、６４画素×６４画素）のブロックであるコーディングツリーユニット（ＣＴＵ）に分割され得る。ＣＴＵは、輝度サンプルおよび彩度サンプルの両方を含む。コーディングツリーを使用して、ＣＴＵをブロックに分割し、次いで、さらなるエンコードをサポートする構成が達成されるまでブロックを再帰的に細分することができる。例えば、フレームの輝度成分は、個々のブロックが比較的均一な照明値を含むまで細分され得る。さらに、フレームの彩度成分は、個々のブロックが比較的均一な色値を含むまで細分され得る。したがって、分割メカニズムは、ビデオフレームのコンテンツに応じて変化する。

段階１０５において、段階１０３において分割された画像ブロックを圧縮するために様々な圧縮メカニズムが使用される。例えば、インター予測および／またはイントラ予測が使用され得る。インター予測は、共通のシーン内の物体が連続するフレームに現れる傾向があるという事実を利用するように設計される。したがって、参照フレーム内の物体を描写するブロックは、隣接するフレーム内で繰り返し記述される必要はない。具体的には、テーブルなどの物体は、複数のフレームにわたって一定の位置に留まり得る。したがって、テーブルは一度記述され、隣接するフレームは参照フレームを参照することができる。パターンマッチングメカニズムを使用して、複数のフレームにわたって物体をマッチングすることができる。さらに、移動する物体は、例えば、物体の移動またはカメラの移動に起因して、複数のフレームにわたって表され得る。特定の例として、ビデオは、複数のフレームにわたって画面を横切って移動する自動車を示し得る。動きベクトルを使用して、そのような動きを記述することができる。動きベクトルは、フレーム内の物体の座標から参照フレーム内の物体の座標へのオフセットを提供する２次元ベクトルである。このように、インター予測は、現在のフレーム内の画像ブロックを、参照フレーム内の対応するブロックからのオフセットを示す動きベクトルのセットとしてエンコードすることができる。

イントラ予測は、共通フレーム内のブロックをエンコードする。イントラ予測は、輝度成分および彩度成分がフレーム内でクラスタ化する傾向があるという事実を利用する。例えば、ツリーの一部の緑色のパッチは、同様の緑色のパッチに隣接して位置する傾向がある。イントラ予測は、複数の指向性予測モード（例えば、ＨＥＶＣでは３３）、平面モード、および直流（ＤＣ）モードを使用する。指向性モードは、現在のブロックが、対応する方向において隣接ブロックのサンプルと同様／同じであることを示す。平面モードは、行／列に沿った一連のブロック（例えば、平面）が、行の端部にある隣接ブロックに基づいて補間され得ることを示す。平面モードは、実際には、変化する値に比較的一定の傾きを採用することによって、行／列にわたる光／色の滑らかな遷移を示す。ＤＣモードは、境界平滑化に使用され、ブロックが、指向性予測モードの角度方向に関連付けられたすべての隣接ブロックのサンプルに関連付けられた平均値と同様／同じであることを示す。したがって、イントラ予測ブロックは、実際の値ではなく、様々な関係予測モード値として画像ブロックを表すことができる。さらに、インター予測ブロックは、実際の値ではなく、動きベクトル値として画像ブロックを表すことができる。いずれの場合も、予測ブロックは、場合によっては、画像ブロックを正確に表さないことがある。いかなる差分も、残差ブロックに記憶される。ファイルをさらに圧縮するために、変換が残差ブロックに適用され得る。

段階１０７において、様々なフィルタリング技術を適用することができる。ＨＥＶＣでは、フィルタは、インループフィルタリングスキームに従って適用される。上述したブロックベースの予測は、デコーダにおいてブロック状画像の生成をもたらし得る。さらに、ブロックベースの予測スキームは、ブロックをエンコードし、次いで、エンコードされたブロックを参照ブロックとして後で使用するために再構築することができる。インループフィルタリングスキームは、ノイズ抑制フィルタ、デブロックフィルタ、適応ループフィルタ、およびサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）フィルタをブロック／フレームに繰り返し適用する。これらのフィルタは、エンコードされたファイルを正確に再構成することができるように、そのようなブロッキングアーチファクトを軽減する。さらに、これらのフィルタは、再構成された参照ブロックにおけるアーチファクトを緩和し、その結果、アーチファクトは、再構成された参照ブロックに基づいてエンコードされる後続のブロックにおいて追加のアーチファクトを生成する可能性が低くなる。

ビデオ信号が分割、圧縮、およびフィルタリングされると、段階１０９において、結果として得られるデータがビットストリームにエンコードされる。ビットストリームは、上述したデータ、および、デコーダにおいて適切なビデオ信号再構成をサポートすることが望まれるあらゆるシグナリングデータを含む。例えば、そのようなデータは、デコーダにコーディング命令を提供する、分割データ、予測データ、残差ブロック、および様々なフラグを含み得る。ビットストリームは、要求に応じて、デコーダに向けて送信するためにメモリに記憶されてもよい。ビットストリームはまた、複数のデコーダに向けてブロードキャストおよび／またはマルチキャストされてもよい。ビットストリームの作成は、反復処理である。したがって、段階１０１、１０３、１０５、１０７、および１０９は、多くのフレームおよびブロックにわたって連続的におよび／または同時に行われ得る。図１に示す順序は、説明を明確かつ容易にするために提示されており、ビデオコーディング処理を特定の順序に限定することを意図していない。

デコーダは、ビットストリームを受信し、段階１１１においてデコード処理を開始する。具体的には、デコーダは、エントロピーデコードスキームを使用して、ビットストリームを対応するシンタックスおよびビデオデータに変換する。デコーダは、段階１１１において、ビットストリームからのシンタックスデータを使用して、フレームの分割を決定する。分割は、段階１０３におけるブロック分割の結果と一致すべきである。ここで、段階１１１で使用されるエントロピーエンコード／デコードについて説明する。エンコーダは、圧縮処理中に、入力画像内の値の空間的位置に基づいていくつかの可能な選択からブロック分割スキームを選択するなど、多くの選択を行う。正確な選択をシグナリングするには、多数のビンを使用し得る。本明細書で使用される場合、ビンは、変数（例えば、文脈に応じて変わり得るビット値）として扱われるバイナリ値である。エントロピーコーディングは、エンコーダが、特定のケースのために実行可能ではないことが明らかである任意のオプションを廃棄し、許容可能なオプションのセットを残すことを可能にする。次いで、各許容可能なオプションにコードワードが割り当てられる。コードワードの長さは、許容可能なオプションの数に基づく（例えば、２つのオプション用の１つのビン、３～４つのオプション用の２つのビンなど）。次いで、エンコーダは、選択されたオプションのコードワードをエンコードする。このスキームは、すべての可能なオプションの潜在的に大きなセットからの選択を一意に示すのとは対照的に、許容可能なオプションの小さなサブセットからの選択を一意に示すために、コードワードが所望されるくらいの大きさなので、コードワードのサイズを小さくする。次いで、デコーダは、エンコーダと同様の方式で許容可能なオプションのセットを決定することによって選択をデコードする。許容可能なオプションのセットを決定することにより、デコーダは、コードワードを読み取り、エンコーダによって行われた選択を決定し得る。

段階１１３において、デコーダは、ブロックのデコードを実行する。具体的には、デコーダは、残差ブロックを生成するために逆変換を使用する。次いで、デコーダは、分割に従って画像ブロックを再構成するために、残差ブロックおよび対応する予測ブロックを使用する。予測ブロックは、段階１０５においてエンコーダで生成されるようなイントラ予測ブロックおよびインター予測ブロックの両方を含み得る。次いで、再構成された画像ブロックは、段階１１１で決定された分割データに従って再構成されたビデオ信号のフレームに配置される。段階１１３のシンタックスはまた、上述のように、エントロピーコーディングを介してビットストリーム内でシグナリングされ得る。

段階１１５において、エンコーダにおける段階１０７と同様の方式で、再構成されたビデオ信号のフレームに対してフィルタリングが実行される。例えば、ブロッキングアーチファクトを除去するために、ノイズ抑制フィルタ、デブロックフィルタ、適応ループフィルタ、およびＳＡＯフィルタをフレームに適用することができる。フレームがフィルタリングされると、ビデオ信号は、エンドユーザが見るために段階１１７でディスプレイに出力することができる。

図２は、ビデオコーディングのための例示的なコーディングおよびデコード（コーデック）システム２００の概略図である。具体的には、コーデックシステム２００は、動作方法１００の実装をサポートする機能を提供する。コーデックシステム２００は、エンコーダおよびデコーダの両方で使用されるコンポーネントを示すために一般化される。コーデックシステム２００は、動作方法１００における段階１０１および１０３に関して説明したように、ビデオ信号を受信して分割し、その結果、分割されたビデオ信号２０１が得られる。次いで、コーデックシステム２００は、方法１００における段階１０５、１０７、および１０９に関して説明したように、エンコーダとして機能するときに、分割されたビデオ信号２０１を、コーディングされたビットストリームに圧縮する。デコーダとして動作するとき、コーデックシステム２００は、動作方法１００における段階１１１、１１３、１１５、および１１７に関して説明したように、ビットストリームから出力ビデオ信号を生成する。コーデックシステム２００は、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、動き推定コンポーネント２２１、スケーリングおよび逆変換コンポーネント２２９、フィルタ制御解析コンポーネント２２７、インループフィルタコンポーネント２２５、デコードされたピクチャバッファコンポーネント２２３、ならびにヘッダフォーマッティングおよびコンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）コンポーネント２３１を含む。そのようなコンポーネントは、図示のように結合される。図２において、黒線はエンコード／デコード対象のデータの移動を示し、破線は他のコンポーネントの動作を制御する制御データの移動を示す。コーデックシステム２００のコンポーネントは、すべてエンコーダに存在してもよい。デコーダは、コーデックシステム２００のコンポーネントのサブセットを含み得る。例えば、デコーダは、イントラピクチャ予測コンポーネント２１７、動き補償コンポーネント２１９、スケーリングおよび逆変換コンポーネント２２９、インループフィルタコンポーネント２２５、ならびにデコードされたピクチャバッファコンポーネント２２３を含み得る。次に、これらのコンポーネントについて説明する。

分割されたビデオ信号２０１は、コーディングツリーによって画素のブロックに分割されたキャプチャされたビデオシーケンスである。コーディングツリーは、画素のブロックをより小さい画素のブロックに細分するために様々なスプリットモードを使用する。次いで、これらのブロックをより小さいブロックにさらに細分することができる。ブロックは、コーディングツリー上のノードと呼ばれる場合がある。より大きな親ノードは、より小さな子ノードへ分割される。ノードが細分される回数は、ノード／コーディングツリーの深度と呼ばれる。分割されたブロックは、場合によっては、コーディングユニット（ＣＵ）に含まれ得る。例えば、ＣＵは、ＣＵのための対応するシンタックス命令と共に、輝度ブロック、赤色差分彩度（Ｃｒ）ブロック、および青色差分彩度（Ｃｂ）ブロックを含むＣＴＵの下位部分であり得る。スプリットモードには、使用されるスプリットモードに応じて様々な形状のノードをそれぞれ２つ、３つ、または４つの子ノードに分割するために使用されるバイナリツリー（ＢＴ）、トリプルツリー（ＴＴ）、およびクワッドツリー（ＱＴ）が含まれ得る。分割されたビデオ信号２０１は、圧縮のために、汎用コーダ制御コンポーネント２１１、変換スケーリングおよび量子化コンポーネント２１３、イントラピクチャ推定コンポーネント２１５、フィルタ制御解析コンポーネント２２７、ならびに動き推定コンポーネント２２１に転送される。

汎用コーダ制御コンポーネント２１１は、アプリケーション制約に従って、ビデオシーケンスの画像のビットストリームへのコーディングに関する決定を行うように構成される。例えば、汎用コーダ制御コンポーネント２１１は、ビットレート／ビットストリームサイズ対再構成品質の最適化を管理する。そのような決定は、記憶空間／帯域幅の可用性および画像解像度要求に基づいて行うことができる。汎用コーダ制御コンポーネント２１１はまた、バッファのアンダーランおよびオーバーランの問題を緩和するために、送信速度に照らしてバッファ利用を管理する。これらの問題を管理するために、汎用コーダ制御コンポーネント２１１は、他のコンポーネントによる分割、予測、およびフィルタリングを管理する。例えば、汎用コーダ制御コンポーネント２１１は、圧縮複雑度を動的に増加させて解像度を高めて帯域幅使用量を増加させ、または圧縮複雑度を減少させて解像度および帯域幅使用量を減少させ得る。したがって、汎用コーダ制御コンポーネント２１１は、ビデオ信号再構成品質とビットレートの懸念とのバランスをとるために、コーデックシステム２００の他のコンポーネントを制御する。汎用コーダ制御コンポーネント２１１は、他のコンポーネントの動作を制御する制御データを作成する。制御データはまた、デコーダでデコードするための信号パラメータにビットストリームでエンコードされるようにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

分割されたビデオ信号２０１はまた、インター予測のために動き推定コンポーネント２２１および動き補償コンポーネント２１９に送信される。分割されたビデオ信号２０１のフレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定コンポーネント２２１および動き補償コンポーネント２１９は、時間予測を提供するために、受信されたビデオブロックの、１つまたは複数の参照フレームにおける１つまたは複数のブロックに対するインター予測コーディングを実行する。コーデックシステム２００は、例えば、ビデオデータの各ブロックに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。

動き推定コンポーネント２２１および動き補償コンポーネント２１９は、高度に統合されてもよいが、概念的な目的のために別々に示されている。動き推定コンポーネント２２１によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、予測ブロックに対するコーディングされた物体の変位を示し得る。予測ブロックは、画素差に関して、コーディングされるべきブロックと厳密に一致することが見出されるブロックである。予測ブロックはまた、参照ブロックと呼ばれることもある。そのような画素差は、絶対差の和（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）、二乗差の和（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ、ＳＳＤ）、または他の差メトリックによって決定され得る。ＨＥＶＣは、ＣＴＵ、コーディングツリーブロック（ＣＴＢ）、およびＣＵを含むいくつかのコーディングされたオブジェクトを使用する。例えば、ＣＴＵはＣＴＢに分割することができ、次いで、ＣＵに含めるためにＣＢに分割され得る。ＣＵは、予測データを含む予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）および／またはＣＵ用の変換された残差データを含む変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）としてエンコードすることができる。動き推定コンポーネント２２１は、レート歪み最適化処理の一部としてレート歪み解析を使用することによって、動きベクトル、ＰＵ、およびＴＵを生成する。例えば、動き推定コンポーネント２２１は、現在のブロック／フレームについて複数の参照ブロック、複数の動きベクトルなどを決定することができ、最良のレート歪み特性を有する参照ブロック、動きベクトルなどを選択することができる。最良のレート歪み特性は、ビデオ再構成（例えば、圧縮によるデータ損失の量）の品質およびコーディング効率（例えば、最終エンコードのサイズ）の両方のバランスをとる。

いくつかの例では、コーデックシステム２００は、デコードされたピクチャバッファコンポーネント２２３に記憶された参照ピクチャのサブ整数画素位置の値を計算することができる。例えば、ビデオコーデックシステム２００は、参照ピクチャの１／４画素位置、１／８画素位置、または他の小数画素位置の値を補間し得る。したがって、動き推定コンポーネント２２１は、全画素位置および小数画素位置に対して動き探索を実行し、小数画素精度で動きベクトルを出力することができる。動き推定コンポーネント２２１は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングスライス内のビデオブロックのＰＵに対する動きベクトルを計算する。動き推定コンポーネント２２１は、計算された動きベクトルを動きデータとしてヘッダフォーマッティングに出力し、エンコードおよび動きのためのＣＡＢＡＣコンポーネント２３１を動き補償コンポーネント２１９に出力する。

動き補償コンポーネント２１９によって実行される動き補償は、動き推定コンポーネント２２１によって決定された動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを含み得る。ここでも、いくつかの例では、動き推定コンポーネント２２１および動き補償コンポーネント２１９は、機能的に統合されてもよい。現在のビデオブロックのＰＵの動きベクトルを受信すると、動き補償コンポーネント２１９は、動きベクトルが指し示す予測ブロックに位置し得る。次いで、エンコードされている現在のビデオブロックの画素値から予測ブロックの画素値を減算して画素差値を形成することによって、残差ビデオブロックが形成される。一般に、動き推定コンポーネント２２１は、輝度成分に対する動き推定を実行し、動き補償コンポーネント２１９は、彩度成分および輝度成分の両方について輝度成分に基づいて計算された動きベクトルを使用する。予測ブロックおよび残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。

分割されたビデオ信号２０１はまた、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７にも送信される。動き推定コンポーネント２２１および動き補償コンポーネント２１９と同様に、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、高度に統合されてもよいが、概念的な目的のために別々に示されている。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、上述したように、フレーム間で動き推定コンポーネント２２１および動き補償コンポーネント２１９によって実行されるインター予測の代替として、現在のフレーム内のブロックに対して現在のブロックをイントラ予測する。特に、イントラピクチャ推定コンポーネント２１５は、現在のブロックをエンコードするために使用するイントラ予測モードを決定する。いくつかの例では、イントラピクチャ推定コンポーネント２１５は、複数の試験されたイントラ予測モードから現在のブロックをエンコードするために適切なイントラ予測モードを選択する。次いで、選択されたイントラ予測モードは、エンコードのためにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

例えば、イントラピクチャ推定コンポーネント２１５は、様々な試験されたイントラ予測モードのレート歪み解析を使用してレート歪み値を計算し、試験されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択する。レート歪み解析は、一般に、エンコードされたブロックとエンコードされたブロックを生成するためにエンコードされた元のエンコードされていないブロックとの間の歪み（またはエラー）の量、およびエンコードされたブロックを生成するために使用されるビットレート（例えば、ビット数）を決定する。イントラピクチャ推定コンポーネント２１５は、様々なエンコードされたブロックの歪みおよびレートから比率を計算して、どのイントラ予測モードがブロックの最良のレート歪み値を示すかを決定する。加えて、イントラピクチャ推定コンポーネント２１５は、レート歪み最適化（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ、ＲＤＯ）に基づく深度モデリングモード（ｄｅｐｔｈ ｍｏｄｅｌｉｎｇ ｍｏｄｅ、ＤＭＭ）を使用して、深度マップの深度ブロックをコーディングするように構成され得る。

イントラピクチャ予測コンポーネント２１７は、エンコーダ上で実装された場合、イントラピクチャ推定コンポーネント２１５によって決定された選択されたイントラ予測モードに基づいて予測ブロックから残差ブロックを生成し得る、またはデコーダ上で実装された場合、ビットストリームから残差ブロックを読み出し得る。残差ブロックは、行列として表される、予測ブロックと元のブロックとの間の値の差を含む。次いで、残差ブロックは、変換スケーリングおよび量子化コンポーネント２１３に転送される。イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７は、輝度成分および彩度成分の両方で動作し得る。

変換スケーリングおよび量子化コンポーネント２１３は、残差ブロックをさらに圧縮するように構成される。変換スケーリングおよび量子化コンポーネント２１３は、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、離散サイン変換（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＳＴ）、または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を含むビデオブロックを生成する。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換も使用することができる。変換は、残差情報を画素値ドメインから周波数ドメインなどの変換ドメインに変換することができる。変換スケーリングおよび量子化コンポーネント２１３はまた、例えば、周波数に基づいて、変換された残差情報をスケーリングするように構成される。そのようなスケーリングは、異なる周波数情報が異なる粒度で量子化されるように残差情報にスケールファクタを適用することを含み、これは、再構成されたビデオの最終的な視覚的品質に影響を及ぼし得る。変換スケーリングおよび量子化コンポーネント２１３はまた、ビットレートをさらに低減するために、変換係数を量子化するように構成される。量子化処理は、係数の一部または全部に関連するビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって変更することができる。いくつかの例では、変換スケーリングおよび量子化コンポーネント２１３は、次いで、量子化された変換係数を含む行列のスキャンを実行することができる。量子化された変換係数は、ビットストリーム内でエンコードされるようにヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。

スケーリングおよび逆変換コンポーネント２２９は、動き推定をサポートするために、変換スケーリングおよび量子化コンポーネント２１３の逆演算を適用する。スケーリングおよび逆変換コンポーネント２２９は、例えば、別の現在のブロックの予測ブロックになり得る参照ブロックとして後で使用するために、逆スケーリング、変換、および／または量子化を適用して、画素ドメイン内の残差ブロックを再構成する。動き推定コンポーネント２２１および／または動き補償コンポーネント２１９は、後のブロック／フレームの動き推定に使用するために、残差ブロックを対応する予測ブロックに加算し戻すことによって、参照ブロックを計算することができる。フィルタは、再構成された参照ブロックに適用され、スケーリング、量子化、および変換中に生成されるアーチファクトを軽減する。そうでなければ、このようなアーチファクトは、後続のブロックが予測されるときに不正確な予測を引き起こす（および追加のアーチファクトを生成する）場合がある。

フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５は、フィルタを、残差ブロックおよび／または再構成された画像ブロックに適用する。例えば、スケーリングおよび逆変換コンポーネント２２９からの変換された残差ブロックは、イントラピクチャ予測コンポーネント２１７および／または動き補償コンポーネント２１９からの対応する予測ブロックと組み合わされて、元の画像ブロックを再構成することができる。次いで、フィルタを再構成された画像ブロックに適用することができる。いくつかの例では、フィルタは、代わりに、残差ブロックに適用されてもよい。図２の他のコンポーネントと同様に、フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５は、高度に統合されており、一緒に実装することができるが、概念的な目的のために別々に示されている。再構成された参照ブロックに適用されるフィルタは、特定の空間領域に適用され、そのようなフィルタがどのように適用されるかを調整するための複数のパラメータを含む。フィルタ制御解析コンポーネント２２７は、再構成された参照ブロックを解析して、そのようなフィルタが適用されるべき場所を決定し、対応するパラメータを設定する。そのようなデータは、エンコードのためのフィルタ制御データとしてヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１に転送される。インループフィルタコンポーネント２２５は、フィルタ制御データに基づいてそのようなフィルタを適用する。フィルタは、デブロッキングフィルタ、ノイズ抑制フィルタ、ＳＡＯフィルタ、および適応ループフィルタを含み得る。そのようなフィルタは、例に応じて、空間／画素ドメイン（例えば、再構成された画素ブロック上）または周波数ドメインに適用することができる。

エンコーダとして動作するとき、フィルタリングされた再構成された画像ブロック、残差ブロック、および／または予測ブロックは、上述のように、動き推定に後で使用するためにデコードされたピクチャバッファコンポーネント２２３に記憶される。デコーダとして動作するとき、デコードされたピクチャバッファコンポーネント２２３は、再構成およびフィルタリングされたブロックを記憶し、出力ビデオ信号の一部としてディスプレイに向けて転送する。デコードされたピクチャバッファコンポーネント２２３は、予測ブロック、残差ブロック、および／または再構成された画像ブロックを記憶することができる任意のメモリデバイスとすることができる。

ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、コーデックシステム２００の様々なコンポーネントからデータを受信し、デコーダに向けて送信するためにそのようなデータをコーディングビットストリームにエンコードする。具体的には、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１は、一般的な制御データおよびフィルタ制御データなどの制御データをエンコードするための様々なヘッダを生成する。さらに、イントラ予測および動きデータを含む予測データ、ならびに量子化された変換係数データの形態の残差データは、すべてビットストリーム内でエンコードされる。最終ビットストリームは、元の分割されたビデオ信号２０１を再構成するためにデコーダによって所望されるすべての情報を含む。そのような情報はまた、イントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）、様々なブロックのためのエンコードコンテキストの定義、最も可能性の高いイントラ予測モードの指示、分割情報の指示などを含み得る。そのようなデータは、エントロピーコーディングを適用することによって、エンコードされ得る。例えば、情報は、コンテキスト適応可変長コーディング（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ、ＣＡＶＬＣ）、ＣＡＢＡＣ、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ、ＳＢＡＣ）、確率区間分割エントロピー（ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ、ＰＩＰＥ）コーディング、または別のエントロピーコーディング技術を使用することによって、エンコードされ得る。エントロピーコーディングに続いて、コーディングされたビットストリームは、別のデバイス（例えば、ビデオデコーダ）へ送信され得る、または、後の送信または取得のためにアーカイブされ得る。

図３は、例示的なビデオエンコーダ３００を示すブロック図である。ビデオエンコーダ３００は、コーデックシステム２００のエンコード機能を実装するために、ならびに／または動作方法１００の段階１０１、１０３、１０５、１０７、および／もしくは１０９を実装するために使用され得る。エンコーダ３００は、入力ビデオ信号を分割し、分割されたビデオ信号２０１と実質的に同様の分割されたビデオ信号３０１をもたらす。分割されたビデオ信号３０１は、次いで、エンコーダ３００のコンポーネントによって圧縮され、ビットストリームにエンコードされる。

具体的には、分割されたビデオ信号３０１は、イントラ予測のためにイントラピクチャ予測コンポーネント３１７に転送される。イントラピクチャ予測コンポーネント３１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と実質的に同様であってもよい。分割されたビデオ信号３０１はまた、デコードされたピクチャバッファコンポーネント３２３内の参照ブロックに基づいて、インター予測のために動き補償コンポーネント３２１に転送される。動き補償コンポーネント３２１は、動き推定コンポーネント２２１および動き補償コンポーネント２１９と実質的に同様であってもよい。イントラピクチャ予測コンポーネント３１７および動き補償コンポーネント３２１からの予測ブロックおよび残差ブロックは、残差ブロックの変換および量子化のために変換および量子化コンポーネント３１３に転送される。変換および量子化コンポーネント３１３は、変換スケーリングおよび量子化コンポーネント２１３と実質的に同様であってもよい。変換および量子化された残差ブロックならびに対応する予測ブロック（関連する制御データと共に）は、ビットストリームへのコーディングのためにエントロピーコーディングコンポーネント３３１に転送される。エントロピーコーディングコンポーネント３３１は、ヘッダフォーマッティングおよびＣＡＢＡＣコンポーネント２３１と実質的に同様であってもよい。

変換および量子化された残差ブロックならびに／または対応する予測ブロックはまた、動き補償コンポーネント３２１による使用のために参照ブロックへの再構成のために、変換および量子化コンポーネント３１３から逆変換および量子化コンポーネント３２９に転送される。逆変換および量子化コンポーネント３２９は、スケーリングおよび逆変換コンポーネント２２９と実質的に同様であってもよい。インループフィルタコンポーネント３２５内のインループフィルタはまた、例に応じて、残差ブロックおよび／または再構成された参照ブロックに適用される。インループフィルタコンポーネント３２５は、フィルタ制御解析コンポーネント２２７およびインループフィルタコンポーネント２２５と実質的に同様であってもよい。インループフィルタコンポーネント３２５は、インループフィルタコンポーネント２２５に関して説明したように、複数のフィルタを含み得る。次いで、フィルタリングされたブロックは、動き補償コンポーネント３２１によって参照ブロックとして使用するために、デコードされたピクチャバッファコンポーネント３２３に記憶される。デコードされたピクチャバッファコンポーネント３２３は、デコードされたピクチャバッファコンポーネント２２３と実質的に同様であってもよい。

図４は、例示的なビデオデコーダ４００を示すブロック図である。ビデオデコーダ４００は、コーデックシステム２００のデコード機能を実装するために、ならびに／または動作方法１００の段階１１１、１１３、１１５、および／もしくは１１７を実装するために使用され得る。デコーダ４００は、例えば、エンコーダ３００からビットストリームを受信し、エンドユーザに表示するためにビットストリームに基づいて再構成された出力ビデオ信号を生成する。

ビットストリームは、エントロピーデコードコンポーネント４３３によって受信される。エントロピーデコードコンポーネント４３３は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または他のエントロピーコーディング技術などのエントロピーデコードスキームを実装するように構成される。例えば、エントロピーデコードコンポーネント４３３は、ヘッダ情報を使用して、ビットストリーム内のコードワードとしてエンコードされた追加のデータを解釈するためのコンテキストを提供することができる。デコードされた情報は、汎用制御データ、フィルタ制御データ、分割情報、動きデータ、予測データ、および残差ブロックからの量子化された変換係数など、ビデオ信号をデコードするための任意の所望の情報を含む。量子化された変換係数は、残差ブロックへの再構成のために、逆変換および量子化コンポーネント４２９に転送される。逆変換および量子化コンポーネント４２９は、逆変換および量子化コンポーネント３２９と同様であってもよい。

再構成された残差ブロックおよび／または予測ブロックは、イントラ予測演算に基づいて画像ブロックに再構成するために、イントラピクチャ予測コンポーネント４１７に転送される。イントラピクチャ予測コンポーネント４１７は、イントラピクチャ推定コンポーネント２１５およびイントラピクチャ予測コンポーネント２１７と同様であってもよい。具体的には、イントラピクチャ予測コンポーネント４１７は、予測モードを使用してフレーム内の参照ブロックを特定し、残差ブロックを適用して、その結果、イントラ予測画像ブロックを再構成する。再構成されたイントラ予測画像ブロックおよび／または残差ブロックおよび対応するインター予測データは、それぞれ、デコードされたピクチャバッファコンポーネント２２３およびインループフィルタコンポーネント２２５と実質的に同様であり得る、インループフィルタコンポーネント４２５を介してデコードされたピクチャバッファコンポーネント４２３に転送される。インループフィルタコンポーネント４２５は、再構成された画像ブロック、残差ブロック、および／または予測ブロックをフィルタリングし、そのような情報は、デコードされたピクチャバッファコンポーネント４２３に記憶される。デコードされたピクチャバッファコンポーネント４２３からの再構成された画像ブロックは、インター予測のために動き補償コンポーネント４２１に転送される。動き補償コンポーネント４２１は、動き推定コンポーネント２２１および／または動き補償コンポーネント２１９と実質的に同様であってもよい。具体的には、動き補償コンポーネント４２１は、参照ブロックからの動きベクトルを用いて予測ブロックを生成し、残差ブロックを結果に適用して画像ブロックを再構成する。結果として得られる再構成されたブロックはまた、インループフィルタコンポーネント４２５を介してデコードされたピクチャバッファコンポーネント４２３に転送されてもよい。デコードされたピクチャバッファコンポーネント４２３は、分割情報を介してフレームに再構成することができる追加の再構成された画像ブロックを記憶し続ける。そのようなフレームはまた、シーケンス内に配置されてもよい。シーケンスは、再構成された出力ビデオ信号としてディスプレイに向けて出力される。

図５は、例示的なＨＲＤ５００を示す概略図である。ＨＲＤ５００は、例えば、コーデックシステム２００および／またはエンコーダ３００のようなエンコーダにおいて適用され得る。ＨＲＤ５００は、ビットストリームがデコーダ４００などのデコーダに転送される前に、方法１００の段階１０９で作成されたビットストリームをチェックすることができる。いくつかの例では、ビットストリームは、ビットストリームがエンコードされるときにＨＲＤ５００を介して連続的に転送され得る。ビットストリームの一部が関連する制約に適合しない場合、ＨＲＤ５００は、そのような失敗をエンコーダに示して、エンコーダに異なるメカニズムでビットストリームの対応するセクションを再エンコードさせることができる。

ＨＲＤ５００は、仮想ストリームスケジューラ（ｈｙｐｏｔｈｅｔｉｃａｌ ｓｔｒｅａｍ ｓｃｈｅｄｕｌｅｒ、ＨＳＳ）５４１を含む。ＨＳＳ５４１は、仮想配信メカニズムを実行するように構成されたコンポーネントである。仮想配信メカニズムは、ＨＲＤ５００に入力されるビットストリーム５５１のタイミングおよびデータフローに関して、ビットストリームまたはデコーダの適合性をチェックするために使用される。例えば、ＨＳＳ５４１は、エンコーダから出力されたビットストリーム５５１を受信し、ビットストリーム５５１に対する適合性試験処理を管理することができる。特定の例では、ＨＳＳ５４１は、コーディングされたピクチャがＨＲＤ５００を移動するレートを制御し、ビットストリーム５５１が不適合なデータを含まないことを検証することができる。

ＨＳＳ５４１は、所定のレートでビットストリーム５５１をＣＰＢ５４３に転送することができる。ＨＲＤ５００は、デコードユニット（ＤＵ）５５３でデータを管理することができる。ＤＵ５５３は、アクセスユニット（ＡＵ）、またはＡＵおよび関連する非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのサブセットである。具体的には、ＡＵは、出力時間に関連付けられた１つまたは複数のピクチャを含む。例えば、ＡＵは、単一のレイヤビットストリームに単一のピクチャを含み得、マルチレイヤビットストリームにレイヤごとのピクチャを含み得る。ＡＵの各ピクチャは、対応するＶＣＬ ＮＡＬユニットに各々含まれるスライスに分割され得る。したがって、ＤＵ５５３は、１つもしくは複数のピクチャ、ピクチャの１つもしくは複数のスライス、またはそれらの組み合わせを含み得る。また、ＡＵ、ピクチャ、および／またはスライスをデコードするために使用されるパラメータは、非ＶＣＬ ＮＡＬユニットに含まれ得る。このように、ＤＵ５５３は、ＤＵ５５３内のＶＣＬ ＮＡＬユニットのデコードをサポートするために必要なデータを含む非ＶＣＬ ＮＡＬユニットを含む。ＣＰＢ５４３は、ＨＲＤ５００における先入れ先出しバッファである。ＣＰＢ５４３は、デコード順序にビデオデータを含むＤＵ５５３を含む。ＣＰＢ５４３は、ビットストリーム適合性検証中に使用するためのビデオデータを記憶する。

ＣＰＢ５４３は、ＤＵ５５３をデコード処理コンポーネント５４５に転送する。デコード処理コンポーネント５４５は、ＶＶＣ標準に準拠したコンポーネントである。例えば、デコード処理コンポーネント５４５は、エンドユーザによって使用されるデコーダ４００をエミュレートすることができる。デコード処理コンポーネント５４５は、例示的なエンドユーザデコーダによって達成され得るレートでＤＵ５５３をデコードする。デコード処理コンポーネント５４５が、ＣＰＢ５４３のオーバーフローを防止するのに十分な速さでＤＵ５５３をデコードすることができない場合、ビットストリーム５５１は、標準に準拠せず、再エンコードされるべきである。

デコード処理コンポーネント５４５は、ＤＵ５５３をデコードし、デコードされたＤＵ５５５を作成する。デコードされたＤＵ５５５は、デコードされたピクチャを含む。デコードされたＤＵ５５５は、ＤＰＢ５４７に転送される。ＤＰＢ５４７は、デコードされたピクチャバッファコンポーネント２２３、３２３、および／または４２３と実質的に同様であってもよい。インター予測をサポートするために、デコードされたＤＵ５５５から取得された参照ピクチャ５５６として使用するためにマークされたピクチャは、さらなるデコードをサポートするためにデコード処理コンポーネント５４５に戻される。ＤＰＢ５４７は、デコードされたビデオシーケンスを一連のピクチャ５５７として出力する。ピクチャ５５７は、エンコーダによってビットストリーム５５１にエンコードされたピクチャを概してミラーリングする再構成されたピクチャである。

ピクチャ５５７は、出力クロッピングコンポーネント５４９に転送される。出力クロッピングコンポーネント５４９は、適合性クロッピングウィンドウをピクチャ５５７に適用するように構成される。これにより、出力トリミングピクチャ５５９が得られる。出力トリミングピクチャ５５９は、完全に再構成されたピクチャである。したがって、出力トリミングピクチャ５５９は、エンドユーザがビットストリーム５５１をデコードするときに見るであろうものを模倣する。このように、エンコーダは、出力トリミングピクチャ５５９をレビューして、エンコードが満足のいくものであることを保証することができる。

ＨＲＤ５００は、ビットストリーム５５１内のＨＲＤパラメータに基づいて初期化される。例えば、ＨＲＤ５００は、ＶＰＳ、ＳＰＳ、および／またはＳＥＩメッセージからＨＲＤパラメータを読み取ることができる。次いで、ＨＲＤ５００は、そのようなＨＲＤパラメータ内の情報に基づいてビットストリーム５５１に対して適合性試験動作を実行することができる。具体例として、ＨＲＤ５００は、ＨＲＤパラメータから１つまたは複数のＣＰＢ配信スケジュールを決定し得る。配信スケジュールは、ＣＰＢおよび／またはＤＰＢなどのメモリ場所との間のビデオデータの配信のタイミングを指定する。したがって、ＣＰＢ配信スケジュールは、ＣＰＢ５４３との間のＡＵ、ＤＵ５５３、および／またはピクチャの配信のタイミングを指定する。ＨＲＤ５００は、ＣＰＢ配信スケジュールと同様のＤＰＢ５４７のＤＰＢ配信スケジュールを使用することができることに留意されたい。

ビデオは、様々なレベルのハードウェア能力を有するデコーダによって使用するために、および様々なネットワーク条件のために、異なるレイヤおよび／またはＯＬＳにコーディングされ得る。ＣＰＢ配信スケジュールは、これらの問題を反映するように選択される。したがって、上位レイヤサブビットストリームは、最適なハードウェアおよびネットワーク条件に指定され、したがって、上位レイヤは、ＣＰＢ５４３内の大量のメモリおよびＤＰＢ５４７に向かうＤＵ５５３の転送のための短い遅延を使用する１つまたは複数のＣＰＢ配信スケジュールを受信し得る。同様に、下位レイヤサブビットストリームは、限られたデコーダハードウェア能力および／または劣悪なネットワーク条件に対して指定される。したがって、下位レイヤは、ＣＰＢ５４３内の少量のメモリおよびＤＰＢ５４７に向かうＤＵ５５３の転送のためのより長い遅延を使用する１つまたは複数のＣＰＢ配信スケジュールを受信し得る。次いで、ＯＬＳ、レイヤ、サブレイヤ、またはそれらの組み合わせを、対応する配信スケジュールに従って試験して、結果として得られるサブビットストリームが、サブビットストリームに対して期待される条件下で正しくデコードされ得ることを保証することができる。したがって、ビットストリーム５５１内のＨＲＤパラメータは、ＣＰＢ配信スケジュールを示し得、ならびにＨＲＤ５００がＣＰＢ配信スケジュールを決定し、ＣＰＢ配信スケジュールを対応するＯＬＳ、レイヤ、および／またはサブレイヤに相関させるのに十分なデータを含み得る。

図６は、レイヤ間予測６２１のために構成された例示的なマルチレイヤビデオシーケンス６００を示す概略図である。マルチレイヤビデオシーケンス６００は、例えば、方法１００に従って、コーデックシステム２００および／またはエンコーダ３００などのエンコーダによってエンコードされ、コーデックシステム２００および／またはデコーダ４００などのデコーダによってデコードされ得る。さらに、マルチレイヤビデオシーケンス６００は、ＨＲＤ５００などのＨＲＤによって標準適合性についてチェックされ得る。マルチレイヤビデオシーケンス６００は、コーディングされたビデオシーケンス内のレイヤの例示的なアプリケーションを示すために含まれる。マルチレイヤビデオシーケンス６００は、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などの複数のレイヤを使用する任意のビデオシーケンスである。

一例では、マルチレイヤビデオシーケンス６００は、レイヤ間予測６２１を使用し得る。レイヤ間予測６２１は、ピクチャ６１１、６１２、６１３、および６１４と異なるレイヤのピクチャ６１５、６１６、６１７、および６１８との間に適用される。示されている例では、ピクチャ６１１、６１２、６１３、および６１４はレイヤＮ＋１ ６３２の一部であり、ピクチャ６１５、６１６、６１７、および６１８はレイヤＮ ６３１の一部である。レイヤＮ ６３１および／またはレイヤＮ＋１ ６３２などのレイヤは、すべて、同様のサイズ、品質、解像度、信号対雑音比、能力などの特性の同様の値に関連付けられたピクチャのグループである。レイヤは、形式的に、ＶＣＬ ＮＡＬユニットおよび関連する非ＶＣＬ ＮＡＬユニットのセットとして定義され得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスなどのビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。

示されている例では、レイヤＮ＋１ ６３２は、レイヤＮ ６３１よりも大きい画像サイズに関連付けられている。したがって、この例では、レイヤＮ＋１ ６３２のピクチャ６１１、６１２、６１３、および６１４のピクチャサイズは、レイヤＮ ６３１のピクチャ６１５、６１６、６１７、および６１８のピクチャサイズよりも大きい（例えば、より大きな高さおよび幅、したがって、より多くのサンプル）。しかしながら、そのようなピクチャは、他の特性によって、レイヤＮ＋１ ６３２とレイヤＮ ６３１との間で分離され得る。レイヤＮ＋１ ６３２およびレイヤＮ ６３１の２つのレイヤのみが示されているが、ピクチャのセットは、関連する特性に基づいて、任意の数のレイヤに分離され得る。レイヤＮ＋１ ６３２およびレイヤＮ ６３１はまた、レイヤＩＤによって示され得る。レイヤＩＤは、ピクチャに関連付けられたデータの項目であり、ピクチャが指示されたレイヤの一部であることを示す。したがって、各ピクチャ６１１～６１８は、どのレイヤＮ＋１ ６３２またはレイヤＮ ６３１が対応するピクチャを含むかを示すために、対応するレイヤＩＤに関連付けられ得る。例えば、レイヤＩＤは、（例えば、レイヤ内のピクチャのスライスおよび／またはパラメータを含む）ＮＡＬユニットを含むレイヤの識別子を指定するシンタックス要素であるＮＡＬユニットヘッダレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を含み得る。レイヤＮ ６３１など、低品質／ビットストリームサイズに関連付けられたレイヤは、一般に、下位レイヤＩＤを割り当てられ、下位レイヤと呼ばれる。さらに、レイヤＮ＋１ ６３２など、高品質／ビットストリームサイズに関連付けられたレイヤは、一般に、上位レイヤＩＤを割り当てられ、上位レイヤと呼ばれる。

異なるレイヤ６３１～６３２内のピクチャ６１１～６１８は、代替形態で表示されるように構成される。このように、異なるレイヤ６３１～６３２のピクチャは、時間ＩＤを共有し得、同じＡＵに含まれ得る。時間ＩＤは、データがビデオシーケンス内の時間的場所に対応することを示すデータ要素である。ＡＵは、指定された分類規則に従って互いに関連付けられ、１つの特定の出力時間に関するＮＡＬユニットのセットである。例えば、ＡＵは、ピクチャ６１１およびピクチャ６１５が同じ時間ＩＤに関連付けられている場合、そのようなピクチャなどの異なるレイヤ内の１つまたは複数のピクチャを含み得る。具体例として、デコーダは、より小さいピクチャが望まれる場合、現在の表示時間においてピクチャ６１５をデコードおよび表示してもよく、または、デコーダは、より大きいピクチャが望まれる場合、現在の表示時間においてピクチャ６１１をデコードおよび表示してもよい。このように、上位レイヤＮ＋１ ６３２におけるピクチャ６１１～６１４は、（ピクチャサイズの違いにかかわらず）下位レイヤＮ ６３１における対応するピクチャ６１５～６１８と実質的に同じ画像データを含む。具体的には、ピクチャ６１１はピクチャ６１５と実質的に同じ画像データを含み、ピクチャ６１２はピクチャ６１６と実質的に同じ画像データを含む、などである。

ピクチャ６１１～６１８は、同じレイヤＮ ６３１またはＮ＋１ ６３２内の他のピクチャ６１１～６１８を参照することによってコーディングされ得る。同じレイヤ内の別のピクチャを参照してピクチャをコーディングすると、インター予測６２３が得られる。インター予測６２３は、実線矢印で示される。例えば、ピクチャ６１３は、レイヤＮ＋１ ６３２内のピクチャ６１１、６１２、および／または６１４のうちの１つまたは２つを参照として使用するインター予測６２３を使用することによってコーディングされ得、１つのピクチャは、一方向インター予測のために参照され、および／または２つのピクチャは、双方向インター予測のために参照される。さらに、ピクチャ６１７は、レイヤＮ ６３１内のピクチャ６１５、６１６、および／または６１８のうちの１つまたは２つを参照として使用するインター予測６２３を使用することによってコーディングされ得、１つのピクチャは、一方向インター予測のために参照され、および／または２つのピクチャは、双方向インター予測のために参照される。インター予測６２３を実行する場合において、あるピクチャが同じレイヤ内の別のピクチャの参照として使用されるときは、そのピクチャは参照ピクチャと呼ばれ得る。例えば、ピクチャ６１２は、インター予測６２３に従ってピクチャ６１３をコーディングするために使用される参照ピクチャであり得る。インター予測６２３はまた、マルチレイヤコンテキストにおけるイントラレイヤ予測とも呼ばれ得る。このように、インター予測６２３は、参照ピクチャと現在のピクチャとが同じレイヤ内にある現在のピクチャとは異なる参照ピクチャ内の指示されたサンプルを参照することによって、現在のピクチャのサンプルをコーディングするメカニズムである。

ピクチャ６１１～６１８はまた、異なるレイヤ内の他のピクチャ６１１～６１８を参照することによってコーディングされ得る。この処理はレイヤ間予測６２１として知られており、破線矢印で示される。レイヤ間予測６２１は、現在のピクチャと参照ピクチャとが異なるレイヤ内にあり、したがって、異なるレイヤＩＤを有する参照ピクチャ内の指示されたサンプルを参照することによって、現在のピクチャのサンプルをコーディングするメカニズムである。例えば、下位レイヤＮ ６３１内のピクチャを参照ピクチャとして使用して、上位レイヤＮ＋１ ６３２の対応するピクチャをコーディングすることができる。具体例として、ピクチャ６１１は、レイヤ間予測６２１に従ってピクチャ６１５を参照することによってコーディングされ得る。そのような場合、ピクチャ６１５がレイヤ間参照ピクチャとして使用される。レイヤ間参照ピクチャは、レイヤ間予測６２１に使用される参照ピクチャである。ほとんどの場合、レイヤ間予測６２１は、ピクチャ６１１などの現在のピクチャが、同じＡＵに含まれ、ピクチャ６１５などの下位レイヤにあるレイヤ間参照ピクチャのみを使用できるように制約される。複数のレイヤ（例えば、２を超える）が利用可能である場合、レイヤ間予測６２１は、現在のピクチャよりも低いレベルにある複数のレイヤ間参照ピクチャに基づいて、現在のピクチャをエンコード／デコードすることができる。

ビデオエンコーダは、マルチレイヤビデオシーケンス６００を使用して、インター予測６２３およびレイヤ間予測６２１の多くの異なる組み合わせおよび／または順列を介してピクチャ６１１～６１８をエンコードすることができる。例えば、ピクチャ６１５は、イントラ予測に従ってコーディングされ得る。次いで、ピクチャ６１６～６１８は、ピクチャ６１５を参照ピクチャとして使用することによって、インター予測６２３に従ってコーディングされ得る。さらに、ピクチャ６１１は、ピクチャ６１５をレイヤ間参照ピクチャとして使用することによって、レイヤ間予測６２１に従ってコーディングされ得る。次いで、ピクチャ６１２～６１４は、ピクチャ６１１を参照ピクチャとして使用することによって、インター予測６２３に従ってコーディングされ得る。このように、参照ピクチャは、異なるエンコードメカニズムのための単一のレイヤ参照ピクチャおよびレイヤ間参照ピクチャの両方として機能し得る。下位レイヤＮ ６３１のピクチャに基づいて上位レイヤＮ＋１ ６３２ピクチャをコーディングすることにより、上位レイヤＮ＋１ ６３２は、インター予測６２３およびレイヤ間予測６２１よりもはるかに低いコーディング効率を有するイントラ予測を使用することを回避することができる。このように、イントラ予測の劣悪なコーディング効率は、最小／最低品質のピクチャに制限され、したがって、最小量のビデオデータをコーディングすることに制限され得る。参照ピクチャおよび／またはレイヤ間参照ピクチャとして使用されるピクチャは、参照ピクチャリスト構造に含まれる参照ピクチャリストのエントリで示され得る。

そのような動作を実行するために、レイヤＮ ６３１およびレイヤＮ＋１ ６３２などのレイヤは、ＯＬＳ６２５に含まれ得る。ＯＬＳ６２５は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤのセットである。出力レイヤは、出力（例えば、ディスプレイに）のために指定されるレイヤである。例えば、レイヤＮ ６３１は、レイヤ間予測６２１をサポートするためだけに含まれてもよく、決して出力されなくてもよい。そのような場合、レイヤＮ＋１ ６３２は、レイヤＮ ６３１に基づいてデコードされ、出力される。そのような場合、ＯＬＳ６２５は、出力レイヤとして、レイヤＮ＋１ ６３２を含む。場合によっては、ＯＬＳ６２５は、サイマルキャストレイヤと呼ばれる出力レイヤのみを含む。他の場合には、ＯＬＳ６２５は、異なる組み合わせで多くのレイヤを含み得る。例えば、ＯＬＳ６２５内の出力レイヤは、１つ、２つ、または多数の下位レイヤに基づくレイヤ間予測６２１に従ってコーディングされ得る。さらに、ＯＬＳ６２５は、２つ以上の出力レイヤを含み得る。したがって、ＯＬＳ６２５は、１つまたは複数の出力レイヤと、出力レイヤを再構成するのに必要な任意の支持レイヤとを含み得る。マルチレイヤビデオシーケンス６００は、各々がレイヤの異なる組み合わせを使用する多くの異なるＯＬＳ６２５を使用することによってコーディングされ得る。ＯＬＳ６２５は、各々が、対応するＯＬＳ６２５を一意に識別するインデックスであるＯＬＳインデックスに関連付けられている。

ＨＲＤ５００における標準適合性についてのマルチレイヤビデオシーケンス６００のチェックは、レイヤ６３１～６３２およびＯＬＳ６２５の数に応じて複雑になる場合がある。スケーラブルネスティングＳＥＩメッセージを使用して、レイヤ６３１～６３２およびＯＬＳ６２５を標準適合性についてチェックするのに必要なパラメータを示し得る。

図７は、例示的なビットストリーム７００を示す概略図である。例えば、ビットストリーム７００は、方法１００に従って、コーデックシステム２００および／またはデコーダ４００によってデコードするために、コーデックシステム２００および／またはエンコーダ３００によって生成され得る。さらに、ビットストリーム７００は、マルチレイヤビデオシーケンス６００を含み得る。加えて、ビットストリーム７００は、ＨＲＤ５００などのＨＲＤの動作を制御するための様々なパラメータを含み得る。そのようなパラメータに基づいて、ＨＲＤは、デコードのためにデコーダに向けて送信する前に、標準に適合しているかどうかについてビットストリーム７００をチェックすることができる。

ビットストリーム７００は、ＶＰＳ７１１と、１つまたは複数のＳＰＳ７１３と、複数のピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）７１５と、複数のスライスヘッダ７１７と、画像データ７２０と、ＳＥＩメッセージ７１９とを含む。ＶＰＳ７１１は、ビットストリーム７００全体に関するデータを含む。例えば、ＶＰＳ７１１は、ビットストリーム７００で使用されるデータ関連ＯＬＳ、レイヤ、および／またはサブレイヤを含み得る。ＳＰＳ７１３は、ビットストリーム７００に含まれるコーディングされたビデオシーケンス内のすべてのピクチャに共通のシーケンスデータを含む。例えば、各レイヤは、１つまたは複数のコーディングされたビデオシーケンスを含み得、各コーディングされたビデオシーケンスは、対応するパラメータについてＳＰＳ７１３を参照し得る。ＳＰＳ７１３内のパラメータは、ピクチャサイジング、ビット深度、コーディングツールパラメータ、ビットレート制限などを含むことができる。各シーケンスはＳＰＳ７１３を指すが、いくつかの例では、単一のＳＰＳ７１３は、複数のシーケンスのデータを含むことができることに留意されたい。ＰＰＳ７１５は、ピクチャ全体に適用されるパラメータを含む。したがって、ビデオシーケンスにおける各ピクチャは、ＰＰＳ７１５を称し得る。各ピクチャはＰＰＳ７１５を指すが、いくつかの例では、単一のＰＰＳ７１５は、複数のピクチャのデータを含むことができることに留意されたい。例えば、複数の同様したピクチャが、同様したパラメータに従ってコーディングされ得る。そのような場合、単一のＰＰＳ７１５は、そのような同様ピクチャのためのデータを含み得る。ＰＰＳ７１５は、対応するピクチャ内のスライスに利用可能なコーディングツール、量子化パラメータ、オフセットなどを示し得る。

スライスヘッダ７１７は、ピクチャ内の各スライスに固有のパラメータを含む。したがって、ビデオシーケンス内のスライスごとに１つのスライスヘッダ７１７が存在し得る。スライスヘッダ７１７は、スライスタイプ情報、ＰＯＣ、参照ピクチャリスト、予測重み、タイルエントリポイント、デブロッキングパラメータなどを含み得る。いくつかの例では、ビットストリーム７００はまた、単一のピクチャ内のすべてのスライスに適用されるパラメータを含むシンタックス構造である、ピクチャヘッダも含み得ることに留意されたい。このため、ピクチャヘッダおよびスライスヘッダ７１７は、いくつかのコンテキストにおいて交換可能に使用され得る。例えば、特定のパラメータは、そのようなパラメータがピクチャ内のすべてのスライスに共通であるかどうかに応じて、スライスヘッダ７１７とピクチャヘッダとの間で移動され得る。

画像データ７２０は、インター予測および／またはイントラ予測に従ってエンコードされたビデオデータ、ならびに対応する変換および量子化された残差データを含む。例えば、画像データ７２０は、ＯＬＳ７２１、レイヤ７２３、ピクチャ７２５、および／またはスライス７２７を含み得る。ＯＬＳ７２１は、１つまたは複数のレイヤが出力レイヤとして指定されるレイヤ７２３のセットである。ＯＬＳ７２１は、ＯＬＳ６２５と実質的に同様であってもよい。レイヤ７２３は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄなどのレイヤＩＤによって示されるように、指定された特性（例えば、共通解像度、フレームレート、画像サイズなど）および関連付けられた非ＶＣＬ ＮＡＬユニットを共有するＶＣＬ ＮＡＬユニットのセットである。例えば、レイヤ７２３は、同じｎｕｈ＿ｌａｙｅｒ＿ｉｄを共有するピクチャ７２５のセットを含み得る。レイヤ７２３は、レイヤ６３１および／または６３２と実質的に同様であってもよい。ピクチャ７２５は、フレームまたはそのフィールドを生成する輝度サンプルのアレイおよび／または彩度サンプルのアレイである。例えば、ピクチャ７２５は、表示のために出力され得る、または出力のために他のピクチャ７２５のコーディングを支持するために使用され得るコーディングされた画像である。ピクチャ７２５は、１つまたは複数のスライス７２７を含む。スライス７２７は、整数個の完全なタイルまたは整数個の単一のＮＡＬユニットに排他的に含まれるピクチャ７２５の連続する完全なコーディングツリーユニット（ＣＴＵ）行（例えば、タイル内）として定義されてもよい。スライス７２７は、ＣＴＵおよび／またはコーディングツリーブロック（ＣＴＢ）にさらに分割される。ＣＴＵは、コーディングツリーによって分割され得る所定のサイズのサンプルのグループである。ＣＴＢは、ＣＴＵのサブセットであり、ＣＴＵの輝度成分または彩度成分を含む。ＣＴＵ／ＣＴＢは、コーディングツリーに基づいてコーディングブロックにさらに分割される。次いで、コーディングブロックは、予測メカニズムに従ってエンコード／デコードされ得る。

ビットストリーム７００は、一連のＮＡＬユニットとしてコーディングされ得る。ＮＡＬユニットは、ビデオデータおよび／または支持シンタックスのためのコンテナである。ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットまたは非ＶＣＬ ＮＡＬユニットであり得る。ＶＣＬ ＮＡＬユニットは、画像データ７２０および関連付けられたスライスヘッダ７１７などのビデオデータを含むようにコーディングされたＮＡＬユニットである。非ＶＣＬ ＮＡＬユニットは、ビデオデータのデコード、適合性チェックの実行、または他の動作をサポートするシンタックスおよび／またはパラメータなどの非ビデオデータを含むＮＡＬユニットである。例えば、非ＶＣＬ ＮＡＬユニットは、ＶＰＳ７１１、ＳＰＳ７１３、ＰＰＳ７１５、ＳＥＩメッセージ７１９、または他の支持シンタックスを含み得る。

ＳＥＩメッセージ７１９は、デコードされたピクチャ内のサンプルの値を決定するためにデコード処理によって必要とされない情報を伝達する指定されたセマンティクスを有するシンタックス構造である。例えば、ＳＥＩメッセージ７１９は、ＨＲＤ処理を支持するためのデータ、またはデコーダにおけるビットストリーム７００のデコードに直接関連しない他の支持データを含み得る。ＳＥＩメッセージ７１９は、スケーラブルネスティングＳＥＩメッセージであり得る。スケーラブルネスティングＳＥＩメッセージは、１つもしくは複数のＯＬＳ７２１または１つもしくは複数のレイヤ７２３に対応する複数のスケーラブルネスティングされたＳＥＩメッセージを含むメッセージである。したがって、スケーラブルネスティングＳＥＩメッセージは、同じタイプのスケーラブルネスティングされたＳＥＩメッセージのセットを含むＳＥＩメッセージ７１９である。ＳＥＩメッセージ７１９は、ＣＰＢを管理するためにＨＲＤを初期化するためのＨＲＤパラメータを含むＢＰ ＳＥＩメッセージを含み得る。ＳＥＩメッセージ７１９はまた、ＣＰＢおよび／またはＤＰＢにおけるＡＵのための配信情報を管理するためのＨＲＤパラメータを含むＰＴ ＳＥＩメッセージを含み得る。ＳＥＩメッセージ７１９はまた、ＣＰＢおよび／またはＤＰＢにおけるＤＵのための配信情報を管理するためのＨＲＤパラメータを含むＤＵＩ ＳＥＩメッセージを含み得る。

ビットストリーム７００は、ＳＥＩメッセージ７１９の構成をシグナリングするための様々なフラグを含む。例えば、ＳＥＩメッセージ７１９は、ＳＥＩメッセージ７１９がスケーラブルネスティングＳＥＩメッセージである場合、スケーラブルネスティング（ＳＮ）ＯＬＳフラグ７３１、ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）７３３、スケーラブルネスティングＯＬＳデルタから１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）７３５、レイヤのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）７３７、および／またはスケーラブルネスティングレイヤＩＤ（ｌａｙｅｒ＿ｉｄ［ｉ］）７３９を含み得る。

スケーラブルネスティングＯＬＳフラグ７３１は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳ７２１に適用されるか、または特定のレイヤ７２３に適用されるかを指定するシンタックス要素である。例えば、スケーラブルネスティングＯＬＳフラグ７３１は、スケーラブルネスティングされたＳＥＩメッセージが（レイヤではなく）特定のＯＬＳ７２１に適用される場合に、１に設定され得る。さらに、スケーラブルネスティングＯＬＳフラグ７３１は、スケーラブルネスティングされたＳＥＩメッセージが（ＯＬＳではなく）特定のレイヤ７２３に適用される場合に、０に設定され得る。したがって、ＨＲＤは、ＳＥＩメッセージ７１９内のスケーラブルネスティングＯＬＳフラグ７３１を読み取り、その中に含まれるすべてのスケーラブルネスティングされたＳＥＩメッセージがＯＬＳ７２１またはレイヤ７２３を記述しているかどうかを決定し得る。

スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ７３３は、スケーラブルネスティングＯＬＳフラグ７３１によって示されるように、ＳＥＩメッセージ７１９がＯＬＳ７２１に関連する場合に使用される。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ７３３は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳ７２１の数を指定するシンタックス要素である。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ７３３は、マイナス１のフォーマットを使用し、したがって、実際の値よりも１小さいものを含む。例えば、スケーラブルネスティングＳＥＩメッセージが５つのＯＬＳ７２１に関連するスケーラブルネスティングされたＳＥＩメッセージを含む場合、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ７３３は、４の値に設定される。

スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５は、スケーラブルネスティングＯＬＳフラグ７３１によって示されるように、ＳＥＩメッセージ７１９がＯＬＳ７２１に関連する場合に使用される。スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５は、ネスティングＯＬＳインデックスを導出するのに十分なデータを含むシンタックス要素である。具体的には、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５は、スケーラブルネスティングＳＥＩメッセージ内の各スケーラブルネスティングされたＳＥＩメッセージのＯＬＳインデックスを含む。このように、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５を使用して、スケーラブルネスティングされたＳＥＩメッセージをＯＬＳ７２１に相関付けることができる。具体例では、ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５を使用して、各スケーラブルネスティングされたＳＥＩメッセージのネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ）を決定し得る。ＮｅｓｔｉｎｇＯｌｓＩｄｘは、対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳ７２１のＯＬＳインデックスを指定するシンタックス要素である。一例では、変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、スケーラブルネスティングＯＬＳフラグ７３１によって示されるように、ＳＥＩメッセージ７１９がレイヤ７２３に関連する場合に使用される。スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤ７２３の数を指定するシンタックス要素である。スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、マイナス１のフォーマットを使用し、したがって、実際の値よりも１小さいものを含む。例えば、スケーラブルネスティングＳＥＩメッセージが５つのレイヤ７２３に関連するスケーラブルネスティングされたＳＥＩメッセージを含む場合、スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７は、４の値に設定される。

ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、スケーラブルネスティングＯＬＳフラグ７３１によって示されるように、ＳＥＩメッセージ７１９がレイヤ７２３に関連する場合に使用される。ｌａｙｅｒ＿ｉｄ［ｉ］７３９は、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定するシンタックス要素である。このように、ｌａｙｅｒ＿ｉｄ［ｉ］７３９を使用して、スケーラブルネスティングされたＳＥＩメッセージの各々を対応するレイヤ７２３に関連付けることができる。

したがって、ビットストリーム７００に記述されるフラグは、ＨＲＤおよび／またはデコーダが、ＳＥＩメッセージ７１９の構成を迅速に決定することを可能にする。ＨＲＤ／デコーダは、スケーラブルネスティングされたメッセージのセットがＯＬＳ７２１またはレイヤ７２３に関連するかどうかを決定するために、スケーラブルネスティングＯＬＳフラグ７３１を使用し得る。次いで、ＨＲＤ／デコーダは、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１ ７３３を使用して対応するＯＬＳ７２１の数、およびスケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］７３５を使用して各対応するＯＬＳ７２１のインデックスを決定して、スケーラブルネスティングされたメッセージがＯＬＳ７２１に関連する場合、スケーラブルネスティングされたメッセージをどのように適用するかを決定できる。さらに、ＨＲＤ／デコーダは、スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ ７３７を使用して対応するレイヤ７２３の数、およびｌａｙｅｒ＿ｉｄ［ｉ］７３９を使用して各対応するレイヤ７２３のインデックスを決定して、スケーラブルネスティングされたメッセージがレイヤ７２３に関連する場合、スケーラブルネスティングされたメッセージをどのように適用するかを決定できる。この手法は、ＳＥＩメッセージ７１９タイプの数を低減する。これは、複雑度を低減し、メッセージタイプの総数を低減する。これにより、各タイプのメッセージを識別するために使用されるメッセージＩＤデータの長さが低減される。その結果、コーディング効率が向上し、エンコーダおよびデコーダの両方でのプロセッサ、メモリ、および／またはネットワークシグナリングリソースの使用は低減される。

ここで、前述の情報を以下でより詳細に説明する。レイヤ化されたビデオコーディングはまた、スケーラブルビデオコーディングまたはスケーラビリティを有するビデオコーディングとも呼ばれる。ビデオコーディングにおけるスケーラビリティは、マルチレイヤコーディング技術を使用することによってサポートされ得る。マルチレイヤビットストリームは、ベースレイヤ（ｂａｓｅ ｌａｙｅｒ、ＢＬ）および１つまたは複数の拡張レイヤ（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ、ＥＬ）を備える。スケーラビリティの例は、空間スケーラビリティ、品質／信号対雑音比（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ、ＳＮＲ）スケーラビリティ、マルチビュースケーラビリティ、フレームレートスケーラビリティなどを含む。マルチレイヤコーディング技術が使用される場合、ピクチャまたはその一部は、参照ピクチャを使用せずにコーディングされてもよく（イントラ予測）、同じレイヤ内の参照ピクチャを参照することによってコーディングされてもよく（インター予測）、および／または他のレイヤ内の参照ピクチャを参照することによってコーディングされてもよい（レイヤ間予測）。現在のピクチャのレイヤ間予測に使用される参照ピクチャは、レイヤ間参照ピクチャ（ｉｎｔｅｒ－ｌａｙｅｒ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ＩＬＲＰ）と呼ばれる。図６は、異なるレイヤのピクチャが異なる解像度を有する空間スケーラビリティのためのマルチレイヤコーディングの例を示す。

いくつかのビデオコーディングファミリーは、単一レイヤコーディングのためのプロファイルから分離されたプロファイルにおけるスケーラビリティの支持を提供する。スケーラブルビデオコーディング（ＳＶＣ）は、空間、時間、および品質のスケーラビリティの支持を提供する高度なビデオコーディング（ＡＶＣ）のスケーラブル拡張である。ＳＶＣの場合、下位レイヤからのコロケートブロックを使用してＥＬ ＭＢが予測されるかどうかを示すために、ＥＬピクチャ内の各マクロブロック（ＭＢ）においてフラグがシグナリングされる。コロケートブロックからの予測は、テクスチャ、動きベクトル、および／またはコーディングモードを含み得る。ＳＶＣの実装は、それらの設計において修正されていないＡＶＣ実装を直接再利用しない場合がある。ＳＶＣ ＥＬマクロブロックシンタックスおよびデコード処理は、ＡＶＣシンタックスおよびデコード処理とは異なる。

スケーラブルＨＥＶＣ（ＳＨＶＣ）は、空間および品質のスケーラビリティの支持を提供するＨＥＶＣの拡張である。マルチビューＨＥＶＣ（ＭＶ－ＨＥＶＣ）は、マルチビュースケーラビリティの支持を提供するＨＥＶＣの拡張である。３Ｄ ＨＥＶＣ（３Ｄ－ＨＥＶＣ）は、ＭＶ－ＨＥＶＣよりも高度で効率的な３Ｄビデオコーディングの支持を提供するＨＥＶＣの拡張である。時間スケーラビリティは、単一レイヤＨＥＶＣコーデックの不可欠な部分として含まれ得る。ＨＥＶＣのマルチレイヤ拡張では、レイヤ間予測に使用されるデコードされたピクチャは、同じＡＵのみから来て、ロングターム参照ピクチャ（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ、ＬＴＲＰ）として扱われる。そのようなピクチャには、現在のレイヤ内の他の時間参照ピクチャと共に、参照ピクチャリスト内の参照インデックスが割り当てられる。レイヤ間予測（Ｉｎｔｅｒ－ｌａｙｅｒ ｐｒｅｄｉｃｔｉｏｎ、ＩＬＰ）は、参照ピクチャリスト内のレイヤ間参照ピクチャを参照するための参照インデックスの値を設定することにより、予測ユニット（ＰＵ）レベルで達成される。空間スケーラビリティは、ＩＬＲＰがエンコードまたはデコードされている現在のピクチャとは異なる空間解像度を有する場合、参照ピクチャまたはその一部をリサンプルする。参照ピクチャのリサンプリングは、ピクチャレベルまたはコーディングブロックレベルのいずれかで実現され得る。

ＶＶＣはまた、レイヤ化されたビデオコーディングを支持し得る。ＶＶＣビットストリームは、複数のレイヤを含み得る。レイヤは、すべて互いに独立していてもよい。例えば、レイヤ間予測を使用せずに、各レイヤをコーディングし得る。この場合、レイヤはまた、サイマルキャストレイヤとも呼ばれる。場合によっては、レイヤの一部は、ＩＬＰを使用してコーディングされる。ＶＰＳ内のフラグは、レイヤがサイマルキャストレイヤであるか、またはいくつかのレイヤがＩＬＰを使用するか、を示し得る。いくつかのレイヤがＩＬＰを使用する場合、レイヤ間のレイヤ依存関係はまた、ＶＰＳでシグナリングされる。ＳＨＶＣおよびＭＶ－ＨＥＶＣとは異なり、ＶＶＣは、ＯＬＳを指定しない場合がある。ＯＬＳは、指定されたレイヤのセットを含み、レイヤのセット内の１つまたは複数のレイヤが出力レイヤであるように指定される。出力レイヤは、出力されるＯＬＳのレイヤである。ＶＶＣのいくつかの実装形態では、レイヤがサイマルキャストレイヤである場合、デコードおよび出力のために１つのレイヤのみが選択され得る。ＶＶＣのいくつかの実装形態では、任意のレイヤがＩＬＰを使用するとき、すべてのレイヤを含むビットストリーム全体がデコードされるように指定される。さらに、レイヤのうち、特定のレイヤを出力レイヤと指定する。出力レイヤは、最高レイヤのみ、すべてのレイヤ、または最高レイヤに示された下位レイヤのセットを加えたものであると示され得る。

前述の態様は、特定の問題を含む。スケーラブル拡張ＳＨＶＣおよびＭＶ－ＨＥＶＣを含むＨＥＶＣは、ＳＥＩメッセージを様々な動作点に対応するビットストリームサブセットまたは特定のレイヤもしくはサブレイヤと関連付けるために、スケーラブルネスティングＳＥＩメッセージを使用し得る。ＨＥＶＣはまた、ＳＥＩメッセージをＯＬＳにおけるビットストリーム分割と関連付けるためにビットストリーム分割ネスティングを使用し得る。ビットストリーム分割は、マルチレイヤビットストリームの１つまたは複数のレイヤを含む。各ビットストリーム分割ネスティングＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ内に含まれ得る。ＯＬＳのためのＳＥＩメッセージのためのこの２レベルネスティングスキームは複雑である。

一般に、本開示は、マルチレイヤビデオビットストリームにおける出力レイヤセットのためのＳＥＩメッセージのスケーラブルネスティングのための手法を記載する。技術の説明は、ＶＶＣに基づく。しかしながら、技術はまた、他のビデオコーデック仕様に基づく、レイヤ化されたビデオコーディングにも適用される。

上記の問題のうち１つまたは複数は、以下のように解決することができる。具体的には、本開示は、マルチレイヤビデオビットストリームにおけるＯＬＳのためのＳＥＩメッセージの単純かつ効率的なスケーラブルネスティングのための方法を含む。２レベルネスティングスキームを使用する代わりに、１つのネスティングＳＥＩメッセージのみが、ＯＬＳ内の１つまたは複数のレイヤに適用されるネスティングＳＥＩメッセージを直接含むように定義される。

前述のメカニズムの例示的な実装形態は、以下の通りである。例示的なスケーラブルネスティングＳＥＩメッセージシンタックスは、以下の通りである。

代替例では、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しいときにフラグが追加され得る。このフラグは、スケーラブルネスティングされたＳＥＩメッセージが、すべてのＯＬＳに適用され、各ＯＬＳ内のすべてのレイヤに適用可能であることを示すために、１に等しく設定され得る。このフラグが１に等しく設定された場合、このフラグの後からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１までのすべてのシンタックス要素は、シグナリングされない。別の代替例では、フラグが使用され、スケーラブルネスティングされたＳＥＩメッセージが、すべてのＯＬＳに適用されることを示すために、１に等しく設定され得る。このフラグが１に等しい場合、シンタックス要素ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１およびシンタックス要素ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］のリストは、シグナリングされない。別の代替例では、シンタックス要素ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］によってシグナリングされるネスティングＯＬＳインデックス値は、デルタコーディングされる代わりに直接コーディングされる。別の代替例では、フラグが使用され、スケーラブルネスティングされたＳＥＩメッセージが、ＯＬＳのすべてのレイヤに適用されることを示すために、１に等しく設定され得る。このフラグが１に等しい場合、シンタックス要素ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］およびｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］のリストは、シグナリングされない。別の代替例では、シンタックス要素ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］によってシグナリングされるネスティングＯＬＳレイヤインデックス値は、デルタコーディングされる代わりに直接コーディングされる。

例示的なスケーラブルネスティングＳＥＩメッセージセマンティクスは、以下の通りである。

スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、特定のＯＬＳのコンテキストにおける特定のレイヤに、またはＯＬＳのコンテキストにはない特定のレイヤに関連付けるためのメカニズムを提供する。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のＳＥＩメッセージを含む。スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージはまた、スケーラブルネスティングされたＳＥＩメッセージとも呼ばれる。ビットストリーム適合性は、スケーラブルネスティングＳＥＩメッセージ内にＳＥＩメッセージを含める場合に以下の制限を適用することを要求し得る。

１３２（デコードされたピクチャハッシュ）または１３３（スケーラブルネスティング）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないべきである。スケーラブルネスティングＳＥＩメッセージが、バッファリング期間、ピクチャタイミング、またはデコードユニット情報ＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージは、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（デコードユニット情報）に等しくない任意の他のＳＥＩメッセージを含まないべきである。

ビットストリーム適合性はまた、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値に以下の制限を適用することを要求し得る。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、１３０（デコードユニット情報）、１４５（従属ＲＡＰ指示）、または１６８（フレームフィールド情報）に等しいＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅセットを有するべきである。スケーラブルネスティングＳＥＩメッセージが、１３２（デコードされたピクチャハッシュ）に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む場合、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅセットを有するべきである。

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳのコンテキストにおける特定のレイヤに適用されることを指定するために、１に等しく設定され得る。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、特定のレイヤに適用される（例えば、ＯＬＳのコンテキストにはない）ことを指定するために、０に等しく設定され得る。

ビットストリーム適合性は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値に以下の制限を適用することを要求し得る。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（デコードユニット情報）に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は、１に等しいべきである。スケーラブルネスティングＳＥＩメッセージが、ｐａｙｌｏａｄＴｙｐｅがＶｃｌＡｓｓｏｃｉａｔｅｄＳｅｉＬｉｓｔ内の値に等しいＳＥＩメッセージを含む場合、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇの値は、０に等しいべきである。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内であるべきである。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）の範囲内であるべきである。変数ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出され得る。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］に１を加えた数は、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいて、スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－１（両端を含む）の範囲内であるべきである。

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］［ｊ］は、ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合に、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］番目のＯＬＳのコンテキストにおいて、スケーラブルネスティングされたＳＥＩメッセージが適用されるｊ番目のレイヤのＯＬＳレイヤインデックスを指定する変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］を導出するために使用される。ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｌａｙｅｒ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］の値は、０～ＮｕｍＬａｙｅｒｓＩｎＯｌｓ［ｎｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］－２（両端を含む）の範囲内であるべきである。

変数ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［ｊ］は、以下のように導出され得る。

０～ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１（両端を含む）の範囲内のｉについてのＬａｙｅｒＩｄＩｎＯｌｓ［ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］］［ＮｅｓｔｉｎｇＯｌｓＬａｙｅｒＩｄｘ［ｉ］［０］］のすべての値のうちの最低値は、現在のＳＥＩ ＮＡＬユニット（例えば、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニット）のｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいべきである。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいかまたはそれに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されることを指定するために、１に等しく設定され得る。ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、スケーラブルネスティングされたＳＥＩメッセージが、一般に、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいかまたはそれに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するすべてのレイヤに適用されても適用されなくてもよいことを指定するために、０に等しく設定され得る。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、０～ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１ーＧｅｎｅｒａｌＬａｙｅｒＩｄｘ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］（両端を含む）の範囲内であるべきであり、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるｉ番目のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を指定する。ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］の値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄより大きいべきであり、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｎｅｓｔｉｎｇ＿ｏｌｓ＿ｆｌａｇが１に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤの数を指定する変数ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓと、スケーラブルネスティングされたＳＥＩメッセージが一般に適用されるレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のリストを指定する、０～ＮｅｓｔｉｎｇＮｕｍＬａｙｅｒｓー１（両端を含む）の範囲内のｉについてのリストＮｅｓｔｉｎｇＬａｙｅｒＩｄ［ｉ］とは、以下のように導出され、ここで、ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄである。

ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１に１を加えた数は、スケーラブルネスティングされたＳＥＩメッセージの数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｓｅｉｓ＿ｍｉｎｕｓ１の値は、０～６３（両端を含む）の範囲内であるべきである。ｎｅｓｔｉｎｇ＿ｚｅｒｏ＿ｂｉｔは、０に等しく設定されるべきである。

図８は、例示的なビデオコーディングデバイス８００を示す概略図である。ビデオコーディングデバイス８００は、本明細書に記載の開示された例／実施形態を実装するのに好適である。ビデオコーディングデバイス８００は、ネットワークを介して上流および／または下流でデータを通信するための送信機および／または受信機を含む、下流ポート８２０、上流ポート８５０、および／またはトランシーバユニット（Ｔｘ／Ｒｘ）８１０を備える。ビデオコーディングデバイス８００はまた、データを処理するための論理ユニットおよび／または中央処理デバイス（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）を含むプロセッサ８３０と、データを記憶するためのメモリ８３２とを含む。ビデオコーディングデバイス８００はまた、電気、光、または無線通信ネットワークを介したデータの通信のために、上流ポート８５０および／または下流ポート８２０に結合された、電気、光－電気（ＯＥ）コンポーネント、電気－光（ＥＯ）コンポーネント、および／または無線通信コンポーネントを備え得る。ビデオコーディングデバイス８００はまた、ユーザとの間でデータを通信するための入力および／または出力（Ｉ／Ｏ）デバイス８６０を含み得る。Ｉ／Ｏデバイス８６０は、ビデオデータを表示するためのディスプレイ、オーディオデータを出力するためのスピーカなどの出力デバイスを含み得る。Ｉ／Ｏデバイス８６０はまた、キーボード、マウス、トラックボールなどの入力デバイス、および／またはそのような出力デバイスと対話するための対応するインターフェースを含み得る。

プロセッサ８３０は、ハードウェアおよびソフトウェアにより実装される。プロセッサ８３０は、１つまたは複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、およびデジタル信号プロセッサ（ＤＳＰ）として実装され得る。プロセッサ８３０は、下流ポート８２０、Ｔｘ／Ｒｘ８１０、上流ポート８５０、およびメモリ８３２と通信する。プロセッサ８３０は、コーディングモジュール８１４を備える。コーディングモジュール８１４は、マルチレイヤビデオシーケンス６００、および／またはビットストリーム７００を使用し得る方法１００、９００、および１０００など、本明細書に記載された開示された実施形態を実装する。コーディングモジュール８１４はまた、本明細書に記載された任意の他の方法／メカニズムを実装し得る。さらに、コーディングモジュール８１４は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはＨＲＤ５００を実装し得る。例えば、コーディングモジュール８１４は、ＨＲＤを実装するために使用され得る。さらに、コーディングモジュール８１４を使用して、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージの明瞭かつ簡潔なシグナリングを支持するために、対応するフラグを有するスケーラブルネスティングＳＥＩメッセージをエンコードし得る。したがって、コーディングモジュール８１４は、上述した問題のうち１つまたは複数に対処するためのメカニズムを実行するように構成され得る。したがって、コーディングモジュール８１４は、ビデオデータをコーディングするときに、ビデオコーディングデバイス８００に追加の機能性および／またはコーディング効率を提供させる。このように、コーディングモジュール８１４は、ビデオコーディングデバイス８００の機能性を改善し、ビデオコーディング技術に特有の問題に対処する。さらに、コーディングモジュール８１４は、ビデオコーディングデバイス８００を異なる状態に変換する。あるいは、コーディングモジュール８１４は、（例えば、非一時的媒体に記憶されたコンピュータプログラム製品として）メモリ８３２に記憶され、プロセッサ８３０によって実行される命令として実装することができる。

メモリ８３２は、ディスク、テープドライブ、ソリッドステートドライブ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、三元連想メモリ（ＴＣＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）などの１つまたは複数のメモリタイプを含む。メモリ８３２は、オーバーフローデータ記憶デバイスとして使用され、そのようなプログラムが実行のために選択されたときにプログラムを記憶し、プログラム実行中に読み出される命令およびデータを記憶することができる。

図９は、スケーラブルネスティングＳＥＩメッセージを含むビットストリーム７００などのビットストリームにビデオシーケンスをエンコードする例示的な方法９００のフローチャートである。方法９００は、方法１００を実行するときに、コーデックシステム２００、エンコーダ３００、および／またはビデオコーディングデバイス８００などのエンコーダによって使用され得る。さらに、方法９００は、ＨＲＤ５００上で動作し得、したがって、マルチレイヤビデオシーケンス６００に対して適合性試験を実行することができる。

方法９００は、エンコーダがビデオシーケンスを受信し、例えば、ユーザ入力に基づいて、そのビデオシーケンスをマルチレイヤビットストリームにエンコードすることを決定したときに開始することができる。段階９０１において、エンコーダは、ビデオシーケンスを１つまたは複数のレイヤにエンコードし、レイヤをマルチレイヤビットストリームにエンコードする。レイヤは、同じレイヤＩＤおよび関連付けられた非ＶＣＬ ＮＡＬユニットを有するＶＣＬ ＮＡＬユニットのセットを含み得る。例えば、レイヤは、エンコードされたピクチャのビデオデータを含むＶＣＬ ＮＡＬユニットのセットと、そのようなピクチャをコーディングするために使用される任意のパラメータセットとを含み得る。レイヤは、ＯＬＳに含まれ得る。例えば、ＯＬＳは、出力レイヤと、レイヤ間予測に従って出力レイヤをデコードするために使用され得る任意の支持レイヤとを含み得る。このように、ＯＬＳは、例えば、対応する画像サイズ、ＳＮＲ、フレームレートなどでビデオシーケンスの表現をデコードするのに十分なデータを含み得る。ビデオシーケンスはいくつかの表現にコーディングされ得るので、ビデオシーケンスは、必要に応じていくつかのＯＬＳに編成されるいくつかのレイヤを含み得る。このようにして、エンコーダは、要求に応じて、デコーダに送信するために、対応するレイヤを有するＯＬＳを選択し得る。

段階９０３において、エンコーダは、ＳＥＩメッセージをビットストリームにエンコードする。ＳＥＩメッセージは、デコードに使用されないデータを含むシンタックス構造である。例えば、ＳＥＩメッセージは、ビットストリームが標準に適合していることを保証するために適合性試験を支持するためのデータを含み得る。マルチレイヤビットストリームと共に使用されるときに簡略化されたシグナリングを支持するために、ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージとしてエンコードされる。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージのセットを含む。スケーラブルネスティングされたＳＥＩメッセージは、ＯＬＳのうち１つまたは複数および／またはレイヤのうち１つまたは複数にそれぞれ適用され得る。簡略化されたシグナリングを支持するために、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含む。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳに適用されるか、または特定のレイヤに適用されるかを指定するように設定され得る。例えば、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが（例えば、レイヤではなく）特定の／対応するＯＬＳに適用されることを指定する場合に、１に設定され得る。別の例として、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが（例えば、ＯＬＳではなく）特定の／対応するレイヤに適用されることを指定する場合に、０に設定され得る。スケーラブルネスティングＳＥＩメッセージは、いくつかのタイプのスケーラブルネスティングされたＳＥＩメッセージを含み得る。具体例として、スケーラブルネスティングされたＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、および／またはデコードユニット情報ＳＥＩメッセージを含み得る。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報である任意のＳＥＩメッセージを含む場合、スケーラブルネスティングされたＳＥＩメッセージが（例えば、レイヤではなく）特定のＯＬＳに適用されることを示すために、１に設定され得る。

スケーラブルネスティングＳＥＩメッセージは、対応するスケーラブルネスティングされたＳＥＩメッセージがエンコーダにおいてＨＲＤによってどのように使用されるべきかを示すための他のデータを含み得る。例えば、スケーラブルネスティングＳＥＩメッセージは、対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定するスケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素を含み得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素は、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがＯＬＳに適用されることを示すために１に設定される場合に使用され得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内に留まるように制約され得る。同様の方式で、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがレイヤに適用されることを示すために０に設定される場合、対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定するスケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１を含み得る。

スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素を含み得、これは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがＯＬＳに適用されることを示すために１に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用される。具体的には、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素を使用して、各スケーラブルネスティングされたＳＥＩメッセージに対応するＯＬＳを指定し得る。このように、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１を使用して、スケーラブルネスティングＳＥＩメッセージによって参照されるＯＬＳの数を決定し得、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］を使用して、各スケーラブルネスティングされたＳＥＩメッセージを対応するＯＬＳに相関付けることができる。スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）の範囲内に留まるように制約され得る。具体例では、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

同様の方式で、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがレイヤに適用されることを示すために０に等しい場合、スケーラブルネスティングｌａｙｅｒ＿ｉｄ［ｉ］を含み得る。スケーラブルネスティングｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのレイヤＩＤ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）値を指定する。

段階９０５において、エンコーダにおいて動作するＨＲＤは、スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行することができる。例えば、ＨＲＤは、スケーラブルネスティングＳＥＩメッセージ内のフラグを読み出して、スケーラブルネスティングＳＥＩメッセージに含まれるスケーラブルネスティングされたＳＥＩメッセージをどのように解釈すべきかを決定し得る。次いで、ＨＲＤは、スケーラブルネスティングされたＳＥＩメッセージを読み出して、ＯＬＳおよび／またはレイヤが標準に適合しているかどうかをチェックする方法を決定し得る。次いで、ＨＲＤは、スケーラブルネスティングされたＳＥＩメッセージおよび／またはスケーラブルネスティングＳＥＩメッセージ内の対応するフラグに基づいて、ＯＬＳおよび／またはレイヤに対する適合性試験を実行することができる。段階９０７において、エンコーダは、要求に応じて、デコーダに向けて通信するためにビットストリームを記憶し得る。

図１０は、スケーラブルネスティングＳＥＩメッセージを含むビットストリーム７００などのビットストリームからビデオシーケンスをデコードする例示的な方法１０００のフローチャートである。方法１０００は、方法１００を実行するときに、コーデックシステム２００、デコーダ４００、および／またはビデオコーディングデバイス８００などのデコーダによって使用され得る。さらに、方法１０００は、ＨＲＤ５００などのＨＲＤによって適合性がチェックされたマルチレイヤビデオシーケンス６００上で使用され得る。

方法１０００は、デコーダが、例えば、方法９００の結果として、マルチレイヤビデオシーケンスを表すコーディングされたデータのビットストリームを受信し始めるときに開始し得る。段階１００１において、デコーダは、１つまたは複数のレイヤを含むビットストリームを受信する。レイヤは、同じレイヤＩＤおよび関連付けられた非ＶＣＬ ＮＡＬユニットを有するＶＣＬ ＮＡＬユニットのセットを含み得る。例えば、レイヤは、エンコードされたピクチャのビデオデータを含むＶＣＬ ＮＡＬユニットのセットと、そのようなピクチャをコーディングするために使用される任意のパラメータセットとを含み得る。レイヤは、ＯＬＳに含まれ得る。例えば、ＯＬＳは、出力レイヤと、レイヤ間予測に従って出力レイヤをデコードするために使用され得る任意の支持レイヤとを含み得る。このように、ＯＬＳは、例えば、対応する画像サイズ、ＳＮＲ、フレームレートなどでビデオシーケンスの表現をデコードするのに十分なデータを含み得る。ビデオシーケンスはいくつかの表現にコーディングされ得るので、ビデオシーケンスは、必要に応じていくつかのＯＬＳに編成されるいくつかのレイヤを含み得る。このようにして、デコーダは、ビデオシーケンスの特定の表現をデコードおよび表示するために、必要に応じて対応するレイヤを有する指定されたＯＬＳを要求および受信し得る。

ビットストリームはまた、１つまたは複数のスケーラブルネスティングＳＥＩメッセージを含む。ＳＥＩメッセージは、デコードに使用されないデータを含むシンタックス構造である。例えば、ＳＥＩメッセージは、ビットストリームが標準に適合していることを保証するために適合性試験を支持するためのデータを含み得る。マルチレイヤビットストリームと共に使用されるときに簡略化されたシグナリングを支持するために、ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージにおいてコーディングされる。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージのセットを含む。スケーラブルネスティングされたＳＥＩメッセージは、ＯＬＳのうち１つまたは複数および／またはレイヤのうち１つまたは複数にそれぞれ適用され得る。簡略化されたシグナリングを支持するために、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグを含む。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングＳＥＩメッセージ内のスケーラブルネスティングされたＳＥＩメッセージが、特定のＯＬＳに適用されるか、または特定のレイヤに適用されるかを指定するように設定され得る。例えば、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが（例えば、レイヤではなく）特定の／対応するＯＬＳに適用されることを指定する場合に、１に設定され得る。別の例として、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが（例えば、ＯＬＳではなく）特定の／対応するレイヤに適用されることを指定する場合に、０に設定され得る。スケーラブルネスティングＳＥＩメッセージは、いくつかのタイプのスケーラブルネスティングされたＳＥＩメッセージを含み得る。具体例として、スケーラブルネスティングされたＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、および／またはデコードユニット情報ＳＥＩメッセージを含み得る。スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報である任意のＳＥＩメッセージを含む場合、スケーラブルネスティングされたＳＥＩメッセージが（例えば、レイヤではなく）特定のＯＬＳに適用されることを示すために、１に設定され得る。

スケーラブルネスティングＳＥＩメッセージは、対応するスケーラブルネスティングされたＳＥＩメッセージがエンコーダにおいてＨＲＤによってどのように使用されるべきかを示すための他のデータを含み得る。例えば、スケーラブルネスティングＳＥＩメッセージは、対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定するスケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素を含み得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素は、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがＯＬＳに適用されることを示すために１に設定される場合に使用され得る。スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－１（両端を含む）の範囲内に留まるように制約され得る。同様の方式で、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがレイヤに適用されることを示すために０に設定される場合、対応するスケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定するスケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１を含み得る。

スケーラブルネスティングＳＥＩメッセージはまた、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素を含み得、これは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがＯＬＳに適用されることを示すために１に等しい場合、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用される。具体的には、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素を使用して、各スケーラブルネスティングされたＳＥＩメッセージに対応するＯＬＳを指定し得る。このように、スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１を使用して、スケーラブルネスティングＳＥＩメッセージによって参照されるＯＬＳの数を決定し得、スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］を使用して、各スケーラブルネスティングされたＳＥＩメッセージを対応するＯＬＳに相関付けることができる。スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値は、０～ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）の範囲内に留まるように制約され得る。具体例では、ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］は、以下のように導出される。

同様の方式で、スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＯＬＳフラグが、スケーラブルネスティングされたＳＥＩメッセージがレイヤに適用されることを示すために０に等しい場合、スケーラブルネスティングｌａｙｅｒ＿ｉｄ［ｉ］を含み得る。スケーラブルネスティングｌａｙｅｒ＿ｉｄ［ｉ］は、スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のレイヤのレイヤＩＤ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）値を指定する。

段階１００３において、デコーダは、スケーラブルネスティングされたＳＥＩメッセージに基づいて、１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成し得る。例えば、スケーラブルネスティングＳＥＩメッセージの存在は、ビットストリームがエンコーダにおいてＨＲＤによってチェックされており、したがって、標準に適合していることを示し得る。したがって、スケーラブルネスティングＳＥＩメッセージの存在は、ビットストリームがデコードされ得ることを示す。段階１００５において、デコーダは、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送し得る。

図１１は、スケーラブルネスティングＳＥＩメッセージを含むビットストリームを使用して、ビデオシーケンスをコーディングする例示的なシステム１１００の概略図である。システム１１００は、コーデックシステム２００、エンコーダ３００、デコーダ４００、および／またはビデオコーディングデバイス８００などのエンコーダおよびデコーダによって実装され得る。さらに、システム１１００は、ＨＲＤ５００を使用して、マルチレイヤビデオシーケンス６００、および／またはビットストリーム７００に対して適合性試験を実行することができる。加えて、システム１１００は、方法１００、９００、および／または１０００を実装するときに使用され得る。

システム１１００は、ビデオエンコーダ１１０２を含む。ビデオエンコーダ１１０２は、１つまたは複数のレイヤを備えるビットストリームをエンコードするためのエンコードモジュール１１０３を備える。エンコードモジュール１１０３はさらに、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージをビットストリームにエンコードするためのものであり、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される。ビデオエンコーダ１１０２は、スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行するＨＲＤモジュール１１０５をさらに含む。ビデオエンコーダ１１０２はさらに、デコーダに向けて通信するためにビットストリームを記憶するための記憶モジュール１１０６を備える。ビデオエンコーダ１１０２はさらに、ビットストリームをビデオデコーダ１１１０に向けて送信するための送信モジュール１１０７を備える。ビデオエンコーダ１１０２はさらに、方法９００の段階のうちのいずれかを実行するように構成され得る。

システム１１００はまた、ビデオデコーダ１１１０を含む。ビデオデコーダ１１１０は、１つまたは複数のレイヤおよびスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを含むビットストリームを受信する受信モジュール１１１１を含み、スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、スケーラブルネスティングＯＬＳフラグは、スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される。ビデオデコーダ１１１０はさらに、スケーラブルネスティングされたＳＥＩメッセージに基づいて、１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成するデコードモジュール１１１３を含む。ビデオデコーダ１１１０はさらに、デコードされたビデオシーケンスの一部として表示するためにデコードされたピクチャを転送するための転送モジュール１１１５を備える。ビデオデコーダ１１１０はさらに、方法１０００の段階のうちのいずれかを実行するように構成され得る。

第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体を除いて、介在するコンポーネントがない場合、第１のコンポーネントは第２のコンポーネントに直接結合される。第１のコンポーネントと第２のコンポーネントとの間にライン、トレース、または別の媒体以外の介在するコンポーネントがある場合、第１のコンポーネントは第２のコンポーネントに間接的に結合される。「結合された」という用語およびその変形は、直接結合されたものおよび間接的に結合されたものの両方を含む。「約」という用語の使用は、特に明記しない限り、後続の数の±１０％を含む範囲を意味する。

本明細書に記載の例示的な方法の段階は、必ずしも記載された順序で実行される必要はなく、そのような方法の段階の順序は、単なる例示であると理解されるべきであることも理解されたい。同様に、本開示の様々な実施形態と一致する方法では、そのような方法に追加の段階を含めることができ、特定の段階を省略または組み合わせることができる。

本開示ではいくつかの実施形態が提供されたが、開示されたシステムおよび方法は、本開示の趣旨または範囲から逸脱することなく、多くの他の特定の形態で具現化され得ることが理解されよう。本実施例は、例示的であり、限定的ではないと考えられるべきであり、その意図は本明細書に与えられた詳細に限定されるべきではない。例えば、様々な要素またはコンポーネントは、別のシステムに組み合わされ、もしくは統合されてもよく、または特定の特徴は、省略され、もしくは実装されなくてもよい。

加えて、本開示の範囲から逸脱することなく、様々な実施形態において個別のまたは別個のものとして説明および図示された技術、システム、サブシステム、および方法は、他のシステム、コンポーネント、技術、または方法と組み合わされても、または統合されてもよい。変更、置換、および変更の他の例は、当業者によって確認可能であり、本明細書に開示された趣旨および範囲から逸脱することなく行うことができる。
［他の考えられる項目］
（項目１）
デコーダによって実装される方法であって、
前記デコーダの受信機によって、１つまたは複数のレイヤおよびスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを含むビットストリームを受信する段階であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、受信する段階と、
前記デコーダのプロセッサによって、前記スケーラブルネスティングされたＳＥＩメッセージに基づいて、前記１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成する段階と
を備える方法。
（項目２）
前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定する場合、１に設定され、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定する場合、０に設定される、項目１に記載の方法。
（項目３）
前記スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報であるＳＥＩメッセージを含む場合、前記スケーラブルネスティングＯＬＳフラグは、１に設定される、項目１または２に記載の方法。
（項目４）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に設定される場合、ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定し、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値は、０～ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）－１（両端を含む）の範囲内にある、項目１～３のいずれかに記載の方法。
（項目５）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に等しい場合、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用されるスケーラブルネスティングＯＬＳデルタから１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）のシンタックス要素を含み、前記スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値は、０～前記ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）までの範囲内にある、項目１～４のいずれかに記載の方法。
（項目６）
以下のようにＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出する段階をさらに含む、項目１～５のいずれかに記載の方法：
（項目７）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが０に設定される場合、レイヤのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定する、項目１～６のいずれかに記載の方法。
（項目８）
エンコーダによって実装される方法であって、
前記エンコーダのプロセッサによって、１つまたは複数のレイヤを含むビットストリームをエンコードする段階と、
前記プロセッサによって、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを前記ビットストリームにエンコードする段階であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、エンコードする段階と、
前記プロセッサによって、前記スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行する段階と、
前記プロセッサに結合されたメモリによって、デコーダに向けて通信するための前記ビットストリームを記憶する段階と、
を含む、方法。
（項目９）
前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定する場合、１に設定され、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定する場合、０に設定される、項目８に記載の方法。
（項目１０）
前記スケーラブルネスティングＳＥＩメッセージが、ペイロードタイプがバッファリング期間、ピクチャタイミング、またはデコードユニット情報であるＳＥＩメッセージを含む場合、前記スケーラブルネスティングＯＬＳフラグは、１に設定される、項目８または９に記載の方法。
（項目１１）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に設定される場合、ＯＬＳのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定し、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値は、０～ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）－１（両端を含む）の範囲内にある、項目８～１０のいずれかに記載の方法。
（項目１２）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に等しい場合、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用されるスケーラブルネスティングＯＬＳデルタから１を引いた数（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）のシンタックス要素を含み、前記スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値は、０～前記ＴｏｔａｌＮｕｍＯｌｓｓ－２（両端を含む）までの範囲内にある、項目８～１１のいずれかに記載の方法。
（項目１３）
以下のようにＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出する段階をさらに含む、項目８～１２のいずれかに記載の方法：
（項目１４）
前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが０に設定される場合、レイヤのスケーラブルネスティング数から１を引いた数（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）のシンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定する、項目８～１３のいずれかに記載の方法。
（項目１５）
ビデオコーディングデバイスであって、
プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、前記受信機、前記メモリ、および前記送信機は、項目１～１４のいずれかに記載の方法を実行するように構成される、ビデオコーディングデバイス。
（項目１６）
ビデオコーディングデバイスによる使用のためのコンピュータプログラム製品を含む非一時的コンピュータ可読媒体であって、プロセッサによって実行された場合、前記ビデオコーディングデバイスに項目１～１４のいずれかに記載の方法を実行させるように、前記コンピュータプログラム製品は、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体。
（項目１７）
１つまたは複数のレイヤおよびスケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを含むビットストリームを受信する受信手段であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、受信手段と、
前記スケーラブルネスティングされたＳＥＩメッセージに基づいて、前記１つまたは複数のレイヤからのコーディングされたピクチャをデコードして、デコードされたピクチャを生成するデコード手段と、
デコードされたビデオシーケンスの一部として表示するために前記デコードされたピクチャを転送する転送手段と
を備えるデコーダ。
（項目１８）
前記デコーダは、項目１～７のいずれかに記載の方法を実行するようにさらに構成される、項目１７に記載のデコーダ。
（項目１９）
エンコーダであって、
エンコード手段であって、
１つまたは複数のレイヤを含むビットストリームをエンコードする段階と、
スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを前記ビットストリームにエンコードする段階であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、エンコードする段階と、
のためのエンコード手段と、
前記スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行する仮想参照デコーダ（ＨＲＤ）手段と、
デコーダに向けて通信するための前記ビットストリームを記憶する記憶手段と、
を含む、エンコーダ。
（項目２０）
前記エンコーダは、項目８～１４のいずれかに記載の方法を実行するようにさらに構成される、項目１９に記載のエンコーダ。

Claims (12)

1. エンコーダによって実装される方法であって、
   前記エンコーダのプロセッサによって、１つまたは複数のレイヤを含むビットストリームをエンコードする段階と、
   前記プロセッサによって、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを前記ビットストリームにエンコードする段階であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、段階と、
   前記プロセッサによって、前記スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行する段階と、
   前記プロセッサに結合されたメモリによって、デコーダに向けて通信するために前記ビットストリームを記憶する段階と、
   を含む、方法。
2. 前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳに適用されることを指定する場合、１に設定され、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のレイヤに適用されることを指定する場合、０に設定される、
   請求項１に記載の方法。
3. バッファリング期間、ピクチャタイミング、またはデコードユニット情報のペイロードタイプを持つＳＥＩメッセージを前記スケーラブルネスティングＳＥＩメッセージが含む場合、前記スケーラブルネスティングＯＬＳフラグは１に設定される、
   請求項１から２のいずれか一項に記載の方法。
4. 前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に設定される場合、スケーラブルネスティングＯＬＳ数マイナス１（ｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１）シンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるＯＬＳの数を指定し、前記スケーラブルネスティングｎｕｍ＿ｏｌｓｓ＿ｍｉｎｕｓ１シンタックス要素の値は、０～ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）－１（両端を含む）の範囲内にある、
   請求項１から３のいずれか一項に記載の方法。
5. 前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが１に等しい場合、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるｉ番目のＯＬＳのＯＬＳインデックスを指定するネスティングＯＬＳインデックス（ＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］）を導出するために使用されるスケーラブルネスティングＯＬＳデルタマイナス１（ｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］）シンタックス要素を含み、前記スケーラブルネスティングｏｌｓ＿ｉｄｘ＿ｄｅｌｔａ＿ｍｉｎｕｓ１［ｉ］シンタックス要素の値は、０～ＯＬＳの総数（ＴｏｔａｌＮｕｍＯｌｓｓ）－２（両端を含む）の範囲内にある、
   請求項１から４のいずれか一項に記載の方法。
6. 以下のようにＮｅｓｔｉｎｇＯｌｓＩｄｘ［ｉ］を導出する段階
   をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 前記スケーラブルネスティングＳＥＩメッセージは、前記スケーラブルネスティングＯＬＳフラグが０に設定される場合、スケーラブルネスティングレイヤ数マイナス１（ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）シンタックス要素を含み、前記スケーラブルネスティングｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１シンタックス要素は、前記スケーラブルネスティングされたＳＥＩメッセージが適用されるレイヤの数を指定する、
   請求項１から６のいずれか一項に記載の方法。
8. ビデオコーディングデバイスであって、
   プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機とを備え、前記プロセッサ、前記受信機、前記メモリ、および前記送信機は、請求項１から７のいずれか一項に記載の方法を実行するように構成される、ビデオコーディングデバイス。
9. ビデオコーディングデバイスによる使用のための実行可能命令を含む非一時的コンピュータ可読媒体であって、前記実行可能命令は、プロセッサによって実行された場合、前記ビデオコーディングデバイスに請求項１から７のいずれか一項に記載の方法を実行させるように前記非一時的コンピュータ可読媒体に記憶される、
   非一時的コンピュータ可読媒体。
10. コンピュータに請求項１から７のいずれか一項に記載の方法を実行させるように構成されたコンピュータプログラム。
11. エンコーダであって、
    １つまたは複数のレイヤを含むビットストリームをエンコードし、スケーラブルネスティング補足拡張情報（ＳＥＩ）メッセージを前記ビットストリームにエンコードするためのエンコード手段であって、前記スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のスケーラブルネスティングされたＳＥＩメッセージおよびスケーラブルネスティング出力レイヤセット（ＯＬＳ）フラグを含み、前記スケーラブルネスティングＯＬＳフラグは、前記スケーラブルネスティングされたＳＥＩメッセージが特定のＯＬＳまたは特定のレイヤに適用されるかどうかを指定するように設定される、エンコード手段と、
    前記スケーラブルネスティングＳＥＩメッセージに基づいて、ビットストリーム適合性試験のセットを実行する仮想参照デコーダ（ＨＲＤ）手段と、
    デコーダに向けて通信するために前記ビットストリームを記憶する記憶手段と、
    前記ビットストリームを送信する送信手段と
    を含む、エンコーダ。
12. 前記エンコーダは、請求項２から７のいずれか一項に記載の方法をさらに実行するように構成される、
    請求項１１に記載のエンコーダ。

Images