JP2023517428A - 複数のレイヤのための共有デコーダピクチャバッファ - Google Patents

Abstract

マルチレイヤビデオデータを復号するためのビデオデコーダは、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去するようにさらに構成された、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを行うように構成され得る。

Description

[0001] 本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１９年１２月２４日に出願された米国仮特許出願第６２／９５３，３９４号の利益を主張する、２０２０年１２月２１日に出願された米国出願第１７／１２８，７６７号の優先権を主張する。

[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャ（picture）のイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ（reference picture）中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005] 本開示は、マルチレイヤビデオデータ（multi-layer video data）を復号するための復号ピクチャバッファ（decoded picture buffer）を維持するための技法について説明する。ＤＰＢを維持することの一部として、ビデオデコーダ（video decoder）は、ＤＰＢに追加されるべき新しいピクチャのための場所を作るために、ＤＰＢからピクチャを周期的に除去する必要があり得る。マルチレイヤビデオデータを復号するとき、いくつかの既存のビデオデコーダは、サブＤＰＢを維持し、ここで、各サブＤＰＢは、１つのレイヤの復号ピクチャ（decoded picture）の記憶のためのピクチャ記憶バッファ（picture storage buffer）を含んでいる。対照的に、マルチレイヤビデオデータを復号するとき、いくつかの既存のビデオデコーダは、すべてのレイヤ（all layers）のための共通ＤＰＢを維持し、これは、複雑さを低減するが、潜在的に他の問題をもたらす。たとえば、バンピングプロセス（bumping process）が、コーディングされているピクチャと同じレイヤに属するピクチャについて呼び出されるにすぎない場合、バッファがそのレイヤのいかなるピクチャをも含まない、いくつかのコーディングシナリオでは、バンピングプロセスは、新しいピクチャのためのＤＰＢ中の場所を適切に作成しないことがある。第１のレイヤ（first layer）に属する復号ピクチャのみをＤＰＢから除去（remove）することによってＤＰＢ上でピクチャ出力および除去プロセス（picture output and removal process）を実施することと、ＣＰＢから現在ピクチャ（current picture）の最後の復号ユニット（last decoding unit）を除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセス（picture bumping process）を実施することとを含む、本開示の技法は、必要とされる参照ピクチャがＤＰＢから早期に除去されないことを確実にしながら、また、ＤＰＢが過度にフルにならないことを確実にしながら、ビデオデコーダがすべてのレイヤのための共通ＤＰＢを利用することを有利に可能にし得る。

[0006] 本開示の一例によれば、ビデオデータを復号するためのデバイス（device）が、ビデオデータを記憶するように構成されたメモリ（memory）と、回路中に実装された１つまたは複数のプロセッサ（processor）とを含み、１つまたは複数のプロセッサは、複数のレイヤ（a plurality of layers）のための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤ（first layer）と第２のレイヤ（second layer）とを備える、第１のレイヤのアクセスユニット（access unit）の現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去するようにさらに構成された、コード化ピクチャバッファ（ＣＰＢ：coded picture buffer）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを行うように構成される。

[0007] 本開示の別の例によれば、方法は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することを備える、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを含む。

[0008] 本開示の別の例によれば、コンピュータ可読記憶媒体（computer-readable storage medium）が命令（instruction）を記憶し、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去するようにさらに構成された、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを行わせる。

[0009] 本開示の別の例によれば、マルチレイヤビデオデータを復号するための装置は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持するための手段と、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段と、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することを備える、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するための手段とを含む。

[0010] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0011] 本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0012] 例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造を示す概念図。 対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。 [0013] 本開示の技法を実施し得る例示的なビデオエンコーダ（video encoder）を示すブロック図。 [0014] 本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0015] ビデオ符号化プロセスを示すフローチャート。 [0016] ビデオ復号プロセスを示すフローチャート。 [0017] ビデオ復号プロセスを示すフローチャート。

[0018] ビデオコーディング（たとえば、ビデオ符号化および／またはビデオ復号）は、一般に、同じピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（たとえば、イントラ予測）または異なるピクチャ中のビデオデータのすでにコーディングされたブロックからビデオデータのブロックを予測すること（たとえば、インター予測）のいずれかを伴う。いくつかの事例では、ビデオエンコーダはまた、予測ブロック（prediction block）を元のブロックと比較することによって残差データを計算する。したがって、残差データは、予測ブロックと元のブロックとの間の差分を表す。残差データをシグナリングするために必要とされるビット数を低減するために、ビデオエンコーダは、残差データを変換および量子化し、変換および量子化された残差データを符号化ビットストリーム中でシグナリングする。変換および量子化プロセスによって達成される圧縮は、変換および量子化プロセスが復号ビデオデータにひずみをもたらし得ることを意味する、ロッシーであり得る。

[0019] ビデオデコーダは、予測ブロック単独でよりもぴったり元のビデオブロックに一致する再構築ビデオブロックを生成するために、残差データを復号し、予測ブロックに加算する。残差データの変換および量子化によってもたらされるロスにより、最初の再構築ブロックは、ひずみまたはアーティファクトを有し得る。アーティファクトまたはひずみの１つの通例のタイプはブロッキネス（blockiness）と呼ばれ、ここで、ビデオデータをコーディングするために使用されるブロックの境界が視認できる。

[0020] 復号ビデオの品質をさらに改善するために、ビデオデコーダは、再構築ビデオブロックに対して１つまたは複数のフィルタ処理演算を実施することができる。これらのフィルタ処理演算の例は、デブロッキングフィルタ処理と、サンプル適応オフセット（ＳＡＯ）フィルタ処理と、適応ループフィルタ処理（ＡＬＦ）とを含む。これらのフィルタ処理演算のためのパラメータは、ビデオエンコーダによって決定され、符号化ビデオビットストリーム中で明示的にシグナリングされるか、またはパラメータが符号化ビデオビットストリーム中で明示的にシグナリングされる必要なしにビデオデコーダによって暗黙的に決定されるかのいずれかであり得る。

[0021] ビデオエンコーダは、ビデオデータをネットワークアブストラクションレイヤ（ＮＡＬ）ユニットとして符号化し、ビデオデコーダは、ビデオデータをＮＡＬユニットとして復号する。ＮＡＬユニットは、概して、後に続くべきデータのタイプの指示と、必要に応じてエミュレーション防止バイトが点在させられたローバイトシーケンスペイロード（ＲＢＳＰ：raw byte sequence payload）の形態でそのデータを含んでいるバイトとを含んでいる、シンタックス構造を指す。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットの両方を含み得る。

[0022] ピクチャユニット（ＰＵ）は、概して、指定された分類ルールに従って互いに関連付けられ、復号順序で連続し、ちょうど１つのコード化ピクチャを含んでいる、ＮＡＬユニットのセットを指す。アクセスユニットは、概して、異なるレイヤに属し、出力のための同じ時間に関連付けられたコード化ピクチャを含んでいる、ＰＵのセットを指す。

[0023] 空間および時間スケーラビリティをサポートするために、ビデオデータは、複数のレイヤにおいてコーディングされ得る。レイヤは、概して、すべて、同じレイヤ識別値（たとえば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値）を有するＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとのセットを指す。マルチレイヤビデオデータを復号するとき、ビデオデコーダは、すべてのレイヤ、またはレイヤのサブセットのみを復号および表示し得る。

[0024] ビデオデコーダは、コード化ピクチャバッファ（ＣＰＢ）を維持し、たとえば、記憶および更新し得る。ＣＰＢは、たとえば、指定された復号順序で復号ユニット（ＤＵ：decoding unit）を含んでいる先入れ先出しバッファであり得る。ビデオデコーダは、復号ピクチャバッファ（ＤＰＢ）をも維持し得る。ＤＰＢは、概して、参照、出力並べ替え、または指定された出力遅延のために復号ピクチャを保持するバッファまたはメモリを指す。ＤＵは、アクセスユニット（ＡＵ）中の１つまたは複数のＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとを指し得る。いくつかの事例では、ＤＵはＡＵでもあり得る。

[0025] ＤＰＢを維持することの一部として、ビデオデコーダは、ＤＰＢに追加されるべき新しいピクチャのための場所を作るために、ＤＰＢからピクチャを周期的に除去する必要があり得る。マルチレイヤビデオデータを復号するとき、いくつかの既存のビデオデコーダは、サブＤＰＢを維持し、ここで、各サブＤＰＢは、１つのレイヤの復号ピクチャの記憶のためのピクチャ記憶バッファを含んでいる。対照的に、マルチレイヤビデオデータを復号するとき、いくつかの既存のビデオデコーダは、すべてのレイヤのための共通ＤＰＢを維持し、これは、複雑さを低減するが、潜在的に他の問題をもたらす。たとえば、バンピングプロセスが、コーディングされているピクチャと同じレイヤに属するピクチャについて呼び出されるにすぎない場合、バッファがそのレイヤのいかなるピクチャをも含まない、いくつかのコーディングシナリオでは、バンピングプロセスは、新しいピクチャのためのＤＰＢ中の場所を適切に作成しないことがある。第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することによってＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ＣＰＢから現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを含む、本開示の技法は、必要とされる参照ピクチャがＤＰＢから早期に除去されないことを確実にしながら、また、ＤＰＢが過度にフルにならないことを確実にしながら、ビデオデコーダがすべてのレイヤのための共通ＤＰＢを利用することを有利に可能にし得る。

[0026] 本開示で説明されるいくつかの技法は、ビデオ復号に関して説明され得る。ただし、それとは反対に指定されない限り、これらの技法は、ビデオエンコーダによっても実施され得ることを理解されたい。たとえば、ビデオエンコーダは、一般に、ビデオデータをどのように符号化すべきかを決定するプロセスの一部として（再構築とも呼ばれる）ビデオ復号を実施する。たとえば、ビデオデータのブロックをどのように符号化すべきかを決定することの一部として、ビデオエンコーダは、ビデオエンコーダとビデオデコーダとが同じＤＰＢを維持するように、ビデオデコーダと同じＤＰＢ更新プロセスを実装するように構成され得る。

[0027] 図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

[0028] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、モバイルデバイス（mobile device）、タブレットコンピュータ、セットトップボックス（set-top box）、スマートフォンなどの電話ハンドセット（telephone handset）、テレビジョン、カメラ（camera）、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス、ブロードキャスト受信機デバイス（broadcast receiver device）などを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイス（wireless communication device）と呼ばれることがある。

[0029] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、複数のレイヤのための共有復号ピクチャバッファ（shared decoded picture buffer）のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0030] 図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、複数のレイヤのための共有復号ピクチャバッファのための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、データのコーディング（符号化および／または復号）を実施するデバイスとして「コーディング（coding）」デバイスに言及する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、ソースデバイス１０２および宛先デバイス１１６は、ソースデバイス１０２および宛先デバイス１１６の各々がビデオ符号化構成要素およびビデオ復号構成要素を含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス１０２と宛先デバイス１１６との間の一方向または双方向ビデオ送信をサポートし得る。

[0031] 概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。

[0032] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号ビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。メモリ１０６およびメモリ１２０は、この例ではビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

[0033] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

[0034] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１２に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１２から符号化データにアクセスし得る。記憶デバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

[0035] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオデータを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介して、ファイルサーバ１１４から、記憶されたビデオデータにアクセスし得る。

[0036] ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、（ファイル転送プロトコル（ＦＴＰ）または単方向トランスポート上ファイル配信（ＦＬＵＴＥ：File Delivery over Unidirectional Transport）プロトコルなどの）ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク（ＣＤＮ）デバイス、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）または拡張ＭＢＭＳ（ｅＭＢＭＳ）サーバ、および／あるいはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。ファイルサーバ１１４は、追加または代替として、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、ＨＴＴＰライブストリーミング（ＨＬＳ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ＨＴＴＰ動的ストリーミングなど、１つまたは複数のＨＴＴＰストリーミングプロトコルを実装し得る。

[0037] 宛先デバイス１１６は、インターネット接続を含む任意の標準的なデータ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。入力インターフェース１２２は、ファイルサーバ１１４からメディアデータを取り出すまたは受信するための上記で説明された様々なプロトコル、あるいはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか１つまたは複数に従って動作するように構成され得る。

[0038] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

[0039] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

[0040] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、通信媒体、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス（slice）、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号ビデオデータの復号ピクチャをユーザに表示する。ディスプレイデバイス１１８は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

[0041] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0042] ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話機などのワイヤレス通信デバイスを備え得る。

[0043] ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、ジョイント探査テストモデル（ＪＥＭ）、または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格の最近のドラフトは、Ｂｒｏｓｓら、「Versatile Video Coding (Draft 7)」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１６回会合、ジュネーブ、スイス、２０１９年１０月１～１１日、ＪＶＥＴ－Ｐ２００１－ｖ１４（以下、「ＶＶＣドラフト７」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

[0044] 概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現にコンバートし、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットにコンバートする。代替的に、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。

[0045] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックについてのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素についての値をコーディングすることとして理解されるべきである。

[0046] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

[0047] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＶＶＣに従って動作するように構成され得る。ＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードは、コーディングユニット（ＣＵ）に対応する。

[0048] ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）（ターナリツリー（ＴＴ）とも呼ばれる）区分とを使用して区分され得る。トリプルツリーまたはターナリツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリーまたはターナリツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。

[0049] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つまたはそれ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

[0050] ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

[0051] いくつかの例では、ＣＴＵは、ルーマサンプルのコーディングツリーブロック（ＣＴＢ）、３つのサンプルアレイを有するピクチャのクロマサンプルの２つの対応するＣＴＢ、あるいはモノクロームピクチャ、またはサンプルをコーディングするために使用される３つの別個の色平面とシンタックス構造とを使用してコーディングされるピクチャのサンプルのＣＴＢを含む。ＣＴＢは、ＣＴＢへの成分の分割が区分になるような何らかの値のＮについて、サンプルのＮ×Ｎブロックであり得る。成分は、ピクチャを４：２：０、４：２：２、または４：４：４色フォーマットに構成する３つのアレイ（ルーマおよび２つのクロマ）のうちの１つからのアレイまたは単一のサンプル、あるいはピクチャをモノクロームフォーマットに構成するアレイまたはアレイの単一のサンプルである。いくつかの例では、コーディングブロックは、コーディングブロックへのＣＴＢの分割が区分になるような何らかの値のＭとＮとについて、サンプルのＭ×Ｎブロックである。

[0052] ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリック（brick）は、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。

[0053] いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

[0054] ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

[0055] 本開示は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。その上、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0056] ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

[0057] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

[0058] ＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つまたはそれ以上の動きベクトルを決定し得る。

[0059] イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（current block）（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。

[0060] ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードのための動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。

[0061] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を生成する。

[0062] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実施し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。

[0063] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の変換係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化ビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。

[0064] ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0065] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ（slice header）、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

[0066] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックのための予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。

[0067] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ピクチャをＣＴＵに区分するための区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

[0068] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

[0069] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

[0070] 図２Ａおよび図２Ｂは、例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線はクワッドツリースプリッティングを表し、点線はバイナリツリースプリッティングを示す。バイナリツリーの各スプリット（すなわち、非リーフ）ノードでは、どのスプリッティングタイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平スプリッティングを示し、１は垂直スプリッティングを示す。クワッドツリースプリッティングでは、クワッドツリーノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直にスプリットするので、スプリッティングタイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）についての（スプリッティング情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）についての（スプリッティング情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。

[0071] 概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小クワッドツリーサイズ（最小許容クワッドツリーリーフノードサイズを表すＭｉｎＱＴＳｉｚｅ）と、最大バイナリツリーサイズ（最大許容バイナリツリールートノードサイズを表すＭａｘＢＴＳｉｚｅ）と、最大バイナリツリー深度（最大許容バイナリツリー深度を表すＭａｘＢＴＤｅｐｔｈ）と、最小バイナリツリーサイズ（最小許容バイナリツリーリーフノードサイズを表すＭｉｎＢＴＳｉｚｅ）とを含み得る。

[0072] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、または４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１３０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容バイナリツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。１つのノードのバイナリツリースプリッティングは、スプリットから生じるノードが最小許容バイナリツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容バイナリツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐のために破線を有するようなノードを表す。バイナリツリーリーフノードはコーディングユニット（ＣＵ）と呼ばれ、ＣＵは、さらなる区分なしに予測（たとえば、ピクチャ内またはピクチャ間予測）および変換のために使用される。上記で説明されたように、ＣＵは「ビデオブロック」または「ブロック」と呼ばれることもある。

[0073] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にＣＴＵに適用される。クワッドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。クワッドツリーリーフノードが１２８×１２８である場合、リーフクワッドツリーノードは、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では、６４×６４）を超えるので、バイナリツリーによってさらにスプリットされない。他の場合、クワッドツリーリーフノードは、バイナリツリーによってさらに区分される。したがって、クワッドツリーリーフノードはまた、バイナリツリーのためのルートノードであり、０としてのバイナリツリー深度を有する。バイナリツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなるスプリッティングは許可されない。ＭｉｎＢＴＳｉｚｅ（この例では、４）に等しい幅を有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる垂直スプリッティング（すなわち、幅の分割）が許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有するバイナリツリーノードは、そのバイナリツリーノードのためにさらなる水平スプリッティング（すなわち、高さの分割）が許可されないことを暗示する。上述のように、バイナリツリーのリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。

[0074] ＶＶＣドラフト７は、ＤＰＢが、異なるレイヤにわたって共通であるかまたは共有される、マルチレイヤコーディングをサポートする。ＤＰＢ動作は、サブＤＰＢに関して表現され、ここで、サブＤＰＢは、以下のように、ＶＶＣドラフト７のセクションＣ．３．１において定義されている。

ＤＰＢは、概念的にサブＤＰＢからなり、各サブＤＰＢは、１つのレイヤの復号ピクチャの記憶のためのピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される（used for reference）」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいる。

[0075] 各レイヤについて独立して呼ばれる、ピクチャ出力プロセスがある。ＶＶＣドラフト７のセクションＣ．５．２．１は、以下のように、このプロセスについて説明する。

節Ｃ．５．２．２において指定されている、現在ピクチャの復号の前のＤＰＢからのピクチャの出力および除去ためのプロセスが呼び出され、その後に、節Ｃ．３．４において指定されている、現在復号ピクチャマーキングおよび記憶のためのプロセスの呼出しが続き、最後に、節Ｃ．５．２．３において指定されている、追加のバンピングのためのプロセスの呼出しが続く。「バンピング（bumping）」プロセスは、節Ｃ．５．２．４において指定されており、節Ｃ．５．２．２およびＣ．５．２．３において指定されているように呼び出される。

これらのプロセスは、ＯＬＳ中の最下位レイヤから開始して、ＯＬＳ中のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順に、各レイヤについて独立して適用される。これらのプロセスが特定のレイヤについて適用されるとき、特定のレイヤのためのサブＤＰＢのみが影響を受ける。

[0076] ＤＰＢパラメータは、以下に複写される、ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中でシグナリングされる。

[0077] ＶＶＣドラフト７は、以下のように、シンタックス要素「ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］」を定義する。ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］＋１は、ＣＶＳの各ＣＬＶＳについての各々について、Ｈｔｉｄがｉに等しいときの、ピクチャ記憶バッファの単位でのＤＰＢの最大の必要とされるサイズを指定する。ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む、０～ＭａｘＤｐｂＳｉｚｅ－１の範囲内にあるものとし、ここで、ＭａｘＤｐｂＳｉｚｅは、節Ａ．４．２において指定されているようなものである。ｉが０よりも大きいとき、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］は、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ－１］よりも大きいかまたはそれに等しいものとする。ｓｕｂＬａｙｅｒＩｎｆｏＦｌａｇが０に等しいことにより、両端値を含む、０～ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１－１の範囲内にあるｉについて、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］が存在しないとき、それは、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］に等しいと推論される。

[0078] ＶＶＣドラフト７は、以下のように、シンタックス要素「ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］」を定義する。ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、ＣＶＳの各ＣＬＶＳについて、Ｈｔｉｄがｉに等しいときの、復号順序においてＣＬＶＳ中の任意のピクチャに先行し、出力順序においてそのピクチャに後続することができる、ＣＬＶＳのピクチャの最大許容数を指定する。ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］の値は、両端値を含む、０～ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の範囲内にあるものとする。ｉが０よりも大きいとき、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］は、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ－１］よりも大きいかまたはそれに等しいものとする。ｓｕｂＬａｙｅｒＩｎｆｏＦｌａｇが０に等しいことにより、両端値を含む、０～ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１－１の範囲内にあるｉについて、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｉ］が存在しないとき、それは、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］に等しいと推論される。

[0079] ＶＶＣドラフト７は、以下のように、シンタックス要素「ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］」を定義する。０に等しくないｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］は、ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の値を算出するために使用され、これは、ＣＶＳの各ＣＬＶＳについて、Ｈｔｉｄがｉに等しいときの、出力順序においてＣＬＶＳ中の任意のピクチャに先行し、復号順序においてそのピクチャに後続することができる、ＣＬＶＳ中のピクチャの最大数を指定する。

ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が０に等しくないとき、ＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［ｉ］の値は以下のように指定される。

ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が０に等しいとき、対応する限界は表現されない。

ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］の値は、両端値を含む、０～２³²－２の範囲内にあるものとする。ｓｕｂＬａｙｅｒＩｎｆｏＦｌａｇが０に等しいことにより、両端値を含む、０～ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１－１の範囲内にあるｉについて、ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｉ］が存在しないとき、それは、ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［ｍａｘＳｕｂＬａｙｅｒｓＭｉｎｕｓ１］に等しいと推論される。

[0080] ＶＶＣドラフト７のＤＰＢ実装は、いくつかの問題を有し得る。一例として、ＶＶＣドラフト７では、ＤＰＢ動作は、サブＤＰＢとサブＤＰＢフルネス（fullness）とを使用して表現される。しかしながら、ＶＶＣドラフト７は、サブＤＰＢフルネスを定義せず、サブＤＰＢフルネスが、ｄｐｂ＿ｐａｒａｍｅｔｅｒｓ（）ピクチャ構造において指定されているＤＰＢフルネスにどのように関係するかを指定しない。

[0081] さらに、サブＤＰＢフルネスがどのように検査されるべきであるかなど、サブＤＰＢ上の動作が指定されていない。特定のサブＤＰＢを最大ＤＰＢサイズ（ＭａｘＤｐｂＳｉｚｅ）と比較することは、複数のサブＤＰＢがあり得、それらのサブＤＰＢが、指定されたＤＰＢリソースを超えることがあるので、十分でないことがある。

[0082] ＶＶＣドラフト７のセクションＣ．５．２．１では、ＤＰＢからのピクチャの出力および除去が、各レイヤについて呼び出され、ここで、特定のレイヤのためのサブＤＰＢのみが影響を受ける。しかしながら、ＤＰＢサイズは、サブＤＰＢについて定義されず、したがって、たとえば、「ＤＰＢ中のピクチャの数は、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［Ｈｔｉｄ］＋１よりも大きいかまたはそれに等しい」という条件がサブＤＰＢについてどのように検査されるべきであるかは不明瞭である。

[0083] 本開示は、上述の問題に対処し得る技法について説明した。本開示で提供されるソリューションは、独立してまたは任意の組合せで使用され得る。

[0084] 本明細書で提供される説明の部分は、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１シンタックス要素によって指定されるＤＰＢサイズを使用する例に関して説明される。しかしながら、本開示の技法はまた、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓおよびｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１など、ｄｐｂ＿ｐａｒａｍｔｅｒｓ（）シンタックス構造中でシグナリングされる他のパラメータとともに使用され得る。すべてのこれらのパラメータは、ＤＰＢ全体についてシグナリングされ、サブＤＰＢについてシグナリングされず、したがって、ＶＶＣドラフト７において現在利用されるサブＤＰＢ条件検査は、シグナリングされたｄｐｂ＿ｐａｒａｍｔｅｒｓ（）シンタックス要素を使用して、ＤＰＢ全体上で実施され得る。

[0085] ＤＰＢについて説明される開示される技法は、サブＤＰＢが使用される他の動作において適用可能であり得る。たとえば、コード化ピクチャバッファ（ＣＰＢ）または仮想参照デコーダ（ＨＲＤ）処理のために。

[0086] 複数のレイヤのための共有デコーダピクチャバッファ（shared decoder picture buffer）を利用することの一部として、ビデオエンコーダ２００とビデオデコーダ３００とは、以下の技法を実施するように構成され得る。

[0087] サブＤＰＢが使用されるとき、ＤＰＢ全体フルネスは、ＶＶＣドラフト７では初期化されない。本開示のいくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ビデオシーケンスの第１のピクチャがパース（parse）されるとき、ＤＰＢフルネスを０に初期化するように構成され得る。一例では、ビデオエンコーダ２００とビデオデコーダ３００とは、最も低いｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＣＬＶＳＳピクチャ０の第１のスライスがパースされるとき、ＤＰＢフルネスを０に初期化するように構成され得る。

[0088] ＤＰＢピクチャマーキングプロセスが、現在レイヤピクチャに適用される。しかしながら、ＤＰＢ中の他のｎｕｈ＿ｌａｙｅｒ＿ｉｄピクチャの状態は、ＶＶＣドラフト７において指定されていない。本開示のいくつかの例では、ピクチャ状態またはステータスは、「短期参照のために使用される（used for short-term reference）」、「長期参照のために使用される（used for long-term reference）」、「レイヤ間予測のために使用される（used for inter-layer prediction）」など、ピクチャマーキング（picture marking）を指し、代替または追加として、「出力のために使用される（used for output）」ピクチャ、ピクチャが「出力のために必要とされない（not needed for output）」など、ピクチャ出力ステータスを含み得る。

・ いくつかの例について、他のレイヤピクチャの状態をそのまま保つことが望ましいことがあり、すなわち、その状態は、前のアクセスユニット復号の後に、ＤＰＢ中で保たれる。言い換えれば、その他のｎｕｈ＿ｌａｙｅｒ＿ｉｄの前のピクチャの状態は保たれる。この場合、他のレイヤピクチャが参照ピクチャである場合、それは、「バンピング」プロセスによって除去されないことがある。

・ いくつかの例では、すべてのピクチャは、現在アクセスユニットの第１のピクチャが復号されるとき、参照のために使用される（たとえば、短期参照のために使用される、長期参照のための使用）とマークされ得る。

・ いくつかの例では、「バンピング」プロセス（Ｃ．５．２．４）では、ピクチャは、そのピクチャが、現在ピクチャレイヤｉｄに等しいレイヤｉｄを有する場合のみ、除去される（空にされる）。この場合、他のレイヤのピクチャは、出力されるが、それらが参照されないときでもＤＰＢから除去されないことがあり、そのようなピクチャの除去は、そのレイヤのピクチャが復号されるときに起こることになる。

[0089] 一例では、ＤＰＢフルネスは、ＭａｘＤｐｂＳｉｚｅが、出力レイヤセット（ＯＬＳ）中の各レイヤについて定義され、サブＤＰＢについて定義されないので、サブＤＰＢフルネスの和として定義され得る。たとえば、ＭａｘＤｐｂＳｉｚｅは、ピクチャ記憶バッファの最大数として、プロファイル／レベル／ティアによって指定され得る。さらに、サブＤＰＢサイズが定義またはシグナリングされる場合、サブＤＰＢサイズの和は、ＭａｘＤｐｂＳｉｚｅを超えないものとする。一例では、そのような制約は以下のように表現され得る。

ＡＵ中に含まれるすべてのレイヤについてのｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の和が、両端値を含む、０～ＭａｘＤｐｂＳｉｚｅ－１の範囲内にあることは、ビットストリームコンフォーマンスの要件である。

[0090] いくつかの例では、制約は以下のように表現され得る。

ＯＬＳ中に含まれるすべてのレイヤについてのｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ｉ］の和が、両端値を含む、０～ＭａｘＤｐｂＳｉｚｅ－１の範囲内にあることは、ビットストリームコンフォーマンスの要件である。

[0091] 出力および除去ピクチャプロセスでは、各レイヤについてすべての動作を独立して実施する代わりに、ビデオエンコーダ２００とビデオデコーダ３００とは、プロセスがレイヤごとに呼び出される場合でも、レイヤごとにいくつかの動作を実施し、レイヤにわたってＤＰＢ全体についていくつかの動作を実施するように構成され得る。たとえば、ビデオエンコーダ２００とビデオデコーダ３００とは、少なくとも第１のレイヤと第２のレイヤとを含む複数のレイヤのための参照ピクチャを記憶するためのＤＰＢを維持するように構成され得る。第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ビデオエンコーダ２００とビデオデコーダ３００とは、セクションＣ．５．２．２に関して以下で説明されるものなど、ＤＰＢ上でピクチャ出力および除去プロセスを実施するように構成され得る。ＣＰＢから現在ピクチャの最後の復号ユニットを除去した後に、ビデオエンコーダ２００とビデオデコーダ３００とは、セクションＣ．５．２．３およびＣ．５．２．４に関して以下で説明されるように、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するように構成され得る。

[0092] 一例では、ピクチャ出力および除去プロセスと、追加のバンピングプロセスとは、レイヤごとに呼び出され、ここで、コード化レイヤビデオシーケンス開始（ＣＬＶＳＳ：coded layer video sequence start）ピクチャ（イントラランダムアクセスポイント（ＩＲＡＰ：intra random access point）ピクチャ）について、サブＤＰＢは、「バンピング」プロセスＣ．５．２．４がレイヤにわたってＤＰＢ全体上で動作している間、空にされ、なぜなら、それは、ＡＵが不完全である（すべてのレイヤのピクチャが存在するとは限らない）が、他のレイヤのピクチャが、現在ＡＵ中に存在するレイヤのピクチャの前に出力される必要があり得る場合であり得るからである。

[0093] サブＤＰＢがレイヤごとに空にされるとき、すなわち、あるレイヤＩＤをもつピクチャが空にされるとき、ピクチャ「バンピング」プロセスは、すべてのレイヤのピクチャを含むＤＰＢ全体について呼ばれる。

[0094] 同様にして、ＤＰＢ動作のプロセス（たとえば、セクションＣ．３）は、レイヤについてまたはレイヤごとに呼び出されるが、ピクチャが出力されるかまたは空にされるとき、そのようなプロセスは、たとえばレイヤにわたって、ＤＰＢ中のすべてのピクチャについて呼び出される。

[0095] 一例では、この技法は、ＶＶＣドラフト７からの関係するセクションから、「これらのプロセスが特定のレイヤについて適用されるとき、特定のレイヤのためのサブＤＰＢのみが影響を受ける」という条件を除去することによって実装され得る。

[0096] いくつかの例では、ピクチャ除去は、各レイヤ内でのみ適用され得るが、ピクチャ出力は、異なるレイヤにわたって適用され得る。

[0097] 上記で説明された技法を実施することの一部として、ビデオエンコーダ２００および／またはビデオデコーダ３００は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、ＤＰＢが、複数のレイヤのうちのレイヤのための参照ピクチャを記憶するためのサブＤＰＢを備える、ビデオデータのピクチャを復号することと、復号ピクチャのコピーを参照ピクチャとしてＤＰＢに記憶することとを行うように構成され得る。

[0098] ビデオエンコーダ２００および／またはビデオデコーダ３００はまた、サブＤＰＢのフルネス（fullness）を決定すること、および／またはＤＰＢのフルネスを決定することを行うように構成され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００はまた、ビデオシーケンスの第１のピクチャがパースされることに応答して、サブＤＰＢのフルネスを０に初期化すること、および／または、最も低いｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＣＬＶＳＳピクチャ０の第１のスライスがパースされることに応答して、サブＤＰＢのフルネスを０に初期化することを行うように構成され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００はまた、サブＤＰＢに記憶されたピクチャを状態でマークするように構成され得る。

[0099] ＶＶＣドラフト７を使用する一例では、本開示の技法は、ピクチャ出力および除去の説明への以下の修正を伴って実装され得る。タグ「＜ＡＤＤ＞」は、本開示によって提案される追加の開始を示し、タグ「＜／ＡＤＤ＞」は、それらの追加の終了を示す。タグ「＜ＤＥＬ＞」は、本開示によって提案される削除（すなわち、テキスト除去）の開始を示し、タグ「＜／ＤＥＬ＞」は、それらの削除の終了を示す。

[0100] 以下の説明では、ＡＵは、異なるレイヤに属し、ＤＰＢからの出力のための同じ時間に関連付けられたコード化ピクチャを含んでいる、セットＰＵを表す。復号ユニット（ＤＵ）は、ＤｅｃｏｄｉｎｇＵｎｉｔＨｒｄＦｌａｇが０に等しい場合、ＡＵを指し、または、他の場合、ＡＵ中の１つまたは複数のＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとからなるＡＵのサブセットを指す。

８．３．３ 参照ピクチャマーキングのための復号プロセス
このプロセスは、スライスヘッダの復号と、節８．３．２において指定されている、スライスのための参照ピクチャリスト構築のための復号プロセスとの後に、ただし、スライスデータの復号より前に、ピクチャごとに１回呼び出される。このプロセスにより、ＤＰＢ中の１つまたは複数の参照ピクチャが、「参照のために使用されない（unused for reference）」または「長期参照のために使用される」とマークされ得る。

ＤＰＢ中の復号ピクチャは、「参照のために使用されない」、「短期参照のために使用される」または「長期参照のために使用される」とマークされ、ただし、復号プロセスの動作中の所与の瞬間においてこれら３つの間の１つのみがマークされ得る。これらのマーキングのうちの１つをピクチャに割り当てることは、適用可能なとき、これらのマーキングのうちの別の１つを暗黙的に除去する。ピクチャが「参照のために使用される」とマークされるものとして言及されるとき、これは、「短期参照のために使用される」または「長期参照のために使用される」（ただし両方ではない）とマークされるピクチャをまとめて指す。

ＳＴＲＰおよびＩＬＲＰは、それらのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値およびＰｉｃＯｒｄｅｒＣｎｔＶａｌ値によって識別される。ＬＴＲＰは、それらのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値と、それらのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値のＬｏｇ２（ＭａｘＬｔＰｉｃＯｒｄｅｒＣｎｔＬｓｂ）ＬＳＢとによって識別される。

現在ピクチャがＣＬＶＳＳピクチャである場合、現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ（もしあれば）現在ＤＰＢ中にあるすべての参照ピクチャは、「参照のために使用されない」とマークされる。

他の場合、以下が適用される。

－ ＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］中の各ＬＴＲＰエントリについて、ピクチャが現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＳＴＲＰであるとき、ピクチャは「長期参照のために使用される」とマークされる。

－ ＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］中のいかなるエントリによっても参照されない、ＤＰＢ中の現在ピクチャと同じｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつ各参照ピクチャは、「参照のために使用されない」とマークされる。

－ ＲｅｆＰｉｃＬｉｓｔ［０］またはＲｅｆＰｉｃＬｉｓｔ［１］中の各ＩＬＲＰエントリについて、ピクチャは「長期参照のために使用される」とマークされる。

＜ＡＤＤ＞現在ピクチャとは異なるｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＤＰＢ中のピクチャは、前のピクチャマーキングからのそれらのＤＰＢステータスを保持する。＜／ＡＤＤ＞
いくつかの例では、現在ピクチャの参照ピクチャマーキングは、現在ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しくないｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャの参照ピクチャマーキングに影響を及ぼさないことが指定され得る。
Ｃ．５．２ 出力順序ＤＰＢの動作
Ｃ．５．２．１ 一般
この節における仕様は、節Ｃ．１において指定されているように、選択されたＤＰＢパラメータの各セットに独立して適用される。

ＤＰＢは、概念的にサブＤＰＢからなり、各サブＤＰＢは、１つのレイヤの復号ピクチャの記憶のためのピクチャ記憶バッファを含んでいる。ピクチャ記憶バッファの各々は、「参照のために使用される」とマークされたか、または将来の出力のために保持された復号ピクチャを含んでいる。

節Ｃ．５．２．２において指定されている、現在ピクチャの復号の前のＤＰＢからのピクチャの出力および除去ためのプロセスが呼び出され、その後に、節Ｃ．３．４において指定されている、現在復号ピクチャマーキングおよび記憶のためのプロセスの呼出しが続き、最後に、節Ｃ．５．２．３において指定されている、追加のバンピングのためのプロセスの呼出しが続く。「バンピング」プロセスは、節Ｃ．５．２．４において指定されており、節Ｃ．５．２．２およびＣ．５．２．３において指定されているように呼び出される。

＜ＤＥＬ＞これらのプロセス＜／ＤＥＬ＞＜ＡＤＤ＞節Ｃ．５．２．２「ＤＰＢからのピクチャの出力および除去」およびＣ．５．２．３「追加のバンピング」＜／ＡＤＤ＞は、ＯＬＳ中の最下位レイヤから開始して、ＯＬＳ中のレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順に、各レイヤについて独立して適用される。＜ＤＥＬ＞これらのプロセスが特定のレイヤについて適用されるとき、特定のレイヤのためのサブＤＰＢのみが影響を受ける。＜／ＤＥＬ＞＜ＡＤＤ＞節Ｃ．５．２．４は、ＤＰＢ中の任意のレイヤのすべてのピクチャについて適用される。＜／ＡＤＤ＞
注－ 出力順序ＤＰＢの動作では、出力タイミングＤＰＢの動作の場合と同じく、同じアクセスユニット中の１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇをもつ復号ピクチャも、復号ピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順で連続的に出力される。

ピクチャｎおよび現在ピクチャを、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値のためのアクセスユニットｎのコード化ピクチャまたは復号ピクチャとし、ここにおいて、ｎは非負整数である。
Ｃ．５．２．２ ＤＰＢからのピクチャの出力および除去
現在ピクチャの復号の前の（ただし、現在ピクチャの第１のスライスのスライスヘッダをパースした後の）、ＤＰＢからのピクチャの出力および除去は、現在ピクチャを含んでいるＡＵの第１のＤＵがＣＰＢから除去されたときに瞬時に起こり、以下のように進む。
－ 節８．３．２において指定されている、参照ピクチャリスト構築のための復号プロセスと、節８．３．３において指定されている、参照ピクチャマーキングのための復号プロセスとが呼び出される。
－ 現在ピクチャが、ピクチャ０でないＣＬＶＳＳピクチャである場合、以下の順序付きステップが適用される。

１． 変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、以下のように、テスト中のデコーダのために導出される。

－ 現在ＡＵの任意のピクチャのために導出されたｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ、ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８、またはｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［Ｈｔｉｄ］の値が、それぞれ、同じＣＬＶＳ中の先行するピクチャのためのｐｉｃ＿ｗｉｄｔｈ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｉｃ＿ｈｅｉｇｈｔ＿ｍａｘ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ、ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ８、またはｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［Ｈｔｉｄ］の値とは異なる場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値にかかわらず、テスト中のデコーダによって１に設定され得る（ただし、それに設定されるべきではない）。

注－ これらの条件下では、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇをｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定することが好ましいが、テスト中のデコーダは、この場合にはＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定することが可能にされる。

－ 他の場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇはｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇに等しく設定される。

２． テスト中のデコーダのために導出されたＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、以下のように、ＨＲＤについて適用される。

－ ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが１に等しい場合、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞中のすべてのピクチャ記憶バッファが、それらが含んでいるピクチャの出力なしに空にされ、ＤＰＢフルネスは、＜ＤＥＬ＞０に等しく設定される＜／ＤＥＬ＞＜ＡＤＤ＞空にされた各ピクチャ記憶バッファについて、１だけ減分される＜／ＡＤＤ＞。

［サブＤＰＢフルネスを使用する代替の文言では、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが１に等しい場合、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞中のすべてのピクチャ記憶バッファが、それらが含んでいるピクチャの出力なしに空にされ、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞フルネスは０に等しく設定される。］
－ 他の場合（ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが０に等しい）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされ、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞中のすべての空でないピクチャ記憶バッファが、節Ｃ．５．２．４において指定されている「バンピング」プロセスを繰り返し呼び出すことによって空にされ、ＤＰＢフルネスは、＜ＤＥＬ＞０に等しく設定される＜／ＤＥＬ＞＜ＡＤＤ＞空にされた各ピクチャ記憶バッファについて、１だけ減分される＜／ＡＤＤ＞。

［サブＤＰＢフルネスを使用する代替の文言では、他の場合（ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが０に等しい）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされ、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞中のすべての空でないピクチャ記憶バッファが、節Ｃ．５．２．４において指定されている「バンピング」プロセスを繰り返し呼び出すことによって空にされ、＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞フルネスは０に等しく設定される。］
－ ［別の代替の文言では、他の場合（ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇが０に等しい）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされ、＜ＡＤＤ＞すべての＜／ＡＤＤ＞＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞中のすべての空でないピクチャ記憶バッファが、節Ｃ．５．２．４において指定されている「バンピング」プロセスを繰り返し呼び出すことによって空にされ、＜ＡＤＤ＞すべてのサブＤＰＢの＜／ＡＤＤ＞＜ＤＥＬ＞ＤＰＢ＜／ＤＥＬ＞＜ＡＤＤ＞サブＤＰＢ＜／ＡＤＤ＞フルネスは０に等しく設定される。］
他の場合（現在ピクチャがＣＬＶＳＳピクチャでない＜ＡＤＤ＞か、またはＣＬＶＳＳピクチャがピクチャ０である＜／ＡＤＤ＞）、「出力のために必要とされない」および「参照のために使用されない」とマークされたピクチャを含んでいるすべてのピクチャ記憶バッファが（出力なしに）空にされる。空にされた各ピクチャ記憶バッファについて、ＤＰＢフルネスは１だけ減分される。以下の条件のうちの１つまたは複数が真であるとき、節Ｃ．５．２．４において指定されている「バンピング」プロセスは、以下の条件のいずれも真でなくなるまで、空にされた各追加のピクチャ記憶バッファについてＤＰＢフルネスを１だけさらに減分しながら、繰り返し呼び出される。

－ 「出力のために必要とされる（needed for output）」とマークされたＤＰＢ中のピクチャの数は、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［Ｈｔｉｄ］よりも大きい。

－ ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［Ｈｔｉｄ］は０に等しくなく、それのための関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔがＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［Ｈｔｉｄ］よりも大きいかまたはそれに等しい、「出力のために必要とされる」とマークされたＤＰＢ中の少なくとも１つのピクチャがある。

－ ＤＰＢ中のピクチャの数は、ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［Ｈｔｉｄ］＋１よりも大きいかまたはそれに等しい。
Ｃ．５．２．３ 追加のバンピング
この節において指定されているプロセスは、現在ピクチャを含んでいるＡＵ ｎの最後のＤＵがＣＰＢから除去されたときに瞬時に起こる。

現在ピクチャが、１に等しいＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇを有するとき、「出力のために必要とされる」とマークされ、出力順序において現在ピクチャに後続する、ＤＰＢ中の各ピクチャについて、関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔは、ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔ＋１に等しく設定される。

以下が適用される。
－ 現在復号ピクチャが、１に等しいＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇを有する場合、それは「出力のために必要とされる」とマークされ、その関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔは、０に等しく設定される。
－ 他の場合（現在復号ピクチャが、０に等しいＰｉｃｔｕｒｅＯｕｔｐｕｔＦｌａｇを有する）、それは「出力のために必要とされない」とマークされる。

以下の条件のうちの１つまたは複数が真であるとき、節Ｃ．５．２．４において指定されている「バンピング」プロセスは、以下の条件のいずれも真でなくなるまで、繰り返し呼び出される。
－ 「出力のために必要とされる」とマークされたＤＰＢ中のピクチャの数は、ｍａｘ＿ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｐｉｃｓ［Ｈｔｉｄ］よりも大きい。
－ ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ＿ｐｌｕｓ１［Ｈｔｉｄ］は０に等しくなく、それのための関連する変数ＰｉｃＬａｔｅｎｃｙＣｏｕｎｔがＭａｘＬａｔｅｎｃｙＰｉｃｔｕｒｅｓ［Ｈｔｉｄ］よりも大きいかまたはそれに等しい、「出力のために必要とされる」とマークされたＤＰＢ中の少なくとも１つのピクチャがある。
Ｃ．５．２．４ 「バンピング」プロセス
「バンピング」プロセスは、以下の順序付きステップからなる。
１． 出力のための最初のものである１つまたは複数のピクチャが、「出力のために必要とされる」とマークされたＤＰＢ中のすべてのピクチャのうちのＰｉｃＯｒｄｅｒＣｎｔＶａｌの最小値を有するピクチャとして選択される。
２． これらのピクチャの各々が、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの昇順で、ピクチャのための適合クロッピングウィンドウを使用してクロップされ、クロップされたピクチャが出力され、そのピクチャが「出力のために必要とされない」とマークされる。
３． 「参照のために使用されない」とマークされ、クロップおよび出力されたピクチャのうちの１つであったピクチャを含んでいる、各ピクチャ記憶バッファが空にされ、＜ＤＥＬ＞関連するサブ＜／ＤＥＬ＞ＤＰＢのフルネスは１だけ減分される。

注－ 同じＣＶＳに属し、「バンピングプロセス」によって出力される、任意の２つのピクチャｐｉｃＡおよびｐｉｃＢについて、ｐｉｃＡがｐｉｃＢよりも早く出力されるとき、ｐｉｃＡのＰｉｃＯｒｄｅｒＣｎｔＶａｌの値は、ｐｉｃＢのＰｉｃＯｒｄｅｒＣｎｔＶａｌの値よりも小さい＜ＡＤＤ＞かまたはそれに等しい＜／ＡＤＤ＞。

[0101] 図３は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図３は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、ＨＥＶＣビデオコーディング規格および開発中のＨ．２６６ビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、概して、ビデオ符号化および復号に適用可能である。

[0102] 図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ２００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0103] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されるビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0104] ＤＰＢ２１８は、共有マルチレイヤ（shared multi-layer）ＤＰＢ２１９を含み得る。この本開示中の他の場所でより詳細に説明されるように、ビデオエンコーダ２００は、共有マルチレイヤＤＰＢ２１９に複数のレイヤのための参照ピクチャを記憶するように構成され得る。第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ビデオエンコーダ２００は、第１のレイヤに属するいくつかの復号ピクチャのみを共有マルチレイヤＤＰＢ２１９から除去するために、共有マルチレイヤＤＰＢ２１９上でピクチャ出力および除去プロセスを実施し得る。ＣＰＢから現在ピクチャの最後の復号ユニットを除去した後に、ビデオエンコーダ２００は、共有マルチレイヤＤＰＢ２１９のすべてのレイヤにわたってピクチャバンピングプロセスを実施し得る。

[0105] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。

[0106] 図３の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

[0107] ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。

[0108] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

[0109] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

[0110] モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

[0111] ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。

[0112] 概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）のための予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶された１つまたは複数の前にコーディングされたピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

[0113] 動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ：motion vector）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または重み付き平均化を通して、取り出されたデータを組み合わせ得る。

[0114] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを生成するために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって定義された方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックの各サンプルについてこの得られた平均を含むように予測ブロックを生成し得る。

[0115] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ：residual differential pulse code modulation）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

[0116] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指し得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称区分をサポートし得る。

[0117] モード選択ユニット２０２がＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

[0118] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

[0119] 上記で説明されたように、残差生成ユニット２０４は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

[0120] 変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

[0121] 量子化ユニット２０８は、量子化された変換係数ブロックを生成するために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。

[0122] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在ブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

[0123] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。

[0124] ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が実施されない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が実施される例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。さらに、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

[0125] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報、またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化データを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

[0126] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化シンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。

[0127] 上記で説明された動作は、ブロックに関して説明される。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

[0128] いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。

[0129] ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表し、１つまたは複数の処理ユニットは、以下の特許請求の範囲セクションで説明される技法を含む、本開示の技法を実施するように構成される。

[0130] 図４は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図４は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＪＥＭ、ＶＶＣ、およびＨＥＶＣの技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。

[0131] 図４の例では、ビデオデコーダ３００は、ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ３００のユニットは、１つまたは複数の回路または論理要素として、ハードウェア回路の一部として、あるいはＦＰＧＡのプロセッサ、ＡＳＩＣの一部として実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0132] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0133] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0134] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

[0135] 図４に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図３と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、ユニットのうちの１つまたは複数は、集積回路であり得る。

[0136] ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

[0137] エントロピー復号ユニット３０２は、ＣＰＢから符号化ビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。

[0138] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築動作を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。

[0139] エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または（１つまたは複数の）変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

[0140] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。

[0141] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図３）に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。

[0142] 別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図３）に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。

[0143] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

[0144] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。

[0145] ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。たとえば、フィルタユニット３１２の動作が実施されない例では、再構築ユニット３１０は、再構築されたブロックをＤＰＢ３１４に記憶し得る。フィルタユニット３１２の動作が実施される例では、フィルタユニット３１２は、フィルタ処理された再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号ピクチャ（たとえば、復号ビデオ）を、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。

[0146] ＤＰＢ３１４は、共有マルチレイヤＤＰＢ３１５を含み得る。この本開示中の他の場所でより詳細に説明されるように、ビデオデコーダ３００は、共有マルチレイヤＤＰＢ３１５に複数のレイヤのための参照ピクチャを記憶するように構成され得る。第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ビデオデコーダ３００は、第１のレイヤに属するいくつかの復号ピクチャのみを共有マルチレイヤＤＰＢ３１５から除去するために、共有マルチレイヤＤＰＢ３１５上でピクチャ出力および除去プロセスを実施し得る。ＣＰＢメモリ３２０から現在ピクチャの最後の復号ユニットを除去した後に、ビデオデコーダ３００は、共有マルチレイヤＤＰＢ３１５のすべてのレイヤにわたってピクチャバンピングプロセスを実施し得る。すなわち、ビデオデコーダ３００は、特定のレイヤに限定されないピクチャバンピングプロセスを実施し得るが、代わりに、現在ピクチャのレイヤ以外のレイヤからのピクチャをバンピングし得る。

[0147] このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、ビデオ復号デバイスの一例を表し、１つまたは複数の処理ユニットは、以下の特許請求の範囲セクションで説明される技法を含む、本開示の技法を実施するように構成される。

[0148] 図５は、現在ブロックを符号化するための例示的なプロセスを示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図３）に関して説明されるが、他のデバイスが図５のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

[0149] この例では、ビデオエンコーダ２００は、最初に、現在ブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックの係数を変換し、量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は、変換係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して変換係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピー符号化データを出力し得る（３６０）。

[0150] 図６は、ビデオデータの現在ブロックを復号するための例示的なプロセスを示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１および図４）に関して説明されるが、他のデバイスが図６のプロセスと同様のプロセスを実施するように構成され得ることを理解されたい。

[0151] ビデオデコーダ３００は、エントロピー符号化予測情報、および現在ブロックに対応する残差ブロックの係数についてのエントロピー符号化データなど、現在ブロックについてのエントロピー符号化データを受信し得る（３７０）。ビデオデコーダ３００は、現在ブロックのための予測情報を決定するために、および残差ブロックの係数を再生するために、エントロピー符号化データをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために、変換係数を逆量子化し、逆変換し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（３８０）。

[0152] 図７は、ビデオデータを復号するための例示的なプロセスを示すフローチャートである。図７の技法は、ビデオデコーダ３００（図１および図４）などのビデオデコーダによって、またはビデオエンコーダ２００（図１および図３）などのビデオエンコーダのビデオ復号ループによって実施され得る。

[0153] ビデオデコーダは、複数のレイヤのための参照ピクチャを記憶するためのＤＰＢを維持する（４００）。ＤＰＢは、前に復号されたピクチャを記憶する。複数のレイヤは、少なくとも第１のレイヤと第２のレイヤとを含む。

[0154] 第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ビデオデコーダは、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することによって、ＤＰＢ上でピクチャ出力および除去プロセスを実施する（４０２）。ビデオデコーダは、たとえば、第１のレイヤの現在ピクチャを復号するより前に、および現在ピクチャのスライスのためのスライスヘッダをパースした後に、ＤＰＢ上でピクチャ出力および除去プロセスを実施し得る。ビデオデコーダは、たとえば、ＣＰＢから現在ピクチャの第１の復号ユニット（first decoding unit）を除去したことに応答して、ＤＰＢ上でピクチャ出力および除去プロセスを実施し得る。ＣＰＢは、復号のために符号化マルチレイヤビデオデータ（encoded multi-layer video data）を記憶し得る。

[0155] ＣＰＢから現在ピクチャの最後の復号ユニットを除去した後に、ビデオデコーダは、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施する（４０４）。ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、ビデオデコーダは、ＤＰＢから第２のレイヤの少なくとも１つのピクチャを除去し得る。ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、ビデオデコーダは、たとえば、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、ＤＰＢから除去し得る。

[0156] ビデオデコーダは、ＤＰＢ中の参照ピクチャを識別することと、参照ピクチャ中の現在ピクチャの現在ブロックのための予測ブロックを識別することと、予測ブロックに基づいて現在ブロックを復号することと、現在ピクチャの復号バージョン（decoded version）を出力することと、ここにおいて、現在ピクチャの復号バージョンが、現在ブロックの復号バージョンを含む、を行い得る。

[0157] 以下の条項は、上記で説明された技法およびデバイスの例を表す。

[0158] 条項１：マルチレイヤビデオデータを復号するためのデバイスが、マルチレイヤビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去するようにさらに構成された、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを行うように構成される。

[0159] 条項２：ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、第１のレイヤの現在ピクチャを復号するより前に、および現在ピクチャのスライスのためのスライスヘッダをパースした後に、ＤＰＢ上でピクチャ出力および除去プロセスを実施するようにさらに構成された、条項１に記載のデバイス。

[0160] 条項３：ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、１つまたは複数のプロセッサが、ＣＰＢから現在ピクチャの第１の復号ユニットを除去したことに応答して、ＤＰＢ上でピクチャ出力および除去プロセスを実施するようにさらに構成された、条項１および２のいずれかに記載のデバイス。

[0161] 条項４：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、１つまたは複数のプロセッサが、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、ＤＰＢから除去するようにさらに構成された、条項１から３のいずれかに記載のデバイス。

[0162] 条項５：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、１つまたは複数のプロセッサが、ＤＰＢから第２のレイヤの少なくとも１つのピクチャを除去するようにさらに構成された、条項１から４のいずれかに記載のデバイス。

[0163] 条項６：１つまたは複数のプロセッサは、ＤＰＢ中の参照ピクチャを識別することと、参照ピクチャ中の現在ピクチャの現在ブロックのための予測ブロックを識別することと、予測ブロックに基づいて現在ブロックを復号することと、現在ピクチャの復号バージョンを出力することと、ここにおいて、現在ピクチャの復号バージョンが、現在ブロックの復号バージョンを含む、を行うようにさらに構成された、条項１から５のいずれかに記載のデバイス。

[0164] 条項７：ＤＰＢが、前に復号されたピクチャを記憶するように構成され、ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、条項１から６のいずれかに記載のデバイス。

[0165] 条項８：１つまたは複数のプロセッサが、メモリ中にＤＰＢとＣＰＢとを維持するようにさらに構成された、条項１から７のいずれかに記載のデバイス。

[0166] 条項９：デバイスが、符号化マルチレイヤビデオデータを受信するように構成された受信機（receiver）をさらに備えるワイヤレス通信デバイスを備える、条項１から８のいずれかに記載のデバイス。

[0167] 条項１０：ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、受信機が、ワイヤレス通信規格（wireless communication standard）に従って、符号化マルチレイヤビデオデータを備える信号（signal）を復調するように構成された、条項９に記載のデバイス。

[0168] 条項１１：デバイスが、符号化マルチレイヤビデオデータを送信するように構成された送信機（transmitter）をさらに備えるワイヤレス通信デバイスを備える、条項１から８のいずれかに記載のデバイス。

[0169] 条項１２：ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、送信機が、ワイヤレス通信規格に従って、符号化マルチレイヤビデオデータを備える信号を変調するように構成された、条項１１に記載のデバイス。

[0170] 条項１３：条項１から１２のいずれかに記載のデバイスは、現在ピクチャの復号バージョンを備える復号マルチレイヤビデオデータ（decoded multi-layer video data）を表示するように構成されたディスプレイ（display）をさらに含む。

[0171] 条項１４：デバイスが、カメラ、コンピュータ（computer）、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項１から１３のいずれかに記載のデバイス。

[0172] 条項１５：マルチレイヤビデオデータを復号する方法は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することを備える、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを含む。

[0173] 条項１６：ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、第１のレイヤの現在ピクチャを復号するより前に、および現在ピクチャのスライスのためのスライスヘッダをパースした後に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することを備える、条項１５に記載の方法。

[0174] 条項１７：ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、ＣＰＢから現在ピクチャの第１の復号ユニットを除去したことに応答して、ＤＰＢ上でピクチャ出力および除去プロセスを実施することを備える、条項１５および１６のいずれかに記載の方法。

[0175] 条項１８：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することが、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、ＤＰＢから除去することを備える、条項１５から１７のいずれかに記載の方法。

[0176] 条項１９：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することが、ＤＰＢから第２のレイヤの少なくとも１つのピクチャを除去することを備える、条項１５から１８のいずれかに記載の方法。

[0177] 条項２０：条項１５から１９のいずれかに記載の方法は、ＤＰＢ中の参照ピクチャを識別することと、参照ピクチャ中の現在ピクチャの現在ブロックのための予測ブロックを識別することと、予測ブロックに基づいて現在ブロックを復号することと、現在ピクチャの復号バージョンを出力することと、ここにおいて、現在ピクチャの復号バージョンが、現在ブロックの復号バージョンを含む、をさらに含む。

[0178] 条項２１：条項２０に記載の方法は、現在ピクチャの復号バージョンを表示することをさらに含む。

[0179] 条項２２：ＤＰＢが、前に復号されたピクチャを記憶するように構成され、ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、条項１５から２１のいずれかに記載の方法。

[0180] 条項２３：復号の方法が、符号化プロセス（encoding process）の一部として実施される、条項１５から２０または２２のいずれかに記載の方法。

[0181] 条項２４：命令を記憶するコンピュータ可読記憶媒体であって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、命令が、１つまたは複数のプロセッサに、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去させる、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することとを行わせる、コンピュータ可読記憶媒体。

[0182] 条項２５：ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、命令が、１つまたは複数のプロセッサに、第１のレイヤの現在ピクチャを復号するより前に、および現在ピクチャのスライスのためのスライスヘッダをパースした後に、ＤＰＢ上でピクチャ出力および除去プロセスを実施させる、条項２４に記載のコンピュータ可読記憶媒体。

[0183] 条項２６：ＤＰＢ上でピクチャ出力および除去プロセスを実施するために、命令が、１つまたは複数のプロセッサに、ＣＰＢから現在ピクチャの第１の復号ユニットを除去したことに応答して、ＤＰＢ上でピクチャ出力および除去プロセスを実施させる、条項２４および２５のいずれかに記載のコンピュータ可読記憶媒体。

[0184] 条項２７：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、命令が、１つまたは複数のプロセッサに、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、ＤＰＢから除去させる、条項２４から２６のいずれかに記載のコンピュータ可読記憶媒体。

[0185] 条項２８：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するために、命令が、１つまたは複数のプロセッサに、ＤＰＢから第２のレイヤの少なくとも１つのピクチャを除去させる、条項２４から２７のいずれかに記載のコンピュータ可読記憶媒体。

[0186] 条項２９：命令は、１つまたは複数のプロセッサに、ＤＰＢ中の参照ピクチャを識別することと、参照ピクチャ中の現在ピクチャの現在ブロックのための予測ブロックを識別することと、予測ブロックに基づいて現在ブロックを復号することと、現在ピクチャの復号バージョンを出力することと、ここにおいて、現在ピクチャの復号バージョンが、現在ブロックの復号バージョンを含む、をさらに行わせる、条項２４から２８のいずれかに記載のコンピュータ可読記憶媒体。

[0187] 条項３０：ＤＰＢが、前に復号されたピクチャを記憶するように構成され、ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、条項２４から２９のいずれかに記載のコンピュータ可読記憶媒体。

[0188] 条項３１：マルチレイヤビデオデータを復号するための装置は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持するための手段と、ここにおいて、複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段と、ここにおいて、ＤＰＢ上でピクチャ出力および除去プロセスを実施することが、第１のレイヤに属する復号ピクチャのみをＤＰＢから除去することを備える、コード化ピクチャバッファ（ＣＰＢ）から現在ピクチャの最後の復号ユニットを除去した後に、ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するための手段とを含む。

[0189] 条項３２：ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段が、第１のレイヤの現在ピクチャを復号するより前に、および現在ピクチャのスライスのためのスライスヘッダをパースした後に、ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段を備える、条項３１に記載の装置。

[0190] 条項３３：ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段が、ＣＰＢから現在ピクチャの第１の復号ユニットを除去したことに応答して、ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段を備える、条項３１および３２のいずれかに記載の装置。

[0191] 条項３４：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するための手段が、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、ＤＰＢから除去するための手段を備える、条項３１から３３のいずれかに記載の装置。

[0192] 条項３５：ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するための手段が、ＤＰＢから第２のレイヤの少なくとも１つのピクチャを除去するための手段を備える、条項３１から３４のいずれかに記載の装置。

[0193] 条項３６：条項３１から３５のいずれかに記載の装置は、ＤＰＢ中の参照ピクチャを識別するための手段と、参照ピクチャ中の現在ピクチャの現在ブロックのための予測ブロックを識別するための手段と、予測ブロックに基づいて現在ブロックを復号するための手段と、現在ピクチャの復号バージョンを出力するための手段と、ここにおいて、現在ピクチャの復号バージョンが、現在ブロックの復号バージョンを含む、をさらに含む。

[0194] 条項３７：ＤＰＢが、前に復号されたピクチャを記憶するように構成され、ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、条項３１から３６のいずれかに記載の装置。

[0195] 条項３８：マルチレイヤビデオデータを復号するための装置が、ビデオエンコーダの一部である、条項３１から３７のいずれかに記載の装置。

[0196] 条項３９：ビデオデータを復号する方法は、複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、ＤＰＢが、複数のレイヤのうちのレイヤのための参照ピクチャを記憶するためのサブＤＰＢを備える、ビデオデータのピクチャを復号することと、復号ピクチャのコピーを参照ピクチャとしてＤＰＢに記憶することとを含む。

[0197] 条項４０：条項３９に記載の方法は、サブＤＰＢのフルネスを決定することをさらに含む。

[0198] 条項４１：条項３９または４０に記載の方法は、ＤＰＢのフルネスを決定することをさらに含む。

[0199] 条項４２：条項３９～４１のいずれかに記載の方法は、ビデオシーケンスの第１のピクチャがパースされることに応答して、サブＤＰＢのフルネスを０に初期化することをさらに含む。

[0200] 条項４３：条項３９～４１のいずれかに記載の方法は、最も低いｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつＣＬＶＳＳピクチャ０の第１のスライスがパースされることに応答して、サブＤＰＢのフルネスを０に初期化することをさらに含む。

[0201] 条項４４：条項３９～４３のいずれかに記載の方法は、サブＤＰＢに記憶されたピクチャを状態でマークすることをさらに含む。

[0202] 条項４５：ＤＰＢが、複数のレイヤのうちの第２のレイヤのための参照ピクチャを記憶するための第２のサブＤＰＢを備える、条項３９～４４のいずれかに記載の方法。

[0203] 条項４６：復号の方法が、符号化プロセスの一部として実施される、条項３９～４５のいずれかに記載の方法。

[0204] 条項４７：ビデオデータをコーディングするためのデバイスであって、デバイスが、条項３９～４６のいずれかに記載の方法を実施するための１つまたは複数の手段を備える、デバイス。

[0205] 条項４８：１つまたは複数の手段が、回路中に実装された１つまたは複数のプロセッサを備える、条項４７に記載のデバイス。

[0206] 条項４９：ビデオデータを記憶するためのメモリをさらに備える、条項４６または４７のいずれかに記載のデバイス。

[0207] 条項５０：復号ビデオデータを表示するように構成されたディスプレイをさらに備える、条項４７～４９のいずれかに記載のデバイス。

[0208] 条項５１：デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、条項４７～５０のいずれかに記載のデバイス。

[0209] 条項５２：デバイスがビデオデコーダを備える、条項４７～５１のいずれかに記載のデバイス。

[0210] 条項５３：デバイスがビデオエンコーダを備える、条項４７～５２のいずれかに記載のデバイス。

[0211] 条項５４：実行されたとき、１つまたは複数のプロセッサに、条項３９～４６のいずれかに記載の方法を実施させる命令を記憶したコンピュータ可読記憶媒体。

[0212] 上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

[0213] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0214] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0215] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0216] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

[0217] 様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。

Claims (25)

1. マルチレイヤビデオデータを復号するためのデバイスであって、前記デバイスが、
   マルチレイヤビデオデータを記憶するように構成されたメモリと、
   回路中に実装された１つまたは複数のプロセッサと
   を備え、前記１つまたは複数のプロセッサは、
   複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、前記複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、
   前記第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、前記ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するために、前記１つまたは複数のプロセッサが、前記第１のレイヤに属する復号ピクチャのみを前記ＤＰＢから除去するようにさらに構成された、
   コード化ピクチャバッファ（ＣＰＢ）から前記現在ピクチャの最後の復号ユニットを除去した後に、前記ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することと
   を行うように構成された、デバイス。
2. 前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するために、前記１つまたは複数のプロセッサが、前記第１のレイヤの前記現在ピクチャを復号するより前に、および前記現在ピクチャのスライスのためのスライスヘッダをパースした後に、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するようにさらに構成された、請求項１に記載のデバイス。
3. 前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するために、前記１つまたは複数のプロセッサが、前記ＣＰＢから前記現在ピクチャの第１の復号ユニットを除去したことに応答して、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するようにさらに構成された、請求項１に記載のデバイス。
4. 前記ＤＰＢのすべてのレイヤにわたって前記ピクチャバンピングプロセスを実施するために、前記１つまたは複数のプロセッサが、出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、前記ＤＰＢから除去するようにさらに構成された、請求項１に記載のデバイス。
5. 前記ＤＰＢのすべてのレイヤにわたって前記ピクチャバンピングプロセスを実施するために、前記１つまたは複数のプロセッサが、前記ＤＰＢから前記第２のレイヤの少なくとも１つのピクチャを除去するようにさらに構成された、請求項１に記載のデバイス。
6. 前記１つまたは複数のプロセッサは、
   前記ＤＰＢ中の参照ピクチャを識別することと、
   前記参照ピクチャ中の前記現在ピクチャの現在ブロックのための予測ブロックを識別することと、
   前記予測ブロックに基づいて前記現在ブロックを復号することと、
   前記現在ピクチャの復号バージョンを出力することと、ここにおいて、前記現在ピクチャの前記復号バージョンが、前記現在ブロックの復号バージョンを含む、
   を行うようにさらに構成された、請求項１に記載のデバイス。
7. 前記ＤＰＢが、前に復号されたピクチャを記憶するように構成され、前記ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、請求項１に記載のデバイス。
8. 前記１つまたは複数のプロセッサが、前記メモリ中に前記ＤＰＢと前記ＣＰＢとを維持するようにさらに構成された、請求項１に記載のデバイス。
9. 前記デバイスが、符号化マルチレイヤビデオデータを受信するように構成された受信機をさらに備えるワイヤレス通信デバイスを備える、請求項１に記載のデバイス。
10. 前記ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、前記受信機が、ワイヤレス通信規格に従って、前記符号化マルチレイヤビデオデータを備える信号を復調するように構成された、請求項９に記載のデバイス。
11. 前記デバイスが、符号化マルチレイヤビデオデータを送信するように構成された送信機をさらに備えるワイヤレス通信デバイスを備える、請求項１に記載のデバイス。
12. 前記ワイヤレス通信デバイスが、電話ハンドセットを備え、ここにおいて、前記送信機が、ワイヤレス通信規格に従って、前記符号化マルチレイヤビデオデータを備える信号を変調するように構成された、請求項１１に記載のデバイス。
13. 前記現在ピクチャの復号バージョンを備える復号マルチレイヤビデオデータを表示するように構成されたディスプレイ
    をさらに備える、請求項１に記載のデバイス。
14. 前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項１に記載のデバイス。
15. マルチレイヤビデオデータを復号する方法であって、前記方法は、
    複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、前記複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、
    前記第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、前記ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することが、前記第１のレイヤに属する復号ピクチャのみを前記ＤＰＢから除去することを備える、
    コード化ピクチャバッファ（ＣＰＢ）から前記現在ピクチャの最後の復号ユニットを除去した後に、前記ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することと
    を備える、方法。
16. 前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することが、前記第１のレイヤの前記現在ピクチャを復号するより前に、および前記現在ピクチャのスライスのためのスライスヘッダをパースした後に、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することを備える、請求項１５に記載の方法。
17. 前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することが、前記ＣＰＢから前記現在ピクチャの第１の復号ユニットを除去したことに応答して、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することを備える、請求項１５に記載の方法。
18. 前記ＤＰＢのすべてのレイヤにわたって前記ピクチャバンピングプロセスを実施することが、
    出力のために必要とされないとマークされ、および参照のために使用されないとマークされた参照ピクチャを、前記ＤＰＢから除去すること
    を備える、請求項１５に記載の方法。
19. 前記ＤＰＢのすべてのレイヤにわたって前記ピクチャバンピングプロセスを実施することが、前記ＤＰＢから前記第２のレイヤの少なくとも１つのピクチャを除去することを備える、請求項１５に記載の方法。
20. 前記ＤＰＢ中の参照ピクチャを識別することと、
    前記参照ピクチャ中の前記現在ピクチャの現在ブロックのための予測ブロックを識別することと、
    前記予測ブロックに基づいて前記現在ブロックを復号することと、
    前記現在ピクチャの復号バージョンを出力することと、ここにおいて、前記現在ピクチャの前記復号バージョンが、前記現在ブロックの復号バージョンを含む、
    をさらに備える、請求項１５に記載の方法。
21. 前記現在ピクチャの前記復号バージョンを表示すること
    をさらに備える、請求項２０に記載の方法。
22. 前記ＤＰＢが、前に復号されたピクチャを記憶するように構成され、前記ＣＰＢが、符号化マルチレイヤビデオデータを記憶するように構成された、請求項１５に記載の方法。
23. 復号の前記方法が、符号化プロセスの一部として実施される、請求項１５に記載の方法。
24. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
    複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持することと、ここにおいて、前記複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、
    前記第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、前記ＤＰＢ上でピクチャ出力および除去プロセスを実施することと、ここにおいて、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施するために、前記命令が、前記１つまたは複数のプロセッサに、前記第１のレイヤに属する復号ピクチャのみを前記ＤＰＢから除去させる、
    コード化ピクチャバッファ（ＣＰＢ）から前記現在ピクチャの最後の復号ユニットを除去した後に、前記ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施することと
    を行わせる、コンピュータ可読記憶媒体。
25. マルチレイヤビデオデータを復号するための装置であって、前記装置は、
    複数のレイヤのための参照ピクチャを記憶するための復号ピクチャバッファ（ＤＰＢ）を維持するための手段と、ここにおいて、前記複数のレイヤが、少なくとも第１のレイヤと第２のレイヤとを備える、
    前記第１のレイヤのアクセスユニットの現在ピクチャを復号するより前に、前記ＤＰＢ上でピクチャ出力および除去プロセスを実施するための手段と、ここにおいて、前記ＤＰＢ上で前記ピクチャ出力および除去プロセスを実施することが、前記第１のレイヤに属する復号ピクチャのみを前記ＤＰＢから除去することを備える、
    コード化ピクチャバッファ（ＣＰＢ）から前記現在ピクチャの最後の復号ユニットを除去した後に、前記ＤＰＢのすべてのレイヤにわたってピクチャバンピングプロセスを実施するための手段と
    を備える、装置。

Images