JP6513685B2 - ビデオコーディングにおけるＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの改善された推論 - Google Patents

Description

[0001]本開示は、シングルレイヤビデオコーディングとマルチレイヤビデオコーディングの両方を含む、ビデオコーディングおよび圧縮の分野に関する。マルチレイヤビデオコーディングとしては、スケーラブルビデオコーディング（ＳＶＣ）、マルチビュービデオコーディング（ＭＶＣ）、３Ｄビデオコーディング（３ＤＶ）などがあり得る。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ １０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するためにスキャンされ得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。

[0005]スケーラブルビデオコーディング（ＳＶＣ）は、参照レイヤ（ＲＬ：reference layer）と呼ばれることがあるベースレイヤ（ＢＬ：base layer）と、１つまたは複数のスケーラブルエンハンスメントレイヤ（ＥＬ：enhancement layer）とが使用されるビデオコーディングを指す。ＳＶＣでは、ベースレイヤは、ベースレベルの品質でビデオデータを搬送することができる。１つまたは複数のエンハンスメントレイヤは、たとえば、より高い空間レベル、時間レベル、および／または信号対雑音（ＳＮＲ：signal-to-noise）レベルをサポートするために追加のビデオデータを搬送することができる。エンハンスメントレイヤは、前に符号化されたレイヤに対して定義され得る。たとえば、最下位レイヤはＢＬとして働き得、最上位レイヤはＥＬとして働き得る。中間レイヤは、ＥＬまたはＲＬのいずれか、あるいはその両方として働き得る。たとえば、中間レイヤ（たとえば、最下位レイヤでも最上位レイヤでもないレイヤ）が、ベースレイヤまたは介在エンハンスメントレイヤ（intervening enhancement layer）など、中間レイヤの下のレイヤのためのＥＬであり、同時に、中間レイヤの上の１つまたは複数のエンハンスメントレイヤのためのＲＬとして働き得る。同様に、ＨＥＶＣ規格のマルチビューまたは３Ｄ拡張では、複数のビューがあり得、１つのビューの情報は、別のビューの情報（たとえば、動き推定、動きベクトル予測および／または他の冗長）をコーディング（たとえば、符号化または復号）するために利用され得る。

[0006]いくつかの態様による、ビデオ情報をコーディングするための装置は、メモリとプロセッサとを含む。メモリユニットは、現在のレイヤに関連付けられたビデオ情報を記憶するように構成される。上記プロセッサは、復号されるべき現在のレイヤの現在のピクチャのクロマフォーマット、現在のピクチャのルーマサンプルのビット深度、または現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、ここにおいて、現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、復号された現在のレイヤの先行するピクチャのクロマフォーマット、先行するピクチャのルーマサンプルのビット深度、または先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、現在のピクチャに関連付けられた第１のフラグの値を決定することと、第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示し、ここにおいて、第１のフラグの値の決定が、（１）現在のピクチャのクロマフォーマット、および先行するピクチャのクロマフォーマット、（２）現在のピクチャのルーマサンプルのビット深度、および先行するピクチャのルーマサンプルのビット深度、または（３）現在のピクチャのクロマサンプルのビット深度、および先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つに基づく、を行うように構成される。

[0007]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。添付の図面および以下の説明は、本明細書で説明する発明的概念の全範囲を限定するものではない。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。

本開示で説明する態様による技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化および復号システムを示すブロック図。 本開示で説明する態様による技法を実装し得るビデオ符号化器の一例を示すブロック図。 本開示で説明する態様による技法を実装し得るビデオ符号化器の一例を示すブロック図。 本開示で説明する態様による技法を実装し得るビデオ復号器の一例を示すブロック図。 本開示で説明する態様による技法を実装し得るビデオ復号器の一例を示すブロック図。 本開示の一実施形態による、異なるレイヤにおけるピクチャの例示的な構成を示すブロック図。 本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャート。

[0016]概して、本開示は、シングルレイヤコーディング、ならびにＨＥＶＣ（高効率ビデオコーディング）など、アドバンストビデオコーデックのコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より詳細には、本開示は、ＳＨＶＣと呼ばれることがある、ＨＥＶＣのスケーラブルビデオコーディング拡張におけるレイヤ間予測の性能の改善のためのシステムおよび方法に関する。

[0017]以下の説明では、いくつかの実施形態に関係するＨ．２６４／アドバンストビデオコーディング（ＡＶＣ）技法について説明し、ＨＥＶＣ規格および関係する技法についても説明する。いくつかの実施形態について、ＨＥＶＣおよび／またはＨ．２６４規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステムおよび方法が任意の好適なビデオコーディング規格に適用可能であり得ることを、当業者は諒解されよう。たとえば、本明細書で開示する実施形態は、以下の規格、すなわち、国際電気通信連合（ＩＴＵ）電気通信規格化セクタ（ＩＴＵ−Ｔ）Ｈ．２６１、国際標準化機構（ＩＳＯ）および国際電気標準会議（ＩＥＣ）（ＩＳＯ／ＩＥＣ）ムービングピクチャエキスパートグループ（ＭＰＥＧ）１（ＭＰＥＧ−１） Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のうちの１つまたは複数に適用可能であり得る。

[0018]ＨＥＶＣは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。ＨＥＶＣにおける予測のユニットは、いくつかの前のビデオコーディング規格における予測のユニット（たとえば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、いくつかの前のビデオコーディング規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを提供し得る、４分木方式に基づく階層構造と置き換えられる。たとえば、ＨＥＶＣ方式内で、３つのタイプのブロック、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、および変換ユニット（ＴＵ：Transform Unit）が定義される。ＣＵは領域分割の基本ユニットを指すことがある。ＣＵはマクロブロックの概念に類似すると見なされ得るが、ＨＥＶＣは、ＣＵの最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵはインター／イントラ予測の基本ユニットと見なされ得、単一のＰＵは、不規則な画像パターンを効果的にコーディングするために、複数の任意の形状パーティションを含んでいることがある。ＴＵは変換の基本ユニットと見なされ得る。ＴＵは、ＰＵとは無関係に定義され得るが、ＴＵのサイズは、ＴＵが属するＣＵのサイズに制限され得る。３つの異なる概念へのブロック構造のこの分離は、各ユニットがユニットのそれぞれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。

[0019]単に説明の目的で、本明細書で開示するいくつかの実施形態について、ビデオデータのただ２つのレイヤ（たとえば、ベースレイヤなどの下位レイヤ、およびエンハンスメントレイヤなどの上位レイヤ）を含む例を用いて説明する。ビデオデータの「レイヤ」は、概して、ビュー、フレームレート、解像度などの少なくとも１つの共通の特性を有するピクチャのシーケンスを指すことがある。たとえば、レイヤは、マルチビュービデオデータの特定のビュー（たとえば、パースペクティブ）に関連付けられたビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤに関連付けられたビデオデータを含み得る。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指すことがある。すなわち、ビデオデータのビューはビデオデータのレイヤと呼ばれることがあり、ビデオデータのレイヤはビデオデータのビューと呼ばれることがある。さらに、（マルチレイヤビデオコーダまたはマルチレイヤ符号化器復号器とも呼ばれる）マルチレイヤコーデックは、マルチビューコーデックまたはスケーラブルコーデック（たとえば、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、ＳＨＶＣ、または別のマルチレイヤコーディング技法を使用するビデオデータを符号化および／または復号するように構成されたコーデック）を共同で指すことがある。ビデオ符号化およびビデオ復号は両方とも、概して、ビデオコーディングと呼ばれることがある。そのような例は、複数のベースレイヤおよび／またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する技法は、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなど、任意の好適なビデオユニットとともに使用され得る。

ビデオコーディング規格

[0020]ビデオ画像、ＴＶ画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルまたはサンプルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像符号化器から画像復号器に搬送されるべき情報の甚だしい量は、リアルタイム画像送信を不可能にするであろう。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧおよびＨ．２６３規格など、いくつかの異なる圧縮方法が開発された。

[0021]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌと、それのＳＶＣおよびＭＶＣ拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４とを含む。

[0022]さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。ＨＥＶＣのマルチビュー拡張すなわちＭＶ−ＨＥＶＣ、およびＳＨＶＣと称されるＨＥＶＣのスケーラブル拡張も、それぞれＪＣＴ−３Ｖ（ＩＴＵ−ＴＩ／ＳＯ／ＩＥＣのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発）およびＪＣＴ−ＶＣによって開発されている。

概要

[0023]イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャは、ビットストリームを復号するためのランダムアクセスポイントを提供することができる。復号器は、ＩＲＡＰピクチャに先行するピクチャを復号する必要なしに、ＩＲＡＰピクチャを復号することによってビットストリームを復号することを開始し得る。ＩＲＡＰピクチャを復号するときに、復号ピクチャバッファ（ＤＰＢ）は、バッファ中にいくつかの復号されたピクチャを有し得る。ＤＰＢ中の存在するピクチャを出力することが、復号器の性能に影響を及ぼすことになる（たとえば、復号器が出力すべきあまりに多くのピクチャがＤＰＢ中に存在する）場合、そのような存在するピクチャを、それらを出力することなしに削除する（たとえば、存在するピクチャをフラッシュする）ことが望ましいことがある。

[0024]変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、ＩＲＡＰピクチャを復号するとき、ＤＰＢ中のピクチャが、ＤＰＢから削除されるより前に出力されるべきであるかどうかを示すことができる。たとえば、ＩＲＡＰピクチャを復号するとき、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ＤＰＢ中のピクチャが、削除される前に出力されるべきでないとき、１に設定され得る。ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、対応するシンタックス要素および／または様々な条件および情報に基づいて決定され得る。ＨＥＶＣ、ＳＨＶＣ、およびＭＶ−ＨＥＶＣの早期バージョン（たとえば、ＳＨＶＣワーキングドラフト４およびＭＶ−ＨＥＶＣワーキングドラフト６）では、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、空間解像度またはピクチャストアの数が変化するとき、１に等しく設定され得る。ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定することによって、復号器は、適宜にＤＰＢ中のピクチャを削除することによって、ＤＰＢ中で利用可能なメモリの量を制御することができる。しかしながら、ＤＰＢ中で必要とされるメモリの量は、ピクチャのカラーフォーマットおよび／またはビット深度の変化によっても影響を及ぼされ得る。

[0025]これらおよび他の課題に対処するために、いくつかの態様による技法は、ＩＲＡＰピクチャのためのＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を決定するとき、ピクチャのカラーフォーマットおよび／またはビット深度を考慮に入れることができる。たとえば、技法は、復号されるべき現在のレイヤにおける現在のピクチャのカラーフォーマットおよび／またはビット深度が、現在のレイヤにおける先行するピクチャのカラーフォーマットおよび／またはビット深度とは異なるかどうかを決定し得る。現在のピクチャおよび先行するピクチャのカラーフォーマットおよび／またはビット深度は、現在アクティブなシーケンスパラメータセット（ＳＰＳ）、およびそれぞれ先行するピクチャが復号されたときにアクティブであったＳＰＳから取得され得る。カラーフォーマットまたはビット深度の変化がある場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ピクチャを出力することなしにＤＰＢ中のピクチャの削除をトリガするために、１に等しく設定され得る。

[0026]ピクチャのカラーフォーマットおよび／またはビット深度の変化を考慮に入れることによって、技法は、より正確にＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を決定することができる。たとえば、技法は、バッファ中に追加のメモリを必要とすることになる状況をより良く予期することができる。

ビデオコーディングシステム

[0027]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために提供されるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示するどの態様も請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0028]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

[0029]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（たとえば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じまたは同様のタイプの異なる要素を指すために使用されるにすぎない。

[0030]図１Ａは、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオ符号化器とビデオ復号器の両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。ビデオ符号化器およびビデオ復号器に加えて、本出願で説明する態様は、トランスコーダ（たとえば、ビットストリームを復号し、別のビットストリームを再符号化することができるデバイス）およびミドルボックス（たとえば、ビットストリームを変更、変換、および／または場合によっては操作することができるデバイス）など、他の関係するデバイスに拡張され得る。

[0031]図１Ａに示されているように、ビデオコーディングシステム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを生成するソースデバイス１２を含む。図１Ａの例では、ソースデバイス１２および宛先デバイス１４は、別個のデバイスを構成する。ただし、ソースデバイス１２および宛先デバイス１４は、図１Ｂの例に示されているように、同じデバイス上にあるかまたはそれの一部であり得ることに留意されたい。

[0032]もう一度図１Ａを参照すると、ソースデバイス１２および宛先デバイス１４は、それぞれ、デスクトップコンピュータ、ノートブック（たとえば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0033]宛先デバイス１４は、復号されるべき符号化ビデオデータをリンク１６を介して受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。図１Ａの例では、リンク１６は、ソースデバイス１２が符号化ビデオデータをリアルタイムで宛先デバイス１４に送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースネットワーク、またはインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得る任意の他の機器を含み得る。

[0034]代替的に、符号化データは出力インターフェース２２からオプションのストレージデバイス３１に出力され得る。同様に、符号化データは、たとえば、宛先デバイス１４の入力インターフェース２８によってストレージデバイス３１からアクセスされ得る。ストレージデバイス３１は、ハードドライブ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス３１は、ソースデバイス１２によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイス３１から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１４に送信することができる任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）接続）、ワイヤード接続（たとえば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイス３１からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。

[0035]本開示の技法はワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信（たとえば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）上での動的適応ストリーミングなど）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0036]図１Ａの例では、ソースデバイス１２は、ビデオソース１８と、ビデオ符号化器２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、図１Ｂの例に示されているように、いわゆる「カメラフォン」または「ビデオフォン」を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。

[0037]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に送信され得る。符号化ビデオデータは、さらに（または代替として）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのためにストレージデバイス３１上に記憶され得る。図１Ａおよび図１Ｂに示されているビデオ符号化器２０は、図２Ａ示されているビデオ符号化器２０、図２Ｂに示されているビデオ符号化器２３、または本明細書で説明する他のビデオ符号化器を備え得る。

[0038]図１Ａの例では、宛先デバイス１４は、入力インターフェース２８と、ビデオ復号器３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を介しておよび／またはストレージデバイス３１から符号化ビデオデータを受信し得る。リンク１６を介して通信され、またはストレージデバイス３１上に提供された符号化ビデオデータは、ビデオデータを復号する際に、ビデオ復号器３０などのビデオ復号器が使用するためのビデオ符号化器２０によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信された、記憶媒体上に記憶された、またはファイルサーバ記憶された符号化ビデオデータに含まれ得る。図１Ａおよび図１Ｂに示されているビデオ復号器３０は、図３Ａ示されているビデオ復号器３０、図３Ｂに示されているビデオ復号器３３、または本明細書で説明する他のビデオ復号器を備え得る。

[0039]ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0040]関係する態様では、図１Ｂは例示的なビデオ符号化および復号システム１０’を示し、ここにおいて、ソースデバイス１２および宛先デバイス１４はデバイス１１上にあるかまたはそれの一部である。デバイス１１は、「スマート」フォンなどの電話ハンドセットであり得る。デバイス１１は、ソースデバイス１２および宛先デバイス１４と動作可能に通信しているオプションのコントローラ／プロセッサデバイス１３を含み得る。図１Ｂのシステム１０’は、ビデオ符号化器２０と出力インターフェース２２との間のビデオ処理ユニット２１をさらに含み得る。いくつかの実装形態では、図１Ｂに示されているように、ビデオ処理ユニット２１は別個のユニットであるが、他の実装形態では、ビデオ処理ユニット２１は、ビデオ符号化器２０および／またはプロセッサ／コントローラデバイス１３の一部分として実装され得る。システム１０’はまた、ビデオシーケンス中の当該のオブジェクトを追跡することができるオプションのトラッカー２９を含み得る。追跡されるべきオブジェクトまたは興味は、本開示の１つまたは複数の態様に関して説明する技法によってセグメント化され得る。関係する態様では、追跡することは、単独でまたはトラッカー２９とともに、ディスプレイデバイス３２によって実行され得る。図１Ｂのシステム１０’およびそれの構成要素は、場合によっては図１Ａのシステム１０およびそれの構成要素と同様である。

[0041]ビデオ符号化器２０およびビデオ復号器３０は、ＨＥＶＣなどのビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオ符号化器２０およびビデオ復号器３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，ＡＶＣと呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、またはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

[0042]図１Ａおよび図１Ｂの例には示されていないが、ビデオ符号化器２０およびビデオ復号器３０は、それぞれオーディオ符号化器および復号器と統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0043]ビデオ符号化器２０およびビデオ復号器３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適な符号化器回路のいずれか、またはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオ符号化器２０およびビデオ復号器３０の各々は１つまたは複数の符号化器または復号器中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合符号化器／復号器（コーデック）の一部として統合され得る。

ビデオコーディングプロセス

[0044]上記で手短に述べたように、ビデオ符号化器２０はビデオデータを符号化する。ビデオデータは１つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオ符号化器２０がビデオデータを符号化するとき、ビデオ符号化器２０はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと関連データとを含み得る。コード化ピクチャとは、ピクチャのコード化表現である。

[0045]ビットストリームを生成するために、ビデオ符号化器２０は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオ符号化器２０がピクチャに対して符号化演算を実行するとき、ビデオ符号化器２０は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、ビデオパラメータセット（ＶＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）と、適応パラメータセット（ＡＰＳ）と、他のシンタックス構造とを含み得る。ＳＰＳは、ピクチャの０個以上のシーケンスに適用可能なパラメータを含んでいることがある。ＰＰＳは、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳは、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。

[0046]コード化ピクチャを生成するために、ビデオ符号化器２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。ビデオ符号化器２０は、４分木区分（quadtree partitioning）を使用して、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分し得、したがって「ツリーブロック」という名前がある。

[0047]いくつかの例では、ビデオ符号化器２０はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のＣＵを含み得る。いくつかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。

[0048]ピクチャに対して符号化演算を実行することの一部として、ビデオ符号化器２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオ符号化器２０がスライスに対して符号化演算を実行するとき、ビデオ符号化器２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。

[0049]コード化スライスを生成するために、ビデオ符号化器２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオ符号化器２０がツリーブロックに対して符号化演算を実行するとき、ビデオ符号化器２０はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。

[0050]ビデオ符号化器２０がコード化スライスを生成するとき、ビデオ符号化器２０は、ラスタスキャン順序に従って、スライス中のツリーブロックに対して符号化演算を実行し得る（たとえば、そのツリーブロックを符号化し得る）。たとえば、ビデオ符号化器２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオ符号化器２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

[0051]ラスタスキャン順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオ符号化器２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。

[0052]コード化ツリーブロックを生成するために、ビデオ符号化器２０は、ツリーブロックのビデオブロックに対して４分木区分を再帰的に実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、ビデオ符号化器２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分された、ＣＵであり得る。区分されていないＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分されていない、ＣＵであり得る。

[0053]ビットストリーム中の１つまたは複数のシンタックス要素は、ビデオ符号化器２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（たとえば、ＣＵのサイズ）は、８×８ピクセルから、最大６４×６４以上のピクセルをもつツリーブロックのビデオブロックのサイズ（たとえば、ツリーブロックのサイズ）までに及び得る。

[0054]ビデオ符号化器２０は、ｚスキャン順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実行し得る（たとえば、各ＣＵを符号化し得る）。言い換えれば、ビデオ符号化器２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオ符号化器２０が、区分されたＣＵに対して符号化演算を実行するとき、ビデオ符号化器２０は、ｚスキャン順序に従って、区分されたＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオ符号化器２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。

[0055]ｚスキャン順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、および左下のＣＵは符号化されていることがある。所与のＣＵの下および右のＣＵはまだ符号化されていない。したがって、ビデオ符号化器２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接するいくつかのＣＵを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオ符号化器２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成された情報にアクセスすることができないことがある。

[0056]ビデオ符号化器２０が、区分されていないＣＵを符号化するとき、ビデオ符号化器２０は、ＣＵのために１つまたは複数の予測ユニット（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオ符号化器２０は、ＣＵの各ＰＵについて予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックはサンプルのブロックであり得る。ビデオ符号化器２０は、イントラ予測またはインター予測を使用して、ＰＵのための予測ビデオブロックを生成し得る。

[0057]ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオ符号化器２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオ符号化器２０がイントラ予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはイントラ予測されたＣＵである。ビデオ符号化器２０がインター予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオ符号化器２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはインター予測されたＣＵである。

[0058]さらに、ビデオ符号化器２０がインター予測を使用してＰＵのための予測ビデオブロックを生成するとき、ビデオ符号化器２０はＰＵの動き情報を生成し得る。ＰＵの動き情報は、ＰＵの１つまたは複数の参照ブロックを示し得る。ＰＵの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはＰＵに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、ＰＵの参照ブロックはＰＵの「参照サンプル」と呼ばれることもある。ビデオ符号化器２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。

[0059]ビデオ符号化器２０がＣＵの１つまたは複数のＰＵのための予測ビデオブロックを生成した後、ビデオ符号化器２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの間の差を示し得る。

[0060]さらに、区分されていないＣＵに対して符号化演算を実行することの一部として、ビデオ符号化器２０は、ＣＵの残差データに対して再帰的な４分木区分を実行して、ＣＵの残差データを、ＣＵの変換ユニット（ＴＵ）に関連付けられた残差データの１つまたは複数のブロック（たとえば、残差ビデオブロック）に区分し得る。ＣＵの各ＴＵは異なる残差ビデオブロックに関連付けられ得る。

[0061]ビデオ符号化器２０は、ＴＵに関連付けられた変換係数ブロック（たとえば、変換係数のブロック）を生成するために、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。

[0062]変換係数ブロックを生成した後、ビデオ符号化器２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を提供するプロセスを指す。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられることがあり、ここで、ｎはｍよりも大きい。

[0063]ビデオ符号化器２０は、各ＣＵを量子化パラメータ（ＱＰ：quantization parameter）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオ符号化器２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオ符号化器２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

[0064]ビデオ符号化器２０が変換係数ブロックを量子化した後、ビデオ符号化器２０は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオ符号化器２０は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテンツ適応型可変長コーディング（ＣＡＶＬＣ：content adaptive variable length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。

[0065]ビデオ符号化器２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットを含み得る。ＮＡＬユニットの各々は、ＮＡＬユニット中のデータのタイプのインジケーションと、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。たとえば、ＮＡＬユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）、アクセスユニット区切り文字、フィラーデータ、または別のタイプのデータを表すデータを含み得る。ＮＡＬユニット中のデータは様々なシンタックス構造を含み得る。

[0066]ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオ符号化器２０によって符号化されたビデオデータのコード化表現を含み得る。ビデオ復号器３０がビットストリームを受信するとき、ビデオ復号器３０は、ビットストリームに対してパース演算を実行し得る。ビデオ復号器３０がパース演算を実行するとき、ビデオ復号器３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオ復号器３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオ符号化器２０によって実行されるプロセスとは逆であり得る。

[0067]ビデオ復号器３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオ復号器３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。さらに、ビデオ復号器３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオ復号器３０は、変換係数ブロックに対して逆変換を実行して、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオ復号器３０は、予測ビデオブロックと残差ビデオブロックとに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオ復号器３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。

ビデオ符号化器

[0068]図２Ａは、本開示で説明する態様による技法を実装し得るビデオ符号化器２０の一例を示すブロック図である。ビデオ復号器２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ符号化器２０は、限定はしないが、図４および図５に関して上記および下記でより詳細に説明するＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを推論する方法および関係するプロセスを含む、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、予測処理ユニット１００は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。別の実施形態では、ビデオ符号化器２０は、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたオプションのレイヤ間予測ユニット１２８を含む。他の実施形態では、レイヤ間予測は予測処理ユニット１００（たとえば、インター予測ユニット１２１および／またはイントラ予測ユニット１２６）によって実行され得、その場合、レイヤ間予測ユニット１２８は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオ符号化器２０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[0069]説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオ符号化器２０について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図２Ａに示された例はシングルレイヤコーデックのためのものである。しかしながら、図２Ｂに関してさらに説明するように、ビデオ符号化器２０の一部または全部はマルチレイヤコーデックの処理のために複製され得る。

[0070]ビデオ符号化器２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオ中の時間冗長性を低減または削除するために、時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指すことがある。

[0071]図２Ａの例では、ビデオ符号化器２０は複数の機能構成要素を含む。ビデオ符号化器２０の機能構成要素は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオ符号化器２０は、より多数の、より少数の、または異なる機能構成要素を含み得る。さらに、動き推定ユニット１２２と動き補償ユニット１２４とは、高度に統合され得るが、図２Ａの例では、説明の目的で別々に表されている。

[0072]ビデオ符号化器２０はビデオデータを受信し得る。ビデオ符号化器２０は、様々なソースからビデオデータを受信し得る。たとえば、ビデオ符号化器２０は、（たとえば、図１Ａまたは図１Ｂに示された）ビデオソース１８、または別のソースからビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオ符号化器２０は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオ符号化器２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオ符号化器２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。

[0073]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロックのビデオブロックに対して４分木区分を実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。たとえば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。

[0074]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大６４×６４以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのサンプル寸法、たとえば、１６×１６（16x16）サンプルまたは１６×１６（16 by 16）サンプルを指すために互換的に使用され得る。概して、１６×１６ビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。

[0075]さらに、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。たとえば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。

[0076]４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのシンタックスデータ（たとえば、シンタックス要素）を含み得る。たとえば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分される（たとえば、分割される）かどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。

[0077]ビデオ符号化器２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実行し得る。ビデオ符号化器２０が、区分されていないＣＵに対して符号化演算を実行するとき、ビデオ符号化器２０は、区分されていないＣＵの符号化表現を表すデータを生成する。

[0078]ＣＵに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ＣＵの１つまたは複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオ符号化器２０およびビデオ復号器３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオ符号化器２０およびビデオ復号器３０は、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、または同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオ符号化器２０およびビデオ復号器３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。いくつかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分を実行し得る。

[0079]インター予測ユニット１２１はＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は時間圧縮を提供し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２はＰＵの動き情報を生成し得る。動き補償ユニット１２４は、動き情報と、ＣＵに関連付けられたピクチャ以外のピクチャ（たとえば、参照ピクチャ）の復号サンプルとに基づくＰＵのための予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

[0080]スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、Ｂスライス中にあるかに応じて、ＣＵのＰＵに対して異なる演算を実行し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、動き推定ユニット１２２および動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。

[0081]ＰＵがＰスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測に使用され得るサンプルを含んでいる。動き推定ユニット１２２が、Ｐスライス中のＰＵに関して動き推定演算を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定ユニット１２２は、様々なメトリクスを使用して、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。たとえば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。

[0082]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は動きベクトルを異なる精度に生成し得る。たとえば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度、または他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0083]ＰＵがＢスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」および「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含んでいるピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。

[0084]さらに、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単方向予測または双方向予測を実行し得る。動き推定ユニット１２２が、ＰＵについての単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０またはリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０またはリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すか、リスト１中の参照ピクチャを示すかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0085]動き推定ユニット１２２が、ＰＵについての双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含んでいる、リスト０およびリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報としてＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0086]いくつかの例では、動き推定ユニット１２２は、ＰＵの動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報をシグナリングし得る。たとえば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオ復号器３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの間の差分を示す。ビデオ復号器３０は、示される隣接ＰＵの動きベクトルと、動きベクトル差分とを使用して、ＰＵの動きベクトルを決定し得る。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、ビデオ符号化器２０は、より少数のビットを使用して、第２のＰＵの動き情報をシグナリングすることが可能であり得る。

[0087]図５に関して以下でさらに説明するように、予測処理ユニット１００は、図５に示されている方法を実行することによってＰＵ（または他の参照レイヤブロックおよび／またはエンハンスメントレイヤブロックまたはビデオユニット）をコーディング（たとえば、符号化または復号）するように構成され得る。たとえば、（たとえば、動き推定ユニット１２２および／または動き補償ユニット１２４を介した）インター予測ユニット１２１、イントラ予測ユニット１２６、またはレイヤ間予測ユニット１２８は、一緒にまたは別々に、図５に示されている方法を実行するように構成され得る。

[0088]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は空間圧縮を提供し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵの予測データを生成し得る。ＰＵの予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実行し得る。

[0089]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵの予測データの複数のセットを生成し得る。イントラ予測ユニット１２６が、イントラ予測モードを使用してＰＵの予測データのセットを生成するとき、イントラ予測ユニット１２６は、イントラ予測モードに関連付けられた方向および／または勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、または左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モードを使用し得る。

[0090]予測処理ユニット１００は、ＰＵについての、動き補償ユニット１２４によって生成された予測データ、またはＰＵについての、イントラ予測ユニット１２６によって生成された予測データの中から、ＰＵの予測データを選択し得る。いくつかの例では、予測処理ユニット１００は、予測データのセットのレート／ひずみメトリックに基づいて、ＰＵのための予測データを選択する。

[0091]予測処理ユニット１００が、イントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵの予測データを生成するために使用されたイントラ予測モード、たとえば、選択されたイントラ予測モードをシグナリングし得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。したがって、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すための、シンタックス要素を生成し得る。

[0092]上記で説明したように、ビデオ符号化器２０はレイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するために予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、ベースレイヤ中のコロケートブロックの再構成を使用してエンハンスメントレイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。

[0093]予測処理ユニット１００がＣＵのＰＵの予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（たとえば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。たとえば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

[0094]予測処理ユニット１００は、４分木区分を実行して、ＣＵの残差ビデオブロックをサブブロックに区分し得る。各分割されていない残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられた残差ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズおよび位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵはＲＱＴのリーフノードに対応し得る。

[0095]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。

[0096]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0097]ビデオ符号化器２０は、様々な方法でＱＰ値をＣＵに関連付け得る。たとえば、ビデオ符号化器２０は、ＣＵに関連付けられたツリーブロックに対してレートひずみ分析を実行し得る。レートひずみ分析では、ビデオ符号化器２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオ符号化器２０がツリーブロックの異なる符号化表現を生成するとき、ビデオ符号化器２０は、異なるＱＰ値をＣＵに関連付け得る。ビデオ符号化器２０は、最小のビットレートおよびひずみメトリックを有するツリーブロックのコード化表現で所与のＱＰ値がＣＵに関連付けられるとき、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。

[0098]逆量子化ユニット１０８および逆変換ユニット１１０は、それぞれ、変換係数ブロックに逆量子化と逆変換とを適用して、変換係数ブロックから残差ビデオブロックを再構成し得る。再構成ユニット１１２は、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つまたは複数の予測ビデオブロックからの対応するサンプルに追加して、ＴＵに関連付けられた再構成されたビデオブロックを生成し得る。このようにＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオ符号化器２０は、ＣＵのビデオブロックを再構成し得る。

[0099]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するためにデブロッキング演算を実行し得る。１つまたは複数のデブロッキング演算を実行した後、フィルタユニット１１３は、復号ピクチャバッファ１１４にＣＵの再構成されたビデオブロックを記憶し得る。動き推定ユニット１２２および動き補償ユニット１２４は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続ピクチャのＰＵに対してインター予測を実行し得る。さらに、イントラ予測ユニット１２６は、復号ピクチャバッファ１１４中の再構成されたビデオブロックを使用して、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実行し得る。

[00100]エントロピー符号化ユニット１１６は、ビデオ符号化器２０の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信するとき、エントロピー符号化ユニット１１６は、１つまたは複数のエントロピー符号化演算を実行して、エントロピー符号化されたデータを生成し得る。たとえば、ビデオ符号化器２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ）コーディング演算、または別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化されたデータを含むビットストリームを出力し得る。

[00101]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。

マルチレイヤビデオ符号化器

[00102]図２Ｂは、本開示で説明する態様による技法を実装し得る（単にビデオ符号化器２３とも呼ばれる）マルチレイヤビデオ符号化器２３の一例を示すブロック図である。ビデオ符号化器２３は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ符号化器２３は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00103]ビデオ符号化器２３はビデオ符号化器２０Ａとビデオ符号化器２０Ｂとを含み、それらの各々はビデオ符号化器２０として構成され得、ビデオ符号化器２０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオ符号化器２０Ａおよび２０Ｂは、ビデオ符号化器２０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオ符号化器２３は、２つのビデオ符号化器２０Ａおよび２０Ｂを含むものとして示されているが、ビデオ符号化器２３は、そのようなものとして限定されず、任意の数のビデオ符号化器２０レイヤを含み得る。いくつかの実施形態では、ビデオ符号化器２３はアクセスユニット中の各ピクチャまたはフレームについてビデオ符号化器２０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つの符号化器レイヤを含むビデオ符号化器によって処理または符号化され得る。いくつかの実施形態では、ビデオ符号化器２３は、アクセスユニット中のフレームよりも多くの符号化器レイヤを含み得る。いくつかのそのような場合では、ビデオ符号化器レイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00104]ビデオ符号化器２０Ａおよび２０Ｂに加えて、ビデオ符号化器２３はリサンプリングユニット９０を含み得る。リサンプリングユニット９０は、場合によっては、たとえば、エンハンスメントレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたベースレイヤに関連付けられた特定の情報をアップサンプリングするが、他の情報をアップサンプリングしないことがある。たとえば、リサンプリングユニット９０は、ベースレイヤの空間サイズまたはピクセルの数をアップサンプリングし得るが、スライスの数またはピクチャ順序カウントは定数のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあるか、および／またはオプションであり得る。たとえば、場合によっては、予測処理ユニット１００はアップサンプリングを実行し得る。いくつかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングすることと、スライス境界ルールおよび／またはラスタスキャンルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。アクセスユニット中のベースレイヤまたは下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０はレイヤをダウンサンプリングし得る。たとえば、ビデオのストリーミング中に帯域幅が減少した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。

[00105]リサンプリングユニット９０は、下位レイヤ符号化器（たとえば、ビデオ符号化器２０Ａ）の復号ピクチャバッファ１１４からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ符号化器と同じアクセスユニット中のピクチャを符号化するように構成された上位レイヤ符号化器（たとえば、ビデオ符号化器２０Ｂ）の予測処理ユニット１００に提供され得る。場合によっては、上位レイヤ符号化器は、下位レイヤ符号化器から削除された１つのレイヤである。他の場合には、図２Ｂのレイヤ０ビデオ符号化器とレイヤ１符号化器との間に１つまたは複数の上位レイヤ符号化器があり得る。

[00106]場合によっては、リサンプリングユニット９０は省略またはバイパスされ得る。そのような場合、ビデオ符号化器２０Ａの復号ピクチャバッファ１１４からのピクチャは、直接、または少なくともリサンプリングユニット９０に提供されることなしに、ビデオ符号化器２０Ｂの予測処理ユニット１００に提供され得る。たとえば、ビデオ符号化器２０Ｂに提供されたビデオデータと、ビデオ符号化器２０Ａの復号ピクチャバッファ１１４からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、リサンプリングなしにビデオ符号化器２０Ｂに提供され得る。

[00107]いくつかの実施形態では、ビデオ符号化器２３は、ビデオ符号化器２０Ａにビデオデータを提供される前に、ダウンサンプリングユニット９４を使用して下位レイヤ符号化器に提供されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリングまたはダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。

[00108]図２Ｂに示されているように、ビデオ符号化器２３は、マルチプレクサ９８、またはｍｕｘをさらに含み得る。ｍｕｘ９８は、ビデオ符号化器２３から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオ符号化器２０Ａおよび２０Ｂの各々からビットストリームを取り、所与の時間において出力されるビットストリームを互い違いにすることによって作成され得る。場合によっては、２つの（または、３つ以上のビデオ符号化器レイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ互い違いにされ得るが、多くの場合、ビットストリームは別様に合成され得る。たとえば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ互い違いにすることによって作成され得る。別の例では、出力ビットストリームは、ビデオ符号化器２０Ａおよび２０Ｂの各々からブロックの非１：１比を出力することによって作成され得る。たとえば、ビデオ符号化器２０Ａから出力された各ブロックについて、２つのブロックがビデオ符号化器２０Ｂから出力され得る。いくつかの実施形態では、ｍｕｘ９８からの出力ストリームはプリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、ソースデバイス１２を含むソースデバイス上のプロセッサからなど、ビデオ符号化器２３の外部のシステムから受信された制御信号に基づいて、ビデオ符号化器２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオソース１８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオ符号化器２３から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。

ビデオ復号器

[00109]図３Ａは、本開示で説明する態様による技法を実装し得るビデオ復号器３０の一例を示すブロック図である。ビデオ復号器３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。さらに、ビデオ復号器３０は、限定はしないが、図４および図５に関して上記および下記でより詳細に説明するＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを推論する方法および関係するプロセスを含む、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、動き補償ユニット１６２および／またはイントラ予測ユニット１６４は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。一実施形態では、ビデオ復号器３０は、場合によっては、本開示で説明する技法のいずれかまたはすべてを実行するように構成されたレイヤ間予測ユニット１６６を含み得る。他の実施形態では、レイヤ間予測は予測処理ユニット１５２（たとえば、動き補償ユニット１６２および／またはイントラ予測ユニット１６４）によって実行され得、その場合、レイヤ間予測ユニット１６６は省略され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオ復号器３０の様々な構成要素間で共有され得る。いくつかの例では、追加または代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[00110]説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオ復号器３０について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。図３Ａに示された例はシングルレイヤコーデックのためのものである。しかしながら、図３Ｂに関してさらに説明するように、ビデオ復号器３０の一部または全部はマルチレイヤコーデックの処理のために複製され得る。

[00111]図３Ａの例では、ビデオ復号器３０は複数の機能構成要素を含む。ビデオ復号器３０の機能構成要素は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。いくつかの例では、ビデオ復号器３０は、図２Ａのビデオ符号化器２０に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオ復号器３０は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[00112]ビデオ復号器３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオ復号器３０がビットストリームを受信したとき、エントロピー復号ユニット１５０は、ビットストリームに対してパース演算を実行し得る。ビットストリームに対してパース演算を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。パース演算を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８、およびフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。

[00113]上記で説明したように、ビットストリームは、一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、ビデオパラメータセットＮＡＬユニット、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニットなどを含み得る。ビットストリームに対してパース演算を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬユニットからのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬユニットからのピクチャパラメータセット、ＳＥＩ ＮＡＬユニットからのＳＥＩデータなどを抽出しエントロピー復号する、パース演算を実行し得る。

[00114]さらに、ビットストリームのＮＡＬユニットはコード化スライスＮＡＬユニットを含み得る。ビットストリームに対してパース演算を実行することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬユニットからコード化スライスを抽出しエントロピー復号する、パース演算を実行し得る。コーディングされたスライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、コード化されたスライスヘッダ中のシンタックス要素に対して、ＣＡＢＡＣ復号演算などのエントロピー復号演算を実行して、スライスヘッダを再構成し得る。

[00115]コード化スライスのＮＡＬユニットからスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコード化ＣＵからシンタックス要素を抽出するパース演算を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちのいくつかに対してＣＡＢＡＣ復号演算を実行し得る。

[00116]エントロピー復号ユニット１５０が区分されていないＣＵに対してパース演算を実行した後、ビデオ復号器３０は、区分されていないＣＵに対して再構成演算を実行し得る。区分されていないＣＵに対して再構成演算を実行するために、ビデオ復号器３０はＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオ復号器３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。

[00117]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆量子化（inverse quantize）、たとえば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣ用に提案された、またはＨ．２６４復号規格によって定義された逆量子化プロセスと同様の方式で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオ符号化器２０によって計算される量子化パラメータＱＰを使用し得る。

[00118]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換ユニット１５６は、ビデオ符号化器２０からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。

[00119]いくつかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償ユニット１６２は、ＰＵの予測ビデオブロックの生成中にビデオ符号化器２０によって使用された同じ補間フィルタを使用して、参照ブロックのサブ整数サンプルについての補間値を計算し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオ符号化器２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ビデオブロックを生成し得る。

[00120]図５に関して以下でさらに説明するように、予測処理ユニット１５２は、図５に示されている方法を実行することによってＰＵ（または他の参照レイヤブロックおよび／またはエンハンスメントレイヤブロックまたはビデオユニット）をコーディング（たとえば、符号化または復号）し得る。たとえば、動き補償ユニット１６２、イントラ予測ユニット１６４、またはレイヤ間予測ユニット１６６は、一緒にまたは別々に、図５に示されている方法を実行するように構成され得る。

[00121]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。

[00122]いくつかの事例では、シンタックス要素は、イントラ予測ユニット１６４が別のＰＵのイントラ予測モードを使用して現在ＰＵのイントラ予測モードを決定するべきであることを示し得る。たとえば、現在ＰＵのイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モードであり得る。したがって、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、イントラ予測モードを使用して、空間的に隣接するＰＵのビデオブロックに基づいて、ＰＵの予測データ（たとえば、予測サンプル）を生成し得る。

[00123]上記で説明したように、ビデオ復号器３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＶＣにおいて利用可能である１つまたは複数の異なるレイヤ（たとえば、ベースレイヤまたは参照レイヤ）を使用して、現在ブロック（たとえば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測はレイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コーディング効率を改善し、計算リソース要件を低減する。レイヤ間予測のいくつかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、およびレイヤ間残差予測がある。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤ中のコロケートブロックの再構成を使用する。レイヤ間動き予測は、ベースレイヤの動き情報を使用してエンハンスメントレイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残差を使用してエンハンスメントレイヤの残差を予測する。レイヤ間予測方式の各々について、より詳細に以下で説明する。

[00124]再構成ユニット１５８は、適用可能なとき、ＣＵのＴＵに関連付けられた残差ビデオブロックとＣＵのＰＵの予測ビデオブロックとを使用して、すなわち、イントラ予測データまたはインター予測データのいずれかを使用して、ＣＵのビデオブロックを再構成し得る。したがって、ビデオ復号器３０は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいて、ビデオブロックを生成し得る。

[00125]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、デブロッキング演算を実行して、ＣＵに関連付けられたブロッキングアーティファクトを低減し得る。フィルタユニット１５９が、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキング演算を実行した後、ビデオ復号器３０はＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、後続の動き補償、イントラ予測、および図１Ａまたは図１Ｂのディスプレイデバイス３２などのディスプレイデバイス上での提示のために、参照ピクチャを提供し得る。たとえば、ビデオ復号器３０は、復号ピクチャバッファ１６０中のビデオブロックに基づいて、他のＣＵのＰＵに対してイントラ予測演算またはインター予測演算を実行し得る。

マルチレイヤ復号器

[00126]図３Ｂは、本開示で説明する態様による技法を実装し得る（単にビデオ復号器３３とも呼ばれる）マルチレイヤビデオ復号器３３の一例を示すブロック図である。ビデオ復号器３３は、ＳＨＶＣおよびマルチビューコーディングの場合など、マルチレイヤビデオフレームを処理するように構成され得る。さらに、ビデオ復号器３３は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。

[00127]ビデオ復号器３３はビデオ復号器３０Ａとビデオ復号器３０Ｂとを含み、それらの各々はビデオ復号器３０として構成され得、ビデオ復号器３０に関して上記で説明した機能を実行し得る。さらに、参照番号の再利用によって示されるように、ビデオ復号器３０Ａおよび３０Ｂは、ビデオ復号器３０としてシステムとサブシステムとのうちの少なくともいくつかを含み得る。ビデオ復号器３３は、２つのビデオ復号器３０Ａおよび３０Ｂを含むものとして示されているが、ビデオ復号器３３は、そのようなものとして限定されず、任意の数のビデオ復号器３０レイヤを含み得る。いくつかの実施形態では、ビデオ復号器３３はアクセスユニット中の各ピクチャまたはフレームについてビデオ復号器３０を含み得る。たとえば、５つのピクチャを含むアクセスユニットは、５つの復号器レイヤを含むビデオ復号器によって処理または復号され得る。いくつかの実施形態では、ビデオ復号器３３は、アクセスユニット中のフレームよりも多くの復号器レイヤを含み得る。いくつかのそのような場合では、ビデオ復号器レイヤのいくつかは、いくつかのアクセスユニットを処理するときに非アクティブであり得る。

[00128]ビデオ復号器３０Ａおよび３０Ｂに加えて、ビデオ復号器３３はアップサンプリングユニット９２を含み得る。いくつかの実施形態では、アップサンプリングユニット９２は、フレームまたはアクセスユニットのための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのベースレイヤをアップサンプリングし得る。このエンハンストレイヤは復号ピクチャバッファ１６０に記憶され得る。いくつかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部または全部を含むことができる。いくつかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングすることと、スライス境界ルールおよび／またはラスタスキャンルールのセットに準拠するために１つまたは複数のスライスを再編成、再定義、変更、または調整することとを行うように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリングおよび／またはダウンサンプリングするように構成されたリサンプリングユニットであり得る。

[00129]アップサンプリングユニット９２は、下位レイヤ復号器（たとえば、ビデオ復号器３０Ａ）の復号ピクチャバッファ１６０からピクチャまたはフレーム（またはピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（または受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤ復号器と同じアクセスユニット中のピクチャを復号するように構成された上位レイヤ復号器（たとえば、ビデオ復号器３０Ｂ）の予測処理ユニット１５２に提供され得る。場合によっては、上位レイヤ復号器は、下位レイヤ復号器から削除された１つのレイヤである。他の場合には、図３Ｂのレイヤ０ビデオ復号器とレイヤ１復号器との間に１つまたは複数の上位レイヤ復号器があり得る。

[00130]場合によっては、アップサンプリングユニット９２は省略またはバイパスされ得る。そのような場合、ビデオ復号器３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接、または少なくともアップサンプリングユニット９２に提供されることなしに、ビデオ復号器３０Ｂの予測処理ユニット１５２に提供され得る。たとえば、ビデオ復号器３０Ｂに提供されたビデオデータと、ビデオ復号器３０Ａの復号ピクチャバッファ１６０からの参照ピクチャとが同じサイズまたは解像度である場合、参照ピクチャは、アップサンプリングなしにビデオ復号器３０Ｂに提供され得る。さらに、いくつかの実施形態では、アップサンプリングユニット９２は、ビデオ復号器３０Ａの復号ピクチャバッファ１６０から受信された参照ピクチャをアップサンプリングまたはダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。

[00131]図３Ｂに示されているように、ビデオ復号器３３は、デマルチプレクサ９９、またはｄｅｍｕｘをさらに含み得る。ｄｅｍｕｘ９９は符号化ビデオビットストリームを複数のビットストリームにスプリットすることができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは異なるビデオ復号器３０Ａおよび３０Ｂに提供される。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオ復号器３０Ａおよび３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオ復号器の各々（たとえば、図３Ｂの例ではビデオ復号器３０Ａおよび３０Ｂ）の間で一度に１ビットずつ互い違いにされ得るが、多くの場合、ビットストリームは別様に分割される。たとえば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオ復号器を交替することによって分割され得る。別の例では、ビットストリームは、ブロックの非１：１比によって、ビデオ復号器３０Ａおよび３０Ｂの各々に分割され得る。たとえば、２つのブロックは、ビデオ復号器３０Ａに提供されれる各ブロックについてビデオ復号器３０Ｂに提供され得る。いくつかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割はプリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先モジュール１４を含む宛先デバイス上のプロセッサからなど、ビデオ復号器３３の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度またはビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（たとえば、有料サブスクリプション対無料サブスクリプション）に基づいて、またはビデオ復号器３３によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。

イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ

[00132]いくつかのビデオコーディング方式は様々なランダムアクセスポイントを、ビットストリームが、ビットストリームの中でそれらのランダムアクセスポイントに先行するいかなるピクチャも復号する必要なしに、それらのランダムアクセスポイントのいずれかから始めて復号され得るように、ビットストリーム全体にわたって提供し得る。そのようなビデオコーディング方式では、（たとえば、ランダムアクセスポイントを提供するピクチャと同じアクセスユニット中にあるピクチャを含む）出力順序においてランダムアクセスポイントに後続するすべてのピクチャは、ランダムアクセスポイントに先行するいかなるピクチャも使用することなしに正しく復号され得る。たとえば、ビットストリームの一部分が送信の間または復号の間に失われても、復号器は、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、たとえば、動的なストリーミングサービス、シーク動作、チャネル切替えなどを容易にし得る。

[00133]いくつかのコーディング方式では、そのようなランダムアクセスポイントは、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャと呼ばれるピクチャによって提供され得る。たとえば、アクセスユニット（「ａｕＡ」）中に含まれているエンハンスメントレイヤ（「ｌａｙｅｒＡ」）中の（たとえば、エンハンスメントレイヤＩＲＡＰピクチャによって提供される）ランダムアクセスポイントは、各参照レイヤ（「ｌａｙｅｒＢ」）中にあり、復号順序においてａｕＡに先行するアクセスユニット（「ａｕＢ」）中に含まれているランダムアクセスポイント（または、ａｕＡ中に含まれているランダムアクセスポイント）を有するｌａｙｅｒＡのｌａｙｅｒＢ（たとえば、ｌａｙｅｒＡを予測するために使用されるレイヤである参照レイヤ）に関して出力順序においてａｕＢに後続する（ａｕＢ中に位置するピクチャを含む）ｌａｙｅｒＡ中のピクチャが、ａｕＢに先行するｌａｙｅｒＡ中のいかなるピクチャも復号する必要なしに正しく復号可能であるように、レイヤ特有のランダムアクセスを提供し得る。

[00134]ＩＲＡＰピクチャは、イントラ予測を使用してコーディングされ（たとえば、他のピクチャを参照することなしにコーディングされ）得、たとえば、瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャと、クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャと、ブロークンリンクアクセス（ＢＬＡ：broken link access）ピクチャとを含み得る。ビットストリーム中にＩＤＲピクチャがあるとき、復号順序においてＩＤＲピクチャに先行するすべてのピクチャは、復号順序においてＩＤＲピクチャに後続するピクチャによる予測のために使用されない。ビットストリーム中にＣＲＡピクチャがあるとき、ＣＲＡピクチャに後続するピクチャは、復号順序においてＣＲＡピクチャに先行するピクチャを予測のために使用してよく、または使用しなくてもよい。復号順序においてＣＲＡピクチャに後続するが、復号順序においてＣＲＡピクチャに先行するピクチャを使用するピクチャは、ランダムアクセススキップリーディング（ＲＡＳＬ：random access skipped leading）ピクチャと呼ばれることがある。復号順序においてＩＲＡＰピクチャに後続し、出力順序においてＩＲＡＰピクチャに先行する別のタイプのピクチャは、復号順序においてＩＲＡＰピクチャに先行するいかなるピクチャへの参照も含んでいないことがあるランダムアクセス復号可能リーディング（ＲＡＤＬ：random access decodable leading）ピクチャである。ＣＲＡピクチャに先行するピクチャが利用可能でない場合、ＲＡＳＬピクチャは復号器によって廃棄され得る。ＢＬＡピクチャは、（たとえば、２つのビットストリームが互いにスプライスされ、ＢＬＡピクチャが復号順序において第２のビットストリームの最初のピクチャであるので）ＢＬＡピクチャに先行するピクチャが復号器にとって利用可能でないことがあることを、復号器に示す。ＩＲＡＰピクチャであるベースレイヤピクチャ（たとえば、０のレイヤＩＤ値を有するピクチャ）を含んでいるアクセスユニット（たとえば、複数のレイヤにわたって同じ出力時間に関連付けられたすべてのコード化ピクチャからなるピクチャのグループ）は、ＩＲＡＰアクセスユニットと呼ばれ
ることがある。

ＩＲＡＰピクチャのクロスレイヤアラインメント

[00135]ＳＶＣでは、ＩＲＡＰピクチャは、異なるレイヤにわたってアラインされる（たとえば、同じアクセスユニットに含まれている）ことを必要とされないことがある。たとえば、ＩＲＡＰピクチャがアラインされることを必要とされる場合、少なくとも１つのＩＲＡＰピクチャを含んでいるいかなるアクセスユニットもＩＲＡＰピクチャのみを含んでいることになる。一方、ＩＲＡＰピクチャが、単一のアクセスユニット中で、アラインされることを必要とされない場合、（たとえば、第１のレイヤ中の）あるピクチャがＩＲＡＰピクチャであり得、（たとえば、第２のレイヤ中の）別のピクチャが非ＩＲＡＰピクチャであり得る。ビットストリーム中にそのような非アラインＩＲＡＰピクチャを有することは、いくつかの利点を提供し得る。たとえば、２レイヤビットストリーム中で、エンハンスメントレイヤ中よりも多くのＩＲＡＰピクチャがベースレイヤ中にある場合、ブロードキャストおよびマルチキャストの適用例において、小さい同調遅延および高いコーディング効率が達成され得る。

[00136]いくつかのビデオコーディング方式では、ピクチャ順序カウント（ＰＯＣ：picture order count）が、復号ピクチャが表示される相対的な順序を追跡するために使用され得る。そのようなコーディング方式のうちのいくつかにより、ＰＯＣ値は、いくつかのタイプのピクチャがビットストリーム中に出現するときはいつでもリセットされる（たとえば、０に設定されるか、またはビットストリーム中でシグナリングされた何らかの値に設定される）ことになり得る。たとえば、あるＩＲＡＰピクチャのＰＯＣ値がリセットされ得、復号順序においてそれらのＩＲＡＰピクチャに先行する他のピクチャのＰＯＣ値もリセットされることになる。ＩＲＡＰピクチャが異なるレイヤにわたってアラインされることを必要とされないとき、このことが問題となり得る。たとえば、あるピクチャ（「ｐｉｃＡ」）がＩＲＡＰピクチャであり、同じアクセスユニット中の別のピクチャ（「ｐｉｃＢ」）がＩＲＡＰピクチャでないとき、ｐｉｃＡがＩＲＡＰピクチャであることに起因してリセットされる、ｐｉｃＡを含んでいるレイヤ中のピクチャ（「ｐｉｃＣ」）のＰＯＣ値は、ｐｉｃＢを含んでいるレイヤ中のリセットされないピクチャ（「ｐｉｃＤ」）のＰＯＣ値と異なることがあり得、ここで、ｐｉｃＣおよびｐｉｃＤは同じアクセスユニット中にある。このことは、それらが同じアクセスユニット（たとえば、同じ出力時間）に属していても、ｐｉｃＣおよびｐｉｃＤが異なるＰＯＣ値を有することを引き起こす。したがって、この例では、ｐｉｃＣおよびｐｉｃＤのＰＯＣ値を導出するための導出プロセスは、ＰＯＣ値およびアクセスユニットの定義と一致するＰＯＣ値を生成するように修正され得る。

レイヤ初期化ピクチャ（ＬＩＰ）

[00137]いくつかのコーディング方式では、レイヤ初期化ピクチャ（「ＬＩＰピクチャ」）は、１に設定されたＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇフラグ（たとえば、１に設定される場合はＲＡＳＬピクチャが出力されないことを示し、０に設定される場合はＲＡＳＬピクチャが出力されることを示すフラグ）を有するＩＲＡＰピクチャであるピクチャ、またはベースレイヤピクチャ（たとえば、０のレイヤＩＤまたはビットストリーム中で定義される最小のレイヤＩＤを有するピクチャ）が、１に設定されたＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有する、ＩＲＡＰアクセスユニットである初期ＩＲＡＰアクセスユニット含まれているピクチャとして定義され得る。

[00138]いくつかの実施形態では、ＳＰＳは、各ＬＩＰピクチャにおいてアクティブにされ得る。たとえば、１に設定されたＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇフラグを有する各ＩＲＡＰピクチャ、または初期ＩＲＡＰアクセスユニット中に含まれている各ピクチャ、（たとえば、異なるピクチャ解像度を指定するなど）前にアクティブにされたＳＰＳとは異なり得る、新しいＳＰＳ。しかしながら、ＬＩＰピクチャがＩＲＡＰピクチャ（たとえば、初期ＩＲＡＰアクセスユニット中に含まれている任意のピクチャ）でなく、初期ＩＲＡＰアクセスユニット中のベースレイヤピクチャが、０に設定されたフラグＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇフラグ（たとえば、１に設定される場合はクロスレイヤランダムアクセススキップピクチャが出力されないことを示し、０に設定される場合はクロスレイヤランダムアクセススキップピクチャが出力されることを示すフラグ）をもつＩＤＲピクチャである場合、ＬＩＰピクチャは新しいＳＰＳをアクティブにすることを許容されるべきでない。そのような場合、そのようなＬＩＰピクチャにおいて新しいＳＰＳがアクティブにされる場合、詳細には、新しいＳＰＳのＳＰＳ ＲＢＳＰのコンテンツが初期ＩＲＡＰアクセスユニットの前にあらかじめアクティブであったＳＰＳのコンテンツとは異なるとき、異なるピクチャ解像度および誤り耐性において問題があることがある。たとえば、新しいＳＰＳは、解像度を更新し、異なるサイズのピクチャを参照するための時間予測を使用し得る。

ピクチャのバンピングおよびフラッシング

[00139]復号されたピクチャは、（たとえば、それらが表示され、または他のピクチャを予測するために使用され得るように）復号ピクチャバッファ（ＤＰＢ）に記憶される。出力されるべきであるピクチャは、「出力のために必要とされる」とマークされ得、他のピクチャを予測するために使用されるべきであるピクチャは、「参照のために使用される」とマークされ得る。「出力のために必要とされる」とも「参照のために使用される」ともマークされない復号ピクチャ（たとえば、最初に「参照のために使用される」または「出力のために必要とされる」とマークされたが、その後、「参照のために使用されない」または「出力のために必要とされない」とマークされたピクチャ）は、それらが復号プロセスによって削除されるまでＤＰＢ中に存在し得る。出力順序適合の復号器では、ピクチャをＤＰＢから削除するプロセスが、しばしば、「出力のために必要とされる」とマークされたピクチャの出力の直後にくる。出力およびその後の削除のこのプロセスは、「バンピング」と呼ばれることがある。

[00140]これらのピクチャが「出力のために必要とされる」とマークされていても、復号器がＤＰＢ中のピクチャを出力することなく削除し得る状況もある。本明細書での説明を簡単にするために、ＩＲＡＰピクチャを復号するときにＤＰＢ中に存在する復号ピクチャは、（復号ピクチャが「出力のために必要とされる」とマークされたのか「参照のために使用される」とマークされたのかにかかわらず）ＩＲＡＰピクチャに関連付けられた「遅れＤＰＢピクチャ」、またはＩＲＡＰピクチャの「関連付けられた遅れＤＰＢピクチャ」と呼ばれる。そのような状況のいくつかの例について、ＨＥＶＣのコンテキストにおいて以下に説明する。

[00141]一例では、「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＣＲＡピクチャがビットストリームの中間に存在する（たとえば、ビットストリーム中の最初のピクチャでない）とき、ＣＲＡピクチャに関連付けられた遅れＤＰＢピクチャは、出力されないことになり、ＤＰＢから削除されることになる。２つのビットストリームが互いに接合され、後者のビットストリームの最初のピクチャが「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇをもつＣＲＡピクチャであるスプライスポイントにおいて、そのような状況が起こる可能性が高い。別の例では、「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するとともにＣＲＡピクチャでないＩＲＡＰピクチャｐｉｃＡ（たとえば、ＩＤＲピクチャ）がビットストリームの中間に存在し、ピクチャの解像度が（たとえば、新しいＳＰＳのアクティブ化とともに）ｐｉｃＡにおいて変化するとき、ｐｉｃＡの関連付けられた遅れＤＰＢピクチャは、関連付けられた遅れＤＰＢピクチャがＤＰＢを占有し続ける場合、ｐｉｃＡから始まるピクチャの復号が、たとえば、バッファオーバーフローに起因して問題となり得るので、それらが出力され得る前にＤＰＢから削除され得る。この場合、ｐｉｃＡに関連付けられたｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ（たとえば、１に設定される場合は前に復号されＤＰＢに記憶されたピクチャが出力されることなくＤＰＢから削除されるべきであることを示し、０に設定される場合は前に復号されＤＰＢに記憶されたピクチャが出力されることなくＤＰＢから削除されるべきでないことを示すフラグ）の値は、符号化器またはスプライサによって「１」の値に等しく設定されるべきであり、または、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇ（たとえば、ビットストリーム中に含まれる情報に基づいて決定され得る導出値）は、遅れピクチャをＤＰＢの外へ出力することなくフラッシングするように、復号器によって「１」の値に等しいものとして導出され得る。スプライシング動作について、図４に関して以下でさらに説明する。

[00142]関連付けられた遅れＤＰＢピクチャを出力することなくＤＰＢから削除するこのプロセスは、「フラッシング」と呼ばれることがある。上述されない状況においても、復号器がＩＲＡＰピクチャの関連付けられたＤＰＢ遅れピクチャをフラッシングするように、ＩＲＡＰピクチャは、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値を「１」の値に等しく指定し得る。

スプライスポイントを含むビットストリーム

[00143]図４を参照しながら、スプライスポイントを有する例示的なビットストリームについて説明する。図４に、スプライシングビットストリーム４１０および４２０によって作り出されたマルチレイヤビットストリーム４００を示す。ビットストリーム４１０は、エンハンスメントレイヤ（ＥＬ）４１０Ａとベースレイヤ（ＢＬ）４１０Ｂとを含み、ビットストリーム４２０は、ＥＬ４２０ＡとＢＬ４２０Ｂとを含む。ＥＬ４１０ＡはＥＬピクチャ４１２Ａを含み、ＢＬ４１０ＢはＢＬピクチャ４１２Ｂを含む。ＥＬ４２０Ａは、ＥＬピクチャ４２２Ａ、４２４Ａ、および４２６Ａを含み、ＢＬ４２０Ｂは、ＢＬピクチャ４２２Ｂ、４２４Ｂ、および４２６Ｂを含む。マルチレイヤビットストリーム４００は、アクセスユニット（ＡＵ）４３０〜４６０をさらに含む。ＡＵ４３０は、ＥＬピクチャ４１２ＡとＢＬピクチャ４１２Ｂとを含み、ＡＵ４４０は、ＥＬピクチャ４２２ＡとＢＬピクチャ４２２Ｂとを含み、ＡＵ４５０は、ＥＬピクチャ４２４ＡとＢＬピクチャ４２４Ｂとを含み、ＡＵ４６０は、ＥＬピクチャ４２６ＡとＢＬピクチャ４２６Ｂとを含む。図４の例では、ＢＬピクチャ４２２ＢはＩＲＡＰピクチャであり、ＡＵ４４０の中の対応するＥＬピクチャ４２２Ａは、末尾のピクチャ（たとえば、非ＩＲＡＰピクチャ）であり、したがって、ＡＵ４４０は非アラインＩＲＡＰ ＡＵである。また、ＡＵ４４０がスプライスポイント４７０の直後にくるアクセスユニットであることに留意されたい。

[00144]図４の例は２つの異なるビットストリームが互いに接合される場合を示すが、いくつかの実施形態では、ビットストリームの一部分が削除されるとき、スプライスポイントが存在し得る。たとえば、ビットストリームは部分Ａ、Ｂ、およびＣを有し得、部分Ｂは部分ＡとＣとの間にある。部分Ｂがビットストリームから削除される場合、残りの部分ＡおよびＣは互いに接合され得、それらが互いに接合される点はスプライスポイントと呼ばれることがある。より一般に、本出願で説明されるようなスプライスポイントは、１つまたは複数のシグナリングまたは導出されたパラメータまたはフラグが所定の値を有するとき、存在すると見なされ得る。たとえば、スプライスポイントが特定のロケーションにおいて存在するという特定のインジケーションを受信しなければ、復号器は、フラグ（たとえば、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ）の値を決定し、フラグの値に基づいて本出願で説明する１つまたは複数の技法を実行し得る。

マルチレイヤコンテキストにおけるピクチャのフラッシング

[00145]ピクチャをフラッシングするプロセスは、マルチレイヤビットストリームにおいても関連する。より具体的には、それは初期ＩＲＡＰアクセスユニットに属するすべてのピクチャと関連し、初期ＩＲＡＰアクセスユニット中にないＩＲＡＰピクチャとも関連する。上記で説明したように、ＳＨＶＣおよびＭＶ−ＨＥＶＣなどのいくつかの既存の実装形態では、ＩＲＡＰアクセスユニットは、（アクセスユニット中の他のピクチャがＩＲＡＰピクチャであるかどうかにかかわらず）「０」の値に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＩＲＡＰピクチャを含んでいるアクセスユニットとして定義され得、初期ＩＲＡＰアクセスユニットは、（この場合も、アクセスユニット中の他のピクチャがＩＲＡＰピクチャであるかどうかにかかわらず）「０」の値に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＩＲＡＰピクチャを含んでいるアクセスユニットとして定義され得る。

[00146]ＳＨＶＣおよびＭＶ−ＨＥＶＣにおいて、非アラインＩＲＡＰピクチャをアクセスユニット中に有する可能性がある（たとえば、アクセスユニットはＩＲＡＰピクチャと非ＩＲＡＰピクチャの両方を含み得る）場合、ＨＥＶＣのコンテキストにおいて前のセクションで説明した状況は、ＳＨＶＣ／ＭＶ−ＨＥＶＣビットストリームの異なるレイヤにおいて起こり得る。たとえば、「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有するＣＲＡピクチャｐｉｃＡは、エンハンスメントレイヤにおいてｐｉｃＡと同じレイヤ中にＣＲＡピクチャを有しない初期ＩＲＡＰアクセスユニットを用いて開始するビットストリームの中間に（たとえば、ビットストリームの第１のアクセスユニット中でない）存在し得る。また、ピクチャの解像度変化は、ベースレイヤの解像度が変化しない場合、アクセスユニットにおけるエンハンスメントレイヤ中でＩＲＡＰピクチャにおいて発生し得、またはその逆も同様である。類似の状況が、異なるＤＰＢサイズに対して起こり得る。

ＳＶＣおよびＭＶＣにおけるピクチャのフラッシング

[00147]ＳＶＣの単一ループコーディング設計に起因して、いわゆる中粒度スケーラビリティ（ＭＧＳ：medium-granular scalability）が使用される場合を除いて、アクセスユニットごとに１つの再構成ピクチャのみがＤＰＢ中に挿入される（その場合、ＤＰＢに記憶されるいわゆるキーピクチャアクセスユニットからの２つの復号ピクチャがあり得る）。しかしながら、各アクセスユニット中で、最上位レイヤの復号ピクチャのみが出力され得る。ピクチャのフラッシングを含む、ＤＰＢを管理するための動作は、したがって、主に、ベースレイヤの復号ピクチャはエンハンスメントレイヤを予測するためにＤＰＢ中に存在することが必要とされないので、最上位レイヤ中のピクチャのみに関係する。

[00148]ＭＶＣでは、２つ以上のビューがターゲット出力ビューであり得、復号ビューコンポーネントは、それらが同じレイヤ中のビューコンポーネントを予測するために必要とされなくても、他のレイヤ中のビューコンポーネントを予測するために維持される必要がある。したがって、２つ以上のビューからのビューコンポーネントがＤＰＢ中に存在し得る。フラグｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが、各ＩＤＲビューコンポーネントについてシグナリングされ（たとえば、非ベースビューのＩＤＲビューコンポーネントが「０」の値に等しいｎｏｎ＿ｉｄｒ＿ｆｌａｇを用いてシグナリングされる）、ビューコンポーネントのフラッシングはレイヤ特有（またはビュー特有）である。ＭＶＣでは、簡単のために、ＭＶＣにおけるアクセスユニット中のＩＤＲビューコンポーネントはアラインされる。たとえば、アクセスユニット中のあるビューコンポーネントがＩＤＲビューコンポーネントである場合、そのアクセスユニット中のすべてのビューコンポーネントもＩＤＲビューコンポーネントである。したがって、フラッシング動作はまた、動作がビュー／レイヤ特有であり得ても、ビットストリーム中のすべてのビューにわたって実行される。

ＳＨＶＣおよびＭＶ−ＨＥＶＣにおけるピクチャのフラッシング

[00149]フラッシングがＳＨＶＣおよびＭＶ−ＨＥＶＣにおける現在の設計のもとで発生すると、ＤＰＢ中のすべてのピクチャは出力（たとえば、表示）されることなく削除される。（ベースレイヤのみがビットストリーム中に存在する自明な場合を除いて）ビットストリーム中の１つのレイヤのみのピクチャがフラッシングされることは可能でなく、したがって、フラッシングはレイヤ特有でない。

出力タイミング適合

[00150]ＳＨＶＣワーキングドラフト（ＷＤ）３およびＭＶ−ＨＥＶＣワーキングドラフト５など、いくつかの実装形態（たとえば、ＳＨＶＣ、ＭＶ−ＨＥＶＣなど）では、出力タイミング適合に関して、ＤＰＢからのピクチャの出力および削除は、以下に説明するように実行される。フラッシングプロセスと関連する部分は、イタリック体で示される。以下の例では、呼び出されるピクチャの削除は、ＨＥＶＣ仕様のセクションＦ．１３．３．２に指定されているように各レイヤに特有である。

出力順序適合
[00151]いくつかの実装形態（たとえば、ＳＨＶＣ、ＭＶ−ＨＥＶＣなど）では、出力順序適合に関して、ＤＰＢからのピクチャの出力および削除は、以下に説明するように実行される。フラッシングプロセスと関連する部分は、イタリック体で示される。以下の例では、ピクチャの削除は、呼び出されたとき、すべてのレイヤに対して実行される。

出力タイミング適合および出力順序適合の比較
[00152]上記で説明したように、出力タイミング適合および出力順序適合は、ともに同じフラッシングの挙動をもたらさないことがある。たとえば、出力タイミング適合復号器に関して、フラッシングは、ビットストリーム中のレイヤの最初のピクチャでなく「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有する、レイヤ中の各ピクチャに対して呼び出される。フラッシングが呼び出されると、ＤＰＢ中のそのレイヤのすべての復号ピクチャがフラッシングされる。一方、出力順序適合復号器に関して、フラッシングは、ビットストリーム中の最初のピクチャでなく「１」の値に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有する、ベースレイヤ中のピクチャのみに対して呼び出される。フラッシングが呼び出されると、ＤＰＢ中のすべてのレイヤのすべての復号ピクチャがフラッシングされる。

[00153]２つのレイヤを有するビットストリームでは、ＩＲＡＰピクチャでありＩＲＡＰ ＡＵに属さない、ＥＬ中のＬＩＰピクチャが異なる解像度をアクティブにし、ＢＬピクチャが非ＩＲＡＰ ＡＵ中にある（たとえば、ＩＲＡＰピクチャでない）ことに起因してＢＬの解像度がこのＡＵにおいて変化することができないとき、ピクチャのレイヤ特有のフラッシングが望まれることがある。ここで、ＥＬからのピクチャのみがフラッシングされるべきであり、ＢＬからのピクチャはフラッシングされるべきでない。この特徴は、出力順序適合に対して利用可能でない。

[00154]２つのレイヤを有するビットストリームでは、アクセスユニットが、ＩＤＲピクチャであるＢＬピクチャと、非ＩＲＡＰピクチャであるＥＬピクチャとを含む場合、ＢＬピクチャの解像度はそのアクセスユニットにおいて更新され得るが、ＥＬピクチャの解像度は更新されない。そのような場合、フラッシングはＢＬからのピクチャのみに対して実行されるべきであり、ＥＬピクチャはフラッシングされるべきでない。この特徴は、出力順序適合に対して利用可能でない。

前のピクチャの出力を示すフラグのシグナリング

[00155]いくつかの実施形態では、変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇ（たとえば、ＩＲＡＰピクチャを復号するとき、ＤＰＢがフラッシングされる前にＤＰＢ中のピクチャを出力すべきか否かを決定するために復号器によって導出される値）は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇおよび他の条件に基づいて導出される。たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ビットストリーム中でシグナリングされる値であり得、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、ビットストリーム中に含まれる情報に基づいて符号化器によって導出される値であり得る。復号器は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値および他の条件に基づいてＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を導出し、次いで、ピクチャを出力すべきか否かを決定するためにＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの導出された値を使用し得る。いくつかの実施形態では、フラグＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、現在のアクセスユニットが、２つの異なるビットストリームが互いに縫合されるスプライスポイントを備えるかどうかを示し得る。

[00156]いくつかの実施形態では、ＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇおよびＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、ビットストリーム中に含まれる情報に基づいて導出される変数であり得る。たとえば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、（たとえば、ＢＬおよび／またはＥＬ中の）あらゆるＩＲＡＰピクチャに対して導出され得、ＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇは、最下位レイヤピクチャ（たとえば、ＢＬピクチャ）のみに対して導出され得る。ＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇおよびＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの各々の値は、ビットストリーム中のいくつかのピクチャが、いくつかの参照ピクチャの非利用可能性に起因して正しく復号可能でないことがあることを示し得る。参照ピクチャのそのような非利用可能性は、ランダムアクセスポイントにおいて発生し得る。クロスレイヤランダムアクセススキップ（ＣＬ−ＲＡＳ）ピクチャは、いくつかの点で、ＲＡＳＬピクチャのマルチレイヤ等価物である。復号器がランダムアクセスポイント（たとえば、ＢＬ ＩＲＡＰピクチャを有するアクセスユニット）においてビットストリームを復号することを開始し、アクセスユニット中のＥＬピクチャがＩＲＡＰピクチャでない場合、そのＥＬピクチャはＣＬ−ＲＡＳピクチャである。ＥＬ中のすべてのピクチャは、ＩＲＡＰピクチャがＥＬ中に発生するまで（たとえば、復号可能であるが、正しく復号可能ではない）ＣＬ−ＲＡＳピクチャであり得る。そのようなＥＬ ＩＲＡＰピクチャがビットストリーム中で提供されるとき、ＥＬは初期化されたと言われることがある。

[00157]たとえば、図４の例では、ＥＬピクチャ４２２ＡはＩＲＡＰピクチャでないＬＩＰピクチャであり得、ＢＬピクチャ４２２Ｂはそれに関連付けられたフラグＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇを有するＩＲＡＰピクチャであり得る。この例では、ＥＬピクチャ４２２Ａに関連付けられたＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ＢＬピクチャ４２２Ｂに関連付けられたＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇの値に基づいて推論され得る。たとえば、ＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇが「１」の値に等しい場合、ＥＬピクチャ４２２ＡのためのＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇはまた、「１」の値に設定され得、ＤＰＢ中のピクチャは、それらがＤＰＢから削除される前に出力されないことになる。一方、ＮｏＣｌＲａｓＯｕｔｐｕｔＦｌａｇが「０」の値に等しい場合、ＥＬピクチャ４２２ＡのためのＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇはまた、「０」の値に設定され得、ＤＰＢ中のピクチャは、出力の後にＤＰＢから削除されることになる。

ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの改善された推論

[00158]上記で説明したように、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャは、ビットストリームを復号するためのランダムアクセスポイントを提供することができる。復号器は、ＩＲＡＰピクチャに先行するピクチャを復号する必要なしに、ＩＲＡＰピクチャを復号することによってビットストリームを復号することを開始し得る。ＩＲＡＰピクチャを復号するときに、復号ピクチャバッファ（ＤＰＢ）は、バッファ中にいくつかの復号されたピクチャを有し得る。ビットストリームから復号されたピクチャは、ＤＰＢに記憶される。ＤＰＢ中の復号ピクチャは、「出力のために必要とされる」とマークされたピクチャ、または「参照のために使用される」とマークされたピクチャを含むことができる。ＤＰＢ中の復号ピクチャは、「出力のために必要とされる」とも「参照のために使用される」ともマークされていないピクチャをも含むことができ、そのような復号ピクチャは、それらが復号プロセスによって削除されるまでＤＰＢ中に存在する。ＤＰＢ中の存在するピクチャを出力することが、復号器の性能に影響を及ぼすことになる（たとえば、復号器が出力すべきあまりに多くのピクチャがＤＰＢ中に存在する）場合、そのような存在するピクチャを、それらを出力することなしに削除する（たとえば、存在するピクチャをフラッシュする）ことが望ましいことがある。必要に応じてＤＰＢ中の存在するピクチャを削除しないことは、バッファのオーバーフロー、または後続のピクチャを復号および出力する際の遅延につながり得る。

[00159]変数ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、ＩＲＡＰピクチャを復号するとき、ＤＰＢ中のピクチャが、ＤＰＢから削除されるより前に出力されるべきであるかどうかを示すことができる。ＩＲＡＰピクチャを復号するとき、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ＤＰＢ中のピクチャが、削除される前に出力されるべきでないとき、１に設定され得る。代替的に、ＩＲＡＰピクチャを復号するとき、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ＤＰＢ中のピクチャが、削除される前に出力されるべきであるとき、０に設定され得る。ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、対応するシンタックス要素および／または様々な条件および情報に基づいて決定され得る。シンタックス要素ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ビットストリーム中で受信され得、復号器は、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号された値に等しく設定することができる。または、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、様々な条件に基づいて導出または推論され得る。たとえば、ＳＨＶＣおよびＭＶ−ＨＥＶＣの早期バージョン（たとえば、ＳＨＶＣワーキングドラフト４およびＭＶ−ＨＥＶＣワーキングドラフト６）では、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、空間解像度またはピクチャストアの数が変化するとき、１に等しく設定され得る。ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇを１に設定することによって、復号器は、適宜にＤＰＢ中のピクチャを削除することによって、ＤＰＢ中で利用可能なメモリの量を制御することができる。しかしながら、ＤＰＢ中で必要とされるメモリの量は、ピクチャのカラーフォーマットおよび／またはビット深度の変化によっても影響を及ぼされ得る。ワーストケースあるいは最大カラーフォーマットまたはビット深度が仮定されない限り、カラーフォーマットおよび／またはビット深度を考慮しないことは、ＤＰＢのための準最適なメモリサイズにつながり得る。

[00160]これらおよび他の課題に対処するために、いくつかの態様による技法は、ＩＲＡＰピクチャのためのＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を決定するとき、ピクチャのカラーフォーマットおよび／またはビット深度を考慮に入れることができる。たとえば、技法は、復号されるべき現在のレイヤにおける現在のピクチャのカラーフォーマットおよび／またはビット深度が、現在のレイヤにおける先行するピクチャのカラーフォーマットおよび／またはビット深度とは異なるかどうかを決定し得る。現在のピクチャおよび先行するピクチャのカラーフォーマットおよび／またはビット深度は、現在アクティブなシーケンスパラメータセット（ＳＰＳ）、およびそれぞれ先行するピクチャが復号されたときにアクティブであったＳＰＳから取得され得る。ピクチャのビット深度は、ピクチャのルーマ成分のためのビット深度と、ピクチャのクロマ成分のためのビット深度とを含むことができる。カラーフォーマットまたはビット深度の変化がある場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、ピクチャを出力することなしにＤＰＢ中のピクチャの削除をトリガするために、１に等しく設定され得る。一例では、ルーマサンプルのビット深度が８ビットから１６ビットに変化した場合、ＤＰＢ中でより多くのメモリを利用可能にするためにＤＰＢ中のピクチャをフラッシュすることが望ましいことになる。

[00161]ピクチャのカラーフォーマットおよび／またはビット深度の変化を考慮に入れることによって、技法は、より正確にＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を決定することができ、ビットストリームの復号のために必要とされ、十分であるＤＰＢサイズの最適値が示され得る。たとえば、技法は、バッファ中に追加のメモリを必要とすることになる状況をより良く予期することができる。ピクチャストアの数および空間解像度の変化に加えて、ＤＰＢは、カラーフォーマットまたはビット深度が変化したとき、より多くのストレージを利用可能にするためにフラッシュされる。

[00162]ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの推論に関係するいくつかの詳細について、以下でさらに説明する。本開示全体にわたって使用される様々な用語は、それらの通常の意味を有する広義の用語である。

例示的な実施形態

[00163]上述の技法は、以下の例に示されているように実装され得る。例は、ＳＨＶＣおよびＭＶ−ＨＥＶＣ（たとえば、ＳＨＶＣ ＷＤ４およびＭＶ−ＨＥＶＣ ＷＤ６）の以前のバージョンのコンテキストにおいて提供される。ＳＨＶＣおよびＭＶ−ＨＥＶＣの以前のバージョンからの変更は、イタリック体で示される。セクションＣ．３．２は、ＳＨＶＣ ＷＤ４およびＭＶ−ＨＥＶＣ ＷＤ６におけるピクチャ削除に対する出力タイミングＤＰＢ動作について説明する。セクションＣ．５．２．２は、ＳＨＶＣ ＷＤ４およびＭＶ−ＨＥＶＣ ＷＤ６におけるピクチャ削除に対する出力順序ＤＰＢ動作について説明する。各セクション中の最初の「他の場合」分岐は、ピクチャのクロマフォーマットおよびビット深度に基づくＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの推論に関する。

[00164]いくつかの実施形態によれば、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの推論において使用されるシンタックス要素および変数は、以下を指すことがある。
・ シンタックス要素ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ルーマサンプルの単位のピクチャの幅を指す。
・ シンタックス要素ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓは、ルーマサンプルの単位のピクチャの高さを指す。
・ シンタックス要素ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは、ピクチャのクロマフォーマットを指す。
・ シンタックス要素ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８は、ピクチャのルーマサンプルのビット深度−８ビットを指す。
・ シンタックス要素ｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８は、ピクチャのクロマサンプルのビット深度−８ビットを指す。
・ シンタックス要素ｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓ１［ＨｉｇｈｅｓｔＴｉｄ］は、コード化ビデオシーケンスのレイヤの復号に必要であるピクチャストアの数を指す。

[00165]上記のシンタックス要素は、復号されている現在のレイヤの現在のピクチャに関して、現在のレイヤのためのアクティブＳＰＳから導出され得る。上記のシンタックス要素は、先行するピクチャが復号されたときに現在のレイヤのためにアクティブであったＳＰＳから、現在のレイヤの先行するピクチャに関しても導出され得る。先行するピクチャは、復号順序において現在のピクチャに先行する現在のレイヤにおけるピクチャであり得る。

[00166]ピクチャがＩＲＡＰピクチャであり、ＩＲＡＰピクチャのためにＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの値が１に等しい場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値は、現在のピクチャのための上記のシンタックス要素のいずれかの値が、先行するピクチャのためのそれぞれのシンタックス要素の値とは異なる場合、１に設定され得る。変数ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、いずれかのランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャが、現在のピクチャに関連して出力されるかどうかを示すことができる。ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しい場合、ＲＡＳＬピクチャがインター予測のために参照するいくつかの参照ピクチャは存在しないことになり、したがって、ＲＡＳＬピクチャは、出力／表示されるべきでない。上記で説明したように、ＲＡＳＬピクチャは、ビットストリームの復号が、出力／表示されるべきでないＩＲＡＰピクチャから開始する場合、そのＩＲＡＰピクチャに関連付けられたリーディングピクチャを参照し得る。復号器は、現在のピクチャの各シンタックス要素を先行するピクチャの対応するシンタックス要素と比較することができ、いずれかのシンタックス要素の値が変化した場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇは、シンタックス要素ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値が何であるかにかかわらず、１に設定され得る。本明細書のテキストが示すように、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値をシンタックス要素ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの値に設定することが好ましいことがある。しかし、復号器は、所望される場合、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を１に設定することを可能にされる。たとえば、場合によっては、ＤＰＢサイズは、第１のフラグの値がｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号された値に等しく設定された場合でも、ＤＰＢサイズオーバーフローが起こらないほど十分に大きい。そのような場合、第１のフラグの値を１に等しく設定すべきか、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号された値に等しく設定すべきかを復号器が選択することを可能にすることは有益であり得る。

[00167]一実施形態では、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値は、先行するピクチャから現在のピクチャに変化する。上記で説明したように、シンタックス要素のための値は、現在のレイヤの現在のピクチャを復号するときにアクティブである現在のレイヤのためのＳＰＳ、および現在のレイヤの先行するピクチャを復号するときにアクティブであった現在のレイヤのためのＳＰＳから導出される。現在のピクチャのｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値と、先行するピクチャのｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値とが異なるとき、復号器は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇシンタックス要素の値が何であるかにかかわらず、ＮｏＯｕｔｐｕｔｏｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を１に設定する。

[00168]別の実施形態では、ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８の値は、先行するピクチャから現在のピクチャに変化する。現在のピクチャのｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８の値と、先行するピクチャのｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８の値とが異なるとき、復号器は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇシンタックス要素の値が何であるかにかかわらず、ＮｏＯｕｔｐｕｔｏｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を１に設定する。

[00169]また別の実施形態では、ｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８の値は、先行するピクチャから現在のピクチャに変化する。現在のピクチャのｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８の値と、先行するピクチャのｂｉｔ＿ｄｅｐｔｈ＿ｃｈｒｏｍａ＿ｍｉｎｕｓ８の値とが異なるとき、復号器は、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇシンタックス要素の値が何であるかにかかわらず、ＮｏＯｕｔｐｕｔｏｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を１に設定する。

[00170]概して、先行するピクチャから現在のピクチャに、上記のシンタックス要素の値が減少するときではなく、上記のシンタックス要素の値が増加するとき、より多くのメモリがＤＰＢ中で必要とされる。しかしながら、復号器は、増加することによってか減少することによってかにかかわらず、上記のシンタックス要素の値が変化するときはいつでも、出力なしにＤＰＢ中のピクチャを削除することによって、ＤＰＢ中に十分な量のメモリを取得することができる。このようにして、シンタックス要素の値が増加したのか減少したのかについて考えるための複数のステップを使用するのではなく、１つの条件ステップを使用してＤＰＢ中で追加のメモリが解放され得る。値が増加したのか減少したのかを決定するのではなく、シンタックス要素の値の変化について検査することは、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇのための推論プロセスをより効率的にすることができる。

ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの値を決定する方法

[00171]図５は、本開示の一実施形態による、ビデオ情報をコーディングする方法を示すフローチャートである。本方法は、復号ピクチャバッファ中のピクチャが出力されるべきであるかどうかを示すフラグ（たとえば、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇ）の値を決定することに関する。プロセス５００は、実施形態によっては、符号化器（たとえば、図２Ａ、図２Ｂなどに示されている符号化器）、復号器（たとえば、図３Ａ、図３Ｂなどに示されている復号器）、または任意の他の構成要素によって実行され得る。プロセス５００のブロックについて図３Ｂ中の復号器３３に関して説明するが、プロセス５００は、上述のように、符号化器など、他の構成要素によって実行され得る。復号器３３のレイヤ１ビデオ復号器３０Ｂおよび／または復号器３３のレイヤ０復号器３０Ａが、実施形態によっては、プロセス５００を実行し得る。図５に関して説明するすべての実施形態は、別々に、または互いと組み合わせて実装され得る。プロセス５００に関係するいくつかの詳細が、たとえば、図４に関して上記で説明されている。

[00172]プロセス５００はブロック５０１において開始する。復号器３３は、復号のための現在のレイヤに関連付けられたビデオ情報を記憶するためのメモリ（たとえば、復号ピクチャバッファ１６０）を含むことができる。

[00173]ブロック５０２において、復号器３３は、復号されるべき現在のレイヤの現在のピクチャのクロマフォーマット、現在のピクチャのクロマサンプルのビット深度、および現在のピクチャのルーマサンプルのビット深度を取得する。現在のピクチャは、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャであり得る。現在のピクチャのクロマフォーマット、現在のピクチャのルーマサンプルのビット深度、および現在のピクチャのクロマサンプルのビット深度は、現在のピクチャを復号するときに現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され得る。

[00174]ランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャが出力されるべきでないことを示す現在のピクチャに関連付けられたフラグは、現在のピクチャが、新しいＣＶＳを開始することを示すことができる。フラグが有効にされた場合、フラグは現在のピクチャが新しいＣＶＳを開始することを示し、フラグが有効にされない場合、フラグは現在のピクチャが新しいＣＶＳを開始しないことを示す。フラグは、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇと同じであるか、またはそれと同様であり得る。たとえば、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇは、現在のピクチャが新しいＣＶＳを開始することを示すために、１に等しく設定され得る。

[00175]ブロック５０３において、復号器３３は、復号された現在のレイヤの先行するピクチャのクロマフォーマット、先行するピクチャのクロマサンプルのビット深度、および先行するピクチャのルーマサンプルのビット深度を取得する。先行するピクチャのクロマフォーマット、先行するピクチャのルーマサンプルのビット深度、および先行するピクチャのクロマサンプルのビット深度が、先行するピクチャを復号するときに現在のレイヤのためにアクティブであった第２のＳＰＳから導出され得る。

[00176]いくつかの実施形態では、現在のピクチャのルーマサンプルのビット深度、現在のピクチャのクロマサンプルのビット深度、先行するピクチャのルーマサンプルのビット深度、および先行するピクチャのクロマサンプルのビット深度のそれぞれの値は、８ビット−それぞれの実際のビット深度値として指定される。たとえば、現在のピクチャのルーマサンプルのビット深度は、シンタックス要素ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８の値によって提供され、ここで、ｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ＿ｍｉｎｕｓ８は、８ビット−現在のピクチャのルーマサンプルのビット深度の実際の値を表す。

[00177]ブロック５０４において、復号器３３は、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示す現在のピクチャに関連付けられた第１のフラグの値を決定する。復号器３３は、（１）現在のピクチャのクロマフォーマット、および先行するピクチャのクロマフォーマット、（２）現在のピクチャのクロマサンプルのビット深度、および先行するピクチャのクロマサンプルのビット深度、または（３）現在のピクチャのルーマサンプルのビット深度、および先行するピクチャのクロマサンプルのビット深度に基づいて、第１のフラグの値を決定することができる。第１のフラグは、上記で説明したＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇであるか、またはそれと同様であり得る。

[00178]いくつかの実施形態では、（４）現在のピクチャのクロマフォーマットと、先行するピクチャのクロマフォーマットとが異なる、（５）現在のピクチャのルーマサンプルのビット深度と、先行するピクチャのルーマサンプルのビット深度とが異なる、または（６）現在のピクチャのクロマサンプルのビット深度と、先行するピクチャのクロマサンプルのビット深度とが異なると決定したことに応答して、復号器３３は、第１のフラグの値を１に等しく設定する。説明の目的で、一例として１の値が提供されるが、復号器３３は、適宜に、第１のフラグが有効にされたことを示す任意の値を使用することができる。第１のフラグが有効にされたとき、ＤＰＢ中のピクチャは削除されるが、出力されない。

[00179]他の実施形態では、復号器３３は、ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中の現在のピクチャに関連付けられたシンタックス要素を復号する。（４）現在のピクチャのクロマフォーマットと、先行するピクチャのクロマフォーマットとが異なる、（５）現在のピクチャのルーマサンプルのビット深度と、先行するピクチャのルーマサンプルのビット深度とが異なる、または（６）現在のピクチャのクロマサンプルのビット深度と、先行するピクチャのクロマサンプルのビット深度とが異なると決定したことに応答して、復号器３３は、第１のフラグの値をシンタックス要素の復号された値に等しく設定する。たとえば、シンタックス要素はｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇであり、先行するピクチャと現在のピクチャの間で、クロマフォーマット、ルーマビット深度、およびクロマビット深度に変化がある場合でも、復号器３３は、第１のフラグの値をｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇの復号された値に設定する。

[00180]いくつかの実施形態では、復号器３３は、現在のピクチャの幅、現在のピクチャの高さ、および現在のピクチャに関連付けられたピクチャストアの数を取得する。現在のピクチャの幅および現在のピクチャの高さは、ルーマサンプルの単位で指定され、現在のピクチャに関連付けられたピクチャストアの数は、現在のピクチャから開始するコード化ビデオシーケンス中の現在のレイヤの復号に必要な最小ＤＰＢサイズを示す。ピクチャストアの数は、ＣＶＳのために指定され、ＳＰＳにおいてシグナリングされ得る。各ＣＶＳおよび特定のレイヤのために、事実上、ただ１つのＳＰＳがあり得る。復号器３３は、先行するピクチャの幅、先行するピクチャの高さ、および先行するピクチャに関連付けられたピクチャストアの数をも取得する。先行するピクチャの幅および先行するピクチャの高さは、ルーマサンプルの単位で指定され、先行するピクチャに関連付けられたピクチャストアの数は、先行するピクチャにおいて終了するコード化ビデオシーケンス中の現在のレイヤの復号に必要な最小ＤＰＢサイズを示す。現在のピクチャの幅、現在のピクチャの高さ、および現在のピクチャに関連付けられたピクチャストアの数は、現在のピクチャを復号するときに現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され得る。先行するピクチャの幅、先行するピクチャの高さ、および先行するピクチャに関連付けられたピクチャストアの数は、先行するピクチャを復号するときに現在のレイヤのためにアクティブであった第２のＳＰＳから導出され得る。

[00181]一実施形態では、（７）現在のピクチャの幅と、先行するピクチャの幅とが異なる、（８）現在のピクチャの高さと、先行するピクチャの高さとが異なる、または（９）現在のピクチャに関連付けられたピクチャストアの数と、先行するピクチャに関連付けられたピクチャストアの数とが異なると決定したことに応答して、復号器３３は、第１のフラグの値を１に等しく設定する。

[00182]別の実施形態では、復号器３３は、ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中の現在のピクチャに関連付けられたシンタックス要素（たとえば、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ）を復号する。（７）現在のピクチャの幅と、先行するピクチャの幅とが異なる、（８）現在のピクチャの高さと、先行するピクチャの高さとが異なる、または（９）現在のピクチャに関連付けられたピクチャストアの数と、先行するピクチャに関連付けられたピクチャストアの数とが異なると決定したことに応答して、復号器３３は、第１のフラグの値をシンタックス要素の復号された値に等しく設定する。

[00183]プロセス５００はブロック５０５において終了する。ブロックは、実施形態によっては、プロセス５００において追加および／または省略され得、プロセス５００のブロックは、実施形態によっては、異なる順序で実行され得る。

[00184]本開示におけるＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇの推論に関して説明したいかなる特徴および／または実施形態も、別々に、またはそれらの任意の組合せで実装され得る。たとえば、図１〜図４に関して説明したいかなる特徴および／または実施形態、ならびに本開示の他の部分も、図５に関して説明した任意の特徴および／または実施形態との任意の組合せで実装され得、その逆も同様である。

[00185]本明細書で開示される情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

[00186]本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。

[00187]本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体などの、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[00188]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明する技法の実装に好適な他の構造または装置のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールもしくはハードウェアモジュール内に提供され得、または複合ビデオ符号化器／復号器（コーデック）に組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

[00189]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

[00190]本開示の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオ情報をコーディングするための装置であって、
現在のレイヤに関連付けられたビデオ情報を記憶するように構成されるメモリと、
前記メモリに動作可能に結合されるハードウェアプロセッサと
を備え、前記ハードウェアプロセッサは、
復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得すること、ここにおいて、前記現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、と、
復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、
前記現在のピクチャに関連付けられた第１のフラグの値を決定すること、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示し、ここにおいて、前記第１のフラグの前記値の前記決定は、（１）前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、（２）前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または（３）前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
を行うように構成される、装置。
［Ｃ２］
前記プロセッサは、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定すること
によって前記第１のフラグの前記値を決定するように構成される、
Ｃ１に記載の装置。
［Ｃ３］
前記プロセッサは、
前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
によって前記第１のフラグの前記値を決定することと
を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ４］
前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
Ｃ１に記載の装置。
［Ｃ５］
前記現在のピクチャの前記ルーマサンプルの前記ビット深度、前記現在のピクチャの前記クロマサンプルの前記ビット深度、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のそれぞれの値は、それぞれの実際のビット深度値−８として指定される、
Ｃ１に記載の装置。
［Ｃ６］
前記第１のフラグは、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇである、
Ｃ１に記載の装置。
［Ｃ７］
前記プロセッサは、
前記現在のピクチャの幅、前記現在のピクチャの高さ、および前記現在のピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記現在のピクチャの前記幅および前記現在のピクチャの前記高さが、ルーマサンプルの単位で指定され、前記現在のピクチャに関連付けられたピクチャストアの前記数が、前記現在のピクチャから開始する前記コード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と、
前記先行するピクチャの幅、前記先行するピクチャの高さ、および前記先行するピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記先行するピクチャの前記幅および前記先行するピクチャの前記高さが、ルーマサンプルの単位で指定され、前記先行するピクチャに関連付けられたピクチャストアの前記数が、前記先行するピクチャにおいて終了するコード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と
を行うようにさらに構成される、Ｃ２に記載の装置。
［Ｃ８］
前記プロセッサは、
（７）前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、（８）前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または（９）前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定すること
によって前記第１のフラグの前記値を決定するように構成される、
Ｃ７に記載の装置。
［Ｃ９］
前記プロセッサは、
前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
（７）前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、（８）前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または（９）前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
によって前記第１のフラグの前記値を決定することと
を行うようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１０］
前記現在のピクチャの前記幅、前記現在のピクチャの前記高さ、および前記現在のピクチャに関連付けられたピクチャストアの前記数は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記幅、前記先行するピクチャの前記高さ、および前記先行するピクチャに関連付けられたピクチャストアの前記数が、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、Ｃ７に記載の装置。
［Ｃ１１］
ランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャが出力されるべきでないことを示す前記現在のピクチャに関連付けられたフラグは、前記ＩＲＡＰピクチャが、前記新しいＣＶＳを開始することを示すために有効にされる、
Ｃ１に記載の装置。
［Ｃ１２］
ランダムアクセススキップリーディング（ＲＡＳＬ）ピクチャが出力されるべきでないことを示す前記現在のピクチャに関連付けられた前記フラグは、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇである、
Ｃ１に記載の装置。
［Ｃ１３］
前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、およびビデオストリーミングデバイスのうちの１つまたは複数からなるグループから選択される、
Ｃ１に記載の装置。
［Ｃ１４］
ビデオ情報を復号する方法であって、
現在のレイヤに関連付けられたビデオ情報を記憶することと、
復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、ここにおいて、前記現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、
復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、
前記現在のピクチャに関連付けられた第１のフラグの値を決定すること、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示し、ここにおいて、前記第１のフラグの前記値の前記決定は、（１）前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、（２）前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または（３）前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
を備える、方法。
［Ｃ１５］
前記第１のフラグの前記値を前記決定することは、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定することを備える、
Ｃ１４に記載の方法。
［Ｃ１６］
前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
によって前記第１のフラグの前記値を決定することと
をさらに備える、Ｃ１４に記載の方法。
［Ｃ１７］
前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
Ｃ１４に記載の方法。
［Ｃ１８］
前記現在のピクチャの前記ルーマサンプルの前記ビット深度、前記現在のピクチャの前記クロマサンプルの前記ビット深度、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のそれぞれの値は、それぞれの実際のビット深度値−８として指定される、
Ｃ１４に記載の方法。
［Ｃ１９］
前記第１のフラグは、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇである、
Ｃ１４に記載の方法。
［Ｃ２０］
前記現在のピクチャの幅、前記現在のピクチャの高さ、および前記現在のピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記現在のピクチャの前記幅および前記現在のピクチャの前記高さは、ルーマサンプルの単位で指定され、前記現在のピクチャに関連付けられたピクチャストアの前記数は、前記現在のピクチャから開始する前記コード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と、
前記先行するピクチャの幅、前記先行するピクチャの高さ、および前記先行するピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記先行するピクチャの前記幅および前記先行するピクチャの前記高さは、ルーマサンプルの単位で指定され、前記先行するピクチャに関連付けられたピクチャストアの前記数は、前記先行するピクチャにおいて終了するコード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と
をさらに備える、Ｃ１５に記載の方法。
［Ｃ２１］
前記第１のフラグの前記値を前記決定することは、
（７）前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、（８）前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または（９）前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定することを備える、
Ｃ２０に記載の方法。
［Ｃ２２］
前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
（７）前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、（８）前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または（９）前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
によって前記第１のフラグの前記値を決定することと
をさらに備える、Ｃ２０に記載の方法。
［Ｃ２３］
前記現在のピクチャの前記幅、前記現在のピクチャの前記高さ、および前記現在のピクチャに関連付けられたピクチャストアの前記数は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記幅、前記先行するピクチャの前記高さ、および前記先行するピクチャに関連付けられたピクチャストアの前記数は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
Ｃ２０に記載の方法。
［Ｃ２４］
コンピュータハードウェアを備えるプロセッサ上で実行されると、前記プロセッサに、
現在のレイヤに関連付けられたビデオ情報を記憶することと、
復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得すること、ここにおいて、前記現在のピクチャは、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、と、
復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、
前記現在のピクチャに関連付けられた第１のフラグの値を決定すること、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示し、ここにおいて、前記第１のフラグの前記値の前記決定は、（１）前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、（２）前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または（３）前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
を行わせる命令を備える、非一時的コンピュータ可読媒体。
［Ｃ２５］
前記命令は、前記プロセッサに、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定すること
によって前記第１のフラグの前記値を決定することをさらに行わせる、
Ｃ２４に記載のコンピュータ可読媒体。
［Ｃ２６］
前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
Ｃ２４に記載のコンピュータ可読媒体。
［Ｃ２７］
ビデオ情報を復号するための装置であって、
現在のレイヤに関連付けられたビデオ情報を記憶するための手段と、
復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得するための手段、ここにおいて、前記現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、と、
復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得するための手段と、
前記現在のピクチャに関連付けられた第１のフラグの値を決定するための手段、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中のピクチャが出力されるべきであるかどうかを示し、ここにおいて、前記第１のフラグの前記値の前記決定は、（１）前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、（２）前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または（３）前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
を備える、装置。
［Ｃ２８］
前記第１のフラグの前記値を前記決定するための手段は、
（４）前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、（５）前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または（６）前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
前記第１のフラグの前記値を１に等しく設定すること
によって前記第１のフラグの前記値を決定するように構成される、
Ｃ２７に記載の装置。
［Ｃ２９］
前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度が、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度が、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
Ｃ２７に記載の装置。

Claims (15)

1. ビデオ情報をコーディングするための装置であって、
   現在のレイヤに関連付けられたビデオ情報を記憶するための手段と、
   復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得するための手段、ここにおいて、前記現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、と、
   復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得するための手段と、
   前記現在のピクチャに関連付けられた第１のフラグの値を決定するための手段、ここにおいて、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中の前に復号されたピクチャが出力されることなく前記ＤＰＢから削除されるべきであるかどうかを示し、前記前に復号されたピクチャは、前記１つまたは複数のレイヤから復号され、ここにおいて、前記第１のフラグの前記値の前記決定は、前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
   を備える、装置。
2. 前記第１のフラグの前記値を前記決定するための手段は、
   前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
   前記第１のフラグの前記値を１に等しく設定すること
   によって前記第１のフラグの前記値を決定する、
   請求項１に記載の装置。
3. 前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度が、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
   前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度が、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
   請求項１に記載の装置。
4. 前記プロセッサは、
   前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示す、ビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
   前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
   前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
   によって前記第１のフラグの前記値を決定することと
   を行うようにさらに構成される、請求項１に記載の装置。
5. ビデオ情報をコーディングする方法であって、
   １つまたは複数のレイヤを含むビデオビットストリームに関連付けられた情報を記憶すること、ここにおいて、前記１つまたは複数のレイヤの各々は、品質、ビットレート、フレームレート、空間解像度、またはビューポイントのうちの１つまたは複数、の特定の組み合わせを表し、前記１つまたは複数のレイヤは、現在のレイヤを含む、と、
   復号されるべき前記現在のレイヤの現在のピクチャのクロマフォーマット、前記現在のピクチャのルーマサンプルのビット深度、または前記現在のピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得すること、ここにおいて、前記現在のピクチャが、新しいコード化ビデオシーケンス（ＣＶＳ）を開始するイントラランダムアクセスポイント（ＩＲＡＰ）ピクチャである、と、
   復号された前記現在のレイヤの先行するピクチャのクロマフォーマット、前記先行するピクチャのルーマサンプルのビット深度、または前記先行するピクチャのクロマサンプルのビット深度のうちの少なくとも１つを取得することと、
   前記現在のピクチャに関連付けられた第１のフラグの値を決定すること、ここにおいて、前記第１のフラグは、復号ピクチャバッファ（ＤＰＢ）中の前に復号されたピクチャが出力されることなく前記ＤＰＢから削除されるべきであるかどうかを示し、前記前に復号されたピクチャは、前記１つまたは複数のレイヤから復号され、ここにおいて、前記第１のフラグの前記値の前記決定は、前記現在のピクチャの前記クロマフォーマット、および前記先行するピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記ルーマサンプルの前記ビット深度、または前記現在のピクチャの前記クロマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のうちの少なくとも１つに基づく、と
   を備える、方法。
6. 前記第１のフラグの前記値を前記決定することは、
   前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
   前記第１のフラグの前記値を１に等しく設定することを備える、
   請求項５に記載の方法。
7. 前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示すビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
   前記現在のピクチャの前記クロマフォーマットと、前記先行するピクチャの前記クロマフォーマットとが異なる、前記現在のピクチャの前記ルーマサンプルの前記ビット深度と、前記先行するピクチャの前記ルーマサンプルの前記ビット深度とが異なる、または前記現在のピクチャの前記クロマサンプルの前記ビット深度と、前記先行するピクチャの前記クロマサンプルの前記ビット深度とが異なると決定したことに応答して、
   前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
   によって前記第１のフラグの前記値を決定することと
   をさらに備える、請求項５に記載の方法。
8. 前記現在のピクチャの前記クロマフォーマット、前記現在のピクチャの前記ルーマサンプルの前記ビット深度、および前記現在のピクチャの前記クロマサンプルの前記ビット深度は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
   前記先行するピクチャの前記クロマフォーマット、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
   請求項５に記載の方法。
9. 前記現在のピクチャの前記ルーマサンプルの前記ビット深度、前記現在のピクチャの前記クロマサンプルの前記ビット深度、前記先行するピクチャの前記ルーマサンプルの前記ビット深度、および前記先行するピクチャの前記クロマサンプルの前記ビット深度のそれぞれの値は、それぞれの実際のビット深度値−８として指定される、
   請求項５に記載の方法。
10. 前記第１のフラグは、ＮｏＯｕｔｐｕｔＯｆＰｒｉｏｒＰｉｃｓＦｌａｇである、
    請求項５に記載の方法。
11. 前記現在のピクチャの幅、前記現在のピクチャの高さ、および前記現在のピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記現在のピクチャの前記幅および前記現在のピクチャの前記高さは、ルーマサンプルの単位で指定され、前記現在のピクチャに関連付けられたピクチャストアの前記数は、前記現在のピクチャから開始する前記コード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と、
    前記先行するピクチャの幅、前記先行するピクチャの高さ、および前記先行するピクチャに関連付けられたピクチャストアの数を取得すること、ここにおいて、前記先行するピクチャの前記幅および前記先行するピクチャの前記高さは、ルーマサンプルの単位で指定され、前記先行するピクチャに関連付けられたピクチャストアの前記数は、前記先行するピクチャにおいて終了するコード化ビデオシーケンス中の前記現在のレイヤの復号に必要な最小ＤＰＢサイズを示す、と
    をさらに備える、請求項６に記載の方法。
12. 前記第１のフラグの前記値を前記決定することは、
    前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
    前記第１のフラグの前記値を１に等しく設定することを備える、
    請求項１１に記載の方法。
13. 前記ＤＰＢ中のピクチャが出力されるべきであるかどうかを示す、ビットストリーム中のシンタックス要素を復号すること、ここにおいて、前記シンタックス要素が前記現在のピクチャに関連付けられる、と、
    前記現在のピクチャの前記幅と、前記先行するピクチャの前記幅とが異なる、前記現在のピクチャの前記高さと、前記先行するピクチャの前記高さとが異なる、または前記現在のピクチャに関連付けられたピクチャストアの前記数と、前記先行するピクチャに関連付けられたピクチャストアの前記数とが異なると決定したことに応答して、
    前記第１のフラグの前記値を前記シンタックス要素の復号された値に等しく設定すること
    によって前記第１のフラグの前記値を決定することと
    をさらに備える、請求項１１に記載の方法。
14. 前記現在のピクチャの前記幅、前記現在のピクチャの前記高さ、および前記現在のピクチャに関連付けられたピクチャストアの前記数は、前記現在のピクチャを復号するときに前記現在のレイヤのためにアクティブである第１のシーケンスパラメータセット（ＳＰＳ）から導出され、
    前記先行するピクチャの前記幅、前記先行するピクチャの前記高さ、および前記先行するピクチャに関連付けられたピクチャストアの前記数は、前記先行するピクチャを復号するときに前記現在のレイヤのためにアクティブであった第２のＳＰＳから導出される、
    請求項１１に記載の方法。
15. コンピュータハードウェアを備えるプロセッサ上で実行されると、前記プロセッサに、請求項５−１４のうちのいずれか一項にしたがった前記方法を実行させる命令を備える、非一時的コンピュータ可読媒体。

Images