JP6390775B2 - 復号装置及び復号方法 - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１３年２月１日出願の「時間レイヤを用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＷＩＴＨ ＴＥＭＰＯＲＡＬ ＬＡＹＥＲ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＯＰＥＲＡＴＩＯＮ ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６２４に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。

本出願は、２０１３年２月１日出願の「低遅延を用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＷＩＴＨ ＬＯＷ ＤＥＬＡＹ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＯＰＥＲＡＴＩＯＮ ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６８５に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。

本出願は、２０１２年７月２日出願の米国仮特許出願番号６１／６６７，２８６、２０１２年７月３０日出願の米国仮特許出願番号６１／６６７，３２４、及び２０１３年２月１日出願の米国非仮特許出願番号１３／７５７，６７９の優先権を主張するものであり、それらの主題内容全体は、引用により本明細書に組み込まれる。

（技術分野）
本発明は、概して映像システムに関し、より詳細には、時間スケーラビリティを用いた映像符号化に関するシステムに関する。

スマートフォン、高精細テレビジョン、自動車情報システム、及び画面を備える他のビデオデバイスへの高品質ビデオの展開は、近年、非常に発展している。ビデオコンテンツに対応している多種多様な情報デバイスは、種々の大きさ、品質、及び接続能力を備えるデバイスに多くの種類のビデオコンテンツを提供することを必要としている。

ビデオは、２次元単一視点ビデオから、高解像度３次元画像を有する多視点ビデオに展開している。ビデオをより効率的に伝送するために、種々の映像符号化及び圧縮方式により、最小限のデータ量から最適な画像を得ることが試行されている。動画像符号化専門家グループ（ＭＰＥＧ）が、規格化されたデータシーケンス及びアルゴリズムに基づく高品質ビデオを可能にする規格を開発した。Ｈ．２６４（ＭＰＥＧ４パート１０）／アドバンストビデオコーディング設計では、従来のＭＰＥＧ−２形式と比較して概して２倍の符号化効率の改良が行われた。ビデオ品質は、ビデオ内のデータの操作及び圧縮に依存している。使用される様々な帯域幅に適合するようにビデオを変更して、様々な解像度及び機能セットを有するディスプレイデバイスにビデオを送信することができる。しかしながら、より大型で高品質なビデオ、又はより複雑なビデオ機能を配信することには、帯域幅を追加すること及びビデオ圧縮を改良することが必要となる。

（発明が解決しようとする課題）
このように、様々な大きさ、解像度、及び接続性を有するデバイスの広い範囲にわたって高品質画像及び高度な画像機能を提供できる映像符号化システムに関する必要性が依然として残されている。範囲が拡大している高機能デバイスにビデオを提供する要求が増加していることを考慮すると、これらの課題に対する解決方法が見いだされることが増々重要になっている。商業上の競争圧力が常に高くなっていることを考慮すると、消費者の期待が高まっていること及び市場での有意な製品差別化の機会が減少していることと併せて、これらの課題に対する解決方法が見いだされることが重要になっている。追加的に、経費を節減し、効率性及び業績を高め、競争圧力に対処する必要性から、より一層緊急に、これらの課題に対する解決方法を見いだすことが重要で必要になっている。

これらの課題に対する解決方法は、長期にわたって探求されてきたが、従来の成果は、何らかの解決方法を教示又は提案するものではなく、従って、長い間当業者は、これらの課題に対する解決方法を避けてきた。

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」 ＪＣＴＶＣ−Ｊ１００３ ｄ７ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ） Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ． Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ７」 ＪＣＴＶＣ−Ｉ１００３ ｄ４ ２０１２年５月（Ｇｅｎｅｖａ） Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ ＨＲＤ ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ」 ＪＣＴＶＣ−Ｊ０２７２ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ） Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「ＨＥＶＣ ＶＵＩ Ｐａｒａｍｅｔｅｒｓ ｗｉｔｈ Ｅｘｔｅｎｓｉｏｎ Ｈｏｏｋｓ」 ＪＣＴＶＣ−Ｊ０２７０ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ） Ｍ． Ｈａｑｕｅ、Ａ． Ｔａｂａｔａｂａｉ著 「Ｅｘｔｅｎｓｉｏｎ ｏｆ ＨＥＶＣ ＶＵＩ Ｓｙｎｔａｘ Ｓｔｒｕｃｔｕｒｅ」 ＪＣＴＶＣ−Ｉ０２６３ ２０１２年５月 Ｍ． Ｈａｑｕｅ著 「ＡＨＧ１０： ＶＵＩ ａｎｄ ＨＲＤ ｓｙｎｔａｘ ｄｅｓｉｇｎｓ ａｇｒｅｅｄ ｂｙ ｔｈｅ ＢｏＧ ｏｎ ＶＰＳ ａｎｄ ＮＵＨ」 ＪＣＴＶＣ−Ｊ０５４８ｒｌ ２０１２年７月

ある実施形態によれば、符号化ビットストリームのサブレイヤの符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレート又はＣＰＢサイズを、複数のサブレイヤに共通する仮想参照デコーダ（ＨＲＤ）パラメータを含むＨＲＤ固定シンタックスに含まれる第１パラメータ及び各サブレイヤに固有のＨＲＤパラメータを含むＨＲＤ可変シンタックスに含まれる第２パラメータにより特定して、上記サブレイヤを含む上記符号化ビットストリームを復号する復号部、を備える復号装置が提供される。

他の実施形態によれば、復号装置により実行される復号方法であって、符号化ビットストリームのサブレイヤの符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレート又はＣＰＢサイズを、複数のサブレイヤに共通する仮想参照デコーダ（ＨＲＤ）パラメータを含むＨＲＤ固定シンタックスに含まれる第１パラメータ及び各サブレイヤに固有のＨＲＤパラメータを含むＨＲＤ可変シンタックスに含まれる第２パラメータにより特定して、上記サブレイヤを含む上記符号化ビットストリームを復号すること、を含む復号方法もまた提供され得る。

本発明のいくつかの実施形態は、上記に説明した態様に加えて、又はそれらの代わりに別の態様を有する。当業者であれば、これらの態様は、添付図面を参照して以下の詳細な説明を読むことにより明らかとなるであろう。

本発明の一実施形態における映像符号化システムのブロック図である。 ビデオビットストリームの実施例である。 ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックスの実施例である。 ＨＲＤシンタックスの実施例である。 ＨＲＤ固定シンタックスの実施例である。 ＨＲＤ可変シンタックスの実施例である。 第１のＨＥＶＣ ＶＵＩ拡張シンタックスの実施例である。 第２のＨＥＶＣ ＶＵＩ拡張シンタックスの実施例である。 ＨＲＤベースシンタックスの実施例である。 ＨＲＤサブレイヤシンタックスの実施例である。 ＨＲＤ ＶＵＩ シンタックスの実施例である。 映像符号化システムの機能ブロック図である。 映像符号化システムの制御フローである。 本発明の別の実施形態における映像符号化システムの動作方法のフローチャートである。

以下の実施形態は、当業者が本発明を実施及び利用することができるように十分詳細に説明される。本開示に基づいて別の実施形態が明らかになること、及び本発明の範囲から逸脱することなく処理又は機構の変更を行うことができるということを理解されたい。

以下の説明において、本発明を完全に理解できるように多くの具体的な詳細内容が提示される。しかしながら、本発明はこれらの具体的な詳細内容がなくとも実施できることは明らかである。本発明が不明瞭にならないように、一部の公知の回路、システム構成、及び処理ステップは、詳細に開示されていない。

同様に、システムの実施形態を示す図面は、概略的なものであり、縮尺通りではなく、特に、一部の寸法は、表現を明確にするためのものであり、図面内で誇張して示されている。例示、説明、及びその理解を明確及び容易にするために、いくつかの機能が共通する複数の実施形態を開示して説明するが、互いに類似した同様の特徴部は、通常、同様の参照符号を用いて説明する。

「シンタックス」という用語は、データ構造を表す一組の要素を意味する。本明細書で用いられる「モジュール」という用語は、使用される文脈により、本発明におけるソフトウェア、ハードウェア、又はそれらの組み合わせを含むことができる。

ここで図１を参照すると、本発明の一実施形態における映像符号化システム１００のブロック図が示されている。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信し、ビデオビットストリーム１１０を復号用のビデオデコーダ１０４に送信して、ディスプレイインタフェース１２０に表示することができる。

ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信及び符号化することができる。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を種々の形式に符号化するためのユニットである。ビデオコンテンツ１０８は、対象物のシーンのデジタル表現として規定される。例えば、ビデオコンテンツ１０８は、１つ又はそれ以上のビデオカメラのデジタル出力とすることができる。

符号化は、ビデオコンテンツ１０８をコンピュータにより種々の形式に変更することとして規定される。例えば、符号化は、ビデオコンテンツ１０８をビデオビットストリーム１１０に圧縮して、ビデオビットストリーム１１０を送信するのに必要なデータ量を減少させることができる。

別の実施例では、ビデオコンテンツ１０８は、圧縮されることによって符号化されること、視覚的に強調されること、１つ又はそれ以上のビューに分割されること、解像度が変更されること、アスペクト比が変更されること、又はそれらの組み合わせが可能である。別の例示的な実施例では、ビデオコンテンツ１０８は、高効率映像符号化（ＨＥＶＣ）／Ｈ．２６５ドラフト規格により符号化することができる。

ビデオエンコーダ１０２は、ビデオコンテンツ１０８を符号化してビデオビットストリーム１１０を生成することができる。ビデオビットストリーム１１０は、ビデオコンテンツ１０８に関連する情報を表すビット列として規定される。ビデオビットストリーム１１０は、例えば、ビデオコンテンツ１０８の圧縮を表すビット列とすることができる。別の実施例では、ビデオビットストリーム１１０は、時間とともに連続的に送信されるビデオコンテンツ１０８を表す一連のビットである。

ビデオエンコーダ１０２は、シーンに関するビデオコンテンツ１０８を様々な方法で受け取ることができる。例えば、実在の対象物を表すビデオコンテンツ１０８は、ビデオカメラ、複数のカメラで撮影されること、コンピュータで生成されること、ファイルとして提供されること、又はそれらの組み合わせが可能である。

ビデオコンテンツ１０８は、様々なビデオ機能を含むことができる。例えば、ビデオコンテンツ１０８は、単一視点ビデオ、多視点ビデオ、立体的ビデオ、又はそれらの組み合わせを含むことができる。別の実施例では、ビデオコンテンツ１０８は、３Ｄ眼鏡を用いずに３次元（３Ｄ）ビデオ表示に対応するための４つ又はそれより多いカメラの多視点ビデオとすることができる。

ビデオエンコーダ１０２は、ビデオシンタックス１１４を使用してビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０を生成することができる。ビデオシンタックス１１４は、ビデオコンテンツ１０８を符号化及び復号するための符号化方法を表す一組の情報要素として規定される。ビデオビットストリーム１１０は、高効率映像符号化／Ｈ．２６５規格のようなビデオシンタックス１１４に準拠し、ＨＥＶＣビデオビットストリーム、超高精細ビデオビットストリーム、又はそれらの組み合わせを含むことができる。ビデオビットストリーム１１０は、ビデオシンタックス１１４を含むことができる。

ビデオビットストリーム１１０は、ビデオコンテンツ１０８の画像、及びビデオコンテンツ１０８の符号化に関する関連制御情報を表す情報を含むことができる。例えば、ビデオビットストリーム１１０は、ビデオシンタックス１１４のオカレンス、及びビデオコンテンツ１０８のオカレンスを含むことができる。

映像符号化システム１００は、ビデオビットストリーム１１０を復号するためのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、ビデオビットストリーム１１０を受信しビデオビットストリーム１１０を変更して、ビデオストリーム１１２を生成するためのユニットとして規定される。

ビデオデコーダ１０４は、ビデオビットストリーム１１０を復号し、ビデオシンタックス１１４を使用してビデオストリーム１１２を生成することができる。復号は、ビデオビットストリーム１１０をコンピュータにより変更してビデオストリーム１１２を生成することとして規定される。例えば、復号は、ビデオビットストリーム１１０を解凍して、ディスプレイインタフェース１２０に表示するための形式で構成されたビデオストリーム１１２を生成することができる。

ビデオストリーム１１２は、ビデオコンテンツ１０８のコンピュータにより変更されたバージョンとして規定される。例えば、ビデオストリーム１１２は、種々の解像度を有するビデオコンテンツ１０８の変更されたオカレンスを含むことができる。ビデオストリーム１１２は、ビデオコンテンツ１０８から切り取って復号されたピクチャを含むことができる。

別の実施例では、ビデオストリーム１１２は、ビデオコンテンツ１０８とは異なるアスペクト比、異なるフレームレート、異なる立体的ビュー、異なるビュー順序、又はそれらの組み合わせを有することができる。ビデオストリーム１１２は、種々の色パラメータ、色平面、コントラスト、色相、又はそれらの組み合わせを含む様々な視覚的特性情報を有することができる。

映像符号化システム１００は、ディスプレイプロセッサ１１８を含むことができる。ディスプレイプロセッサ１１８は、ディスプレイインタフェース１２０上で表示するためにビデオデコーダ１０４からビデオストリーム１１２を受信することができる。ディスプレイインタフェース１２０は、ビデオストリーム１１２の視覚的表現を提示できるユニットである。

ディスプレイインタフェース１２０は、例えば、スマートフォンディスプレイ、デジタルプロジェクタ、ＤＶＤプレーヤディスプレイ、又はそれらの組み合わせを含むことができる。映像符号化システム１００は、ビデオデコーダ１０４、ディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を個別のユニットとして示しているが、ビデオデコーダ１０４は、ディスプレイプロセッサ１１８及びディスプレイインタフェース１２０を含むことができることを理解されたい。

ビデオエンコーダ１０２は、通信経路１０６を通じてビデオビットストリーム１１０をビデオデコーダ１０４に送信することができる。通信経路１０６は、データ転送に好適な様々なネットワークとすることができる。

例示的な実施例では、映像符号化システム１００は、符号化ピクチャバッファ（図示せず）を含むことができる。符号化ピクチャバッファは、アクセスユニットを含む先入れ先出しバッファとして動作でき、各アクセスユニットは、ビデオビットストリーム１１０の１つのフレームを含むことができる。

別の例示的な実施例では、映像符号化システム１００は、仮想参照デコーダ（図示せず）を含むことができる。仮想参照デコーダは、ビデオビットストリーム１１０の変動性を制限するために使用されるデコーダモデルとすることができる。

例えば、通信経路１０６は、無線通信、有線通信、光、超音波、又はそれらの組み合わせを含むことができる。通信経路１０６に含めることができる無線通信の実施例は、衛星通信、セルラ通信、ブルートゥース、赤外線データ協会規格（ＩｒＤＡ）、ワイヤレスフィデリティ（ＷｉＦｉ）、及びワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）である。通信経路１０６に含めることができる有線通信の実施例は、イーサネット、デジタル加入者線（ＤＳＬ）、ファイバー・トゥ・ザ・ホーム（ＦＴＴＨ）、及び基本電話サービス（ＰＯＴＳ）である。

映像符号化システム１００は、様々な映像符号化シンタックス構造を用いることができる。映像符号化システム１００は、例えば、高効率映像符号化／Ｈ．２６５ワーキングドラフトバージョンを使用してビデオ情報を符号化及び復号することができる。映像符号化シンタックスは、以下の文書で説明されており、その内容全体が引用により本明細書に組み込まれる。

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」 ＪＣＴＶＣ−Ｊ１００３ ｄ７ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ． Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ７」 ＪＣＴＶＣ−Ｉ１００３ ｄ４ ２０１２年５月（Ｇｅｎｅｖａ）

Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ ＨＲＤ ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｉｌｉｔｙ」 ＪＣＴＶＣ−Ｊ０２７２ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）

Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「ＨＥＶＣ ＶＵＩ Ｐａｒａｍｅｔｅｒｓ ｗｉｔｈ Ｅｘｔｅｎｓｉｏｎ Ｈｏｏｋｓ」 ＪＣＴＶＣ−Ｊ０２７０ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）

Ｍ． Ｈａｑｕｅ、Ａ． Ｔａｂａｔａｂａｉ著 「Ｅｘｔｅｎｓｉｏｎ ｏｆ ＨＥＶＣ ＶＵＩ Ｓｙｎｔａｘ Ｓｔｒｕｃｔｕｒｅ」 ＪＣＴＶＣ−Ｉ０２６３ ２０１２年５月

Ｍ． Ｈａｑｕｅ著 「ＡＨＧ１０： ＶＵＩ ａｎｄ ＨＲＤ ｓｙｎｔａｘ ｄｅｓｉｇｎｓ ａｇｒｅｅｄ ｂｙ ｔｈｅ ＢｏＧ ｏｎ ＶＰＳ ａｎｄ ＮＵＨ」 ＪＣＴＶＣ−Ｊ０５４８ｒｌ ２０１２年７月

ここで図２を参照すると、ビデオビットストリーム１１０の実施例が示されている。ビデオビットストリーム１１０は、図１のビデオコンテンツ１０８の符号化されたオカレンスを含み、ビデオシンタックス１１４を使用して復号して、図１のディスプレイインタフェース１２０に表示するための図１のビデオストリーム１１２を生成することができる。

ビデオビットストリーム１１０は、シンタックスタイプ２０２で示される様々なビデオタイプを含むことができる。シンタックスタイプ２０２は、ビデオビットストリーム１１０を符号化及び復号するために使用される映像符号化の種類のインジケータとして規定される。例えば、ビデオコンテンツ１０８は、アドバンスドビデオコーディング２０４（ＡＶＣ）、スケーラブル映像符号化２０６（ＳＶＣ）、多視点映像符号化２０８（ＭＶＣ）、多視点映像プラス奥行き２１０（ＭＶＤ）、及び立体的ビデオ２１２（ＳＳＶ）に関するシンタックスタイプ２０２を含むことができる。

アドバンスドビデオコーディング２０４及びスケーラブル映像符号化２０６を使用して、単一視点ベースビデオを符号化してビデオビットストリーム１１０を生成することができる。単一視点ベースビデオは、単一のカメラから生成されるビデオコンテンツ１０８を含むことができる。

多視点映像符号化２０８、多視点映像プラス奥行き２１０、及び立体的ビデオ２１２を使用して、２つ又はそれより多いビューを有するビデオコンテンツ１０８を符号化することができる。多視点ビデオは、例えば、複数のカメラからのビデオコンテンツ１０８を含むことができる。

ビデオシンタックス１１４は、エントリ識別子２１６を含むことができる。エントリ識別子２１６は、複数の符号化されたビデオシーケンスを区別するための値である。符号化されたビデオシーケンスは、単一視点ビデオ、多視点ビデオ、又は立体的ビデオに関して、様々なビットレート、フレームレート、解像度、又はスケーラブルレイヤを有するビデオコンテンツ１０８のオカレンスを含むことができる。

ビデオシンタックス１１４は、ビデオコンテンツ１０８内の各フレームに関連するエントリ数を識別するためのエントリカウント２１４を含むことができる。エントリカウント２１４は、ビデオコンテンツ１０８内で表されるエントリの最大数である。

ビデオシンタックス１１４は、繰り返し識別子２１８を含むことができる。繰り返し識別子２１８は、ビデオコンテンツ１０８の個々の繰り返しを区別するための値である。

ビデオシンタックス１１４は、繰り返しカウント２２０を含むことができる。繰り返しカウント２２０は、ビデオコンテンツ１０８の最大繰り返し回数を示す値である。

スケーラブル映像符号化に関しては、この繰り返しカウントを使用して、スケーラブル映像符号化の場合の種々のスケーラブルビデオレイヤに関連する情報エントリの数を示すことができる。多視点映像符号化に関しては、繰り返しカウントを使用して、ビデオコンテンツ１０８のビューの数に関連する操作ポイントの数を示すことができる。

例えば、スケーラブル映像符号化では、追加の拡張レイヤを有するベースレイヤを含むようにビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０のマルチレイヤオカレンスを生成することができる。ベースレイヤは、最低の解像度、フレームレート、又は品質を有することができる。

拡張レイヤは、ビデオ品質を高めるために使用される追加の予備情報を有する段階的な改良点を含むことができる。スケーラブルビデオレイヤ拡張部は、拡張されてスケーラブル映像符号化を包含できるＨＥＶＣ新規ベースライン規格を含むことができる。

ビデオシンタックス１１４は、操作識別子２２２を含むことができる。操作識別子２２２は、ビデオコンテンツ１０８の個別の操作ポイントを区別するための値である。操作ポイントは、多視点映像符号化に関して存在する情報エントリ、例えば、タイミング情報、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ、映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ、ｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素、又はそれらの組み合わせである。

ビデオシンタックス１１４は、操作カウント２２４を含むことができる。操作カウント２２４は、ビデオコンテンツ１０８の操作ポイントの最大数を示す値である。

操作ポイントは、多視点ビデオ及び３Ｄビデオに関して、種々のカメラで生成されるビューのような様々なビューからの符号化ビデオシーケンスの生成に関連する。多視点映像符号化に関して、操作ポイントは、出力対象ビューと、出力対象ビューに依存する別のビューとを有するビデオビットストリーム１１０のサブセットに関連する。

別のビューは、それらが下位ビットストリーム抽出プロセスを使用して得られる場合に、出力対象ビューに依存する。１つより多い操作ポイントが、ビデオビットストリーム１１０の同じサブセットに関連することができる。例えば、操作ポイントを復号することは、図１のデバイス１０２での表示に関して、操作ポイントと、出力対象ビューの次の出力とに対応するビデオビットストリームのサブセットを、ビデオストリーム１１２の一部分として復号することに言及するものである。

ビデオシンタックス１１４は、ビュー識別子２２６を含むことができる。ビュー識別子２２６は、ビデオコンテンツ１０８の個別のビューを区別するための値である。

ビデオシンタックス１１４は、ビューカウント２２８を含むことができる。ビューカウント２２８は、ビデオコンテンツ１０８のビューの最大数を示す値である。

例えば、単一視点ビデオは、単一のカメラで生成されたビデオとすることができる。多視点ビデオは、様々な位置及び距離に位置する複数のカメラによって、シーン内で視認される対象物から生成することができる。

ビデオコンテンツ１０８は、様々なビデオ特性情報を含むことができる。例えば、ビデオコンテンツ１０８は、超高精細ビデオのような高解像度ビデオとすることができる。ビデオコンテンツ１０８は、７６８０×４３２０、８Ｋ×２Ｋ、４Ｋ×２Ｋ、又はそれらの組み合わせの解像度を含む、３８４０×２１６０又はそれ以上の画素解像度を有することができる。ビデオコンテンツ１０８は、高解像度ビデオに対応しているが、ビデオコンテンツ１０８は更に、高精細（ＨＤ）ビデオのような低解像度に対応できるということを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８の解像度に対応することができる。

ビデオコンテンツ１０８は、１５フレーム毎秒（ｆｐｓ）、２４ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓを含む、様々なフレームレートに対応することができる。個々のフレームレートを説明したが、ビデオコンテンツ１０８は、ゼロフレーム毎秒及びそれ以上の固定及び可変のフレームレートに対応できることを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８のフレームレートに対応することができる。

ビデオビットストリーム１１０は、１つ又はそれ以上の時間レイヤ２３０を含むことができる。時間レイヤ２３０は、特定のフレームレートでのビデオストリーム１１２を表すビデオビットストリーム１１０の一部分として規定される。各時間レイヤ２３０は、フレーム毎秒（ｆｐｓ）として表された種々のフレームレートでビデオストリーム１１２を表すことができる。時間レイヤ２３０は、下位レイヤを含む上位レイヤを備える階層を構成することができる。

例えば、時間レイヤ２３０の第１のオカレンス２３２は、ビデオストリーム１１２の１５ｆｐｓオカレンスを表し、時間レイヤ２３０の第２のオカレンス２３４は、ビデオストリーム１１２の３０ｆｐｓオカレンスを表し、時間レイヤ２３０の第３のオカレンス２３６は、ビデオストリーム１１２の６０ｆｐｓオカレンスを表すことができる。各時間レイヤ２３０は、ビデオコンテンツ１０８を表すビデオフレーム２３８を含むことができる。

時間レイヤ２３０の第１のオカレンス２３２は、ビデオコンテンツ１０８を符号化して１５ｆｐｓでのビデオストリーム１１２を生成するためのベースレイヤを表すことができる。時間レイヤ２３０の第２のオカレンス２３４は、時間レイヤ２３０の第１のオカレンス２３２のようなベースレイヤと、３０ｆｐｓでのビデオコンテンツ１０８のビデオストリーム１１２との間の差分を表すことができる。

第２のオカレンス２３４は、ベースレイヤのフレームと、３０ｆｐｓでのビデオコンテンツ１０８を表示するために要求される新しいフレームとの間の差分を表すフレームを含むことができる。時間レイヤ２３０の第３のオカレンス２３６は、時間レイヤ２３０の第２のオカレンス２３４と、６０ｆｐｓでのビデオコンテンツとの間の差分を表すことができる。

例示的な実施例では、図１のビデオデコーダ１０４に関するスマートフォンは、第１のオカレンス２３２及び第２のオカレンス２３４からの情報を含むことができるビデオビットストリーム１１０から３０ｆｐｓでの時間レイヤ２３０の第２のオカレンス２３４を抽出することができる。時間レイヤ２３０の第３のオカレンス２３６からのビデオビットストリーム１１０内の情報を切り捨てて、ビデオビットストリーム１１０のサイズを小さくすることができる。

ここで図３を参照すると、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２の実施例が示されている。ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、図１のビデオビットストリーム１１０内の図２の時間レイヤ２３０の各オカレンスに関する情報を提供する。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、図７のＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス表内の要素を表す。ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２の要素は、図７のＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス表において表された階層構造で配列される。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＥＶＣ ＶＵＩスケーラブル拡張シンタックスヘッダ部３０３を含む。ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックスヘッダ部３０３は、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２を識別するための記述子である。ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックスヘッダ部３０３を使用して、ビデオビットストリーム１１０を符号化及び復号する。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、図１のビデオビットストリーム１１０内の時間レイヤ２３０の数を識別するための、ｖｕｉ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素のような時間レイヤカウント３０４を含むことができる。時間レイヤカウント３０４は、時間レイヤカウント３０４を０から時間レイヤ数マイナス１までマッピングするための時間レイヤ２３０数マイナス１である。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ３０６を含むことができる。フィールドシーケンスフラグ３０６は、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示す。フィールドシーケンスフラグ３０６は、フィールドの存在を示すための値１、及びフィールドが存在していないことを示すための値０を有することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、追加のタイミング情報がビデオビットストリーム１１０に含まれているか否かを示すための、ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３０８を含むことができる。タイミング情報存在フラグ３０８は、追加のタイミング情報がビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。タイミング情報存在フラグ３０８は、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２が、時間刻みユニット３１０、時間スケール３１２、及び固定ピクチャレートフラグ３１４を含むことを示すための値１を有することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３１０を含むことができる。時間刻みユニット３１０は、時間スケール３１２の周波数で動作するクロックの時間単位数を示すことができる。例えば、時間刻みユニット３１０は、ビデオビットストリーム１１０で表すことができる最小の時間間隔に対応することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３１２を含むことができる。時間スケール３１２は、１秒の時間単位数である。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３１４を含むことができる。固定ピクチャレートフラグ３１４は、図１のビデオストリーム１１２の出力順番における２つの連続的なピクチャの間の時間距離が制約されているか否かを示すことができる。固定ピクチャレートフラグ３１４は、制約が適用されないことを示すための値０、及び時間距離が制約されていることを示すための値１を有する。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３１６を含むことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＮＡＬ ＨＲＤパラメータ存在情報の存在を示すことができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＨＲＤパラメータ構造３１８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤパラメータ構造３１８が存在していないことを示すための値０を有することができる。ＨＲＤパラメータ構造３１８は、ＨＲＤシンタックスのセクションで以下に規定されるＨＲＤシンタックスのオカレンスである。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３２０を含むことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＶＣＬ ＨＲＤパラメータ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＨＲＤパラメータ構造３１８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤパラメータ構造３１８が存在していないことを示すための値０を有することができる。

ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤパラメータ構造３１８は、各時間レイヤ２３０によって異なるＨＲＤパラメータを含む。ＨＲＤパラメータ構造３１８は、ＨＲＤシンタックスのセクションで詳細に規定される。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６又はＶＣＬ ＨＲＤパラメータ存在フラグ３２０が値１を有する場合には、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、低遅延フラグ３２２及びサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ３２２を含むことができる。低遅延フラグ３２２は、ＨＲＤ動作モードを示すことができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ３２４は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。

サブピクチャＣＰＢパラメータ存在フラグ３２４が値１を有する場合には、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット３２６を含むことができる。時間刻みサブユニット３２６は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ３２８を含むことができる。ビットストリーム制限フラグ３２８は、符号化されたビデオシーケンスのビットストリーム制限パラメータが、ビデオビットストリーム１１０内に存在していることを示す。

ビットストリーム制限フラグ３２８は、ビットストリーム制限パラメータがビデオビットストリーム１１０に含まれている場合の値１、及びビットストリーム制限パラメータがビデオビットストリーム１１０内に存在していない場合の値０を有する。ビットストリーム制限パラメータは、タイル固定構成フラグ３３０、動きベクトルフラグ３３２、ピクチャ種類毎の最大バイト数３３４、最少ＣＵ種類毎の最大ビット数３３６、動きベクトル最大水平距離３３８、及び動きベクトル最大垂直距離３４０を含むことができる。

ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ３３０は、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。タイル固定構成フラグ３３０は、固定タイルを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ３３２は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。動きベクトルフラグ３３２が値１を有する場合には、ピクチャ境界外部の１つ又はそれ以上のサンプルを予測のために使用でき、それ以外の場合には、サンプルは予測のために使用されない。

ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数３３４は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ ＮＡＬユニットの合計サイズに関する最大バイト数を示す値である。ピクチャ種類毎の最大バイト数３３４が値０を有する場合には、制限は示されない。それ以外の場合には、符号化されたピクチャを、ビデオビットストリーム１１０内で、ピクチャ種類毎の最大バイト数３３４よりも多いバイトにより表すべきではないというビットストリーム適合要件である。

ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数３３６は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。最少ＣＵ種類毎の最大ビット数３３６が値０を有する場合には、制限は示されない。それ以外の場合には、符号化ユニットを、ビットストリーム内で最少ＣＵ種類毎の最大ビット数３３６よりも多いビットにより表すべきではないというビットストリーム適合要件である。

ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離３３８は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離３４０は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための、ｖｕｉ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ要素のようなＶＵＩ拡張フラグ３４２を含むことができる。ＶＵＩ拡張フラグ３４２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、追加のデータがＲＢＳＰ内に存在していることを示すための、ｍｏｒｅ＿ｒｂｓｐ＿ｄａｔａ要素のような、追加のＲＢＳＰデータフラグ３４４を含むことができる。追加のＲＢＳＰデータフラグ３４４は、追加のデータがＲＢＳＰ内に存在している場合の値１、及びそれ以外の場合の値０を有することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれていることを示すための、ＶＵＩ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ要素のようなＶＵＩ拡張データフラグ３４６を含むことができる。ＶＵＩ拡張データフラグ３４６は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれている場合の値１、及びそれ以外の場合の値０を有することができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、ＲＢＳＰデータにフラグをたてるためのデータ構造である、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ要素のようなＲＢＳＰ追跡ビット３４８を含むことができる。ＲＢＳＰ追跡ビット３４８は、ＲＢＳＰに関するストップビットを示すための、ｒｂｓｐ＿ｓｔｏｐ＿ｏｎｅ＿ｂｉｔ要素のようなＲＢＳＰデータを含むことができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、時間レイヤ特有の情報を表すためのループ構造を含むことができる。ループは、時間レイヤ２３０の各オカレンスに関連する情報を０から時間レイヤカウント３０４まで示すための、［ｉ］のようなイテレータを含むことができる。例えば、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２のループ構造は、フィールドシーケンスフラグ３０６、タイミング情報存在フラグ、時間刻みユニット３１０、時間スケール３１２、固定ピクチャレートフラグ３１４、ＮＡＬ ＨＲＤパラメータ存在フラグ３１６、ＶＣＬ ＨＲＤパラメータ存在フラグ３２０、ＨＲＤパラメータ構造３１８、低遅延フラグ３２２、サブピクチャＣＰＢパラメータ存在フラグ３２４、及び時間刻みサブユニット３２６を含むことができる。

ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２を使用して図１のビデオコンテンツ１０８を符号化及び復号して、時間レイヤ２３０の各オカレンスに対応することにより、時間レイヤ２３０の各オカレンスの表現にわたるより高精度で精細な制御が提供されることが見いだされている。時間レイヤ２３０の各オカレンスに関する情報を提供することにより、ビデオストリーム１１２の表示品質が向上する。

ここで図４を参照すると、ＨＲＤシンタックス４０２の実施例が示されている。ＨＲＤシンタックス４０２は、仮想参照デコーダに関連するパラメータを表す。

ＨＲＤシンタックス４０２は、図４のＨＲＤベースシンタックス表で表された要素を含む。ＨＲＤシンタックス４０２の要素は、図４のＨＲＤベースシンタックス表において表された階層構造で配列される。

ＨＲＤシンタックス４０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤシンタックスヘッダ部４０４を含むことができる。ＨＲＤシンタックスヘッダ部４０４は、ＨＲＤシンタックス４０２を識別するための記述子である。

ＨＲＤシンタックス４０２は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のようなＣＰＢカウント４０８を含むことができる。ＣＰＢカウント４０８は、制限されたビットレート及びＣＰＢサイズ値を有する別の配信スケジューラの数を示すことができる。

ＨＲＤシンタックス４０２は、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール４１０を含むことができる。ビットレートスケール４１０は、符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレートを指定する。

ＨＲＤシンタックス４０２は、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール４１２を含むことができる。ＣＰＢサイズスケール４１２は、符号化ピクチャバッファのサイズを判定するためのものである。

ＨＲＤシンタックス４０２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックスに基づく大きさである。ＨＲＤシンタックス４０２は、符号化ピクチャバッファの各オカレンスに関するビットレート値４１６、ＣＰＢサイズ値４１８、及びＣＢＲフラグ４２０を含むことができる。

ＨＲＤシンタックス４０２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値４１６を含むことができる。ビットレート値４１６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。

ＨＲＤシンタックス４０２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値４１８を含むことができる。ＣＰＢサイズ値４１８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。

ＨＲＤシンタックス４０２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ４２０を含むことができる。ＣＢＲフラグ４２０は、符号化ピクチャバッファの各オカレンスに関して図１のビデオビットストリーム１１０を復号するための動作モードを示す。ＣＢＲフラグ４２０が値１を有する場合には、仮想ストリーム配信スケジューラ（ＨＳＳ）は、固定ビットレートモードで動作する。それ以外の場合には、ビデオビットストリーム１１０は、断続的なビットレートモードで動作する。

ＨＲＤシンタックス４０２を使用することにより、符号化ピクチャバッファの個別のオカレンスの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤシンタックス４０２の個別のオカレンスを使用することにより、ＣＰＢの種々のオカレンス間の個別の差分を利用することによって処理速度を向上させることができる。

ＨＲＤシンタックス４０２は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長４２２を含むことができる。初期ＣＰＢ除去遅延長４２２は、バッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素及びｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ要素のビット長を示す。

ＨＲＤシンタックス４０２は、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長４２４を含むことができる。ＣＰＢ除去遅延長４２４は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を指定することができる。

ＨＲＤシンタックス４０２は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＤＰＢ出力遅延長４２６を含むことができる。ＤＰＢ出力遅延長４２６は、復号ピクチャバッファ（ＤＰＢ）のサイズを示す。

ＨＲＤシンタックス４０２は、ｔｉｍｅ＿ｏｆｆｓｅｔ＿ｌｅｎｇｔｈ要素のような時間オフセット長４２８を含むことができる。時間オフセット長４２８は、ｔｉｍｅ＿ｏｆｆｓｅｔ要素のビット長を示す。

ＨＲＤシンタックス４０２は、ビデオビットストリーム１１０に関する標準の要件セットを表すことができる。ＨＲＤシンタックス４０２を使用して、ビデオビットストリーム１１０のビットレートを制御することができる。例えば、ＨＲＤシンタックス４０２は、可変又は固定ビットレート動作、低遅延動作、及び遅延耐性動作を制御するためのパラメータを含むことができる。

別の実施例では、ＨＲＤシンタックス４０２は、ビットレートスケール４１０、ＣＰＢカウント４０８、及びＣＰＢサイズスケール４１２のようなパラメータを使用して、符号化ピクチャバッファの性能、符号化ピクチャバッファの数、及び符号化ピクチャバッファのサイズを制御するために使用される。ＨＲＤシンタックス４０２は、ＤＰＢ出力遅延長４２６のようなパラメータを使用して復号ピクチャバッファを制御するために使用することができる。

ビデオビットストリーム１１０は、ＮＡＬ ＨＲＤパラメータ及びＶＣＬ ＨＲＤパラメータを含むことができる。ＮＡＬ ＨＲＤパラメータは、非ＶＣＬ ＮＡＬユニットデータを有するビデオビットストリーム１１０に関連する。ＶＣＬ ＨＲＤパラメータは、ＶＣＬ ＮＡＬユニットデータを有するビデオビットストリーム１１０に関連する。

図３のＨＲＤパラメータ構造３１８は、仮想参照デコーダに関するパラメータを表すデータ構造のオカレンスである。例えば、ＨＲＤパラメータ構造３１８は、ＨＲＤシンタックス４０２で表すことができる。

ＨＲＤシンタックス４０２を使用して図１のビデオコンテンツ１０８を符号化及び復号することにより、ビデオビットストリーム１１０のサイズを減少させることができ、図１のビデオストリーム１１２を表示するために必要なビデオバッファリングの量が減少することが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、機能性が向上し、ビデオストリーム１１２の表示性能が向上する。

ここで図５を参照すると、ＨＲＤ固定シンタックス５０２の実施例が示されている。ＨＲＤ固定シンタックス５０２は、図２の時間レイヤ２３０、サブレイヤ、又はＣＰＢに基づいて変化しない、仮想参照デコーダ動作に関連するパラメータを表す。

ＨＲＤ固定シンタックス５０２は、図５のＨＲＤ固定シンタックス表で表された要素を含む。ＨＲＤ固定シンタックス５０２の要素は、図５のＨＲＤ固定シンタックス表において表された階層構造で配列される。

ＨＲＤ固定シンタックス５０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ要素のようなＨＲＤ固定シンタックスヘッダ部５０４を含むことができる。ＨＲＤ固定シンタックスヘッダ部５０４は、ＨＲＤ固定シンタックス５０２を識別するための記述子である。

ＨＲＤ固定シンタックス５０２は、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール４１０を含むことができる。ビットレートスケール４１０は、符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレートを指定する。

ＨＲＤ固定シンタックス５０２は、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール４１２を含むことができる。ＣＰＢサイズスケール４１２は、符号化ピクチャバッファのサイズを判定するためのものである。

ＨＲＤ固定シンタックス５０２は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長４２２を含むことができる。初期ＣＰＢ除去遅延長４２２は、バッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素及びｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ要素のビット長を示す。

ＨＲＤ固定シンタックス５０２は、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長４２４を含むことができる。ＣＰＢ除去遅延長４２４は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を指定することができる。

ＨＲＤ固定シンタックス５０２は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＤＰＢ出力遅延長４２６を含むことができる。ＤＰＢ出力遅延長４２６は、復号ピクチャバッファ（ＤＰＢ）のサイズを示す。

ＨＲＤシンタックス４０２は、ｔｉｍｅ＿ｏｆｆｓｅｔ＿ｌｅｎｇｔｈ要素のような時間オフセット長４２８を含むことができる。時間オフセット長４２８は、ｔｉｍｅ＿ｏｆｆｓｅｔ要素のようなビット長を示す。

図３のＨＲＤパラメータ構造３１８は、仮想参照デコーダに関するパラメータを表すデータ構造のオカレンスである。例えば、ＨＲＤパラメータ構造３１８は、ＨＲＤ固定シンタックス５０２で表すことができる。

ＨＲＤ固定シンタックス５０２を使用することにより、復号プロセスの処理にわたる安定した制御を可能にすることによって、動作を単純化して、複雑性を低減できることが見いだされている。ＨＲＤ固定シンタックス５０２を使用することにより、全ての時間レイヤ２３０にわたるＨＲＤ固定シンタックス５０２に関する固定値の単一セットを共有することによって複雑性を低減することができる。

ここで図６を参照すると、ＨＲＤ可変シンタックス６０２の実施例が示されている。ＨＲＤ可変シンタックス６０２は、仮想参照デコーダ動作に関連する可変パラメータを表す。

ＨＲＤ可変シンタックス６０２は、図６のＨＲＤ可変シンタックス表で表された要素を含む。ＨＲＤ可変シンタックス６０２の要素は、図６のＨＲＤ可変シンタックス表において表された階層構造で配列される。

ＨＲＤ可変シンタックス６０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｖａｒ要素のようなＨＲＤ可変シンタックスヘッダ部６０４を含むことができる。ＨＲＤ可変シンタックスヘッダ部６０４は、ＨＲＤ可変シンタックス６０２を識別するための記述子である。

ＨＲＤ可変シンタックス６０２は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のようなＣＰＢカウント４０８を含むことができる。ＣＰＢカウント４０８は、図１のビデオビットストリーム１１０内の別のＣＰＢ規格値の数を示すことができる。

ＨＲＤ可変シンタックス６０２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックス４１４に基づく大きさである。ＨＲＤ可変シンタックス６０２は、符号化ピクチャバッファの各オカレンスに関するビットレート値４１６、ＣＰＢサイズ値４１８、及びＣＢＲフラグ４２０を含むことができる。

ＨＲＤ可変シンタックス６０２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値４１６を含むことができる。ビットレート値４１６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。

ＨＲＤ可変シンタックス６０２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値４１８を含むことができる。ＣＰＢサイズ値４１８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。

ＨＲＤ可変シンタックス６０２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ４２０を含むことができる。ＣＢＲフラグ４２０は、符号化ピクチャバッファの各オカレンスに関してビデオビットストリーム１１０を復号するための動作モードを示す。

ＨＲＤパラメータ構造３１８は、仮想参照デコーダに関するパラメータを表すデータ構造のオカレンスである。例えば、ＨＲＤパラメータ構造３１８は、ＨＲＤ可変シンタックス６０２で表すことができる。

ＨＲＤ可変シンタックス６０２を使用することにより、時間レイヤ２３０の符号化ピクチャバッファの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤ可変シンタックス６０２の個別のオカレンスを使用することにより、時間レイヤ２３０の種々のオカレンス間の個別の差分を利用することによって処理速度を向上することができる。

ここで図７を参照すると、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２の実施例が示されている。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、図１のビデオビットストリーム１１０内の図２の時間レイヤ２３０の各オカレンスに関する情報を提供する。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、図７の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表内の要素を表す。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２の要素は、図７の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。

図３のＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、図１の映像符号化システム１００のＶＵＩパラメータを表すことができる。例えば、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２のオカレンスとすることができる。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のような第１のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部７０４を含む。第１のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部７０４は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２を識別するための記述子である。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２を使用して、ビデオビットストリーム１１０を符号化及び復号する。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ要素のようなＨＲＤ固定パラメータ構造７０６を含むことができる。ＨＲＤ固定パラメータ構造７０６は、図５のＨＲＤ固定シンタックス５０２のオカレンスである。ＨＲＤ固定パラメータ構造７０６は、全ての時間レイヤ２３０に関して一定のＨＲＤパラメータを含む。ＨＲＤ固定パラメータ構造７０６は、ＮＡＬ ＨＲＤ及びＶＣＬ仮想参照デコーダの両方に関する情報を含む。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、図１のビデオビットストリーム１１０内の時間レイヤ２３０の数を識別するための、ｖｕｉ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素のような時間レイヤカウント３０４を含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ３０６を含むことができる。フィールドシーケンスフラグ３０６は、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示す。

ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３０８は、追加のタイミング情報がビデオビットストリーム１１０に含まれているか否かを示すことができる。タイミング情報存在フラグ３０８は、追加のタイミング情報がビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。タイミング情報存在フラグ３０８は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２が、時間刻みユニット３１０、時間スケール３１２、及び固定ピクチャレートフラグ３１４を含むことを示すための値１を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３１０を含むことができる。時間刻みユニット３１０は、時間スケール３１２の周波数で動作するクロックの時間単位数を示すことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３１２を含むことができる。時間スケール３１２は、１秒の時間単位数である。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３１４を含むことができる。固定ピクチャレートフラグ３１４は、図１のビデオストリーム１１２の出力順番における２つの連続的なピクチャの間の時間距離が制約されているか否かを示すことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３１６を含むことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＨＲＤ可変パラメータ構造７０８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤ可変パラメータ構造７０８が存在していないことを示すための値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３２０を含むことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＶＣＬ ＨＲＤパラメータ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＨＲＤ可変パラメータ構造７０８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤ可変パラメータ構造７０８が存在していないことを示すための値０を有することができる。

ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｖａｒ要素のようなＨＲＤ可変パラメータ構造７０８は、各時間レイヤ２３０によって異なるＨＲＤパラメータを含む。ＨＲＤ可変パラメータ構造７０８は、ＨＲＤ可変シンタックスのセクションで詳細に規定される。ＨＲＤ可変パラメータ構造７０８は、図４のＣＰＢカウント４０８、図４のビットレート値４１６、図４のＣＰＢサイズ値４１８、及び図４のＣＢＲフラグ４２０を含む。ＨＲＤ可変パラメータ構造７０８は、各時間レイヤ２３０によって異なるものとすることができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６又はＶＣＬ ＨＲＤパラメータ存在フラグ３２０が値１を有する場合には、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、低遅延フラグ３２２及びサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ３２２を含むことができる。低遅延フラグ３２２は、ＨＲＤ動作モードを示すことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ３２４は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。

サブピクチャＣＰＢパラメータ存在フラグ３２４が値１を有する場合には、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット３２６を含むことができる。時間刻みサブユニット３２６は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ３２８を含むことができる。ビットストリーム制限フラグ３２８は、符号化されたビデオシーケンスのビットストリーム制限パラメータが、ビデオビットストリーム１１０内に存在していることを示す。

ビットストリーム制限フラグ３２８は、ビットストリーム制限パラメータがビデオビットストリーム１１０に含まれている場合の値１、及びビットストリーム制限パラメータがビデオビットストリーム１１０内に存在していない場合の値０を有する。ビットストリーム制限パラメータは、タイル固定構成フラグ３３０、動きベクトルフラグ３３２、ピクチャ種類毎の最大バイト数３３４、最少ＣＵ種類毎の最大ビット数３３６、動きベクトル最大水平距離３３８、及び動きベクトル最大垂直距離３４０を含むことができる。

ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ３３０は、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ３３２は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。

ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数３３４は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ ＮＡＬユニットの合計サイズに関する最大バイト数を示す値である。ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数３３６は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。

ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離３３８は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離３４０は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための、ｖｕｉ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ要素のようなＶＵＩ拡張フラグ３４２を含むことができる。ＶＵＩ拡張フラグ３４２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、追加のデータがＲＢＳＰ内に存在していることを示すための、ｍｏｒｅ＿ｒｂｓｐ＿ｄａｔａ要素のような、追加のＲＢＳＰデータフラグ３４４を含むことができる。追加のＲＢＳＰデータフラグ３４４は、追加のデータがＲＢＳＰ内に存在している場合の値１、及びそれ以外の場合の値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれていることを示すための、ＶＵＩ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ要素のようなＶＵＩ拡張データフラグ３４６を含むことができる。ＶＵＩ拡張データフラグ３４６は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれている場合の値１、及びそれ以外の場合の値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ＲＢＳＰデータにフラグをたてるためのデータ構造である、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ要素のようなＲＢＳＰ追跡ビット３４８を含むことができる。ＲＢＳＰ追跡ビット３４８は、ＲＢＳＰに関するストップビットを示すための、ｒｂｓｐ＿ｓｔｏｐ＿ｏｎｅ＿ｂｉｔ要素のようなＲＢＳＰデータを含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、時間レイヤ特有の情報を表すためのループ構造を含むことができる。ループは、時間レイヤ２３０の各オカレンスに関連する情報を０から時間レイヤカウント３０４まで示すための、［ｉ］のようなイテレータを含むことができる。例えば、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２のループ構造は、フィールドシーケンスフラグ３０６、タイミング情報存在フラグ、時間刻みユニット３１０、時間スケール３１２、固定ピクチャレートフラグ３１４、ＮＡＬ ＨＲＤパラメータ存在フラグ３１６、ＶＣＬ ＨＲＤパラメータ存在フラグ３２０、ＨＲＤ可変パラメータ構造７０８、低遅延フラグ３２２、サブピクチャＣＰＢパラメータ存在フラグ３２４、及び時間刻みサブユニット３２６を含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、時間レイヤ特有の情報を表すループ構造の外側のＨＲＤ固定パラメータ構造７０６を含む。ＨＲＤ可変パラメータ構造７０８は、時間レイヤ特有の情報を表すループ構造の一部分である。ＨＲＤ可変パラメータ構造７０８は、ＮＡＬ ＨＲＤ及びＶＣＬ ＨＲＤの両方に関するパラメータを含むことができる。

全ての時間レイヤ２３０に関して一定のＨＲＤ固定パラメータ構造７０６と、各時間レイヤ２３０に関して可変のＨＲＤ可変パラメータ構造７０８とを有する第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２を使用して、図１のビデオコンテンツ１０８を符号化及び復号することにより、複雑性を低減し性能を向上できることが見いだされている。ＨＲＤ固定パラメータ構造７０６は、復号プロセスの処理にわたる安定した制御を可能にすることによって、動作を単純化し、複雑性を低減することができる。ＨＲＤ可変パラメータ構造７０８は、時間レイヤ２３０の各オカレンスの表現にわたるより高精度で精細な制御を提供する。

ここで図８を参照すると、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２の実施例が示されている。第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、図１のビデオビットストリーム１１０内の図２の時間レイヤ２３０の各オカレンスに関する情報を提供する。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、図８の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表内の要素を表す。第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２の要素は、図８の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のような第２のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部８０４を含む。第２のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部８０４は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２を識別するための記述子である。第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２を使用して、ビデオビットストリーム１１０を符号化及び復号する。

図３のＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、図１の映像符号化システム１００のＶＵＩパラメータを表すことができる。例えば、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２のオカレンスとすることができる。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、図１のビデオビットストリーム１１０内の時間レイヤ２３０の数を識別するための、ｖｕｉ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素のような時間レイヤカウント３０４を含むことができる。時間レイヤカウント３０４は、時間レイヤカウント３０４を０から時間レイヤ数マイナス１までマッピングするための時間レイヤ２３０数マイナス１である。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ＿ｎａｌ要素のようなＨＲＤ ＮＡＬ固定パラメータ構造８０６を含むことができる。ＨＲＤ ＮＡＬ固定パラメータ構造８０６は、全ての時間レイヤ２３０に関して一定のネットワーク抽象レイヤに関するＨＲＤパラメータを含む。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ＿ｖｃｌ要素のようなＨＲＤ ＶＣＬ固定パラメータ構造８０８を含むことができる。ＨＲＤ ＶＣＬ固定パラメータ構造８０８は、全ての時間レイヤ２３０に関して一定の、映像符号化レイヤに関するＨＲＤパラメータを含む。

ＨＲＤ ＮＡＬ固定パラメータ構造８０６は、ＶＣＬエンコーダのスライス出力を、パケットネットワークを通じた伝達に好適なＮＡＬユニットにカプセル化するためのネットワーク抽象レイヤパラメータに言及することができる。ＶＣＬビデオデータ及び非ＶＣＬメタデータは、様々なネットワークに向けてフォーマットすることができ、様々なネットワークタイプを通じてビデオコンテンツ１０８を搬送するためのネットワーク適合性を提供する。

ＨＲＤ ＶＣＬ固定パラメータ構造８０８は、信号処理関連パラメータを含むこと、及び効率的な方法でビデオコンテンツ１０８を表すことができる。映像符号化レイヤパラメータを使用して、フレームの一部分に関する符号化画素ブロックを含むビット列であるスライスを符号化及び復号することができる。

ＨＲＤ ＮＡＬ固定パラメータ構造８０６及びＨＲＤ ＶＣＬ固定パラメータ構造８０８のシンタックス構造は、図７のＨＲＤ固定パラメータ構造７０８と同じ要素を有することができる。ビデオビットストリーム１１０は、ネットワーク抽象レイヤ及び映像符号化レイヤを含む、ビデオ及びメタデータ情報の複数のレイヤを復号することができる。ＨＲＤ ＮＡＬ固定パラメータ構造８０６は、ビデオビットストリーム１１０内のネットワーク抽象レイヤ情報に適用することができる。ＨＲＤ ＶＣＬ固定パラメータ構造８０８は、ビデオビットストリーム１１０内の映像符号化レイヤ情報に適用することができる。

ビデオビットストリーム１１０は、図１のビデオコンテンツ１０８からのフレームを含むことができる。フレームは、フレーム内の画素ブロックを表すことができる複数のスライスに分割することができる。

ビデオビットストリーム１１０は、情報ペイロードを有するネットワーク抽象レイヤパケットを含むことができる。情報ペイロードは、それぞれビデオ情報及びメタデータのような、ＶＣＬ及び非ＶＣＬ情報を含むことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ３０６を含むことができる。フィールドシーケンスフラグ３０６は、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示す。フィールドシーケンスフラグ３０６は、フィールドの存在を示すための値１、及びフィールドが存在しないことを示すための値０を有することができる。

ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３０８は、追加のタイミング情報がビデオビットストリーム１１０に含まれているか否かを示すことができる。タイミング情報存在フラグ３０８は、追加のタイミング情報がビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。タイミング情報存在フラグ３０８は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２が、時間刻みユニット３１０、時間スケール３１２、及び固定ピクチャレートフラグ３１４を含むことを示すための値１を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３１０を含むことができる。時間刻みユニット３１０は、時間スケール３１２の周波数で動作するクロックの時間単位数を示すことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３１２を含むことができる。時間スケール３１２は、１秒の時間単位数である。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３１４を含むことができる。固定ピクチャレートフラグ３１４は、図１のビデオストリーム１１２の出力順番における２つの連続的なピクチャの間の時間距離が制約されているか否かを示すことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３１６を含むことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＨＲＤ可変パラメータ構造７０８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤ可変パラメータ構造７０８が存在していないことを示すための値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３２０を含むことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＶＣＬ ＨＲＤパラメータ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＨＲＤ可変パラメータ構造７０８がビデオビットストリーム１１０内に存在していることを示すための値１、又はＨＲＤ可変パラメータ構造７０８が存在していないことを示すための値０を有することができる。

ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｖａｒ要素のようなＨＲＤ可変パラメータ構造７０８は、各時間レイヤ２３０によって異なるＨＲＤパラメータを含む。ＨＲＤ可変パラメータ構造７０８は、ＨＲＤ可変シンタックスのセクションで詳細に規定される。ＨＲＤ可変パラメータ構造７０８は、ＣＰＢカウント４０８、ビットレート値４１６、ＣＰＢサイズ値４１８、及びＣＢＲフラグ４２０を含む。ＨＲＤ可変パラメータ構造７０８は、各時間レイヤ２３０によって異なるものとすることができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６又はＶＣＬ ＨＲＤパラメータ存在フラグ３２０が値１を有する場合には、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、低遅延フラグ３２２及びサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ３２２を含むことができる。低遅延フラグ３２２は、ＨＲＤ動作モードを示すことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３２４を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ３２４は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。

サブピクチャＣＰＢパラメータ存在フラグ３２４が値１を有する場合には、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット３２６を含むことができる。時間刻みサブユニット３２６は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ３２８を含むことができる。ビットストリーム制限フラグ３２８は、符号化されたビデオシーケンスのビットストリーム制限パラメータが、ビデオビットストリーム１１０内に存在していることを示す。

ビットストリーム制限フラグ３２８は、ビットストリーム制限パラメータがビデオビットストリーム１１０に含まれている場合の値１、及びビットストリーム制限パラメータがビデオビットストリーム１１０内に存在していない場合の値０を有する。ビットストリーム制限パラメータは、タイル固定構成フラグ３３０、動きベクトルフラグ３３２、ピクチャ種類毎の最大バイト数３３４、最少ＣＵ種類毎の最大ビット数３３６、動きベクトル最大水平距離３３８、及び動きベクトル最大垂直距離３４０を含むことができる。

ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ３３０は、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ３３２は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。

ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数３３４は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ ＮＡＬユニットの合計サイズに関する最大バイト数を示す値である。ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数３３６は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。

ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離３３８は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離３４０は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための、ｖｕｉ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ要素のようなＶＵＩ拡張フラグ３４２を含むことができる。ＶＵＩ拡張フラグ３４２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、追加のデータがＲＢＳＰ内に存在していることを示すための、ｍｏｒｅ＿ｒｂｓｐ＿ｄａｔａ要素のような、追加のＲＢＳＰデータフラグ３４４を含むことができる。追加のＲＢＳＰデータフラグ３４４は、追加のデータがＲＢＳＰ内に存在している場合の値１、及びそれ以外の場合の値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれていることを示すための、ＶＵＩ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ要素のようなＶＵＩ拡張データフラグ３４６を含むことができる。ＶＵＩ拡張データフラグ３４６は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれている場合の値１、及びそれ以外の場合の値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、ＲＢＳＰデータにフラグをたてるためのデータ構造である、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ要素のようなＲＢＳＰ追跡ビット３４８を含むことができる。ＲＢＳＰ追跡ビット３４８は、ＲＢＳＰに関するストップビットを示すための、ｒｂｓｐ＿ｓｔｏｐ＿ｏｎｅ＿ｂｉｔ要素のようなＲＢＳＰデータを含むことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、時間レイヤ特有の情報を表すためのループ構造を含むことができる。ループは、時間レイヤ２３０の各オカレンスに関連する情報を０から時間レイヤカウント３０４まで示すための、［ｉ］のようなイテレータを含むことができる。例えば、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２のループ構造は、フィールドシーケンスフラグ３０６、タイミング情報存在フラグ、時間刻みユニット３１０、時間スケール３１２、固定ピクチャレートフラグ３１４、ＮＡＬ ＨＲＤパラメータ存在フラグ３１６、ＶＣＬ ＨＲＤパラメータ存在フラグ３２０、ＨＲＤ可変パラメータ構造７０８、低遅延フラグ３２２、サブピクチャＣＰＢパラメータ存在フラグ３２４、及び時間刻みサブユニット３２６を含むことができる。

ＨＲＤ ＮＡＬ固定パラメータ構造８０６及びＨＲＤ ＶＣＬ固定パラメータ構造８０８を有する第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２を使用して、図１のビデオコンテンツ１０８を符号化及び復号することにより、ＨＲＤ ＮＡＬ固定パラメータ構造８０６及びＨＲＤ ＶＣＬ固定パラメータ構造８０８をループ構造から取り除くことによって、複雑性を低減できることが見いだされている。全ての時間レイヤ２３０に関して一定の値を提供することにより、図１の映像符号化システム１００の動作が単純化される。

ここで図９を参照すると、ＨＲＤベースシンタックス９０２の実施例が示されている。ＨＲＤベースシンタックス９０２は、仮想参照デコーダの動作に関連するパラメータを表す。

ＨＲＤベースシンタックス９０２は、図９のＨＲＤシンタックス表で表された要素を含む。ＨＲＤベースシンタックス９０２の要素は、図９のＨＲＤシンタックス表において表された階層構造で配列される。

ＨＲＤベースシンタックス９０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤベースシンタックスヘッダ部９０４を含むことができる。ＨＲＤベースシンタックスヘッダ部９０４は、ＨＲＤベースシンタックス９０２を識別するための記述子である。

ＨＲＤベースシンタックス９０２は、タイミング存在情報、ＮＡＬ ＨＲＤパラメータ、ＶＣＬ ＨＲＤパラメータ、及び固定ピクチャレート情報を含む、図３のＨＲＤパラメータ構造３１８を含むことができる。タイミング存在情報は、タイミング情報存在フラグ３０８、時間刻みユニット３１０、及び時間スケール３１２を含むことができる。

ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３０８は、タイミング情報が図１のビデオビットストリーム１１０に含まれているか否かを示すことができる。タイミング情報存在フラグ３０８は、タイミング情報がビデオビットストリーム１１０内に存在していることを示すための値１、及びタイミング情報がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３１０は、時間スケール３１２の周波数で動作するクロックの時間単位数を示すことができる。例えば、時間刻みユニット３１０は、ビデオビットストリーム１１０で表すことができる最小の時間間隔に対応することができる。ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３１２は、１秒の時間単位数である。

ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３１６は、ＨＲＤベースシンタックス９０２が存在していることを示すための値１、及びＨＲＤベースシンタックス９０２がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＶＣＬに関するＨＲＤ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３２０は、ＨＲＤベースシンタックス９０２が存在していることを示すための値１、及びＨＲＤベースシンタックス９０２がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６又はＶＣＬ ＨＲＤパラメータ存在フラグ３２０が値１を有する場合には、ＨＲＤベースシンタックス９０２は、追加の要素を含むことができる。例えば、ＨＲＤベースシンタックス９０２は、サブピクチャＣＰＢパラメータ存在フラグ３２４、ビットレートスケール４１０、ＣＰＢサイズスケール４１２、初期ＣＰＢ除去遅延長４２２、ＣＰＢ除去遅延長４２４、及びＤＰＢ出力遅延長４２６を含むことができる。

ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３２４は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。サブピクチャＣＰＢパラメータ存在フラグ３２４が値１を有する場合には、ＨＲＤベースシンタックス９０２は、ビデオビットストリーム１１０で表すことができる最低時間間隔を指定するための、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２要素のような時間刻み除数９１２を含むことができる。

ＨＲＤベースシンタックス９０２は、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール４１０を含むことができる。ビットレートスケール４１０は、符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレートを指定する。

ＨＲＤベースシンタックス９０２は、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール４１２を含むことができる。ＣＰＢサイズスケール４１２は、ＣＰＢのサイズを判定するためのものである。

ＨＲＤベースシンタックス９０２は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長４２２を含むことができる。初期ＣＰＢ除去遅延長４２２は、バッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素及びｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ要素のビット長を示す。

ＨＲＤベースシンタックス９０２は、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長４２４を含むことができる。ＣＰＢ除去遅延長４２４は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を指定することができる。

ＨＲＤベースシンタックス９０２は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＤＰＢ出力遅延長４２６を含むことができる。ＤＰＢ出力遅延長４２６は、復号ピクチャバッファ（ＤＰＢ）のサイズを示す。

ＨＲＤベースシンタックス９０２は、図２の時間レイヤ２３０の各オカレンスに関するパラメータセットを含むことができる。ＨＲＤベースシンタックス９０２は、時間レイヤ２３０の各オカレンスに関するパラメータを表すための［ｉ］のようなイテレータを使用したループ構造を含むことができる。

ＨＲＤベースシンタックス９０２は、ＭａｘＮｕｍＳｕｂＬａｙｅｒｓＭｉｎｕｓ１要素のようなサブレイヤカウント４０７を含むことができる。サブレイヤカウント４０７は、ビデオビットストリーム１１０内のサブレイヤの最大数を示す。

ＨＲＤベースシンタックス９０２は、ビデオビットストリーム１１０内のいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離が制約されているか否かを示すための、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３１４を含むことができる。固定ピクチャレートフラグ３１４が値１を有する場合には、２つの連続的なピクチャ間の時間距離は制約されており、値０の場合には、制約されていない。

固定ピクチャレートフラグ３１４が値１を有する場合には、ＨＲＤベースシンタックス９０２は、ｐｉｃ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１要素のようなピクチャ期間９１０を含むことができる。ピクチャ期間９１０は、符号化されたビデオシーケンスにおける出力順序でのいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離を示すことができる。

ＨＲＤベースシンタックス９０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ３２２を含むことができる。低遅延フラグ３２２は、ＨＲＤ動作モードを示すことができる。

ＨＲＤベースシンタックス９０２は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のようなＣＰＢカウント４０８を含むことができる。ＣＰＢカウント４０８は、ビデオビットストリーム１１０内の別のＣＰＢ規格値の数を示すことができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３１６が値１を有する場合には、ＨＲＤベースシンタックス９０２は、時間レイヤ２３０の各オカレンスに関して、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤパラメータ構造９０８を含むことができる。ＨＲＤサブレイヤパラメータ構造９０８は、各サブレイヤに関連するパラメータを表すことができる。ＨＲＤサブレイヤパラメータ構造９０８は、時間レイヤ２３０の各サブレイヤに関するパラメータを含むことができる。各サブレイヤは、各時間レイヤ２３０及び関連する非ＶＣＬ ＮＡＬユニットに関連するＶＣＬ ＮＡＬユニットを含むことができる。

ＶＣＬ ＨＲＤパラメータ存在フラグ３２０が値１を有する場合には、ＨＲＤベースシンタックス９０２は、時間レイヤ２３０の各オカレンスに関して、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤパラメータ構造９０８を含むことができる。ＨＲＤサブレイヤパラメータ構造９０８は、各サブレイヤに関連するパラメータを表すことができる。

ＨＲＤベースシンタックス９０２を使用して図１のビデオコンテンツ１０８を符号化及び復号することにより、ビデオビットストリーム１１０のサイズを減少させることができ、図１のビデオストリーム１１２を表示するために必要なビデオバッファリングの量を減少できることが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、機能性が向上し、ビデオストリーム１１２の表示性能が向上する。

ここで図１０を参照すると、ＨＲＤサブレイヤシンタックス１００２の実施例が示されている。ＨＲＤサブレイヤシンタックス１００２は、仮想参照デコーダに関して図２の時間レイヤ２３０のサブレイヤに関連するパラメータを表す。

ＨＲＤサブレイヤシンタックス１００２は、図１０のＨＲＤサブレイヤシンタックス表で表された要素を含む。ＨＲＤサブレイヤシンタックス１００２の要素は、図１０のＨＲＤサブレイヤシンタックス表において表された階層構造で配列される。

ＨＲＤサブレイヤシンタックス１００２は、ＨＲＤ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤシンタックスヘッダ部１００４を含むことができる。ＨＲＤサブレイヤシンタックスヘッダ部１００４は、ＨＲＤサブレイヤシンタックス１００２を識別するための記述子である。

ＨＲＤサブレイヤシンタックス１００２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックス４１４に基づく大きさである。

ＨＲＤサブレイヤシンタックス１００２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値４１６を含むことができる。ビットレート値４１６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。

ＨＲＤサブレイヤシンタックス１００２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値４１８を含むことができる。ＣＰＢサイズ値４１８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。

ＨＲＤサブレイヤシンタックス１００２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ４２０を含むことができる。ＣＢＲフラグ４２０は、符号化ピクチャバッファの各オカレンスに関して図１のビデオビットストリーム１１０を復号するための動作モードを示す。ＣＢＲフラグ４２０が値１を有する場合には、仮想ストリーム配信スケジューラは、固定ビットレートモードで動作する。それ以外の場合には、ビデオビットストリーム１１０は、断続的なビットレートモードで動作する。

ＨＲＤサブレイヤシンタックス１００２は、図２の時間レイヤ２３０の特性を表すことができる。時間レイヤ２３０は更に、図１のビデオビットストリーム１１０のサブレイヤとして示すことができる。

ＨＲＤサブレイヤシンタックス１００２は、ビデオビットストリーム１１０のサブレイヤ又は時間レイヤ２３０を表すことができる。ＨＲＤサブレイヤシンタックス７０２を使用して、サブレイヤのうちの１つ又は時間レイヤ２３０のうちの１つを選択し、ビデオビットストリーム１１０から別のサブレイヤのオカレンスを取り除くことができる。

サブレイヤ又は時間レイヤ２３０からオカレンスを取り除くことにより、ビデオビットストリーム１１０内のデータ量全体を減少させることができ、より適切な伝達、改良されたストレージ帯域幅制御及び調整のために、図１のビデオコンテンツ１０８のビットレート低減又はサイズ変更が可能になる。サブレイヤ又は時間レイヤ固有のＨＲＤパラメータを提供することにより、図１のビデオストリーム１１２を生成するためのより適切でより滑らかなビットストリーム復号が可能になる。

ＨＲＤサブレイヤシンタックス１００２を使用することにより、時間レイヤ２３０に関連する個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤサブレイヤシンタックス１００２の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上することができる。

ここで図１１を参照すると、ＨＲＤ ＶＵＩシンタックス１１０２の実施例が示されている。ＨＲＤ ＶＵＩシンタックス１１０２は、仮想参照デコーダに関連するパラメータを表す。

ＨＲＤ ＶＵＩシンタックス１１０２は、図１１のＨＲＤ ＶＵＩシンタックス表で表された要素を含む。ＨＲＤ ＶＵＩシンタックス１１０２の要素は、図１１のＨＲＤ ＶＵＩシンタックス表において表された階層構造で配列される。

ＨＲＤ ＶＵＩシンタックス１１０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤ ＶＵＩシンタックスヘッダ部１１０４を含むことができる。ＨＲＤ ＶＵＩシンタックスヘッダ部１１０４は、ＨＲＤ ＶＵＩシンタックス１１０２を識別するための記述子である。

ＨＲＤ ＶＵＩシンタックス１１０２は、図１のビデオコンテンツ１０８のアスペクト比に関するアスペクト比情報を含むことができる。ＨＲＤ ＶＵＩシンタックス１１０２は、アスペクト比フラグ１１０６、アスペクト比インジケータ１１０８、アスペクト比幅１１１０、及びアスペクト比高さ１１１２、又はそれらの組み合わせを含むことができる。

ＨＲＤ ＶＵＩシンタックス１１０２は、追加のアスペクト比情報が図１のビデオビットストリーム１１０内に符号化されていることを示すための、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなアスペクト比フラグ１１０６を含むことができる。アスペクト比フラグ１１０６は、アスペクト比情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０、及びアスペクト比情報が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。

アスペクト比インジケータ１１０８は、ビデオコンテンツ１０８のアスペクト比を表す値である。例えば、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ要素のようなアスペクト比インジケータ１１０８は、ビデオコンテンツ１０８に関する所定のアスペクト比の列挙型リストに関するインデックス値を含むことができる。別の実施例では、アスペクト比インジケータ１１０８は、アスペクト比が、アスペクト比幅１１１０及びアスペクト比高さ１１１２に関する個別の値で表すことができることを示す値を含むことができる。

ｓａｒ＿ｗｉｄｔｈ要素のようなアスペクト比幅１１１０は、ビデオコンテンツ１０８の幅を表すことができる。ｓａｒ＿ｈｉｇｈｔ要素のようなアスペクト比高さ１１１２は、ビデオコンテンツ１０８の高さを表すことができる。アスペクト比幅１１１０及びアスペクト比高さ１１１２は、ビデオコンテンツの大きさを、比率、画素、線、インチ、センチメートル、又はそれらの組み合わせで表すことができる。

ＨＲＤ ＶＵＩシンタックス１１０２は、ビデオコンテンツ１０８に関するオーバースキャン情報を含むことができる。ＨＲＤ ＶＵＩシンタックス１１０２は、オーバースキャン存在フラグ１１１４及びオーバースキャン適切フラグ１１１６を含むことができる。

オーバースキャンは、図１のビデオストリーム１１２から切り取って復号されたピクチャの境界近くの一部の部分が、ビデオストリーム１１２の表示領域内で視認できない場合の表示処理として規定される。アンダースキャンは、ビデオストリーム１１２から切り取って復号されたピクチャ全体が、表示領域内で視認できるが、表示領域全体を対象として含んでいない場合の表示処理として規定される。

オーバースキャン存在フラグ１１１４は、オーバースキャン情報が、ビデオビットストリーム１１０に含まれているか否かを示すことができる。ｏｖｅｒｓｃａｎ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのようなオーバースキャン存在フラグ１１１４は、オーバースキャン情報が、ビデオビットストリーム内に存在していることを示すための値１、又はオーバースキャン情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

オーバースキャン適切フラグ１１１６は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８が、オーバースキャンを使用して表示できることを示すことができる。ｏｖｅｒｓｃａｎ＿ａｐｐｒｏｐｒｉａｔｅ＿ｆｌａｇ要素のようなオーバースキャン適切フラグ１１１６は、ビデオストリーム１１２から切り取って復号されたピクチャが、オーバースキャンを使用して表示するのに好適であることを示すための値１を有することができる。オーバースキャン適切フラグ１１１６は、ビデオストリーム１１２から切り取って復号されたピクチャが、視覚的に重要な情報を含み、オーバースキャンを使用して表示すべきでないことを示すための値０を有することができる。

ＨＲＤ ＶＵＩシンタックス１１０２は、ビデオコンテンツ１０８に関するビデオ信号種類情報を含むことができる。ＨＲＤ ＶＵＩシンタックス１１０２は、ビデオ信号存在フラグ１１１８、ビデオ形式１１２０、ビデオフルレンジフラグ１１２２、カラー記述存在フラグ１１２４、原色１１２６、伝達特性１１２８、及び行列係数１１３０を含むことができる。

ｖｉｄｅｏ＿ｓｉｇｎａｌ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなビデオ信号存在フラグ１１１８は、ビデオ信号種類情報が、ビデオビットストリーム１１０に含まれていることを示すことができる。ビデオ信号存在フラグ１１１８は、追加のビデオ信号種類情報が、ビデオビットストリーム１１０内に存在していることを示すための値１を有することができる。ビデオ信号存在フラグ１１１８は、ビデオ信号種類情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｉｄｅｏ＿ｆｏｒｍａｔ要素のようなビデオ形式１１２０は、ビデオの形式を示すことができる。ｖｉｄｅｏ＿ｆｕｌｌ＿ｒａｎｇｅ＿ｆｌａｇ要素のようなビデオフルレンジフラグ１１２２は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８に関する輝度及び色差信号の黒レベル及び範囲を示すことができる。

ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなカラー記述存在フラグ１１２４は、ビデオビットストリーム１１０内のカラー記述情報の存在を示すことができる。カラー記述存在フラグ１１２４は、追加のカラー記述情報が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。カラー記述存在フラグ１１２４は、他のカラー記述情報が含まれていないことを示すための値０を有することができる。カラー記述情報は、原色１１２６、伝達特性１１２８、及び行列係数１１３０を含むことができる。

原色１１２６は、ビデオコンテンツ１０８内で使用されるカラースキームを示すことができる。例えば、ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓ要素のような原色１１２６は、元の原色の色度座標を示すことができる。

伝達特性１１２８は、ビデオコンテンツ１０８の光エレクトロニクス伝達特性を示すことができる。例えば、ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ要素のような伝達特性１１２８は、所定の表示特性セットを表す列挙型値とすることができる。

行列係数１１３０は、原色１１２６で示される赤、緑、及び青の原色から輝度及び色差信号を得るために使用される係数を示すことができる。ｍａｔｒｉｘ＿ｃｏｅｆｆｉｃｉｅｎｔ要素のような行列係数１１３０は、コンピュータにより赤、青、及び緑の色度座標セットを輝度及び色差均等値に変換するために使用される行列係数とすることができる。

ＨＲＤ ＶＵＩシンタックス１１０２は、ビデオコンテンツ１０８に関する色差情報を含むことができる。ＨＲＤ ＶＵＩシンタックス１１０２は、色差位置情報存在フラグ１１３２、色差最高部フィールドサンプル１１３４、色差最低部フィールドサンプル１１３６、及び中間色差フラグ１１３８を含むことができる。

ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のような色差位置情報存在フラグ１１３２は、追加の色差情報が、ビデオビットストリーム１１０内に存在しているか否かを示すことができる。色差位置情報存在フラグ１１３２は、追加の色差情報が存在していることを示すための値１、又は追加の色差情報が存在していないことを示すための値０を有することができる。追加の色差情報は、色差最高部フィールドサンプル１１３４、及び色差最低部フィールドサンプル１１３６を含むことができる。

ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ要素のような色差最高部フィールドサンプル１１３４は、ビデオビットストリーム１１０内の最高部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ要素のような色差最低部フィールドサンプル１１３６は、ビデオビットストリーム１１０内の最低部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。

ｎｅｕｔｒａｌ＿ｃｈｒｏｍａ＿ｉｎｄｉｃａｔｉｏｎ＿ｆｌａｇ要素のような中間色差フラグ１１３８は、復号された色差サンプルが１に等しいか否かを示すことができる。例えば、中間色差フラグ１１３８が値１を有する場合には、復号された色差サンプルの全てが、１に設定されている。中間色差フラグ１１３８が値０を有する場合には、復号された色差サンプルは、１に制限されていない。

ＨＲＤ ＶＵＩシンタックス１１０２は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ３０６を含むことができる。フィールドシーケンスフラグ３０６は、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示すことができる。

ＨＲＤ ＶＵＩシンタックス１１０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤパラメータ構造３１８を含むことができる。ＨＲＤパラメータ構造３１８は、各サブレイヤに関する仮想参照デコーダパラメータを含む。

ＨＲＤ ＶＵＩシンタックス１１０２は、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ３２８を含むことができる。ビットストリーム制限フラグ３２８が値１を有する場合には、ＨＲＤ ＶＵＩシンタックス１１０２は、タイル固定構成フラグ３３０、動きベクトルフラグ３３２、ピクチャ種類毎の最大バイト数３３４、最少ＣＵ種類毎の最大ビット数３３６、動きベクトル最大水平距離３３８、及び動きベクトル最大垂直距離３４０を含むことができる。

ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ３３０は、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ３３２は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。

ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数３３４は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ ＮＡＬユニットの合計サイズに関する最大バイト数を示す値である。ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数３３６は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。

ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離３３８は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離３４０は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。

ＨＲＤ ＶＵＩシンタックス１１０２においてＨＲＤパラメータ構造３１８を使用することにより、全てのサブレイヤに関する共通ＨＲＤパラメータを使用する代わりに個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤパラメータ構造３１８の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上することができる。

ここで図１２を参照すると、映像符号化システム１００の機能ブロック図が示されている。映像符号化システム１００は、第１のデバイス１０２、第２のデバイス１０４、及び通信経路１０６を含むことができる。

第１のデバイス１０２は、通信経路１０６を通じて第２のデバイス１０４と通信することができる。第１のデバイス１０２は、第１のデバイスの送信器１２３２において、通信経路１０６を通じて情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２のデバイスの送信器１２３４において、通信経路１０６を通じて情報を第１のデバイス１０２に送信することができる。

例示的に、クライアントデバイスとして第１のデバイス１０２を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第１のデバイス１０２を有することができることを理解されたい。例えば、第１のデバイスはサーバとすることができる。別の実施例では、第１のデバイス１０２は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。

更に、例示的に、サーバとして第２のデバイス１０４を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第２のデバイス１０４を有することができることを理解されたい。例えば、第２のデバイス１０４はクライアントデバイスとすることができる。別の実施例では、第２のデバイス１０４は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。

本発明のこの実施形態の説明を簡潔にするために、第１のデバイス１０２は、ビデオカメラ、スマートフォン、又はそれらの組み合わせのようなクライアントデバイスとして示される。本発明は、デバイスの種類に関するこの選択に限定されるものではない。この選択は、本発明の実施例である。

第１のデバイス１０２は、第１の制御ユニット１２０８を含むことができる。第１の制御ユニット１２０８は、第１の制御インタフェース１２１４を含むことができる。第１の制御ユニット１２０８は、第１のソフトウェア１２１２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。

第１の制御ユニット１２０８は、いくつかの異なる方法で実装することができる。例えば、第１の制御ユニット１２０８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はそれらの組み合わせとすることができる。

第１の制御インタフェース１２１４は、第１の制御ユニット１２０８と第１のデバイス１０２内の別の機能ユニットとの間の通信のために使用することができる。第１の制御インタフェース１２１４は更に、第１のデバイス１０２の外部との通信のために使用することができる。

第１の制御インタフェース１２１４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の制御インタフェース１２１４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第１の制御インタフェース１２１４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第１の制御インタフェース１２１４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらの組み合わせで実装することができる。

第１のデバイス１０２は、第１の記憶ユニット１２０４を含むことができる。第１の記憶ユニット１２０４は、第１のソフトウェア１２１２を格納することができる。第１の記憶ユニット１２０４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。

第１の記憶ユニット１２０４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第１の記憶ユニット１２０４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。

第１の記憶ユニット１２０４は、第１の記憶インタフェース１２１８を含むことができる。第１の記憶インタフェース１２１８は、第１の記憶ユニット１２０４と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の記憶インタフェース１２１８は更に、第１のデバイス１０２の外部との通信用に使用することができる。

第１のデバイス１０２は、第１の画像化ユニット１２０６を含むことができる。第１の画像化ユニット１２０６は、現実世界から図１のビデオコンテンツ１０８を取り込むことができる。第１の画像化ユニット１２０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの任意の組み合わせを含むことができる。

第１の画像化ユニット１２０６は、第１の画像化インタフェース１２１６を含むことができる。第１の画像化インタフェース１２１６は、第１の画像化ユニット１２０６と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。

第１の画像化インタフェース１２１６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の画像化インタフェース１２１６は、どの機能ユニット又は外部ユニットが第１の画像化ユニット１２０６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の画像化インタフェース１２１６は、第１の制御インタフェース１２１４の実施形態と同様な技術及び技法で実装することができる。

第１の記憶インタフェース１２１８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の記憶インタフェース１２１８は、どの機能ユニット又は外部ユニットが第１の記憶ユニット１２０４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の記憶インタフェース１２１８は、第１の制御インタフェース１２１４の実施形態と同様な技術及び技法で実装することができる。

第１のデバイス１０２は、第１の通信ユニット１２１０を含むことができる。第１の通信ユニット１２１０は、第１のデバイス１０２への及びそれからの外部通信を可能にするためのものとすることができる。例えば、第１の通信ユニット１２１０は、第１のデバイス１０２が、第２のデバイス１０４、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にする。

第１の通信ユニット１２１０は更に、第１のデバイス１０２が通信経路１０６の一部分として機能することを可能にし、通信経路１０６へのエンドポイント又は終端ユニットに限定されない、通信ハブとして機能することができる。第１の通信ユニット１２１０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。

第１の通信ユニット１２１０は、第１の通信インタフェース１２２０を含むことができる。第１の通信インタフェース１２２０は、第１の通信ユニット１２１０と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の通信インタフェース１２２０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。

第１の通信インタフェース１２２０は、どの機能ユニットが第１の通信ユニット１２１０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の通信インタフェース１２２０は、第１の制御インタフェース１２１４の実施形態と同様な技術及び技法で実装することができる。

第１のデバイス１０２は、第１のユーザインタフェース１２０２を含むことができる。第１のユーザインタフェース１２０２は、ユーザ（図示せず）が第１のデバイス１０２と相互作用及び対話することを可能にする。第１のユーザインタフェース１２０２は、第１のユーザ入力（図示せず）を含むことができる。第１のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。

第１のユーザインタフェース１２０２は、第１のディスプレイインタフェース１２０を含むことができる。第１のディスプレイインタフェース１２０は、ユーザが第１のユーザインタフェース１２０２と対話することを可能にすることができる。第１のディスプレイインタフェース１２０は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。

第１の制御ユニット１２０８は、第１のユーザインタフェース１２０２と連携して、映像符号化システム１００によって生成されたビデオ情報を第１のディスプレイインタフェース１２０に表示することができる。第１の制御ユニット１２０８は更に、第１の記憶ユニット１２０４からビデオ情報を受信して第１のディスプレイインタフェース１２０に表示することを含む、映像符号化システム１００の別の機能に関する第１のソフトウェア１２１２を実行することができる。第１の制御ユニット１２０８は更に、第１の通信ユニット１２１０経由で通信経路１０６と相互作用するための第１のソフトウェア１２１２を実行することができる。

例示的に、第１のデバイス１０２は、第１のユーザインタフェース１２０２、第１の記憶ユニット１２０４、第１の制御ユニット１２０８、及び第１の通信ユニット１２１０を有して分割することができるが、第１のデバイス１０２は、様々に分割できることを理解されたい。例えば、第１のソフトウェア１２１２は、その機能の一部又は全てが、第１の制御ユニット１２０８及び第１の通信ユニット１２１０内に存在できるように様々に分割することができる。更に、第１のデバイス１０２は、明確にするために図１２に示していない他の機能ユニットを含むことができる。

映像符号化システム１００は、第２のデバイス１０４を含むことができる。第２のデバイス１０４は、第１のデバイス１０２を含む複数デバイスの実施形態で本発明を実施するように最適化することができる。第２のデバイス１０４は、第１のデバイス１０２と比べて追加の又は高い性能の処理能力を提供することができる。

第２のデバイス１０４は、第２の制御ユニット１２４８を含むことができる。第２の制御ユニット１２４８は、第２の制御インタフェース１２５４を含むことができる。第２の制御ユニット１２４８は、第２のソフトウェア１２５２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。

第２の制御ユニット１２４８は、いくつかの異なる方法で実装することができる。例えば、第２の制御ユニット１２４８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はそれらの組み合わせとすることができる。

第２の制御インタフェース１２５４は、第２の制御ユニット１２４８と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の制御インタフェース１２５４は更に、第２のデバイス１０４の外部との通信用に使用することができる。

第２の制御インタフェース１２５４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の制御インタフェース１２５４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第２の制御インタフェース１２５４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第２の制御インタフェース１２５４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらの組み合わせで実装することができる。

第２のデバイス１０４は、第２の記憶ユニット１２４４を含むことができる。第２の記憶ユニット１２４４は、第２のソフトウェア１２５２を格納することができる。第２の記憶ユニット１２４４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。

第２の記憶ユニット１２４４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第２の記憶ユニット１２４４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。

第２の記憶ユニット１２４４は、第２の記憶インタフェース１２５８を含むことができる。第２の記憶インタフェース１２５８は、第２の記憶ユニット１２４４と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の記憶インタフェース１２５８は更に、第２のデバイス１０４の外部との通信用に使用することができる。

第２の記憶インタフェース１２５８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の記憶インタフェース１２５８は、どの機能ユニット又は外部ユニットが第２の記憶ユニット１２４４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の記憶インタフェース１２５８は、第２の制御インタフェース１２５４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２の画像化ユニット１２４６を含むことができる。第２の画像化ユニット１２４６は、現実世界から図１のビデオコンテンツ１０８を取り込むことができる。第１の画像化ユニット１２０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの組み合わせを含むことができる。

第２の画像化ユニット１２４６は、第２の画像化インタフェース１２５６を含むことができる。第２の画像化インタフェース１２５６は、第２の画像化ユニット１２４６と第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。

第２の画像化インタフェース１２５６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の画像化インタフェース１２５６は、どの機能ユニット又は外部ユニットが第２の画像化ユニット１２４６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の画像化インタフェース１２５６は、第１の制御インタフェース１２１４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２の通信ユニット１２５０を含むことができる。第２の通信ユニット１２５０は、第２のデバイス１０４への及びそれからの外部通信を可能にすることができる。例えば、第２の通信ユニット１２５０は、第２のデバイス１０４が、第１のデバイス１０２、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にする。

第２の通信ユニット１２５０は更に、通信ハブとして機能することができ、第２のデバイス１０４が、通信経路１０６の一部分として機能すること及び通信経路１０６へのエンドポイント又は終端ユニットに限定されないことを可能にする。第２の通信ユニット１２５０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。

第２の通信ユニット１２５０は、第２の通信インタフェース１２６０を含むことができる。第２の通信インタフェース１２６０は、第２の通信ユニット１２５０と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の通信インタフェース１２６０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。

第２の通信インタフェース１２６０は、どの機能ユニットが第２の通信ユニット１２５０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の通信インタフェース１２６０は、第２の制御インタフェース１２５４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２のユーザインタフェース１２４２を含むことができる。第２のユーザインタフェース１２４２は、ユーザ（図示せず）が第２のデバイス１０４と相互作用及び対話することを可能にする。第２のユーザインタフェース１２４２は、第２のユーザ入力（図示せず）を含むことができる。第２のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。

第２のユーザインタフェース１２４２は、第２のディスプレイインタフェース１２４３を含むことができる。第２のディスプレイインタフェース１２４３は、ユーザが第２のユーザインタフェース１２４２と対話することを可能にすることができる。第２のディスプレイインタフェース１２４３は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。

第２の制御ユニット１２４８は、第２のユーザインタフェース１２４２と連携して、映像符号化システム１００によって生成された情報を第２のディスプレイインタフェース１２４３に表示することができる。第２の制御ユニット１２４８は更に、第２の記憶ユニット１２４４から表示情報を受信して第２のディスプレイインタフェース１２４３に表示することを含む、映像符号化システム１００の別の機能に関する第２のソフトウェア１２５２を実行することができる。第２の制御ユニット１２４８は更に、第２の通信ユニット１２５０経由で通信経路１０６と相互作用するための第２のソフトウェア１２５２を実行することができる。

例示的に、第２のデバイス１０４は、第２のユーザインタフェース１２４２、第２の記憶ユニット１２４４、第２の制御ユニット１２４８、及び第２の通信ユニット１２５０を有するように分割することができるが、第２のデバイス１０４は、様々に分割できることを理解されたい。例えば、第２のソフトウェア１２５２は、その機能の一部又は全てが、第２の制御ユニット１２４８及び第２の通信ユニット１２５０内に存在できるように様々に分割することができる。更に、第２のデバイス１０４は、明確にするために図１２に示していない他の機能ユニットを含むことができる。

第１の通信ユニット１２１０は、通信経路１０６に接続して、第１のデバイスの送信器１２３２で情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２の通信ユニット１２５０において、通信経路１０６の第１のデバイスの送信器１２３２から情報を受信することができる。

第２の通信ユニット１２５０は、通信経路１０６に接続して、第２のデバイスの送信器１２３４でビデオ情報を第１のデバイス１０２に送信することができる。第１のデバイス１０２は、第１の通信ユニット１２１０において、通信経路１０６の第２のデバイスの送信器１２３４からビデオ情報を受信することができる。映像符号化システム１００は、第１の制御ユニット１２０８、第２の制御ユニット１２４８、又はそれらの組み合わせによって実行することができる。

第１のデバイス１０２内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第１のデバイス１０２の動作によって説明される。第１のデバイス１０２は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット１２０８を動作させるように説明することができる。

第２のデバイス１０４内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第２のデバイス１０４の動作によって説明することができる。第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第２のデバイス１０４は、第２の制御ユニット１２４８を動作させるように説明される。

例示的に、映像符号化システム１００は、第１のデバイス１０２及び第２のデバイス１０４の動作によって説明される。第１のデバイス１０２及び第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット１２０８を動作させるように説明されるが、更に第２のデバイス１０４が、第１の制御ユニット１２０８を動作させることができることを理解されたい。

ここで図１３を参照すると、図１の映像符号化システム１００の制御フロー１３００が示されている。制御フロー１３００は、ビデオビットストリーム１１０を受信し、図１のビデオシンタックス１１４を抽出し、ビデオビットストリーム１１０を復号し、図１のビデオストリーム１１２を表示することによって、図１のビデオビットストリーム１１０を復号することを示している。

映像符号化システム１００は、受信モジュール１３０２を含むことができる。受信モジュール１３０２は、図１のビデオエンコーダ１０２によって符号化されたビデオビットストリーム１１０を受信することができる。

ビデオビットストリーム１１０は、様々な方法で受信することができる。例えば、ビデオビットストリーム１１０は、図１のビデオエンコーダ１０２から、ストリーミングシリアルビットストリームとして、図１の通信経路１０６を通じたデジタルメッセージ（図示せず）内に事前に符号化されたビデオファイル（図示せず）として、又はそれらの組み合わせとして受信することができる。

ビデオビットストリーム１１０は、様々なフレームレートで図１のビデオコンテンツ１０８を表すための、図２の１つ又はそれ以上の時間レイヤ２３０を含むことができる。受信モジュール１３０２は、時間レイヤ２３０を選択的にフィルタ処理して、ビデオビットストリーム１１０のサイズを低減することができる。

例えば、受信モジュール１３０２は、６０ｆｐｓ、３０ｆｐｓ、及び１５ｆｐｓのような３つの異なるフレームレートに関する時間レイヤ２３０を有するビデオビットストリーム１１０を受信することができる。受信モジュール１３０２は、ビデオビットストリーム１１０をフィルタ処理して、時間レイヤ２３０の６０ｆｐｓ及び３０ｆｐｓのオカレンスを取り除き、時間レイヤ２３０の１５ｆｐｓオカレンスのみを処理することができる。

映像符号化システム１００は、シンタックス取得モジュール１３０４を含むことができる。シンタックス取得モジュール１３０４は、ビデオビットストリーム１１０のビデオシンタックス１１４を識別及び抽出することができる。

シンタックス取得モジュール１３０４は、時間レイヤ取得モジュール１３０８及び時間レイヤ復号モジュール１３１０を含むことができる。

シンタックス取得モジュール１３０４は、様々な方法でビデオビットストリーム１１０に関するビデオシンタックス１１４を抽出することができる。例えば、シンタックス取得モジュール１３０４は、ビデオシンタックス１１４の存在を示すビデオ表示情報ヘッダ部に関してビデオビットストリーム１１０を検索することによって、ビデオシンタックス１１４を抽出することができる。別の実施例では、ビデオシンタックス１１４は、デマルチプレクサ（図示せず）を使用してビデオビットストリーム１１０のビデオ画像データからビデオシンタックス１１４を分離することで、ビデオビットストリーム１１０から抽出することができる。

更に別の実施例では、ビデオシンタックス１１４は、シーケンスパラメータセットであるローバイトシーケンスペイロード（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）（ＲＢＳＰ）シンタックスを抽出することによって、ビデオビットストリーム１１０から抽出することができる。シーケンスパラメータセットＲＢＳＰは、ネットワーク抽象レイヤユニット内にカプセル化された整数のバイトを含むシンタックス構造である。ＲＢＳＰは、空とすること、或いはシンタックス要素と、その後に続くＲＢＳＰストップビットと、その後に続く、ゼロ又は０に等しいより多くの付加ビットを含むデータビット列の形式を有することの何れかとすることができる。

ビデオシンタックス１１４は、個別の要素がビデオビットストリーム１１０における時間順番で利用可能になる場合にこれらの要素を抽出することによって、時間的方法でシリアルビットストリームから抽出することができる。映像符号化システム１００は、前に抽出された要素の値に基づいて後の要素を選択的に抽出及び処理することができる。例えば、シンタックス取得モジュール１３０４は、図３の低遅延ＨＲＤフラグ３２２の以前に受信した値に基づいて、図３のＨＲＤパラメータ構造３１８を処理することができる。

別の実施例では、ビデオビットストリーム１１０をファイル内で受け取る場合には、ビデオシンタックス１１４は、ビデオビットストリーム１１０を含むファイルのファイル拡張子を調査することによって検出することができる。更に別の実施例では、図１の通信経路１０６を通じてデジタルメッセージとしてビデオビットストリーム１１０を受信する場合には、ビデオシンタックス１１４は、デジタルメッセージ構成の一部分として提供することができる。

シンタックス取得モジュール１３０４は、低遅延フラグ３２２の以前に抽出されたオカレンスに基づいて、ＨＲＤパラメータ構造３１８を使用してビデオビットストリーム１１０を動的に復号することによって、性能を向上させることができることが見いだされている。例えば、低遅延フラグ３２２を受信することにより、ＨＲＤパラメータ構造３１８を適用する場合にＣＰＢにおいて許容されている遅延レベルを変更することによって、復号性能が向上する。

シンタックス取得モジュール１３０４は、図２のシンタックスタイプ２０２に基づいてビデオシンタックス１１４の個別の要素を抽出することができる。シンタックスタイプ２０２は、ＡＶＣビデオ、ＳＶＣビデオ、ＭＶＣビデオ、ＭＶＤビデオ、ＳＳＶビデオ、又はそれらの組み合わせを含むことができる。

シンタックス取得モジュール１３０４は、ビデオ表示情報を有するビデオシンタックス１１４を抽出することができる。ビデオシンタックス１１４は、図３のＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２、図７の第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２、図８の第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２、図１１のＨＲＤ ＶＵＩシンタックス１１０２、又はそれらの組み合わせを含むことができる。

シンタックス取得モジュール１３０４は、仮想参照デコーダ情報を有するビデオシンタックス１１４を抽出することができる。ビデオシンタックス１１４は、図１２のＨＲＤベースシンタックス９０２、図４のＨＲＤシンタックス４０２、図５のＨＲＤ固定シンタックス５０２、図６のＨＲＤ可変シンタックス６０２、図１０のＨＲＤサブレイヤシンタックス１００２、又はそれらの組み合わせを含むことができる。シンタックス取得モジュール１３０４は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ＿ｎａｌ要素及びｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｆｉｘｅｄ＿ｖｃｌ要素を表すビデオシンタックス１１４を抽出することができる。

ビデオシンタックス１１４は、様々な構造を有することができる。例えば、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２は、時間レイヤ２３０の全てのオカレンスに関して１つのＨＲＤシンタックス４０２オカレンスを含むことができる。

ＨＲＤシンタックス４０２は、図４のＣＰＢカウント４０８、図４のビットレートスケール４１０、図４のＣＰＢサイズスケール４１２、図４の初期ＣＰＢ除去遅延長４２２、図４のＣＰＢ除去遅延長４２４、図４のＤＰＢ出力遅延長４２６、及び図４の時間オフセット長４２８の単一のオカレンスを含むことができる。ＨＲＤシンタックス４０２は、ＣＰＢカウント４０８で示される各符号化ピクチャバッファに関して、図４のビットレート値４１６、図４のＣＰＢサイズ値４１８、及び図４のＣＢＲフラグ４２０の複数のオカレンスを含むループ構造を含むことができる。

別の実施例では、シンタックス取得モジュール１３０４は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２のようなビデオシンタックス１１４をビデオビットストリーム１１０から抽出することができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、ＨＲＤ固定シンタックス５０２の単一のオカレンスを含むことができる。ＨＲＤ固定シンタックス５０２は、ビットレートスケール４１０、ＣＰＢサイズスケール４１２、初期ＣＰＢ除去遅延長４２２、ＣＰＢ除去遅延長４２４、ＤＰＢ出力遅延長４２６、及び時間オフセット長４２８を含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２は、時間レイヤ２３０の個別の各オカレンスに関する、ＨＲＤ可変シンタックス６０２のオカレンスを含むことができる。ＨＲＤ可変シンタックス６０２は、符号化ピクチャバッファの全体数を示すための、ＣＰＢカウント４０８の単一のオカレンスを含むことができる。ＨＲＤ可変シンタックス６０２は、ＣＰＢカウント４０８で示される各符号化ピクチャバッファに関するビットレート値４１６、ＣＰＢサイズ値４１８、及びＣＢＲフラグ４２０の複数のオカレンスを含むループ構造を含むことができる。

更に別の実施例では、シンタックス取得モジュール１３０４は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２のようなビデオシンタックス１１４をビデオビットストリーム１１０から抽出することができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、図８のＨＲＤ ＮＡＬ固定パラメータ構造８０６及び図８のＨＲＤ ＶＣＬ固定パラメータ構造８０８の単一のオカレンスを含むことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２は、時間レイヤ２３０の個別の各オカレンスに関する、ＨＲＤ可変シンタックス６０２のオカレンスを含むことができる。ＨＲＤ可変シンタックス６０２は、符号化ピクチャバッファの全体数を示すための、ＣＰＢカウント４０８の単一のオカレンスを含むことができる。ＨＲＤ可変シンタックス６０２は、ＣＰＢカウント４０８で示される各符号化ピクチャバッファに関するビットレート値４１６、ＣＰＢサイズ値４１８、及びＣＢＲフラグ４２０の複数のオカレンスを含むループ構造を含むことができる。

例示的な実施例では、シンタックス取得モジュール１３０４は、ビデオシンタックス１１４を構文解析することによってビデオビットストリーム１１０からＨＲＤ固定シンタックス５０２を抽出することができる。別の例示的な実施例では、ＨＲＤ固定シンタックス５０２を抽出することは、ＨＲＤ ＮＡＬ固定パラメータ構造８０６及びＨＲＤ ＶＣＬ固定パラメータ構造８０８を抽出することを含むことができる。

映像符号化システム１００は、復号モジュール１３０６を含むことができる。復号モジュール１３０６は、ビデオシンタックス１１４を使用してビデオビットストリーム１１０を復号してビデオストリーム１１２を生成することができる。復号モジュール１３０６は、時間レイヤ取得モジュール１３０８及び時間レイヤ復号モジュール１３１０を含むことができる。

復号モジュール１３０６は、ＨＥＶＣ ＶＵＩスケーラブル拡張シンタックス３０２、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２、第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２、ＨＲＤ ＶＵＩシンタックス１１０２、又はそれらの組み合わせのようなビデオシンタックス１１４を使用してビデオビットストリーム１１０を復号することができる。復号モジュール１３０６は、ＨＲＤシンタックス４０２、ＨＲＤ固定シンタックス５０２、ＨＲＤ可変シンタックス６０２、ＨＲＤベースシンタックス９０２、ＨＲＤサブレイヤシンタックス１００２、又はそれらの組み合わせを使用して、時間レイヤ２３０を識別及び抽出することができる。

時間レイヤ取得モジュール１３０８は、時間レイヤ２３０を識別し、ビデオビットストリーム１１０から抽出してビデオストリーム１１２を生成することができる。時間レイヤ取得モジュール１３０８は、様々な方法で時間レイヤ２３０を識別することができる。

例えば、時間レイヤ取得モジュール１３０８は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス７０２又は第２のＨＥＶＣ ＶＵＩ拡張シンタックス８０２のようなビデオシンタックス１１４から図３の時間レイヤカウント３０４を抽出することによって、時間レイヤ２３０を識別することができる。時間レイヤカウント３０４は、ビデオビットストリーム１１０内の時間レイヤ２３０の全体数を示す。

時間レイヤ取得モジュール１３０８は、ビデオシンタックス１１４を使用してビデオビットストリーム１１０から時間レイヤ２３０を抽出することができる。ビデオシンタックス１１４は、図７のＨＲＤ固定パラメータ構造７０６、ＨＲＤ ＮＡＬ固定パラメータ構造８０６、ＨＲＤ ＶＣＬ固定パラメータ構造８０８、及び図７のＨＲＤ可変パラメータ構造７０８のような固定及び可変仮想参照デコーダパラメータ構造を含むことができる。

時間レイヤ取得モジュール１３０８は、ビデオシンタックス１１４に基づいてビデオビットストリーム１１０内のデータを構文解析することによって時間レイヤ２３０を抽出することができる。ビデオシンタックス１１４は、時間レイヤ２３０の数及び構成を規定することができる。

例えば、時間レイヤ取得モジュール１３０８は、時間レイヤカウント３０４を使用し、時間レイヤ２３０の全体数を判定してビデオビットストリーム１１０から抽出することができる。図１１のビデオ形式１１２０をビデオビットストリーム１１０から抽出して、ビデオコンテンツ１０８の映像システムの種類を判定することができる。

別の実施例では、ＣＰＢカウント４０８を使用して使用される符号化ピクチャバッファの数を判定し、時間レイヤ２３０を抽出することができる。ビットレートスケール４１０を使用して符号化ピクチャバッファに関する最大入力ビットレートを判定することができる。ＣＰＢサイズスケール４１２を使用して符号化ピクチャバッファのサイズを判定することができる。各符号化ピクチャバッファに関して、ビットレート値４１６及びＣＰＢサイズ値４１８が存在する。

例示的な実施例では、時間レイヤ取得モジュール１３０８は、ＨＲＤ固定シンタックス５０２及びＨＲＤ可変シンタックス６０２に基づいて、ビデオビットストリーム１１０から、時間レイヤ２３０の図２の第１のオカレンス２３２及び図２の第２のオカレンス２３４を抽出することができる。ＨＲＤ固定シンタックス５０２は、全ての時間レイヤ２３０に関して共通である。ＨＲＤ可変シンタックス６０２は、各時間レイヤ２３０に関して異なるオカレンスを含む。

時間レイヤ２３０の第１のオカレンス２３２は、ＨＲＤ可変シンタックス６０２の第１のオカレンスを使用して抽出することができる。時間レイヤ２３０の第２のオカレンス２３４は、ＨＲＤ可変シンタックス６０２の第２のオカレンスを使用して抽出することができる。

時間レイヤ復号モジュール１３１０は、時間レイヤ取得モジュール１３０８から時間レイヤ２３０を受け取り、時間レイヤ２３０を復号してビデオストリーム１１２を生成することができる。時間レイヤ復号モジュール１３１０は、様々な方法で時間レイヤ２３０を復号することができる。

例えば、時間レイヤ復号モジュール１３１０は、ＨＲＤベースシンタックス９０２を使用して、時間レイヤ２３０を復号することができる。別の実施例では、時間レイヤ復号モジュール１３１０は、ＨＲＤサブレイヤシンタックス１００２を使用して、時間レイヤ２３０を復号することができる。時間レイヤ復号モジュール１３１０は、時間レイヤ２３０を復号し、時間レイヤ２３０のうちの１つを選択してビデオストリーム１１２を生成することができる。

映像符号化システム１００は、表示モジュール１３１２を含むことができる。表示モジュール１３１２は、復号モジュール１３０６からビデオストリーム１１２を受け取り、図１のディスプレイインタフェース１２０に表示することができる。ビデオストリーム１１２は、時間レイヤ２３０の１つ又はそれ以上のオカレンスを含むことができる。

ビデオコンテンツ１０８の物理的対象物の光学的画像から図１のディスプレイインタフェース１２０の画素要素にビデオストリーム１１２を表示する物理的な変換は、物理的世界におけるディスプレイインタフェース１２０の画素要素に対する物理的変化、例えば画素要素の電気的な状態の変化を引き起こすが、これは、映像符号化システム１００の動作に基づくものである。ビデオコンテンツ１０８に取り込まれた対象物の動きのような物理的世界における変化が生じる場合、その動き自体により、ビデオコンテンツ１０８に対する更新のような追加情報が生成され、この情報は、映像符号化システム１００の継続動作のためにディスプレイインタフェース１２０の画素要素での変化に逆変換される。

第１のデバイス１０２の図１２の第１のソフトウェア１２１２は、映像符号化システム１００を含むことができる。例えば、第１のソフトウェア１２１２は、受信モジュール１３０２、シンタックス取得モジュール１３０４、復号モジュール１３０６、及び表示モジュール１３１２を含むことができる。

図１２の第１の制御ユニット１２０８は、受信モジュール１３０２に関する第１のソフトウェア１２１２を実行して、ビデオビットストリーム１１０を受信することができる。第１の制御ユニット１２０８は、シンタックス取得モジュール１３０４に関する第１のソフトウェア１２１２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第１の制御ユニット１２０８は、復号モジュール１３０６に関する第１のソフトウェア１２１２を実行して、ビデオビットストリーム１１２を生成することができる。第１の制御ユニット１２０８は、表示モジュール１３１２に関する第１のソフトウェア１２１２を実行して、ビデオストリーム１１２を表示することができる。

図１の第２のデバイス１０４の図１２の第２のソフトウェア１２５２は、映像符号化システム１００を含むことができる。第２のソフトウェア１２５２は、例えば、受信モジュール１３０２、シンタックス取得モジュール１３０４、及び復号モジュール１３０６を含むことができる。

図１２の第２の制御ユニット１２４８は、受信モジュール１３０２に関する第２のソフトウェア１２５２を実行して、ビデオビットストリーム１１０を受信することができる。第２の制御ユニット１２４８は、シンタックス取得モジュール１３０４に関する第２のソフトウェア１２５２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第２の制御ユニット１２４８は、復号モジュール１３０６に関する第２のソフトウェア１２５２を実行して、図１のビデオビットストリーム１１２を生成することができる。第２の制御ユニット１２４８は、表示モジュール１３１２に関する第２のソフトウェアを実行して、ビデオストリーム１１２を表示することができる。

映像符号化システム１００は、第１のソフトウェア１２１２と第２のソフトウェア１２５２とに分割することができる。例えば、第２のソフトウェア１２５２は、シンタックス取得モジュール１３０４、復号モジュール１３０６、及び表示モジュール１３１２を含むことができる。第２の制御ユニット１２４８は、前述した第２のソフトウェア１２５２に対して分割されたモジュールを実行することができる。

例示的な実施例では、映像符号化システム１００は、第１のデバイス１０２でのビデオエンコーダ１０２、及び第２のデバイス１０４でのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、図１のディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を含むことができる。

第１のソフトウェア１２１２は、受信モジュール１３０２及びシンタックス取得モジュール１３０４を含むことができる。図１２の第１の記憶ユニット１２０４のサイズに応じて、第１のソフトウェア１２１２は、映像符号化システム１００の追加のモジュールを含むことができる。第１の制御ユニット１２０８は、前述した第１のソフトウェア１２１２に対して区分化されたモジュールを実行することができる。

第１の制御ユニット１２０８は、図１２の第１の通信ユニット１２１０を動作させて、第２のデバイス１０４にビデオビットストリーム１１０を送信することができる。第１の制御ユニット１２０８は、第１のソフトウェア１２１２を動作させて、図１２の第１の画像化ユニット１２０６を動作させることができる。図１２の第２の通信ユニット１２５０は、通信経路１０６を通じて第１のデバイス１０２にビデオストリーム１１２を送信することができる。

映像符号化システム１００は、実施例としてモジュールの機能又は順番を説明している。モジュールは様々に分割することができる。例えば、シンタックス取得モジュール１３０４と復号モジュール１３０６とを組み合わせることができる。各モジュールは、個別に他のモジュールと無関係に動作することができる。

更に、１つのモジュールで生成されたデータは、互いに直接接続されていない別のモジュールで使用することができる。例えば、復号モジュール１３０６は、受信モジュール１３０２からビデオビットストリーム１１０を受信することができる。

モジュールは、様々な方法で実装することができる。受信モジュール１３０２、シンタックス取得モジュール１３０４、復号モジュール１３０６、及び表示モジュール１３１２は、第１の制御ユニット１２０８又は第２の制御ユニット１２４８内のハードウェアアクセラレータ（図示せず）で実装すること、或いは第１の制御ユニット１２０８又は第２の制御ユニット１２４８の外部で第１のデバイス１０２又は第２のデバイス１０４内のハードウェアアクセラレータ（図示せず）で実装することができる。

ここで図１４を参照すると、本発明の別の実施形態における図１の映像符号化システム１００の動作方法１４００のフローチャートが示されている。方法１４００は、ブロック１４０２において、ビデオビットストリームを受信する段階と、ブロック１４０４において、ビデオビットストリームからビデオシンタックスを抽出する段階と、ブロック１４０６において、ビデオシンタックから仮想参照デコーダ（ＨＲＤ）固定シンタックスを抽出する段階と、ブロック１４０８において、ビデオシンタックからＨＲＤ可変シンタックスを抽出する段階と、ブロック１４１０において、ＨＲＤ固定シンタックス及びＨＲＤ可変シンタックスに基づいてビデオビットストリームから時間レイヤを抽出する段階と、ブロック１４１２において、デバイスに表示するために、時間レイヤに基づいてビデオストリームを生成する段階と、を含む。

このように、本発明は多くの態様を有することが見いだされている。本発明は、経費削減、システム単純化、及び性能向上という歴史的傾向に有用に対応し、その要求に応えている。結果的に、本発明の前記及び他の有用な態様により、技術レベルが少なくとも次のレベルに進む。

従って、本発明の映像符号化システムは、高精細アプリケーション用のビデオコンテンツを効率的に符号化及び復号することに関して、重要で、従来は知られておらず利用不可能な解決手段、機能、及び機能的態様を提供することが見いだされている。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、効率的なものであり、意外にも自明ではなく、公知の技術を適用することによって実装できるので、従来の製造プロセス及び技術と完全に互換性がある映像符号化デバイスを簡単に効率的かつ経済的に製造することに適している。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、正確で、高精度で、効率的なものであり、容易に、効率的に、経済的に製造、応用、及び利用するために公知の構成要素を適用することによって実装することができる。

本発明は、特定の最適な形態と併せて説明されるが、当業者であれば、前記の説明を考慮すると多くの代替例、修正例、及び変更例が明らかであることを理解できるはずである。従って、特許請求の範囲の範疇に含まれる全ての当該代替例、修正例、変更例が含まれることが意図されている。本明細書で説明した又は添付図面に示した前記の内容は、全て、例示的かつ非限定的な意味で解釈されたい。

１４０２ ビデオビットストリームを受信
１４０４ ビデオシンタックスを抽出
１４０６ ＨＲＤ固定シンタックスを抽出
１４０８ ＨＲＤ可変シンタックスを抽出
１４１０ 時間レイヤを抽出
１４１２ ビデオストリームを生成

Claims (14)

1. 符号化ビットストリームのサブレイヤの符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレート又はＣＰＢサイズを、複数のサブレイヤに共通する仮想参照デコーダ（ＨＲＤ）パラメータを含むＨＲＤ固定シンタックスに含まれる第１パラメータ及び各サブレイヤに固有のＨＲＤパラメータを含むＨＲＤ可変シンタックスに含まれる第２パラメータにより特定して、前記サブレイヤを含む前記符号化ビットストリームを復号する復号部、
   を備える復号装置。
2. 前記第１パラメータは、bit_rate_scaleであり、
   前記第２パラメータは、bit_rate_value_minus1であり、
   前記復号部は、前記第１パラメータ及び前記第２パラメータにより前記最大入力ビットレートを特定する、
   請求項１に記載の復号装置。
3. 前記第１パラメータは、cpb_size_scaleであり、
   前記第２パラメータは、cpb_size_value_minus1であり、
   前記復号部は、前記第１パラメータ及び前記第２パラメータにより前記ＣＰＢサイズを特定する、
   請求項１に記載の復号装置。
4. 前記ＨＲＤ固定シンタックスは、initial_cpb_removal_delay_length_minus1を含む、
   請求項１に記載の復号装置。
5. 前記ＨＲＤ固定シンタックスは、cpb_removal_delay_length_minus1を含む、
   請求項１に記載の復号装置。
6. 前記ＨＲＤ固定シンタックスは、dpb_output_delay_length_minus1を含む、
   請求項１に記載の復号装置。
7. 前記ＨＲＤ固定シンタックスは、全てのサブレイヤに共通するＨＲＤパラメータを含む、
   請求項１に記載の復号装置。
8. 復号装置により実行される復号方法であって、
   符号化ビットストリームのサブレイヤの符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレート又はＣＰＢサイズを、複数のサブレイヤに共通する仮想参照デコーダ（ＨＲＤ）パラメータを含むＨＲＤ固定シンタックスに含まれる第１パラメータ及び各サブレイヤに固有のＨＲＤパラメータを含むＨＲＤ可変シンタックスに含まれる第２パラメータにより特定して、前記サブレイヤを含む前記符号化ビットストリームを復号すること、
   を含む復号方法。
9. 前記第１パラメータは、bit_rate_scaleであり、
   前記第２パラメータは、bit_rate_value_minus1であり、
   前記第１パラメータ及び前記第２パラメータにより前記最大入力ビットレートが特定される、
   請求項８に記載の復号方法。
10. 前記第１パラメータは、cpb_size_scaleであり、
    前記第２パラメータは、cpb_size_value_minus1であり、
    前記第１パラメータ及び前記第２パラメータにより前記ＣＰＢサイズが特定される、
    請求項８に記載の復号方法。
11. 前記ＨＲＤ固定シンタックスは、initial_cpb_removal_delay_length_minus1を含む、
    請求項８に記載の復号方法。
12. 前記ＨＲＤ固定シンタックスは、cpb_removal_delay_length_minus1を含む、
    請求項８に記載の復号方法。
13. 前記ＨＲＤ固定シンタックスは、dpb_output_delay_length_minus1を含む、
    請求項８に記載の復号方法。
14. 前記ＨＲＤ固定シンタックスは、全てのサブレイヤに共通するＨＲＤパラメータを含む、
    請求項８に記載の復号方法。
    

Images