JP6128261B2 - 符号化装置、方法及びプログラム - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１３年２月１日出願の「時間スケーラビリティを用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＷＩＴＨ ＴＥＭＰＯＲＡＬ ＳＣＡＬＡＢＩＬＩＴＹ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＯＰＥＲＡＴＩＯＮ ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６７９に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。

本出願は、２０１３年２月１日出願の「低遅延を用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ ＣＯＤＩＮＧ ＳＹＳＴＥＭ ＷＩＴＨ ＬＯＷ ＤＥＬＡＹ ＡＮＤ ＭＥＴＨＯＤ ＯＦ ＯＰＥＲＡＴＩＯＮ ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６８５に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。

本出願は、２０１２年７月２日出願の米国仮特許出願番号６１／６６７，２６９、２０１２年７月３０日出願の米国仮特許出願番号６１／６６７，３０２、及び２０１３年２月１日出願の米国非仮特許出願番号１３／７５７，６２４の優先権を主張するものであり、それらの主題内容全体は、引用により本明細書に組み込まれる。

（技術分野）
本発明は、概して映像システムに関し、より詳細には、映像符号化に関するシステムに関する。

スマートフォン、高精細テレビジョン、自動車情報システム、及び画面を備える他のビデオデバイスへの高品質ビデオの展開は、近年、非常に発展している。ビデオコンテンツに対応している多種多様な情報デバイスは、種々の大きさ、品質、及び接続能力を備えるデバイスに多くの種類のビデオコンテンツを提供することを必要としている。

ビデオは、２次元単一視点ビデオから、高解像度３次元画像を有する多視点ビデオに発展している。ビデオをより効率的に伝送するために、種々の映像符号化及び圧縮方式により、最小限のデータ量から最適な画像を得ることが試行されている。動画像符号化専門家グループ（ＭＰＥＧ）が、規格化されたデータシーケンス及びアルゴリズムに基づく高品質ビデオを可能にする規格を開発した。Ｈ．２６４（ＭＰＥＧ４パート１０）／アドバンスドビデオコーディング設計では、従来のＭＰＥＧ−２形式と比較して概して２倍の符号化効率の改良が行われた。ビデオ品質は、ビデオ内のデータの操作及び圧縮に依存している。使用される様々な帯域幅に適合するようにビデオを変更して、様々な解像度及び機能セットを有するディスプレイデバイスにビデオを送信することができる。しかしながら、より大きく、高品質なビデオ、又はより複雑なビデオ機能を配信することは、帯域幅を追加すること及びビデオ圧縮を改良することが必要となる。

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」 ＪＣＴＶＣ−Ｊ１００３ ｄ７ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ） Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ． Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ７」 ＪＣＴＶＣ−Ｉ１００３ ｄ４ ２０１２年５月（Ｇｅｎｅｖａ） Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「ＨＥＶＣ ＶＵＩ Ｐａｒａｍｅｔｅｒｓ ｗｉｔｈ Ｅｘｔｅｎｓｉｏｎ Ｈｏｏｋｓ」 ＪＣＴＶＣ−Ｊ０２７０ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ） Ｍ． Ｈａｑｕｅ、Ａ． Ｔａｂａｔａｂａｉ著 「Ｅｘｔｅｎｓｉｏｎ ｏｆ ＨＥＶＣ ＶＵＩ Ｓｙｎｔａｘ Ｓｔｒｕｃｔｕｒｅ」 ＪＣＴＶＣ−Ｉ０２６３ ２０１２年５月 Ｍ． Ｈａｑｕｅ著 「ＡＨＧ１０： ＶＵＩ ａｎｄ ＨＲＤ ｓｙｎｔａｘ ｄｅｓｉｇｎｓ ａｇｒｅｅｄ ｂｙ ｔｈｅ ＢｏＧ ｏｎ ＶＰＳ ａｎｄ ＮＵＨ」 ＪＣＴＶＣ−Ｊ０５４８ｒｌ ２０１２年７月

このように、様々な大きさ、解像度、及び接続性を有するデバイスの広い範囲にわたって高品質画像及び高度な画像機能を提供できる映像符号化システムに関する必要性が依然として残されている。範囲が拡大している高機能デバイスにビデオを提供する要求が増加していることを考慮すると、これらの課題に対する解決方法が見いだされることが増々重要になっている。商業上の競争圧力が常に高くなっていることを考慮すると、消費者の期待が高まっていること及び市場での有意な製品差別化の機会が減少していることと併せて、これらの課題に対する解決方法が見いだされることが重要になっている。追加的に、経費を節減し、効率性及び業績を高め、競争圧力に対処する必要性から、より一層緊急に、これらの課題に対する解決方法を見いだすことが重要で必要になっている。

これらの課題に対する解決方法は、長期にわたって探求されてきたが、従来の成果は、何らかの解決方法を教示又は提案するものではなく、従って、長い間当業者は、これらの課題に対する解決方法を避けてきた。

ある実施形態によれば、ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のフラグを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定する設定部と、前記ビデオストリームを符号化して、前記設定部により設定された前記ＶＵＩを含む符号化ビットストリームを生成する符号化部と、を備える符号化装置が提供される。

他の実施形態によれば、符号化装置において、ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のフラグを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定することと、前記ビデオストリームを符号化して、前記設定部により設定された前記ＶＵＩを含む符号化ビットストリームを生成することと、を含む方法が提供される。

他の実施形態によれば、符号化装置を制御するプロセッサを、ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のフラグを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定する設定部と、前記ビデオストリームを符号化して、前記設定部により設定された前記ＶＵＩを含む符号化ビットストリームを生成する符号化部と、として機能させるためのプログラムが提供される。

本発明のいくつかの実施形態は、上記に説明した態様に加えて、又はそれらの代わりに別の態様を有する。当業者であれば、これらの態様は、添付図面を参照して以下の詳細な説明を読むことにより明らかとなるであろう。

本発明の一実施形態における映像符号化システムのブロック図である。 ビデオビットストリームの実施例である。 高効率映像符号化（ＨＥＶＣ）ビデオ表示情報（ＶＵＩ）シンタックスの実施例である。 第１のＨＥＶＣ ＶＵＩ拡張シンタックスの実施例である。 第２のＨＥＶＣ ＶＵＩ拡張シンタックスの実施例である。 ＨＲＤシンタックスの実施例である。 ＨＲＤサブレイヤシンタックスの実施例である。 ＨＲＤ ＶＵＩシンタックスの実施例である。 映像符号化システムの機能ブロック図である。 映像符号化システムの制御フローである。 本発明の別の実施形態における映像符号化システムの動作方法のフローチャートである。

以下の実施形態は、当業者が本発明を実施及び利用することができるように十分詳細に説明される。本開示に基づいて別の実施形態が明らかになること、及び本発明の範囲から逸脱することなく処理又は機構の変更を行うことができるということを理解されたい。

以下の説明において、本発明を完全に理解できるように多くの具体的な詳細内容が提示される。しかしながら、本発明はこれらの具体的な詳細内容がなくとも実施できることは明らかである。本発明が不明瞭にならないように、一部の公知の回路、システム構成、及び処理ステップは、詳細に開示されていない。

同様に、システムの実施形態を示す図面は、概略的なものであり、縮尺通りではなく、特に、一部の寸法は、表現を明確にするためのものであり、図面内で誇張して示されている。例示、説明、及びその理解を明確及び容易にするために、いくつかの機能が共通する複数の実施形態を開示して説明するが、互いに類似した同様の特徴部は、通常、同様の参照符号を用いて説明する。

「シンタックス」という用語は、データ構造を表す一組の要素を意味する。本明細書で用いられる「モジュール」という用語は、使用される文脈により、本発明におけるソフトウェア、ハードウェア、又はそれらの組み合わせを含むことができる。

ここで図１を参照すると、本発明の一実施形態における映像符号化システム１００のブロック図が示されている。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信し、ビデオビットストリーム１１０を復号用のビデオデコーダ１０４に送信して、ディスプレイインタフェース１２０に表示することができる。

ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信及び符号化することができる。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を種々の形式に符号化するためのユニットである。ビデオコンテンツ１０８は、対象物のシーンのデジタル表現として規定される。例えば、ビデオコンテンツ１０８は、１つ又はそれ以上のビデオカメラのデジタル出力とすることができる。

符号化は、ビデオコンテンツ１０８をコンピュータにより種々の形式に変更することとして規定される。例えば、符号化は、ビデオコンテンツ１０８をビデオビットストリーム１１０に圧縮して、ビデオビットストリーム１１０を送信するのに必要なデータ量を減少させることができる。

別の実施例では、ビデオコンテンツ１０８は、圧縮されることによって符号化されること、視覚的に強調されること、１つ又はそれ以上のビューに分割されること、解像度が変更されること、アスペクト比が変更されること、又はそれらの組み合わせが可能である。別の例示的な実施例では、ビデオコンテンツ１０８は、高効率映像符号化（ＨＥＶＣ）／Ｈ．２６５ドラフト規格により符号化することができる。

ビデオエンコーダ１０２は、ビデオコンテンツ１０８を符号化してビデオビットストリーム１１０を生成することができる。ビデオビットストリーム１１０は、ビデオコンテンツ１０８に関連する情報を表すビット列として規定される。ビデオビットストリーム１１０は、例えば、ビデオコンテンツ１０８の圧縮を表すビット列とすることができる。別の実施例では、ビデオビットストリーム１１０は、時間とともに連続的に送信されるビデオコンテンツ１０８を表す一連のビットである。

ビデオエンコーダ１０２は、シーンに関するビデオコンテンツ１０８を様々な方法で受け取ることができる。例えば、実在の対象物を表すビデオコンテンツ１０８は、ビデオカメラ、複数のカメラで撮影されること、コンピュータで生成されること、ファイルとして提供されること、又はそれらの組み合わせが可能である。

ビデオコンテンツ１０８は、様々なビデオ機能を含むことができる。例えば、ビデオコンテンツ１０８は、単一視点ビデオ、多視点ビデオ、立体的ビデオ、又はそれらの組み合わせを含むことができる。別の実施例では、ビデオコンテンツ１０８は、３Ｄ眼鏡を用いずに３次元（３Ｄ）ビデオ表示に対応するための４つ又はそれより多いカメラの多視点ビデオとすることができる。

ビデオエンコーダ１０２は、ビデオシンタックス１１４を使用してビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０を生成することができる。ビデオシンタックス１１４は、ビデオコンテンツ１０８を符号化及び復号するための符号化方法を表す一組の情報要素として規定される。ビデオビットストリーム１１０は、高効率映像符号化／Ｈ．２６５規格のようなビデオシンタックス１１４に準拠し、ＨＥＶＣビデオビットストリーム、超高精細ビデオビットストリーム、又はそれらの組み合わせを含むことができる。ビデオビットストリーム１１０は、ビデオシンタックス１１４を含むことができる。

ビデオビットストリーム１１０は、ビデオコンテンツ１０８の画像、及びビデオコンテンツ１０８の符号化に関する関連制御情報を表す情報を含むことができる。例えば、ビデオビットストリーム１１０は、ビデオシンタックス１１４のオカレンス、及びビデオコンテンツ１０８のオカレンスを含むことができる。

映像符号化システム１００は、ビデオビットストリーム１１０を復号するためのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、ビデオビットストリーム１１０を受信しビデオビットストリーム１１０を変更して、ビデオストリーム１１２を生成するためのユニットとして規定される。

ビデオデコーダ１０４は、ビデオビットストリーム１１０を復号し、ビデオシンタックス１１４を使用してビデオストリーム１１２を生成することができる。復号は、ビデオビットストリーム１１０をコンピュータにより変更してビデオストリーム１１２を生成することとして規定される。例えば、復号は、ビデオビットストリーム１１０を解凍して、ディスプレイインタフェース１２０に表示するための形式で構成されたビデオストリーム１１２を生成することができる。

ビデオストリーム１１２は、ビデオコンテンツ１０８のコンピュータにより変更されたバージョンとして規定される。例えば、ビデオストリーム１１２は、種々の解像度を有するビデオコンテンツ１０８の変更されたオカレンスを含むことができる。ビデオストリーム１１２は、ビデオコンテンツ１０８から切り取って復号されたピクチャを含むことができる。

別の実施例では、ビデオストリーム１１２は、ビデオコンテンツ１０８とは異なるアスペクト比、異なるフレームレート、異なる立体的ビュー、異なるビュー順序、又はそれらの組み合わせを有することができる。ビデオストリーム１１２は、種々の色パラメータ、色平面、コントラスト、色相、又はそれらの組み合わせを含む様々な視覚的特性情報を有することができる。

映像符号化システム１００は、ディスプレイプロセッサ１１８を含むことができる。ディスプレイプロセッサ１１８は、ディスプレイインタフェース１２０上で表示するためにビデオデコーダ１０４からビデオストリーム１１２を受信することができる。ディスプレイインタフェース１２０は、ビデオストリーム１１２の視覚的表現を提示できるユニットである。

ディスプレイインタフェース１２０は、例えば、スマートフォンディスプレイ、デジタルプロジェクタ、ＤＶＤプレーヤディスプレイ、又はそれらの組み合わせを含むことができる。映像符号化システム１００は、ビデオデコーダ１０４、ディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を個別のユニットとして示しているが、ビデオデコーダ１０４は、ディスプレイプロセッサ１１８及びディスプレイインタフェース１２０を含むことができることを理解されたい。

ビデオエンコーダ１０２は、通信経路１０６を通じてビデオビットストリーム１１０をビデオデコーダ１０４に送信することができる。通信経路１０６は、データ転送に好適な様々なネットワークとすることができる。

例えば、通信経路１０６は、無線通信、有線通信、光、超音波、又はそれらの組み合わせを含むことができる。通信経路１０６に含めることができる無線通信の実施例は、衛星通信、セルラ通信、ブルートゥース、赤外線データ協会規格（ＩｒＤＡ）、ワイヤレスフィデリティ（ＷｉＦｉ）、及びワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）である。通信経路１０６に含めることができる有線通信の実施例は、イーサネット、デジタル加入者線（ＤＳＬ）、ファイバー・トゥ・ザ・ホーム（ＦＴＴＨ）、及び基本電話サービス（ＰＯＴＳ）である。

映像符号化システム１００は、様々な映像符号化シンタックス構造を用いることができる。映像符号化システム１００は、例えば、高効率映像符号化／Ｈ．２６５ワーキングドラフトバージョンを使用してビデオ情報を符号化及び復号することができる。ＨＥＶＣドラフトバージョンは、その内容全体が引用により本明細書に組み込まれる文献に説明されている。その内容全体が引用により本明細書に組み込まれる文献は、以下を含む。

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ８」 ＪＣＴＶＣ−Ｊ１００３ ｄ７ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）

Ｂ． Ｂｒｏｓｓ、Ｗ． Ｈａｎ、Ｊ． Ｏｈｍ、Ｇ． Ｓｕｌｌｉｖａｎ、Ｔ． Ｗｉｅｇ著 「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ ７」 ＪＣＴＶＣ−Ｉ１００３ ｄ４ ２０１２年５月（Ｇｅｎｅｖａ）

Ｍ． Ｈａｑｕｅ、Ｋ． Ｓａｔｏ、Ａ． Ｔａｂａｔａｂａｉ、Ｔ． Ｓｕｚｕｋｉ著 「ＨＥＶＣ ＶＵＩ Ｐａｒａｍｅｔｅｒｓ ｗｉｔｈ Ｅｘｔｅｎｓｉｏｎ Ｈｏｏｋｓ」 ＪＣＴＶＣ−Ｊ０２７０ ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）

Ｍ． Ｈａｑｕｅ、Ａ． Ｔａｂａｔａｂａｉ著 「Ｅｘｔｅｎｓｉｏｎ ｏｆ ＨＥＶＣ ＶＵＩ Ｓｙｎｔａｘ Ｓｔｒｕｃｔｕｒｅ」 ＪＣＴＶＣ−Ｉ０２６３ ２０１２年５月

Ｍ． Ｈａｑｕｅ著 「ＡＨＧ１０： ＶＵＩ ａｎｄ ＨＲＤ ｓｙｎｔａｘ ｄｅｓｉｇｎｓ ａｇｒｅｅｄ ｂｙ ｔｈｅ ＢｏＧ ｏｎ ＶＰＳ ａｎｄ ＮＵＨ」 ＪＣＴＶＣ−Ｊ０５４８ｒｌ ２０１２年７月

ここで図２を参照すると、ビデオビットストリーム１１０の実施例が示されている。ビデオビットストリーム１１０は、図１のビデオコンテンツ１０８の符号化されたオカレンスを含み、ビデオシンタックス１１４を使用して復号して、図１のディスプレイインタフェース１２０に表示するための図１のビデオストリーム１１２を生成することができる。

ビデオビットストリーム１１０は、シンタックスタイプ２０２で示される様々なビデオタイプを含むことができる。シンタックスタイプ２０２は、ビデオビットストリーム１１０を符号化及び復号するために使用される映像符号化の種類のインジケータとして規定される。例えば、ビデオコンテンツ１０８は、アドバンスドビデオコーディング２０４（ＡＶＣ）、スケーラブル映像符号化２０６（ＳＶＣ）、多視点映像符号化２０８（ＭＶＣ）、多視点映像プラス奥行き２１０（ＭＶＤ）、及び立体的ビデオ２１２（ＳＳＶ）に関するシンタックスタイプ２０２を含むことができる。

アドバンスドビデオコーディング２０４及びスケーラブル映像符号化２０６を使用して、単一視点ベースビデオを符号化してビデオビットストリーム１１０を生成することができる。単一視点ベースビデオは、単一のカメラから生成されるビデオコンテンツ１０８を含むことができる。

多視点映像符号化２０８、多視点映像プラス奥行き２１０、及び立体的ビデオ２１２を使用して、２つ又はそれより多いビューを有するビデオコンテンツ１０８を符号化することができる。多視点ビデオは、例えば、複数のカメラからのビデオコンテンツ１０８を含むことができる。

ビデオシンタックス１１４は、エントリ識別子２１６を含むことができる。エントリ識別子２１６は、複数の符号化されたビデオシーケンスを区別するための値である。符号化されたビデオシーケンスは、単一視点ビデオ、多視点ビデオ、又は立体的ビデオに関して、様々なビットレート、フレームレート、解像度、又はスケーラブルレイヤを有するビデオコンテンツ１０８のオカレンスを含むことができる。

ビデオシンタックス１１４は、ビデオコンテンツ１０８内の各フレームに関連するエントリ数を識別するためのエントリカウント２１４を含むことができる。エントリカウント２１４は、ビデオコンテンツ１０８内で表されるエントリの最大数である。

ビデオシンタックス１１４は、繰り返し識別子２１８を含むことができる。繰り返し識別子２１８は、ビデオコンテンツ１０８の個々の繰り返しを区別するための値である。

ビデオシンタックス１１４は、繰り返しカウント２２０を含むことができる。繰り返しカウント２２０は、ビデオコンテンツ１０８の最大繰り返し回数を示す値である。

スケーラブル映像符号化に関しては、この繰り返しカウントを使用して、スケーラブル映像符号化の場合の種々のスケーラブルビデオレイヤに関連する情報エントリの数を示すことができる。多視点映像符号化に関しては、繰り返しカウントを使用して、ビデオコンテンツ１０８のビューの数に関連する操作ポイントの数を示すことができる。

例えば、スケーラブル映像符号化では、追加の拡張レイヤを有するベースレイヤを含むようにビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０のマルチレイヤオカレンスを生成することができる。ベースレイヤは、最低の解像度、フレームレート、又は品質を有することができる。

拡張レイヤは、ビデオ品質を高めるために使用される追加の予備情報を有する段階的な改良点を含むことができる。スケーラブルビデオレイヤ拡張部は、拡張されてスケーラブル映像符号化を包含できるＨＥＶＣ新規ベースライン規格を含むことができる。

ビデオシンタックス１１４は、操作識別子２２２を含むことができる。操作識別子２２２は、ビデオコンテンツ１０８の個別の操作ポイントを区別するための値である。操作ポイントは、多視点映像符号化に関して存在する情報エントリ、例えば、タイミング情報、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ、映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ、ｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素、又はそれらの組み合わせである。

ビデオシンタックス１１４は、操作カウント２２４を含むことができる。操作カウント２２４は、ビデオコンテンツ１０８の操作ポイントの最大数を示す値である。

操作ポイントは、多視点ビデオ及び３Ｄビデオに関して、種々のカメラで生成されるビューのような様々なビューからの符号化ビデオシーケンスの生成に関連する。多視点映像符号化に関して、操作ポイントは、出力対象ビューと出力対象ビューに依存する別のビューとを有する、ビデオビットストリーム１１０のサブセットに関連する。別のビューは、それらが下位ビットストリーム抽出プロセスを使用して得られる場合に、出力対象ビューに依存する。１つより多い操作ポイントが、ビデオビットストリーム１１０の同じサブセットに関連することができる。例えば、操作ポイントを復号することは、図１のデバイス１０２での表示に関して、操作ポイントと、出力対象ビューの次の出力とに対応するビデオビットストリームのサブセットを、ビデオストリーム１１２の一部分として復号することに言及するものである。

ビデオシンタックス１１４は、ビュー識別子２２６を含むことができる。ビュー識別子２２６は、ビデオコンテンツ１０８の個別のビューを区別するための値である。

ビデオシンタックス１１４は、ビューカウント２２８を含むことができる。ビューカウント２２８は、ビデオコンテンツ１０８のビューの最大数を示す値である。

例えば、単一視点ビデオは、単一のカメラで生成されたビデオとすることができる。多視点ビデオは、様々な位置及び距離に位置する複数のカメラによって、シーン内で視認される対象物から生成することができる。

ビデオコンテンツ１０８は、様々なビデオ特性情報を含むことができる。例えば、ビデオコンテンツ１０８は、超高精細ビデオのような高解像度ビデオとすることができる。ビデオコンテンツ１０８は、７６８０×４３２０、８Ｋ×２Ｋ、４Ｋ×２Ｋ、又はそれらの組み合わせの解像度を含む、３８４０×２１６０又はそれ以上の画素解像度を有することができる。ビデオコンテンツ１０８は、高解像度ビデオに対応しているが、ビデオコンテンツ１０８は更に、高精細（ＨＤ）ビデオのような低解像度に対応できるということを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８の解像度に対応することができる。

ビデオコンテンツ１０８は、１５フレーム毎秒（ｆｐｓ）、２４ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓを含む、様々なフレームレートに対応することができる。個々のフレームレートを説明したが、ビデオコンテンツ１０８は、ゼロフレーム毎秒及びそれ以上の固定及び可変のフレームレートに対応できることを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８のフレームレートに対応することができる。

ビデオビットストリーム１１０は、１つ又はそれ以上の時間レイヤ２３０を含むことができる。時間レイヤ２３０は、特定のフレームレートでのビデオストリーム１１２を表すビデオビットストリーム１１０の一部分として規定される。各時間レイヤ２３０は、フレーム毎秒（ｆｐｓ）として表された種々のフレームレートでビデオストリーム１１２を表すことができる。時間レイヤ２３０は、下位レイヤを含む上位レイヤを備える階層を構成することができる。

例えば、時間レイヤ２３０の第１のオカレンス２３２は、ビデオストリーム１１２の１５ｆｐｓオカレンスを表し、時間レイヤ２３０の第２のオカレンス２３４は、ビデオストリーム１１２の３０ｆｐｓオカレンスを表し、時間レイヤ２３０の第３のオカレンス２３６は、ビデオストリーム１１２の６０ｆｐｓオカレンスを表すことができる。各時間レイヤ２３０は、ビデオコンテンツ１０８を表すビデオフレーム２３８を含むことができる。

時間レイヤ２３０の第１のオカレンス２３２は、ビデオコンテンツ１０８を符号化して１５ｆｐｓでのビデオストリーム１１２を生成するためのベースレイヤを表すことができる。時間レイヤ２３０の第２のオカレンス２３４は、時間レイヤ２３０の第１のオカレンス２３２のようなベースレイヤと、３０ｆｐｓでのビデオコンテンツ１０８のビデオストリーム１１２との間の差分を表すことができる。

第２のオカレンス２３４は、ベースレイヤのフレームと、３０ｆｐｓでのビデオコンテンツ１０８を表示するために要求される新しいフレームとの間の差分を表すフレームを含むことができる。時間レイヤ２３０の第３のオカレンス２３６は、時間レイヤ２３０の第２のオカレンス２３４と、６０ｆｐｓでのビデオコンテンツとの間の差分を表すことができる。

例示的な実施例では、図１のスマートフォンに関するビデオデコーダ１０４は、第１のオカレンス２３２及び第２のオカレンス２３４からの情報を含むことができるビデオビットストリーム１１０から３０ｆｐｓでの時間レイヤ２３０の第２のオカレンス２３４を抽出することができる。時間レイヤ２３０の第３のオカレンス２３６からのビデオビットストリーム１１０内の情報を切り捨てて、ビデオビットストリーム１１０のサイズを小さくすることができる。

ここで図３を参照すると、高効率映像符号化（ＨＥＶＣ）ビデオ表示情報（ＶＵＩ）シンタックス３０２の実施例が示されている。ＨＥＶＣ ＶＵＩシンタックス３０２は、図１のビデオコンテンツ１０８に関する追加のアプリケーションユーザビリティ機能を可能にするための図１のビデオビットストリーム１１０に関する情報を含む。

ＨＥＶＣ ＶＵＩシンタックス３０２は、図３のＨＥＶＣ ＶＵＩシンタックス表内の要素を表す。ＨＥＶＣ ＶＵＩシンタックス３０２の要素は、図３のＨＥＶＣ ＶＵＩシンタックス表において表された階層構造で配列される。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＥＶＣ ＶＵＩシンタックスヘッダ部３０３を含む。ＨＥＶＣ ＶＵＩシンタックスヘッダ部３０３は、ＨＥＶＣ ＶＵＩシンタックス３０２を識別するための記述子である。ＨＥＶＣ ＶＵＩシンタックス３０２を使用して、ビデオビットストリーム１１０を符号化及び復号する。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオビットストリーム１１０に関する様々な情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオコンテンツ１０８に関するアスペクト比、オーバースキャン、ビデオ信号タイプ、色差、ＮＡＬ ＨＲＤ値、ビットストリーム制限、又はそれらの組み合わせに関する情報を含むことができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオコンテンツ１０８のアスペクト比に関するアスペクト比情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、アスペクト比フラグ３０４、アスペクト比インジケータ３０６、アスペクト比幅３０８、及びアスペクト比高さ３１０、又はそれらの組み合わせを含むことができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、追加のアスペクト比情報がビデオビットストリーム１１０内に符号化されていることを示すための、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなアスペクト比フラグ３０４を含むことができる。アスペクト比フラグ３０４は、アスペクト比情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０、及びアスペクト比情報が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。

アスペクト比インジケータ３０６は、ビデオコンテンツ１０８のアスペクト比を表す値である。例えば、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃのようなアスペクト比インジケータ３０６は、ビデオコンテンツ１０８に関する所定のアスペクト比の列挙型リストに関するインデックス値を含むことができる。別の実施例では、アスペクト比インジケータ３０６は、アスペクト比が、アスペクト比幅３０８及びアスペクト比高さ３１０に関する個別の値で表すことができることを示す値を含むことができる。

ｓａｒ＿ｗｉｄｔｈ要素のようなアスペクト比幅３０８は、ビデオコンテンツ１０８の幅を表すことができる。ｓａｒ＿ｈｉｇｈｔ要素のようなアスペクト比高さ３１０は、ビデオコンテンツ１０８の高さを表すことができる。アスペクト比幅３０８及びアスペクト比高さ３１０は、ビデオコンテンツの大きさを、比率、画素、線、インチ、センチメートル、又はそれらの組み合わせで表すことができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオコンテンツ１０８に関するオーバースキャン情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、オーバースキャン存在フラグ３１２及びオーバースキャン適切フラグ３１４を含むことができる。

オーバースキャンは、図１のビデオストリーム１１２から切り取って復号されたピクチャの境界近くの一部の部分が、ビデオストリーム１１２の表示領域内で視認できない場合の表示処理として規定される。アンダースキャンは、ビデオストリーム１１２から切り取って復号されたピクチャ全体が、表示領域内で視認できるが、表示領域全体を対象として含んでいない場合の表示処理として規定される。

オーバースキャン存在フラグ３１２は、オーバースキャン情報が、ビデオビットストリーム１１０に含まれているか否かを示すことができる。ｏｖｅｒｓｃａｎ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのようなオーバースキャン存在フラグ３１２は、オーバースキャン情報が、ビデオビットストリーム内に存在していることを示すための値１、又はオーバースキャン情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

オーバースキャン適切フラグ３１４は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８が、オーバースキャンを使用して表示できることを示すことができる。ｏｖｅｒｓｃａｎ＿ａｐｐｒｏｐｒｉａｔｅ＿ｆｌａｇ要素のようなオーバースキャン適切フラグ３１４は、ビデオストリーム１１２から切り取って復号されたピクチャが、オーバースキャンを使用して表示するのに好適であることを示すための値１を有することができる。オーバースキャン適切フラグ３１４は、ビデオストリーム１１２から切り取って復号されたピクチャが、視覚的に重要な情報を含み、オーバースキャンを使用して表示すべきでないことを示すための値０を有することができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオコンテンツ１０８に関するビデオ信号種類情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオ信号存在フラグ３１６、ビデオ形式３１７、ビデオフルレンジフラグ３１８、カラー記述存在フラグ３２０、原色３２２、伝達特性３２４、及び行列係数３２６を含むことができる。

ｖｉｄｅｏ＿ｓｉｇｎａｌ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなビデオ信号存在フラグ３１６は、ビデオ信号種類情報が、ビデオビットストリーム１１０に含まれていることを示すことができる。ビデオ信号存在フラグ３１６は、追加のビデオ信号種類情報が、ビデオビットストリーム１１０内に存在していることを示すための値１を有することができる。ビデオ信号存在フラグ３１６は、ビデオ信号種類情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｉｄｅｏ＿ｆｏｒｍａｔ要素のようなビデオ形式３１７は、ビデオの形式を示すことができる。ｖｉｄｅｏ＿ｆｕｌｌ＿ｒａｎｇｅ＿ｆｌａｇ要素のようなビデオフルレンジフラグ３１８は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８に関する輝度及び色差信号の黒レベル及び範囲を示すことができる。

ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなカラー記述存在フラグ３２０は、ビデオビットストリーム１１０内のカラー記述情報の存在を示すことができる。カラー記述存在フラグ３２０は、追加のカラー記述情報が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。カラー記述存在フラグ３２０は、他のカラー記述情報が含まれていないことを示すための値０を有することができる。カラー記述情報は、原色３２２、伝達特性３２４、及び行列係数３２６を含むことができる。

原色３２２は、ビデオコンテンツ１０８内で使用されるカラースキームを示すことができる。例えば、ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓ要素のような原色３２２は、元の原色の色度座標を示すことができる。

伝達特性３２４は、ビデオコンテンツ１０８の光エレクトロニクス伝達特性を示すことができる。例えば、ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ要素のような伝達特性３２４は、所定の表示特性セットを表す列挙型値とすることができる。

行列係数３２６は、原色３２２で示される赤、緑、及び青の原色から輝度及び色差信号を得るために使用される係数を示すことができる。ｍａｔｒｉｘ＿ｃｏｅｆｆｉｃｉｅｎｔ要素のような行列係数３２６は、コンピュータにより赤、青、及び緑の色度座標セットを輝度及び色差均等値に変換するために使用される行列係数とすることができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオコンテンツ１０８に関する色差情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、色差位置情報存在フラグ３２８、色差最高部フィールドサンプル３３０、色差最低部フィールドサンプル３３２、及び中間色差フラグ３３４を含むことができる。

ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のような色差位置情報存在フラグ３２８は、追加の色差情報が、ビデオビットストリーム１１０内に存在しているか否かを示すことができる。色差位置情報存在フラグ３２８は、追加の色差情報が存在していることを示すための値１、又は追加の色差情報が存在していないことを示すための値０を有することができる。追加の色差情報は、色差最高部フィールドサンプル３３０、及び色差最低部フィールドサンプル３３２を含むことができる。

ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ要素のような色差最高部フィールドサンプル３３０は、ビデオビットストリーム１１０内の最高部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ要素のような色差最低部フィールドサンプル３３２は、ビデオビットストリーム１１０内の最低部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。

ｎｅｕｔｒａｌ＿ｃｈｒｏｍａ＿ｉｎｄｉｃａｔｉｏｎ＿ｆｌａｇ要素のような中間色差フラグ３３４は、復号された色差サンプルが１に等しいか否かを示すことができる。例えば、中間色差フラグ３３４が値１を有する場合には、復号された色差サンプルの全てが、１に設定されている。中間色差フラグ３３４が値０を有する場合には、復号された色差サンプルは、１に制限されていない。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオビットストリーム１１０に関するフィールドシーケンス情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、フィールドシーケンスフラグ３３６、タイミング情報存在フラグ３３８、時間刻みユニット３４０、時間スケール３４４、及び固定ピクチャレートフラグ３４６を含むことができる。

ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ３３６は、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示すことができる。フィールドシーケンスフラグ３３６は、フィールドの存在を示すための値１、及びフィールドが存在していないことを示すための値０を有することができる。

ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３３８は、タイミング情報がビデオビットストリーム１１０に含まれているか否かを示すことができる。タイミング情報存在フラグ３３８は、タイミング情報がビデオビットストリーム１１０内に存在していることを示すための値１、及びタイミング情報がビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。

ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３４０は、時間スケール３４４の周波数で動作するクロックの時間単位数を示すことができる。例えば、時間刻みユニット３４０は、ビデオビットストリーム１１０で表すことができる最低の時間間隔に対応することができる。ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３４４は、１秒に進む時間単位数である。

ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３４６は、ビデオストリーム１１２の出力順番における２つの連続的なピクチャ間の時間距離が制限されているか否かを示すことができる。固定ピクチャレートフラグ３４６は、制限が適用されていないことを示すための値０、及び時間距離が制限されていることを示すための値１を有する。

ＨＥＶＣ ＶＵＩシンタックス３０２は、仮想参照デコーダパラメータに関する情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、ＮＡＬ ＨＲＤパラメータ存在フラグ３４８、ＶＣＬ ＨＲＤパラメータ存在フラグ３５２、及びＨＲＤパラメータ構造３５０を含むことができる。

ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がＨＥＶＣ ＶＵＩシンタックス３０２内に存在していないことを示すための値０を有することができる。

ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＶＣＬに関するＨＲＤ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がＨＥＶＣ ＶＵＩシンタックス３０２内に存在していないことを示すための値０を有することができる。

ＨＲＤパラメータ構造３５０は、ＶＣＬに関する仮想参照デコーダパラメータを含むことができる。ＨＲＤパラメータ構造３５０は、以下のＨＲＤシンタックスのセクションにおいて詳細に説明される。ＨＲＤパラメータ構造３５０は、ＨＲＤシンタックスのオカレンスである。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、ＨＥＶＣ ＶＵＩシンタックス３０２は、追加のＨＲＤパラメータ及びビットストリームパラメータを含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、低遅延ＨＲＤフラグ３５４、サブピクチャ符号化ピクチャバッファ（ＣＰＢ）パラメータ存在フラグ３５６、及び時間刻みサブユニット３５８を含むことができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延ＨＲＤフラグ３５４を含むことができる。低遅延ＨＲＤフラグ３５４は、ＨＲＤ動作モードを示すことができる。

ＨＥＶＣ ＶＵＩシンタックス３０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３５６を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ３５６は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。

サブピクチャＣＰＢパラメータ存在フラグ３５６が値１を有する場合には、ＨＥＶＣ ＶＵＩシンタックス３０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット３５８を含むことができる。時間刻みサブユニット３５８は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、ＨＥＶＣ ＶＵＩシンタックス３０２は、ビットストリームパラメータを含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、ビデオビットストリーム１１０に関するビットストリーム制限情報を含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、ビットストリーム制限フラグ３６０、タイル固定構成フラグ３６２、動きベクトルフラグ３６４、ピクチャ種類毎の最大バイト数３６６、最少ＣＵ種類毎の最大ビット数３６８、動きベクトル最大水平距離３７０、及び動きベクトル最大垂直距離３７２を含むことができる。

ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ３６０は、符号化されたビデオシーケンスのビットストリーム制限パラメータが、ビデオビットストリーム１１０内に存在していることを示す。ビットストリーム制限フラグ３６０は、ビットストリーム制限パラメータが存在している場合の値１、及びビットストリーム制限パラメータがビデオビットストリーム１１０内に存在していない場合の値０を有する。ビットストリーム制限パラメータは、タイル固定構成フラグ３６２、動きベクトルフラグ３６４、ピクチャ種類毎の最大バイト数３６６、最少ＣＵ種類毎の最大ビット数３６８、動きベクトル最大水平距離３７０、及び動きベクトル最大垂直距離３７２を含むことができる。

ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ３６２は、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。タイル固定構成フラグ３６２は、固定タイルを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ３６４は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。動きベクトルフラグ３６４が値１を有する場合には、ピクチャ境界外部の１つ又はそれ以上のサンプルを予測のために使用でき、それ以外の場合には、サンプルは予測のために使用されない。

ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数３６６は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ ＮＡＬユニットの合計サイズに関する最大バイト数を示す値である。ピクチャ種類毎の最大バイト数３６６が値０を有する場合には、制限は示されない。それ以外の場合には、符号化されたピクチャを、ビデオビットストリーム１１０内で、ピクチャ種類毎の最大バイト数３６６よりも多いバイトによって表すべきではないというビットストリーム適合要件である。

ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数３６８は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。最少ＣＵ種類毎の最大ビット数３６８が値０を有する場合には、制限は示されない。それ以外の場合には、符号化ユニットを、ビットストリーム内で、最少ＣＵ種類毎の最大ビット数３６８よりも多いビットにより表すべきではないというビットストリーム適合要件である。

ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離３７０は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離３７２は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。

ここで図４を参照すると、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２の実施例が示されている。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、図１のビデオビットストリーム１１０内の図２の時間レイヤ２３０の各オカレンスに関する別個のタイミング情報を提供する。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、図４の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表内の要素を表す。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２の要素は、図４の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。例えば、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、図３のＨＥＶＣ ＶＵＩシンタックス３０２の拡張部とすることができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のような第１のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部４０４を含む。第１のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部４０４は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２を識別するための記述子である。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２を使用して、ビデオビットストリーム１１０を符号化及び復号する。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ビデオビットストリーム１１０内の各時間レイヤに関するフィールドシーケンスフラグ３３６及びタイミング情報存在フラグ３３８に関連するＶＵＩパラメータのサブセットを含むことができる。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、図１のビデオビットストリーム１１０内の各フレームに関連する時間レイヤの最大数を識別するための、ｖｕｉ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素のような時間レイヤカウント４０６を含むことができる。時間レイヤカウント４０６は、時間レイヤカウント４０６を０から時間レイヤ数マイナス１までマッピングするためのエントリ数マイナス１を示す。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ特有の情報を表すためのループ構造を含むことができる。ループは、時間レイヤ２３０の各オカレンスに関連する情報を０から時間レイヤカウント４０６まで示すための、［ｉ］のようなイテレータを含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤカウント４０６に等しい時間レイヤ２３０のオカレンス数に関する別個のシンタックス要素に対応する。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、図４の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表で表された要素を含む。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２の要素は、図４の第１のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、フィールドシーケンスフラグ３３６、タイミング情報存在フラグ３３８、時間刻みユニット３４０、時間スケール３４４、及び固定ピクチャレートフラグ３４６のようなタイミング情報を含む。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＮＡＬ ＨＲＤパラメータ存在フラグ３４８、ＨＲＤパラメータ構造３５０、ＶＣＬ ＨＲＤパラメータ存在フラグ３５２、低遅延ＨＲＤフラグ３５４、サブピクチャＣＰＢパラメータ存在フラグ３５６、及び時間刻みサブユニット３５８のようなＮＡＬ ＨＲＤ情報を含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ２３０の各オカレンスに関するフィールドシーケンス情報を含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、フィールドシーケンスフラグ３３６、タイミング情報存在フラグ３３８、時間刻みユニット３４０、時間スケール３４４、及び固定ピクチャレートフラグ３４６を含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ２３０の各オカレンスに関する仮想参照デコーダパラメータを含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＮＡＬ ＨＲＤパラメータ存在フラグ３４８、ＶＣＬ ＨＲＤパラメータ存在フラグ３５２、及びＨＲＤパラメータ構造３５０を含むことができる。

ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＶＣＬに関するＨＲＤ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＨＲＤパラメータ構造３５０を含むことができる。ＨＲＤパラメータ構造３５０は、仮想参照デコーダ表すパラメータを含むことができる。ＨＲＤパラメータ構造３５０は更に、以下のセクションで規定される。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、低遅延ＨＲＤフラグ３５４、サブピクチャＣＰＢパラメータ存在フラグ３５６、及び時間刻みサブユニット３５８を含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ビットストリーム、ＶＵＩ拡張部、及びループ構造の外側のＲＢＳＰ情報に関する情報を含むことができる。ビットストリーム、ＶＵＩ拡張部、及びＲＢＳＰ情報は、全ての時間レイヤに関して一定である。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための、ｖｕｉ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ要素のようなＶＵＩ拡張フラグ４０８を含むことができる。ＶＵＩ拡張フラグ４０８は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、追加のデータがＲＢＳＰ内に存在していることを示すための、ｍｏｒｅ＿ｒｂｓｐ＿ｄａｔａ要素のような、追加のＲＢＳＰデータフラグ４１０を含むことができる。更なるＲＢＳＰデータフラグ４１０は、追加のデータがＲＢＳＰ内に存在している場合の値１、及びそれ以外の場合の値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれていることを示すための、ＶＵＩ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ要素のようなＶＵＩ拡張データフラグ４１２を含むことができる。ＶＵＩ拡張データフラグ４１２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれている場合の値１、及びそれ以外の場合の値０を有することができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、ＲＢＳＰデータにフラグをたてるためのデータ構造である、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ要素のようなＲＢＳＰ追跡ビット４１４を含むことができる。ＲＢＳＰ追跡ビット４１４は、ＲＢＳＰに関するストップビットを示すための、ｒｂｓｐ＿ｓｔｏｐ＿ｏｎｅ＿ｂｉｔ要素のようなＲＢＳＰデータを含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２を使用して図１のビデオコンテンツ１０８を符号化及び復号して、時間レイヤの各オカレンスに対応することにより、時間レイヤ２３０の各オカレンスの表現にわたるより高精度で精細な制御が提供されることが見いだされている。時間レイヤ２３０の各オカレンスに関する情報を提供することにより、図１のビデオストリーム１１２の表示品質が向上する。

ここで図５を参照すると、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２の実施例が示されている。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、図１のビデオビットストリーム１１０内の全ての時間レイヤに関するフィールドシーケンスフラグ３３６及びタイミング情報存在フラグ３３８に関連する単一オカレンスのＶＵＩパラメータを含む。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、図５の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表内の要素を表す。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２の要素は、図５の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。例えば、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、図３のＨＥＶＣ ＶＵＩシンタックス３０２の拡張部とすることができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のような第２のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部５０４を含む。第２のＨＥＶＣ ＶＵＩ拡張シンタックスヘッダ部５０４は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２を識別するための記述子である。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、図２の各時間レイヤ２３０に関するＨＲＤパラメータ構造３５０を含むループを含む。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、フィールドシーケンスフラグ３３６、タイミング情報存在フラグ３３８、時間刻みユニット３４０、時間スケール３４４、及び固定ピクチャレートフラグ３４６のようなタイミング情報の共通セットを含むことができる。タイミング情報の共通セットは、時間レイヤ２３０の全てのオカレンスにわたって一定である。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ビデオビットストリーム１１０内の各フレームに関連する時間レイヤの最大数を識別するための、ｖｕｉ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素のような時間レイヤカウント４０６を含むことができる。時間レイヤカウント４０６は、時間レイヤカウント４０６を０から時間レイヤ数マイナス１までマッピングするためのエントリ数マイナス１を示す。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、時間レイヤ特有の情報を表すためのループ構造を含むことができる。ループは、時間レイヤ２３０の各オカレンスに関連する情報を０から時間レイヤカウント４０６まで示すための、［ｉ］のようなイテレータを含むことができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、時間レイヤカウント４０６に等しい時間レイヤ２３０のオカレンス数に関する別個のシンタックス要素に対応する。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、図５の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表で表された要素を含む。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２の要素は、図５の第２のＨＥＶＣ ＶＵＩ拡張シンタックス表において表された階層構造で配列される。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２の要素は、時間レイヤ２３０の各オカレンスに関する仮想参照デコーダパラメータを含むことができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ＮＡＬ ＨＲＤパラメータ存在フラグ３４８、ＶＣＬ ＨＲＤパラメータ存在フラグ３５２、及びＨＲＤパラメータ構造３５０を含むことができる。

ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＶＣＬに関するＨＲＤ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ＨＲＤパラメータ構造３５０を含むことができる。ＨＲＤパラメータ構造３５０は、仮想参照デコーダを表すパラメータを含むことができる。ＨＲＤパラメータ構造３５０は更に、以下のセクションで規定される。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、低遅延ＨＲＤフラグ３５４、及びサブピクチャＣＰＢパラメータ存在フラグ３５６を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ３５６が１である場合には、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット３５８を含むことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ビットストリーム、ＶＵＩ拡張部、及びループ構造の外側のＲＢＳＰ情報に関する情報を含むことができる。ビットストリーム、ＶＵＩ拡張部、及びＲＢＳＰ情報は、全ての時間レイヤに関して一定である。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための、ｖｕｉ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ要素のようなＶＵＩ拡張フラグ４０８を含むことができる。ＶＵＩ拡張フラグ４０８は、ＶＵＩ拡張情報がビデオビットストリーム１１０に含まれていることを示すための値１、及びそれ以外の場合を示すための値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、追加のデータがＲＢＳＰ内に存在していることを示すための、ｍｏｒｅ＿ｒｂｓｐ＿ｄａｔａ要素のような、追加のＲＢＳＰデータフラグ４１０を含むことができる。追加のＲＢＳＰデータフラグ４１０は、追加のデータがＲＢＳＰ内に存在している場合の値１、及びそれ以外の場合の値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれていることを示すための、ＶＵＩ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ要素のようなＶＵＩ拡張データフラグ４１２を含むことができる。ＶＵＩ拡張データフラグ４１２は、ＶＵＩ拡張データがビデオビットストリーム１１０に含まれている場合の値１、及びそれ以外の場合の値０を有することができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、ＲＢＳＰデータにフラグをたてるためのデータ構造である、ｒｂｓｐ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ要素のようなＲＢＳＰ追跡ビット４１４を含むことができる。ＲＢＳＰ追跡ビット４１４は、ｒｂｓｐ＿ｓｔｏｐ＿ｏｎｅ＿ｂｉｔ要素のようなＲＢＳＰデータを含むことができる。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２を使用して図１のビデオコンテンツ１０８を符号化及び復号して、時間スケーリングに対応することにより、ビデオビットストリーム１１０のサイズが減少し、ビデオバッファリングに関する必要性が低減されることが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、図１のビデオストリーム１１２の表示性能が向上する。

第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２を使用してビデオコンテンツ１０８を符号化及び復号して、時間レイヤ２３０の各オカレンスに関して個別に時間スケーリングに対応することにより、ビデオビットストリーム１１０のサイズが減少し、ビデオバッファリングに関する必要性が低減されることが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、機能性が向上し、図１のビデオストリーム１１２の表示性能が向上する。

ここで図６を参照すると、ＨＲＤシンタックス６０２の実施例が示されている。ＨＲＤシンタックス６０２は、仮想参照デコーダに関連するパラメータを表す。

ＨＲＤシンタックス６０２は、図６のＨＲＤシンタックス表で表された要素を含む。ＨＲＤシンタックス６０２の要素は、図６の第２のＨＲＤシンタックス表において表された階層構造で配列される。

ＨＲＤシンタックス６０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤシンタックスヘッダ部６０４を含むことができる。ＨＲＤシンタックスヘッダ部６０４は、ＨＲＤシンタックス６０２を識別するための記述子である。

ＨＲＤシンタックス６０２は、タイミング存在情報、ＮＡＬ ＨＲＤパラメータ、ＶＣＬ ＨＲＤパラメータ、及び固定ピクチャレート情報を含む図３のＨＲＤパラメータ構造３５０を含むことができる。タイミング存在情報は、タイミング情報存在フラグ３３８、時間刻みユニット３４０、及び時間スケール３４４を含むことができる。

ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ３３８は、タイミング情報が、図１のビデオビットストリーム１１０に含まれているか否かを示すことができる。タイミング情報存在フラグ３３８は、タイミング情報がビデオビットストリーム１１０内に存在していることを示すための値１、及びタイミング情報がビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。

ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット３４０は、時間スケール３４４の周波数で動作するクロックの時間単位数を示すことができる。例えば、時間刻みユニット３４０は、ビデオビットストリーム１１０で表すことができる最低の時間間隔に対応することができる。ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール３４４は、１秒に進む時間単位数である。

ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＮＡＬ ＨＲＤパラメータ情報の存在を示すことができる。ＮＡＬ ＨＲＤパラメータ存在フラグ３４８は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＶＣＬに関するＨＲＤ情報の存在を示すことができる。ＶＣＬ ＨＲＤパラメータ存在フラグ３５２は、ＨＲＤパラメータ構造３５０が存在していることを示すための値１、及びＨＲＤパラメータ構造３５０がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、ＨＲＤパラメータ構造３５０は、追加の要素を含むことができる。例えば、ＨＲＤパラメータ構造３５０は、サブピクチャＣＰＢパラメータ存在フラグ３５６、ビットレートスケール６１２、ＣＰＢサイズスケール６１４、初期ＣＰＢ除去遅延長６１６、ＣＰＢ除去遅延長６１８、及びＤＰＢ出力遅延長６２０を含むことができる。

ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ３５６は、サブピクチャＣＰＢパラメータが、ビデオビットストリーム１１０内に存在しているか否かを示すことができる。サブピクチャＣＰＢパラメータ存在フラグ３５６が値１を有する場合には、ＨＲＤパラメータ構造３５０は、ビデオビットストリーム１１０で表すことができる最低時間間隔を指定するための、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２要素のような時間刻み除数６１０を含むことができる。

ＨＲＤパラメータ構造３５０は、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール６１２を含むことができる。ビットレートスケール６１２は、符号化ピクチャバッファの最大入力ビットレートを指定する。

ＨＲＤパラメータ構造３５０は、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール６１４を含むことができる。ＣＰＢサイズスケール６１４は、ＣＰＢのサイズを判定するためのものである。

ＨＲＤパラメータ構造３５０は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長６１６を含むことができる。初期ＣＰＢ除去遅延長６１６は、バッファリング期間ＳＥＩメッセージのｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素及びｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ要素のビット長を示す。

ＨＲＤパラメータ構造３５０は、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長６１８を含むことができる。ＣＰＢ除去遅延長６１８は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を指定することができる。

ＨＲＤパラメータ構造３５０は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＤＰＢ出力遅延長６２０を含むことができる。ＤＰＢ出力遅延長６２０は、復号ピクチャバッファ（ＤＰＢ）のサイズを示す。

ＨＲＤパラメータ構造３５０は、図２の時間レイヤ２３０の各オカレンスに関するパラメータセットを含むことができる。ＨＲＤパラメータ構造３５０は、時間レイヤ２３０の各オカレンスに関するパラメータを表すための［ｉ］のようなイテレータを使用したループ構造を含むことができる。

ＨＲＤパラメータ構造３５０は、ＭａｘＮｕｍＳｕｂＬａｙｅｒｓＭｉｎｕｓ１要素のようなサブレイヤカウント６３０を含むことができる。サブレイヤカウント６３０は、ビデオビットストリーム１１０内のサブレイヤの最大数を示す。ＨＲＤパラメータ構造３５０は、共通ＨＲＤ情報が存在しているか否かを示すことができる、ｃｏｍｍｏｎＩｎｆＰｒｅｓｅｎｔＦｌａｇ要素のような共通情報存在フラグ６０３を含むことができる。

ＨＲＤパラメータ構造３５０は、ビデオビットストリーム１１０内のいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離が制約されているか否かを示すための、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ３４６を含むことができる。固定ピクチャレートフラグ３４６が値１を有する場合には、２つの連続的なピクチャ間の時間距離は制約されており、値０の場合には、制約されていない。

固定ピクチャレートフラグ３４６が値１を有する場合には、ＨＲＤパラメータ構造３５０は、ｐｉｃ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１要素のようなピクチャ期間６２２を含むことができる。ピクチャ期間６２２は、符号化されたビデオシーケンスにおける出力順序でのいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離を示すことができる。

ＨＲＤパラメータ構造３５０は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延ＨＲＤフラグ３５４を含むことができる。低遅延ＨＲＤフラグ３５４は、ＨＲＤ動作モードを示すことができる。

ＨＲＤパラメータ構造３５０は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のようなＣＰＢカウント６２６を含むことができる。ＣＰＢカウント６２６は、ビデオビットストリーム１１０内の別のＣＰＢ規格値の数を示すことができる。

ＮＡＬ ＨＲＤパラメータ存在フラグ３４８又はＶＣＬ ＨＲＤパラメータ存在フラグ３５２が値１を有する場合には、ＨＲＤパラメータ構造３５０は、時間レイヤ２３０の各オカレンスに関して、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤパラメータサブレイヤ６２８を含むことができる。ＨＲＤパラメータサブレイヤ６２８は、各サブレイヤに関連するパラメータを表すことができる。

ＨＲＤシンタックス６０２を使用して図１のビデオコンテンツ１０８を符号化及び復号することにより、ビデオビットストリーム１１０のサイズが減少して、図１のビデオストリーム１１２を表示するために必要なビデオバッファリングの量が減少することが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、機能性が向上し、ビデオストリーム１１２の表示性能が向上する。

ここで図７を参照すると、ＨＲＤサブレイヤシンタックス７０２の実施例が示されている。ＨＲＤサブレイヤシンタックス７０２は、仮想参照デコーダサブレイヤに関連するパラメータを表す。

ＨＲＤサブレイヤシンタックス７０２は、図７のＨＲＤサブレイヤシンタックス表で表された要素を含む。ＨＲＤサブレイヤシンタックス７０２の要素は、図７のＨＲＤサブレイヤシンタックス表において表された階層構造で配列される。

ＨＲＤサブレイヤシンタックス７０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤシンタックスヘッダ部７０４を含むことができる。ＨＲＤサブレイヤシンタックスヘッダ部７０４は、ＨＲＤサブレイヤシンタック７０２を識別するための記述子である。

ＨＲＤサブレイヤシンタックス７０２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックスに基づく大きさである。

ＨＲＤサブレイヤシンタックス７０２は、図２の時間レイヤ２３０の特性を表すことができる。時間レイヤ２３０は更に、図１のビデオビットストリーム１１０のサブレイヤとして示すことができる。

ＨＲＤサブレイヤシンタックス７０２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値７０６を含むことができる。ビットレート値７０６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。

ＨＲＤサブレイヤシンタックス７０２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値７０８を含むことができる。ＣＰＢサイズ値７０８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。

ＨＲＤサブレイヤシンタックス７０２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ７１０を含むことができる。ＣＢＲフラグ７１０は、符号化ピクチャバッファの各オカレンスに関するビデオビットストリーム１１０を復号するための動作モードを示す。ＣＢＲフラグ７１０が値１を有する場合には、仮想ストリーム配信スケジューラ（ＨＳＳ）は、固定ビットレートモードで動作する。それ以外の場合には、ビデオビットストリーム１１０は、断続的なビットレートモードで動作する。

ＨＲＤサブレイヤシンタックス７０２は、ビデオビットストリーム１１０のサブレイヤ又は時間レイヤ２３０を表すことができる。ＨＲＤサブレイヤシンタックス７０２を使用して、サブレイヤのうちの１つ又は時間レイヤ２３０のうちの１つを選択し、ビデオビットストリーム１１０から別のサブレイヤのオカレンスを取り除くことができる。

サブレイヤ又は時間レイヤ２３０からオカレンスを取り除くことにより、ビデオビットストリーム１１０内のデータ量全体を減少させることができ、より適切な伝達、改良されたストレージ帯域幅制御及び調整のために、図１のビデオコンテンツ１０８のビットレート低減又はサイズ変更が可能になる。サブレイヤ又は時間レイヤ固有のＨＲＤパラメータを提供することにより、図１のビデオストリーム１１２を生成するためのより適切でより滑らかなビットストリーム復号が可能になる。

ＨＲＤサブレイヤシンタックス７０２を使用することにより、個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤサブレイヤシンタックス７０２の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上することができる。

ここで図８を参照すると、ＨＲＤ ＶＵＩシンタックス８０２の実施例が示されている。ＨＲＤ ＶＵＩシンタックス８０２は、仮想参照デコーダに関連するパラメータを表す。

ＨＲＤ ＶＵＩシンタックス８０２は、図８のＨＲＤ ＶＵＩシンタックス表で表された要素を含む。ＨＲＤ ＶＵＩシンタックス８０２の要素は、図８のＨＲＤ ＶＵＩシンタックス表において表された階層構造で配列される。例えば、ＨＲＤ ＶＵＩシンタックス８０２は、図３のＨＥＶＣ ＶＵＩシンタックス３０２の拡張部とすることができる。

ＨＲＤ ＶＵＩシンタックス８０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤ ＶＵＩシンタックスヘッダ部８０４を含むことができる。ＨＲＤ ＶＵＩシンタックスヘッダ部８０４は、ＨＲＤ ＶＵＩシンタックス８０２を識別するための記述子である。

ＨＲＤ ＶＵＩシンタックス８０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤパラメータ構造３５０を含むことができる。ＨＲＤパラメータ構造３５０は、各サブレイヤ又は図２の各時間レイヤ２３０に関する仮想参照デコーダパラメータを含む。

ＨＲＤ ＶＵＩシンタックス８０２は、タイミング存在情報、ＮＡＬ ＨＲＤパラメータ、ＶＣＬ ＨＲＤパラメータ、及び固定ピクチャレート情報を含むＨＲＤ関連固定パラメータを、ＨＲＤパラメータ構造３５０に置き換える。ＨＲＤパラメータ構造３５０は、各サブレイヤ又は各時間レイヤ２３０に関するＨＲＤパラメータセットを提供する。

ＨＲＤ ＶＵＩシンタックス８０２は、ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素から値を割り当てることができる、図６のサブレイヤカウント６３０を含むことができる。ｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１要素は、シーケンスパラメータセット（ＳＰＳ）シンタックスに規定することができる。ＨＲＤ ＶＵＩシンタックス８０２は、共通ＨＲＤ情報の存在を示すための共通情報存在フラグ６０３を含むことができる。

サブレイヤは、時間レイヤ２３０、又は図１のビデオビットストリーム１１０内の別の種類のビデオレイヤを表すことができる。時間レイヤ２３０の全体数は、サブレイヤカウント６３０で表すことができる。

ＨＲＤ ＶＵＩシンタックス８０２内のフィールドシーケンスフラグ３３６は、インタレースピクチャ符号化に対応することができる。ＨＲＤ ＶＵＩシンタックス８０２においてビデオ形式３１７を提供することにより、ビデオコンテンツ１０８が使用する映像システムの判定を単純化することによって機能性を向上することができる。

ビデオフルレンジフラグ３１８は、輝度及び色差信号の黒レベル及び範囲を示すことができる。カラー記述存在フラグ３２０は、原色３２２、伝達特性３２４、及び行列係数３２６のような、ビデオビットストリーム１１０内のカラー記述情報の存在を示すことができる。

ＨＲＤ ＶＵＩシンタックス８０２は、ビデオビットストリーム１１０の復号を改良するためのメタデータを含むことができる。ビットストリーム制限フラグ３６０、タイル固定構成フラグ３６２、動きベクトルフラグ３６４、ピクチャ種類毎の最大バイト数３６６、最少ＣＵ種類毎の最大ビット数３６８、動きベクトル最大水平距離３７０、及び動きベクトル最大垂直距離３７２を使用して、ビデオビットストリーム１１０の復号を制御することができる。

ＨＲＤ ＶＵＩシンタックス８０２においてＨＲＤパラメータ構造３５０を使用することにより、全てのサブレイヤに関する共通ＨＲＤパラメータを使用する代わりに個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって、性能を向上できることが見いだされている。ＨＲＤパラメータ構造３５０の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上させることができる。

ここで図９を参照すると、映像符号化システム１００の機能ブロック図が示されている。映像符号化システム１００は、第１のデバイス１０２、第２のデバイス１０４、及び通信経路１０６を含むことができる。

第１のデバイス１０２は、通信経路１０６を通じて第２のデバイス１０４と通信することができる。第１のデバイス１０２は、第１のデバイスの送信器９３２において、通信経路１０６を通じて情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２のデバイスの送信器９３４において、通信経路１０６を通じて情報を第１のデバイス１０２に送信することができる。

例示的に、クライアントデバイスとして第１のデバイス１０２を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第１のデバイス１０２を有することができることを理解されたい。例えば、第１のデバイスはサーバとすることができる。別の実施例では、第１のデバイス１０２は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。

更に、例示的に、サーバとして第２のデバイス１０４を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第２のデバイス１０４を有することができることを理解されたい。例えば、第２のデバイス１０４はクライアントデバイスとすることができる。別の実施例では、第２のデバイス１０４は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。

本発明のこの実施形態の説明を簡潔にするために、第１のデバイス１０２は、ビデオカメラ、スマートフォン、又はそれらの組み合わせのようなクライアントデバイスとして示される。本発明は、デバイスの種類に関するこの選択に限定されるものではない。この選択は、本発明の実施例である。

第１のデバイス１０２は、第１の制御ユニット９０８を含むことができる。第１の制御ユニット９０８は、第１の制御インタフェース９１４を含むことができる。第１の制御ユニット９０８は、第１のソフトウェア９１２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。

第１の制御ユニット９０８は、いくつかの異なる方法で実装することができる。例えば、第１の制御ユニット９０８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はそれらの組み合わせとすることができる。

第１の制御インタフェース９１４は、第１の制御ユニット９０８と第１のデバイス１０２内の別の機能ユニットとの間の通信のために使用することができる。第１の制御インタフェース９１４は更に、第１のデバイス１０２の外部との通信のために使用することができる。

第１の制御インタフェース９１４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の制御インタフェース９１４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第１の制御インタフェース９１４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第１の制御インタフェース９１４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらを組み合わせたもので実装することができる。

第１のデバイス１０２は、第１の記憶ユニット９０４を含むことができる。第１の記憶ユニット９０４は、第１のソフトウェア９１２を格納することができる。第１の記憶ユニット９０４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。

第１の記憶ユニット９０４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第１の記憶ユニット９０４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。

第１の記憶ユニット９０４は、第１の記憶インタフェース９１８を含むことができる。第１の記憶インタフェース９１８は、第１の記憶ユニット９０４と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の記憶インタフェース９１８は更に、第１のデバイス１０２の外部との通信用に使用することができる。

第１のデバイス１０２は、第１の画像化ユニット９０６を含むことができる。第１の画像化ユニット９０６は、現実世界から図１のビデオコンテンツ１０８を取り込むことができる。第１の画像化ユニット９０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの任意の組み合わせを含むことができる。

第１の画像化ユニット９０６は、第１の画像化インタフェース９１６を含むことができる。第１の画像化インタフェース９１６は、第１の画像化ユニット９０６と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。

第１の画像化インタフェース９１６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の画像化インタフェース９１６は、どの機能ユニット又は外部ユニットが第１の画像化ユニット９０６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の画像化インタフェース９１６は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。

第１の記憶インタフェース９１８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。

第１の記憶インタフェース９１８は、どの機能ユニット又は外部ユニットが第１の記憶ユニット９０４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の記憶インタフェース９１８は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。

第１のデバイス１０２は、第１の通信ユニット９１０を含むことができる。第１の通信ユニット９１０は、第１のデバイス１０２への及びそれからの外部通信を可能にすることができる。例えば、第１の通信ユニット９１０は、第１のデバイス１０２が、第２のデバイス１０４、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にする。

第１の通信ユニット９１０は更に、第１のデバイス１０２が通信経路１０６の一部分として機能することを可能にし、通信経路１０６へのエンドポイント又は終端ユニットに限定されない、通信ハブとして機能することができる。第１の通信ユニット９１０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。

第１の通信ユニット９１０は、第１の通信インタフェース９２０を含むことができる。第１の通信インタフェース９２０は、第１の通信ユニット９１０と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の通信インタフェース９２０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。

第１の通信インタフェース９２０は、どの機能ユニットが第１の通信ユニット９１０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の通信インタフェース９２０は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。

第１のデバイス１０２は、第１のユーザインタフェース９０２を含むことができる。第１のユーザインタフェース９０２は、ユーザ（図示せず）が第１のデバイス１０２と相互作用及び対話することを可能にする。第１のユーザインタフェース９０２は、第１のユーザ入力（図示せず）を含むことができる。第１のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。

第１のユーザインタフェース９０２は、第１のディスプレイインタフェース１２０を含むことができる。第１のディスプレイインタフェース１２０は、ユーザが第１のユーザインタフェース９０２と対話することを可能にする。第１のディスプレイインタフェース１２０は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。

第１の制御ユニット９０８は、第１のユーザインタフェース９０２と連携して、映像符号化システム１００によって生成されたビデオ情報を第１のディスプレイインタフェース１２０に表示することができる。第１の制御ユニット９０８は更に、第１の記憶ユニット９０４からビデオ情報を受信して第１のディスプレイインタフェース１２０に表示することを含む、映像符号化システム１００の別の機能に関する第１のソフトウェア９１２を実行することができる。第１の制御ユニット９０８は更に、第１の通信ユニット９１０経由で通信経路１０６と相互作用するための第１のソフトウェア９１２を実行することができる。

例示的に、第１のデバイス１０２は、第１のユーザインタフェース９０２、第１の記憶ユニット９０４、第１の制御ユニット９０８、及び第１の通信ユニット９１０を有するように分割することができるが、第１のデバイス１０２は、様々に分割できることを理解されたい。例えば、第１のソフトウェア９１２は、その機能の一部又は全てが、第１の制御ユニット９０８及び第１の通信ユニット９１０内に存在できるように様々に分割することができる。更に、第１のデバイス１０２は、明確にするために図１０に示していない他の機能ユニットを含むことができる。

映像符号化システム１００は、第２のデバイス１０４を含むことができる。第２のデバイス１０４は、第１のデバイス１０２を含む複数デバイスの実施形態で本発明を実施するように最適化することができる。第２のデバイス１０４は、第１のデバイス１０２と比べて追加の又は高い性能の処理能力を提供することができる。

第２のデバイス１０４は、第２の制御ユニット９４８を含むことができる。第２の制御ユニット９４８は、第２の制御インタフェース９５４を含むことができる。第２の制御ユニット９４８は、第２のソフトウェア９５２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。

第２の制御ユニット９４８は、いくつかの異なる方法で実装することができる。例えば、第２の制御ユニット９４８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械、デジタルシグナルプロセッサ、又はそれらの組み合わせとすることができる。

第２の制御インタフェース９５４は、第２の制御ユニット９４８と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の制御インタフェース９５４は更に、第２のデバイス１０４の外部との通信用に使用することができる。

第２の制御インタフェース９５４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の制御インタフェース９５４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第２の制御インタフェース９５４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第２の制御インタフェース９５４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらの組み合わせで実装することができる。

第２のデバイス１０４は、第２の記憶ユニット９４４を含むことができる。第２の記憶ユニット９４４は、第２のソフトウェア９５２を格納することができる。第２の記憶ユニット９４４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。

第２の記憶ユニット９４４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第２の記憶ユニット９４４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。

第２の記憶ユニット９４４は、第２の記憶インタフェース９５８を含むことができる。第２の記憶インタフェース９５８は、第２の記憶ユニット９４４と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の記憶インタフェース９５８は更に、第２のデバイス１０４の外部との通信用に使用することができる。

第２の記憶インタフェース９５８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の記憶インタフェース９５８は、どの機能ユニット又は外部ユニットが第２の記憶ユニット９４４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の記憶インタフェース９５８は、第２の制御インタフェース９５４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２の画像化ユニット９４６を含むことができる。第２の画像化ユニット９４６は、現実世界からビデオコンテンツ１０８を取り込むことができる。第１の画像化ユニット９０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの任意の組み合わせを含むことができる。

第２の画像化ユニット９４６は、第２の画像化インタフェース９５６を含むことができる。第２の画像化インタフェース９５６は、第２の画像化ユニット９４６と第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。

第２の画像化インタフェース９５６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。

第２の画像化インタフェース９５６は、どの機能ユニット又は外部ユニットが第２の画像化ユニット９４６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の画像化インタフェース９５６は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２の通信ユニット９５０を含むことができる。第２の通信ユニット９５０は、第２のデバイス１０４への及びそれからの外部通信を可能にすることができる。例えば、第２の通信ユニット９５０は、第２のデバイス１０４が、第１のデバイス１０２、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にすることができる。

第２の通信ユニット９５０は更に、通信ハブとして機能することができ、第２のデバイス１０４が、通信経路１０６の一部分として機能すること及び通信経路１０６へのエンドポイント又は終端ユニットに限定されないことを可能にする。第２の通信ユニット９５０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。

第２の通信ユニット９５０は、第２の通信インタフェース９６０を含むことができる。第２の通信インタフェース９６０は、第２の通信ユニット９５０と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の通信インタフェース９６０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。

第２の通信インタフェース９６０は、どの機能ユニットが第２の通信ユニット９５０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の通信インタフェース９６０は、第２の制御インタフェース９５４の実施形態と同様な技術及び技法で実装することができる。

第２のデバイス１０４は、第２のユーザインタフェース９４２を含むことができる。第２のユーザインタフェース９４２は、ユーザ（図示せず）が第２のデバイス１０４と相互作用及び対話することを可能にする。第２のユーザインタフェース９４２は、第２のユーザ入力（図示せず）を含むことができる。第２のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。

第２のユーザインタフェース９４２は、第２のディスプレイインタフェース９４３を含むことができる。第２のディスプレイインタフェース９４３は、ユーザが第２のユーザインタフェース９４２と対話することを可能にすることができる。第２のディスプレイインタフェース９４３は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。

第２の制御ユニット９４８は、第２のユーザインタフェース９４２と連携して、映像符号化システム１００によって生成された情報を第２のディスプレイインタフェース９４３に表示することができる。第２の制御ユニット９４８は更に、第２の記憶ユニット９４４から表示情報を受信して第２のディスプレイインタフェース９４３に表示することを含む、映像符号化システム１００の別の機能に関する第２のソフトウェア９５２を実行することができる。第２の制御ユニット９４８は更に、第２の通信ユニット９５０経由で通信経路１０６と相互作用するための第２のソフトウェア９５２を実行することができる。

例示的に、第２のデバイス１０４は、第２のユーザインタフェース９４２、第２の記憶ユニット９４４、第２の制御ユニット９４８、及び第２の通信ユニット９５０を有するように分割することができるが、第２のデバイス１０４は、様々に分割できることを理解されたい。例えば、第２のソフトウェア９５２は、その機能の一部又は全てが、第２の制御ユニット９４８及び第２の通信ユニット９５０内に存在できるように様々に分割することができる。更に、第２のデバイス１０４は、明確にするために図１０に示していない他の機能ユニットを含むことができる。

第１の通信ユニット９１０は、通信経路１０６に接続して、第１のデバイスの送信器９３２で情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２の通信ユニット９５０において、通信経路１０６の第１のデバイスの送信器９３２から情報を受信することができる。

第２の通信ユニット９５０は、通信経路１０６に接続して、第２のデバイスの送信器９３４でビデオ情報を第１のデバイス１０２に送信することができる。第１のデバイス１０２は、第１の通信ユニット９１０において、通信経路１０６の第２のデバイスの送信器９３４からビデオ情報を受信することができる。映像符号化システム１００は、第１の制御ユニット９０８、第２の制御ユニット９４８、又はそれらの組み合わせによって実行することができる。

第１のデバイス１０２内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第１のデバイス１０２の動作によって説明される。第１のデバイス１０２は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット９０８を動作させるように説明することができる。

第２のデバイス１０４内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第２のデバイス１０４の動作によって説明することができる。第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第２のデバイス１０４は、第２の制御ユニット９４８を動作させるように説明される。

例示的に、映像符号化システム１００は、第１のデバイス１０２及び第２のデバイス１０４の動作によって説明される。第１のデバイス１０２及び第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット９０８を動作させるように説明されるが、更に第２のデバイス１０４が、第１の制御ユニット９０８を動作させることができることを理解されたい。

ここで図１０を参照すると、図１の映像符号化システム１００の制御フロー１０００が示されている。制御フロー１０００は、ビデオビットストリーム１１０を受信し、図１のビデオシンタックス１１４を抽出し、ビデオビットストリーム１１０を復号し、図１のビデオストリーム１１２を表示することによって、図１のビデオビットストリーム１１０を復号することを説明する。

映像符号化システム１００は、受信モジュール１００２を含むことができる。受信モジュール１００２は、図１のビデオエンコーダ１０２によって符号化されたビデオビットストリーム１１０を受信することができる。

ビデオビットストリーム１１０は、様々な方法で受信することができる。例えば、ビデオビットストリーム１１０は、図１のビデオエンコーダ１０２から、ストリーミングシリアルビットストリームとして、図１の通信経路１０６上のデジタルメッセージ（図示せず）内に事前に符号化されたビデオファイル（図示せず）として、又はそれらの組み合わせとして受信することができる。

ビデオビットストリーム１１０は、様々なフレームレートで図１のビデオコンテンツ１０８を表すための、図２の１つ又はそれ以上の時間レイヤ２３０を含むことができる。受信モジュール１００２は、時間レイヤ２３０を選択的にフィルタ処理して、ビデオビットストリーム１１０のサイズを低減することができる。

例えば、受信モジュール１００２は、６０ｆｐｓ、３０ｆｐｓ、及び１５ｆｐｓのような３つの異なるフレームレートに関する時間レイヤ２３０を有するビデオビットストリーム１１０を受信することができる。受信モジュール１００２は、ビデオビットストリーム１１０をフィルタ処理して、時間レイヤ２３０の６０ｆｐｓ及び３０ｆｐｓのオカレンスを取り除き、時間レイヤ２３０の１５ｆｐｓオカレンスのみを処理することができる。

映像符号化システム１００は、シンタックス取得モジュール１００４を含むことができる。シンタックス取得モジュール１００４は、ビデオビットストリーム１１０のビデオシンタックス１１４を識別及び抽出することができる。

シンタックス取得モジュール１００４は、様々な方法でビデオビットストリーム１１０に関するビデオシンタックス１１４を抽出することができる。シンタックス取得モジュール１００４は、ビデオシンタックス１１４の存在を示すビデオ表示情報ヘッダ部に関するビデオビットストリーム１１０を検索することによって、ビデオシンタックス１１４を抽出することができる。別の実施例では、ビデオシンタックス１１４は、デマルチプレクサ（図示せず）を使用してビデオビットストリーム１１０のビデオ画像データからビデオシンタックス１１４を分離することで、ビデオビットストリーム１１０から抽出することができる。

更に別の実施例では、ビデオシンタックス１１４は、シーケンスパラメータセットであるローバイトシーケンスペイロード（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）（ＲＢＳＰ）シンタックスを抽出することによって、ビデオビットストリーム１１０から抽出することができる。シーケンスパラメータセットＲＢＳＰは、ネットワーク抽象レイヤユニット内にカプセル化された整数のバイトを含むシンタックス構造である。ＲＢＳＰは、空とすること、或いはシンタックス要素と、その後に続くＲＢＳＰストップビットと、その後に続く、ゼロ又は０に等しいより多くの付加ビットを含むデータビット列の形式を有することの何れかとすることができる。

更に別の実施例では、ビデオシンタックス１１４は、個別の要素がシリアルビットストリーム内で利用可能になる場合にこれらの要素を抽出することによって、時間的方法でビデオビットストリーム１１０のシリアルビットストリームから抽出することができる。映像符号化システム１００は、前に抽出された要素の値に基づいて後の要素を選択的に抽出することができる。映像符号化システム１００は、図３の低遅延ＨＲＤフラグ３５４の以前に受信した値に基づいて、図３のＨＲＤパラメータ構造３５０を処理することができる。

シンタックス取得モジュール１００４は、低遅延ＨＲＤフラグ３５４の以前に抽出されたオカレンスに基づいて、ＨＲＤパラメータ構造３５０を使用してビデオビットストリーム１１０を動的に復号することによって、性能を向上させることができることが見いだされている。低遅延ＨＲＤフラグ３５４を受信することにより、ＨＲＤパラメータ構造３５０を適用する場合にＣＰＢにおいて許容されている遅延レベルを変更することによって、復号性能が向上する。

別の実施例では、ビデオビットストリーム１１０をファイルで受け取る場合には、ビデオシンタックス１１４は、ビデオビットストリーム１１０を含むファイルのファイル拡張子を調査することによって検出することができる。更に別の実施例では、図１の通信経路１０６を通じてデジタルメッセージとしてビデオビットストリーム１１０を受信する場合には、ビデオシンタックス１１４は、デジタルメッセージ構成の一部分として提供することができる。

シンタックス取得モジュール１００４は、図２のシンタックスタイプ２０２に基づいてビデオシンタックス１１４の個別の要素を抽出することができる。シンタックスタイプ２０２は、ＡＶＣビデオ、ＳＶＣビデオ、ＭＶＣビデオ、ＭＶＤビデオ、ＳＳＶビデオ、又はそれらの組み合わせを含むことができる。

例えば、シンタックス取得モジュール１００４は、図３のＨＥＶＣ ＶＵＩシンタックス３０２、図４の第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２、図５の第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２、又はそれらの組み合わせのようなビデオシンタックス１１４を抽出することができる。シンタックス取得モジュール１００４は、図６のＨＲＤシンタックス６０２、図７のＨＲＤサブレイヤシンタックス７０２、又はそれらの組み合わせを含むビデオシンタックス１１４を抽出することができる。

シンタックス取得モジュール１００４は、様々な方法でビデオシンタックス１１４を抽出することができる。例えば、シンタックス取得モジュール１００４は、ＨＥＶＣ ＶＵＩシンタックス３０２のようなビデオシンタックス１１４をビデオビットストリーム１１０から抽出することができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、時間レイヤ２３０の全てのオカレンスに関するＨＲＤシンタックス６０２の１つのオカレンスを含むことができる。ＨＥＶＣ ＶＵＩシンタックス３０２は、時間レイヤ２３０の全てのオカレンスに関するＨＥＶＣ ＶＵＩシンタックス３０２の要素の１つのオカレンスを含むことができる。

別の実施例では、シンタックス取得モジュール１００４は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２のようなビデオシンタックス１１４をビデオビットストリーム１１０から抽出することができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ２３０の個別の各オカレンスに関するＨＲＤシンタックス６０２のオカレンスを含むことができる。

第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ２３０の個別の各オカレンスに関する、図３のフィールドシーケンスフラグ３３６、図３のタイミング情報存在フラグ３３８、図３の時間刻みユニット３４０、図３の時間スケール３４４、及び図３の固定ピクチャレートフラグ３４６の個別のオカレンスを含むことができる。第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２は、時間レイヤ２３０の個別の各オカレンスに関する、図３のＮＡＬ ＨＲＤパラメータ存在フラグ３４８、図３のＶＣＬ ＨＲＤパラメータ存在フラグ３５２、図３の低遅延ＨＲＤフラグ３５４、図３のサブピクチャＣＰＢパラメータ存在フラグ３５６、及び図３の時間刻みサブユニット３５８を含むことができる。

更に別の実施例では、シンタックス取得モジュール１００４は、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２のようなビデオシンタックス１１４をビデオビットストリーム１１０から抽出することができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、時間レイヤ２３０の全てのオカレンスに関する、フィールドシーケンスフラグ３３６、タイミング情報存在フラグ３３８、時間刻みユニット３４０、時間スケール３４４、及び固定ピクチャレートフラグ３４６の１つのオカレンスを含むことができる。第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２は、時間レイヤ２３０の個別の各オカレンスに関する、ＮＡＬ ＨＲＤパラメータ存在フラグ３４８、ＶＣＬ ＨＲＤパラメータ存在フラグ３５２、低遅延ＨＲＤフラグ３５４、サブピクチャＣＰＢパラメータ存在フラグ３５６、及び時間刻みサブユニット３５８を含むことができる。

映像符号化システム１００は、復号モジュール１００６を含むことができる。復号モジュール１００６は、ビデオシンタックス１１４を使用してビデオビットストリーム１１０を復号してビデオストリーム１１２を生成することができる。復号モジュール１００６は、時間レイヤ取得モジュール１００８及び時間レイヤ復号モジュール１０１０を含むことができる。

復号モジュール１００６は、ＨＥＶＣ ＶＵＩシンタックス３０２、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２、第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２、又はそれらの組み合わせを使用してビデオビットストリーム１１０を復号することができる。復号モジュール１００６は、ＨＲＤシンタックス６０２、ＨＲＤサブレイヤシンタックス７０２、図８のＨＲＤ ＶＵＩシンタックス８０２、又はそれらの組み合わせを使用して、時間レイヤ２３０を識別し抽出することができる。

時間レイヤ取得モジュール１００８は、時間レイヤ２３０を識別してビデオビットストリーム１１０から抽出してビデオストリーム１１２を生成することができる。時間レイヤ取得モジュール１００８は、様々な方法で時間レイヤ２３０を識別することができる。

例えば、時間レイヤ取得モジュール１００８は、第１のＨＥＶＣ ＶＵＩ拡張シンタックス４０２又は第２のＨＥＶＣ ＶＵＩ拡張シンタックス５０２から図４の時間レイヤカウント４０６を抽出することによって、時間レイヤ２３０を識別することができる。時間レイヤカウント４０６は、ビデオビットストリーム１１０内の時間レイヤ２３０の全体数を示す。別の実施例では、時間レイヤ取得モジュール１００８は、ＨＥＶＣ ＶＵＩシンタックス３０２からＨＲＤシンタックス６０２の単一のオカレンスを抽出して、ビデオビットストリーム１１０内の全ての時間レイヤ２３０に適用することによって、時間レイヤを識別することができる。

時間レイヤ復号モジュール１０１０は、時間レイヤ取得モジュール１００８から時間レイヤ２３０を受け取り、時間レイヤ２３０を復号してビデオストリーム１１２を生成することができる。時間レイヤ復号モジュール１０１０は、様々な方法で時間レイヤ２３０を復号することができる。

例えば、時間レイヤ復号モジュール１０１０は、ＨＲＤシンタックス６０２を使用して時間レイヤ２３０を復号することができる。別の実施例では、時間レイヤ復号モジュール１０１０は、ＨＲＤサブレイヤシンタックス７０２を使用して時間レイヤ２３０を復号することができる。時間レイヤ復号モジュール１０１０は、時間レイヤ２３０を復号し、時間レイヤ２３０のうちの１つを選択してビデオストリーム１１２を生成することができる。

ＨＲＤシンタックス６０２のパラメータを使用して、符号化ピクチャバッファ内のデータバッファリングレートを制御することを含む、ビデオビットストリーム１１０の滑らかな復号を管理することができる。タイミング情報存在フラグ３３８、サブピクチャＣＰＢパラメータ存在フラグ３５６、ビットレートスケール６１２、ＣＰＢサイズスケール６１４、ＣＰＢ除去遅延長６１８、及びＤＰＢ出力遅延長６２０を使用して、符号化ピクチャバッファ及び復号ピクチャバッファへのデータフローを調整することができる。

映像符号化システム１００は、表示モジュール１０２０を含むことができる。表示モジュール１０１２は、復号モジュール１００６からビデオストリーム１１２を受信し、図１のディスプレイインタフェース１２０に表示することができる。ビデオストリーム１１２は、時間レイヤ２３０の１つ又はそれ以上のオカレンスを含むことができる。

ビデオコンテンツ１０８の物理的対象物の光学的画像から図９のディスプレイインタフェース１２０の画素要素上にビデオストリーム１１２を表示する物理的な変換は、物理的世界におけるディスプレイインタフェース１２０の画素要素に対する物理的変化、例えば画素要素の電気的な状態の変化を引き起こすが、これは、映像符号化システム１００の動作に基づくものである。ビデオコンテンツ１０８に取り込まれた対象物の動きのような物理的世界における変化が生じる場合、その動き自体により、ビデオコンテンツ１０８に対する更新のような追加情報が生成され、この情報は、映像符号化システム１００の継続動作のためにディスプレイインタフェース１２０の画素要素での変化に逆変換される。

第１のデバイス１０２の図９の第１のソフトウェア９１２は、映像符号化システム１００を含むことができる。例えば、第１のソフトウェア９１２は、受信モジュール１００２、シンタックス取得モジュール１００４、復号モジュール１００６、及び表示モジュール１０１２を含むことができる。

図９の第１の制御ユニット９０８は、受信モジュール１００２に関する第１のソフトウェア９１２を実行して、ビデオビットストリーム１１０を受信することができる。第１の制御ユニット９０８は、シンタックス取得モジュール１００４に関する第１のソフトウェア９１２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第１の制御ユニット９０８は、復号モジュール１００６に関する第１のソフトウェア９１２を実行して、ビデオビットストリーム１１２を生成することができる。第１の制御ユニット９０８は、表示モジュール１０１２に関する第１のソフトウェア９１２を実行して、ビデオストリーム１１２を表示することができる。

図１の第２のデバイス１０４の図９の第２のソフトウェア９５２は、映像符号化システム１００を含むことができる。第２のソフトウェア９５２は、例えば、受信モジュール１００２、シンタックス取得モジュール１００４、及び復号モジュール１００６を含むことができる。

図９の第２の制御ユニット９４８は、受信モジュール１００２に関する第２のソフトウェア９５２を実行して、ビデオビットストリーム１１０を受信することができる。第２の制御ユニット９４８は、シンタックス取得モジュール１００４に関する第２のソフトウェア９５２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第２の制御ユニット９４８は、復号モジュール１００６に関する第２のソフトウェア９５２を実行して、図１のビデオビットストリーム１１２を生成することができる。第２の制御ユニット９４８は、表示モジュール１０１２に関する第２のソフトウェアを実行して、ビデオストリーム１１２を表示することができる。

映像符号化システム１００は、第１のソフトウェア９１２と第２のソフトウェア９５２とに分割することができる。例えば、第２のソフトウェア９５２は、シンタックス取得モジュール１００４、復号モジュール１００６、及び表示モジュール１０１２を含むことができる。第２の制御ユニット９４８は、前述した第２のソフトウェア９５２に対して区分化されたモジュールを実行することができる。

例示的な実施例では、映像符号化システム１００は、第１のデバイス１０２でのビデオエンコーダ１０２、及び第２のデバイス１０４でのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、図１のディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を含むことができる。

第１のソフトウェア９１２は、受信モジュール１００２及びシンタックス取得モジュール１００４を含むことができる。図９の第１の記憶ユニット９０４のサイズに応じて、第１のソフトウェア９１２は、映像符号化システム１００の追加のモジュールを含むことができる。第１の制御ユニット９０８は、前述した第１のソフトウェア９１２に対して区分化されたモジュールを実行することができる。

第１の制御ユニット９０８は、図９の第１の通信ユニット９１０を動作させて、第２のデバイス１０４にビデオビットストリーム１１０を送信することができる。第１の制御ユニット９０８は、第１のソフトウェア９１２を動作させて、図９の第１の画像化ユニット９０６を動作させることができる。図９の第２の通信ユニット９５０は、通信経路１０６を通じて第１のデバイス１０２にビデオストリーム１１２を送信することができる。

映像符号化システム１００は、実施例としてモジュールの機能又は順番を説明している。モジュールは様々に分割することができる。例えば、シンタックス取得モジュール１００４と復号モジュール１００６とを組み合わせることができる。各モジュールは、個別に他のモジュールと無関係に動作することができる。

更に、１つのモジュールで生成されたデータは、互いに直接接続されていない別のモジュールで使用することができる。例えば、シンタックス取得モジュール１００４は、受信モジュール１００２からビデオビットストリーム１１０を受信することができる。

モジュールは、様々な方法で実装することができる。受信モジュール１００２、シンタックス取得モジュール１００４、復号モジュール１００６、及び表示モジュール１０１２は、第１の制御ユニット９０８又は第２の制御ユニット９４８内のハードウェアアクセラレータ（図示せず）で実装すること、或いは第１の制御ユニット９０８又は第２の制御ユニット９４８の外部で第１のデバイス１０２又は第２のデバイス１０４内のハードウェアアクセラレータ（図示せず）で実装することができる。

ここで図１１を参照すると、本発明の別の実施形態における図１の映像符号化システム１００の動作方法１１００のフローチャートが示されている。方法１１００は、ブロック１１０２において、ビデオビットストリームを受信する段階と、ブロック１１０４において、ビデオビットストリームからビデオシンタックスを抽出する段階と、ブロック１１０６において、ビデオシンタックに基づいてビデオビットストリームから時間レイヤを抽出する段階と、ブロック１１０８において、デバイスに表示するために、時間レイヤに基づいてビデオストリームを生成する段階と、を含む。

このように、本発明は多くの態様を有することが見いだされている。本発明は、経費削減、システム単純化、及び性能向上という歴史的傾向に有用に対応し、その要求に応えている。結果的に、本発明の前記及び他の有用な態様により、技術レベルが少なくとも次のレベルに進む。

従って、本発明の映像符号化システムは、高精細アプリケーション用のビデオコンテンツを効率的に符号化及び復号することに関して、重要で、従来は知られておらず利用不可能な解決手段、機能、及び機能的態様を提供することが見いだされている。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、効率的なものであり、意外にも自明ではなく、公知の技術を適用することによって実装できるので、従来の製造プロセス及び技術と完全に互換性がある映像符号化デバイスを簡単に効率的かつ経済的に製造することに適している。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、正確で、高精度で、効率的なものであり、容易に、効率的に、経済的に製造、応用、及び利用するために公知の構成要素を適用することによって実装することができる。

本発明は、特定の最適な形態と併せて説明されるが、当業者であれば、前記の説明を考慮すると多くの代替例、修正例、及び変更例が明らかであることを理解できるはずである。従って、特許請求の範囲の範疇に含まれる全ての当該代替例、修正例、変更例が含まれることが意図されている。本明細書で説明した又は添付図面に示した前記の内容は、全て、例示的かつ非限定的な意味で解釈されたい。

１１０２ ビデオビットストリームを受信
１１０４ ビデオシンタックスを抽出
１１０６ 時間レイヤを抽出
１１０８ ビデオストリームを生成

Claims (5)

1. ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のfield_seq_flagを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定する設定部と、
   前記ビデオストリームを符号化して、前記設定部により設定された前記ＶＵＩを含む符号化ビットストリームを生成する符号化部と、
   を備える符号化装置。
2. 前記設定部は、全てのサブレイヤにわたって共通のシンタクスとして前記ＶＵＩを設定する、請求項１に記載の符号化装置。
3. 符号化装置において、ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のfield_seq_flagを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定することと、
   前記ビデオストリームを符号化して、設定された前記ＶＵＩを含む符号化ビットストリームを生成することと、
   を含む方法。
4. 前記ＶＵＩは、全てのサブレイヤにわたって共通のシンタクスとして設定される、請求項３に記載の方法。
5. 符号化装置を制御するプロセッサを、
   ビデオストリームがビデオ表現フィールドを含むか否かを示す複数のサブレイヤにわたって共通のfield_seq_flagを含む、ビデオユーザビリティ情報（ＶＵＩ）を設定する設定部と、
   前記ビデオストリームを符号化して、前記設定部により設定された前記ＶＵＩを含む符号化ビットストリームを生成する符号化部と、
   として機能させるためのプログラム。

Images