JP7087100B2

JP7087100B2 - フレームレートスケーラブルビデオ符号化

Info

Publication number: JP7087100B2
Application number: JP2020551482A
Authority: JP
Inventors: ロビンアトキンス; ポンイン; タオランルー; ファンチュンプー; ショーントーマスマッカーシー; ウォルタージェイ．フサーク; タオチェン; コアン－ミンスー
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2019-03-11
Filing date: 2020-03-11
Publication date: 2022-06-20
Anticipated expiration: 2040-03-11
Also published as: CA3231109A1; US20220038723A1; PL3850847T3; CN114845110A; CN111971964A; HRP20220863T1; CA3187271A1; US11871015B2; EP4236325A2; JP2024020591A; IL277365A; CN114666595A; WO2020185853A2; PH12020551511A1; IL289965B; CA3231105A1; CN116668696A; PL4064706T3; JP2024029104A; MX2023011520A

Description

関連出願の相互参照
本出願は２０１９年３月１１日に出願された米国仮出願第６２／８１６，５２１号、２０１９年５月２１日に出願された米国仮出願第６２／８５０，９８５号、２０１９年８月６日に出願された米国仮出願第６２／８８３，１９５号、および２０１９年９月２４日に出願された米国仮出願第６２／９０４，７４４号からの優先権の利益を主張するものであり、それらの各々は参照によりその全体が援用される。

本文書は、一般に画像に関する。より詳細には、本発明の一実施形態がフレームレートスケーラブルビデオ符号化に関する。

本明細書で使用されるように、用語「ダイナミックレンジ」（ＤＲ）は、例えば、最も暗いグレー（黒）から最も明るい白（ハイライト）までの、画像内の強度（例えば、ルミナンス、ルマ）の範囲を知覚する人間の視覚系（ＨＶＳ）の能力に関連し得る。この意味で、ＤＲは「シーンリファード」強度に関連する。ＤＲは、特定の幅の強度範囲を適切にまたは概ねレンダリングするディスプレイ装置の能力にも関係し得る。この意味で、ＤＲは「表示参照」強度に関連する。本明細書の説明の任意の時点で特定の意味を有するように明示的に指定されていない限り、用語はいずれの意味でも、例えば、互換的に使用され得ることが推測されるべきである。

本明細書で使用されるように、高ダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚系（ＨＶＳ）の１４～１５桁にわたるＤＲ幅に関する。実際には、人間が強度範囲の広い幅を同時に知覚することができるＤＲは、ＨＤＲに関していくらか切り捨てることができる。

実際には、画像が１つ以上の色成分（例えば、ルマＹおよびクロマＣｂおよびＣｒ）を含み、各色成分は、ピクセル当たりｎビットの精度（例えば、ｎ＝８）によって表される。線形輝度符号化を使用すると、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は標準ダイナミックレンジ（ＳＤＲ）の画像と考えられ、ｎ＞８の画像は強化されたダイナミックレンジの画像と考えられる。また、ＨＤＲ画像は、ＩｎｄｕｓｔｒｉａｌＬｉｇｈｔａｎｄＭａｇｉｃによって開発されたＯｐｅｎＥＸＲファイルフォーマットなどの高精度（例えば、１６ビット）浮動小数点フォーマットを使用して、格納し、配布することもできる。

現在、ドルビー研究所からのドルビービジョン（ＤｏｌｂｙＶｉｓｉｏｎ）またはブルーレイ（Ｂｌｕｅ－Ｒａｙ）におけるＨＤＲ１０などのビデオ高ダイナミックレンジコンテンツの配信は、多くの再生装置の能力によって、４Ｋ解像度（例えば、４０９６×２１６０または３８４０×２１６０など）および６０フレーム／秒（ｆｐｓ）に制限されている。将来のバージョンでは、８Ｋ解像度（例えば、７６８０×４３２０）および１２０ｆｐｓまでのコンテンツが配信および再生のために利用可能であり得ることが予想される。ドルビービジョンのようなＨＤＲ再生コンテンツエコシステムを単純化するために、将来のコンテンツタイプが既存の再生装置と互換性があることが望ましい。理想的には、コンテンツプロデューサが、既存のＨＤＲデバイス（ＨＤＲ１０またはドルビービジョンなど）と互換性のあるコンテンツの特別なバージョンを導出および配信する必要なしに、将来のＨＤＲ技術を採用し、配信することができなければならない。本発明者らによって理解されるように、ビデオコンテンツ、特にＨＤＲコンテンツのスケーラブルな配信のための改善された技術が望まれている。

このセクションで説明されるアプローチは追求されることができるアプローチであるが、必ずしも、以前に考えられたまたは追求されたアプローチではない。したがって、特に断らない限り、このセクションに記載されているアプローチのいずれも、単にこのセクションに含まれているために先行技術として適格であると仮定すべきではない。同様に、１つ以上のアプローチに関して特定された問題は特に断らない限り、このセクションに基づいていかなる先行技術においても認識されていると推測すべきではない。

本発明の実施形態は限定ではなく例として、添付の図面の図に示されており、同様の参照番号は同様の要素を指す。
ビデオ配信パイプラインの例示的なプロセスを示す。本発明の一実施形態による、ターゲットシャッタ角度でターゲットフレームレートをレンダリングするために連続するオリジナルフレームを結合する例示的なプロセスを示す。本発明の一実施形態による、固定フレームレートを有するコンテナ内の、可変入力フレームレートおよび可変シャトル角度を有する入力シーケンスの例示的な表示を示す。本発明の一実施形態による、後方互換性を有する、種々のフレームレートおよびシャッタ角度における、時間的スケーラビリティのための例示的な表示を示す。

ビデオ符号化のためのフレームレートスケーラビリティに関連する例示的な実施形態が、本明細書で説明される。以下の説明において、説明の目的のために、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本発明は、これらの特定の詳細なしに実施されてもよいことは明らかであろう。他の例では、本発明を不必要に閉塞し、不明瞭にし、または難読化することを回避するために、周知の構造および装置は網羅的な詳細では説明されない。

概要
本明細書で説明される例示的な実施形態は、ビデオ符号化におけるフレームレートスケーラビリティに関する。一実施形態では、プロセッサを有するシステムが符号化ビデオフレームを含む符号化ビットストリームを受信し、１つ以上の符号化されたフレームは、第１のフレームレートおよび第１のシャッタ角度で符号化される。プロセッサは、第２のフレームレートおよび第２のシャッタ角度で復号されるべき符号化フレームのグループの存在を示す第１のフラグを受信し、符号化フレームのグループのための第２のフレームレートおよび第２のシャッタ角度の符号化ビットストリーム値からアクセスし、符号化フレームのグループ、第１のフレームレート、第１のシャッタ角度、第２のフレームレート、および第２のシャッタ角度に基づいて、第２のフレームレートおよび第２のシャッタ角度で復号フレームを生成する。

第２の実施形態では、プロセッサ有するデコーダであって、
符号化ビデオフレームのグループを含む符号化ビットストリームを受信することであって、符号化ビットストリーム内のすべての符号化ビデオフレームは、第１のフレームレートで符号化される、符号化ビットストリームを受信することと、
結合されたＮ個のフレームの数を受信することと、
ベースラインフレームレートのための値を受信することと、
Ｎ個の連続符号化フレームのグループにアクセスすることであって、Ｎ個の連続符号化フレームのグループ内のｉ番目の符号化フレームは、第１のシャッタ角度および第１のフレームレートに基づいて、ベースラインフレームレートおよびｉ番目のシャッタ角度でエンコーダにおいて符号化されたｉ番目までの入力ビデオフレームの平均を示し、ここで、ｉ＝１、２、．．．Ｎである、Ｎ個の連続符号化フレームのグループにアクセスすることと、
第２のフレームレートおよび第２のシャッタ角度でＮ個の連続する符号化フレームのグループを復号するために、符号化ビットストリームから、または第２のフレームレートおよび第２のシャッタ角度についてのユーザ入力値からアクセスすることと、
Ｎ個の連続する符号化フレームのグループ、第１のフレームレート、第１のシャッタ角度、第２のフレームレート、および第２のシャッタ角度に基づいて、第２のフレームレートおよび第２のシャッタ角度で復号フレームを生成することと、を実行する。

第３の実施形態では、符号化ビデオストリーム構造は、
ビデオピクチャのシーケンスの符号化を含む符号化ピクチャセクションと、
シグナリングセクションであって、
１秒間に経過する時間単位の数を示す、シャッタインターバルタイムスケールパラメータと、
シャッタインターバルタイムスケールパラメータの周波数で作動するクロックの時間単位の数を示す、シャッタインターバルクロックチックパラメータであって、シャッタインターバルタイムスケールパラメータにより割られたシャッタインターバルは、露光持続時間値を示す、シャッタインターバルクロックチックパラメータと、
符号化ピクチャセクション内のすべての時間的サブレイヤについて露光持続時間情報が固定されているかを示すシャッタインターバル持続時間フラグと、の符号化を含む、シグナリングセクションと、を含み、
シャッタインターバル持続時間フラグが、露光持続時間情報が固定されていることを示す場合、符号化ピクチャセクション内のすべての時間的サブレイについてビデオピクチャのシーケンスの符号化バージョンは、シャッタインターバルタイムスケールパラメータおよびシャッタインターバルクロックチックパラメータに基づいて、露光持続時間値を算出することにより復号され、そうでない場合、
シグナリングセクションは、サブレイヤパラメータの１つ以上のアレイを含み、シャッタインターバルタイムスケールパラメータと結合されたサブレイヤパラメータの１つ以上のアレイにおける値は、ビデオピクチャのシーケンスの時間的サブレイヤの復号されたバージョンを表示するために、各サブレイヤについて対応するサブレイヤ露光持続時間値を算出するのに使用される。

ビデオ配信処理パイプラインの例
図１は、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示す従来のビデオ配信パイプライン（１００）の例示的なプロセスを示す。一連のビデオフレーム（１０２）は、画像生成ブロック（１０５）を使用してキャプチャまたは生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、（例えば、デジタルカメラによって）デジタル的に取り込まれてもよく、または（例えば、コンピュータアニメーションを使用して）コンピュータによって生成されてもよい。代替的に、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、ビデオデータ（１０７）を提供するためにデジタルフォーマットに変換される。プロダクションフェーズ（１１０）では、ビデオデータ（１０７）が編集されて、ビデオプロダクションストリーム（１１２）が提供される。

次いで、プロダクションストリーム（１１２）のビデオデータは、ポストプロダクション編集のために、ブロック（１１５）でプロセッサに供給される。ポストプロダクション編集のブロック（１１５）は、ビデオクリエータの創作意図に従って、画質を向上させるか、または画像の特定の外観を達成するために、画像の特定の領域における色または明るさを調整または修正することを含むことができる。これは「カラータイミング」または「カラーグレーディング」というものである。他の編集（例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成される視覚特殊効果の追加、ジャダーまたはブラー制御、フレームレート制御など）は、ブロック（１１５）で実行されて、配信のためのプロダクションの最終バージの間、ビデオ画像は参照ディスプレイ（１２５）に表示される。ポストプロダクション（１１５）に続いて、最終プロダクション（１１７）のビデオデータは、テレビジョンセット、セットトップボックス、ムービーシアター等のような復号および再生装置にダウンストリームで配信するために、符号化ブロック（１２０）に配信されてもよい。いくつかの実施形態では、符号化ブロック（１２０）は、符号化ビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、および他の配信フォーマットによって定義されるものなどの、オーディオエンコーダおよびビデオエンコーダを含むことができる。受信機では、符号化ビットストリーム（１２２）は復号ユニット（１３０）によって復号され、信号（１１７）の同一または近似を表す復号信号（１３２）を生成する。受信機は、参照ディスプレイ（１２５）とは全く異なる特性を有することができるターゲットディスプレイ（１４０）に取り付けることができる。その場合、ディスプレイ管理ブロック（１３５）を使用して、ディスプレイマップ信号（１３７）を生成することによって、復号信号（１３２）のダイナミックレンジをターゲットディスプレイ（１４０）の特性にマッピングすることができる。

スケーラブル符号化
スケーラブル符号化は、すでに、ＭＰＥＧ－２、ＡＶＣ、およびＨＥＶＣのような多くのビデオ符号化標準の一部である。本発明の実施形態では、スケーラブル符号化は、特に非常に高解像度のＨＤＲコンテンツに関するので、性能および柔軟性を改善するために拡張される。

本明細書で使用されるように、「シャッタ角度」という用語は、各フレームインターバルの間にフィルムが光に曝される時間の割合を制御する調節可能なシャッタ設定を示す。例えば、一実施形態では、

である。

この用語は、伝来の機械的な回転シャッタに起源を持つが、現代のデジタルカメラもまた、シャッタを電子的に調整することができる。映画撮影者は、シャッタ角度を使用して、各フレームに記録されるモーションブラーやジャダーの量を制御することができる。なお、「露光時間」の代わりに、「露光持続時間」、「シャッタインターバル」、「シャッタスピード」などの代替用語を用いてもよい。同様に、「フレームインターバル」の代わりに、「フレーム持続時間」という用語を用いてもよい。あるいは、「フレームインターバル」を「１／フレームレート」に置き換えてもよい。露光時間の値は、通常、フレームの持続時間以下である。例えば、１８０度のシャッタ角度は、露光時間がフレーム持続時間の半分であることを示す。いくつかの状況では、露光時間が、例えば、符号化フレームレートが１２０ｆｐｓであり、符号化および表示前の関連するビデオコンテンツのフレームレートが６０ｆｐｓである場合、符号化ビデオのフレーム持続時間よりも長くてもよい。

限定ではなく、オリジナルコンテンツが３６０度のシャッタ角度でオリジナルフレームレート（例えば、１２０ｆｐｓ）で撮影（または生成）される実施形態を考える。次に、受信装置では、例えば、平均化または当技術分野で知られている他の動作によって、オリジナルフレームの判断力のある結合によって、オリジナルフレームレート以下の様々なフレームレートでビデオ出力をレンダリングすることができる。

結合プロセスは、（例えば、ガンマ、ＰＱまたはＨＬＧを使用して）非線形符号化信号で実行されてもよいが、最良の画質は、最初に、非線形符号化信号を線形光表示に変換し、次に、変換されたフレームを結合し、最後に、出力を非線形伝達関数で再符号化することによって、線形光領域内のフレームを結合することによって得られる。このプロセスは、非線形領域で結合するよりも、物理的なカメラ露光のより正確なシミュレーションを提供する。

一般的に、フレームを結合するプロセスは、オリジナルフレームレート、ターゲットフレームレート、ターゲットシャッタ角度、および結合されるフレーム数の観点から下記のように表現することができる。

これは、

と同等である。

ここで、ｎ＿ｆｒａｍｅｓは結合されたフレームの数であり、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｒａｔｅはオリジナルコンテンツのフレームレートであり、ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅはレンダリングされるフレームレートであり（ここで、ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅ≦ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｒａｔｅ）、ｔａｒｇｅｔ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅは所望のモーションブラーの量を示す。この例では、ｔａｒｇｅｔ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅの最大値は３６０度であり、最大モーションブラーに対応する。ｔａｒｇｅｔ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅの最小値は３６０＊（ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅ／ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｒａｔｅ）と表すことができ、最小モーションブラーに対応する。ｎ＿ｆｒａｍｅｓの最大値は、（ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｒａｔｅ／ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅ）として表すことができる。ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅおよびｔａｒｇｅｔ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅの値は、ｎ＿ｆｒａｍｅの値が非ゼロ整数であるように選択されるべきである。

オリジナルフレームレートが１２０ｆｐｓである特別な場合、数式（２）は、

として書き換えることができ、これは、

と同等である。
ｔａｒｇｅｔ＿ｆｒａｍｅ＿ｒａｔｅ、ｎ＿ｆｒａｍｅｓ、およびｔａｒｇｅｔ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅの値の間の関係は、ｏｒｉｇｉｎａｌ＿ｆｒａｍｅ＿ｒａｔｅ＝１２０ｆｐｓの場合について表１に示される。表１において、「ＮＡ」は、ターゲットフレームレートと結合フレーム数との対応する結合が許可されていないことを示す。

図２は、一実施形態による、ターゲットシャッタ角度でターゲットフレームレートをレンダリングするために、連続したオリジナルフレームを結合する例示的なプロセスを示す。１２０ｆｐｓでの入力シーケンス（２０５）および３６０度のシャッタ角度が与えられた場合、プロセスは、５つの連続するフレームのセット内の入力フレームの３つ（例えば、最初の３つの連続するフレーム）を結合させ、他の２つをドロップすることによって、２４ｆｐｓおよび２１６度のシャッタ角度での出力ビデオシーケンス（２１０）を生成する。いくつかの実施形態では、（２１０）の出力フレーム０１は、フレーム１、３、および５、またはフレーム２、４、および５などの入力フレーム（２０５）のどれかを結合することによって生成され得るが、連続するフレームを結合することはより良好な品質のビデオ出力をもたらすと考えられることに留意されたい。

例えば、芸術的およびスタイル的効果を管理するために、可変フレームレートでオリジナルコンテンツをサポートすることが望ましい。また、オリジナルコンテンツの可変入力フレームレートは、コンテンツの生成、交換、および配信を単純化するために、固定フレームレートを有する「コンテナ」にパッケージ化されることが望ましい。一例として、固定フレームレートコンテナにおいて可変フレームレートビデオデータをどのように表現するか、に関する３つの実施形態が提示される。明確にするために、および限定することなく、以下の説明は固定１２０ｆｐｓコンテナを使用するが、アプローチは代替のフレームレートコンテナに容易に拡張することができる。

第１の実施形態（可変フレームレート）
第１の実施形態は、一定のフレームレートを有するコンテナにパッケージされた可変（一定でない）フレームレートを有するオリジナルコンテンツの明示的な記述である。例えば、異なるシーンに対して、異なるフレームレート、例えば、２４、３０、４０、６０、または１２０ｆｐｓを有するオリジナルコンテンツは、１２０ｆｐｓの一定のフレームレートを有するコンテナにパッケージされてもよい。この例では、各入力フレームは、５ｘ、４ｘ、３ｘ、２ｘ、または１ｘ回複製して、共通の１２０ｆｐｓコンテナにパッケージ化できる。

図３は、固定フレームレートを有する符号化ビットストリームＢで表される可変フレームレートおよび可変シャッタ角度を有する入力ビデオシーケンスＡの一例を示す。そして、デコーダにおいて、デコーダは、シーン毎に変化し得る、所望のフレームレートおよびシャッタ角度で出力ビデオシーケンスＣを再構成する。例えば、図３に示すように、シーケンスＢを構成するために、入力フレームのいくつかは複製され、いくつかはそのまま（複製なしで）符号化され、いくつかは４回コピーされる。次いで、シーケンスＣを構築するために、各複製フレームから任意の１つのフレームを選択し、オリジナルフレームレートおよびシャッタ角度が一致する出力フレームを生成する。

この実施形態では、メタデータがビットストリームに挿入され、オリジナル（基本）フレームレートおよびシャッタ角度を示す。メタデータは、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスまたはタイルグループヘッダなどの高レベルシンタックスを使用して、信号を送ることができる。メタデータの存在は、エンコーダおよびデコーダが以下のような有益な機能を実行することを可能にする。
ａ）エンコーダは複製したフレームを無視することができ、それによって、符号化速度を向上させ、プロセスを単純化する。たとえば、複製フレーム内のすべてのコーディングツリーユニット（ＣＴＵ）は、ＳＫＩＰモードおよび参照フレームのＬＩＳＴ０における参照インデックス０を使用して符号化できる。これは複製フレームがコピーされる復号されたフレームを参照する。
ｂ）デコーダは複製フレームの復号をバイパスすることができ、それによってプロセスを単純化する。たとえば、ビットストリーム内のメタデータは、フレームが、新しいフレームをコピーすることによりおよび復号することなく、デコーダが再現できる、以前に復号されたフレームの複製であることを示すことができる。
ｃ）再生装置は、ベースフレームレートを示すことによって、例えばフレームレート変換またはノイズ低減アルゴリズムを調整することによって、ダウンストリームプロセスを最適化することができる。

この実施形態は、エンドユーザがコンテンツクリエータによって意図されたフレームレートでレンダリングされたコンテンツを見ることを可能にする。この実施形態は、コンテナのフレームレート、例えば１２０ｆｐｓをサポートしないデバイスとの後方互換性を提供しない。

表２および表３は、シーケンスパラメータセットおよびタイルグループヘッダの生バイトシーケンスペイロード（ＲＢＳＰ）のシンタックス例を示しており、ここでは、提案された新しいシンタックス要素は強調表示されたフォントで示されている。残りのシンタックスは、汎用ビデオコーデック（ＶＶＣ）（参照文献［２］）の提案された仕様におけるシンタックスに従う。

例として、ＳＰＳ（表２参照）では、可変フレームレートを有効にするフラグを追加できる。
ｓｐｓ＿ｖｆｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいことは、コード化ビデオシーケンス（ＣＶＳ）に可変フレームレートコンテンツを含めることができることを明示する。ｓｐｓ＿ｖｆｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことは、ＣＶＳに固定フレームレートコンテンツを含めることができることを明示する。
ｔｉｌｅ＿ｇｒｏｕｐｈｅａｄｅｒ（）（表３参照）では、
ｔｉｌｅ＿ｇｒｏｕｐ＿ｖｒｆ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいことは、シンタックス要素ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｒｕｅ＿ｆｒおよびｔｉｌｅ＿ｇｒｏｕｐ＿ｓｈｕｔｔｅｒａｎｇｌｅがシンタックスに存在することを明示する。ｔｉｌｅ＿ｇｒｏｕｐ＿ｖｒｆ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいことは、シンタックス要素ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｒｕｅ＿ｆｒおよびｔｉｌｅ＿ｇｒｏｕｐ＿ｓｈｕｔｔｅｒａｎｇｌｅがシンタックスに存在しないことを明示する。ｔｉｌｅ＿ｇｒｏｕｐ＿ｖｒｆ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、０であることを暗示する。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｔｒｕｅ＿ｆｒは、このビットストリームで伝送されるビデオデータの実際のフレームレートを示す。ｔｉｌｅ＿ｇｒｏｕｐ＿ｓｈｕｔｔｅｒａｎｇｌｅは、このビットストリームで伝送されるビデオデータの実際のフレームレートに対応するシャッタ角度を示す。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｓｋｉｐ＿ｆｌａｇが１に等しいことは、現在のタイルグループが別のタイルグループからコピーされることを明示する。ｔｉｌｅ＿ｇｒｏｕｐ＿ｓｋｉｐ＿ｆｌａｇが０に等しいことは、現在のタイルグループが別のタイルグループからコピーされないことを明示する。
ｔｉｌｅ＿ｇｒｏｕｐ＿ｃｏｐｙ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは、ｔｉｌｅ＿ｇｒｏｕｐ＿ｓｋｉｐ＿ｆｌａｇが１に設定されているときに現在のピクチャがコピーする、以前に復号されたピクチャのピクチャオーダーカウントモジュロＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂを明示する。

第２の実施形態－固定フレームレートコンテナ
第２の実施形態は、固定フレームレートおよびシャッタ角度を有するオリジナルコンテンツが、図２に例示されているような、代替フレームレートおよび可変シミュレートされたシャッタ角度で、デコーダによってレンダリングされ得るユースケースを可能にする。例えば、オリジナルコンテンツが、１２０ｆｐｓのフレームレートおよび３６０度のシャッタ角度（シャッタが１／１２０秒開いていることを意味する）を有する場合、デコーダは、１２０ｆｐｓ以下の複数のフレームレートをレンダリングすることができる。例えば、表１に記載されるように、２１６度のシミュレートされたシャッタ角度で２４ｆｐｓを復号するために、デコーダは３つの復号されたフレームを結合し、２４ｆｐｓで表示することができる。表４は表１に拡大され、出力ターゲットフレームレートおよび所望のターゲットシャッタ角度でレンダリングするために、異なる数の符号化フレームを組み合わせる方法を示す。フレームの結合は、単純なピクセル平均によって、あるフレームからのピクセルが他のフレームのピクセルよりも多く重み付けされ、すべての重みの合計が１になる重み付けピクセル平均によって、または当技術分野で知られている他のフィルタ補間スキームによって実行され得る。表４において、関数Ｃｅ（ａ，ｂ）は、符号化フレームａ～ｂの組み合わせを示し、この組み合わせは、平均化、重み付け平均化、フィルタリングなどによって実行することができる。

ターゲットシャッタ角度の値が３６０度未満の場合、デコーダは異なる組の復号フレームを結合できる。例えば、表１から、１２０ｆｐｓ、３６０度でのオリジナルストリームが与えられると、４０ｆｐｓおよび２４０度のシャッタ角度でストリームを生成するために、デコーダは、３つの可能なフレームのうちの２つのフレームを結合する必要がある。したがって、１番目と２番目のフレーム、または２番目と３番目のフレームのいずれかを組み合わせることができる。どのフレームを結合するかの選択は、以下のように表現される「復号フェーズ」に関して説明することができる。

ここで、ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘは、［０，ｎ＿ｆｒａｍｅｓ＿ｍａｘ－１］のインデックス値を持つ一連のシーケンシャルフレーム内のオフセットインデックスを示し、ここで、ｎ＿ｆｒａｍｅｓは数式（２）によって与えられる。

一般に、ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘは、［０，ｎ＿ｆｒａｍｅｓ＿ｍａｘ－ｎ＿ｆｒａｍｅｓ］の範囲である。例えば、１２０ｆｐｓおよび３６０度のシャッタ角度におけるオリジナルシーケンスに対して、２４０度のシャッタ角度における４０ｆｐｓのターゲットフレームレートに対して、ｎ＿ｆｒａｍｅｓ＿ｍａｘ＝１２０／４０＝３である。数式（２）から、ｎ＿ｆｒａｍｅｓ＝２であるため、ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘは［０，１］の範囲である。したがって、ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘ＝０は、インデックス０と１のフレームを選択することを示し、ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘ＝１は、インデックス１と２のフレームを選択することを示す。

この実施形態では、コンテンツ作成者によって意図されたレンダリングされた可変フレームレートは、補足エンハンスメント情報（ｓｕｐｐｌｅｍｅｎｔａｌｅｎｈａｎｃｅｍｅｎｔｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージのような、またはビデオユーザビリティ情報（ｖｉｄｅｏｕｓａｂｉｌｉｔｙｉｎｆｏｒｍａｔｉｏｎ）（ＶＵＩ）のようなメタデータとしてシグナリングされてもよい。任意選択的に、レンダリングされたフレームレートは、受信機またはユーザによって制御され得る。コンテンツ作成者の好ましいフレームレートおよびシャッタ角度を指定するフレームレート変換ＳＥＩメッセージングの一例を表５に示す。ＳＥＩメッセージは、結合フレームが符号化信号領域（例えば、ガンマ、ＰＱなど）または線形光領域で実行されるかどうかを示すこともできる。ポスト処理には、デコーダピクチャバッファ（ＤＰＢ）に加えてフレームバッファが必要であることに留意されたい。ＳＥＩメッセージは、必要な追加フレームバッファの数、またはフレームを結合するためのいくつかの代替方法を示し得る。例えば、複雑さを低減するために、フレームは低減された空間解像度で再結合されてもよい。

表４に示すように、フレームレートとシャッタ角度とのある組み合わせ（例えば、３０ｆｐｓおよび３６０度、または２４ｆｐｓおよび２８８または３６０度）では、デコーダは３つ以上の復号フレームを結合する必要があり、これはデコーダによって必要とされるバッファスペースの数を増加させる。デコーダ内の余分なバッファ空間の負担を軽減するために、いくつかの実施形態では、フレームレートおよびシャッタ角度の特定の組み合わせは、許容される復号パラメータのセットに対して（例えば、適切なコーディングプロファイルおよびレベルを設定することによって）限定されてもよい。

再び、一例として、２４ｆｐｓでの再生の場合を考えると、デコーダは、１２０ｆｐｓの出力フレームレートで表示されるべき同じフレームを５回表示することを決定することができる。これは、２４ｆｐｓの出力フレームレートでフレームを１回示すことと全く同じである。一定の出力フレームレートを維持する利点は、ディスプレイが一定のクロック速度で動作できることであり、これにより、すべてのハードウェアがはるかに単純になる。ディスプレイがクロックスピードを動的に変化させることができる場合、同じフレームを５回（それぞれ１／１２０秒）繰り返す代わりに、フレームを１回（１／２４秒）だけ表示する方が理にかなう。前者のアプローチは、わずかに高い画質、わずかにより良い光学的効率、またはわずかにより良い電力効率をもたらし得る。同様の考察は、他のフレームレートにも適用可能である。

表５は、一実施形態によるフレームレート変換ＳＥＩメッセージングシンタックスの一例を示す。

ｆｒａｍｅｒａｔｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｃａｎｃｅｌ＿ｆｌａｇ＝１は、ＳＥＩメッセージが出力順で以前のフレームレート変換ＳＥＩメッセージの永続性をキャンセルすることを示す。ｆｒａｍｅｒａｔｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｃａｎｃｅｌ＿ｆｌａｇ＝０は、フレームレート変換情報が後に続くことを示す。
ｂａｓｅ＿ｆｒａｍｅ＿ｒａｔｅは、所望のフレームレートを指定する。
ｂａｓｅ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅは、所望のシャッタ角度を指定する。
ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝１は、復号フェーズ情報が存在することを指定する。ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０は、復号フェーズ情報が存在しないことを指定する。
ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘは、インデックス値０．．（ｎ＿ｆｒａｍｅｓ＿ｍａｘ－１）を有する一連のシーケンシャルフレーム内のオフセットインデックスを示し、ここで、ｎ＿ｆｒａｍｅｓ＿ｍａｘ＝１２０／ｂａｓｅ＿ｆｒａｍｅ＿ｒａｔｅである。ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘの値は、０．．（ｎ＿ｆｒａｍｅｓ＿ｍａｘ－ｎ＿ｆｒａｍｅｓ）の範囲でなければならず、ここで、ｎ＿ｆｒａｍｅｓ＝ｂａｓｅ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ／（３＊ｂａｓｅ＿ｆｒａｍｅ＿ｒａｔｅ）である。ｄｅｃｏｄｅ＿ｐｈａｓｅ＿ｉｄｘが存在しない場合、０と推測される。
ｃｏｎｖｅｒｓｉｏｎ＿ｄｏｍａｉｎ＿ｉｄｃ＝０は、フレーム結合が線形領域で実行されることを指定する。ｃｏｎｖｅｒｓｉｏｎ＿ｄｏｍａｉｎ＿ｉｄｃ＝１は、フレーム結合が非線形領域で実行されることを指定する。
ｎｕｍ＿ｆｒａｍｅ＿ｂｕｆｆｅｒｓは、追加のフレームバッファ数を指定する（ＤＰＢはカウントしない）。
ｆｒａｍｅｒａｔｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、カレントレイヤのフレームレート変換ＳＥＩメッセージの持続性を指定する。ｆｒａｍｅｒａｔｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇ＝０の場合、フレームレート変換ＳＥＩメッセージが現在の復号ピクチャにのみ適用されることを指定する。ｐｉｃＡをカレントピクチャとする。ｆｒａｍｅｒａｔｅ＿ｃｏｎｖｅｒｓｉｏｎ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇ＝１は、以下の条件の１つ以上が真になるまで、カレントレイヤのフレームレート変換ＳＥＩメッセージが出力順に持続することを指定する。
－カレントレイヤの新しい符号化レイヤワイズビデオシーケンス（ＣＬＶＳ）が始まる。
－ビットストリームが終了する。
－カレントレイヤに適用可能なフレーマレート変換ＳＥＩメッセージを含むアクセスユニット内のカレントレイヤ内のピクチャｐｉｃＢが出力され（ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＢ）はＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）よりも大きい）、ここで、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＢ）およびＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＡ）はそれぞれ、ｐｉｃＢおよびｐｉｃＡのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値であり、ｐｉｃＢのピクチャ順序カウントのための復号プロセスの呼び出しの直後である。

第３の実施形態－複数のシャッタ角度で符号化された入力
第３の実施形態は、ビットストリームからのサブフレームレートの抽出を可能にし、したがって、後方互換性をサポートする符号化方式である。ＨＥＶＣでは、これは時間的スケーラビリティによって達成される。時間的レイヤのスケーラビリティは、復号フレームのｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素に異なる値を割り当てることによって有効になる。これにより、ビットストリームはｔｅｍｐｏｒａｌ＿ｉｄ値に基づいて単純に抽出できる。しかしながら、時間的スケーラビリティに対するＨＥＶＣスタイルのアプローチは、異なるシャッタ角度で出力フレームレートをレンダリングすることを可能にしない。例えば、１２０ｆｐｓのオリジナルから抽出された６０ｆｐｓのベースフレームレートは、常に１８０度のシャッタ角度を有する。

ＡＴＳＣ３．０では、３６０度のシャッタ角度を有する６０ｆｐｓのフレームが２つの１２０ｆｐｓフレームの重み付け平均としてエミュレートされる他の方法が記載されている。エミュレートされた６０ｆｐｓフレームには０のｔｅｍｐｏｒａｌ＿ｉｄ値が割り当てられ、ｔｅｍｐｏｒａｌ＿ｉｄ値１が割り当てられたオリジナルの１２０ｆｐｓフレームと交互に結合される。６０ｆｐｓが必要な場合、デコーダはｔｅｍｐｏｒａｌ＿ｉｄが０のフレームのみを復号する必要がある。１２０ｆｐｓが必要な場合、デコーダは、対応する各ｔｅｍｐｏｒａｌ＿ｉｄ＝０フレーム（すなわち、エミュレートされた６０ｆｐｓフレーム）のスケールされたバージョンから各ｔｅｍｐｏｒａｌ＿ｉｄ＝１フレーム（すなわち、１２０ｆｐｓフレーム）を減算して、明示的に送信されなかった対応するオリジナルの１２０ｆｐｓフレームを回復し、それによって、オリジナルの１２０ｆｐｓフレームをすべて再構成することができる。

本発明の実施形態では、後方互換性（ＢＣ）である方法で、複数のターゲットフレームレートおよびターゲットシャッタ角度をサポートする新しいアルゴリズムが記載される。オリジナルの１２０ｆｐｓコンテンツをいくつかのシャッタ角度での基本フレームレートで前処理することが提案される。次いで、デコーダにおいて、種々の他のシャッタ角度における他のフレームレートを簡単に導出することができる。ＡＴＳＣ３．０手法は提案された方式の特殊なケースと考えることができ、ここで、ｔｅｍｐｏｒａｌ＿ｉｄ＝０を有するフレームは６０ｆｐｓ＠３６０シャッタ角度でフレームを搬送し、ｔｅｍｐｏｒａｌ＿ｉｄ＝１を有するフレームは、６０ｆｐｓ＠１８０シャッタ角度でフレームを搬送する。

第１の例として、図４に描かれているように、４０ｆｐｓのベースレイヤフレームレートと、１２０、２４０、および３６０度のシャッタ角度とを有するシーケンスを符号化するために使用される、１２０ｆｐｓおよび３６０シャッタ角度での入力シーケンスを検討する。この方式では、エンコーダは、オリジナルの入力フレームのうちの３つまでを結合することによって新しいフレームを算出する。例えば、４０ｆｐｓおよび２４０度での入力を表す符号化フレーム２（Ｅｎ－２）は入力フレーム１および２を結合することによって生成され、４０ｆｐｓおよび３６０度での入力を表す符号化フレーム３（Ｅｎ－３）はフレームＥｎ－２を入力フレーム３に結合することによって生成される。デコーダでは、入力シーケンスを再構成するために、復号フレーム２（Ｄｅｃ－２）はフレームＥｎ－２からフレームＥｎ－１を減算することによって生成され、復号フレーム３（Ｄｅｃ－３）はフレームＥｎ－３からフレームＥｎ－２を減算することによって生成される。３つの復号フレームは、１２０ｆｐｓの基本フレームレートおよび３６０度のシャッタ角度での出力を表す。追加のフレームレートおよびシャッタ角度は、表６に示されるように、復号フレームを使用して外挿することができる。表６において、関数Ｃｓ（ａ，ｂ）は、入力フレームａ～ｂの組み合わせを示し、この組み合わせは、平均化、重み付け平均化、フィルタリングなどによって実行することができる。

このアプローチの利点は、表６に示すように、４０ｆｐｓバージョンすべてを、さらなる処理なしに復号できることである。別の利点は、他のフレームレートを様々なシャッタ角度で導出することができることである。例えば、３０ｆｐｓおよび３６０のシャッタ角度で復号するデコーダを考える。表４から、出力は、Ｃｅ（１，４）＝Ｃｓ（１，４）、Ｃｓ（５，８）、Ｃｓ（９，１２）などによって生成されるフレームのシーケンスに対応し、これらは表６に示される復号シーケンスにも一致するが、表６では、Ｃｓ（５，８）＝ｅ６－ｅ４＋ｅ８である。一実施形態では、ルックアップテーブル（ＬＵＴ）を使用して、指定された出力フレームレートおよびエミュレートされたシャッタ角度で出力シーケンスを生成するために、復号フレームをどのように組み合わせる必要があるかを定義することができる。

別の例では、以下に示すように、７２、１４４、２１６、２８８、および３６０度のシャッタ角度での２４ｆｐｓベースレイヤの抽出を単純化するために、エンコーダ内で最大５つのフレームを結合させることが提案される。これは、レガシーテレビ上で、２４ｆｐｓで最良に提示される映画コンテンツにとって望ましい。

表７に示すように、復号フレームレートがベースラインフレームレート（２４ｆｐｓ）と一致する場合、５つのフレーム（例えば、ｅ１～ｅ５）の各グループにおいて、デコーダは所望のシャッタ角度（例えば、１４４度のシャッタ角度に対してｅ２）で１つのフレームを単に選択することができる。異なるフレームレートおよび特定のシャッタ角度で復号するために、デコーダは、復号フレームを（例えば、加算または減算によって）どのように適切に結合するかを決定する必要がある。例えば、３０ｆｐｓおよび１８０度のシャッタ角度で復号するために、以下のステップに従うことができる。
ａ）デコーダは、１２０ｆｐｓおよび３６０度で、後方互換性を何ら考慮することなく送信する仮想エンコーダを検討することができ、次いで、表１から、デコーダは、所望のフレームレートおよびシャッタ角度で出力シーケンスを生成するために、４フレームのうち２フレームを組み合わせる必要がある。例えば、表４に示されるように、シーケンスはＣｅ（１，２）＝Ａｖｇ（ｓ１，ｓ２）、Ｃｅ（５，６）＝Ａｖｇ（ｓ５，ｓ６）などを含み、ここで、Ａｖｇ（ｓ１，ｓ２）は、フレームｓ１およびｓ２の平均を示すことができる。
ｂ）定義により、符号化フレームはｅ１＝ｓ１、ｅ２＝Ａｖｇ（ｓ１，ｓ２）、ｅ３＝Ａｖｇ（ｓ１，ｓ３）などと表現できることを前提として、ステップａ）におけるフレームのシーケンスも次のように表現できることを容易に導き出すことができる。
－Ｃｅ（１，２）＝Ａｖｇ（ｓ１，ｓ２）＝ｅ２
－Ｃｅ（５，６）＝Ａｖｇ（ｓ５，ｓ６）＝Ａｖｇ（ｓ１，ｓ５）－Ａｖｇ（ｓ１，ｓ４）＋ｓ６＝ｅ５－ｅ４＋ｅ６
－ｅｔｃ．
以前と同様に、復号フレームの適切な結合を事前に算出し、ＬＵＴとして利用可能にすることができる。

提案された方法の利点は、コンテンツ作成者とユーザの両方にオプションを提供すること、すなわち、ディレクトリ／編集上の選択およびユーザの選択を可能にすることである。例えば、エンコーダ内の前処理内容は、様々なシャッタ角度でベースフレームレートを作成することを可能にする。各シャッタ角度には［０，（ｎ＿ｆｒａｍｅｓ－１）］の範囲のｔｅｍｐｏｒａｌ＿ｉｄ値を割り当てることができ、ここで、ｎ＿ｆｒａｍｅｓは基本フレームレートで割った１２０に等しい値を有する。（たとえば、ベースフレームレートが２４ｆｐｓの場合、ｔｅｍｐｏｒａｌ＿ｉｄは［０，４］の範囲にある。）圧縮効率を最適化するか、もしくは美的な理由によるか、選択できる。一部のユースケースでは、たとえば、上位ストリーミングの場合、異なる基本レイヤを持つ複数のビットストリームを符号化して保存し、ユーザに提供して選択することができる。

開示される方法の第２の例では、複数の後方互換性フレームレートがサポートされ得る。理想的には、２４ｆｐｓの基本レイヤを得るために２４フレーム／秒で復号し、３０ｆｐｓのシーケンスを得るために３０フレーム／秒で、６０ｆｐｓのシーケンスを得るために６０フレーム／秒で復号し、等々が可能であることを望む。ターゲットシャッタ角度が指定されていない場合、ソースフレームレートおよびターゲットフレームレートに許容されるシャッタ角度のうち、１８０度にできるだけ近いデフォルトターゲットシャッタ角度が推奨される。例えば、表７に示す値では、１２０、６０、４０、３０、および２４でのｆｐｓの好ましいターゲットシャッタ角度は、３６０度、１８０度、１２０度、１８０度、および２１６度である。

上記の例から、コンテンツをどのように符号化するかの選択は、特定のベースレイヤフレームレートを復号する複雑さに影響を及ぼし得ることが認められる。本発明の一実施形態は、所望のベースレイヤフレームレートに基づいて符号化方式を適応的に選択することである。映画コンテンツの場合、これは、例えば、２４ｆｐｓとすることができ、一方、スポーツの場合、６０ｆｐｓとすることができる。

本発明のＢＣ実施形態のための例示的なシンタックスは、以下の表８および表９に示される。
ＳＰＳ（表８）では、ＳＰＳ＿ｈｆｒ＿ＢＣ＿ｅｎａｂｌｅｄ＿ｆｌａｇおよびＳＰＳ＿ｂａｓｅ＿ｆｒａｍｅｒａｔｅの２つのシンタックス要素が追加される（ＳＰＳ＿ｈｆｒ＿ＢＣ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に設定されている場合）。
ｓｐｓ＿ｈｆｒ＿ＢＣ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝１は、後方互換性のある高フレームレートが符号化ビデオシーケンス（ＣＶＳ）で有効になることを指定する。ｓｐｓ＿ｈｆｒ＿ＢＣ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝０は、後方互換性のある高フレームレートがＣＶＳで有効になっていないことを指定する。
ｓｐｓ＿ｂａｓｅ＿ｆｒａｍｅｒａｔｅは、カレントＣＶＳの基本フレームレートを指定する。
タイルグループヘッダでは、ｓｐｓ＿ｈｆｒ＿ＢＣ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に設定されている場合、シンタックスｎｕｍｂｅｒ＿ａｖｇ＿ｆｒａｍｅｓがビットストリームで送信される。
ｎｕｍｂｅｒ＿ａｖｇ＿ｆｒａｍｅｓは、ベースフレームレートでカレントピクチャを生成するために結合される、最も高いフレームレート（例えば、１２０ｆｐｓ）でのフレーム数を指定する。

第２の実施形態（固定フレームレート）の変形例
ＨＥＶＣ（Ｈ．２６５）符号化標準（参照文献［１］）および開発中のＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇＳｔａｎｄａｒｄ（一般にＶＶＣと呼ばれる。参照文献［２］を参照）では、ピクチャをフレームとして、または１つ以上のフィールドとして表示するかどうか、および復号ピクチャを繰り返すかどうか、を示すシンタックス要素ｐｉｃ＿ｓｔｒｕｃｔを定義する。ＨＥＶＣからの表Ｄ．２「ｐｉｃ＿ｓｔｒｕｃｔの解釈」のコピーは、参照のために付録に提供される。

発明者によって認識されるように、既存のｐｉｃ＿ｓｔｒｕｃｔシンタックス要素は、固定フレームレートコーディングコンテナを使用する場合に、コンテンツフレームレートの特定のサブセットのみをサポートできることに留意することが重要である。たとえば、６０ｆｐｓの固定フレームレートコンテナを使用する場合、既存のｐｉｃ＿ｓｔｒｕｃｔシンタックスは、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１のとき、フレームダブリングを使用することで３０ｆｐｓを、フレームダブリングとフレームトリプルを使用することで２４ｆｐｓを、互いのフレームごとに交互にサポートできる。ただし、１２０ｆｐｓの固定フレームレートコンテナを使用する場合、カレントｐｉｃ＿ｓｔｒｕｃｔシンタックスは、２４ｆｐｓまたは３０ｆｐｓのフレームレートをサポートできない。この問題を軽減するために、２つの新しい方法が提案されている。一方はＨＥＶＣバージョンの拡張であり、他方はそうではない。

方法１：後方互換性のないｐｉｃ＿ｓｔｒｕｃｔ
ＶＶＣは依然として開発中であり、したがって、最大の自由度でシンタックスを設計することができる。一実施形態では、ｐｉｃ＿ｓｔｒｕｃｔにおいて、フレームダブリングおよびフレームトリプリングのためのオプションを除去し、ｐｉｃ＿ｓｔｒｕｃｔの特定の値を使用して任意のフレーム繰り返しを示し、繰り返すフレームの数を指定する、新しいシンタックス要素ｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ２を追加することが提案される。提案されたシンタックスの一例は以下の表に記載されており、ここで、表１０はＨＥＶＣにおける表Ｄ．２．３に対する変更を示し、表１１は、付録に示される表Ｄ．２の変更を示す。

ｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ２＋２は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１の場合、数式Ｅ－７３で与えられるＤｐｂＯｕｔｐｕｔＥｌｅｍｅｎｔａｌＩｎｔｅｒｖａｌ［ｎ］に等しいフレーム更新インターバルで、フレームをｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ２＋２回連続してディスプレイに表示する必要があることを示す。

方法２：ＨＥＶＣバージョンのｐｉｃ＿ｓｔｒｕｃｔの拡張バージョン
ＡＶＣおよびＨＥＶＣデコーダはすでに採用されているため、古いオプションを削除せずに、既存のｐｉｃ＿ｓｔｒｕｃｔシンタックスを単に拡張することが望ましい場合がある。実施形態では、新しいｐｉｃ＿ｓｔｒｕｃｔ＝１３、「フレーム繰り返し拡張」値、および新しいシンタックス要素ｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ４が追加される。提案されたシンタックスの一例は、表１２および１３に記載されている。ｐｉｃ＿ｓｔｒｕｃｔ値０～１２では、提案されたシンタックスは表Ｄ．２のものと同じであるため（付録に示すように）、これらの値は簡略化のために省略されている。

ｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ４＋４は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１の場合、数式Ｅ－７３で与えられるＤｐｂＯｕｔｐｕｔＥｌｅｍｅｎｔａｌＩｎｔｅｒｖａｌ［ｎ］に等しいフレーム更新インターバルで、フレームをｎｕｍ＿ｆｒａｍｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｍｉｎｕｓ４＋４回連続してディスプレイに表示する必要があることを示す。

ＨＥＶＣでは、パラメータＦｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがビデオユーザビリティ情報（ＶＵＩ）中に存在するが、シンタックス要素ｐｉｃ＿ｓｔｒｕｃｔ、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅ、およびｄｕｐｌｉｃａｔｅ＿ｆｌａｇはｐｉｃ＿ｔｉｍｉｎｇ（）ＳＥＩメッセージ中にある。実施形態では、ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと共に、すべての関連するシンタックス要素をＶＵＩに移動することが提案される。提案されたシンタックスの一例を表１４に示す。

シャッタ角度情報の代替シグナリング
可変フレームレートを扱う場合、所望のフレームレートと所望のシャッタ角度の両方を識別することが望ましい。従来のビデオ符号化規格では「ビデオユーザビリティ情報」（ＶＵＩ）がアスペクト比、カラープライマリ、クロマサブサンプリングなどのビデオコンテンツの適切な表示のための必須情報を提供する。ＶＵＩは固定ピクレートが１に設定される場合、フレームレート情報を提供することもあるが、シャッタ角度情報のためのサポートはない。実施形態は異なる時間的レイヤに対して異なるシャッタ角度を使用することを可能にし、デコーダは、シャッタ角度情報を使用して、ディスプレイ上の最終的な外観を改善することができる。

例えば、ＨＥＶＣは、より高いフレームレートからより低いフレームレートに移行するために、本質的にフレームドロップ技法を使用する時間的サブレイヤをサポートする。これに関する主問題は、各フレームドロップで有効シャッタ角度が減少することである。たとえば、６０ｆｐｓは１フレームおきにドロップすることで１２０ｆｐｓビデオから派生できる。３０ｆｐｓは４フレームのうち３フレームをドロップすることで派生でき、２４ｆｐｓは５フレームのうち４フレームをドロップすることで派生できる。１２０Ｈｚ用の完全な３６０度シャッタを想定すると、単純なフレームドロッピングでは、６０ｆｐｓ、３０ｆｐｓ、および２４ｆｐｓのシャッタ角度はそれぞれ１８０、９０、および７２度になる［３］。１８０度未満のシャッタ角度は特に５０Ｈｚ未満のフレームレートでは一般的に許容できないことが、経験によって示されている。シャッタ角度情報を提供することによって、例えば、ディスプレイが、各時間的レイヤに対してシャッタ角度を低減した１２０Ｈｚビデオから映画効果を生成することが望ましい場合、スマート技術を適用して、最終的な外観を改善することができる。

別の例では、同じシャッタ角度で異なる時間的レイヤ（例えば、１２０ｆｐｓビットストリーム内の６０ｆｐｓサブビットストリーム）をサポートしたい場合がある。そして、主問題は、１２０ｆｐｓのビデオが１２０Ｈｚで表示されるとき、偶数／奇数フレームは異なる有効シャッタ角度を有することである。ディスプレイが関連情報を有する場合、スマート技術を適用して最終的な外観を改善することができる。提案されたシンタックスの一例が表１５に示されており、ここでは、ＨＥＶＣにおけるＥ．２．１ＶＵＩパラメータシンタックステーブル（参照文献［１］）は、上述のようにシャッタ角度情報をサポートするように修正される。なお、別の実施形態では、シャッタ角度シンタックスを絶対度で表現する代わりに、シャッタ速度に対するフレームレートの比率として表現することもできる（数式（１）参照）。

ｖｕｉ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝１は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造にシャッタ角度情報が存在することを指定する。ｖｕｉ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造にシャッタ角度情報が存在しないことを指定する。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１は、シャッタ角度情報がＣＶＳ内のすべての時間的サブレイヤで同じであることを指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝０は、シャッタ角度情報がＣＶＳ内のすべての時間的サブレイヤで同じではないことを指定する。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅは、ＣＶＳ内のシャッタ角度を度で指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅの値は、０～３６０の範囲である。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ［ｉ］は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいとき、シャッタ角度を度で指定する。ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ［ｉ］の値は、０～３６０の範囲である。

符号化ビデオシーケンス（ＣＶＳ）内の段階的フレームレート更新
実験は、ＨＤＲディスプレイ上に表示されるＨＤＲコンテンツに対して、１００ニト（ｎｉｔｓ）表示における標準ダイナミックレンジ（ＳＤＲ）再生と同じ動きジャダリングを知覚するために、コンテンツの明るさに基づいてフレームレートを増加させる必要があることを示す。ほとんどの標準（ＡＶＣ、ＨＥＶＣ、ＶＶＣなど）では、ビデオフレームレートは、ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅ、ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［ｔｅｍｐｏｒａｌ＿ｉｄ＿ｍａｘ］シンタックス要素を使用して、ＶＵＩ（ＳＰＳに含まれる）で示すことができる。たとえば、以下の表１６に示される（参照文献［１］のセクションＥ．２．１を参照）。

参照文献［１］で論じているように、変数ＣｌｏｃｋＴｉｃｋは、以下のように導出され、クロックチックと呼ばれる。
ＣｌｏｃｋＴｉｃｋ＝ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ÷ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅ
ｐｉｃｔｕｒｅ＿ｄｕｒａｔｉｏｎ＝ＣｌｏｃｋＴｉｃｋ＊（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［ｉ］＋１）
ｆｒａｍｅ＿ｒａｔｅ＝１／ｐｉｃ＿ｄｕｒａｔｉｏｎ

しかしながら、フレームレートは、例えば、ＨＥＶＣにおいて、イントラランダムアクセスポイント（ＩＲＡＰ）フレームにおいてのみ、または新たなＣＶＳの開始においてのみ、特定の時点においてのみ変更することができる。ＨＤＲ再生では、フェードインやフェードアウトの場合、ピクチャの明るさがフレームごとに変わるため、ピクチャごとにフレームレート、またはピクチャの持続時間を変更する必要がある場合がある。フレームレートまたはピクチャ持続時間を任意の時点で（フレーム毎にでも）リフレッシュ可能にするために、一実施形態では、表１７に示すように、「漸進的リフレッシュレート」のための新しいＳＥＩメッセージが提案される。

新しいシンタックスｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋの定義は、ｖｕｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋと同じであり、ｔｉｍｅ＿ｓｃａｌｅの定義は、ｖｕｉ＿ｔｉｍｅ＿ｓｃａｌｅと同じである。
ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは、クロックチックカウンタの１つのインクリメント（クロックチックと呼ばれる）に対応する周波数ｔｉｍｅ＿ｓｃａｌｅＨｚで動作するクロックの時間単位の数である。ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは０より大きいものとする。秒単位のクロックチックは、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋをｔｉｍｅ＿ｓｃａｌｅで割った商に等しくなる。例えば、ビデオ信号のピクチャレートが２５Ｈｚである場合、ｔｉｍｅ＿ｓｃａｌｅは２７００００００に等しく、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは１０８００００に等しく、したがってクロックチックは０．０４秒に等しくてもよい。
ｔｉｍｅ＿ｓｃａｌｅは、１秒間に経過する時間単位の数である。例えば、２７ＭＨｚクロックを使用して時間を測定する時間座標系は、２７００００００のｔｉｍｅ＿ｓｃａｌｅを有する。ｔｉｍｅ＿ｓｃａｌｅの値は０より大きいものとする。
ｇｒａｄｕａｌ＿ｒｅｆｒｅｓｈ＿ｒａｔｅＳＥＩメッセージを使用するピクチャのピクチャ持続時間は、次のように定義される。
ｐｉｃｔｕｒｅ＿ｄｕｒａｔｉｏｎ＝ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ÷ｔｉｍｅ＿ｓｃａｌｅ。

ＳＥＩメッセージによるシャッタ角度情報のシグナリング
前述のように、表１５は、シャッタ角度サポートを有するＶＵＩパラメータシンタックスの例を提供する。一例として、限定するものではないが、表１８は同一のシンタックス要素を列挙しているが、ここではシャッタ角度情報のためのＳＥＩメッセージの一部として挙げられている。ＳＥＩメッセージングは一例としてのみ使用されており、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスまたはタイルグループヘッダなどのような、高レベルシンタックスの他のレイヤで同様のメッセージングが構築されてもよいことに注意されたい。

シャッタ角度は、通常、０～３６０度で表される。例えば、１８０度のシャッタ角度は、露光持続時間がフレーム持続時間の１／２であることを示す。シャッタ角度は、ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＝ｆｒａｍｅ＿ｒａｔｅ＊３６０＊ｓｈｕｔｔｅｒ＿ｓｐｅｅｄとして表すことができ、ここで、ｓｈｕｔｔｅｒ＿ｓｐｅｅｄは露光持続時間であり、ｆｒａｍｅ＿ｒａｔｅはフレーム持続時間の逆数である。与えられた時間的サブレイヤＴｉｄに対するｆｒａｍｅ＿ｒａｔｅは、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ、ｔｉｍｅ＿ｓｃａｌｅ，ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］で示すことができる。例えば、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｔｉｄ］＝１の場合、
ｆｒａｍｅ＿ｒａｔｅ＝
ｔｉｍｅ＿ｓｃａｌｅ／（ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ＊（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］＋１））。

いくつかの実施形態では、シャッタ角度の値（例えば、ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ）は整数でなくてもよく、例えば、１３５．７５度であってもよい。より高い精度を可能にするために、表２１では、ｕ（９）（符号なし９ビット）をｕ（１６）または他の何らかの適切なビット深度（例えば、１２ビット、１４ビット、または１６ビットを超える）で置き換えることができる。

いくつかの実施形態において、シャッタ角度情報を「クロックチック」の観点で表現することが有益であり得る。ＶＶＣにおいて、変数ＣｌｏｃｋＴｉｃｋは、以下のように導出される。

次に、フレーム持続時間と露光持続時間の両方を、クロックチックの倍数または分数として表すことができる。

ここで、ｆＮおよびｆＭは浮動小数点値であり、ｆＮ≦ｆＭである。
そして、

ここで、ＮｕｍｅｒａｔｏｒおよびＤｅｎｏｍｉｎａｔｏｒは、ｆＮ／ｆＭ比を近似する整数である。

表１９は、式（１１）によって示されるＳＥＩメッセージングの例を示す。この例では、シャッタ角度は、実世界のカメラのための０より大きくなければならない。

前述のように、シャッタ角精度のためのｕ（１６）（符号なし１６ビット）の使用は、例示として示され、３６０／２^１６＝０．００５５の精度に対応する。精度は、実際の用途に基づいて調整することができる。たとえば、ｕ（８）を使用すると、精度は３６０／２^８＝１．４０６３になる。
注記：シャッタ角度は０度より大きいが、３６０度以下で表される。例えば、１８０度のシャッタ角度は、露光持続時間がフレーム持続時間の１／２であることを示す。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１は、シャッタ角度値がＣＶＳ内のすべての時間的サブレイヤについて同じであることを指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｉｎ＿ｃｖｓ＿ｆｌａｇ＝０は、シャッタ角度値がＣＶＳ内のすべての時間的サブレイヤについて同じではないことを指定する。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１＋１は、シャッタ角度値を導出するために使用される分子を指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１の値は、０から６５５３５までの範囲内でなければならない。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１＋１は、シャッタ角度値を導出するために使用される分母を指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１の値は、０から６５５３５までの範囲でなければならない。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１の値は、ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１の値以下でなければならない。
可変シャッタ角度は、度で、次のように導出される。
ｓｈｕｔｔｅｒＡｎｇｌｅ＝３６０＊（ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１＋１）÷（ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１＋１））
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときに、シャッタ角度値を導出するために使用される分子を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、０から６５５３５までの範囲内でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときに、シャッタ角度値を導出するために使用される分母を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］の値は、０から６５５３５までの範囲内でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｎｏｍ＿ｍｉｎｕｓ１［ｉ］の値以下でなければならない。
可変サブレイヤシャッタ角度［ｉ］は、度で、以下のように導出される。
ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＡｎｇｌｅ［ｉ］＝３６０＊
（ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１）÷（ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］＋１）

別の実施形態では、フレーム持続時間（例えば、ｆｒａｍｅ＿ｄｕｒａｔｉｏｎ）は何らかの他の手段によって指定されてもよい。例えば、ＤＶＢ／ＡＴＳＣにおいて、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｔｉｄ］＝１のとき、
ｆｒａｍｅ＿ｒａｔｅ＝ｔｉｍｅ＿ｓｃａｌｅ／（ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ＊（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］＋１）），ｆｒａｍｅ＿ｄｕｒａｔｉｏｎ＝１／ｆｒａｍｅ＿ｒａｔｅ。

表１９および後続の表のいくつかのシンタックスは、シャッタ角度が常にゼロよりも大きいと仮定するが、シャッタ角度＝０はいかなるモーションブラーもなくコンテンツが表示されるべき創造的な意図をシグナリングするために使用され得る。これは、グラフィックス、アニメーション、ＣＧＩテクスチャ、マット画面などを動かすためのケースである。したがって、例えば、シグナリングシャッタ角度＝０は、トランスコーダにおいて、（例えば、エッジを保存するトランスコーディングモードを選択するために）ならびにＣＴＡインターフェースまたは３ＧＰＰインターフェースを介してシャッタ角度メタデータを受信するディスプレイにおいて、モード決定に有用であり得る。例えば、シャッタ角度＝０を使用して、ノイズ除去、フレーム補間などの動き処理を実行すべきでないディスプレイに指示することができる。そのような実施形態では、シンタックス要素ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅ＿ｍｉｎｕｓ１およびｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］が、シンタックス要素ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒおよびｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅ［ｉ］によって置き換えることができ、ここで、ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒは、シャッタ角度値を導出するのに使用される分子を指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒの値は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ［ｉ］は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときにシャッタ角度値を導出するために使用される分子を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｎｕｍｅｒ［ｉ］の値は、０～６５５３５の範囲でなければならない（区間の両端を含む）。

別の実施形態では、ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｎｏｍ＿ｍｉｎｕｓ１およびｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｎｏｍ＿ｍｉｎｕｓ１［ｉ］はまた、シンタックス要素ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｎｏｍおよびｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ａｎｇｌｅ＿ｄｅｎｏｍ［ｉ］により置き換えられる。

一実施形態では、表２０に示すように、ＶＶＣでｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝１に設定することによって、ＳＰＳで定義されたｎｕｍ＿ｕｎｉｔｓ＿Ｉｎ＿ｔｉｃｋおよびｔｉｍｅ＿ｓｃａｌｅシンタックスを再利用することができる。このシナリオの下では、ＳＥＩメッセージは露光持続時間ＳＥＩメッセージとして名前を変更することができる。

ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１は、有効露光持続時間値はＣＶＳにおけるすべての時間的サブレイヤについて同じである、ということを指定する。
ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１＋１は、露光持続時間値を導出するのに使用する分子を指定する。ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１の値は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１＋１は、露光持続時間値を導出するために使用される分母を指定する。ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒｉｎｇ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１の値は、ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１の値以下でなければならない。
変数ｆｉｘｅｄＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎは、次のように導出される。
ｆｉｘｅｄＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎ＝（ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１＋１）÷（ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１＋１）＊ＣｌｏｃｋＴｉｃｋｓ。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときの露光持続時間値を導出するために使用される分子を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときの露光持続時間値を導出するために使用される分母を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］の値は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］の値以下でなければならない。
ｉに等しいＨｉｇｅｓｔＴｉｄについての変数ｓｕｂＬａｙｅｒＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎ［ｉ］は次のように導出される。
ｓｕｂＬａｙｅｒＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎ［ｉ］＝（ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１）÷（ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］＋１）＊ＣｌｏｃｋＴｉｃｋ。

別の実施形態では、表２１に示すように、シンタックス要素ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋおよびｅｘｐｏ＿ｔｉｍｅ＿ｓｃａｌｅによってｃｌｏｃｋＴｉｃｋを明示的に定義することができる。ここでの利点は、前の実施形態と同様に、ＶＶＣにおいて、ｇｅｎｅｒａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇセットが１に設定されているかどうかに依存しないことである。

ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは、クロックチックカウンタの１つのインクリメント（クロックチックと呼ばれる）に対応する周波数タイムスケールＨｚで作動するクロックの時間単位の数である。ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋは０より大きくなければならない。変数ｃｌｏｃｋＴｉｃによって定義されるクロックチックは、秒単位で、ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋをｅｘｐｏ＿ｔｉｍｅ＿ｓｃａｌｅで割った商に等しい。
ｅｘｐｏ＿ｔｉｍｅ＿ｓｃａｌｅは、１秒間に経過する時間単位の数である。
ｃｌｏｃｋＴｉｃｋ＝ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ÷ｅｘｐｏ＿ｔｉｍｅ＿ｓｃａｌｅである。
注記：２つのシンタックス要素（ｅｘｐｏ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋおよびｅｘｐｏ＿ｔｉｍｅ＿ｓｃａｌｅ）は、露光時間を測定するために定義される。
ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋおよびｔｉｍｅ＿ｓｃａｌｅが存在する場合、ｃｌｏｃｋＴｉｃｋはＣｌｏｃｋＴｉｃｋ以下でなければならない。
ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１は、有効露光持続時間値がＣＶＳ内のすべての時間的副レイヤに対して同じであることを指定する。ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ＣＶＳ＿ｆｌａｇ＝０は、ＣＶＳ内のすべての時間的サブレイヤについて有効露光持続時間値が同じでないことを指定する。
ｆｉｘｅｄ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１の場合、変数ｆｉｘｅｄＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎはｃｌｏｃｋＴｉｃｋに設定される。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときの露光持続時間値を導出するために使用される分子を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、０から６５５３５までの範囲でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］＋１は、ＨｉｇｈｅｓｔＴｉｄがｉに等しいときの露光持続時間値を導出するために使用される分母を指定する。ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］の値は、０以上６５５３５までの範囲でなければならない（区間の両端を含む）。
ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］の値は、ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｍｏｍ＿ｍｉｎｕｓ１［ｉ］の値以下でなければならない。
ｉに等しいＨｉｇｅｓｔＴｉｄについての変数ｓｕｂＬａｙｅｒＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎ［ｉ］は、以下のように導出される。
ｓｕｂＬａｙｅｒＥｘｐｏｓｕｒｅＤｕｒａｔｉｏｎ［ｉ］＝（ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］＋１）÷（ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｎｏｍ＿ｍｉｎｕｓ１［ｉ］＋１）＊ｃｌｏｃｋＴｉｃｋ。

前述したように、シンタックスパラメータ、ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ＿ｍｉｎｕｓ１［ｉ］およびｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｎｏｍ＿ｍｉｎｕｓ１［ｉ］はまた、ｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｎｕｍｅｒ［ｉ］およびｓｕｂ＿ｌａｙｅｒ＿ｅｘｐｏｓｕｒｅ＿ｄｕｒａｔｉｏｎ＿ｄｅｎｏｍ［ｉ］によって置き換えられる。

別の実施形態では、表２２に示すように、シンタックス要素ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌおよびｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅによってパラメータＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ（すなわち、露光持続時間）を定義することができ、ここで、

シャッタインターバル情報ＳＥＩメッセージセマンティクス
シャッタインターバル情報ＳＥＩメッセージは、符号化および表示の前の関連するビデオコンテンツ、例えばカメラキャプチャコンテンツに対するシャッタインターバル、画像センサがピクチャを生成するために露光された時間の量を示す。
ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌは、シャッタクロックチックカウンタの１つのインクリメントに対応する周波数ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅＨｚで動作するクロックの時間単位の数を指定する。変数ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌによって定義されるシャッタインターバルは、秒単位で、ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌをｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅで割った商に等しい。例えば、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌが０．０４秒に等しいとき、ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは、２７００００００に等しく、ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌは、１０８００００に等しくてもよい。
ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは、１秒間に経過する時間単位の数を指定する。たとえば、２７ＭＨｚクロックを使用して時間を計測する時間座標系では、ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは２７００００００になる。
ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０より大きい場合、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値は下記によって指定される。
ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ＝ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ÷ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅ。それ以外の場合（ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０に等しい）、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌは未知または指定されていないとして解釈されなければならない。
注記１：０に等しいＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値は、関連するビデオコンテンツがスクリーンキャプチャコンテンツ、コンピュータ生成コンテンツ、または他の非カメラキャプチャコンテンツを含むことを指定する。
注記２：符号化ピクチャレートの逆数の値よりも大きいＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値、符号化ピクチャインターバルは、符号化ピクチャレートが関連するビデオコンテンツが作成されたピクチャレートよりも大きいことを示してもよく、例えば、符号化ピクチャレートが１２０Ｈｚであり、符号化および表示前の関連するビデオコンテンツのピクチャレートが６０Ｈｚである場合である。与えられた時間的サブレイヤＴｉｄのための符号化インターバルは、ＣｌｏｃｋＴｉｃｋおよびｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］によって示されることがある。例えば、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｔｉｄ］＝１のとき、変数ＰｉｃｔｕｒｅＩｎｔｅｒｖａｌ［Ｔｉｄ］によって定義される所与の時間的サブレイヤＴｉｄのためのピクチャインターバルは、下記によって指定されることがある。
ＰｉｃｔｕｒｅＩｎｔｅｒｖａｌ［Ｔｉｄ］＝ＣｌｏｃｋＴｉｃｋ＊（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］＋１）。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｉｎｔｏ＿ｃｖｓ＿ｆｌａｇ＝１は、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値がＣＶＳ内のすべての時間的サブレイヤについて同じであることを指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝０は、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値がＣＶＳ内のすべての時間的サブレイヤについて同じでないことを指定する。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｎｕｍｅｒ［ｉ］は、ＨｉｇｈｅｓｔＴｉｄがｉに等しい場合、変数ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］で定義される、サブレイヤシャッタインターバルを導出するために使用される分子を秒単位で指定する。
ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｄｅｎｏｍ［ｉ］は、ＨｉｇｈｅｓｔＴｉｄがｉに等しい場合に、変数ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］によって定義される、サブレイヤシャッタインターバルを導出するために使用される分母を秒単位で指定する。
ｉに等しいＨｉｇｈｅｓｔＴｉｄについてのｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］の値は、以下のように導出される。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇの値が０に等しく、ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｄｅｎｏｍ［ｉ］の値が０より大きい場合、
ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］＝ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ＊ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｎｕｍｅｒ［ｉ］÷ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｄｅｎｏｍ［ｉ］である。
そうでない場合（ｓｕｂ＿ｌａｙｅｒ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｄｅｎｏｍ［ｉ］の値が０に等しい）、ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］は未知または指定されていないとして解釈されるべきである。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇの値が０に等しくない場合、ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］＝ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌである。

代替的な実施形態では、サブレイヤシャッタインターバルをシグナリングするための分子および分母を使用する代わりに、単一値を使用する。このようなシンタックスの例を表２３に示す。

シャッタインターバル情報ＳＥＩメッセージセマンティクス
シャッタインターバル情報ＳＥＩメッセージは、符号化および表示の前の関連するビデオコンテンツについてのシャッタインターバル、例えば、カメラキャプチャコンテンツに対して、画像センサがピクチャを生成するために露光された時間の量を示す。
ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒは、シャッタクロックチックカウンタの１つのインクリメントに対応する周波数ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅＨｚで動作するクロックの時間単位の数を指定する。変数ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌによって定義されるシャッタインターバルは、秒単位で、ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌをｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅで割った商に等しい。例えば、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌが０．０４秒に等しいとき、ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは２７００００００に等しく、ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌは１０８００００に等しくてもよい。
ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは、１秒間に経過する時間単位の数を指定する。たとえば、２７ＭＨｚクロックを使用して時間を計測する時間座標系では、ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅは２７００００００になる。
ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０より大きい場合、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値は下記により指定される。
ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ＝ｓｉｉ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ÷ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅ。
それ以外の場合（ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０に等しい）、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌは未知または指定されていないとして解釈されるべきである。
注記１：０に等しいＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値は、関連するビデオコンテンツがスクリーンキャプチャコンテンツ、コンピュータ生成コンテンツ、または他の非カメラキャプチャコンテンツを含むことを示し得る。
注記２：符号化ピクチャレートの逆数の値よりも大きいＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値、符号化ピクチャインターバルは、符号化ピクチャレートが関連するビデオコンテンツが生成されたピクチャレートよりも大きいことを示してもよく、例えば、符号化ピクチャレートが１２０Ｈｚであり、符号化および表示前の関連するビデオコンテンツのピクチャレートが６０Ｈｚである場合である。所与の時間的副レイヤＴｉｄについての符号化ピクチャインターバルは、ＣｌｏｃｋＴｉｃｋおよびｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］によって示されることがある。例えば、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ［Ｔｉｄ］＝１のとき、変数ＰｉｃｔｕｒｅＩｎｔｅｒｖａｌ［Ｔｉｄ］によって定義される所定の時間的サブレイヤＴｉｄのためのピクチャインターバルは、下記によって指定される。
ＰｉｃｔｕｒｅＩｎｔｅｒｖａｌ［Ｔｉｄ］＝ＣｌｏｃｋＴｉｃｋ＊（ｅｌｅｍｅｎｔａｌ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１［Ｔｉｄ］＋１）
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｉｎｔｏ＿ｃｖｓ＿ｆｌａｇ＝１は、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値がＣＶＳ内のすべての時間的サブレイヤについて同じであることを指定する。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝０は、ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌの値がＣＶＳ内のすべての時間的サブレイヤについて同じでないことを指定する。
ｓｕｂ＿ｌａｙｅｒ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ［ｉ］は、シャッタクロックチックカウンタの１つのインクリメントに対応する周波数ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅＨｚで動作するクロックの時間単位の数を指定する。変数ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］によって定義されるサブレイヤシャッタインターバルは、秒単位で、ＨｉｇｈｅｓｔＴｉｄがｉに等しいとき、ｓｕｂ＿ｌａｙｅｒ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ［ｉ］をｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅで割った商に等しい。
ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇの値が０に等しく、ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０より大きい場合、ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］の値は、以下によって指定される。
ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］＝ｓｕｂ＿ｌａｙｅｒ＿ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ［ｉ］÷ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅ
それ以外の場合（ｓｉｉ＿ｔｉｍｅ＿ｓｃａｌｅの値が０に等しい）、ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］は未知または指定されていないとして解釈されるべきである。ｆｉｘｅｄ＿ｓｈｕｔｔｅｒ＿ｉｎｔｅｒｖａｌ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇの値が０に等しくない場合、ｓｕｂＬａｙｅｒＳｈｕｔｔｅｒＩｎｔｅｒｖａｌ［ｉ］＝ＳｈｕｔｔｅｒＩｎｔｅｒｖａｌである。

表２４は、シャッタ角度または露光持続時間に関連するＳＥＩメッセージングを提供するための、表１８～２３で議論される６つのアプローチの概要を提供する。

可変フレームレートシグナリング
２０１９年８月０６日に出願された米国仮出願第６２／８８３，１９５号に記載されているように、多くの出願において、デコーダが可変フレームレートで再生をサポートすることが望まれている。フレームレート適応は典型的には、例えば、参照文献［２］の付属書Ｃに記載されているように、仮想参照デコーダ（ＨＲＤ）における動作の一部である。一実施形態では、９０ｋＨｚクロックの関数として、ピクチャプレゼンテーション時間（ＰＰＴ）を定義するシンタックス要素をＳＥＩメッセージングまたは他の手段を介してシグナリングすることが提案される。これは、ＨＲＤで指定された公称デコーダピクチャバッファ（ＤＰＢ）出力時間の一種の繰り返しであるが、現在は、ＭＰＥＧ－２システムで指定された９０ｋＨｚＣｌｏｃｋＴｉｃｋｓ精度を使用している。このＳＥＩメッセージの利点は、ａ）ＨＲＤがイネーブルされない場合、各フレームのタイミングを示すためにＰＰＴＳＥＩメッセージを依然として使用することができること、ｂ）ビットストリームタイミングおよびシステムタイミングの変換を容易にすることができることである。

表２５は、ＭＰＥＧ－２トランスポート（Ｈ．２２２）（参照［４］）で使用されているプレゼンテーションタイムスタンプ（ＰＴＳ）変数のシンタックスに一致する、提案されたＰＰＴタイミングメッセージのシンタックスの例を説明する。

ＰＰＴ（ピクチャプレゼンテーションタイム）
プレゼンテーションタイムは、以下のように復号時間に関連する。ＰＰＴは、３つの別個のフィールドで符号化された３３ビット数である。これは、基本ストリームｎのプレゼンテーションユニットｋのシステムターゲットデコーダにおけるプレゼンテーションの時間ｔｐ_ｎ（ｋ）を示す。ＰＰＴの値は、システムクロック周波数を３００で割った単位（９０ｋＨｚが生成）で指定される。ピクチャプレゼンテーションタイムは、以下の数式に従ってＰＰＴから導出される。
ＰＰＴ（ｋ）＝（（ｓｙｓｔｅｍ＿ｃｌｏｃｋ＿ｆｒｅｑｕｅｎｃｙｘｔｐ_ｎ（ｋ））／３００）％２^３３。
ここで、ｔｐ_ｎ（ｋ）はプレゼンテーションユニットＰ_ｎ（ｋ）のプレゼンテーションタイムである。

参照文献
本明細書に列挙された参照文献の各々は、その全体が参照により組み込まれる。
［１］高効率ビデオコーディング（ＨＥＶＣ），Ｈ．２６５，シリーズＨ、動画の符号化、ＩＴＵ、（０２／２０１８）
［２］Ｂ．Ｂｒｏｓｓ，Ｊ．Ｃｈｅｎ，ａｎｄＳ．Ｌｉｕ，「多様なビデオ符号化（ＶＶＣ）（ドラフト５）」ＪＶＥＴアウトプットドキュメント、ＪＶＥＴ－Ｎ１００１，ｖ５，（２０１９年５月１４日にアップされた）
［３］Ｃ．Ｃａｒｂｏｎａｒａ，Ｊ．ＤｅＦｉｌｉｐｐｉｓ，Ｍ．Ｋｏｒｐｉ，「高フレームレートキャプチャおよび生成」ＳＭＰＴＥ、２０１５年技術コンファレンスおよびエキシビション、２０１５年１０月２６－２９日
［４］オーディオビジュアルサービスのインフラストラクチャ－伝送多重化および同期、Ｈ．２２２．０，シリーズＨ、動画および関連するオーディオ情報の汎用コーディング：Ｓｙｓｔｅｍｓ，ＩＴＵ，０８／２０１８

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラなどの集積回路（ＩＣ）デバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または別の構成可能またはプログラマブル論理デバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、および／またはそのようなシステム、デバイス、またはコンポーネントのうちの１つ以上を含む装置で実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されるようなフレームレートスケーラビリティに関する命令を実行、制御、または実行することができる。コンピュータおよび／またはＩＣは、本明細書に記載するフレームレートスケーラビリティに関連する様々なパラメータまたは値のいずれかを計算してもよい。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実施することができる。

本発明のある特定の実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ内の１つ以上のプロセッサ、エンコーダ、セットトップボックス、トランスコーダなどは、プロセッサにアクセス可能なプログラムメモリ内でソフトウェア命令を実行することによって、上述のフレームレートスケーラビリティに関連する方法を実装することができる。本発明の実施形態はまた、プログラム製品の形態で提供されてもよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含む１組のコンピュータ可読信号を搬送する任意の非一時的かつ有形の媒体を含むことができる。本発明によるプログラム製品は、多種多様な非一時的かつ有形の形態のいずれであってもよい。プログラム製品は、例えば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体などの物理媒体を含むことができる。プログラム製品上のコンピュータ可読信号は、任意選択で、圧縮または暗号化することができる。
構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が上記で言及されている場合、別段の指示がない限り、その構成要素（「手段」への言及を含む）への言及は、本発明の例示的な実施形態において機能を実行する開示された構造と構造的に同等でない構成要素を含む、説明された構成要素（例えば、機能的に同等）の機能を実行する任意の構成要素の同等物を含むものとして解釈されるべきである。

等価物、拡張物、代替物およびその他
したがって、フレームレートスケーラビリティに関連する例示的な実施形態が説明される。前述の明細書では、本発明の実施形態が実施ごとに変化し得る多数の特定の詳細を参照して説明されてきた。したがって、本発明が何であり、出願人によって本発明であることが意図されているものの唯一の排他的な指標は、後続の訂正を含む、そのような特許請求の範囲が発行される特定の形態で、本出願から発行される請求項のセットである。当該請求項に含まれる用語につき本明細書に明示的に記載される定義は、請求項で使用される用語の意味に優先する。したがって、請求項に明示的に記載されていない限定、要素、特性、特徴、利点または属性は、当該請求項の範囲をいかなる方法でも制限すべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。

付録
この付録は、表Ｄ．２のコピーと、Ｈ．２６５仕様（参照文献［１］）からの関連するｐｉｃ＿ｓｔｒｕｃｔ関連情報を提供する。

ｐｉｃ＿ｓｔｒｕｃｔシンタックス要素のセマンティック
ｐｉｃ＿ｓｔｒｕｃｔは、ピクチャをフレームとして表示するか、または１つ以上のフィールドとして表示するかを示し、また、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１のときのフレームの表示については、式Ｅ－７３で与えられるＤｐｂＯｕｔｐｕｔＥｌｅｍｅｎｔａｌＩｎｔｅｒｖａｌ［ｎ］に等しい固定フレーム更新インターバルを使用するディスプレイのフレームダブリングまたはトリプリング繰り返し期間を示すことができる。ｐｉｃ＿ｓｔｒｕｃｔの解釈は表Ｄ．２で規定されている。表Ｄ．２に列挙されていないｐｉｃ＿ｓｔｒｕｃｔの値は、ＩＴＵ－Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約され、この仕様のこのバージョンに準拠するビットストリームには存在しない。デコーダはｐｉｃ＿ｓｔｒｕｃｔの予約値を無視する。
存在する場合、ｐｉｃ＿ｓｔｒｕｃｔの値が以下の条件のうちの正確に１つが真であるように制約されることが、ビットストリーム適合性の要件である。
－ｐｉｃ＿ｓｔｒｕｃｔの値は、ＣＶＳ内のすべてのピクチャについて０、７、または８に等しくなる。
－ｐｉｃ＿ｓｔｒｕｃｔの値は、ＣＶＳ内のすべてのピクチャについて１、２、９、１０、１１、または１２に等しくなる。
－ｐｉｃ＿ｓｔｒｕｃｔの値は、ＣＶＳ内のすべてのピクチャに対して３、４、５、または６に等しくなる。
ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｗｉｔｈｉｎ＿ｃｖｓ＿ｆｌａｇ＝１のとき、フレームダブリングは７に等しいｐｉｃ＿ｓｔｒｕｃｔによって示され、それは、数式Ｅ－７３によって与えられるように、ＤｐｂＯｕｔｐｕｔＥｌｅｍｅｎｔａｌＩｎｔｅｒｖａｌ［ｎ］に等しいフレームリフレッシュインターバルでディスプレイ上に２回連続して表示されるべきであることを示し、そして、フレームトリプリングは８に等しいｐｉｃ＿ｓｔｒｕｃｔによって示され、それは、数式Ｅ－７３によって与えられるように、ＤｐｂＯｕｔｐｕｔＥｌｅｍｅｎｔａｌＩｎｔｅｒｖａｌ［ｎ］に等しいフレームリフレッシュインターバルでディスプレイ上に３回連続して表示されるべきであることを示す。
注記３：フレームダブリングを使用すると、表示を容易にすることができ、たとえば、５０Ｈｚプログレッシブスキャンディスプレイでは２５Ｈｚプログレッシブスキャンビデオ、６０Ｈｚプログレッシブスキャンディスプレイでは３０Ｈｚプログレッシブスキャンビデオを使用できる。フレームダブリングおよびフレームトリプリングを他の各フレーム上で交互に組み合わせて使用することにより、６０Ｈｚプログレッシブスキャンディスプレイ上の２４Ｈｚプログレッシブスキャンビデオの表示を容易にすることができる。
４：２：０、４：２：２、および４：４：４のクロマフォーマットに対するトップフィールドおよびボトムフィールドにおけるサンプルの公称垂直サンプリング位置および公称水平サンプリング位置を、それぞれ図Ｄ．１、図Ｄ．２、および図Ｄ．３に示す。
フィールドのアソシエーションインジケータ（ｐｉｃ＿ｓｔｒｕｃｔが９から１２に等しい）は、相補パリティのフィールドをフレームとして関連付けるためのヒントを提供する。フィールドのパリティはトップまたはボトムとすることができ、一方のフィールドのパリティがトップであり、他方のフィールドのパリティがボトムである場合、２つのフィールドのパリティは相補的と見なされる。
ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝１の場合、表Ｄ．２の３番目の列で指定された制約が適用されることは、ビットストリーム適合性の要件である。
注４：ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０の場合、多くの場合、デフォルト値が他の手段によって推論または示されることができる。ピクチャの意図された表示タイプの他の指示がない場合、デコーダは、ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０のとき、ｐｉｃ＿ｓｔｒｕｃｔの値を０と推論する必要がある。

Claims

可変フレームレートおよびシャッタ角度で符号化ビデオビットストリームを復号する方法であって、前記方法は、プロセッサによって実行され、
符号化ビデオピクチャのシーケンスを含む、符号化ビデオビットストリームを受信することと、
前記符号化ビデオビットストリーム内のすべての時間的サブレイヤについてシャッタ角度情報が固定されているかを示す第１のシャッタ角度フラグを受信することと、
前記第１のシャッタ角度フラグが、前記シャッタ角度情報が固定されていることを示す場合、前記符号化ビデオビットストリーム内のすべての前記時間的サブレイヤについて、固定されたシャッタ角度値を使用して、ビデオピクチャのシーケンスの復号バージョンを表示するための固定されたシャッタ角度値にアクセスすることと、そうでない場合、
サブレイヤシャッタ角度値のアレイを受信することであって、前記時間的サブレイヤの各々について、サブレイヤシャッタ角度値の前記アレイ内の値が、ビデオピクチャのシーケンスの前記時間的サブレイヤの復号バージョンを表示するための対応するシャッタ角度を示す、受信することと、を含む、方法。
前記符号化ビデオピクチャのシーケンス内の復号ピクチャが連続的に表示されるべき回数を示すフレーム繰り返し値の符号化を受信することをさらに含む、請求項１に記載の方法。
１秒内で経過する時間単位の数を示すｔｉｍｅ＿ｓｃａｌｅ値の周波数で動作するクロックの時間単位の数を示すｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ値の符号化、および前記ｔｉｍｅ＿ｓｃａｌｅ値の符号化を受信することをさらに含み、前記ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ値およびｔｉｍｅ＿ｓｃａｌｅ値は、フレーム単位で再生中にフレームの繰り返しおよび／または持続時間を調整するために使用される、請求項１に記載の方法。