JP6838201B2 - 後方互換性ディスプレイマネジメントメタデータ圧縮 - Google Patents

Description

関連出願への相互参照
本願は、２０１７年９月２２日に出願された米国仮特許出願第６２／５６１，７８２号および２０１７年９月２２日に出願された欧州特許出願第１７１９２７２４．７号に関連し得るものであり、両出願の開示内容を全て本願に援用する。

技術
本発明は、画像全般に関する。より詳細には、本発明のある実施形態は、後方互換性ディスプレイマネジメント（ＤＭ）メタデータ圧縮に関する。

背景
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚系（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗い黒（暗）から最も明るい白（ハイライト）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されない限り、この用語は、どちらの意味にも（例えば、交換可能に）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚系（ＨＶＳ）においておよそ１４〜１５桁以上にわたるＤＲ幅に関する。実際において、人間は、幅広い強度範囲を同時に知覚し得るが、そのＤＲは、ＨＤＲと比べて幾分切り捨てられ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは交換可能に、人間の視覚系（ＨＶＳ）（眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする）がシーンまたは画像において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関し得る。従って、ＥＤＲは、真のシーンリファードなＨＤＲに対しては幾分狭いものの、広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際において、画像は、色空間の１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を含み、各色成分は、１画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。

あるディスプレイについてのリファレンス電気−光伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ ｖａｌｕｅｓ）（例えば、輝度）間の関係を特徴づけて、そのディスプレイによって生成されるスクリーン明度（例えば、スクリーン輝度）を特徴づける。例えば、その開示内容がすべて本願に援用されるＩＴＵ Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．１８８６、「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（２０１１年３月）は、フラットパネルディスプレイ用のリファレンスＥＯＴＦを定義している。映像ストリームについては、そのＥＯＴＦに関する情報が典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、用語「メタデータ」は、符号化ビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載される、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータを含むが、これらに限定されない。

２００〜１，０００ｃｄ／ｍ^２またはニトの輝度をサポートするディスプレイは、ＥＤＲ（またはＨＤＲ）に対し、より低いダイナミックレンジ（ＬＤＲ）（スタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイに表示され得る。そのようなディスプレイは、高輝度能力（例えば、０〜１０，０００ニト）をサポートする別のＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容をすべて本願に援用するＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」（以下、「ＳＭＰＴＥ」）に定義されている。本発明者らは、幅広い種類のＳＤＲおよびＨＤＲディスプレイデバイスの表示能力をサポートするために使用され得る映像データを符号化および復号化するための技術を向上させる必要があると考える。

本節に記載された手法は、検討され得る手法ではあるが、必ずしもこれまでに着想または検討されてきた手法ではない。従って、特に断らない限り、本節に記載された手法はいずれも、本節に記載されているというだけで従来技術とみなされるべきではない。同様に、特に断らない限り、１つ以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術分野においてすでに認識されていると考えるべきではない。

図面の簡単な説明
本発明のある実施形態を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。

図１は、映像供給パイプラインのプロセス例を示す。 図２Ａは、シングルレイヤーコーデックフレームワーク例を例示する。 図２Ｂは、シングルレイヤーコーデックフレームワーク例を例示する。 図２Ｃは、シングルレイヤーコーデックフレームワーク例を例示する。 図３は、画像フレームにおけるフレーム毎の平均輝度の値のプロット例を例示する。 図４Ａは、プロセスフロー例を例示する。 図４Ｂは、プロセスフロー例を例示する。 図５は、本明細書に記載するコンピュータまたはコンピューティングデバイスが実装され得るハードウェアプラットフォーム例の簡略化ブロック図を例示する。

例示的な実施形態の説明
本明細書において、後方互換性ＤＭメタデータ圧縮を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に記載される例示の実施形態は、画像メタデータを用いる映像データの符号化に関する。これらの例示の実施形態は、さらに画像メタデータ（例えば、ディスプレイマネジメントメタデータなど）の後方互換性圧縮に関し得る。メディアプログラムにおける１シーケンスの画像フレームに対して、１セットのシーケンスレベルパラメータが生成される。前記１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する（例えば、前記１シーケンスの画像フレームの全体のうちの画像フレームに対して存在する）１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む。前記１シーケンスの画像フレームに対して、１シーケンスをなす複数セットのフレーム存在パラメータが生成される。前記１シーケンスをなす複数セットのフレーム存在パラメータのうちの各セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちのそれぞれの画像フレームに対して生成される。前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成される１特定セットのフレーム存在パラメータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含む。そのとき、各フレーム存在インジケータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型のうちのそれぞれの１つに対応し得る。言い換えると、フレーム存在インジケータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型におけるメタデータ型と一対一の関係を有し得る。前記１セットのフレーム存在インジケータは、メタデータパラメータ値が、特定の画像フレームに対して、符号化ビットストリームにおいてメタデータペイロードとして符号化されるべき第１のメタデータ型を特定する第１のフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が、特定の画像フレームに対して、符号化ビットストリームにおいて符号化されることのない第２のメタデータ型を示す第２のフレーム存在インジケータを含む。前記１シーケンスの画像フレーム、前記１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、およびメタデータペイロードは、符号化ビットストリームにおいて符号化される。符号化メタデータ（符号化メタデータペイロード）は、符号化ビットストリームの受信側デバイスが、第１のメタデータ型に対して決定されたメタデータパラメータ値に少なくとも部分的に基づいて特定の画像フレームから、ターゲットディスプレイ用のターゲットディスプレイ画像を生成するのに適し得る。

本明細書に記載の例示の実施形態は、画像メタデータを用いる映像データの復号化に関する。これらの例示の実施形態は、さらに画像メタデータ（例えば、ディスプレイマネジメントメタデータなど）の復元（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）に関し得る。メディアプログラムにおける１シーケンスの画像フレームを含む符号化ビットストリームが受信される。前記１シーケンスの画像フレームに対して１セットのシーケンスレベルパラメータが復号化される。前記１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する（例えば、１シーケンスの画像フレームの全体のうちの画像フレームに対して存在する）１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む。前記１セットのシーケンスレベルパラメータを使用して、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成された１特定セットのフレーム存在パラメータを復号化する。前記１特定セットのフレーム存在パラメータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含む。そのとき、各フレーム存在インジケータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型のうちのそれぞれの１つに対応し得る。言い換えると、フレーム存在インジケータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型におけるメタデータ型と一対一の関係を有し得る。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が符号化ビットストリームにおいてメタデータペイロードとして符号化された第１のメタデータ型を特定する第１のフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が符号化ビットストリームにおいて符号化されていない第２のメタデータ型を特定する第２のフレーム存在インジケータを含む。第１のフレーム存在インジケータを使用して、符号化ビットストリームにおけるメタデータペイロードを復号化する。ターゲットディスプレイ用のターゲットディスプレイ画像は、第１のメタデータ型に対して決定されたメタデータパラメータ値に少なくとも部分的に基づいて特定の画像フレームから生成される。

例示の映像供給プロセッシングパイプライン
図１は、映像のキャプチャから映像コンテンツの表示までの様々な段階を示す、映像供給パイプライン（１００）のプロセス例を図示する。１シーケンスの映像フレーム（１０２）は、画像生成ブロック（１０５）を使用してキャプチャまたは生成される。映像フレーム（１０２）は、デジタル的にキャプチャされるか（例えば、デジタルカメラによって）、またはコンピュータによって生成される（例えば、コンピュータアニメーションを使用して）ことによって、映像データ（１０７）が得られ得る。あるいは、映像フレーム（１０２）は、銀塩カメラによってフィルム上にキャプチャされてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ（１０７）が得られる。プロダクションフェーズ（１１０）において、映像データ（１０７）は、編集され、映像プロダクションストリーム（１１２）を得る。

次いで、プロダクションストリーム（１１２）の映像データは、ポストプロダクション編集（１１５）のためのプロセッサに与えられる。ポストプロダクション編集（１１５）は、画像の特定の領域の色または明るさを調節または変更することにより、画質を上げたり、または映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ポストプロダクション編集（１１５）において、その他の編集（例えば、シーン選択およびシーケンシング、手動および／または自動シーンカット情報生成、画像クロッピング、コンピュータ生成された視覚特殊効果の追加など）を行うことにより、ＨＤＲ画像（１１７−１）またはＳＤＲ（または、比較的狭いダイナミックレンジ）画像（１１７）の配信用のバージョン（例えば、ＳＤＲなど）を生成してもよい。いくつかの実施形態において、ポストプロダクション編集（１１５）において、ＨＤＲ画像（１１７−１）は、ハイダイナミックレンジをサポートするリファレンスＨＤＲディスプレイ上で、ＨＤＲ画像（１１７−１）に対してポストプロダクション編集操作を行っているカラリストによって視聴される。いくつかの他の実施形態において、ポストプロダクション編集（１１５）において、ＳＤＲ画像（１１７）は、スタンダードダイナミックレンジ（または比較的狭いダイナミックレンジ）をサポートするリファレンスディスプレイ（１２５）上で、ＳＤＲ画像（１１７）に対してポストプロダクション編集操作を行っているカラリストによって視聴される。いくつかの実施形態において、符号化ブロック（１２０）は、図２Ａまたは図２Ｂにおいて例示するようなシングルレイヤーコーデックフレームワークを実装し得る。符号化ブロック（１２０）がＨＤＲ画像（１１７−１）をポストプロダクション編集（１１５）から受け取るという演算の場合、ＨＤＲ画像（１１７−１）は、符号化ブロック（１２０）によってＳＤＲ画像（例えば、１１７）に順方向再構成され得る。

ＳＤＲ画像（１１７）は、符号化ブロック（１２０）によって符号化ビットストリーム（１２２）に圧縮される。いくつかの実施形態において、符号化ブロック（１２０）は、符号化ビットストリーム（１２２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットによって規定されているような音声および映像エンコーダを含んでもよい。

いくつかの実施形態において、符号化ビットストリーム（１２２）は、ＳＤＲ画像（１１７）がポストプロダクション編集（１１５）において生成されたときの表現意図を保持するＳＤＲ画像（１１７）とともに符号化されている。

ＳＤＲ画像（１１７）は、幅広い種類のＳＤＲディスプレイデバイス（例えば、ＳＤＲディスプレイなど）に対して後方互換性（または、非後方互換性）である映像信号（例えば、８ビットＳＤＲ映像信号、１０ビットＳＤＲ映像信号など）における映像データに符号化され得る。限定的でない例において、ＳＤＲ画像（１１７）とともに符号化されている映像信号は、シングルレイヤー後方互換性（または、非後方互換性）映像信号であり得る。

いくつかの実施形態において、符号化ビットストリーム（１２２）は、符号化ブロック（１２０）によって受信される入力ＳＤＲ ＹＣｂＣｒ映像信号と同じ映像信号フォーマットに準拠する映像信号である。例えば、符号化ブロック（１２０）によって受信された入力ＳＤＲ ＹＣｂＣｒ映像信号が８ビットＳＤＲ ＹＣｂＣｒ映像信号である場合、符号化ブロック（１２０）によって出力される符号化ビットストリーム（１２２）は、符号化ブロック（１２０）によって生成されたＤＭメタデータを含むがそれに限定されない画像メタデータを有する出力８ビットＳＤＲ ＹＣｂＣｒ映像信号を表し得る。

追加的に、オプションとして、または代替的に、符号化ビットストリーム（１２２）は、さらにコンポーザ（ｃｏｍｐｏｓｅｒ）メタデータ（または、逆方向再構成マッピング）を含むがそれに限定されない画像メタデータとともに符号化される。コンポーザメタデータは、ＨＤＲディスプレイデバイス上での描画のために最適化され得る逆方向再構成画像を生成するために、下流のデコーダによって使用されて、ＳＤＲ画像（１１７）に対して逆方向再構成を行うことができる。いくつかの実施形態において、逆方向再構成画像は、逆トーンマッピング、逆ディスプレイマネジメントなどを実装する１つ以上のＳＤＲ−ＨＤＲ変換ツールを使用して、ＳＤＲ画像（１１７）（または、それを復号化したもの）から生成され得る。

次いで、符号化ビットストリーム（１２２）は、テレビジョン受像機、セットトップボックス、映画館などの下流の復号化・再生機器に供給される。受信機（または、下流のデバイス）において、符号化ビットストリーム（１２２）は、復号化ブロック（１３０）によって復号化され、復号化画像１３２を生成する。復号化画像１３２は、ＳＤＲ画像（１１７）と同一であり得るが、符号化ブロック（１２０）が圧縮を行う際や、復号化ブロック（１３０）が復元を行う際に量子化エラーを受け得る。第１のターゲットディスプレイ（１４０−１）がスタンダードダイナミックレンジ（または、比較的狭いダイナミックレンジ）をサポートする場合、復号化画像（１８２）において表される表現コンテンツを用いて編集されたＳＤＲ画像（１１７）は、リファレンスディスプレイ（１２５）と同様の特性を有し得る第１のターゲットディスプレイ（１４０−１）上でそのまま視聴可能である。いくつかの実施形態において、受信機は、ＨＤＲ画像が表されるハイダイナミックレンジをサポートする第２のターゲットディスプレイ（１４０）に装着され得る。その場合、復号化ブロック（１３０）は、ＳＤＲ画像（１１７）とともに受信したコンポーザメタデータに基づいて、ＳＤＲ画像（１１７）に対して逆方向再構成を行って、ＨＤＲディスプレイ上での視聴に最適化された逆方向再構成画像（１３２）にしてもよい。追加的に、オプションとして、または代替的に、ディスプレイマネジメントブロック（１３５）（受信機、ターゲットディスプレイ（１４０）、または別のデバイス中にあってもよい）が、第２のターゲットディスプレイ（１４０）の特性に適合されたディスプレイマッピング（ｄｉｓｐｌａｙ−ｍａｐｐｅｄ）信号（１３７）を生成することによって、逆方向再構成画像（１３２）をさらに調節して、第２のターゲットディスプレイ（１４０）の特性を有するようにしてもよい。

圧縮メタデータを伴うＳＤＲまたは非ＳＤＲコンテンツの供給
本明細書に記載の技術を使用して、ＤＭ演算に使用されるＤＭメタデータを含むがそれに限定されない画像メタデータを顕著に圧縮できる。これらの技術は、広い範囲の異なる演算に好適であり、画像メタデータの送信の際のオーバーヘッドを顕著に最小化し、それにより画像メタデータおよび画像データを比較的低いビットレートで送信できるように、画像メタデータを圧縮するために使用され得る。いくつかの例示の実施形態において、本明細書に記載の技術は、ＤＭメタデータを含むがそれに限定されない、ＳＤＲ画像（１１７）に伴う画像メタデータを圧縮して、ＳＤＲ画像がＳＤＲ画像（１１７）および画像メタデータとともに符号化ビットストリーム（１２２）において比較的低いビットレートで送信可能となるように作成され得る。

過去数十年の間に非常に多くの映像／映画が、比較的低いビットレートでの送信のために符号化されたＳＤＲコンテンツとして、世界中で制作、保存、および／または公開されてきたので、本明細書に記載の技術を用いて、広範囲の過去に制作されたＳＤＲコンテンツを搬送する、またはそれに対して後方互換性のある符号化ストリームにおいて顕著に圧縮された画像メタデータを生成することができる。その結果、画像メタデータは、（比較的）相対的に大量のデータを搬送できるので、幅広い種類のディスプレイデバイスおよび／またはメディアプレーヤのためのＤＭ演算を含むがそれに限定されない画像処理演算の最適化を可能にする。

追加的に、オプションとして、または代替的に、これらの技術はまた、シングルレイヤー映像信号であってもよいし、そうでなくてもよい符号化ストリームにおいて顕著に圧縮された画像メタデータを生成するために拡張され得る。追加的に、オプションとして、または代替的に、これらの技術はまた、符号化ビットストリームからＳＤＲ、非ＳＤＲ、またはＨＤＲコンテンツを生成するために使用され得る符号化ストリームにおいて顕著に圧縮された画像メタデータを生成するために拡張され得る。

いくつかの実施形態において、画像メタデータの圧縮は、当該分野または新たな展開において幅広い種類のメディアプロセッシングデバイスによってサポートされる拡張ブロック（またはメタデータブロック）を使用して実現され得る。より詳細には、拡張ブロックを使用して、過去に制作されたＳＤＲコンテンツに伴う画像メタデータを圧縮でき、また幅広い種類のビットレートで符号化された現在または未来のＳＤＲ（または、さらに非ＳＤＲメディアコンテンツ）に伴う現在または未来の画像メタデータを圧縮できる。いくつかの実施形態において、上記技術の少なくとも一部（例えば、クライアント側、デコーダ側など）は、ＤＭ演算を含むがそれに限定されない幅広い種類の画像処理演算においてＳＤＲ（または、さらには非ＳＤＲコンテンツ）に伴う顕著に圧縮された画像メタデータを受信および利用するために、幅広い種類のＴＶ、モバイルデバイス、セットトップボックス、スマートプレーヤなどによって実装され得るか、またはその中に配備され得る。

さらに、ＳＤＲコンテンツがＳＤＲディスプレイデバイスに対して特別に最適化された演算の場合、そのような（例えば、後方互換性など）ＳＤＲコンテンツは、ＳＤＲ描画をサポートするだけの復号化デバイスを含むがそれらに限定されない、幅広い種類の下流の復号化デバイスに供給され得る。これらのデバイスは、ＳＤＲコンテンツに伴うがそのデバイスによってサポートされない画像メタデータの部分（例えば、サポートされていないＤＭ拡張ブロックなど）はいずれも無視できる。

例えば、本明細書に記載される圧縮フォーマットの画像メタデータを含む符号化ビットストリームを受信する第１のデコーダ（例えば、当該分野においてすでに利用されているデコーダなど）を有する第１のデバイスは、画像メタデータを圧縮するために使用されるいくつかの比較的新しい拡張ブロックを認識しないことがあり、そのデバイスに既知の、またはアクセス可能なデフォルト値（例えば、ＤＭ静的（ｓｔａｔｉｃ）値など）の使用に戻り得る。第１のデコーダは、第１のデコーダによってサポートされる圧縮フォーマットの画像メタデータの他の部分を引き続き復号化および処理できる。

これに対して、上記のような符号化ビットストリームを受信する第２のデコーダ（例えば、新しくリリースされたデコーダなど）を有する第２のデバイスは、比較的新しい拡張ブロックを認識でき、符号化ビットストリームにおいて圧縮された画像メタデータを復元でき、そして比較的新しい拡張ブロックにおけるダイナミック値または渡してこられた（ｐａｓｓｅｄ−ｉｎ）値に基づいて画像プロセッシング演算（例えば、ＤＭ演算など）を行うことができる。比較的新しい拡張ブロックなどの圧縮フォーマットは、幅広い種類のＴＶ、モバイルデバイス、セットトップボックス、スマートプレーヤなどにおいて実装されるか、または利用され、ＤＭ演算を含むがそれに限定されない幅広い種類の画像処理演算において、ＳＤＲまたは非ＳＤＲコンテンツに伴う顕著に圧縮された画像メタデータを受信し、活用し得る。

コーデックアーキテクチャ
図２Ａ〜２Ｃは、シングルレイヤーコーデックフレームワーク例を例示する。より詳細には、図２Ａは、上流の映像エンコーダなどにおいて１つ以上のコンピューティングプロセッサを用いて実装され得るシングルレイヤー逆ディスプレイマネジメント（ＳＬｉＤＭ）エンコーダ側コーデックアーキテクチャの一例を例示する。図２Ｂは、上流の映像エンコーダなどにおいて１つ以上のコンピューティングプロセッサを用いて実装され得るシングルレイヤーディスプレイマネジメント（ＳＬＤＭ）エンコーダ側コーデックアーキテクチャの一例を例示する。図２Ｃは、また１つ以上の下流の映像デコーダなどにおいて１つ以上のコンピューティングプロセッサを用いて実装され得、そしてＳＬｉＤＭエンコーダまたはＳＬＤＭエンコーダのいずれかとともに動作できるデコーダ側コーデックアーキテクチャの一例を例示する。

ＳＬｉＤＭフレームワークにおいて、図２Ａに例示するように、ＳＤＲ画像（１１７）などの後方互換性ＳＤＲ画像は、コーデックフレームワークのエンコーダ側で入力として受信される。ここで、「後方互換性ＳＤＲ画像」は、ＳＤＲディスプレイ用に特別に最適化されているか、またはカラーグレーディングされているＳＤＲ画像を指す。

例示目的であり限定しないが、例えば、ＳＤＲ−ＨＤＲ変換ツールなどを表し得る逆ダイナミックレンジマッピング（ＤＭ）モジュール１４６を使用して、ＳＤＲ画像（１１７）をリファレンスＨＤＲディスプレイ上での視聴に最適化されたＨＤＲ画像１４８に変換する。いくつかの実施形態において、逆ＤＭモジュールはまた、逆トーンマッピングツールと称され得る。

図２Ｂに示すＳＬＤＭフレームワークにおいて、リファレンスＨＤＲディスプレイ用に最適化されたＨＤＲ画像などのＨＤＲ画像（１４８）は、コーデックフレームワークのエンコーダ側で入力として受信される。ここで、「リファレンスＨＤＲディスプレイ用に最適化されたＨＤＲ画像」は、ＨＤＲディスプレイ用に特別にカラーグレーディングされたＨＤＲ画像を指し得る。

例示目的であり限定しないが、例えば、ＨＤＲ−ＳＤＲ変換ツールなどを表し得る順方向再構成モジュール１６４を使用して、ＨＤＲ画像（１４８）をＳＤＲディスプレイ上での視聴に最適化されたＳＤＲ画像（１１７）に変換する。いくつかの実施形態において、順方向再構成モジュールはまた、トーンマッピングツールと称され得る。

ＳＬｉＤＭおよびＳＬＤＭフレームワークの両方において、画像メタデータ生成器１５０（例えば、符号化ブロック（１２０）の一部など）は、ＳＤＲ画像（１１７）およびＨＤＲ画像（１４８）の両方を入力として受信し、コンポーザメタデータ、ＤＭメタデータなどの画像メタデータ１５２を生成する。例えば、画像メタデータ生成器（１５０）は、ＳＤＲ画像（１１７）を最適逆方向再構成関数を用いて逆方向再構成することによって生成された逆方向再構成画像が可能な限りＨＤＲ画像（１４８）に近くなるような最適逆方向再構成関数を見つけるために、最適化を行い得る。最適逆方向再構成関数は、画像メタデータ１５２におけるコンポーザメタデータを用いて表されるか、または特定され得る。追加的に、オプションとして、または代替的に、画像メタデータ生成器（１５０）は、ＨＤＲ画像（１４８）、逆方向再構成画像、またはＳＤＲ画像（１１７）のうちの１つ以上に基づいてＤＭメタデータを生成する（近似方法などを介して）。受信側デバイスは、ＤＭメタデータを使用して、例えば再構成されたＨＤＲ画像に対してＤＭ演算を行って、リファレンスＨＤＲディスプレイとは異なり得るディスプレイデバイス用のディスプレイ画像を生成し得る。

ＳＬｉＤＭおよびＳＬＤＭフレームワークの両方において、圧縮ブロック１４２（例えば、図１の符号化ブロック（１２２）の一部など）は、映像信号のシングルレイヤー１４４においてＳＤＲ画像（１１７）を圧縮／符号化する。映像信号例は、図１の符号化ビットストリーム（１２２）であり得るが、必ずしもこれのみに限定されない。ＳＤＲ画像（１１７）、ＨＤＲ画像（１４８）、逆方向再構成画像などに基づいて画像メタデータ生成器（１５０）によって生成される画像メタデータ（１５２）（「ｒｐｕ」と表示する）は、映像信号に符号化され得る（例えば、図１の符号化ブロック（１２２）などによって）。

ＳＬｉＤＭおよびＳＬＤＭフレームワークの両方において、画像メタデータ（１５２）は、映像信号において、ＳＤＲ画像が映像信号において符号化されているシングルレイヤーとは分離して、搬送され得る。例えば、画像メタデータ（１５２）は、符号化ビットストリームにおけるコンポーネントストリーム（ｃｏｍｐｏｎｅｎｔ ｓｔｒｅａｍ）において符号化されていてもよい。コンポーネントストリームは、ＳＤＲ画像（１１７）が符号化されているシングルレイヤー（符号化ビットストリームのシングルレイヤー）から分離されていてもよいし、そうでなくてもよい。

ＳＬｉＤＭおよびＳＬＤＭフレームワークの両方において、エンコーダ側アーキテクチャは、ＨＤＲ画像（１４８）を映像信号において符号化／圧縮ＨＤＲ画像にそのまま符号化することを回避するために使用され得る。その代わりに、映像信号における画像メタデータ（１５２）のうちのコンポーザメタデータは、下流の復号化デバイスによって、ＳＤＲ画像（１１７）（映像信号において符号化されている）を逆方向再構成して、ＨＤＲ画像（１４８）と同一であるか、またはそれに近く／最適に近似された再構成画像にすることを可能するために使用され得る。

ＳＬｉＤＭおよびＳＬＤＭフレームワークの両方において、ＳＤＲコンテンツは、エンコーダ側コーデックアーキテクチャを実装する上流の符号化デバイスによって、符号化ビットストリーム（１２２）など映像信号のシングルレイヤーにおいて、符号化され、送信される。ＳＤＲコンテンツは、デコーダ側コーデックアーキテクチャを実装する下流の復号化デバイスによって、映像信号のシングルレイヤーにおいて、受信され、復号化される。コンポーザメタデータはまた、映像信号においてＳＤＲコンテンツとともに、符号化され、送信されるので、ＨＤＲディスプレイデバイスは、ＳＤＲコンテンツおよびコンポーザメタデータに基づいてＨＤＲコンテンツを再構成できる。

いくつかの実施形態において、図２Ｃに例示するように、シングルレイヤー（１４４）においてＳＤＲ画像（１１７）および全画像メタデータの一部としての逆方向再構成メタデータ（１５２）とともに符号化されている映像信号は、ＳＬｉＤＭまたはＳＬＤＭコーデックフレームワークのデコーダ側で入力として受信される。

復元ブロック１５４（例えば、図１の復号化ブロック（１３０）の一部など）は、映像信号のシングルレイヤーにおける圧縮映像データを復号化ＳＤＲ画像（１８２）に復元／復号化する。復号化ＳＤＲ画像（１８２）は、ＳＤＲ画像（１１７）と同じであり得るが、圧縮ブロック（１４２）および復元ブロック（１５４）において量子化エラーを受け得る。復号化ＳＤＲ画像（１８２）は、ＳＤＲディスプレイデバイス用に最適化されていてもよい。復号化ＳＤＲ画像（１８２）は、出力ＳＤＲ映像信号１５６において、ＳＤＲディスプレイに出力され（例えば、ＨＤＭＩインターフェース介して、映像リンクを介して、など）、そしてＳＤＲディスプレイ上で描画され得る。

さらに、逆方向再構成ブロック１５８は、入力映像信号から画像メタデータ（１５２）を抽出し、画像メタデータ（１５２）におけるコンポーザメタデータに基づいて最適逆方向再構成関数を構築し、そして最適逆方向再構成関数に基づいて復号化ＳＤＲ画像（１１７）に対して逆方向再構成演算を行って、逆方向再構成画像（１３２）（または再構成されたＨＤＲ画像）を生成する。いくつかの実施形態において、逆方向再構成画像は、ＨＤＲ画像（１４８）と同一であるか、またはそれに近く／最適に近似されたプロダクション品質またはほぼプロダクション品質のＨＤＲ画像を表す。逆方向再構成画像（１３２）は、出力ＨＤＲ映像信号１６０において（例えば、ＨＤＭＩインターフェースを介して、映像リンクを介して、など）ＨＤＲディスプレイデバイスに出力され、そしてＨＤＲディスプレイデバイス上で描画され得る。

いくつかの実施形態において、ＨＤＲディスプレイデバイスに特有のディスプレイマネジメント演算を、逆方向再構成画像（１３２）に対して、画像メタデータ（１５２）におけるＤＭメタデータに少なくとも部分的に基づいて行って、例えば描画されるべきディスプレイ画像を生成する。

例示目的として、シングルレイヤーコーデックアーキテクチャを説明した。なお、本明細書に記載される技術は、図２Ａ〜２Ｃに例示したものとは異なるシングルレイヤーコーデックアーキテクチャにおいて使用され得る。追加的に、オプションとして、または代替的に、これらの技術は、マルチレイヤーコーデックアーキテクチャにおいて使用され得る。このように、シングルレイヤーまたはマルチレイヤーコーデックアーキテクチャのこれらの変形または他の変形は、本明細書に記載される上記技術の一部またはすべてとともに動作し得る。

後方互換性、柔軟性、および圧縮効率
いくつかの実施形態において、本明細書に記載される技術における圧縮方法は、拡張ブロックを使用して、ＤＭメタデータを含むがそれに限定されない画像メタデータを圧縮し得る。拡張ブロックへの圧縮されるべきＤＭメタデータは、異なるＤＭレベルでのメタデータパラメータのうちの一部またはすべてを含み得る。

例えば、Ｌ０メタデータを使用して、画像データまたはＤＭメタデータの一部もしくは全部が生成される、ソース（または、リファレンス）ディスプレイのダイナミックレンジについての情報を提供／記述し得る。

レベル１（Ｌ１）メタデータを使用して、符号化ビットストリーム（１２２）において表され得る、ソース画像（例えば、ＥＤＲ画像など）、ソースシーン（例えば、ＥＤＲ画像において描写されるシーンなど）、ソースＧＯＰ（例えば、ＥＤＲ画像におけるピクチャ群など）などにおける輝度値の分布についての情報を提供／記述し得る。

レベル２（Ｌ２）メタデータを使用して、リファレンスダイナミックレンジ（例えば、ＳＤＲ、ＥＤＲなど）を有するリファレンスディスプレイ（例えば、リファレンスディスプレイ（１２５）、リファレンスＥＤＲディスプレイなど）を備えたプロダクションスタジオにおいて、ディレクタ、カラーグレーダ（ｃｏｌｏｒ ｇｒａｄｅｒ）、映像プロフェッショナルなどによってなされる調節を起源とするか、またはそこにさかのぼる映像特性調節についての情報を提供／記述し得る。

レベル３（Ｌ３）メタデータを使用して、リファレンスダイナミックレンジと異なる第２のリファレンスダイナミックレンジを有する第２のリファレンスディスプレイを備えたプロダクションスタジオにおいて、ディレクタ、カラーグレーダ（ｃｏｌｏｒ ｇｒａｄｅｒ）、映像プロフェッショナルなどによってなされる調節を起源とするか、またはそこにさかのぼる映像特性調節についての情報を提供／記述し得る。

レベル４（Ｌ４）メタデータを使用して、局所的なディミング演算のために使用される情報を提供／記述し得る。

追加的に、オプションとして、または代替的に、上記ＤＭレベル以外のＤＭレベルでの非ＤＭメタデータ、他のＤＭメタデータ、および／またはメタデータパラメータは、本明細書に記載される画像処理演算および／またはＤＭ演算によって使用され得る。

いくつかの実施形態において、圧縮方法は、時間領域予測（すなわち、時間領域における予測）に基づいて、レベル１（Ｌ１）メタデータおよびレベル４（Ｌ４）メタデータなどのＤＭメタデータの一部または全部に対して損失圧縮を行う。

本明細書に記載される技術を実装しない他の手法においては、画像メタデータを搬送するために使用される拡張ブロックは、顕著なオーバーヘッドを消費し得る。このように、ＤＭメタデータにおいて表される（ＤＭ）レベルのメタデータを搬送するためには、比較的高いビットレートが必要とされ得る。ＤＭメタデータにおいて複数（ＤＭ）レベルのメタデータを供給する際には、オーバーヘッドがさらに大きくなる。さらに、ＤＭメタデータは、これらの他の手法において圧縮されない場合もあり、画像メタデータ以外の映像基本（ｅｌｅｍｅｎｔａｒｙ）ストリーム（例えば、画像データ、ＭＰＥＧ映像基本ストリーム、パケット化基本ストリームなどを含む）がとる所与のビットレートの大きさにかかわらず、固定数のオーバーヘッドビットが必要となり得る。

例えば、Ｌ１メタデータは、最大、最小、および平均輝度値などの３つのパラメータを含み得る。各パラメータは、１２ビットであり得る。Ｌ４メタデータは、輝度および／またはクロミナンス分布における、記述統計学／定義（例えば、幾何平均、中央値、モード、分散、または標準偏差）などの２つのパラメータを含み得る。各パラメータは、１２ビットであり得る。Ｌ１およびＬ４メタデータにおけるこれらのパラメータに対するビットは、各画像フレームに対して生成され、搬送され得る。

本明細書に記載される上記技術を実装しない他の手法においては、各拡張ブロックは、所定のオーバーヘッドを必要とする。例えば、１２ビットペイロードを有する拡張ブロックは、符号化ビットストリームにおいて２７ビットを必要とする。２４ビットペイロードを有する拡張ブロックは、符号化ビットストリームにおいて３７ビットを必要とする。３６ビットペイロードを有する拡張ブロックは、符号化ビットストリームにおいて５３ビットを必要とする。このように、様々なＤＭレベルのメタデータパラメータを搬送するために使用されるオーバーヘッドは、かなり顕著であり（例えば、３０〜５０％など）、大きすぎて比較的低いビットレート映像ストリーミング（例えば、ＳＤＲ映像ストリーミング、適応ストリーミングなど）に収容されない恐れがある。

本明細書に記載の技術を使用して、（１）後方互換性、（２）柔軟性、および（３）圧縮効率のうちの一部またはすべてを有するＤＭメタデータを圧縮し得る。後方互換性を得るために、圧縮方法は、広範囲のメディアプロセッシングデバイスによってサポートされる拡張ブロックアーキテクチャの一部または全部を再利用し得る。

上記のように、当該分野ですでに利用されている第１のデコーダは、本明細書に記載される圧縮フォーマットを有する新たに作成された符号化ビットストリームを受信できる。第１のデコーダは、本明細書に記載される圧縮方法を用いて圧縮／符号化された新しい拡張ブロックを認識しなくてもよいが、そのデコーダで利用可能であるか、またはそれにアクセス可能なデフォルト値（例えば、ＤＭ静的値など）の使用に戻り得る。その結果、第１のデコーダは、新たに作成された符号化ビットストリームも引き続き復号化でき、圧縮フォーマットを処理／取り扱いでき、そして解釈可能な（ｉｎｔｅｒｐｒｅｔａｂｌｅ）またはデフォルト値を用いて、適度な品質で画像を描画できる。ダイナミック適応ストリーミングの場合、第１のデコーダは、第１のデコーダが認識しない新しい拡張ブロックなどのＤＭメタデータの一部または全部をストリーミングすることも回避し得る。

新しい拡張ブロックを認識する、ある（例えば、新しい）デコーダは、新しい拡張ブロックを復元して、符号化ビットストリームにおいて符号化されているＤＭメタデータにおける様々なＤＭレベルのメタデータパラメータに対して値を得ることができる。そのようなデコーダは、ＤＭメタデータにおける様々なＤＭレベルのメタデータパラメータに対する値のうちの一部またはすべてに基づいてＤＭ演算を行うことができる。

柔軟性を得るために、本明細書に記載される技術によって拡張ブロック階層が実装され得る。拡張ブロック階層は、（ａ）シーケンスレベル拡張ブロック、（ｂ）フレームレベル拡張ブロック、（ｃ）オーバーヘッドフリー（ｏｖｅｒｈｅａｄ−ｆｒｅｅ）ペイロード拡張ブロックなどを使用する。いくつかの実施形態において、１シーケンスの画像フレームの全体に存在する拡張ブロックＩＤは、例えばシーケンスレベル拡張ブロックによって搬送されるシーケンスレベル情報としてグループ化され得る。シーケンスレベル情報は、１シーケンスの画像フレームに対する１セットのシーケンスレベルパラメータに対応し得るか、またはそれを含み得る。シーケンスレベルパラメータは、１シーケンスの画像フレームの全体において存在する１特定セットのメタデータ型（例えば、拡張ブロックＩＤに関連する）を示す１セットのシーケンスレベルインジケータを含み得る。したがって、シーケンスレベルパラメータは、１シーケンスの画像フレームの全体に生じる、それらのメタデータ型（例えば、拡張ブロックＩＤ）のカタログ（ｃａｔａｌｏｇ）を表すということができる。シーケンスレベル情報またはシーケンスレベル拡張ブロックは、シーケンスレベルでのリフレッシュが必要とされる場合には、比較的低頻度で送信され得る（例えば、インスタントデータリフレッシュ（Ｉｎｓｔａｎｔ−Ｄａｔａ−Ｒｅｆｒｅｓｈ（ＩＤＲ））画像フレーム、プログラム切り換え（ｓｗｉｔｃｈｉｎｇ）、ビットレート切り換えなどを用いて送信され得る）。フレームレベル拡張ブロック（例えば、フレーム存在拡張ブロックなど）は、１シーケンスの画像の全体において存在すると、シーケンスレベルで伝えられる拡張ブロックＩＤの一部またはすべてについて、ペイロード拡張ブロック（例えば、フレームオーバーヘッドフリー拡張ブロックなど）の存在を伝えることができる。フレームレベル拡張ブロックは、１セットのフレーム存在パラメータに対応し得るか、またはそれを含み得る。各セットのフレーム存在パラメータは、それぞれの画像フレームに対して生成される。所与の画像フレームに対する１セットのフレーム存在パラメータは、１特定セットのフレーム存在インジケータを含む。各フレーム存在インジケータは、シーケンスレベル情報（例えば、シーケンスレベルパラメータ）によって示される１特定セットのメタデータ型におけるそれぞれのメタデータ型（例えば、拡張ブロックＩＤ）に対応する。いくつかの実施形態において、フレームレベル拡張ブロックは、存在インジケータ（または、フラグ）を含み得る。各存在インジケータは、ペイロード拡張ブロックがフレームレベルで対応する型のメタデータに対して存在するか否かを示す。フレーム存在インジケータのレベルにおいて、各フレーム存在インジケータは、所与の画像フレームに対して、それに対応するメタデータ型（例えば、拡張ブロックＩＤ）がその所与の画像フレームに対して存在するか否かを示し得る。したがって、各フレーム存在インジケータは、所与の画像フレームに対して対応するメタデータ型の有無を示すことができる。よって、フレーム存在パラメータは、それらの対応するメタデータ型が所与の画像フレームに対して存在すること（およびこれらのメタデータ型に対するメタデータパラメータ値が所与の画像フレームに対して符号化されるべきであること）を示す第１のフレーム存在インジケータ、およびそれらの対応するメタデータ型が所与の画像フレームに対して存在しないこと（および所与の画像フレームに対して符号化されるべきこれらのメタデータ型に対するメタデータパラメータ値がないこと）を示す第２のフレーム存在インジケータに（仮想的に）グループ化され得る。所与の画像フレームに対して存在するメタデータ型は、第１のメタデータ型と称され得る。他方、存在しないメタデータ型は、第２のメタデータ型と称され得る。存在することがフレームレベルで伝えられるすべてのペイロード拡張ブロック（メタデータペイロードの例として）（すなわち、対応するフレーム存在インジケータが第１のフレーム存在インジケータである第１のメタデータ型）は、オーバーヘッドフリーペイロード本体（例えば、提示された異なるメタデータ型を分離するパディングビットがない）にフレームレベルで束ねられる（ｂｕｎｄｌｅｄ）。言い換えると、第１のメタデータ型に対するメタデータパラメータ値（だけ）がオーバーヘッドフリーペイロード本体に束ねられる。言うまでもなく、存在しないことがフレームレベルで伝えられるペイロード拡張ブロック（例えば、メタデータ型）（すなわち、対応するフレーム存在インジケータが第２のフレーム存在インジケータである第２のメタデータ型）は、与えられた画像フレームについて符号化されない。拡張ブロック階層を用いると、比較的大きな柔軟性および圧縮効率が同時に達成され得る。

圧縮効率を得るために、いくつかの実施形態において、ＤＭメタデータにおけるメタデータパラメータの一部またはすべてのうちの各メタデータパラメータは、時間領域における予測関数（または、予測多項式）を用いてモデル化され得る。（時間領域）予測関数は、線形（例えば、一次多項式など）または非線形（例えば、二次以上の高次多項式、非線形非多項式関数など）であり得る。所与の時点（例えば、対応する画像フレームのフレームインデックスなどで表される）での各そのようなメタデータパラメータの値は、予測関数を介して、時間領域において予測され得る。

メタデータパラメータが予測関数として時間領域において一次多項式の形態でモデル化される場合、メタデータパラメータの実際の値をそのまま伝える代わりに、一次多項式を特定するための傾きおよびオフセットが映像エンコーダから映像デコーダに伝えてもよい。

いくつかの実施形態において、メタデータパラメータは、予測関数として複数個の一次多項式の形態でモデル化される。メタデータパラメータの実際の値をそのまま伝える代わりに、複数個の一次多項式を特定するための複数セットの傾きおよびオフセットが映像エンコーダから映像デコーダに伝えてもよい。

いくつかの実施形態において、予測関数は、二次以上の高次多項式または他の非線形関数であり得る。メタデータパラメータの実際の値をそのまま伝える代わりに、二次以上の高次多項式または他の非線形関数を特定するための多項式の係数または他の関数パラメータが映像エンコーダから映像デコーダに伝えてもよい。

映像エンコーダは、時間領域予測における変化点（または、それぞれ予測エラーが最大許容可能エラーを超えるフレームインデックス）を決定または認識（例えば、ピークアヘッド（ｐｅｅｋ ａｈｅａｄ）など）でき、そして異なる次数の多項式、非多項式関数などの予測関数を特定するための新しいセットの傾きおよびオフセットまたは新しい関数パラメータを伝えることができる。

所与の時点でのメタデータパラメータの所与の値を予測するための多項式において使用される多項式パラメータは、特定の符号化シンタックスを用いて、本明細書に記載されるペイロード拡張ブロックに符号化され得る。特定の符号化シンタックスは、メタデータパラメータがシーンベースであるか、またはフレームベースであるかに応じて、メタデータパラメータに対して多項式パラメータを符号化するために使用され得る。メタデータパラメータがシーンベースのパラメータである場合、メタデータパラメータの値は、シーンにおいて一定または不変であり得る。このように、そのようなメタデータパラメータを表すための多項式における多項式パラメータは、シーン内で変化しなくてもよい（または、変化する必要がない）。他方、メタデータパラメータがフレームベースのパラメータである場合、メタデータパラメータの値は、例えば時間にわたってフィルタ化／平滑化された値として、フレーム毎に変化し得る。本明細書に記載される技術において、メタデータパラメータの値は、一定であるか、または時間とともに変化するかのいずれであっても、符号化ビットストリームにおいて比較的効率的に（例えば、５：１圧縮比など）圧縮・搬送され得る、多項式パラメータ（または、異なる関数パラメータ）を有する、時間領域における多項式（または、異なる予測関数）を使用して予測／決定され得る。

メタデータパラメータの時間領域予測
ＤＭメタデータなどの画像メタデータは、値が時間（例えば、画像フレームのフレームインデックスによって表される）によって変化する多数のメタデータパラメータを含み得る。

図３は、横軸で表される１シーケンスの連続する時点にわたって、縦軸によって表される画像フレーム（例えば、メディアプログラムの一部または全部の連続する画像フレームなど）におけるフレーム毎（または、フレーム当たり）の平均輝度の値のプロット例を例示する。いくつかの実施形態において、１シーケンスの連続する時点における各時点は、画像フレームのうちのそれぞれの画像フレームについての、１シーケンスの画像に対する１シーケンスのフレームインデックス値における、それぞれのフレームインデックス値に対応する。

図３において、フレーム当たりの平均輝度は、１シーケンスのフレームインデックス値によって表される１シーケンスの連続する時点にわたって、時間領域において大部分比較的滑らかに変化することが見て取れる。第１、第２および第３時点３０２−１〜３０２−３の各時点などの新しいシーンカットによる急な変化がいくつかある。

しかし、急な変化が生じる互いに近傍の時点間において、フレーム当たりの平均輝度は、比較的滑らかに変化する。例えば、第１および第２時点３０２−１および３０２−２の間において、フレーム当たりの平均輝度は、比較的滑らかに変化する。同様に、第２および第３時点３０２−２および３０２−３の間において、フレーム当たりの平均輝度はまた、比較的滑らかに変化する。

画像メタデータにおいて時間変化するメタデータパラメータの多くは、フレーム当たりの平均輝度のように、時間にわたって同様の滑らかな傾向を奏し得る。したがって、時間変化するメタデータパラメータの値は、１シーケンスの連続する時点におけるほとんどの時点に対して、これらの時間変化するメタデータパラメータの値の時間にわたっての滑らかな傾向を近似する多項式などの滑らかに変化する関数に基づいて、時間領域において、効率的に予測され得る。

例示目的であり限定しないが、例えば、画像フレームｊでのメタデータパラメータの値をｍ_ｊと表す。フレームｊ＋ｆでのメタデータパラメータの値は、オフセットｔ_ｊおよび傾きｓ_ｊなどの多項式パラメータ／係数を有する下記一次多項式を使用して、次のように予測され得る。

メタデータパラメータの値をそのまま映像デコーダなどの受信側デバイスに送る代わりに、多項式パラメータ（ｔ_ｊ，ｓ_ｊ）が符号化ビットストリームにおいて伝えられ得る（例えば、１２２など）。

メタデータパラメータの実際の値ｍ_ｊ＋ｆとメタデータパラメータ予測値

との間の歪み測定値（または、予測エラー）ｄ_{ｊ，ｊ＋ｆ}を以下のように表す。

歪み測定値の一例は、以下のように、実際のメタデータ値ｍ_ｊ＋ｆと予測メタデータ値

との間の絶対差（例えば、平均絶対差（ＭＡＤ）など）であり得る。

例えば１シーケンスの画像フレームの全体に対する最大許容可能歪み測定値（または閾値）をΔと表す。

（現在の）歪み測定値ｄ_{ｊ，ｊ＋ｆ}が最大許容可能歪み測定値Δよりも大きくないとの判定（例えば、映像エンコーダによって、など）に応答して、予測値

は、メタデータパラメータの（現在の）値に対して使用され得る。例えば、モードフラグｒ_ｊ＋ｆ（例えば、０に設定される、など）を使用して、受信側デバイスに対して、メタデータパラメータの値を予測するための現在の多項式パラメータを使用することを継続するように伝えられ得る。

他方、（現在の）歪み測定値ｄ_{ｊ，ｊ＋ｆ}が最大許容可能歪み測定値Δよりも大きいとの判定（例えば、映像エンコーダによって、など）に応答して、新しい１セットの多項式パラメータ（ｔ_ｊ＋ｆ，ｓ_ｊ＋ｆ）が符号化ビットストリーム（１２２）において受信側デバイスに伝えられ得る。よって、モードフラグｒ_ｊ＋ｆは、新しい１セットの多項式パラメータが送られることを伝えるように設定され得る（例えば、ｒ_ｊ＋ｆ＝１など）。モードフラグおよび新しい１セットの多項式パラメータを含む三重項（ｒ_ｊ，ｔ_ｊ，ｓ_ｊ）を使用して、最大許容可能歪み測定値Δによって表される許容可能閾値を用いて時間領域におけるメタデータパラメータに対する値を生成／予測することができる。

時間領域予測は、フレームベースおよびシーンベースのメタデータパラメータの両方に適用可能である。フレームベースのメタデータパラメータに対して、受信側デバイスに伝えられるｓ_ｊの値は、シーン内で一定または時間変化し得る。シーンベースのメタデータパラメータについて、シーン全体に対して、ｓ_ｊ＝０である。

いくつかの実施形態において、メタデータパラメータに対するモードフラグおよび多項式パラメータは、以下の表１に例示する手順例を使用して、符号化ビットストリームにおいて受信側デバイスに伝えられ得る。

メタデータパラメータの値（例えば、予測値など）をモードフラグおよび多項式パラメータによって受信側デバイス（例えば、映像デコーダなど）に伝えるために、以下の表２に示すように、映像エンコーダが符号化シンタックス例を使用して、モードフラグおよび多項式パラメータを符号化ビットストリーム（１２２）において画像メタデータの一部として符号化し得る。

いくつかの実施形態において、表２に例示する符号化シンタックスは、映像エンコーダによって受信側デバイスに伝えられるべき、１つ以上のＤＭレベルでの一部またはすべてのメタデータパラメータに対して、それぞれのモードフラグおよび多項式パラメータを渡すために使用され得る。いくつかの実施形態において、これらのメタデータパラメータの一部（例えば、Ｌ１メタデータ、Ｌ４メタデータなど）は、１シーケンスの（連続する）画像フレームのうちの各画像フレームに対して、上記符号化シンタックスを使用して伝えられ得る。

時間領域において予測されるべき各メタデータパラメータに対して、シンタックス要素「ＤＭ＿ｃｏｍｐ＿ｍｏｄｅ」は、メタデータパラメータに対してモードフラグを表す。「ＤＭ＿ｃｏｍｐ＿ｍｏｄｅ」が１に等しい場合、メタデータパラメータの値を予測するために使用される多項式（または、時間領域予測関数）は、シンタックス要素「ＤＭ＿ｍｅｔａｄａｔａ＿ｏｆｆｓｅｔ」、「ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｉｎｔ」、および「ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｆｒａｃ」によって表される（新しい）多項式パラメータを用いて更新され得る。

他方、「ＤＭ＿ｃｏｍｐ＿ｍｏｄｅ」が０に等しい場合、メタデータパラメータの値は、１に設定された「ＤＭ＿ｃｏｍｐ＿ｍｏｄｅ」を有する最も近い過去の画像フレームから多項式パラメータを用いて生成される多項式から予測され得る。

表２において、「ＤＭ＿ｍｅｔａｄａｔａ＿ｏｆｆｓｅｔ」は、（予測）多項式におけるオフセットを指定する。「ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｉｎｔ」は、予測多項式における傾きの整数部を指定する。「ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｆｒａｃ」は、予測多項式における傾きの少数部を指定する。

この符号化シンタックスを認識する受信側デバイスは、メタデータパラメータの予測値を取り出すための復号化プロセス例を以下のように実装し得る。
ＤＭ＿ｍｅｔａｄａｔａ＿ｖａｌｕｅ＝ＤＭ＿ｍｅｔａｄａｔａ＿ｏｆｆｓｅｔ＋（ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｉｎｔ＋ＤＭ＿ｍｅｔａｄａｔａ＿ｓｌｏｐｅ＿ｖａｌｕｅ＿ｆｒａｃ＞＞４）＊（現在のフレームインデックス−アンカー（ａｎｃｈｏｒ）フレームインデックス） （３）
ここで、「＞＞」は、ビットレベル右シフト演算子を表し、「現在のフレームインデックス」は、メタデータパラメータの値が予測多項式によって予測されるべき現在の画像フレームのフレームインデックスを表し、「アンカーフレームインデックス」は、１に設定された「ＤＭ＿ｃｏｍｐ＿ｍｏｄｅ」を有する最も近い過去のフレームのフレームインデックスを表す。

階層拡張ブロックのための符号化シンタックス
いくつかの実施形態において、本明細書に記載される映像エンコーダによって使用される圧縮方法は、ＤＭメタデータを含むがそれに限定されない画像メタデータを符号化するための複数層の拡張ブロックを含む階層拡張ブロックを使用する。例示目的であり限定しないが、例えば、第１層の拡張ブロックは、シーケンスレベル情報を渡すために使用されるシークエンスサマリー（ＳＳ）拡張ブロックであり、第２層の拡張ブロックは、フレームレベル情報を渡すために使用されるフレーム存在（ＦＰ）拡張ブロックであり、第３層の拡張ブロックは、メタデータパラメータの値（例えば、実際の値、予測値を生成するために使用されるモードフラグおよび多項式パラメータなど）を搬送するために使用されるフレームオーバーヘッドフリーペイロード拡張ブロックである。

ＳＳ拡張ブロックおよびＦＰ拡張ブロックを符号化するために映像エンコーダによって使用される複合符号化シンタックス例を以下の表３（「ｅｘｔ＿ｄｍ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔ」は、拡張ブロックを適切なバイトまたはワード境界までパディングするためのゼロなどのデフォルト値を有するパディングビットを表す）に例示する。

表３から分かるように、映像エンコーダは、第１の入力パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｎｇｔｈ」および第２の入力パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」などの入力パラメータを受け取る複合符号化シンタックスを実装し得る。

第２の入力パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対して値「ＳＳ」（例えば、数値２５４など）を受け取ったことに応答して、映像エンコーダによって実装される複合符号化シンタックスは、ＳＳ拡張ブロックを生成する。他方、第２の入力パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対して値「ＦＰ」（例えば、数値２５３など）を受け取ったことに応答して、複合符号化シンタックスは、ＦＰ拡張ブロックを生成する。

ＳＳ拡張ブロックは、シーケンスレベル情報を伝えるために使用され得る。そしてＳＳ拡張ブロックは、シーケンスレベルが伝えられるか、または再度伝えられる必要があると映像エンコーダが判断する、画像フレームにおけるＩＤＲ位置（例えば、リフレッシュ、同期、プログラム切り換え、ビットレート切り換えなど）または他の時間的位置（例えば、比較的多数の時間変化するメタデータパラメータに対する共通の顕著な変化点など）に対応する特定のフレームインデックスにおいてのみ生じる（例えば、符号化、送信、受信、復号化など）ものであり得る。いくつかの実施形態において、１シーケンスの画像フレームに対して、最大で１つのＳＳ拡張ブロックが映像エンコーダによって受信側デバイス（例えば、映像デコーダなど）に送信され／伝えられ得る。

表３に例示するように、ＳＳ拡張ブロックは、シーケンスレベルパラメータ「ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ」およびシーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」を含み得る。ここで、インデックス「ｉ」は、０以上（ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ−１）以下の値であり、ＳＳ拡張ブロックが生成される１シーケンスの画像フレームの全体に存在することになる拡張ブロックＩＤを表す。シーケンスレベルパラメータ「ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ」は、０以上６５５３５以下の範囲の現在のシーケンスの画像フレームにおいて存在する拡張ブロックＩＤの総数を指定する。いくつかの実施形態において、シーケンスレベルパラメータ「ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ」に対する特定の値が見つかったときには、ゼロ（０）などのデフォルト値がそのパラメータに与えられ得る。

ＳＳ拡張ブロックにおいて搬送されるシーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」は、拡張ブロックＩＤがそれぞれどのＤＭレベルに対応するかを受信側デバイスに伝えるために、映像エンコーダによって使用され得る。シーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」は、現在のシーケンスの画像フレームにおいて存在する拡張ブロックＩＤ「ｉ」に対するＤＭレベルを示す。いくつかの実施形態において、シーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」における値は、１以上２５２以下の範囲にある。シーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」が存在しない場合、ゼロ（０）などのデフォルト値が現在のシーケンスの画像フレームにおいて存在する拡張ブロックＩＤ「ｉ」に対するＤＭレベルの一部またはすべてに与えられ得る。

ＦＰ拡張ブロックは、フレームレベル情報を伝えるために使用され得、各画像フレームにおいて生じ（例えば、符号化、送信、受信、復号化されるなど）得る。

表３に例示されるように、対応する画像フレームに対するＦＰ拡張ブロックは、フレームレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］」を含み得る。ここで、ｉは、０以上（ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ−１）以下の値であり、シーケンスに対してＳＳ拡張ブロックによって示される１シーケンスの画像フレームの全体において存在する拡張ブロックＩＤを表す。ＦＰ拡張ブロックにおけるフレームレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］」は、どの拡張ブロックＩＤ（「ｉ」によって表される）が第３層の拡張ブロック（または、フレームオーバーヘッドフリー拡張ブロック）においてペイロードブロックを搬送するかを受信側デバイスに示すために映像エンコーダによって使用され得る。追加的に、オプションとして、または代替的に、ＦＰ拡張ブロックにおけるフレームレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］」は、すべてのペイロードブロックを次々に詰める（ｐａｃｋ）ために映像エンコーダによって使用されてもよく、このとき、これらのペイロードブロックにパディングビットは一切用いず、いずれの隣り合うペイロードブロックを分離するパディングビットも一切用いない。

いくつかの実施形態において、対応する画像フレームに対して値を更新する必要のあるメタデータパラメータ（１などの特別な値に設定されたｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］を有する拡張ブロックＩＤに対応する）のみが、そのペイロードブロックを映像エンコーダによって符号化されている。対応する画像フレームに対して値を更新する必要のない他のメタデータパラメータは、映像エンコーダによって符号化されたペイロードブロックを一切有さない。

例えば、特定の拡張ブロックＩＤ「ｉ」が、対応する画像に対するＦＰ拡張ブロックにおいて、更新を必要としていると示されている（例えば、ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］＝＝１など）と判断したことに応答して、映像エンコーダは、ペイロード符号化ルーチン「ｅｘｔ＿ｂｌｏｃｋ＿ｐａｙｌｏａｄ＿ｃｏｍｐ（．．．）」を呼び出す（ｃａｌｌ）ことができる。１シーケンスの画像フレームの全体に対するＳＳ拡張ブロックにおけるシーケンスレベルパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」の配列を用いて設定された、特定の拡張ブロックＩＤ「ｉ」のＤＭレベルは、ペイロード符号化ルーチン「ｅｘｔ＿ｂｌｏｃｋ＿ｐａｙｌｏａｄ＿ｃｏｍｐ（．．．）」に対する入力パラメータとして渡される。ペイロード符号化ルーチンは、ＤＭレベルを使用して、シーケンスレベルパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」の配列において示されるＤＭレベルにおいてメタデータパラメータの更新値を符号化できる。いくつかの実施形態において、時間領域予測を使用して、これらのメタデータパラメータの値の一部またはすべてを更新するための簡潔な（ｃｏｎｃｉｓｅ）ペイロードを生成し得る。いくつかの実施形態において、これらのペイロードは、第３層の拡張ブロックにおけるフレームオーバーヘッドフリーペイロード拡張ブロックを使用して符号化され得る。

他方、特定の拡張ブロックＩＤ「ｉ」が、対応する画像に対するＦＰ拡張ブロックにおいて、更新を必要としていないと示されている（例えば、ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］＝＝０など）と判断したことに応答して、映像エンコーダは、ペイロード符号化ルーチン「ｅｘｔ＿ｂｌｏｃｋ＿ｐａｙｌｏａｄ＿ｃｏｍｐ（．．．）」を呼び出す（ｃａｌｌ）ことを回避できる。特定の拡張ブロックＩＤ「ｉ」のに対する特定の拡張ブロックＩＤ「ｉ」のＤＭレベルは、１シーケンスの画像フレームの全体に対するＳＳ拡張ブロック内のシーケンスレベルパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」の配列を用いて設定されている。このように、いくつかの実施形態において、対応する画像フレームに対して、映像エンコーダは、拡張ブロックＩＤ「ｉ」に対するフレームレベルパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ［ｉ］」が更新をしないための特別な値（例えば、０など）に設定される場合、拡張ブロックＩＤ「ｉ」に関連付けられたメタデータパラメータの値を更新するためのペイロードを一切生成しない。例えば、メタデータパラメータの値の時間領域予測のために使用された前回のメタデータパラメータのメタデータ値または前回の多項式を、対応する画像に対してメタデータパラメータの値を生成または提供するために継続して使用され得る。

ペイロード符号化ルーチン「ｅｘｔ＿ｂｌｏｃｋ＿ｐａｙｌｏａｄ＿ｃｏｍｐ（．．．）」は、様々なＤＭレベルに対してフレームオーバーヘッドフリーペイロード拡張ブロックを符号化するために映像エンコーダによって使用される総ペイロード符号化シンタックス例によって、以下の表４に例示されるように表され得る。

表４から分かるように、入力パラメータとして渡してこられたＤＭレベルに基づいて、ペイロード符号化ルーチン「ｅｘｔ＿ｂｌｏｃｋ＿ｐａｙｌｏａｄ＿ｃｏｍｐ（．．．）」は、ペイロード符号化サブルーチン「ＤＭ＿ｃｏｍｐ_メタデータ１（）」、「ＤＭ＿ｃｏｍｐ_メタデータ２（）」、「ＤＭ＿ｃｏｍｐ_メタデータ３（）」、「ＤＭ＿ｃｏｍｐ_メタデータ４（）」、「ＤＭ＿ｃｏｍｐ_メタデータ５（）」、「ＤＭ＿ｃｏｍｐ_メタデータ６（）」などを呼び出す。

ペイロード符号化サブルーチンは、様々なＤＭレベルに対してそれぞれのフレームオーバーヘッドフリーペイロード拡張ブロックを符号化するために映像エンコーダによって使用される、それぞれの特定のペイロード符号化シンタックス例によって、下記の表５ 〜１０に例示されるように、表され得る。

表３および４から分かるように、画像メタデータを符号化するための符号化シンタックスは、それぞれの拡張ブロックレベルを有するＳＳ拡張ブロック、ＦＰ拡張ブロック、およびフレームオーバーヘッドフリー拡張ブロックを参照し得る。

例えば、表３における符号化シンタックスは、パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対する値「ＳＳ」（例えば、数値２５４など）を有するＳＳ拡張ブロックを参照する。値「ＳＳ」（例えば、数値２５４など）は、ＳＳ拡張ブロックに対して特定の拡張ブロックレベルを表す。

表３における同じ符号化シンタックスはまた、パラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対する値「ＦＰ」（例えば、数値２５３など）を有するＦＰ拡張ブロックを参照する。値「ＦＰ「（例えば、数値２５３など）は、ＦＰ拡張ブロックに対する特定の拡張ブロックレベルを表す。

表３および４における符号化シンタックスは、パラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」またはパラメータ「ｅｘｔ＿ｃｏｍｐ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対して異なる値（例えば、数値１、２、３、４、５、６など）を有するリファレンスフレームオーバーヘッドフリー拡張ブロックを参照する。これらの異なる値（例えば、数値１、２、３、４、５、６など）は、フレームオーバーヘッドフリー拡張ブロックに対するそれぞれの拡張ブロックレベルを表す。

いくつかの実施形態において、フレームオーバーヘッドフリー拡張ブロックに対する異なる拡張ブロックレベルは、フレームオーバーヘッドフリー拡張ブロックにおいて搬送されるメタデータパラメータに対して、異なるＤＭレベルに対応し得る。

例えば、フレームオーバーヘッドフリー拡張ブロックの、表４におけるパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」またはパラメータ「ｅｘｔ＿ｃｏｍｐ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対して数値１によって表される拡張ブロックレベル（１）は、フレームオーバーヘッドフリー拡張ブロックに対するメタデータパラメータ（例えば、「ｍｉｎ＿ＰＱ」、「ｍａｘ＿ＰＱ」、「ａｖｇ＿ＰＱ」など）に対する「Ｌ１」などのＤＭレベルに対応し得る。同様に、フレームオーバーヘッドフリー拡張ブロックの、表４におけるパラメータ「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」またはパラメータ「ｅｘｔ＿ｃｏｍｐ＿ｂｌｏｃｋ＿ｌｅｖｅｌ」に対する数値４によって表される拡張ブロックレベル（４）は、フレームオーバーヘッドフリー拡張ブロックに対するメタデータパラメータ（例えば、「ａｎｃｈｏｒ＿ＰＱ」、「ａｎｃｈｏｒ＿ｐｏｗｅｒ」など）に対する、「Ｌ４」などのＤＭレベルに対応し得る。

エンコーダ側制約条件
階層拡張ブロックに対する符号化シンタックスを使用して画像メタデータを符号化する映像エンコーダは、以下のように１つ以上のエンコーダ側制約条件を実装し得る。

いくつかの実施形態において、符号化ビットストリーム（例えば、１２２など）において表される各画像フレームに対して、最大で１つのＳＳ拡張ブロック（例えば、レベル２５４など）がその符号化ビットストリーム（１２２）において符号化されている。いくつかの実施形態において、１シーケンスの画像フレーム（例えば、メディアプログラムの一部に対応する、など）に対して、１つのＳＳ拡張ブロックが符号化されている。シーケンスレベル符号化パラメータ値は、１シーケンスの画像フレームの全体のうちの各画像フレームに対して１つのＳＳ拡張ブロックを介してアクセスされ得る。

いくつかの実施形態において、１シーケンスの画像フレームに対して符号化される１つのＳＳ拡張ブロックには、ＦＰ拡張ブロックが伴う（例えば、後に続く、など）。ＦＰ拡張ブロックは、１シーケンスの画像フレームのうちの第１の画像フレームなどの特定の画像フレームに対して符号化され得る。ＦＰ拡張ブロックは、１シーケンスの画像フレームの全体に存在する１つのＳＳ拡張ブロックによって示されるすべての拡張ブロックＩＤに対応するメタデータパラメータ（特定の画像フレームに対する）の値（例えば、初期値など）を完全に決定するために使用され得る。

いくつかの実施形態において、ＳＳ拡張ブロック（例えば、レベル２５４など）は、符号化ビットストリーム（１２２）において表される各画像フレームではなく、対応する１シーケンスの画像フレームに対して符号化され得る。いくつかの実施形態において、前の画像フレームまたは前の１シーケンスの画像フレームに対する前のＳＳ拡張ブロックにおけるシーケンスレベル情報の一部またはすべては、符号化ビットストリーム（１２２）における後の画像フレームまたは後の１シーケンスの画像フレームによって再利用され得る。

いくつかの実施形態において、ＳＳ拡張ブロック（レベル２５４）は、ＳＳ拡張ブロック（レベル２５４）が符号化ビットストリーム（１２２）におけるすべてのＦＰ拡張ブロック（レベル２５３）によって必要とされる場合、符号化ビットストリーム（１２２）におけるすべてのＦＰ拡張ブロックよりも早くに、映像エンコーダによって符号化ビットストリーム（１２２）において符号化される。これは、正しいシーケンスレベル値を参照するＦＰ拡張ブロック（レベル２５３）が復号化される前に、それらのシーケンスレベル値がＳＳ拡張ブロック（レベル２５４）から読み出されることを確実にするためである。

エンコーダ側制約条件はまた、後方互換性をサポートまたは実施するために使用され得る。任意の所与の時点において、異なる符号化シンタックスバージョンをサポートするメディアデバイスが当該分野で利用され得る。例えば、Ｌ１およびＬ２メタデータを搬送するための第１の符号化シンタックスバージョンをサポートするメディアデバイスが、最初に当該分野にリリースされ得る。その後、Ｌ１、Ｌ２およびＬ４を搬送するための第２の符号化シンタックスバージョンをサポートするメディアデバイスが当該分野にリリースされ得る。さらにその後、Ｌ１、Ｌ２、Ｌ４およびＬ３を搬送するための第３の符号化シンタックスバージョンをサポートするメディアデバイスが当該分野にリリースされ得る。いくつかの実施形態において、最も早くにリリースされる第１の符号化シンタックスバージョンには、その後にリリースされる第２の符号化シンタックスバージョンよりも小さいバージョン値が与えられ、次いで第２の符号化シンタックスバージョンには、さらにその後にリリースされる第３の符号化シンタックスバージョンよりも小さいバージョン値が与えられる。このように、符号化シンタックスのリリースが早いほど、その符号化シンタックスのバージョンに割り当てられる値は小さくなる。

最大限の後方互換性を確実にするためには、最新の符号化シンタックスバージョンにおける新たにサポートされた拡張ブロックレベル（または、新たにサポートされたＤＭレベル）のメタデータパラメータを搬送する拡張ブロックは、符号化シンタックスバージョンの最大のバージョン値に関連付けられるが、最後に配置される。その結果、最新の符号化シンタックスバージョンをサポートしないメディアデバイスでも、最新の符号化シンタックスバージョンにおいて符号化されている拡張ブロックから最大個数のメタデータパラメータを認識し取り出し得る。

第１の映像デコーダが符号化シンタックスバージョン１に導入されたＬ１およびＬ２メタデータを復号化でき、第２の映像デコーダが符号化シンタックスバージョン２に導入されたＬ１およびＬ２ならびにＬ４メタデータを復号化でき、第３の映像デコーダが符号化シンタックスバージョン３に導入されたＬ１、Ｌ２およびＬ４ならびにＬ３メタデータを復号化できる例を考える。１（Ｌ１およびＬ２メタデータ）、２（Ｌ１、Ｌ２およびＬ４メタデータ）および３（Ｌ１、Ｌ２、Ｌ４およびＬ３メタデータ）などのバージョン値を使用して、これらの３つの符号化シンタックスバージョン１、２、および３のいずれにおいても拡張ブロックを順序付けし得る。例えば、最新の符号化シンタックスバージョン（例えば、本例におけるバージョン３など）において、拡張ブロックは、Ｌ１およびＬ２メタデータなどの符号化シンタックスバージョン１においてサポートされるメタデータが、Ｌ４メタデータなどのバージョン２において新たにサポートされるメタデータよりも前に符号化されることになるように順序付けされ得る。次いで、Ｌ４メタデータなどのバージョン２において新たにサポートされるメタデータは、Ｌ３メタデータなどのバージョン３においてサポートされる最新のメタデータよりも前に符号化される。

その結果、符号化シンタックスバージョン１をサポートする第１の映像デコーダは、拡張ブロックが符号化シンタックスバージョン３において符号化されている場合でも、拡張ブロックからＬ１およびＬ２メタデータを取り出すことができる。第１の映像デコーダは、Ｌ４メタデータを認識しないが、Ｌ４メタデータにおけるメタデータパラメータに対してデフォルト値を使用すること、Ｌ４メタデータにおけるこれらのメタデータパラメータを無視することなどをし得る。

符号化シンタックスバージョン１および２をサポートする第２の映像デコーダは、拡張ブロックが符号化シンタックスバージョン３において符号化されている場合でも、拡張ブロックからＬ１、Ｌ２、およびＬ４メタデータを取り出し得る。第２の映像デコーダは、Ｌ３メタデータを認識しないが、Ｌ３メタデータにおけるメタデータパラメータに対してデフォルト値を使用すること、Ｌ３メタデータにおけるこれらのメタデータパラメータを無視することなどをし得る。

いくつかの実施形態において、ペイロード拡張ブロックは、シーケンスレベル拡張ブロックにおいて示されるシーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」を順序付けすることによって、異なる符号化シンタックスバージョンのバージョン値の昇順に順序付けられ得る。

本例において、ＤＭレベルＬ１およびＬ２に対応する第１の拡張ブロックレベルは、まずシーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」、続いてＤＭレベルＬ４に対応する第２の拡張ブロックレベル、さらに続いてＤＭレベルＬ３に対応する第３の拡張ブロックレベルにおいて現れ得る。

その結果、シーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」がＦＰ拡張ブロックを符号化する際に使用される場合、第１の拡張ブロックレベルがまず処理され、第１の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックがまず符号化されることになり、続いて第２の拡張ブロックレベルが処理され、第２の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックが符号化され、さらに続いて第３の拡張ブロックレベルが処理され、第３の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックが符号化される。同様に、シーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」がＦＰ拡張ブロックおよびペイロード拡張ブロックを復号化する際に使用される場合、第１の拡張ブロックレベルがまず処理され、第１の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックがまず復号化されることになり、続いて第２の拡張ブロックレベルが処理され、第２の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックが復号化され、さらに続いて第３の拡張ブロックレベルが処理され、第３の拡張ブロックレベルでの任意の存在フラグまたは任意のペイロード拡張ブロックが復号化される。

オーバーヘッドおよび圧縮効率
総メタデータリフレッシュ（例えば、異なるメタデータパラメータ、メタデータパラメータに対するすべてまたは実質的にすべての値のリフレッシュ、など）のために映像エンコーダが選択する画像フレーム（例えば、ＩＤＲフレーム、非ＩＤＲ画像など）に対して、ＳＳ拡張ブロックおよびＦＰ拡張ブロック（例えば、ＦＰ拡張ブロックに伴うフレームオーバーヘッドフリー拡張ブロックを含むがそれに限定されない、など）の両方が送られ得る。残りの画像フレームに対して、映像エンコーダは、ＦＰ拡張ブロックおよびそのＦＰ拡張ブロックにそれぞれ伴う任意のフレームオーバーヘッドフリー拡張ブロックを送信するだけであり得る。ＳＳ拡張ブロックがオーバーヘッドとしてカウントされる場合でも、そのようなオーバーヘッドは、比較的小さい。なぜなら、ＳＳ拡張ブロックのオーバーヘッドは、ＳＳ拡張ブロックが生成される１シーケンスの画像フレームのうちの複数の画像フレームにわたって償却（ａｍｏｒｔｉｚｅ）され得るからである。このように、ＳＳ拡張ブロックは、比較的使用頻度が少ないので、全体的に言えば、ＳＳ拡張ブロックからのオーバーヘッドは、比較的小さい。

画像フレームのシーケンス例およびその画像フレームのシーケンス例に対する拡張ブロックを下記の表１１に示す。

ＤＭメタデータが３つの拡張ブロックレベル（表３の符号化シンタックスにおけるシーケンスレベルパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｌｅｖｅｌ［ｉ］」によって示される）を含む演算例を考える。第１の拡張ブロックレベルは、３６ビット（Ｌ１メタデータなど）を有する。第２の拡張ブロックレベルは、３６ビット（Ｌ１メタデータなど）を有する。第３の拡張ブロックレベルは、２４ビット（表８におけるＬ４メタデータなど）を有する。

このように、合計２４＋３６＋３６＝９６ビットのペイロードとなる８個のパラメータがある。本明細書に記載される圧縮方法を実装しない他の手法においては、３７ビットを使用して２４ビット（Ｌ４メタデータにおける）を符号化し得、５３ビットを使用して３６ビット（Ｌ４メタデータにおける）を符号化し得る。このように、これらの他の手法においては、２×３６ビット（Ｌ１メタデータにおける）および２４ビット（Ｌ４メタデータにおける）を符号化するために、合計３７＋５３＋５３＝１４３ビットが必要となり得る。

本明細書に記載される技術においては、顕著により少ないビット数を使用して、時間領域予測を使用することなく、同じメタデータを送信できる。

例えば、ＳＳ拡張ブロックが表１１におけるフレームインデックス１〜３および５に対して符号化、送信、受信および復号化されない場合、ＦＰ拡張ブロック（それに伴うフレームオーバーヘッドフリー拡張ブロックを含む）は、本例において７ビットを取る、符号なし整数Ｅｘｐ−Ｇｏｌｏｍｂ−符号化シンタックスにおいて符号化されているパラメータ「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｎｇｔｈ」を含み得る。ＦＰ拡張ブロックは、３つのフレームオーバーヘッドフリー拡張ブロックに対して３ビット（Ｌ４メタデータに対して１ビット、Ｌ１メタデータに対して２ビット）を取るパラメータ配列「ｓｅｑ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ＿ｐｒｅｓｅｎｔ」を含む。フレームオーバーヘッドフリー拡張ブロックは、Ｌ１およびＬ４メタデータを搬送するために９６ビットを取る。最後に、ＳＳおよびＦＰ拡張ブロックは、パディングのためのｅｘｔ＿ｄｍ＿ａｌｉｇｎｍｅｎｔ＿ｚｅｒｏ＿ｂｉｔの５ビットを取る（例えば、バイト境界に揃える（ａｌｉｇｎｍｅｎｔ）ための３＋９６＋５）。このように、ＦＰ拡張ブロック（それに伴うフレームオーバーヘッドフリー拡張ブロックを含む）は、Ｅｘｐ−Ｇｏｌｏｍｂ−符号化「ｅｘｔ＿ｂｌｏｃｋ＿ｌｅｎｇｔｈ」を含む、合計７＋３＋９６＋５＝１１１ビットを使用する。その結果、ＳＳ拡張ブロックがフレームインデックス１〜３および５において送信されない場合、本明細書に記載される技術におけるビット総数は、やはり他の手法における総ビット数（１４３）よりも１６＋１６＝３２ビット少ない。

圧縮効率は、その値がフレームオーバーヘッドフリー拡張ブロックにおいて搬送されるべきメタデータパラメータに対し時間領域予測を使用することによって、さらに向上できる。例えば、表１１におけるフレームインデックス３において、Ｌ１およびＬ４メタデータに対してこれまでに伝えられた時間領域予測関数（または、多項式）のすべてがまだ有効である場合は、いずれのフレームオーバーヘッドフリー拡張ブロック（例えば、表８に示すＬ４メタデータに対する２つのメタデータパラメータなど）も含む必要がなく、伝える必要もない。その結果、ＳＳ拡張ブロックがフレームインデックス３において送信されない場合、および予測関数（または、多項式）を更新する必要がない場合、本明細書に記載される技術におけるビット総数（例えば、２７ビットなど）は、その他の手法におけるビット総数（１４３）よりもはるかに少ない。

追加的に、オプションとして、または代替的に、フレームオーバーヘッドフリー拡張ブロックが１セットのメタデータパラメータ（Ｌ１メタデータまたはＬ４メタデータなど）に対して必要とされる場合でも、そのセットにおけるすべてのメタデータパラメータがそれらの予測関数（または、多項式）に対して更新を有するとは限らない。予測関数（または、多項式）に対して更新を必要としないこれらのメタデータパラメータに対して、１つのビットモードフラグを、フレームオーバーヘッドフリー拡張ブロックにおいて、それらのメタデータパラメータのそれぞれに対して使用して、各そのようなメタデータパラメータに対して予測関数（または、多項式）への更新がないことを示すことができる。このように、フレームオーバーヘッドフリー拡張ブロックに含まれるいくつかのメタデータパラメータがそれらの予測関数（または、多項式）を更新する必要がない場合および／またはそれらのメタデータパラメータに対して１つのビットモードフラグだけが使用される場合、フレームオーバーヘッドフリー拡張ブロックは、やはり比較的小さくてもよい。

なお、様々な実施形態において、本明細書に記載される映像エンコーダは、時間領域予測または任意の他の方法（必ずしも時間領域予測に基づかない）を使用して、ＤＭメタデータを含む画像データにおけるメタデータパラメータのうちの一部またはすべての予測値または非予測値（例えば、実際値など）を伝えてもよいし、一切のメタデータパラメータの予測値または非予測値（例えば、実際値など）を伝えなくてもよい。

なお、また、様々な実施形態において、本明細書に記載される映像エンコーダは、シーケンスレベルサマリー情報が伝えられるべき開始点である、１シーケンスの画像フレームの開始点として、ＩＤＲフレーム（表１１に示す）または非ＩＤＲフレーム（例えば、Ｐフレーム、Ｂフレームなど）を特定し得る。例えば、映像エンコーダは、メタデータパラメータの値を予測するために使用される予測関数に対して新しいパラメータを用いて更新される必要のあるメタデータパラメータが多くあり、そのようなメタデータパラメータの総数は、最大許容可能数を超えるほどであることを認識し得る。これに応じて、映像エンコーダは、例えば、新しいＳＳ拡張ブロックにおいて、新しい１シーケンスの画像フレームを開始し、そしてシーケンスレベルサマリー情報を送り得る。

いくつかの実施形態において、１シーケンスの画像フレーム（例えば、その各画像フレームについてなど）に対し、特定のＤＭレベルでの１特定セットのメタデータパラメータの複数のインスタンスが、映像エンコーダによって映像デコーダに伝えられ得る。前記１特定セットのメタデータの各インスタンスは、映像デコーダなどの受信側デバイスによって、特定の画像プロセッシング演算を行うか、または１特定セットの画像プロセッシング演算を行うための基礎として使用され得る。例えば、１シーケンスの画像フレーム（例えば、その１シーケンスの画像フレームのうちの各画像フレーム）に対し、Ｌ１メタデータ（ＤＭレベルＬ１での）の複数インスタンスが映像エンコーダによって映像デコーダに伝えられ得る。Ｌ１メタデータの複数インスタンスに部分的に基づいて、複数の異なる画像処理演算または複数の異なるセットの画像処理演算が受信側デバイスによって行われ得る。同様に、１シーケンスの画像フレーム（例えば、その１シーケンスの画像フレームのうちの各画像フレーム）に対し、Ｌ２メタデータ（ＤＭレベルＬ２での）、Ｌ３メタデータ（ＤＭレベルＬ３での）、Ｌ４メタデータ（ＤＭレベルＬ４での）などの複数インスタンスが映像エンコーダによって映像デコーダに伝えられ得る。Ｌ２メタデータ、Ｌ３メタデータ、Ｌ４メタデータなどの複数インスタンスに部分的に基づいて、複数の異なる画像処理演算または複数の異なるセットの画像処理演算が受信側デバイスによって行われ得る。

いくつかの実施形態において、１シーケンスの画像フレームに対する、すべてのＤＭレベルでのメタデータパラメータセットのすべての（または、集積された）複数インスタンスは、１シーケンスの画像フレームに対するＳＳ拡張ブロックにおけるパラメータ「ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ」によって示され得る。パラメータ「ｓｅｑ＿ｎｕｍｂｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｂｌｏｃｋ」は、８ビット、１６ビット、またはバイトで揃えられてもよいし、そうでなくてもよい他のビット数のうちの１つによって表される数値であり得る。

例示目的のみとして、ＤＭメタデータなどの画像メタデータは、本明細書に記載されるように、入力映像信号におけるＳＤＲ画像に対して階層拡張ブロックおよび／または時間領域予測を使用して、伝えられ、ＳＤＲ画像に関連する画像処理演算および／またはターゲットディスプレイ用のターゲットディスプレイ画像の生成に対してメタデータパラメータの値を下流のデバイスが受信または予測できるようにし得ることを幾度か記載した。

ただし、様々な実施形態において、入力映像信号において入力ダイナミックレンジおよび／または入力色域の画像は、Ｒｅｃ．７０９に規定されるようなＳＤＲ画像であってもよいし、そうでなくてもよい。例えば、いくつかの実施形態において、Ｒｅｃ．７０９のＳＤＲとは異なる入力ダイナミックレンジ（例えば、４０００ニト、１０００ニトなど）のハイブリッド−ログ−ガンマ（Ｈｙｂｒｉｄ−Ｌｏｇ−Ｇａｍｍａ（ＨＬＧ））画像は、本明細書に記載されるように、入力映像信号から復号化され得る。ＤＭメタデータなどの画像メタデータは、ＨＬＧ画像に対して階層拡張ブロックおよび／または時間領域予測を使用して伝えられ、ＨＬＧ画像に関連する画像処理演算および／またはターゲットディスプレイ用のターゲットディスプレイ画像の生成に対してメタデータパラメータの値を下流のデバイスが受信または予測できるようにし得る

プロセスフロー例
図４Ａは、本発明のある実施形態によるプロセスフロー例を例示する。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたはコンポーネント（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）は、このプロセスフローを行い得る。ブロック４０２において、画像プロセッシングデバイス（例えば、符号化ブロック（１２０）など）は、メディアプログラムにおける１シーケンスの画像フレームに対して、１セットのシーケンスレベルパラメータを生成する。前記１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む。

ブロック４０４において、画像プロセッシングデバイスは、前記１シーケンスの画像フレームに対する１シーケンスをなす複数セットのフレーム存在パラメータを生成する。前記１シーケンスをなす複数セットのフレーム存在パラメータのうちの各セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちのそれぞれの画像フレームに対して生成される。前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成された１特定セットのフレーム存在パラメータは、１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が符号化ビットストリームにおいてメタデータペイロードとして符号化されるべきである第１のメタデータ型を特定する第１のフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が符号化ビットストリームにおいて符号化されるべきでない第２のメタデータ型を特定する第２のフレーム存在インジケータを含む。

ブロック４０６において、画像プロセッシングデバイスは、符号化ビットストリームにおいて、前記１シーケンスの画像フレーム、前記１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、およびメタデータペイロードを符号化する。

ブロック４０８において、画像プロセッシングデバイスは、符号化ビットストリームの受信側デバイスに、第１のメタデータ型に対して決定されたメタデータパラメータ値に少なくとも部分的に基づいて特定の画像フレームから、ターゲットディスプレイ用のターゲットディスプレイ画像を生成させる。

ある実施形態において、前記１シーケンスの画像フレームは、メディアプログラムにおける１シーケンスの連続する画像フレームを表す。

ある実施形態において、前記１セットのシーケンスレベルパラメータは、符号化ビットストリームにおいてシーケンスサマリーメタデータブロックとして送信され、１個別セットのフレーム存在パラメータは、符号化ビットストリームにおいてフレーム存在メタデータブロックとして送信され、メタデータペイロードは、符号化ビットストリームにおいてフレームオーバーヘッドフリーメタデータブロックとして送信される。

ある実施形態において、前記１セットのシーケンスレベルパラメータ、１個別セットのフレーム存在パラメータ、およびメタデータペイロードは、符号化ビットストリームにおいて、連続するビットによって形成される１つのビットブロックとして送信される。

ある実施形態において、前記１セットのシーケンスレベルパラメータ、１個別セットのフレーム存在パラメータ、およびメタデータペイロードは、符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、送信される。

ある実施形態において、メタデータペイロードは、符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、互いに隣り合って送信される。

ある実施形態において、メタデータペイロードのうちの少なくとも１つは、時間領域予測関数を指定するための１セットの関数パラメータを搬送する。時間領域予測関数は、特定の画像フレームに関連して画像処理演算において使用されるべきメタデータパラメータに対して時間領域予測値を生成する。

ある実施形態において、時間領域予測関数は、時間領域定数、時間領域における１次多項式、時間領域における２次以上の高次多項式、１セットの区分的関数、非多項式関数などのうちの１つを表す。

ある実施形態において、前記１シーケンスの画像フレームは、特定の画像フレームにおいて開始し、前記１セットのシーケンスレベルパラメータは、前記特定の画像フレーム、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードとともに送信される。

ある実施形態において、特定の画像フレームは、１シーケンスの画像フレームを含む１セットの画像から、１つ以上の選択基準に基づいて、選択される。

ある実施形態において、１つ以上の選択基準は、１つ以上のメタデータパラメータに対して１つ以上の最大許容可能予測エラーを含む。

ある実施形態において、１つ以上の選択基準は、時間領域予測関数を更新するために必要な最大許容可能総数のメタデータパラメータを含む。

ある実施形態において、特定の画像フレームは、インスタントデータリフレッシュ（ＩＤＲ）画像フレーム、非ＩＤＲ画像フレーム、プログラム切り換えに対応する画像フレーム、ビットレート切り換えに対応する画像フレームなどのうちの１つを表す。

ある実施形態において、画像プロセッシングデバイスは、さらに、メディアプログラムを構成する１セットの画像フレームをこの１シーケンスの画像フレームを含む複数のシーケンスの画像フレームに分割するステップと、複数のシーケンスの画像フレームのうちの各シーケンスの画像フレームに対して１個別セットのシーケンスレベルパラメータを生成するステップとを行うように構成される。１個別セットのシーケンスレベルパラメータは、各そのような１シーケンスの画像フレームのうちの各フレームに対して存在する１セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む。

ある実施形態において、前記１セットのシーケンスレベルパラメータは、符号化ビットストリームにおいて、前記１シーケンスの画像フレームのうちのすべての画像フレームに対して、最大で１度送信される。

ある実施形態において、前記１シーケンスの画像フレームは、１シーケンスのスタンダードダイナミックレンジ（ＳＤＲ）画像、１シーケンスのハイダイナミックレンジ（ＨＤＲ）画像、１シーケンスのハイブリッド−ログ−ガンマ（ＨＬＧ）画像などのうちの１つを表す。

図４Ｂは、本発明の実施形態よるプロセスフロー例を例示する。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたはコンポーネント（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）は、このプロセスフローを行い得る。ブロック４２２おいて、画像プロセッシングデバイス（例えば、復号化ブロック（１３０）など）は、メディアプログラムにおいて１シーケンスの画像フレームを包含する符号化ビットストリームを受信する。

ブロック４２４において、画像プロセッシングデバイスは、前記１シーケンスの画像フレームに対して前記１セットのシーケンスレベルパラメータを復号化する。１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む。

ブロック４２６において、画像プロセッシングデバイスは、前記１セットのシーケンスレベルパラメータを使用して、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成された１特定セットのフレーム存在パラメータを復号化する。前記１セットのフレーム存在パラメータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値がメタデータペイロードとして符号化ビットストリームにおける特定の画像フレームに対して符号化された第１のメタデータ型を特定する第１のフレーム存在インジケータを含む。前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が符号化ビットストリームにおける特定の画像フレームに対して符号化されていない第２のメタデータ型を特定する第２のフレーム存在インジケータを含む。

ブロック４２８において、画像プロセッシングデバイスは、第１のフレーム存在インジケータを使用して、符号化ビットストリームにおけるメタデータペイロードを復号化する。

ブロック４３０において、画像プロセッシングデバイスは、第１のメタデータ型に対して決定されたメタデータパラメータ値に少なくとも部分的に基づいて特定の画像フレームから、ターゲットディスプレイ用のターゲットディスプレイ画像を生成する。

ある実施形態において、１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、およびメタデータペイロードは、入力映像信号において、前記１シーケンスの画像フレームから分離した画像メタデータとして搬送される。

ある実施形態において、メタデータペイロードは、１つ以上のディスプレイマネジメント（ＤＭ）レベルに対してメタデータパラメータを含む。

ある実施形態において、画像プロセッシングデバイスは、さらに、メタデータペイロードからディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、ターゲットディスプレイ画像を生成するステップの一部として、ＤＭメタデータを使用して特定の画像フレームに対して１つ以上のＤＭ演算を行うステップとを行うように構成される。ある実施形態において、画像プロセッシングデバイスは、さらに、メタデータペイロードから非ディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、ターゲットディスプレイ画像を生成するステップの一部として、非ＤＭメタデータを使用して特定の画像フレームに対して１つ以上の非ＤＭ演算を行うステップとを行うように構成される。

ある実施形態において、ディスプレイデバイス、モバイルデバイス、セットトップボックス、マルチメディアデバイスなどの、あるコンピューティングデバイスは、上記方法のいずれかを行うように構成される。ある実施形態において、ある装置は、プロセッサを含み、上記方法のいずれかを行うように構成される。ある実施形態において、ある非一時的なコンピュータ読み取り可能な記憶媒体は、ソフトウェア命令を記憶する。ソフトウェア命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

ある実施形態において、あるコンピューティングデバイスは、１つ以上のプロセッサおよび１セットの命令を含む１つ以上の記憶媒体を含む。１セットの命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

なお、別々の実施形態を本明細書において記載するが、本明細書に記載の実施形態および／または部分的な実施形態の任意の組み合わせが更なる実施形態を形成し得る。

コンピュータシステムの実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲート配列（ＦＰＧ
Ａ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のエンハンストダイナミックレンジを有する画像の適応型知覚的量子化に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の適応型知覚的量子化プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のＨＤＲ画像の適応型知覚的量子化に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の例示の実施形態に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

一実施形態によると、本明細書に記載の技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、上記技術を行うようにハードワイヤードであってもよいし、または上記技術を行うように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・配列（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよし、またはファームウェア、メモリ、他の記憶体、またはそれらの組み合わせにおけるプログラム命令にしたがって上記技術を行うようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含んでもよい。また、そのような専用コンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて上記技術を達成し得る。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯デバイス、ネットワーキングデバイス、またはハードワイヤードおよび／もしくはプログラムロジックを含んで上記技術を実装する任意の他のデバイスであり得る。

例えば、図５は、本発明のある実施形態が実装され得るコンピュータシステム５００を例示するブロック図である。コンピュータシステム５００は、バス５０２または情報を送受信するための他の通信機構と、バス５０２に接続された、情報を処理するためのハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであり得る。

また、コンピュータシステム５００は、バス５０２に接続された、情報およびプロセッサ５０４によって実行されることになる命令を記憶するためのランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶デバイスなどのメインメモリ５０６を含む。また、メインメモリ５０６は、プロセッサ５０４によって実行されるべき命令の実行中の一時的変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ５０４がアクセス可能な非一時的な記憶媒体に記憶される場合は、コンピュータシステム５００を、命令において特定される動作を行うようにカスタマイズされた専用マシンにする。

コンピュータシステム５００は、バス５０２に接続された、静的情報およびプロセッサ５０４のための命令を記憶するための読み取り専用メモリ（ＲＯＭ）５０８または他の静的記憶デバイスをさらに含む。情報および命令を記憶するために、磁気ディスクまたは光学ディスクなどの記憶デバイス５１０が提供され、バス５０２に接続される。

コンピュータシステム５００は、情報をコンピュータユーザに対して表示するための液晶ディスプレイなどのディスプレイ５１２にバス５０２を介して接続され得る。プロセッサ５０４に情報およびコマンド選択を送受信するために、英数字キーまたは他のキーを含む入力デバイス５１４がバス５０２に接続される。プロセッサ５０４に方向情報およびコマンド選択を送受信するための、およびディスプレイ５１２上のカーソル移動を制御するための他の種類のユーザ入力デバイスは、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイスは、典型的には２つの軸（第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ））における２つの自由度を有する。これにより、そのデバイスは、平面において位置を特定できる。

コンピュータシステム５００は、コンピュータシステムと組み合わされてコンピュータシステム５００を専用マシンにするか、またはプログラムする、ハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、上記技術を実装し得る。一実施形態によると、本明細書に記載される技術は、メインメモリ５０６に含まれる１つ以上のシーケンスの１つ以上の命令をプロセッサ５０４が実行することに応答して、コンピュータシステム５００によって行われる。そのような命令は、記憶デバイス５１０などの別の記憶媒体からメインメモリ５０６に読み込まれ得る。メインメモリ５０６に含まれる命令シーケンスを実行することによって、プロセッサ５０４は、本明細書に記載のプロセスステップを行う。別の実施形態において、ハードワイヤードな回路をソフトウェア命令の代わりに、またはそれに組み合わせて使用し得る。

本明細書で使用する用語「記憶媒体」は、マシンを特定のやり方で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非揮発性媒体は、例えば、記憶デバイス５１０などの光学または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

記憶媒体は、伝送媒体とは異なるが、それと併せて使用され得る。伝送媒体は、情報を記憶媒体間で転送することに関与する。例えば、伝送媒体は、同軸ケーブル、銅ワイヤ、および光ファイバを含み、バス５０２を含むワイヤを含む。また、伝送媒体は、電波データ通信および赤外データ通信中に生成される音波または光波などの音波または光波の形態をとり得る。

様々な形態の媒体が１つ以上のシーケンスの１つ以上の命令を実行のためのプロセッサ５０４に搬送することに関与し得る。例えば、命令は、最初は遠隔のコンピュータの磁気ディスクまたはソリッドステートドライブ上に担持され得る。遠隔コンピュータは、命令をそのダイナミックメモリにロードしたり、命令をモデムを使用して電話回線を介して送信したりし得る。コンピュータシステム５００に対してローカルなモデムは、電話回線上でデータを受信し、赤外送信機を使用してデータを赤外信号に変換し得る。赤外検出器が赤外信号において搬送されるデータを受信し得る。そして、適切な回路がデータをバス５０２上に配置し得る。バス５０２は、データをメインメモリ５０６に搬送する。プロセッサ５０４は、メインメモリ５０６から命令を取り込んで、実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４による実行の前または後のいずれかに、必要に応じて記憶デバイス５１０上に記憶され得る。

また、コンピュータシステム５００は、バス５０２に接続された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に接続する双方向データ通信を提供する。例えば、通信インターフェース５１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応する種類の電話回線に与えるためのモデムであり得る。別の例として、通信インターフェース５１８は、データ通信接続を互換性のあるＬＡＮに与えるためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。また、無線リンクが実装され得る。任意のそのような実装において、通信インターフェース５１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気、電磁または光学信号を送信および受信する。

ネットワークリンク５２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに与える。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介してホストコンピュータ５２４、またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって操作されるデータ設備に接続を与え得る。次いで、ＩＳＰ５２６は、データ通信サービスを、現在一般的に「インターネット」と呼ばれるワールドワイドパケットデータ通信ネットワーク５２８を介して提供する。ローカルネットワーク５２２およびインターネット５２８の両方は、デジタルデータストリームを搬送する電気、電磁、または光学信号を使用する。コンピュータシステム５００へおよびからデジタルデータを搬送する、様々なネットワークを介する信号ならびにネットワークリンク５２０上のおよび通信インターフェース５１８を介した信号は、伝送媒体の形態例である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードなどのデータを受信し得る。インターネット例において、サーバ５３０は、アプリケーションプログラムについてのリクエストされたコードをインターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、および通信インターフェース５１８を介して送信し得る。

受信されたコードは、受信されるとプロセッサ５０４によって実行され得るか、および／または後で実行するために、記憶デバイス５１０または他の不揮発性記憶体に記憶され得る。

均等物、拡張物、代替物、その他
この明細書中において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

本発明の様々な局面は、以下に列挙される例示の実施形態（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）から理解され得る。
ＥＥＥ１．
メディアプログラムにおける１シーケンスの画像フレームに対して、１セットのシーケンスレベルパラメータを生成するステップであって、前記１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む、ステップと、
前記１シーケンスの画像フレームに対して、１シーケンスをなす複数セットのフレーム存在パラメータを生成するステップであって、前記１シーケンスをなす複数セットのフレーム存在パラメータのうちの各セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちのそれぞれの画像フレームに対して生成される、ステップと、
ここで、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成される１特定セットのフレーム存在パラメータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含み、
ここで、前記１セットのフレーム存在インジケータは、メタデータパラメータ値がメタデータペイロードとして前記符号化ビットストリームにおいて符号化されるべき第１のメタデータ型を特定する第１のフレーム存在インジケータを含み、
ここで、前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が前記符号化ビットストリームにおいて符号化されることのない第２のメタデータ型を示す第２のフレーム存在インジケータを含み、
前記１シーケンスの画像フレーム、前記１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードを前記符号化ビットストリームにおいて符号化するステップと、
前記符号化ビットストリームの受信側デバイスに、前記第１のメタデータ型に対して決定された前記メタデータパラメータ値に少なくとも部分的に基づいて前記特定の画像フレームから、ターゲットディスプレイ用のターゲットディスプレイ画像を生成させるステップと、
を含む、方法。

ＥＥＥ２．
前記１シーケンスの画像フレームは、前記メディアプログラムにおける１シーケンスの連続する画像フレームを表す、
ＥＥＥ１に記載の方法。

ＥＥＥ３．
前記１セットのシーケンスレベルパラメータは、前記符号化ビットストリームにおいてシーケンスサマリーメタデータブロックとして送信され、前記１個別セットのフレーム存在パラメータは、前記符号化ビットストリームにおいてフレーム存在メタデータブロックとして送信され、前記メタデータペイロードは、前記符号化ビットストリームにおいてフレームオーバーヘッドフリーメタデータブロックとして送信される、
ＥＥＥ１またはＥＥＥ２に記載の方法。

ＥＥＥ４．
前記１セットのシーケンスレベルパラメータ、前記１個別セットのフレーム存在パラメータ、および前記メタデータペイロードは、前記符号化ビットストリームにおいて、連続するビットによって形成される１つのビットブロックとして送信される、
ＥＥＥ１〜３のいずれかに記載の方法。

ＥＥＥ５．
前記１セットのシーケンスレベルパラメータ、前記１個別セットのフレーム存在パラメータ、および前記メタデータペイロードは、前記符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、送信される、
ＥＥＥ４に記載の方法。

ＥＥＥ６．
前記メタデータペイロードは、前記符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、互いに隣り合って送信される、
ＥＥＥ１〜５のいずれかに記載の方法。

ＥＥＥ７．
前記メタデータペイロードのうちの少なくとも１つは、時間領域予測関数を指定するための１セットの関数パラメータを搬送し、前記時間領域予測関数は、前記特定の画像フレームに関連して画像処理演算において使用されるべきメタデータパラメータに対して時間領域予測値を生成する、
ＥＥＥ１〜６のいずれかに記載の方法。

ＥＥＥ８．
前記時間領域予測関数は、時間領域定数、時間領域における１次多項式、時間領域における２次以上の高次多項式、１セットの区分的関数、または非多項式関数のうちの１つを表す、
ＥＥＥ１〜７のいずれかに記載の方法。

ＥＥＥ９．
前記１シーケンスの画像フレームは、前記特定の画像フレームにおいて開始し、前記１セットのシーケンスレベルパラメータは、前記特定の画像フレーム、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードとともに送信される、
ＥＥＥ１〜８のいずれかに記載の方法。

ＥＥＥ１０．
前記特定の画像フレームは、前記１シーケンスの画像フレームを含む１セットの画像から、１つ以上の選択基準に基づいて、選択される、
ＥＥＥ９に記載の方法。

ＥＥＥ１１．
前記１つ以上の選択基準は、１つ以上のメタデータパラメータに対して１つ以上の最大許容可能予測エラーを含む、
ＥＥＥ１０に記載の方法。

ＥＥＥ１２．
前記１つ以上の選択基準は、時間領域予測関数を更新するために必要な最大許容可能総数のメタデータパラメータを含む、
ＥＥＥ１０またはＥＥＥ１１に記載の方法。

ＥＥＥ１３．
前記特定の画像フレームは、インスタントデータリフレッシュ（ＩＤＲ）画像フレーム、非ＩＤＲ画像フレーム、プログラム切り換えに対応する画像フレーム、またはビットレート切り換えに対応する画像フレームのうちの１つを表す、
ＥＥＥ９〜１２のいずれかに記載の方法。

ＥＥＥ１４．
前記メディアプログラムを構成する１セットの画像フレームを前記１シーケンスの画像フレームを含む複数のシーケンスの画像フレームに分割するステップと、
前記複数のシーケンスの画像フレームのうちの各シーケンスの画像フレームに対して１個別セットのシーケンスレベルパラメータを生成するステップであって、前記１個別セットのシーケンスレベルパラメータは、各そのような１シーケンスの画像フレームのうちの各フレームに対して存在する１セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む、ステップと、
をさらに含む、ＥＥＥ１〜１３のいずれかに記載の方法。

ＥＥＥ１５．
前記１セットのシーケンスレベルパラメータは、前記符号化ビットストリームにおいて、前記１シーケンスの画像フレームのうちのすべての画像フレームに対して、最大で１度送信される、
ＥＥＥ１〜１４のいずれかに記載の方法。

ＥＥＥ１６．
前記１シーケンスの画像フレームは、１シーケンスのスタンダードダイナミックレンジ（ＳＤＲ）画像、１シーケンスのハイダイナミックレンジ（ＨＤＲ）画像、または１シーケンスのハイブリッド−ログ−ガンマ（ＨＬＧ）画像のうちの１つを表す、
ＥＥＥ１〜１５のいずれかに記載の方法。

ＥＥＥ１７．
メディアプログラムにおける１シーケンスの画像フレームを含む符号化ビットストリームを受信するステップと、
前記１シーケンスの画像フレームに対して１セットのシーケンスレベルパラメータを復号化するステップであって、前記１セットのシーケンスレベルパラメータは、前記１シーケンスの画像フレームのうちの各画像フレームに対して存在する１特定セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む、ステップと、
前記１セットのシーケンスレベルパラメータを使用して、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成された１特定セットのフレーム存在パラメータを復号化するステップと、
ここで、前記１特定セットのフレーム存在パラメータは、前記１セットのシーケンスレベルパラメータにおいて示される前記１特定セットのメタデータ型に対応する１特定セットのフレーム存在インジケータを含み、
ここで、前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が前記特定の画像フレームに対して前記符号化ビットストリームにおいてメタデータペイロードとして符号化された第１のメタデータ型を特定する第１のフレーム存在インジケータを含み、
ここで、前記１特定セットのフレーム存在インジケータは、メタデータパラメータ値が前記特定の画像フレームに対して前記符号化ビットストリームにおいて符号化されていない第２のメタデータ型を特定する第２のフレーム存在インジケータを含み、
前記第１のフレーム存在インジケータを使用して、前記符号化ビットストリームにおけるメタデータペイロードを復号化するステップと、
前記第１のメタデータ型に対して決定された前記メタデータパラメータ値に少なくとも部分的に基づいて前記特定の画像フレームから、ターゲットディスプレイ用のターゲットディスプレイ画像を生成するステップと、
を含む、方法。

ＥＥＥ１８．
前記１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードは、入力映像信号において、前記１シーケンスの画像フレームから分離した画像メタデータとして搬送される、
ＥＥＥ１７に記載の方法。

ＥＥＥ１９．
前記メタデータペイロードは、１つ以上のディスプレイマネジメント（ＤＭ）レベルに対してメタデータパラメータを含む、
ＥＥＥ１７またはＥＥＥ１８に記載の方法。

ＥＥＥ２０．
前記メタデータペイロードからディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
前記ターゲットディスプレイ画像を生成するステップの一部として、前記ＤＭメタデータを使用して、前記特定の画像フレームに対して１つ以上のＤＭ演算を行うステップと、
をさらに含む、ＥＥＥ１７〜１９のいずれかに記載の方法。

ＥＥＥ２１．
前記メタデータペイロードから非ディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
前記ターゲットディスプレイ画像を生成するステップの一部として、前記非ＤＭメタデータを使用して、前記特定の画像フレームに対して１つ以上の非ＤＭ演算を行うステップと、
をさらに含む、ＥＥＥ１７〜２０のいずれかに記載の方法。

ＥＥＥ２２．
ＥＥＥ１〜２１のいずれかに記載の方法を行うように構成された、コンピュータシステム。

ＥＥＥ２３．
プロセッサを備え、ＥＥＥ１〜２１のいずれかに記載の方法を行うように構成された、装置。

ＥＥＥ２４．
ＥＥＥ１〜２１のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を記憶した、非一時的なコンピュータ読み取り可能な記憶媒体。

Claims (30)

1. 画像メタデータとともに映像データを符号化する方法であって、
   メディアプログラムにおける１シーケンスの画像フレームに対して、１セットのシーケンスレベルパラメータを生成するステップであって、前記１セットのシーケンスレベルパラメータは、１特定セットのメタデータ型を示す１セットのシーケンスレベルインジケータを含む、ステップと、
   前記１シーケンスの画像フレームに対して、１シーケンスをなす複数セットのフレーム存在パラメータを生成するステップであって、前記１シーケンスをなす複数セットのフレーム存在パラメータのうちの各セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちのそれぞれの画像フレームに対して生成され、
   前記１シーケンスをなす複数セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成される１特定セットのフレーム存在パラメータを含み、
   前記１特定セットのフレーム存在パラメータは、１特定セットのフレーム存在インジケータを含み、前記１特定セットのフレーム存在インジケータのうちの各フレーム存在インジケータは、前記１セットのシーケンスレベルインジケータによって示される前記１特定セットのメタデータ型のうちのそれぞれの１つのメタデータ型を示し、
   前記１特定セットのフレーム存在インジケータは、前記１特定セットのメタデータ型のうちの第１のメタデータ型を特定する第１のフレーム存在インジケータを含み、前記第１のメタデータ型について、少なくとも１つのメタデータパラメータ値が前記特定の画像フレームに対して符号化ビットストリームにおいてメタデータペイロードとして符号化され、
   前記１特定セットのフレーム存在インジケータは、前記１特定セットのメタデータ型のうちの第２のメタデータ型を示す第２のフレーム存在インジケータを含み、前記第２のメタデータ型について、メタデータパラメータ値が前記特定の画像フレームに対して符号化ビットストリームにおいて符号化されない、ステップと、
   前記１シーケンスの画像フレームに対して、符号化ビットストリームにおいて、前記１シーケンスの画像フレーム、前記１セットのシーケンスレベルパラメータ、および前記１シーケンスをなす複数セットのフレーム存在パラメータを符号化するステップであって、前記特定の画像フレームに対して、少なくとも１つのメタデータパラメータがメタデータペイロードとして前記符号化ビットストリームにおいて前記第１のメタデータ型に対して符号化され、メタデータパラメータ値は、メタデータペイロードとして前記符号化ビットストリームにおいて前記第２のメタデータ型に対して符号化されない、ステップと、
   を含む、方法。
2. 前記第１のメタデータ型に対して決定された前記メタデータパラメータ値は、前記特定の画像フレームから、前記符号化ビットストリームの受信側デバイスにおけるターゲットディスプレイ用のターゲットディスプレイ画像を生成するのに適している、請求項１に記載の方法。
3. 前記特定のフレームに対する前記メタデータペイロードは、パディングビットが前記メタデータペイロードを分離することなく、ペイロード本体に束ねられる、請求項１または２に記載の方法。
4. 前記１シーケンスの画像フレームは、前記メディアプログラムにおける１シーケンスの連続する画像フレームを表す、請求項１から３のいずれかに記載の方法。
5. 前記１セットのシーケンスレベルパラメータは、前記符号化ビットストリームにおいてシーケンスサマリーメタデータブロックとして送信され、各セットのフレーム存在パラメータは、前記符号化ビットストリームにおいてフレーム存在メタデータブロックとして送信され、前記メタデータペイロードは、前記符号化ビットストリームにおいてフレームメタデータブロックとして、パディングビットが前記メタデータペイロードを分離することなく、送信される、請求項１から４のいずれかに記載の方法。
6. 前記１セットのシーケンスレベルパラメータ、各セットのフレーム存在パラメータ、および前記メタデータペイロードは、前記符号化ビットストリームにおいて、連続するビットによって形成される１つのビットブロックとして送信される、請求項１から５のいずれかに記載の方法。
7. 前記１セットのシーケンスレベルパラメータ、各セットのフレーム存在パラメータ、および前記メタデータペイロードは、前記符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、送信される、請求項６に記載の方法。
8. 前記メタデータペイロードは、前記符号化ビットストリームにおいて、揃えるためのパディングビットによって分離されることなく、互いに隣り合って送信される、請求項１から７のいずれかに記載の方法。
9. 前記メタデータペイロードのうちの少なくとも１つは、時間領域予測関数を指定するための１セットの関数パラメータを搬送し、前記時間領域予測関数は、前記特定の画像フレームに関連して画像処理演算において使用されるべきメタデータパラメータに対して時間領域予測値を生成する、請求項１から８のいずれかに記載の方法。
10. 前記時間領域予測関数は、時間領域定数、時間領域における１次多項式、時間領域における２次以上の高次多項式、１セットの区分的関数、または非多項式関数のうちの１つを表す、請求項９に記載の方法。
11. 前記１シーケンスの画像フレームは、前記特定の画像フレームにおいて開始し、前記１セットのシーケンスレベルパラメータは、前記特定の画像フレーム、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードとともに送信される、請求項１から１０のいずれかに記載の方法。
12. 前記特定の画像フレームは、前記１シーケンスの画像フレームを含む１セットの画像から、１つ以上の選択基準に基づいて、選択される、請求項１１に記載の方法。
13. 前記１つ以上の選択基準は、１つ以上のメタデータパラメータに対して１つ以上の最大許容可能予測エラーを含む、請求項１２に記載の方法。
14. 前記１つ以上の選択基準は、時間領域予測関数を更新するために必要な最大許容可能総数のメタデータパラメータを含む、請求項１２または１３に記載の方法。
15. 前記特定の画像フレームは、インスタントデータリフレッシュ（ＩＤＲ）画像フレーム、非ＩＤＲ画像フレーム、プログラム切り換えに対応する画像フレーム、またはビットレート切り換えに対応する画像フレームのうちの１つを表す、請求項１１から１４のいずれかに記載の方法。
16. 前記メディアプログラムを構成する１セットの画像フレームを前記１シーケンスの画像フレームを含む複数のシーケンスの画像フレームに分割するステップと、
    前記複数のシーケンスの画像フレームのうちの各シーケンスの画像フレームに対して１個別セットのシーケンスレベルパラメータを生成するステップであって、前記１個別セットのシーケンスレベルパラメータは、各そのような１シーケンスの画像フレームのうちの各フレームに対して存在する１セットのメタデータ型を示すための１セットのシーケンスレベルインジケータを含む、ステップと、
    をさらに含む、請求項１から１５のいずれかに記載の方法。
17. 前記１セットのシーケンスレベルパラメータは、前記符号化ビットストリームにおいて、前記１シーケンスの画像フレームのうちのすべての画像フレームに対して、最大で１度送信される、請求項１から１６のいずれかに記載の方法。
18. 前記１シーケンスの画像フレームは、１シーケンスのスタンダードダイナミックレンジ（ＳＤＲ）画像、１シーケンスのハイダイナミックレンジ（ＨＤＲ）画像、または１シーケンスのハイブリッド−ログ−ガンマ（ＨＬＧ）画像のうちの１つを表す、請求項１から１７のいずれかに記載の方法。
19. 画像メタデータとともに映像データを復号化する方法であって、
    メディアプログラムにおける１シーケンスの画像フレームを含む符号化ビットストリームを受信するステップと、
    前記１シーケンスの画像フレームを復号化するステップと、
    前記１シーケンスの画像フレームに対して１セットのシーケンスレベルパラメータを復号化するステップであって、前記１セットのシーケンスレベルパラメータは、１特定セットのメタデータ型を示す１セットのシーケンスレベルインジケータを含む、ステップと、
    前記１シーケンスの画像フレームに対して１シーケンスをなす複数セットのフレーム存在パラメータを復号化するステップであって、前記１シーケンスをなす複数セットのフレーム存在パラメータのうちの各１セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちのそれぞれの画像フレームに対して復号化される、ステップと、
    ここで、前記１シーケンスをなす複数セットのフレーム存在パラメータは、前記１シーケンスの画像フレームのうちの特定の画像フレームに対して生成された１特定セットのフレーム存在パラメータを含み、
    ここで、前記１特定セットのフレーム存在パラメータは、１特定セットのフレーム存在インジケータを含み、前記１特定セットのフレーム存在インジケータのうちの各フレーム存在インジケータは、前記１セットのシーケンスレベルインジケータによって示される前記１特定セットのメタデータ型のうちのそれぞれの１つのメタデータタイプに対応し、
    ここで、前記１特定セットのフレーム存在インジケータは、前記１特定セットのメタデータ型のうちの第１のメタデータ型を特定する第１のフレーム存在インジケータを含み、前記第１のメタデータ型について、少なくとも１つのメタデータパラメータ値が前記特定の画像フレームに対して前記符号化ビットストリームにおいてメタデータペイロードとして符号化された、
    ここで、前記１特定セットのフレーム存在インジケータは、前記１特定セットのメタデータ型のうちの第２のメタデータ型を特定する第２のフレーム存在インジケータを含み、前記第２のメタデータ型について、メタデータパラメータ値が前記特定画像フレームに対して前記符号化ビットストリームにおいて符号化されなかった、
    前記符号化ビットストリームにおけるメタデータペイロードを復号化して、前記第１のメタデータ型に対して少なくとも１つのメタデータパラメータを抽出するステップと、
    前記特定の画像フレームから、および前記抽出されたメタデータパラメータ値に少なくとも部分的に基づいて、ターゲットディスプレイ用のターゲットディスプレイ画像を生成するステップと、
    を含む、方法。
20. 前記１セットのシーケンスレベルパラメータ、前記１特定セットのフレーム存在パラメータ、および前記メタデータペイロードは、入力映像信号において、前記１シーケンスの画像フレームから分離した画像メタデータとして搬送される、請求項１９に記載の方法。
21. 前記メタデータペイロードは、１つ以上のディスプレイマネジメント（ＤＭ）レベルに対してメタデータパラメータを含む、請求項１９または２０に記載の方法。
22. 前記特定のフレームに対する前記メタデータペイロードは、パディングビットが前記メタデータペイロードを分離することなく、ペイロード本体に束ねられる、請求項１９から２１のいずれかに記載の方法。
23. 前記メタデータペイロードからディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
    前記ターゲットディスプレイ画像を生成するステップの一部として、前記ＤＭメタデータを使用して、前記特定の画像フレームに対して１つ以上のＤＭ演算を行うステップと、
    をさらに含む、請求項１９から２２のいずれかに記載の方法。
24. 前記メタデータペイロードから非ディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
    前記ターゲットディスプレイ画像を生成するステップの一部として、前記非ＤＭメタデータを使用して、前記特定の画像フレームに対して１つ以上の非ＤＭ演算を行うステップと、
    をさらに含む、請求項１９から２３のいずれかに記載の方法。
25. 請求項１から１８のいずれかに記載の方法を実行するように構成された、コンピュータシステム。
26. プロセッサを備え、請求項１から１８のいずれかに記載の方法を実行するように構成された、装置。
27. 請求項１から１８のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を含むコンピュータプログラム。
28. 請求項１９から２４のいずれかに記載の方法を実行するように構成された、コンピュータシステム。
29. プロセッサを備え、請求項１９から２４のいずれかに記載の方法を実行するように構成された、装置。
30. 請求項１９から２４のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を含むコンピュータプログラム。

Images