JP7037584B2 - 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化 - Google Patents

Description

［関連出願への相互参照］
本出願は、２０１７年６月１６日に出願された米国仮特許出願第６２／５２０，８３２号および２０１７年６月１６日に出願された欧州特許出願第１７１７６４１６．０号に基づく優先権を主張するものであり、両出願の開示内容を本願に援用する。

本発明は、画像全般に関する。より詳細には、本発明のある実施形態は、効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント（ＤＭ）符号化に関する。

本明細書において、「ダイナミックレンジ」（ＤＲ）という用語は、人間の視覚系（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗い暗（黒）から最も明るい明（白）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン－リファード（ｓｃｅｎｅ－ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、ディスプレイ－リファード（ｄｉｓｐｌａｙ－ｒｅｆｅｒｒｅｄ）な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されない限り、この用語は、いずれの意味にも（例えば、交換可能に）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚系（ＨＶＳ）においておよそ１４～１５桁以上にわたるＤＲ幅に関する。実際、人間は、幅広い強度範囲を同時に知覚し得るが、そのＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは交換可能に、人間の視覚系（ＨＶＳ）（眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする）がシーンまたは画像において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５～６桁にわたるＤＲに関し得る。従って、ＥＤＲは、真のシーンリファードなＨＤＲに対しては幾分狭いものの、広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際において、画像は１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を含み、各色成分は、１画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を用いた場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。

あるディスプレイについてのリファレンス電気－光伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ ｖａｌｕｅｓ）（例えば、輝度）間の関係を特徴づけて、そのディスプレイによって生成される出力スクリーン明度（例えば、スクリーン輝度）を出力する。例えば、その開示内容を全て本願に援用するＩＴＵ Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．１８８６、「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（２０１１年３月）は、フラットパネルディスプレイ用のリファレンスＥＯＴＦを定義している。映像ストリームについては、そのＥＯＴＦに関する情報が典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータを含むが、これらに限定されない。

２００～１，０００ｃｄ／ｍ²またはニトの輝度をサポートするディスプレイは、ＥＤＲ（またはＨＤＲ）に対し、より低いダイナミックレンジ（ＬＤＲ）（スタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例である。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示され得る。そのようなディスプレイは、高輝度能力（例えば、０～１０，０００ニトなど）をサポートする別のＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容を全て本願に援用するＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」（以下、「ＳＭＰＴＥ」）に定義されている。本発明者らは、多様なＳＤＲおよびＨＤＲディスプレイデバイスの表示能力をサポートするために使用され得る映像データを符号化および復号化するための技術を向上させる必要があると考える。

本節に記載されたアプローチは、検討され得たアプローチではあるが、必ずしもこれまでに着想または検討されてきたアプローチではない。従って、特に断らない限り、本節に記載されたアプローチはいずれも、本節に記載されているというだけで従来技術とみなされるべきではない。同様に、特に断らない限り、１つ以上のアプローチに関して特定される問題が、本節に基づいて、いずれかの先行技術分野においてすでに認識されていると考えるべきではない。

本発明のある実施形態を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。

図１Ａは、映像供給パイプラインのプロセス例を示す。 図１Ｂは、シングルレイヤー逆ディスプレイマネジメントコーデックアーキテクチャ例を示す。 図１Ｃは、シングルレイヤー逆ディスプレイマネジメントコーデックアーキテクチャ例を示す。 図１Ｄは、シングルレイヤー逆ディスプレイマネジメントコーデックアーキテクチャ例を示す。 図１Ｅは、シングルレイヤー逆ディスプレイマネジメントコーデックアーキテクチャ例を示す。 図１Ｆは、機械学習（ＭＬ）に基づくプロセス例を示す。 図１Ｇは、シングルレイヤー逆ディスプレイマネジメントコーデックアーキテクチャ例を示す。 図２Ａは、逆方向再構成曲線の例を示す。 図２Ｂは、逆方向再構成曲線の例を示す。 図２Ｃは、逆方向再構成曲線の例を示す。 図２Ｄは、逆方向再構成曲線の例を示す。 図３は、１シーケンスの画像にわたる平均輝度値のプロット例を示す。 図４Ａは、プロセスフロー例を示す。 図４Ｂは、プロセスフロー例を示す。 図４Ｃは、プロセスフロー例を示す。 図４Ｄは、プロセスフロー例を示す。 図５は、本明細書に記載するコンピュータまたはコンピューティングデバイスが実装され得るハードウェアプラットフォーム例の簡略化ブロック図を示す。

本明細書において、効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント（ＤＭ）符号化を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

［概要］
本明細書に記載される例示の実施形態は、コンポーザメタデータを用いたシングルレイヤー映像データの符号化に関する。ＳＤＲ画像が受信される。ＳＤＲ画像をＥＤＲ画像にマッピングするためにコンポーザメタデータが生成される。コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定する。複数のＳＤＲ－ＥＤＲ画像対は、上記のＳＤＲ画像を含まない複数のＳＤＲ画像と、その複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む。上記のＳＤＲ画像およびコンポーザメタデータは、出力ＳＤＲ映像信号において符号化される。出力ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイに、ＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいて上記のＳＤＲ画像から構成（ｃｏｍｐｏｓｅ）された構成（ｃｏｍｐｏｓｅｄ）ＥＤＲ画像から導出される。

本明細書に記載に記載される例示の実施形態は、コンポーザメタデータを用いたシングルレイヤー映像データの復号化に関する。ＳＤＲ画像およびコンポーザメタデータを用いて符号化されたＳＤＲ映像信号が受信される。コンポーザメタデータは、ＳＤＲ画像を構成ＥＤＲ画像にマッピングするために使用される。コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定する。複数のＳＤＲ－ＥＤＲ画像対は、上記のＳＤＲ画像を含まない複数のＳＤＲ画像と、その複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む。ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイに、ＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいて上記のＳＤＲ画像から構成された構成ＥＤＲ画像から導出される。

［映像供給処理パイプライン例］
図１Ａは、映像のキャプチャから映像コンテンツの表示までの種々の段階を示す、映像供給パイプライン（１００）のプロセス例を示す。なお、本明細書に記載される技術は、図１Ａに示すＳＤＲコンテンツ生成方法など（これに限定されない）の種々のＳＤＲコンテンツ生成方法を用いて行われ得る。いくつかの実施形態において、本明細書に記載されるＳＤＲコンテンツは、図１Ａに例示されるように、芸術的な意図を有するいずれのプロフェッショナルのスタジオ編集もカラーグレーディングも行われることなく、生成され得る。したがって、本明細書に記載される技術のうちの一部または全ては、ＳＤＲビットストリーム（例えば、単純ＳＤＲビットストリームなど）を入力として行われ得る。ビットストリームにおけるＳＤＲ画像は、カラーグレーディングされていてもよいし、カラーグレーディングされていなくてもよい。図１Ａに例示するように、１シーケンスの映像フレーム（１０２）は、画像生成ブロック（１０５）を用いてキャプチャまたは生成される。映像フレーム（１０２）は、（例えば、デジタルカメラによって）デジタル的にキャプチャされるか、または（例えば、コンピュータアニメーションを用いて）コンピュータによって生成されることにより、映像データ（１０７）が得られ得る。あるいは、映像フレーム（１０２）は、銀塩カメラによってフィルム上にキャプチャされてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ（１０７）が得られる。プロダクションフェーズ（１１０）において、映像データ（１０７）は、編集され、映像プロダクションストリーム（１１２）を得る。

次いで、プロダクションストリーム（１１２）の映像データは、ポストプロダクション編集（１１５）のためのプロセッサに与えられる。ポストプロダクション編集（１１５）は、画像の特定の領域の色または明るさを調節または変更することにより、画質を上げたり、映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ポストプロダクション編集（１１５）において、その他の編集（例えば、シーン選択およびシーケンシング、手動および／または自動シーンカット情報生成、画像クロッピング、コンピュータで生成された視覚的特殊効果の追加など）を行うことにより、ＳＤＲ（または、比較的狭いダイナミックレンジの）画像の配信用のバージョン（１１７）を生成してもよい。ポストプロダクション編集（１１５）において、ＳＤＲ画像（１１７）は、ＳＤＲ画像（１１７）に対してポストプロダクション編集操作を行っているカラリストによって、リファレンスディスプレイ（１２５）上で視聴される。リファレンスディスプレイ（１２５）は、スタンダードダイナミックレンジ（または比較的狭いダイナミックレンジ）をサポートする。

ポストプロダクション編集（１１５）の後、ＳＤＲ画像（１１７）は、例えば、（入力等）ＳＤＲ ＹＣｂＣｒ映像信号（例えば、８ビット映像信号など）として、符号化ブロック（１２０）に送られ得る。

符号化ブロック（１２０）は、ＳＤＲ画像（１１７）についてのコンポーザメタデータおよびＤＭメタデータ（これらに限定されない）を含む画像メタデータを生成し、画像メタデータをＳＤＲ画像（１１７）とともに符号化ビットストリーム（１２２）に含める。いくつかの実施形態において、符号化ブロック（１２０）は、符号化ビットストリーム（１２２）を生成するための、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよびその他の供給フォーマットによって規定されているような音声および映像エンコーダを含んでもよい。

符号化ビットストリーム（１２２）は、テレビジョン受像機、セットトップボックス、映画館などの下流の復号化・再生機器に送られることになる。いくつかの実施形態において、符号化ビットストリーム（１２２）は、ポストプロダクション編集（１１５）において生成されたときの芸術的な意図を保持するＳＤＲ画像（１１７）を用いて符号化される。

ＳＤＲ画像（１１７）は、幅広い種類のＳＤＲディスプレイデバイス（例えば、ＳＤＲディスプレイなど）に対して後方互換であり得る映像信号（例えば、８ビットＳＤＲ映像信号、１０ビットＳＤＲ映像信号など）における映像データに符号化され得る。限定されないある例において、ＳＤＲ画像（１１７）を用いて符号化された映像信号は、シングルレイヤー後方互換性のある映像信号であり得る。

符号化ビットストリーム（１２２）から抽出可能なコンポーザメタデータは、下流のデコーダによって使用され、ＳＤＲ画像（１１７）に対して構成（ｃｏｍｐｏｓｉｔｉｏｎ）／予測演算を行い、ＥＤＲディスプレイデバイスにおける描画に対して最適化されたＤＲ画像を生成し得る。

いくつかの実施形態において、符号化ビットストリーム（１２２）は、符号化ブロック（１２０）によって受信される入力ＳＤＲ ＹＣｂＣｒ映像信号と同じ映像信号フォーマットに準拠する映像信号である。例えば、符号化ブロック（１２０）によって受信された入力ＳＤＲ ＹＣｂＣｒ映像信号が８ビットＳＤＲ ＹＣｂＣｒ映像信号である場合、符号化ブロック（１２０）によって出力される符号化ビットストリーム（１２２）は、符号化ブロック（１２０）によって生成されたコンポーザメタデータおよびＤＭメタデータを有する出力８ビットＳＤＲ ＹＣｂＣｒ映像信号を表し得る。

いくつかの実施形態において、符号化ビットストリーム（１２２）は、符号化ブロック（１２０）によって受信される入力ＳＤＲ ＹＣｂＣｒ映像信号とは異なる映像信号フォーマットに準拠する映像信号である。例えば、符号化ブロック（１２０）によって受信される入力ＳＤＲ ＹＣｂＣｒ映像信号は、８ビットＳＤＲ ＹＣｂＣｒ映像信号を表し得る。これに対して、符号化ブロック（１２０）によって出力される符号化ビットストリーム（１２２）は、出力１０ビットＳＤＲ ＹＣｂＣｒ映像信号を表し得る。出力１０ビットＳＤＲ ＹＣｂＣｒ映像信号は、８ビットＳＤＲ ＹＣｂＣｒ映像信号における画像データに対して行われるビット深度スケーリング演算から部分的に導出され得る。

受信機（または、下流のデバイス）において、符号化ビットストリーム（１２２）は、復号化ブロック（１３０）によって復号化され、復号化画像１８２を生成する。復号化画像１８２は、ＳＤＲ画像（１１７）（図１Ｇに例示されるビット深度に依存するコードワードスケーリングファクタを有し得る）と同じものであり得る。ただし、符号化ブロック（１２０）によって実行される圧縮の際、および復号化ブロック（１３０）によって実行される復元の際に量子化誤差が生じ得る。いくつかの実施形態において、受信機は、第１のターゲットディスプレイ（１４０－１）に取り付けられ得る。第１のターゲットディスプレイ（１４０－１）がリファレンスディスプレイ（１２５）のスタンダードダイナミックレンジ（または、比較的狭いダイナミックレンジ）をサポートする場合や、復号化画像（１８２）において表されるように、ＳＤＲ画像（１１７）が芸術的コンテンツを用いて編集されている場合は、ＳＤＲ画像（１１７）から導出された復号化画像（１８２）は、第１のターゲットディスプレイ（１４０－１）においてそのまま視聴可能である。

いくつかの実施形態において、受信機は、復号化ＳＤＲ画像（１８２）によって表されるダイナミックレンジ（例えば、ＳＤＲなど）よりも高いダイナミックレンジ（例えば、ＥＤＲなど）をサポートする第２のターゲットディスプレイ（１４０）に取り付けられ得る。その場合、復号化ブロック（１３０）は、構成／予測演算を、復号化ＳＤＲ画像（１８２）に加えてコンポーザメタデータに基づいて、ＳＤＲ画像（１１７）（または、おそらくは図１Ｇに示すようにビット深度に依存するコードワードスケーリングファクタを伴う復号化ＳＤＲ画像（１８２））に対して行って、ＥＤＲ画像（１３２）を生成してもよい。追加的に、オプションとして、または代替として、ディスプレイマネジメントブロック（１３５）が、第２のターゲットディスプレイ（１４０）の特性に適合されたディスプレイマッピング（ｄｉｓｐｌａｙ－ｍａｐｐｅｄ）信号（１３７）を生成することによって、ＥＤＲ画像（１３２）を第２のターゲットディスプレイ（１４０）の特性となるようにさらに調整する。ディスプレイマネジメントブロック（１３５）は、例えば、受信機の一部であってもよいし、受信機と協働して別個に動作してもよいし、ターゲットディスプレイ（１４０）の一部であってもよい。

例えば、符号化ビットストリーム（１２２）におけるコンポーザメタデータは、第２のターゲットディスプレイ（１４０）とともに動作する受信機によって使用され、ＳＤＲ画像（１１７）（または、おそらくは図１Ｇに示すようにビット深度に依存するコードワードスケーリングファクタを有する復号化ＳＤＲ画像（１８２））からリファレンスＥＤＲディスプレイ（例えば、４０００ニトのリファレンスディスプレイなど）用のリファレンスＥＤＲ画像（例えば、ＥＤＲ ＹＣｂＣｒ画像など）を構成または予測し得る。リファレンスＥＤＲディスプレイ用に構成／予測されるリファレンスＥＤＲ画像は、コンポジション色空間（例えば、ＹＣｂＣｒなど）において最適化され得る。

コンポジション色空間が、ＤＭ演算が行われるＤＭ色空間（例えば、ＲＧＢ色空間、ＩＣｔＣｐ色空間、ＬＭＳ色空間など）とは異なる場合、受信機は、コンポジション色空間（例えば、ＹＣｂＣｒなど）におけるリファレンスＥＤＲ画像をＤＭ色空間（例えば、ＲＧＢ、ＩＣｔＣｐ、ＬＭＳなど）に変換する。

ＤＭメタデータは、受信機のディスプレイマネジメントブロック（１３５）によって、符号化ビットストリーム（１２２）から抽出されて使用され、ＤＭ色空間（例えば、ＲＧＢ、ＩＣｔＣｐ、ＬＭＳなど）におけるリファレンスＥＤＲ画像に対してＤＭ演算を行って、ＤＭ色空間における第２のターゲットディスプレイ（１４０）（例えば、２０００ニトのターゲットディスプレイ、３０００ニトのターゲットディスプレイなど）用のターゲットディスプレイ画像を生成することができる。

ＤＭ色空間が、ターゲットディスプレイ画像が描画されるディスプレイ色空間（例えば、ＲＧＢなど）とは異なる場合、ディスプレイマネジメントブロック（１３５）は、さらにターゲットディスプレイ画像をＤＭ色空間からディスプレイ色空間に変換し、そしてディスプレイ色空間におけるターゲットディスプレイ画像を第２のターゲットディスプレイ（１４０）上に描画する。

［ＥＤＲコンテンツおよび後方互換性ＳＤＲコンテンツの供給］
過去数十年において、非常に多くの映像／映画が世界中で制作、記録、および／または公開されてきた。これらの映像／映画のほぼ全てがＳＤＲコンテンツである。ＳＤＲコンテンツの一例は、図１Ａのプロダクションストリーム（１１２）の映像データから得られるＳＤＲ画像（１１７）などであり得るが、これだけに必ずしも限定されない。

他のアプローチにおいて、ＥＤＲコンテンツが圧縮または非圧縮のＥＤＲ映像データとして下流のデバイスに供給される。

これに対して、本明細書に記載される技術においては、ＳＤＲコンテンツに対応するプロダクション品質またはプロダクション品質に近い品質のＥＤＲコンテンツが、ＥＤＲ符号化映像データとして圧縮／符号化されて、下流の復号化デバイスに送信される必要はない。代わりに、上流の符号化デバイスは、実際にＥＤＲ画像を圧縮／符号化することなく、かつ圧縮されたＥＤＲ画像を下流の復号化デバイスに供給することなく、比較的速く低い計算コストで、コンポーザメタデータを生成することができる。上流の符号化デバイスによって生成されたコンポーザメタデータおよびＤＭメタデータは、符号化ビットストリーム（１２２）などの映像信号において、ＳＤＲコンテンツとともに下流の復号化デバイスに送信され得る。映像信号におけるコンポーザメタデータにより、下流の復号化デバイスは、同じ映像信号におけるＳＤＲコンテンツからプロダクション品質またはプロダクション品質に近い品質のＥＤＲコンテンツを再構築できる。さらに、映像信号におけるＤＭメタデータにより、下流の復号化デバイスは、プロダクション品質またはプロダクション品質に近い品質のＥＤＲコンテンツを、下流の復号化デバイスがともに動作する特定のターゲットディスプレイにマッピングできる。

さらに、映像信号におけるＳＤＲコンテンツが、ＳＤＲディスプレイデバイスに対して特別に最適化されたＳＤＲ画像（例えば、１１７など）を含み得るので、プロダクション品質またはプロダクション品質に近い品質のＳＤＲコンテンツが、ＳＤＲのレンダリングをサポートするだけのデバイスなどの、幅広い種類の下流の復号化デバイスに同時に供給され得る。

［コーデックアーキテクチャ］
図１Ｂは、リファレンスモードで動作する映像エンコーダによって実装される例示のエンコーダアーキテクチャを示す。リファレンスモードにおいて、ＥＤＲ画像コンテンツは、予測関連演算のためのリファレンスとして機能する。図示されるように、シーンカット検出器１７０は、シーンカット検出を行って、ＳＤＲ画像（１１７）に関連するシーンカット情報を決定する。シーンカット検出器（１７０）は、シーンカット情報を逆ＤＭモジュール１７２に与える。逆ＤＭモジュール１７２は、ＳＤＲ－ＥＤＲ変換ツール（例えば、逆トーンマッピングツールなど）を表し得る。逆ＤＭモジュール（１７２）は、逆ＤＭ演算をＳＤＲ画像（１１７）に適用して、逆ＤＭ画像（例えば、リファレンスＥＤＲ画像など）を生成する。ＳＤＲ画像（１１７）および逆ＤＭ画像の両方は、コンポーザ予測モジュール１７４に与えられ、コンポーザ予測係数などのコンポーザメタデータを生成する。コンポーザメタデータは、ＳＤＲ画像（１１７）とともに使用され、ＳＤＲ画像（１１７）から予測されたＥＤＲ画像を生成し得る。予測係数は、逆ＤＭモジュール（１７２）によって生成された逆ＤＭ画像をリファレンス（または、予測ターゲット）として用いて生成され得る。

ＤＭメタデータ生成器１７６は、逆ＤＭモジュール（１７２）によって生成された逆ＤＭ画像から（例えば、ＥＤＲドメイン等における）ＤＭメタデータを生成する。リファレンスプロセスユニット（ＲＰＵ）１７８は、ＤＭメタデータと、コンポーザ予測係数を含むコンポーザメタデータとを、ＳＤＲ画像（１１７）を有する符号化ビットストリーム（１２２）（におけるメタデータフィールド、メタデータコンテナなど）に埋め込む。符号化ビットストリーム（１２２）は、ＳＤＲディスプレイまたはＥＤＲディスプレイとともに動作する受信機に供給され得る。

本明細書に記載される技術は、符号化および復号化のパイプライン全体にわたってパフォーマンスの速度を向上させる改善をもたらすために使用され得る。

図１Ｃは、上流の映像エンコーダ（例えば、図１Ａの符号化ブロック（１２０）など）における１つ以上のコンピューティングプロセッサを用いて実装され得る、効率的なエンコーダ側コーデックアーキテクチャを例示する。

図１Ｂに例示したように、逆ＤＭ演算を使用して、リファレンスモードにおける予測演算のためのリファレンスＥＤＲ画像を生成する代わりに、非リファレンスモードの予測技術が使用される。コンポーザメタデータは、静的な予測係数、または（例えば機械学習の方法等を用いて生成される）ダイナミック（非静的）な予測係数を含み得る。これらの予測係数は、ＥＤＲ画像のＥＤＲ画素値の一部または全てをＳＤＲ画像（１１７）の対応するＳＤＲ画素値から構成または予測するために、（例えば、符号化ブロック（１２０）、コンポーザ構成モジュール１８４、または受信機等によって）直接的に使用され得る。

図１Ｃに例示される非リファレンスモードにおいて、ＳＤＲ画像（１１７）は、上流の符号化デバイスによって、符号化ビットストリーム（１２２）などの映像信号のシングルレイヤーにおいて符号化および送信される。コンポーザメタデータおよびＤＭメタデータは、ＳＤＲ画像（１１７）とともに映像信号において符号化および送信される。

ＳＤＲ画像（１１７）は、デコーダ側コーデックアーキテクチャを実装する下流の復号化デバイスによって受信され、映像信号のシングルレイヤーから復号化される。下流の復号化デバイスは、ＥＤＲディスプレイデバイスとともに動作する場合、ＳＤＲ画像（１１７）、コンポーザメタデータ、およびＤＭメタデータに基づいてＥＤＲ画像を生成し得る。

いくつかの実施形態において、ＳＤＲ画像（１１７）は、「後方互換性ＳＤＲ画像」を表す。後方互換性ＳＤＲ画像は、ＳＤＲディスプレイ用に特別に最適化されているか、またはカラーグレーディングされている。したがって、下流の復号化デバイスは、ＳＤＲディスプレイデバイスとともに動作する場合、例えば、コンポーザメタデータおよび／またはＤＭメタデータを復号化せずに、ＳＤＲ画像（１１７）をＳＤＲディスプレイデバイス上に描画し得る。動的適合型ストリーミングの場合は、ＳＤＲディスプレイとともに動作する下流の復号化デバイスは、さらにコンポーザメタデータおよび／またはＤＭメタデータのストリーミングを回避し得る。

限定はしないが、例えば、コンポーザ予測モジュール１８０は、非リファレンスモードで動作し、コンポーザ予測係数を決定／生成する。予測係数は、いずれのＥＤＲ画像および／またはいずれの逆ＤＭ画像（例えば、図１Ｂの逆ＤＭモジュール（１７２）等によって生成される）もリファレンス（または、予測ターゲット）として使用することなく、生成され得る。受信機は、リファレンスなしに生成されたこれらの予測係数をＳＤＲ画像（１１７）とともに受信し、使用して、ＳＤＲ画像（１１７）から、構成／予測されたＥＤＲ画像を生成し得る。

非リファレンスモードでコンポーザ予測モジュール（１８０）によって決定／生成された予測係数は、ＲＰＵ（１７８）に与えられ、ＳＤＲ画像（１１７）とともに符号化ビットストリーム（１２２）中に多重化され得るか、または含められ得る。

ＳＤＲ画像（１１７）および予測係数は、コンポーザ構成モジュール１８４に与えられ、ＥＤＲ画像のＥＤＲ画素値の一部または全てをＳＤＲ画像（１１７）の対応するＳＤＲ画素値から構成または予測する。

いくつかの実施形態において、これらのＥＤＲ画素値は、コンポジション色空間（例えば、ＹＣｂＣｒなど）において構成される。コンポジション色空間は、ＤＭメタデータが生成されることになるＤＭ色空間（例えば、ＲＧＢ、ＩＣｔＣｐ、ＬＭＳなど）とは異なる。例えば、コンポジション色空間は、計算集中型行列演算を回避する色空間であり得る。ここで、ＤＭ色空間は、リファレンスＥＤＲディスプレイの表示色空間であり得る。これらの実施形態において、コンポーザ構成モジュール（１８４）は、ＥＤＲ画素値の一部または全てをコンポジション色空間（例えば、ＹＣｂＣｒなど）からＤＭ色空間（例えば、ＲＧＢ、ＩＣｔＣｐ、ＬＭＳなど）に変換し得る。

ＤＭメタデータ生成器（１７６）は、ＤＭ色空間におけるＥＤＲ画素値の一部または全てを受信し、これらのＥＤＲ画素値を使用してＤＭメタデータを推定、計算、または生成する。次いで、ＤＭメタデータは、ＤＭメタデータ生成器（１７６）によってＲＰＵ（１７８）に与えられ、ＳＤＲ画像（１１７）およびコンポーザメタデータとともに符号化ビットストリーム（１２２）中に多重化または含められ得る。

図１Ｃによって実装される処理フローは、さらに簡略化され得る。上述したように、コンポーザ構成モジュール（１８４）は、ＤＭメタデータ生成のためのＥＤＲ画素値を得るために用いられる。いくつかの実施形態において、予測係数が既知であることを考慮し、ＳＤＲドメインにおけるＳＤＲ画像（１１７）を用いてＳＤＲ統計量が計算または測定され得る。ＳＤＲドメインにおけるこれらのＳＤＲ統計量を使用して、予測係数に少なくとも部分的に基づいて、ＥＤＲドメインにおける対応のＥＤＲ画像についてのＥＤＲ統計量を推定し得る。

限定しないが、例えば、図１Ｄに例示するように、ＳＤＲ画像（１１７）は、ＤＭメタデータ生成器（１７６）にそのまま入力され得る。次いで、ＤＭメタデータ生成器（１７６）は、ＳＤＲ統計量を測定し、予測係数などのコンポーザメタデータに少なくとも部分的に基づいてＥＤＲ統計量を推定する。これにより、ＥＤＲ画素値を生成するために図１Ｃにおいて使用される図１Ｃの構成コンポーザ（１８４）は、図１Ｄに例示するプロセスフローから取り除かれ得る。これにより、ＤＭメタデータ生成のためのＥＤＲ画素値の生成を回避するので、さらに計算コストが低減され、コンポーザおよびＤＭメタデータ生成のプロセスが速くなるが、ＤＭメタデータの正確性とのトレードオフがある。

いくつかの実施形態において、コンポーザメタデータおよびＤＭメタデータは、画像メタデータ全体（「ｒｐｕ」データまたはリファレンスプロセッシング部データ）の一部として映像信号において搬送され、映像信号において、ＳＤＲ画像（１１７）が映像信号において符号化されているシングルレイヤーとは分離して搬送される。例えば、コンポーザメタデータおよびＤＭメタデータの一部または全ては、符号化ビットストリーム（１２２）におけるコンポーネントストリームまたはサブストリーム中に符号化され得る。

コンポーザメタデータおよびＤＭメタデータは、エンコーダ側で利用可能な強力なコンピューティング資源およびオフライン符号化フロー（コンテンツ適合型マルチプルパス（ｍｕｌｔｉｐｌｅ ｐａｓｓｅｓ）、並列コンピューティング、ルックアヘッド演算、逆ルママッピング、逆クロママッピング、累積密度関数（ＣＤＦ）に基づく演算、マルチチャネル重回帰（ＭＭＲ）に基づく演算などがあるがこれらに限定されない）を活用するために、エンコーダ側で生成、または予め生成され得る。

図１Ｂ～１Ｄのエンコーダ側アーキテクチャのいずれを使用しても、ＥＤＲ画像を、映像信号における符号化／圧縮ＥＤＲ画像にそのまま符号化することを回避し得る。ＥＤＲ画像をそのまま符号化するのではなく、映像信号におけるコンポーザメタデータを使用することによって、下流の復号化デバイスがＥＤＲディスプレイ用に最適化されたＳＤＲ画像（１１７）（映像信号中に符号化されている）からＥＤＲ画像を予測することが可能となり得る。

図１Ｅは、デコーダ側コーデックアーキテクチャの例を示す。デコーダ側コーデックアーキテクチャは、下流の映像デコーダ（例えば、図１Ａの復号化ブロック（１３０）および／またはディスプレイマネージャ（１３５）など）における１つ以上のコンピューティングプロセッサを用いて実装され得る。図示されるように、ＳＤＲ画像（１１７）、コンポーザメタデータ、およびＤＭメタデータを用いて符号化された映像信号は、デコーダ側コーデックアーキテクチャ上で入力として受信される。

復元（ｄｅｃｏｍｐｒｅｓｓｉｏｎ）ブロック１５４（例えば、図１Ａの復号化ブロック（１３０）の一部など）は、映像信号のシングルレイヤーにおける圧縮映像データを復号化ＳＤＲ画像（１８２）に復元／復号化する。復号化ＳＤＲ画像（１８２）は、ＳＤＲ画像（１１７）（図１Ｇに例示するビット深度に依存するコードワードスケーリングファクタを有し得る）と同じであり得るが、上流のデバイスの圧縮ブロックおよび下流のデバイスの復元ブロック（１５４）において量子化誤差が生じ得る。復号化ＳＤＲ画像（１８２）は、ＳＤＲディスプレイデバイス用に最適化されていてもよい。下流のデバイスは、出力ＳＤＲ映像信号において復号化ＳＤＲ画像（１８２）を、（例えば、ＨＤＭIインタフェース、映像リンク等を介して）描画のためのＳＤＲディスプレイに出力し得る。

さらに、コンポーザ構成ブロック１５８は、入力映像信号からコンポーザメタデータを抽出し、コンポーザメタデータに基づいて最適な逆方向再構成関数（例えば、パラメータ化関数、逆方向ルックアップテーブルまたはＢＬＵＴ、１セットの多項式など）などの逆方向再構成マッピングを構築し、最適な逆方向再構成関数に基づいて復号化ＳＤＲ画像（１８２）に構成／予測演算（または逆方向再構成演算）を行って、リファレンスＥＤＲディスプレイ（例えば、４０００ニトのＥＤＲディスプレイなど）用の構成／予測されたＥＤＲ画像を生成する。

いくつかの実施形態において、予測されたＥＤＲ画像は、リファレンスディスプレイ上での描画のために最適化された、プロダクション品質またはプロダクション品質に近い品質のＥＤＲ画像を表す。

いくつかの実施形態において、ディスプレイマネージャ（１３５）は、入力映像信号からＤＭメタデータを抽出し、ディスプレイマネジメント演算（例えば、デバイス特異的ディスプレイマネジメント演算など）を構成／予測されたＥＤＲ画像に適用して、下流のデバイスとともに動作するターゲットディスプレイ（例えば、ターゲットＥＤＲディスプレイなど）用に最適化されたディスプレイ画像（例えば、ＥＤＲディスプレイ画像など）を生成する。

ディスプレイ画像は、出力映像信号（例えば、出力ＥＤＲ映像信号など）において、 ターゲットディスプレイ（例えば、ターゲットＥＤＲディスプレイなど）に出力され（例えば、ＨＤＭIインタフェースを介して、映像リンクを介してなど）、そして描画され得る。

［静的非リファレンスモードにおける予測］
上記のように、本明細書に記載される技術を使用して、ＥＤＲ画像および／または逆ＤＭ画像をリファレンスとして使用せずに、コンポーザ予測係数などのコンポーザメタデータを生成し得る。これらの予測係数は、静的予測、機械学習（ＭＬ）に基づく予測などを含むがこれらに限定されない種々の方法を使用して、非リファレンスモードで生成または決定され得る。

図２Ａは、ＥＤＲ画像を構成／予測するために静的非リファレンスモードで生成または決定され得る逆方向再構成曲線例２０２（例えば、１０ビットの逆方向再構成曲線など）を例示する。逆方向再構成曲線（２０２）は、１００ニトのＧａｍｍａ Ｒ．７０９ルマ値を４０００ニトのＰＱ（知覚的量子化（ｐｅｒｃｅｐｔｕａｌ ｑｕａｎｔｉｚａｔｉｏｎ））Ｐ３ルマ値にマッピングする１０ビット逆方向再構成曲線であり得るが、これのみに限定されない。

いくつかの実施形態において、逆方向再構成曲線（２０２）は、リファレンスディスプレイ（例えば、リファレンスＥＤＲディスプレイなど）（例えば、４０００ニトのリファレンスＥＤＲディスプレイなど）のピーク輝度（例えば、４０００ニトなど）に少なくとも部分的に基づいて選択される（例えば、図１Ａの符号化ブロック（１２０）によって選択される、など）。静的非リファレンスモードは、各ＳＤＲ画像（例えば、１１７、１８２など）について対応するＥＤＲ画像を予測するために固定のコンポーザメタデータを使用する。この固定のコンポーザメタデータは、例えば、図２Ａの逆方向再構成曲線（２０２）を規定または特定する。逆方向再構成曲線（２０２）は、訓練データベースにおける訓練データ（例えば、ＳＤＲ－ＥＤＲ画像対）を使用して訓練されるパラメータによって規定され得る。これらのリファレンスディスプレイおよびそのリファレンスディスプレイのピーク輝度に関連づけられた異なる色空間に基づいて、異なるリファレンスディスプレイ（例えば、リファレンスＥＤＲディスプレイ、リファレンス非ＳＤＲディスプレイなど）について、異なる逆方向再構成曲線が規定され得る。図２Ａに例示したものなどのリファレンス逆方向再構成曲線（２０２）は、ＥＤＲ画像が予測されることになるリファレンスディスプレイおよび／またはそのリファレンスディスプレイのピーク輝度に関連づけられた特定の色空間に基づいて、異なる逆方向再構成曲線から選択され得る（例えば、図１Ａの符号化ブロック（１２０）などによって、など）。逆方向再構成曲線（２０２）の選択や、逆方向再構成曲線（２０２）を規定／特定するコンポーザメタデータの生成は、その場でルーティンとして行われ得る（例えば、図１Ａの符号化ブロック（１２０）によって、など）。

［動的非リファレンスモードでの予測］
図１Ｆは、ＥＤＲ画像を構成または予測するためのコンポジションメタデータを生成するために使用され得る機械学習（ＭＬ）に基づくプロセス例を例示する。ＭＬに基づくプロセスは、訓練プロセス１６０（または、訓練フェーズ）および推定プロセス１６２（または、推定フェーズ）を含む。訓練データベース（例えば、訓練映像データベースなど）を訓練プロセス（１６０）において使用して、推定プロセス（１６２）において使用され得るＭＬモデルの重みを訓練し、本明細書に記載されるコンポーザ予測係数を生成し得る。

訓練データベースは、一群のＳＤＲ画像（「データベースＳＤＲ映像」と表記する）およびそのＳＤＲ画像に対応する一群のＥＤＲ画像（「データベースＥＤＲ映像」と表記する）を含み得る。一群のＳＤＲ－ＥＤＲ画像対が一群のＳＤＲ画像およびそのＳＤＲ画像に対応する一群のＥＤＲ画像によって形成され得る。訓練データベースは、これらのＳＤＲ画像およびそれに対応するＥＤＲ画像を予め収集するか、または連続して重みを訓練するために訓練データベースが訓練プロセス（１６０）において使用されている際に、および／もしくは連続してコンポーザ予測係数を生成するために重みが推定プロセス（１６２）において使用されている際に、継続して収集され得る。

訓練プロセス（１６０）において、複数のＳＤＲ－ＥＤＲ画像対が訓練データベースから選択される。各ＳＤＲ－ＥＤＲ画像対は、ＳＤＲ画像およびそのＳＤＲ画像に対応するＥＤＲ画像を含む。複数のＳＤＲ－ＥＤＲ画像対の各ＳＤＲ－ＥＤＲ画像対について、リファレンス逆方向再構成関数（例えば、リファレンス逆方向ルマ再構成関数、リファレンス逆方向クロマ再構成関数など）（または、ゴールデンデータ）が構築され得る。例えば、リファレンス逆方向再構成関数（または、一般に逆方向再構成マッピング）は、図１Ｂに例示するリファレンスモードを使用して構築され得る。このリファレンスモードにおいて、ＥＤＲ画像は、ＥＤＲ画像が対応するＳＤＲ画像から、予測されたＥＤＲ画像を生成するためのリファレンス（または、予測ターゲット）として機能する。いくつかの実施形態において、累積密度関数（ＣＤＦ）に基づくマッチングを使用して、リファレンス逆方向ルマ再構成関数を構築し得る。なぜなら、ＣＤＦに基づくマッチングは、ＳＤＲ画像とＥＤＲ画像との間の見え方（ｌｏｏｋ）（例えば、視覚的見え方、知覚的見え方など）の変換またはマッチングを行うための優れたヒストグラム転写方法を提供し、逆方向再構成関数が単調な非低減であることを確実にする。ＣＤＦに基づくマッチングの例は、２０１６年１０月５日に出願された米国仮特許出願第６２／４０４，３０７号に示されており、その内容の全てを、あたかも本明細書中に記載するかのように、本願に援用する。

訓練プロセス（１６０）のブロック１８８において、訓練データとして機能する複数のＳＤＲ－ＥＤＲ画像対におけるＳＤＲ画像から特徴（例えば、画像に関連する特徴など）が抽出され得る。これらの特徴を使用して、推定プロセス（１６２）において使用されることになる重みを訓練して、コンポーザ予測係数を生成し得る。いくつかの実施形態において、訓練プロセス（１６０）は、一般線形モデル（ＧＬＭ）をＭＬモデルとして実装する。したがって、ＭＬモデルの重みは、一般線形モデルの係数である。

ＭＬモデルの重み（または 一般線形モデルの係数）について最適化値は、（１）ＭＬモデルの重みに基づいて予測された予測逆方向再構成関数と、（２）リファレンス逆方向再構成関数（例えば、ＣＤＦに基づくマッチングを介して構築される、など）との間の差を最小化することによって得られ得る。ＭＬモデルの重みの最適化値（または訓練された値）は、オンラインまたはオフラインで記憶され得る。ＭＬモデルの重みの最適化値を含む、訓練されたＭＬモデルを推定プロセス（１６２）（例えば、オンラインの推定プロセス（１６２）など）において使用して（例えば、後で使用して、同時に使用して、など）、コンポーザ予測係数を生成し得る。

限定しないが、例えば、コンポーザ予測係数は、ルマ逆方向ＬＵＴ（ＢＬＵＴ）を規定または特定する。予測係数は、１セットのＳＤＲコードワード（例えば、等間隔のＳＤＲコードワード、等間隔でないＳＤＲコードワード、固定のＳＤＲコードワードなど）上にＫ個の予測サンプル点（または、予測されたＥＤＲコードワード）を含み得る。

ｊ番目のＳＤＲフレーム（または画像）のｋ番目のＳＤＲサンプルコードワードを

と表記し、ｊ番目のＥＤＲフレーム（または画像）のそれに対応するｋ番目の予測されたサンプル点（またはＥＤＲコードワード）を

と表記する。一般性を失わずに、ＳＤＲサンプルコードワードおよび予測されたサンプル点（またはＥＤＲコードワード）の両方は、例えば、［０ １）の範囲の正規化コードワードとして表され得る。ｊ番目のＥＤＲフレーム（または画像）のｋ番目の予測されたＥＤＲコードワード

は、以下のように一般線形モデルを介して推定され得る。

ここで、ｆ_jtは、ｊ番目のＳＤＲフレームのｔ番目の測定された特徴値であり、

は、サンプル点ｋでのｔ番目の測定された特徴についての予測係数であり、Ｔは、特徴の数である。その１セットの重み（または、 一般線形モデルの係数）は、回帰から得られ得る。全体として、全部でＴ＊Ｋ個の係数を使用して、サンプリングされたＢＬＵＴを規定または特定するために使用されるＥＤＲコードワードを予測し得る。

画像に関連する特徴（ｆ_jtによって測定される）は、一般線形モデルにおいて予め規定され得る。一般に、最小／最大／平均値は、画像のルマ範囲およびその画像の明るさレベルの良好な指標を提供する。さらに、オプションまたは代替として、ルマ強度値およびクロマ値についての画素値の分布が一般線形モデルにおける画像に関連する特徴において表され得る。

例えば、一般線形モデルにおける画像に関連する特徴は、以下の３つのカテゴリにおける３セットの特徴を含み得る。

特徴セット１は、ＳＤＲ画像の統計値をキャプチャするために使用され、ｊ番目のＳＤＲフレームについての平均ルマ値（

と表記する）、ｊ番目のＳＤＲフレームについてのルマの最小ルマ値（

と表記する）、およびｊ番目のＳＤＲフレームについての最大ルマ値（

と表記する）を含む。

いくつかの実施形態において、特徴セット１は、以下のように、上記の特徴の他に、より高次の特徴を含み得る。

なお、より広く言うと、逆方向再構成関数のより高次の非線形特性を考慮するために、より高次の特徴を使用し得る。したがって、より高次の特徴を使用して訓練されたモデルは、そうでない場合よりも正確になり得る。しかし、より高次の特徴を訓練されたモデルに含めることはまた、訓練プロセス（１６０）および推定プロセス（１６２）における計算複雑性を増加させる。より重要なことは、より高次の特徴を訓練されたモデルに含ませると、例えば一般線形モデルの係数を最適化する一方で、特異点（ｓｉｎｇｕｌａｒｉｔｙ）および／または過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）を非常に導入しがちである。いくつかの実施形態において、１つ以上の交差検証方法を実施して、これらの課題または問題を回避または改善し得る。訓練データベースにおける一部のＳＤＲ－ＥＤＲ画像対を任意の過剰適合問題を検出および解決するための検証データとして取っておいてもよい。さらに、オプションまたは代替として、例えば、（１）ＭＬモデルの重みに基づいて予測された予測逆方向再構成関数と、（２）リファレンス逆方向再構成関数（例えば、ＣＤＦに基づくマッチングを介して構築される、など）との間の差を最小化するためのコスト関数（またはエラー関数）に、１つ以上の拘束条件または正則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）項／係数が導入され得る。

いくつかの実施形態において、式（２）に示される１次から４次の特徴が特徴セット１に含まれ得る。

特徴セット２は、ルマ値の分布をキャプチャするために使用され得、Ｎ_L階級（ｂｉｎ）ルマヒストグラムにおけるルマ階級を含む。特徴セット３は、クロマ飽和の分布をキャプチャするために使用され得、Ｎ_C階級クロマヒストグラムを含む。特徴セット２および３における特徴は、以下のようにキャプチャされ得る。

を、正規化ルマ（例えば、［０ １）範囲での正規化、など）およびｊ番目のＳＤＲフレームでのｐ番目のＳＤＲ画素のクロマ値とする。いくつかの実施形態において、ＳＤＲルマ画素値をダウンサンプリングして、ＳＤＲクロマチャネルの空間寸法（ｄｉｍｅｎｓｉｏｎ）（例えば、クロマサンプリングフォーマットにおける４２０、４２２、など）に一致させ得る。

をＮ_L階級ルマヒストグラムとし、

を、対応するルマ値にしたがって測定および収集されたＮ_C階級クロマ飽和とする。各ルマまたはクロマチャネルにおける画素の総数をＰと表記する。特徴セット２および３を生成するための手順例を以下の表１に示する。

いくつかの実施形態において、Ｎ_L階級ルマヒストグラムは、全部で８個のルマ階級を含む。したがって、特徴セット２における特徴の総数Ｎ_Lおよび特徴セット３における特徴の総数Ｎ_Cは、以下のように与えられる。
Ｎ_L＝Ｎ_C＝８ （４）

本例において、図１ＦのＭＬに基づくプロセスの一般線形モデルにおいて使用される３セットの特徴は、特徴セット１からの４＊３＝１２個の特徴、特徴セット２からの８個の特徴、および特徴セット３からの８個の特徴を含み、ＳＤＲフレーム（または画像）から抽出された全部で２８個の特徴を生じさせる。

［係数最適化］
例示として、訓練データベースは、訓練を目的とした全部でＦ個のＳＤＲ－ＥＤＲ画像対を含む。ｋ番目のサンプル点の重み

は、以下の手順を介して得られ得る。

図１Ｆの訓練プロセス（１６０）のブロック１９０（「Ｋ点ＢＬＵＴ値を読み出す」と表記する）において、全ての実際のマッピングされたＥＤＲコードワード（または値）は、ｋ番目のサンプル点についてのＦ個のＳＤＲ－ＥＤＲ画像対におけるＦ個ＥＤＲ画像の全てから収集され得る。Ｆ個のＥＤＲ画像における実際のマッピングされたＥＤＲコードワードは、Ｆ個のＳＤＲ－ＥＤＲ画像対におけるそれぞれのＳＤＲ－ＥＤＲ画像対から収集される。それぞれのＳＤＲ－ＥＤＲ画像対から収集された各そのような実際のマッピングされたＥＤＲコードワードは、それぞれのＳＤＲ－ＥＤＲ画像対におけるＳＤＲ画像におけるｋ番目のＳＤＲサンプルコードワードがそれぞれのＳＤＲ－ＥＤＲ画像対におけるＥＤＲ画像のＥＤＲコードワードの分布にマッピングされたマッピングＥＤＲコードワードとして決定され得る。

例えば、それぞれのＳＤＲ－ＥＤＲ画像対におけるＳＤＲ画像におけるＳＤＲコードワードの分布は、ＳＤＲ画像の実際のＳＤＲコードワードから計算されたＳＤＲ ＣＤＦによって表され得る。同様に、それぞれのＳＤＲ－ＥＤＲ画像対におけるＥＤＲ画像におけるＥＤＲコードワードの分布は、ＥＤＲ画像の実際のＥＤＲコードワードから計算されたＥＤＲ ＣＤＦによって表され得る。それぞれのＳＤＲ－ＥＤＲ画像対から収集された実際のマッピングされたＥＤＲコードワードは、ＥＤＲ ＣＤＦの値がｋ番目のＳＤＲサンプルコードワードでのＳＤＲ ＣＤＦの値に等しいかまたは一致するＥＤＲコードワードとして決定され得る。

ｋ番目のサンプル点についてのＦ個のＳＤＲ－ＥＤＲ画像対におけるＦ個のＥＤＲ画像の全てから収集された実際のマッピングされたＥＤＲコードワードは、以下のようにベクトルとして表され得る。

ｊ番目のＳＤＲフレームについて収集された特徴は、以下のようにベクトルとして表され得る。

訓練データベースからのＦ個のＳＤＲ－ＥＤＲ画像対におけるＦ個のＳＤＲフレームの全てについての全ての収集された特徴は、以下のようにベクトル（例えば、横（ｔｒａｎｓｖｅｒｓｅ）ベクトルなど）として表され得る。

重み（または、一般線形モデルの係数）は、以下のようにベクトル形に配置され得る。

ｊ番目のＥＤＲフレームについての予測または推定された、マッピングされたＥＤＲコードワード（または値）は、一般線形モデルにおいて以下のように与えられ得る。

図１Ｆの訓練プロセス（１６０）のブロック１９２（「係数最適化」と表記する）において、Ｆ個のＳＤＲ－ＥＤＲ画像対の全てのＥＤＲ画像における全ての予測または推定されたＥＤＲコードワード（または値）は、以下のようにベクトルにまとめられる。

式（９）および（１０）に基づいて、Ｆ個のＳＤＲ－ＥＤＲ画像対の全てのＥＤＲ画像における全ての予測または推定されたＥＤＲは、以下の行列形に書き換えられ得る。

重みｗ^kの最適化値

を見つけるという問題は、予測誤差を最小化するという最適化問題として以下のように定式化され得る。

最適化された重み値

は、以下のように最小二乗解を介して得られ得る。

上記の最適化は、各サンプル点ｋについて最適化された重み値

（または予測係数であって、図１Ｆにおいて「線形モデルのための訓練された重み」と表記する）を生成するために行われ得る。ここで、ｋは、０～Ｋ－１の整数であり、ここで、Ｋは、サンプル点の総数である。

［ＢＬＵＴの生成］
推定プロセス（１６２）において、入力ＳＤＲ映像（例えば、ＳＤＲ画像（１１７）を含む、など）は、訓練されたＭＬモデル（または、一般線形モデル）によって生成された、最適化された重み値を使用して処理され、入力ＳＤＲ映像における各フレーム（または画像）についてコンポーザ予測係数が生成される。さらに、オプションまたは代替として、ポストプロセッシングモジュールを推定プロセス（１６２）において使用して、入力ＳＤＲ映像のための予測された逆方向再構成関数が平滑性および／または単調な非低減特性を有することを確実にし得る。

より詳細には、図１ＦのＭＬに基づくプロセスの推定プロセス（１６２）のブロック１８８において、最適化された重み値

を導出する訓練プロセス（１６０）において使用される種類の特徴（例えば、特徴セット１～３など）と同じ種類の特徴（例えば、特徴セット１～３など）を新しいＳＤＲ画像から抽出される。推定プロセス（１６２）のブロック１９６（「モデルを使用してｋ点ＢＬＵＴ値を推定する」と表記する）において、最適化された重み値

を使用して、新しいＳＤＲ画像（または、フレーム）のＳＤＲコードワードに対応するＥＤＲコードワードを、その新しいＳＤＲ画像から抽出された同じ種類の抽出特徴（例えば、特徴セット１～３など）に基づいて、予測または推定し得る。

予測または推定されたＥＤＲコードワード、および予測または推定されたＥＤＲコードワードに対応するＳＤＲコードワードを使用して、逆方向再構成（または予測）プロセスにおいて使用されることになる最適化された逆方向再構成曲線／関数（例えば、パラメータ化曲線／関数、ＢＬＵＴ、近似多項式など）を構築し得る。

より詳細には、推定プロセス（１６２）のブロック１８８において、新しいＳＤＲ画像（例えば、ＳＤＲ映像を表す１シーケンスのＳＤＲ画像に含まれる）のそれぞれについて、まず各そのような新しいＳＤＲ画像から特徴が収集される。次いで、各そのような新しいＳＤＲ画像について、最適化値

を有する線形予測子（ｐｒｅｄｉｃｔｏｒ）を使用して、Ｋ個のＳＤＲサンプルコードワードについて、Ｋ個の予測／推定されたＥＤＲコードワードを予測し得る。

Ｋ個の予測／推定されたＥＤＲコードワードおよびＫ個のＳＤＲサンプルコードワードは、一緒になってＫ個のサンプル点

を形成する。逆方向再構成関数／曲線（例えば、パラメータ化関数／曲線、ＢＬＵＴ、など）は、Ｋ個のサンプル点

を使用して、全ての利用可能なＳＤＲコードワード（例えば、８ビットコードワード空間、１０ビットコードワード空間などに含まれる）の最大で全範囲を包含するように構成され得る。

がＫ個のサンプル点

を使用して生成されるＫ点ＢＬＵＴとする。ここで、ｋ＝０，…，Ｋ－１。図１Ｆの推定プロセス（１６２）のブロック１９８（「フィルタリング、補間、およびクリッピング」と表記する）において、Ｋ点ＢＬＵＴは、ＳＤＲコードワードが最小有効ＳＤＲコードワードより小さいか、または最大有効ＳＤＲコードワードよりも大きい（例えば、ＳＭＰＴＥ範囲外など）の場合には必ず補間またはクリッピングされ得る。

がＫ点ＢＬＵＴ

を補間またはクリッピングすることによって生成されるＢＬＵＴを表すとする。

［単調非低減性］
図２Ｂおよび図２Ｃは、いくつかのＢＬＵＴ例を例示する。図２Ｂに例示する第１のＢＬＵＴ例２０４－１は、単調非低減条件を満たす、補間されたＢＬＵＴ

を表すが、図２Ｃに例示する第２のＢＬＵＴ例２０４－２は、上記条件を満たさない、補間されたＢＬＵＴ

を表す。第１のＢＬＵＴ（２０４－１）および第２のＢＬＵＴ（２０４－２）は、２つのＳＤＲ画像についての２つの対応するＫ点ＢＬＵＴ

を補間およびクリッピングすることを介して、それぞれ得られ得る。第１のＢＬＵＴ（２０４－１）および第２のＢＬＵＴ（２０４－２）の両方は、静的モードにおいて選択される逆方向再構成曲線２０２－１および２０２－２と比較して、リファレンス逆方向再構成曲線２０４－１および２０４－２により良く一致する。ここで、リファレンス逆方向再構成曲線（２０４－１および２０４－２）は、ＳＤＲ画像についてのリファレンスＥＤＲ画像がリファレンス逆方向再構成曲線（２０４－１および２０４－２）を生成するためのリファレンス／ターゲットとして利用可能である場合のリファレンスモードにおいて、図１Ｂのプロセスフローを使用して生成され得る。

補間されたＢＬＵＴ（例えば、図２Ｃなど）がこの単調非低減条件満たすか否かは、補間されたＢＬＵＴが得られる（例えば、上記の補間およびクリッピングを介して）Ｋ点ＢＬＵＴにおいて隣接するサンプル点間の差分値に遡り得る。

例えば、Ｋ点ＢＬＵＴ

についてのｋ番目の差分ＢＬＵＴ値（

と表記する）は、以下のように計算され得る。

Ｋ点ＢＬＵＴ

（例えば、初期Ｋ点ＢＬＵＴなど）において単調非低減性を維持するために、ｋ番目の差分ＢＬＵＴ値は、以下の条件を満たす。

図２Ｂに例示する第１の補間されたＢＬＵＴ

の全ての差分ＢＬＵＴ値は、式（１５）に記載の条件を満たす。

これに対して、図２Ｃにおいて例示する第２の補間されたＢＬＵＴ

のいくつかの差分ＢＬＵＴ値は、式（１５）に記載の条件を満たさない。これが生じ得るのは、一般線形モデルが訓練された重み（または、最適化された重み値

）およびＳＤＲ画像から抽出された特徴（例えば、最小ルマ値、最大ルマ値、平均ルマ値、ＳＤＲルマヒストグラム階級、ＳＤＲルマヒストグラム階級についてのＳＤＲカラー飽和値など）に基づいてＫ点ＢＬＵＴ ＥＤＲコードワード（または値）を個別に推定するからである。予測または推定されたＥＤＲコードワード（または値）が互いに独立して推定されるので、式（１５）に記載の条件が満たされない場合があるので、Ｋ点ＢＬＵＴ

から補間（および／またはクリッピング）によって単純に構築された、補間されたＢＬＵＴ

によって単調非低減条件が満たされない場合が生じ得る。

本明細書に記載される技術を使用して、転写関数（例えば、補間されたＢＬＵＴ、最終ＢＬＵＴ Ｂ_j、ＥＤＲ画像を予測するために下流のデバイスによって使用されることになる逆方向再構成関数など）が単調非低減条件を満たし、転写関数によってＳＤＲコードワードから予測／推定されるＥＤＲコードワードが、そのＳＤＲコードワードの値が大きくなるにつれても、非低減となることを確実にし得る。単調非低減条件を満たすことは、対応するＳＤＲ映像から予測される、構成されたＥＤＲ映像の一貫した振る舞いを確実にすることに役立つので、ＥＤＲ画素強度は、ＳＤＲ画素強度の増加にともなって低減することはない。

いくつかの実施形態において、単調非低減の最終ＢＬＵＴを生成するために、単調非低減条件は、一般線形モデルを規定することの一部（例えば、拘束条件など）として、Ｋ点ＢＬＵＴに対して課され得る。

追加的に、オプションとして、または代替として、単調非低減の最終ＢＬＵＴを生成するために、単調非低減条件は、既に構築された、補間された全範囲ＢＬＵＴに課され得る。例えば、ＣＤＦに基づくマッチングを使用することにより、（単調非低減条件を満たしてもよいし、または満たさなくてもよい）補間された全範囲ＢＬＵＴを、単調非低減条件を満たさないように変更された、補間された全範囲ＢＬＵＴに再構築する効率的な方法を与え得る。

第１のステップは、 ＳＤＲヒストグラム（例えば、ＳＤＲルマヒストグラムなど）をＳＤＲ画像（入力ＳＤＲ画像）におけるＳＤＲコードワードに基づいて構築し、対応するＥＤＲヒストグラム（例えば、ＥＤＲルマヒストグラムなど）を、（単調非低減条件を満たしてもよいし、満たさなくてもよい）補間されたＢＬＵＴを使用して予測または推定されるＥＤＲコードワードに基づいて構築することである。より多くのヒストグラム階級を使用すると、ＣＤＦに基づくマッチングの正確性がより高くなる。

ｊ番目のフレームについての入力ＳＤＲ画像におけるｐ番目の画素のルマ正規化値を

と表記する。ＳＤＲヒストグラム（

と表記する）は、それぞれのＭビットコードワードに対応する２^M個のヒストグラム階級 を含み得るし、表２に示す疑似コード例に基づいて、Ｐ個の画素を含む入力ＳＤＲ画像について構築され得る。

ＥＤＲルマヒストグラム（

と表記する）は、補間されたＢＬＵＴ

（単調非低減条件を満たしてもよいし、満たさなくてもよい）およびＳＤＲルマヒストグラム

を使用して、表３に示す疑似コード例に基づいて、構築され得る。

の両方が利用可能な場合、ＣＤＦに基づくマッチング方法を使用して、単調非低減条件を満たさない最終ＢＬＵＴを構築し得る。例えば、ＳＤＲ ＣＤＦおよびＥＤＲ ＣＤＦは、それぞれヒストグラム

から以下のように構築され得る。

各入力ＳＤＲコードワードｂについてのＣＤＦ値を使用して、

となるようなＥＤＲ ＣＤＦにおける対応のＥＤＲ階級インデックスｂ´を見つけ得る。いくつかの実施形態において、（ｂ´）と（ｂ´＋１）との間の補間値は、例えば双線形補間方法によって決定され、下限値ｂ´の代わりに使用される。双線形補間の例は、上記の米国仮特許出願第６２／４０４，３０７号に示されている。

これにより、｛ｂ｝→｛ｂ´｝のＳＤＲ－ＥＤＲマッピング関数が生成される。このマッピング関数は、単調非低減条件を満たし、ｊ番目のＳＤＲ画像からｊ番目のＥＤＲ画像を構成するための

と表記され得る。

さらに、オプションまたは代替として、以下のように平均化フィルタを用いてマッピング関数

に平滑化演算を行って、平滑化されたマッピング関数Ｂ_jを生成し得る。

ここで、２Ｗ＋１は、ＳＤＲコードワードの移動ウィンドウ（中心は、ＳＤＲコードワードｘ）である。この移動ウィンドウにわたり、マッピング関数

は、平均化または平滑化される。

いくつかの実施形態において、式（１７）の平滑化されたマッピング関数は、最終ＢＬＵＴ Ｂ_jを表し得る。いくつかの実施形態において、最終ＢＬＵＴ Ｂ_jは、１セットの多項式（例えば、８区分（ｐｉｅｃｅ）２次多項式など）を用いてさらに近似され得る。ピボット（ｐｉｖｏｔ）、傾き、係数、オフセットなどのパラメータは、本明細書に記載されるコンポーザ予測係数とされ得る。

図２Ｄは、図２Ｃの補間されたＢＬＵＴ

からＣＤＦに基づくマッチングを介して再構築される最終ＢＬＵＴの例Ｂ_j２０８を例示する。図示されるように、図２Ｄの最終ＢＬＵＴ Ｂ_j（２０８）は、単調非低減条件を満たすが、図２Ｃの補間されたＢＬＵＴ

は、単調非低減条件を満たさない。

［ＤＭメタデータの推定および生成］
種々の方法およびアルゴリズムのうちの１つ以上を使用し、コンポジションメタデータに少なくとも部分的に基づいて、ＥＤＲドメインにおいてＤＭメタデータを生成するための技術が使用され得る。これらの方法およびアルゴリズムは、ＥＤＲドメイン（例えば、ＤＭ色空間における、ＥＤＲ ＲＧＢ色空間における、など）においてＤＭメタデータを計算するための元の式を使用すること、ＥＤＲドメイン（例えば、コンポジション色空間における、ＥＤＲ ＹＣｂＣｒ色空間における、など）においてＤＭメタデータを計算するための近似式を使用すること、ＳＤＲドメイン（例えば、ＳＤＲ ＹＣｂＣｒ色空間における、など）において計算されたＤＭ関連値をマッピング（例えば、１Ｄ－ＬＵＴ介して、など）することによって、ＥＤＲドメインにおいてＤＭメタデータを生成することなどのいずれかを含み得るが、これらのみに限定されない。

限定しないが、例示として、コンポーザメタデータおよびＳＤＲ画像（１１７）とともに映像信号に含まれるＤＭメタデータは、ＥＤＲ ＲＧＢ色空間におけるＰＱ Ｐ３ドメインにおいて測定されることになる。なお、種々の実施形態において、ＤＭメタデータは、ここに例示したＥＤＲ ＲＧＢ色空間とは異なるＤＭ色空間において生成または測定され得る。いくつかの実施形態において、ＥＤＲ ＲＧＢ色空間は、リファレンスＥＤＲディスプレイのディスプレイ色空間を表し得る。

入力ＳＤＲ ＹＣｂＣｒ（またはＹＵＶ）画像を考慮し、ＥＤＲ ＹＣｂＣｒ（またはＹＵＶ）画像が構成／予測を介して生成され得る。いくつかの実施形態において、ＥＤＲ ＹＣｂＣｒ（またはＹＵＶ）画像は、ＥＤＲ ＲＧＢ色空間におけるＤＭメタデータを生成するために、生成され、そしてコンポジション色空間であるＥＤＲ ＹＣｂＣｒ色空間からＥＤＲ ＲＧＢ色空間に変換され得る。

ＥＤＲ ＲＧＢ色空間におけるＰＱ Ｐ３ドメインにおいて測定されることになるＤＭメタデータは、各ＥＤＲ画像についての全てのチャネルについての全ての画素値についての最小値（「ｍｉｎ」と表記する）、各ＥＤＲ画像についての全てのチャネルについての全ての画素値についての最大値（「ｍａｘ」と表記する）、各ＥＤＲ画像についての全てのチャネルについての全ての画素値についての平均値（「ａｖｇ」と表記する）、各ＥＤＲ画像についての全てのチャネルについての全ての画素値についての標準偏差値（「ｓｔｄ」と表記する）などを含み得るがこれに限定されない。ｍｉｎ、ｍａｘ、およびａｖｇ値は、Ｌ１メタデータと称され得る。ｓｔｄ値は、Ｌ４メタデータと称され得る。Ｌ１およびＬ４メタデータに少なくとも部分的に基づくディスプレイマネジメント演算の例は、２０１６年１２月２２日に出願された米国仮特許出願第６２／４３７，９６０号に示されており、その内容の全てを、あたかも本明細書中に記載するかのように、本願に援用する。

正規化（したがって、ＥＤＲコードワードまたは値は、[０ １）の間にある）後の、ｊ番目のＥＤＲ画像におけるｐ番目の画素についての｛Ｒ，Ｇ，Ｂ｝チャネルを

と表記する。Ｌ１およびＬ４メタデータは、以下のように元のＥＤＲ ＲＧＢ式を用いて得られ得る。

［ＹＣｂＣｒドメインにおいてＹチャネルを使用する推定］
元のＥＤＲ ＲＧＢ式に表されるＬ１およびＬ４メタデータを含むがこれらに限定されないＥＤＲドメインにおけるＤＭメタデータの一部または全ては、実際にはＥＤＲ ＲＧＢ画像を生成せずに、ＥＤＲ ＹＣｂＣｒ色空間におけるＹ成分の予測されたＥＤＲコードワードなどの、コンポジション色空間における予測されたＥＤＲコードワード（または値）を使用して推定され得る。

ｊ番目のＥＤＲ ＹＣｂＣｒ画像におけるＥＤＲ画素の｛Ｙ，Ｃb，Ｃr｝ＥＤＲコードワード（または値）を

と表記する。ＥＤＲ ＲＧＢ色空間におけるｊ番目のＥＤＲ ＲＧＢ画像のＥＤＲコードワードは、以下のようにＥＤＲ ＹＣｂＣｒ色空間におけるｊ番目のＥＤＲ ＹＣｂＣｒ画像のＥＤＲコードワードに関連づけられる。

Ｒｅｃ．７０９に準拠する、構成されたＥＤＲ画像について、式（１９）の右手側（ＲＨＳ）の３×３行列（「全範囲行列」と表記する）およびベクトルは、それぞれ以下のように与えられる。

ＳＭＰＴＥに準拠する、構成されたＥＤＲ画像について、式（１９）の右手側（ＲＨＳ）の３×３行列（「ＳＭＰＴＥ行列」と表記する）およびベクトルは、それぞれ以下のように与えられる。

このように、全範囲行列および対応するベクトルを使用して、以下のように近似関係が成立され得る。

Ｌ１メタデータにおけるｍｉｎ、ｍａｘ、およびａｖｇ値は、以下のように推定され得る。

Ｌ４メタデータにおける標準偏差値は、以下のように推定され得る。

同様に、ＳＭＰＴＥ行列および対応するベクトルを使用して、以下の近似関係が成立され得る。

元のＥＤＲ ＲＧＢ式におけるＬ１メタデータにおけるｍｉｎ、ｍａｘ、およびａｖｇ値は、以下のようにＥＤＲ ＹＣｂＣｒコードワードから推定され得る。

元のＥＤＲ ＲＧＢ式におけるＬ４メタデータにおける標準偏差値は、以下のようにＥＤＲ ＹＣｂＣｒコードワードから推定され得る。

ここで、３．５０６７／３は、２５６／２１９を簡単な形に表記したものである。

［ＳＤＲドメインにおける推定］
上記に例示したように、ＥＤＲドメインにおけるＤＭメタデータは、ＥＤＲドメインにおけるＥＤＲコードワードの統計量を含む。リファレンスモード（例えば、図１Ｂに例示、など）において、ＥＤＲコードワードの統計量は、予測演算におけるリファレンスとして機能するリファレンスＥＤＲ画像または逆ＤＭ（ＥＤＲ）画像のいずれかにおいてＥＤＲコードワードから収集され得る。非リファレンスモード（例えば、図１Ｃに例示、など）において、ＥＤＲコードワードの統計量は、構成／予測の前にはリファレンスＥＤＲ画像および逆ＤＭ画像のどちらも存在しない場合があるので、構成／予測されたＥＤＲ画像におけるＥＤＲコードワードから収集され得る。

上記式（１８）および（２５）に例示される、ＥＤＲドメインにおいて統計量測定または収集（例えば、直接に、など）するために、特にＤＭメタデータの生成に役立てるために、構成／予測されたＥＤＲ画像の、一部または全てのＥＤＲコードワードが生成される。このＥＤＲ画像構成（または予測）は、なおも著しい計算パワーを消費し得るが、サブサンプリングを採用して、ＥＤＲドメインにおいて統計量を計算するためのＥＤＲコードワードの数を減らしてもよい。

いくつかの実施形態において、ＥＤＲドメインにおいて統計量を直接的に収集する代わりに、特にＤＭメタデータを生成するのに役立てるために、ＥＤＲ画像の構成または予測を一切せずに、既に利用可能なＳＤＲコードワードを用いて、ＳＤＲドメインにおいて、まず統計量を収集し得る（例えば、図１ＤのＤＭメタデータ生成器（１７６）によって、など）。逆方向再構成関数／曲線（または、ＢＬＵＴ）が利用可能であるので（例えば、図１Ｄのコンポーザ予測モジュール（１８０）からＤＭメタデータ生成器（１７６）、など）、ＥＤＲドメインにおける統計量は、逆方向再構成関数／曲線（または、ＢＬＵＴ）を用いて、比較的容易にＳＤＲドメインから推定される（例えば、図１ＤのＤＭメタデータ生成器（１７６）によって、など）。

ｊ番目のＳＤＲ画像のｐ番目のＳＤＲ画素の、［０，１）の範囲に正規化され得る、｛Ｙ，Ｃb，Ｃr｝ＳＤＲコードワードを

と表記する。上記のように、ｊ番目のＥＤＲ画像の構成／予測は、単調非低減条件を満たすルマチャネルＹについてのＢＬＵＴ（例えば、最終ＢＬＵＴなど）を用いて行われ得る。

ｊ番目のＳＤＲ画像に対応するｊ番目のＥＤＲ画像のｐ番目のＥＤＲ画素のルマＥＤＲコードワードは、以下のように上記ＢＬＵＴに基づいて導出され得る。

ＥＤＲドメイン（または、ｊ番目のＥＤＲ画像）におけるＬ１メタデータにおけるｍｉｎおよびｍａｘ値は、以下のようにＳＤＲドメイン（または、 ｊ番目のＳＤＲ画像）におけるｍｉｎおよびｍａｘ値から推定され得る。

ＢＬＵＴは、非線形関数であるので、ＳＤＲドメインにおけるａｖｇ値は、ＢＬＵＴに基づくシングル値マッピングを介しては、ＥＤＲドメインにおけるａｖｇ値に一致しない場合がある。この問題は、ＳＤＲヒストグラム（例えば、ＳＤＲルマヒストグラムなど）およびＢＬＵＴを使用することを介して解決され得る。ｊ番目のＳＤＲ画像のＳＤＲヒストグラムのｂ番目の階級を

と表記する。ｂ番目の階級についての代表的なＳＤＲコードワード（例えば、中心点、ｍｉｄ値など）をｒ_bと表記する。

ＥＤＲドメイン（または、ｊ番目のＥＤＲ画像）におけるＬ１メタデータにおけるａｖｇ値は、以下のようにＳＤＲヒストグラムおよびＢＬＵＴから推定され得る。

ＥＤＲドメイン におけるＬ４メタデータにおけるｓｔｄ値の計算は、ＢＬＵＴが非線形関数である場合があるので、上記のＥＤＲドメインにおけるＬ１メタデータにおけるａｖｇ値の計算と同じ問題を有する。

しかし、ＥＤＲドメイン（または、ｊ番目のＥＤＲ画像）におけるＬ４メタデータにおけるｓｔｄ値はまた、以下のようにＳＤＲヒストグラムおよびＢＬＵＴから推定され得る。

上記から分かるように、 ＥＤＲドメインにおけるＤＭメタデータは、逆方向再構成関数／曲線（またはthe ＢＬＵＴ）に少なくとも部分的に基づいて、入力ＳＤＲ信号（またはＳＤＲ画像）の統計量測定から、上流の符号化デバイスによって対応するＥＤＲ画像を構成することなく、マッピングされ得る。これにより、このＳＤＲドメインにおいて計算された統計量および分布（例えば、ヒストグラムなど）を介してＥＤＲドメインにおけるＤＭメタデータを導出する方法を使用することによって、著しい計算量を回避し得る。

なお、

は、全ての候補ＢＬＵＴが予め構成されている静的非リファレンスモードについて、予め計算され得る（例えば、システム起動段階中など）。ＳＤＲ画像から抽出された特徴を用いて、ＢＬＵＴが一般線形モデルにおいて推定されるダイナミック非リファレンスモードにおいても、

についての追加の計算はほとんどない。ＥＤＲドメインにおけるこれらの統計量の導出全体は、ほとんど追加の計算をすることなくＳＤＲヒストグラム｛ｈ_jb｝を見つけること（特に、ＳＤＲＤＭメタデータが入力ＳＤＲ映像信号からすでに抽出可能な場合）に大きく簡素化され得る。いくつかの実施形態において、計算負荷をさらに低減するために、ＳＤＲヒストグラムは、ＳＤＲ画像のＳＤＲ画素をサブサンプリング／間引きを介して、残余のＳＤＲ画素（その数はより少ない）を用いて、構築され得る。

［ビット深度および空間寸法の再フォーマット化］
多くの場合、入力ＳＤＲ映像信号は、１０８０ｐまたは２１６０ｐとは異なるフレームサイズを有する８ビットＹＵＶ映像信号である。しかし、いくつかの映像ディスプレイアプリケーションは、１０ビットＹＵＶ映像信号におけるＳＤＲ画像データおよび画像関連メタデータを受信およびプロセッシングするように構成され得る。

図１Ｇは、入力ビット深度（例えば、８ビットなど）および入力フレーム（空間）寸法（例えば、１０８０ｐまたは２１６０ｐ以外）を出力ビット深度（例えば、１０ビットなど）および出力フレーム（空間）寸法（例えば、１０８０ｐまたは２１６０ｐなど）に再フォーマット化するためのエンコーダ側アーキテクチャを例示する。図１Ｇのエンコーダ側コーデックアーキテクチャは、上流の映像エンコーダ（例えば、図１Ａの符号化ブロック（１２０）など）における１つ以上のコンピューティングプロセッサを用いて実装され得る。

エンコーダ側アーキテクチャを使用して、ビット深度（ｎ_iと表記する）および入力フレームサイズの入力ＳＤＲ映像信号を、出力ビット深度（ｎ_oと表記する）および出力フレームサイズの出力ＳＤＲ映像信号に再フォーマットし得る。出力ＳＤＲ映像信号は、当該分野において既に利用されている所定のディスプレイアプリケーションまたはシステムと既に互換であるか、または比較的容易に互換にされ得る映像信号フォーマットの信号である。

限定しないが、例示として、図１Ｇのエンコーダアーキテクチャは、フレームサイズが（Ｗ_i×Ｈ_i）であるＳＤＲ画像（１１７）を用いて符号化されたｎ_iビットのＳＤＲ映像信号を受信するように構成される。コンポーザ予測モジュール（１８０）は、静的または動的非リファレンスモードで動作し、コンポーザ予測係数を決定／生成する。予測係数は、リファレンス（または、予測ターゲット）として、 ＥＤＲ画像を一切使用せず、かつ逆ＤＭ画像（例えば、図１Ｂの逆ＤＭモジュール（１７２）によって生成されるものなど）を一切使用せずに生成され得る。

α^Rを以下のコードワードスケーリングファクタ１８６（例えば、乗算子など）とする。
α^R＝１＜＜（ｎ₀－ｎ_i） （２８）

ＳＤＲ画像（１１７）における入力ビット深度の各入力ＳＤＲルマコードワード（またはＳＤＲルマ画素値）は、α^Rと乗算されて、スケーリングされたＳＤＲ画像（１１７－１）における出力ビット深度の対応のＳＤＲルマコードワードを生成する。

コンポーザ予測モジュール（１８０）によって決定／生成された予測係数は、ＲＰＵ（１７８）に与えられ、入力ＳＤＲ画像（１１７）（例えば、入力ＳＤＲ画像（１１７）におけるコードワードなど）をα^Rを用いてスケーリングすることによって生成されたスケーリング化ＳＤＲ画像（１１７－１）を用いて符号化ビットストリーム（１２２）内に多重化または含められ得る。

受信機（例えば、図１Ｅのデコーダなど）は、スケーリング化ＳＤＲ画像（１１７－１）および予測係数を受信した後、予測係数を使用して、ＳＤＲ画像（１１７－１）から予測されたＥＤＲ画像を生成し得る。

図１Ｇに例示されるエンコーダ側において、ＳＤＲ画像（１１７－１）および予測係数は、非リファレンスモードで動作するコンポーザ構成モジュール（１８４）に与えられ、ＥＤＲ画像のＥＤＲ画素値の一部または全てを構成する。

ＤＭメタデータ生成器（１７６）は、ＤＭ色空間におけるＥＤＲ画素値の一部または全てを受信し、そしてこれらのＥＤＲ画素値を使用して、ＤＭメタデータを推定、計算、または生成する。次いで、ＤＭメタデータは、ＤＭメタデータ生成器（１７６）によってＲＰＵ（１７８）に与えられ、スケーリング化ＳＤＲ画像（１１７－１）およびthe コンポーザメタデータを用いて符号化ビットストリーム（１２２）内に多重化または含められ得る。

入力ＳＤＲ画像におけるＳＤＲ画素の数および出力ＳＤＲ画像におけるＳＤＲ画素の数は、それぞれ以下のように与えられる。

スケーリングされたｊ番目のＳＤＲ画像における入力ＳＤＲコードワードを使用して、ｊ番目のＳＤＲ画像に対応するｊ番目のＥＤＲ画像におけるＥＤＲコードワードを予測または構成し得る。

などのメタデータ統計量は、式（１８）および（２５）に基づいて、ｊ番目のＥＤＲ画像におけるＥＤＲコードワードについて計算または推定され得る。

Ｐ^Rをｊ番目のＳＤＲ画像におけるＰ_in個の入力画素を補完して、ｊ番目のＥＤＲ画像におけるＰ_out個の出力画素を生成するためにパディングされた画素の数とする。したがって、
Ｐ^R＝Ｐ_out－Ｐ_in （３０）
である。

をパディングに使用されることになるｎ_iビットＳＤＲルマコードワード（または画素値）とする。

を

から逆方向再構成関数を使用して計算されたｎ_oビット構成ＥＤＲルマコードワード（または画素値）とする。

などのｊ番目のＥＤＲ画像についてのＤＭメタデータ統計量は、パディングＳＤＲコードワードから計算されたＥＤＲコードワードを考慮し、

に基づいて、以下のように計算または推定され得る。

［シーンに基づくメタデータ計算］
Ｌ１ ＤＭメタデータは、映像エンコーダ（例えば、図１Ａの符号化ブロック（１２０）など）によって、画像関連メタデータの一部として受信機（例えば、ＥＤＲディスプレイとともに動作する映像復号化デバイスなど）に送信され、受信機によって構成されることになるＥＤＲ画像の最小、最大、および平均値を提供し得る。Ｌ４ ＤＭメタデータは、映像エンコーダによって、画像関連メタデータの一部として受信機に送信され、フレーム平均値およびフレーム標準偏差値を提供し得る。

さらに、オプションまたは代替として、最小、最大および平均輝度値を含むが、これらに限定されないシーンレベルのＬ１およびＬ４ ＤＭメタデータが映像エンコーダによって生成され、受信機に送信され得る。ｊ番目のＥＤＲについての左および右シーン境界を

と表記する。シーン（例えば、現在のシーンなど）の最小輝度値（ｍｉｎ＿ＰＱと表記する）は、以下のように計算され得る。

シーンの最大輝度値（ｍａｘ＿ＰＱと表記する）は、以下のように計算され得る。

シーンの中点輝度値（ａｖｇ＿ＰＱと表記する）は、以下のように計算され得る。

いくつかの実施形態において、ＥＤＲ画像（例えば、現在のＥＤＲ画像、ｊ番目のＥＤＲ画像など）のフィルタリングされた平均および標準偏差値を含むが、これらに限定されない、フィルタリングされたＬ１およびＬ４ ＤＭメタデータが映像エンコーダによって生成され、受信機に送信され得る。

をｊ番目のＥＤＲ画像のフィルタリングされた平均および標準偏差値とする。Ｉ_SCをシーンカット（１：シーンカット、０：シーンカットなし）を特定する指示関数とする。ｊ番目のＥＤＲ画像についてのフィルタ強度例は、以下のように決定され得る。

ここで、

は、大域ディミング定数を表し得る。大域ディミング定数は、ユーザによって予め構成され得る。

ｊ番目のＥＤＲ画像のフィルタリングされた平均および標準偏差値は、以下のように決定され得る。

上記から分かるように、映像エンコーダによって生成されたＬ１／Ｌ４メタデータの一部は、シーンカット情報に依存（例えば、非常に依存など）し得る。いくつかの実施形態において、比較的正確なシーンカット情報が例えばＸＭＬファイルの形態で利用可能である。しかし、いくつかの他の実施形態において、シーンカット情報は、例えば映像エンコーダ、または映像エンコーダと併せて動作するデバイスによって画像コンテンツから自動的に検出される必要があり得る。

［誤シーンカット検出に対する感度］
自動シーンカット検出（例えば、人間が入力を全くまたはほとんどせずに、自動画像コンテンツ分析に基づく、など）は、映画などのいくつかの映像コンテンツに対しては良く機能し得る。しかし、誤ったまたは逃したシーンカット検出が特に映画以外の映像コンテンツにおいて生じ得る場合がある。

例えば、誤シーンカットは、映像に焼き付けられたキャプションがある場合に、検出され得る。焼き付けられたキャプションは、１つのシーンフレーム中の数フレームにおいて、または１つのシーンにおいてもしくは複数のシーンにわたって、オン・オフし得る。１つのシーンは、１つの焼き付けられたキャプションまたは複数の焼き付けられたキャプションを有し得る。焼き付けられたキャプションのこれらの異なる振る舞いが存在すると、クリーンな自動シーンカット検出が困難となり得る。

Ｌ１メタデータにおけるシーンレベル最小および最大輝度値などのＤＭメタデータにおけるシーンレベル値は、シーンカットに影響を受けやすい。新しい焼き付けられたキャプション（例えば、白色の明るい画素を含む、など）が現れると、シーンレベルおよび画像レベル最大輝度値が上昇し、他方、焼き付けられたキャプションが消えると、シーンレベルおよび画像レベル最大輝度値がとなる。

画像内の画素の総数に比べて、焼き付けられたキャプションが含む画素が比較的少ない場合、シーンレベルおよび画像レベル平均輝度値は、ほとんど変化しない場合がある。

いくつかの実施形態において、最小および最大輝度値（例えば、一部または全てシーンについての、など）は、以下のようにシーケンス全体についての最小および最大輝度値などの１シーケンスの画像（例えば、複数のシーンを含む、など）における大域値として設定され得る。

いくつかの実施形態において、平均輝度値は、シーンカットのうちのいずれかが検出有りであるか、または検出無しであるかにかかわらず、各シーンから計算される平均輝度値に設定され得る。

いくつかの演算の場合において、１つの真のシーンが複数の（誤った）シーンであると、誤って検出され得る。これらの複数の誤ったシーンは、１つの真のシーンの異なる誤ったシーンにおける画像から計算される、異なる平均輝度値を有する。ディスプレイの照明制御は、これらの平均輝度値に少なくとも部分的に基づいて、照明レベルを調節し得る。これにより、真の１つのシーンにおける異なる誤ったシーンを介して、照明レベルの調節によって生じる閃光（ｆｌａｓｈｉｎｇ）が見られ得る。

この問題に対処するために、平均輝度値の推定に基づくスライディングウィンドウを採用し得る。シーンカット情報（例えば、ＥＤＲ画像がシーンカット画像であるか否かを示すバイナリインディケータ（ｂｉｎａｒｙ ｉｎｄｉｃａｔｏｒ）など）によって境界づけられたスライディングウィンドウを使用して、各ＥＤＲ画像についての平均輝度値が計算され得る。

ｊ番目のＥＤＲ画像についての（スライディング）ウィンドウに基づく平均輝度値を

と表記する。ルックアヘッドウィンドウの長さを

と表記し、ルックバックウィンドウの長さを

と表記する。

スライディング（または平均）ウィンドウの左および右境界を

と表記し、これらは、以下のように決定され得る。

ここで、ｊ番目のＥＤＲについての平均輝度値に基づくスライディングウィンドウは、以下のように決定され得る。

図３は、１シーケンスの画像にわたる平均輝度値のプロット例を例示する。第１のプロット３０２は、フレームレベルの平均輝度値を表す。各フレームレベルの平均輝度値は、その１シーケンスの画像における対応の個々の画像に基づいて計算される。第２のプロット３０４は、シーンレベル平均輝度値を表す。各シーンレベル平均輝度値は、その１シーケンスの画像における対応のシーンについて、正しいかもしれないし、正しくないかもしれないシーンカット検出に基づいて計算される。第３のプロット３０６は、スライディングウィンドウ平均輝度値を表す。各スライディングウィンドウ平均輝度値は、個々の画像について、シーンカット検出および画像レベル平均輝度値の両方に基づいて計算される。

画像レベル平均輝度値が大きく変化し得ることが見て取れる。シーンレベル平均輝度値は、検出されたシーンカットに基づいて、段階的に変化する。誤ったおよび／または逃したシーンカットが生じる場合、これらの平均輝度値を使用して照明制御を決定すると閃光が生じ得る。スライディングウィンドウに基づく平均輝度値は、局所的なスライディングウィンドウ平均に基づいて、比較的平滑な輝度値曲線を生成する。局所的なスライディングウィンドウ平均は、間違って検出されたシーンカットが生じても可視閃光を回避または低減する。

いくつかの実施形態において、本明細書に記載される逆方向再構成関数は、クリッピングまたはトリムパス（ｔｒｉｍ ｐａｓｓ）を行わずに、および／またはＳＤＲ画像を構成されたＥＤＲ画像にマッピングする際に画素値の所定のコードワード領域において完全な情報損失を起こさずに、生成される。これにより、ＳＤＲ画像において表される画像の詳細は、本明細書に記載される技術において、構成されたＥＤＲ画像において保存される。

いくつかの実施形態において、本明細書に記載される逆方向再構成関数を使用して、ＳＤＲ画像が表されるソース色空間と、構成されたＥＤＲ画像が表されるターゲット色空間との任意の組み合わせをサポートし得る。ソース色空間および／またはターゲット色空間の例は、ＹＣｂＣｒ色空間、ＩＰＴ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間などのいずれをも含み得るが、必ずしもそれらのみに限定されない。

本明細書に記載されるＳＤＲ－ＥＤＲマッピング（例えば、逆方向再構成曲線／関数、行列に基づくマッピングなど）は、ＣＤＦ基づくマッピング、ＭＭＲ基づくマッピング、ＣＤＦ・ＭＭＲ基づくマッピングなどであり得るが、これらに必ずしも限定されない。いくつかの実施形態において、ＳＤＲ－ＥＤＲマッピングは、入力色空間の１、２、３またはそれ以上の次元におけるＳＤＲコードワードに適用され、出力色空間の１、２、３またはそれ以上の次元におけるＥＤＲコードワードを生成し得る。

第１の例において、逆方向再構成曲線／関数は、入力ＳＤＲ色空間のルマ成分（またはチャネル）におけるＳＤＲコードワードを出力ＥＤＲ色空間のルマ成分（またはチャネル）におけるＥＤＲコードワードにマッピングするために適用され得る。

第２の例において、ＭＭＲに基づくマッピングは、入力ＳＤＲ色空間の１つ以上のルマおよびクロマ成分（またはチャネル）におけるＳＤＲコードワードを出力ＥＤＲ色空間の１つ以上のクロマ成分（チャネル）におけるＥＤＲコードワードにマッピングするために適用され得る。ＭＭＲに基づくマッピングの例は、上記の米国仮特許出願第６２／４０４，３０７号に示されている。ＭＭＲに基づくマッピングのさらなる例は 、２０１３年１０月８日に出願された米国特許出願第１４／１１０，６９４号に示されており、その内容の全てを、あたかも本明細書中に記載するかのように、本願に援用する。

例示のみを目的として、本明細書の記載ようにコンポジションメタデータおよび／またはＤＭメタデータが入力映像信号におけるＳＤＲ画像について生成されることにより、下流のデバイスがＳＤＲ画像からＥＤＲ画像を構成／予測し、ＥＤＲ画像をターゲットディスプレイ用のディスプレイ画像にマッピングできるようにし得ることを説明した。なお、しかし、種々の実施形態において、入力映像信号における入力ダイナミックレンジおよび／または入力色域の画像は、Ｒｅｃ．７０９に規定されるＳＤＲ画像などのＳＤＲ画像でもよいし、そうでなくてもよい。例えば、いくつかの実施形態において、Ｒｅｃ．７０９ ＳＤＲの入力ダイナミックレンジ以外の入力ダイナミックレンジ（例えば、４０００ニト、１０００ニトなど）のハイブリッドログガンマ（ＨＬＧ）画像は、本明細書に記載されるように、入力映像信号から復号化され得る。コンポジションメタデータおよび／またはＤＭメタデータは、ＨＬＧ画像について生成され、下流のデバイスがＨＬＧ画像からＥＤＲ画像を構成／予測し、ＥＤＲ画像をターゲットディスプレイ用のディスプレイ画像にマッピングできるようにし得る。

［プロセスフロー例］
図４Ａは、本発明のある実施形態によるプロセスフロー例を例示する。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたは構成要素（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）は、このプロセスフローを行い得る。ブロック４０２において、画像プロセッシングデバイス（例えば、符号化ブロック（１２０）など）がスタンダードダイナミックレンジ（ＳＤＲ）画像を受信する。

ブロック４０４において、画像プロセッシングデバイスは、ＳＤＲ画像をエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするためのコンポーザメタデータを生成する。コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定する。複数のＳＤＲ－ＥＤＲ画像対は、上記のＳＤＲ画像を含まない複数のＳＤＲ画像と、その複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む。ある実施形態において、逆方向再構成マッピングは、複数のＳＤＲ－ＥＤＲ画像対を用いて予測係数を訓練することによって得られた、最適化された予測係数値から生成される。

ブロック４０６において、画像プロセッシングデバイスは、出力ＳＤＲ映像信号において、ＳＤＲ画像およびコンポーザメタデータを符号化する。

ブロック４０８において、画像プロセッシングデバイスは、出力ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいてＳＤＲ画像から構成された構成ＥＤＲ画像から導出される。

ある実施形態において、ＳＤＲ画像は、出力ＳＤＲ映像信号において符号化されている１シーケンスのＳＤＲ画像である。

ある実施形態において、コンポーザメタデータは、構成されたＥＤＲ画像が生成されるコンポジション色空間、構成されたＥＤＲ画像用のリファレンスＥＤＲディスプレイによってサポートされるピーク輝度値などのうちの１つ以上に基づいて選択された逆方向再構成関数を特定する。

ある実施形態において、画像プロセッシングデバイスは、ＳＤＲ画像から複数の画像関連特徴を抽出すること、その複数の画像関連特徴、および複数のＳＤＲ－ＥＤＲ画像対を使用して生成された複数の最適化された重み値に基づいて逆方向再構成マッピングを特定する１セットのパラメータを生成することなどを行うようにさらに構成される。

ある実施形態において、複数の最適化された重み値は、複数のＳＤＲ－ＥＤＲ画像対を使用して、一般線形モデルにおいて生成される。

ある実施形態において、複数の画像関連特徴は、ＳＤＲ画像におけるＳＤＲルマコードワードから計算された１セットのルマ統計値に関連する特徴、ＳＤＲ画像におけるＳＤＲルマコードワードの分布に関連する特徴、ＳＤＲ画像におけるＳＤＲルマコードワードの分布に対応するクロマ値に関連する特徴などのうちの１つ以上を含む。

ある実施形態において、画像プロセッシングデバイスは、ＳＤＲコードワード空間にわたって分布する１セットのＳＤＲコードワードについての１セットの推定されたＥＤＲコードワードを生成すること、その１セットの推定されたＥＤＲコードワードに基づいて、補間された逆方向再構成マッピングを生成すること、その補間された逆方向再構成マッピングを、出力ＳＤＲ映像信号において符号化され、単調非低減条件を満たす逆方向再構成関数に変更することなどを行うようにさらに構成される。

ある実施形態において、画像プロセッシングデバイスは、移動ＳＤＲコードワードウィンドウにわたって逆方向再構成関数を平滑化することを行うようにさらに構成される。

ある実施形態において、逆方向再構成マッピングは、逆方向再構成曲線、逆方向再構成関数、パラメータ化マッピング関数、逆方向ルックアップテーブル（ＢＬＵＴ）、１セットの近似多項式区分、行列に基づくマッピングなどのうちの１つを表す。

ある実施形態において、出力ＳＤＲ映像信号は、ディスプレイマネジメント（ＤＭ）メタデータを用いてさらに符号化される。ディスプレイマネジメント（ＤＭ）メタデータは、受信機によって、リファレンスＥＤＲディスプレイ用に最適化された構成ＥＤＲ画像に対してＤＭ演算を行うために使用され、ＥＤＲディスプレイ用に最適化されたＥＤＲディスプレイ画像を生成することになる。

ある実施形態において、上記方法は、映像エンコーダによって行われる。ＤＭメタデータは、ＤＭ色空間について、コンポジション色空間において構成されたＥＤＲコードワードを使用する近似に基づいて、映像エンコーダによって生成される。

ある実施形態において、ＤＭメタデータは、ＤＭ色空間について、そのＤＭ色空間について生成されたＥＤＲコードワードに基づいて、映像エンコーダによって生成される。

ある実施形態において、ＤＭメタデータは、ＤＭ色空間について、ＳＤＲ画像におけるＳＤＲコードワードの分布から導出されたマッピング統計値に基づいて、映像エンコーダによって生成される。

ある実施形態において、ＤＭメタデータは、フレームレベルのＤＭメタデータ、シーンレベルのＤＭメタデータ、マルチシーンレベルのＤＭメタデータ、手動シーンカット情報に少なくとも部分的に基づいて生成されるＤＭメタデータ、自動的に検出されたシーンカット情報に少なくとも部分的に基づいて生成されるＤＭメタデータ、スライディングウィンドウを用いて生成された、フィルタリングされたＤＭメタデータなどのうちの１つ以上を含む。

ある実施形態において、ＳＤＲ画像、構成されたＥＤＲ画像、またはＥＤＲディスプレイ画像のうちの少なくとも１つは、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、スタンダードダイナミックレンジ（ＳＤＲ）色空間などのうちの１つにおいて表される。

ＩＰＴ－ＰＱ色空間は、ディスプレイマネジメントアプリケーションのために、２０１４年２月１３日に出願されたＰＣＴ出願シリアル番号ＰＣＴ／ＵＳ２０１４／０１６３０４において最初に公開された。“Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｔｅｓｔｉｎｇ ｏｆ ａ ｃｏｌｏｒ ｓｐａｃｅ （ｉｐｔ） ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｈｕｅ ｕｎｉｆｏｒｍｉｔｙ”，ｂｙ Ｆ．Ｅｂｎｅｒ ａｎｄ Ｍ．Ｄ．Ｆａｉｒｃｈｉｌｄ，ｉｎ Ｐｒｏｃ．６ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ：Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ，Ｓｙｓｔｅｍｓ，ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＩＳ＆Ｔ，Ｓｃｏｔｔｓｄａｌｅ，Ａｒｉｚｏｎａ，Ｎｏｖ．１９９８，ｐｐ．８－１３（以下、Ｅｂｎｅｒ論文と称す)（その開示内容を全て本願で援用する）に記載されるＩＰＴは、人間の視覚系における錐体間の色差のモデルである。この意味において、ＩＰＴは、ＹＣｂＣｒまたはＣＩＥ－Ｌａｂ色空間と同様であるが、いくつかの科学研究において、これらの空間よりも人間の視覚プロセッシングをより良く模倣することが示されてきた。ＣＩＥ－Ｌａｂと同様に、ＩＰＴは、所定のリファレンス輝度に対して正規化された空間である。ある実施形態において、その正規化は、ターゲットディスプレイの最大輝度（例えば、５，０００ニト）に基づく。

本明細書において、「ＰＱ」という用語は、知覚的量子化を指す。人間の視覚系は、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている特定の時点までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化子関数は、線形入力グレイレベルを、人間の視覚系におけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の例が、ＰＣＴ出願シリアル番号ＰＣＴ／ＵＳ２０１２／０６８２１２に記載されている。また、ＰＱ非線形系リファレンス転写関数がＲｅｃ．ＩＴＵ－ＲＢＴ．２１００－１（０６／２０１７）、「Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」に記載されている。これを本願に援用する。

ある実施形態において、ＳＤＲ画像のビット深度は、８、９、１０＋ビットなどのうちの１つである。

ある実施形態において、ＳＤＲ画像は、出力ＳＤＲ映像信号を同じビット深度の入力ＳＤＲ映像信号において受信される。

ある実施形態において、ＳＤＲ画像は、出力ＳＤＲ映像信号とは異なるビット深度の入力ＳＤＲ映像信号において受信される。この出力ＳＤＲ映像信号は、ビット深度がスケーリングされたバージョンのＳＤＲ画像を含む。

ある実施形態において、ＳＤＲ画像は、映像プロフェッショナルの芸術的な意図に基づいて生成される。

ある実施形態において、画像プロセッシングデバイスは、ＳＤＲ画像から抽出された複数の特徴、および複数のＳＤＲ－ＥＤＲ画像対に基づいて訓練された複数の最適化された予測係数に基づいて、それぞれＳＤＲサンプルコードワードを、マッピングされたＥＤＲサンプルコードワードにマッピングする複数のサンプル点マッピングを生成すること、複数のサンプル点マッピングに基づいて、利用可能なＳＤＲコードワードの全範囲にわたって補間された逆方向再構成マッピングを生成すること、利用可能なＳＤＲコードワードの全範囲における各利用可能なＳＤＲコードワードを中心としたスライディングウィンドウを使用して、平均フィルタリングを補間された逆方向再構成マッピングに適用することによって、補間された逆方向再構成マッピングから逆方向再構成マッピングを生成することを行うようにさらに構成される。

ある実施形態において、フィルタリングされたＤＭメタデータは、スライディングウィンドウに基づいて平滑化フィルタによって平滑化された平均シーンに基づく輝度値を含む。スライディングウィンドウは、自動的に検出されたシーンカット情報において示されるシーンカットにわたって移動する。

図４Ｂは、本発明のある実施形態によるプロセスフロー例を示す。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたは構成要素（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）がこのプロセスフローを行い得る。ブロック４２２において、画像プロセッシングデバイス（例えば、符号化ブロック（１２０）など）がＳＤＲ画像およびコンポーザメタデータを用いて符号化されたスタンダードダイナミックレンジ（ＳＤＲ）映像信号を受信する。

ブロック４２４において、画像プロセッシングデバイスは、コンポーザメタデータを使用して、ＳＤＲ画像を、構成されたエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングする。コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定する。複数のＳＤＲ－ＥＤＲ画像対は、上記のＳＤＲ画像を含まない複数のＳＤＲ画像と、その複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む。

ブロック４２６において、画像プロセッシングデバイスは、ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいてＳＤＲ画像から構成された構成ＥＤＲ画像から導出される。

ある実施形態において、コンポーザメタデータは、ＳＤＲ画像とは別の画像メタデータとしてＳＤＲ映像信号において搬送される。

ある実施形態において、画像プロセッシングデバイスは、構成されたＥＤＲ画像に対して色空間変換を行うようにさらに構成される。

ある実施形態において、画像プロセッシングデバイスは、ＳＤＲ映像信号からディスプレイマネジメント（ＤＭ）メタデータを抽出すること、構成されたＥＤＲ画像からＥＤＲディスプレイ画像を生成することの一部として、構成されたＥＤＲ画像に対してＤＭ演算を適用することなどを行うようにさらに構成される。

図４Ｃは、本発明のある実施形態によるプロセスフロー例を例示する。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたは構成要素（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）がこのプロセスフローを行い得る。ブロック４４２において、画像プロセッシングデバイス（例えば、符号化ブロック（１２０）など）がハイブリッドログガンマ（ＨＬＧ）画像を受信する。

ブロック４４４において、画像プロセッシングデバイスは、ＨＬＧ画像をエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするためのコンポーザメタデータを生成する。コンポーザメタデータは、訓練データベースにおける複数のＨＬＧ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定する。複数のＨＬＧ－ＥＤＲ画像対は、上記のＨＬＧ画像を含まない複数のＨＬＧ画像と、その複数のＨＬＧ画像に対応する複数のＥＤＲ画像とを含む。ある実施形態において、逆方向再構成マッピングは、複数のＨＬＧ－ＥＤＲ画像対を用いて予測係数を訓練することによって得られた、最適化された予測係数値から生成される。

ブロック４４６において、画像プロセッシングデバイスは、出力ＨＬＧ映像信号において、ＨＬＧ画像およびコンポーザメタデータを符号化する。

ブロック４４８において、画像プロセッシングデバイスは、出力ＨＬＧ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいてＨＬＧ画像から構成された構成ＥＤＲ画像から導出される。

ある実施形態において、画像プロセッシングデバイスは、ＨＬＧ画像から抽出された複数の特徴、および複数のＨＬＧ－ＥＤＲ画像対に基づいて訓練された複数の最適化された予測係数に基づいて、それぞれＨＬＧサンプルコードワードを、マッピングされたＥＤＲサンプルコードワードにマッピングする複数のサンプル点マッピングを生成すること、複数のサンプル点マッピングに基づいて、利用可能なＨＬＧコードワードの全範囲にわたって補間された逆方向再構成マッピングを生成すること、利用可能なＨＬＧコードワードの全範囲における各利用可能なＨＬＧコードワードを中心としたスライディングウィンドウを使用して、平均フィルタリングを補間された逆方向再構成マッピングに適用することによって、補間された逆方向再構成マッピングから逆方向再構成マッピングを生成することなどを行うようにさらに構成される。

図４Ｄは、本発明のある実施形態によるプロセスフロー例を示す。いくつかの実施形態において、１つ以上のコンピューティングデバイスまたは構成要素（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュールなど）がこのプロセスフローを行い得る。ブロック４６２において、画像プロセッシングデバイス（例えば、符号化ブロック（１２０）など）がＨＬＧ画像およびコンポーザメタデータを用いて符号化されたハイブリッドログガンマ（ＨＬＧ）映像信号を受信する。

ブロック４６４において、画像プロセッシングデバイスは、コンポーザメタデータを使用して、ＨＬＧ画像を、構成されたエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングする。コンポーザメタデータは、訓練データベースにおける複数のＨＬＧ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定する。複数のＨＬＧ－ＥＤＲ画像対は、上記のＨＬＧ画像を含まない複数のＨＬＧ画像と、その複数のＨＬＧ画像に対応する複数のＥＤＲ画像とを含む。

ブロック４６６において、画像プロセッシングデバイスは、ＨＬＧ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させる。ＥＤＲディスプレイ画像は、コンポーザメタデータに基づいてＨＬＧ画像から構成された構成ＥＤＲ画像から導出される。

ある実施形態において、ディスプレイデバイス、モバイルデバイス、セットトップボックス、マルチメディアデバイスなどのあるコンピューティングデバイスは、上記方法のいずれかを行うように構成される。ある実施形態において、ある装置は、プロセッサを含み、上記方法のいずれかを行うように構成される。ある実施形態において、ある非一時的なコンピュータ読み取り可能な記憶媒体は、ソフトウェア命令を記憶する。ソフトウェア命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

ある実施形態において、あるコンピューティングデバイスは、１つ以上のプロセッサおよび１セットの命令を含む１つ以上の記憶媒体を備える。１セットの命令は、１つ以上のプロセッサによって実行される際に、上記方法のいずれかを行わせる。

なお、別々の実施形態を本明細書において記載するが、本明細書に記載の実施形態および／または部分的な実施形態の任意の組み合わせが更なる実施形態を形成し得る。

［コンピュータシステムの実装例］
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧ
Ａ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のエンハンストダイナミックレンジを有する画像の適応型知覚的量子化に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の適応型知覚的量子化プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のＨＤＲ画像の適応型知覚的量子化に関する方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の例示の実施形態に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

一実施形態によると、本明細書に記載の技術は、１つ以上の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、上記技術を行うようにハードワイヤードであってもよいし、または上記技術を行うように永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよし、またはファームウェア、メモリ、他の記憶体、またはそれらの組み合わせにおけるプログラム命令にしたがって上記技術を行うようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含んでもよい。また、そのような専用コンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて上記技術を達成し得る。専用コンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯デバイス、ネットワーキングデバイス、またはハードワイヤードおよび／もしくはプログラムロジックを含んで上記技術を実装する任意の他のデバイスであり得る。

例えば、図５は、本発明のある実施形態が実装され得るコンピュータシステム５００を例示するブロック図である。コンピュータシステム５００は、バス５０２または情報を送受信するための他の通信機構と、バス５０２に接続された、情報を処理するためのハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであり得る。

また、コンピュータシステム５００は、バス５０２に接続された、情報およびプロセッサ５０４によって実行されることになる命令を記憶するためのランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶デバイスなどのメインメモリ５０６を含む。また、メインメモリ５０６は、プロセッサ５０４によって実行されることになる命令の実行中の一時的変数または他の中間情報を記憶するために使用され得る。そのような命令は、プロセッサ５０４がアクセス可能な非一時的な記憶媒体に記憶される場合は、コンピュータシステム５００を、命令において特定される動作を行うようにカスタマイズされた専用マシンにする。

コンピュータシステム５００は、バス５０２に接続された、静的情報およびプロセッサ５０４のための命令を記憶するための読み取り専用メモリ（ＲＯＭ）５０８または他の静的記憶デバイスをさらに含む。情報および命令を記憶するために、磁気ディスクまたは光学ディスクなどの記憶デバイス５１０が提供され、バス５０２に接続される。

コンピュータシステム５００は、情報をコンピュータユーザに対して表示するための液晶ディスプレイなどのディスプレイ５１２にバス５０２を介して接続され得る。プロセッサ５０４に情報およびコマンド選択を送受信するために、英数字キーまたは他のキーを含む入力デバイス５１４がバス５０２に接続される。プロセッサ５０４に方向情報およびコマンド選択を送受信するための、およびディスプレイ５１２上のカーソル移動を制御するための他の種類のユーザ入力デバイスは、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイスは、典型的には２つの軸（第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ））における２つの自由度を有する。これにより、そのデバイスは、平面において位置を特定できる。

コンピュータシステム５００は、コンピュータシステムと組み合わされてコンピュータシステム５００を専用マシンにするか、またはプログラムする、ハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、上記技術を実装し得る。一実施形態によると、本明細書に記載される技術は、メインメモリ５０６に含まれる１つ以上のシーケンスの１つ以上の命令をプロセッサ５０４が実行することに応答して、コンピュータシステム５００によって行われる。そのような命令は、記憶デバイス５１０などの別の記憶媒体からメインメモリ５０６に読み込まれ得る。メインメモリ５０６に含まれる命令シーケンスを実行することによって、プロセッサ５０４は、本明細書に記載のプロセスステップを行う。別の実施形態において、ハードワイヤードな回路をソフトウェア命令の代わりに、またはそれに組み合わせて使用し得る。

本明細書で使用する「記憶媒体」という用語は、マシンを特定のやり方で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。非揮発性媒体は、例えば、記憶デバイス５１０などの光学または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６などのダイナミックメモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

記憶媒体は、伝送媒体とは異なるが、それと併せて使用され得る。伝送媒体は、情報を記憶媒体間で転送することに関与する。例えば、伝送媒体は、同軸ケーブル、銅ワイヤ、および光ファイバを含み、バス５０２を備えるワイヤを含む。また、伝送媒体は、電波データ通信および赤外データ通信中に生成される音波または光波などの音波または光波の形態をとり得る。

種々の形態の媒体が１つ以上のシーケンスの１つ以上の命令を実行のためのプロセッサ５０４に搬送することに関与し得る。例えば、命令は、最初は遠隔のコンピュータの磁気ディスクまたはソリッドステートドライブ上に担持され得る。遠隔コンピュータは、命令をそのダイナミックメモリにロードしたり、命令をモデムを使用して電話回線を介して送信し得る。コンピュータシステム５００に対してローカルなモデムは、電話回線上でデータを受信し、赤外送信機を使用してデータを赤外信号に変換し得る。赤外検出器が赤外信号において搬送されるデータを受信し得る。そして、適切な回路がデータをバス５０２上に配置し得る。バス５０２は、データをメインメモリ５０６に搬送する。プロセッサ５０４は、メインメモリ５０６から命令を取り込んで、実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４による実行の前または後のいずれかに、必要に応じて記憶デバイス５１０上に記憶され得る。

また、コンピュータシステム５００は、バス５０２に接続された通信インタフェース５１８を含む。通信インタフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０に接続する双方向データ通信を提供する。例えば、通信インタフェース５１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応する種類の電話回線に与えるためのモデムであり得る。別の例として、通信インタフェース５１８は、データ通信接続を互換性のあるＬＡＮに与えるためのローカルエリア ネットワーク（ＬＡＮ）カードであり得る。また、無線リンクが実装され得る。任意のそのような実装において、通信インタフェース５１８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気、電磁または光学信号を送信および受信する。

ネットワークリンク５２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに与える。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介してホストコンピュータ５２４、またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって操作されるデータ設備に接続を与え得る。次いで、ＩＳＰ５２６は、データ通信サービスを、現在一般的に「インターネット」と呼ばれるワールドワイドパケットデータ通信ネットワーク５２８を介して提供する。ローカルネットワーク５２２およびインターネット５２８の両方は、 デジタルデータストリームを搬送する電気、電磁、または光学信号を使用する。コンピュータシステム５００へおよびからデジタルデータを搬送する、種々のネットワークを介する信号ならびにネットワークリンク５２０上のおよび通信インタフェース５１８を介した信号は、伝送媒体の形態例である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、および通信インタフェース５１８を介して、メッセージを送信し、プログラムコードなどのデータを受信し得る。インターネット例において、サーバ５３０は、アプリケーションプログラムについてのリクエストされたコードをインターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、および通信インタフェース５１８を介して送信し得る。

受信されたコードは、受信されるとプロセッサ５０４によって実行され得るか、および／または後で実行するために、記憶デバイス５１０または他の不揮発性記憶体に記憶され得る。

［均等物、拡張物、代替物、その他］
この明細書中において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

本発明の様々な局面は、以下の列挙された例示の実施形態（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）から理解され得る。
ＥＥＥ１．
スタンダードダイナミックレンジ（ＳＤＲ）画像を受信するステップと、
前記ＳＤＲ画像をエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするためのコンポーザメタデータを生成するステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定し、前記複数のＳＤＲ－ＥＤＲ画像対は、前記ＳＤＲ画像を含まない複数のＳＤＲ画像と、前記複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
前記ＳＤＲ画像および前記コンポーザメタデータを出力ＳＤＲ映像信号において符号化するステップと、
前記出力ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させるステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＳＤＲ画像から構成された構成ＥＤＲ画像から導出される、ステップと、
を含む方法。

ＥＥＥ２．
前記ＳＤＲ画像は、前記出力ＳＤＲ映像信号において符号化されている１シーケンスのＳＤＲ画像である、
ＥＥＥ１の方法。

ＥＥＥ３．
前記コンポーザメタデータは、前記構成ＥＤＲ画像が生成されたコンポジション色空間、または前記構成ＥＤＲ画像用のリファレンスＥＤＲディスプレイによってサポートされるピーク輝度値のうちの１つ以上に基づいて選択された逆方向再構成関数を特定する、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ４．
前記ＳＤＲ画像から複数の画像関連特徴を抽出するステップと、
前記複数の画像関連特徴、および前記複数のＳＤＲ－ＥＤＲ画像対を使用して生成された複数の最適化された重み値に基づいて、前記逆方向再構成マッピングを特定する１セットのパラメータを生成するステップと、
をさらに含む、先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ５．
複数の最適化された重み値は、前記複数のＳＤＲ－ＥＤＲ画像対を使用して、一般線形モデルにおいて生成される、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ６．
前記複数の画像関連特徴は、前記ＳＤＲ画像におけるＳＤＲルマコードワードから計算される１セットのルマ統計値に関連する特徴、前記ＳＤＲ画像における前記ＳＤＲルマコードワードの分布に関連する特徴、または前記ＳＤＲ画像における前記ＳＤＲルマコードワードの前記分布に対応するクロマ値に関連する特徴のうちの１つ以上を含む、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ７．
ＳＤＲコードワード空間にわたって分布する１セットのＳＤＲコードワードについての１セットの推定されたＥＤＲコードワードを生成するステップと、
前記１セットの推定されたＥＤＲコードワードに基づいて、補間された逆方向再構成マッピングを生成するステップと、
前記補間された逆方向再構成マッピングを、前記出力ＳＤＲ映像信号において符号化される前記再構成関数に変更するステップであって、前記逆方向再構成関数は、単調非低減条件を満たす、ステップと、
をさらに含むＥＥＥ４に記載の方法。

ＥＥＥ８．
前記逆方向再構成関数を移動ＳＤＲコードワードウィンドウにわたって平滑化するステップ、
をさらに含むＥＥＥ７に記載の方法。

ＥＥＥ９．
前記逆方向再構成マッピングは、逆方向再構成曲線、逆方向再構成関数、パラメータ化マッピング関数、逆方向ルックアップテーブル（ＢＬＵＴ）、１セットの近似多項式区分、または行列に基づくマッピングのうちの１つを表す、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ１０．
前記出力ＳＤＲ映像信号は、ディスプレイマネジメント（ＤＭ）メタデータを用いてさらに符号化され、前記ディスプレイマネジメント（ＤＭ）メタデータは、前記受信機によって、リファレンスＥＤＲディスプレイ用に最適化された前記構成ＥＤＲ画像に対してＤＭ演算を行うために使用され、前記ＥＤＲディスプレイ用に最適化された前記ＥＤＲディスプレイ画像を生成することになる、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ１１．
前記方法は、映像エンコーダによって行われ、前記ＤＭメタデータは、ＤＭ色空間について、コンポジション色空間において構成されたＥＤＲコードワードを使用する近似に基づいて、前記映像エンコーダによって生成される、
ＥＥＥ１０に記載の方法。

ＥＥＥ１２．
前記方法は、映像エンコーダによって行われ、前記ＤＭメタデータは、ＤＭ色空間について、前記ＤＭ色空間について生成されたＥＤＲコードワードに基づいて、前記映像エンコーダによって生成される、
ＥＥＥ１０に記載の方法。

ＥＥＥ１３．
前記方法は、映像エンコーダによって行われ、前記ＤＭメタデータは、ＤＭ色空間について、前記ＳＤＲ画像におけるＳＤＲコードワードの分布から導出されたマッピング統計値に基づいて、前記映像エンコーダによって生成される、
ＥＥＥ１０に記載の方法。

ＥＥＥ１４．
前記ＤＭメタデータは、フレームレベルのＤＭメタデータ、シーンレベルのＤＭメタデータ、マルチシーンレベルのＤＭメタデータ、手動シーンカット情報に少なくとも部分的に基づいて生成されるＤＭメタデータ、自動的に検出されたシーンカット情報に少なくとも部分的に基づいて生成されるＤＭメタデータ、またはスライディングウィンドウを用いて生成される、フィルタリングされたＤＭメタデータのうちの１つ以上を含む、
ＥＥＥ１０～１３のいずれかに記載の方法。

ＥＥＥ１５．
前記フィルタリングされたＤＭメタデータは、前記スライディングウィンドウに基づいて平滑化フィルタによって平滑化された平均シーンに基づく輝度値を含み、前記スライディングウィンドウは、前記自動的に検出されたシーンカット情報において示されるシーンカットにわたって移動する、
ＥＥＥ１４に記載の方法。

ＥＥＥ１６．
前記ＳＤＲ画像、前記構成ＥＤＲ画像、または前記ＥＤＲディスプレイ画像のうちの少なくとも１つは、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間のうちの１つにおいて表される、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ１７．
前記ＳＤＲ画像のビット深度は、８、９、または１０＋ビットうちの１つである、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ１８．
前記ＳＤＲ画像は、前記出力ＳＤＲ映像信号を同じビット深度の入力ＳＤＲ映像信号において受信される、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ１９．
前記ＳＤＲ画像は、前記出力ＳＤＲ映像信号とは異なるビット深度の入力ＳＤＲ映像信号において受信され、前記出力ＳＤＲ映像信号は、ビット深度がスケーリングされたバージョンの前記ＳＤＲ画像を含む、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ２０．
前記ＳＤＲ画像は、映像プロフェッショナルの芸術的な意図に基づいて生成される、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ２１．
前記逆方向再構成マッピングは、前記複数のＳＤＲ－ＥＤＲ画像対を用いて予測係数を訓練することによって得られた、最適化された予測係数値から生成される、
先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ２２．
前記ＳＤＲ画像から抽出された複数の特徴、および前記複数のＳＤＲ－ＥＤＲ画像対に基づいて訓練された複数の最適化された予測係数に基づいて、それぞれＳＤＲサンプルコードワードを、マッピングされたＥＤＲサンプルコードワードにマッピングする複数のサンプル点マッピングを生成するステップと、
前記複数のサンプル点マッピングに基づいて、利用可能なＳＤＲコードワードの全範囲にわたって補間された逆方向再構成マッピングを生成するステップと、
前記利用可能なＳＤＲコードワードの全範囲における各利用可能なＳＤＲコードワードを中心としたスライディングウィンドウを使用して、平均フィルタリングを前記補間された逆方向再構成マッピングに適用することによって、前記補間された逆方向再構成マッピングから前記逆方向再構成マッピングを生成するステップと、
をさらに含む、先行するＥＥＥのいずれかに記載の方法。

ＥＥＥ２３．
ＳＤＲ画像およびコンポーザメタデータを用いて符号化されたスタンダードダイナミックレンジ（ＳＤＲ）映像信号を受信するステップと、
前記コンポーザメタデータを使用して、前記ＳＤＲ画像を、構成されたエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定し、前記複数のＳＤＲ－ＥＤＲ画像対は、前記ＳＤＲ画像を含まない複数のＳＤＲ画像と、前記複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
前記ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させるステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＳＤＲ画像から構成された前記構成ＥＤＲ画像から導出される、ステップと、
を含む方法。

ＥＥＥ２４．
前記コンポーザメタデータは、前記ＳＤＲ画像とは別の画像メタデータとして前記ＳＤＲ映像信号において搬送される、
ＥＥＥ２３に記載の方法。

ＥＥＥ２５．
前記構成ＥＤＲ画像に対して色空間変換を行うステップ、
をさらに含む、ＥＥＥ２３またはＥＥＥ２４に記載の方法。

ＥＥＥ２６．
前記ＳＤＲ映像信号からディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
前記構成ＥＤＲ画像から前記ＥＤＲディスプレイ画像を生成するステップの一部として、前記構成ＥＤＲ画像に対してＤＭ演算を適用するステップと、
をさらに含む、ＥＥＥ２３～２５のいずれかに記載の方法。

ＥＥＥ２７．
ハイブリッドログガンマ（ＨＬＧ）画像を受信するステップと、
前記ＨＬＧ画像をエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするためのコンポーザメタデータを生成するステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＨＬＧ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定し、前記複数のＨＬＧ－ＥＤＲ画像対は、前記ＨＬＧ画像を含まない複数のＨＬＧ画像と、前記複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
前記ＨＬＧ画像および前記コンポーザメタデータを出力ＨＬＧ映像信号において符号化するステップと、
前記出力ＨＬＧ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させるステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＨＬＧ画像から構成された構成ＥＤＲ画像から導出される、ステップと、
を含む方法。

ＥＥＥ２８．
前記ＨＬＧ画像から抽出された複数の特徴、および前記複数のＨＬＧ－ＥＤＲ画像対に基づいて訓練された複数の最適化された予測係数に基づいて、それぞれＨＬＧサンプルコードワードを、マッピングされたＥＤＲサンプルコードワードにマッピングする複数のサンプル点マッピングを生成するステップと、
前記複数のサンプル点マッピングに基づいて、利用可能なＨＬＧコードワードの全範囲にわたって補間された逆方向再構成マッピングを生成するステップと、
利用可能なＨＬＧコードワードの全範囲における各利用可能なＨＬＧコードワードを中心としたスライディングウィンドウを使用して、平均フィルタリングを前記補間された逆方向再構成マッピングに適用することによって、前記補間された逆方向再構成マッピングから前記逆方向再構成マッピングを生成するステップと、
をさらに含む、ＥＥＥ２７に記載の方法。

ＥＥＥ２９．
ハイブリッドログガンマ（ＨＬＧ）画像およびコンポーザメタデータを用いて符号化されたＨＬＧ映像信号を受信するステップと、
前記コンポーザメタデータを使用して、前記ＨＬＧ画像を、構成されたエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＨＬＧ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定し、前記複数のＨＬＧ－ＥＤＲ画像対は、前記ＨＬＧ画像を含まない複数のＨＬＧ画像と、前記複数のＨＬＧ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
前記ＨＬＧ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させるステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＨＬＧ画像から構成された前記構成ＥＤＲ画像から導出される、ステップと、
を含む方法。

ＥＥＥ３０．
ＥＥＥ１～２９にいずれかに記載の方法を行うように構成されたコンピュータシステム。

ＥＥＥ３１．
プロセッサを備え、ＥＥＥ１～２９のいずれかに記載の方法を行うように構成されたコンピュータシステム。

ＥＥＥ３２．
ＥＥＥ１～２９のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を記憶した、非一時的なコンピュータ読み取り可能な記憶媒体。

Claims (13)

1. スタンダードダイナミックレンジ（ＳＤＲ）画像を受信するステップと、
   前記ＳＤＲ画像をエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするためのコンポーザメタデータを生成するステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から生成された逆方向再構成マッピングを特定し、前記複数のＳＤＲ－ＥＤＲ画像対は、前記ＳＤＲ画像を含まない複数のＳＤＲ画像と、前記複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
   前記ＳＤＲ画像および前記コンポーザメタデータを出力ＳＤＲ映像信号において符号化するステップと、
   前記出力ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイがＥＤＲディスプレイ画像を描画できるように前記ＳＤＲ映像信号を出力するステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＳＤＲ画像から構成された構成ＥＤＲ画像から導出される、ステップと、
   を含む方法であって、
   前記コンポーザメタデータを生成するステップは、
   前記ＳＤＲ画像から複数の画像関連特徴を抽出するステップであって、前記複数の画像関連特徴は、前記ＳＤＲ画像におけるＳＤＲルマコードワードから計算された１セットのルマ統計値に関連する特徴、前記ＳＤＲ画像における前記ＳＤＲルマコードワードの分布に関連する特徴、または前記ＳＤＲ画像における前記ＳＤＲルマコードワードの分布に対応するクロマ値に関連する特徴のうちの１つ以上を含む、ステップと、
   前記複数の画像関連特徴および前記複数のＳＤＲ－ＥＤＲ画像対を用いて予測係数を訓練することによって得られた複数の予測係数に基づいて、前記逆方向再構成マッピングを特定する１セットのパラメータを含む前記コンポーザメタデータを生成するステップと、
   をさらに含む方法。
2. 前記逆方向再構成マッピングは、前記構成ＥＤＲ画像が生成されたコンポジション色空間、または前記構成ＥＤＲ画像用のリファレンスＥＤＲディスプレイによってサポートされるピーク輝度値のうちの１つ以上に基づいて選択された逆方向再構成関数を表す、
   請求項１に記載の方法。
3. 前記逆方向再構成マッピングは、逆方向再構成曲線、逆方向再構成関数、パラメータ化マッピング関数、逆方向ルックアップテーブル（ＢＬＵＴ）、１セットの近似多項式区分、または行列に基づくマッピングのうちの１つを表す、
   請求項１または２に記載の方法。
4. 前記出力ＳＤＲ映像信号は、ディスプレイマネジメント（ＤＭ）メタデータを含むように符号化され、前記ディスプレイマネジメント（ＤＭ）メタデータは、前記受信機によって、リファレンスＥＤＲディスプレイ用に最適化された前記構成ＥＤＲ画像に対してＤＭ演算を行うために使用され、前記ＥＤＲディスプレイ用に最適化された前記ＥＤＲディスプレイ画像が生成される、
   請求項１から３のいずれかに記載の方法。
5. 前記ＳＤＲ画像、前記構成ＥＤＲ画像、または前記ＥＤＲディスプレイ画像のうちの少なくとも１つは、ＩＰＴ ＰＱ色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ＨＬＧ色空間、またはスタンダードダイナミックレンジ（ＳＤＲ）色空間のうちの１つにおいて表される、
   請求項１から４のいずれかに記載の方法。
6. 前記ＳＤＲ画像から抽出された複数の画像関連特徴、および前記複数のＳＤＲ－ＥＤＲ画像対に基づいて訓練された複数の予測係数に基づいて、それぞれＳＤＲサンプルコードワードを、マッピングされたＥＤＲサンプルコードワードにマッピングする複数のサンプル点マッピングを生成するステップと、
   前記複数のサンプル点マッピングに基づいて、利用可能なＳＤＲコードワードの全範囲にわたって補間された逆方向再構成マッピングを生成するステップと、
   前記利用可能なＳＤＲコードワードの全範囲における各利用可能なＳＤＲコードワードを中心としたスライディングウィンドウを使用して、平均フィルタリングを前記補間された逆方向再構成マッピングに適用することによって、前記補間された逆方向再構成マッピングから前記逆方向再構成マッピングを生成するステップと、
   をさらに含む、請求項１から５のいずれかに記載の方法。
7. ＳＤＲ画像およびコンポーザメタデータを用いて符号化されたスタンダードダイナミックレンジ（ＳＤＲ）映像信号を受信するステップと、
   前記コンポーザメタデータを使用して、前記ＳＤＲ画像を、構成されたエンハンストダイナミックレンジ（ＥＤＲ）画像にマッピングするステップであって、前記コンポーザメタデータは、訓練データベースにおける複数のＳＤＲ－ＥＤＲ画像対から映像エンコーダによって生成された逆方向再構成マッピングを特定し、前記複数のＳＤＲ－ＥＤＲ画像対は、前記ＳＤＲ画像を含まない複数のＳＤＲ画像と、前記複数のＳＤＲ画像に対応する複数のＥＤＲ画像とを含む、ステップと、
   前記ＳＤＲ映像信号の受信機とともに動作するＥＤＲディスプレイにＥＤＲディスプレイ画像を描画させるステップであって、前記ＥＤＲディスプレイ画像は、前記コンポーザメタデータに基づいて前記ＳＤＲ画像から構成された前記構成ＥＤＲ画像から導出される、ステップと、
   を含み、
   前記コンポーザメタデータは、１セットのパラメータを含み、
   前記逆方向再構成マッピングは、前記複数のＳＤＲ－ＥＤＲ画像対および前記ＳＤＲ画像から抽出された複数の画像関連特徴を用いて予測係数を訓練することによって得られた複数の予測係数に基づいて生成された前記１セットのパラメータによって特定され、
   前記複数の画像関連特徴は、前記ＳＤＲ画像におけるＳＤＲルマコードワードから計算された１セットのルマ統計値に関連する特徴、前記ＳＤＲ画像における前記ＳＤＲルマコードワードの分布に関連する特徴、または前記ＳＤＲ画像における前記ＳＤＲルマコードワードの分布に対応するクロマ値に関連する特徴のうちの１つ以上を含む、
   方法。
8. 前記コンポーザメタデータは、前記ＳＤＲ画像とは別の画像メタデータとして前記ＳＤＲ映像信号において搬送される、
   請求項７に記載の方法。
9. 前記構成ＥＤＲ画像に対して色空間変換を行うステップ
   をさらに含む、請求項７または８に記載の方法。
10. 前記ＳＤＲ映像信号からディスプレイマネジメント（ＤＭ）メタデータを抽出するステップと、
    前記構成ＥＤＲ画像から前記ＥＤＲディスプレイ画像を生成するステップの一部として、前記構成ＥＤＲ画像に対してＤＭ演算を適用するステップと、
    をさらに含む、請求項７から９のいずれかに記載の方法。
11. 請求項１から１０のいずれかに記載の方法を行うように構成されたコンピュータシステム。
12. プロセッサを備え、請求項１から１０のいずれかに記載の方法を行うように構成された装置。
13. 請求項１から１０のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を含むコンピュータプログラム。

Images