JP7299982B2 - 拡張標準ダイナミックレンジビデオ（ｓｄｒ＋）における機械学習ベースのダイナミックコンポージング - Google Patents

Description

関連出願の相互参照
本出願は、２０１８年１２月１８日に出願された米国特許出願第６２／７８１，１８５号および２０１８年１２月１８日に出願された欧州優先権出願第１８２１３６７０．５号の優先権を主張するものであり、そのすべての内容が参照により本明細書に組み込まれている。

本発明は、一般に画像に関する。より詳細には、本発明の一実施形態が標準ダイナミックレンジ（ＳＤＲ）プラス拡張標準ダイナミックレンジ（ＳＤＲ＋）ビデオコンテンツにおける機械学習（ＭＬ）ベースのダイナミックコンポージングに関する。

本明細書で使用されるように、用語「ダイナミックレンジ」（ＤＲ）は、例えば、最も暗い黒（ダーク）から最も明るい白（ハイライト）までの、画像内の強度（例えば、輝度、ルマ）の範囲を知覚する人間の視覚系（ＨＶＳ）の能力に関連し得る。この意味で、ＤＲは「シーンリファード」強度に関連する。ＤＲは、特定の幅の強度範囲を適切にまたは概ねレンダリングするディスプレイデバイスの能力にも関係し得る。この意味で、ＤＲは「ディスプレイ参照」強度に関連する。本明細書の説明の任意の時点で特定の意味を有するように明示的に指定されていない限り、用語はいずれの意味でも、例えば、互換的に使用され得ることが推測されるべきである。

本明細書で使用されるように、高ダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚系（ＨＶＳ）の１４～１５桁にわたるＤＲ幅に関する。実際には、人間が強度範囲の広い幅を同時に知覚することができるＤＲは、ＨＤＲに関していくらか切り捨てることができる。本明細書で使用されるように、拡張ダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、眼球運動を含む人間の視覚システム（ＨＶＳ）によってシーンまたは画像内で知覚可能なＤＲに個別にまたは互換的に関連し、シーンまたは画像にわたるいくつかの光適応変化を可能にすることができる。本明細書で使用されるように、ＥＤＲは、５桁から６桁にわたるＤＲに関連し得る。したがって、ＨＤＲを参照した真のシーンに比べておそらくいくらか狭いが、それにもかかわらず、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。

実際には、画像が色空間の１つ以上の色成分（例えば、ルマＹおよびクロマＣｂおよびＣｒ）を含み、各色成分は、画素当たりｎビットの精度（例えば、ｎ＝８）によって表される。線形輝度符号化（例えば、ガンマ符号化）を使用すると、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は標準ダイナミックレンジの画像と考えられ、ｎ＞８の画像は強化されたダイナミックレンジの画像と考えられる。

所与のディスプレイに対する基準電気光学伝達関数（ＥＯＴＦ）は、ディスプレイによって生成される出力スクリーン色値（例えば、スクリーン輝度）に対する入力ビデオ信号の色値（例えば、輝度）間の関係を特徴付ける。たとえば、ＩＴＵ Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．１８８６「ＨＤＴＶスタジオ生産で使用されるフラットパネルディスプレイのための基準電気光学伝達関数」（２０１１年３月）は、その全体が参照により本明細書に組み込まれ、フラットパネルディスプレイのための基準ＥＯＴＦを定義する。ビデオストリームが与えられると、そのＥＯＴＦに関する情報は（画像）メタデータとしてビットストリームに埋め込まれてもよい。本明細書の「メタデータ」という用語は、符号化されたビットストリームの一部として送信される任意の補助情報に関連し、復号された画像をレンダリングするためにデコーダを支援する。そのようなメタデータは、本明細書で説明するように、色空間または色域情報、基準ディスプレイパラメータ、および補助信号パラメータを含むことができるが、これらに限定されない。

本明細書で使用される用語「ＰＱ」は、知覚的輝度振幅量子化を指す。人間の視覚系は、増加する光レベルに非常に非線形な方法で反応する。刺激を見る人間の能力は、その刺激の輝度、刺激の大きさ、刺激を構成する空間周波数、および眼が刺激を見ている特定の瞬間に適応した輝度レベルによって影響を受ける。いくつかの実施形態では、知覚量子化機能が人間の視覚系におけるコントラスト感度閾値により良く一致する出力グレーレベルに、線形入力グレーレベルをマッピングする。例示的なＰＱマッピング関数は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」（以下、「ＳＭＰＴＥ」）に記載されており、これは、その全体が参照により本明細書に組み込まれ、ここで、すべての輝度レベル（例えば、刺激レベルなど）について、固定刺激サイズが与えられると、その輝度レベルにおける最小可視コントラストステップが最も感度の高い適応レベルおよび最も感度の高い空間周波数（ＨＶＳモデルによる）に従って選択される。

２００～１，０００ｃｄ／ｍ^２またはニトの輝度をサポートするディスプレイは、ＥＤＲ（またはＨＤＲ）に関して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、より低いダイナミックレンジ（ＬＤＲ）を代表する。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば、１，０００ニトから５，０００ニト以上）をサポートするＥＤＲディスプレイ上に表示されてもよい。そのようなディスプレイは、高輝度能力（例えば、０から１万またはそれ以上のニト）をサポートする代替ＥＯＴＦを使用して定義され得る。このようなＥＯＴＦの例は、ＳＭＰＴＥで定義されている。本明細書の発明者らによって理解されるように、多種多様なＳＤＲおよびＨＤＲディスプレイデバイスの表示能力をサポートするために使用され得る、ビデオコンテンツデータを構成するための改善された技法が所望される。

このセクションで説明されるアプローチは追求されることができるアプローチであるが、必ずしも、以前に考えられたまたは追求されたアプローチではない。したがって、特に断らない限り、このセクションに記載されているアプローチのいずれも、単にこのセクションに含まれているために先行技術として適格であると仮定すべきではない。同様に、１つ以上のアプローチに関して特定された問題は特に断らない限り、このセクションに基づいていかなる先行技術においても認識されていると推測すべきではない。

本発明の実施形態は限定ではなく例として、添付の図面の図に示されており、同様の参照番号は同様の要素を指す。
図１は、ビデオ配信パイプラインの例示的なプロセスを示す。 図２ＡはＳＤＲルマおよびクロマコードワードからのＨＤＲルマおよびクロマコードワードの例示的な予測／推定を示す。 図２Ｂはガウス過程回帰（ＧＰＲ）モデルをトレーニングするための例示的なプロセスを示す。 図２ＣはＧＰＲモデルから後方ルックアップテーブル（ＢＬＵＴ）を生成するための例示的なプロセスを示す。 図２Ｄはクラスタ固有の多変量多重回帰（ＭＭＲ）行列をトレーニングするための例示的なプロセスを示す。 図２ＥはＭＭＲ行列からＭＭＲ係数を生成するための例示的なプロセスを示す。 図２Ｆはエンコーダを用いた例示的なスタイル転送を示す。 図２Ｇはエンコーダを用いた例示的なスタイル転送を示す。 図２Ｈは、デコーダを用いた例示的なスタイル転送を示す。 図３Ａは後方再整形曲線（またはＢＬＵＴ）の予測されたエントリ（またはサンプル）を示す。 図３Ｂは特徴ベクトル空間における特徴ベクトルの例示的なクラスタを示す。 図３Ｃは例示的なクラスタ融合を示す。 図３Ｄは、例示的な結合されたルマ－クロマ１Ｄヒストグラムを示す。 図４Ａは、例示的なプロセスフローを示す。 図４Ｂは、例示的なプロセスフローを示す。 図５は、本明細書で説明されるコンピュータまたはコンピューティングデバイスが実装され得る例示的なハードウェアプラットフォームの簡略化されたブロック図を示す。

ＳＤＲプラス（ＳＤＲ＋）とも呼ばれる拡張標準ダイナミックレンジにおける機械学習ベースのダイナミックコンポージング、ビデオコンテンツについて、本明細書で説明する。以下の説明において、説明の目的のために、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本発明は、これらの特定の詳細なしに実施できることは明らかであろう。他の例では、本発明を不必要に閉塞し、不明瞭にし、または難読化することを回避するために、周知の構造およびデバイスは網羅的な詳細では説明されない。

概要
本明細書で説明する例示的な実施形態は、機械学習による画像メタデータ生成／最適化に関する。複数のトレーニングＳＤＲ画像および複数の対応するトレーニングＨＤＲ画像を含む複数のトレーニング画像ペアが受信される。複数のトレーニング画像ペアにおける各トレーニング画像ペアは、複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像と、複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像とを含む。トレーニングＳＤＲ画像とそのような各トレーニング画像ペアにおける対応するトレーニングＨＤＲ画像は、同じ視覚コンテンツを描写するが、異なる輝度ダイナミックレンジを持つ。複数のトレーニング画像特徴ベクトルは、複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から抽出される。複数のトレーニング画像特徴ベクトル内のトレーニング画像特徴ベクトルは、複数のトレーニング画像ペアのそれぞれのトレーニング画像ペアのトレーニングＳＤＲ画像から抽出される。複数の対応するトレーニングＨＤＲ画像を用いて導出された複数のトレーニング画像特徴ベクトルおよびグラウンドトゥルースは、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの動作パラメータ値を予測するために、１つまたは複数の後方再整形メタデータ予測モデルをトレーニングするために使用される。

本明細書で説明する例示的な実施形態は、機械学習による画像メタデータ生成／最適化に関する。対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像は、ビデオ信号から復号される。機械学習によって少なくとも部分的に生成されたダイナミックコンポーザメタデータは、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を導出するために使用され、ビデオ信号から復号される。画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される。マッピングされたＨＤＲ画像から導出された表示画像は、ディスプレイデバイスによってレンダリングされる。

ビデオ配信処理パイプラインの例
図１は、ビデオキャプチャ／生成からＨＤＲまたはＳＤＲディスプレイまでの様々なフェーズを示すビデオ配信パイプライン（１００）の例示的なプロセスを示す。例示的なＨＤＲディスプレイにはテレビ、モバイルデバイス、ホームシアター等と関連して動作する画像ディスプレイが含まれてもよいが、これらに限定されない。例示的なＳＤＲディスプレイにはＳＤＲテレビ、モバイルデバイス、ホームシアターディスプレイ、ヘッドマウントディスプレイデバイス、ウェアラブルディスプレイデバイスなどが含まれてもよいが、これらに限定されない。

ビデオフレーム（１０２）は、画像生成ブロック（１０５）を使用してキャプチャされるか、または生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、（例えば、デジタルカメラによって）デジタル的にキャプチャされるか、または（例えば、コンピュータアニメーションなどを使用して）コンピュータによって生成され得る。追加的、任意選択的、または代替的に、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上に取り込まれてもよい。フィルムは、ビデオデータを提供するためにデジタルフォーマットに変換される（１０７）。いくつかの実施形態では、ビデオデータ（１０７）は、ビデオ配信パイプライン（１００）内の次の処理ステージ／フェーズに渡される前に、（例えば、人間の入力を伴わずに自動的に、手動で、人間の入力を伴って自動的に）一連の画像に編集または変換されてもよい。

ビデオデータ（１０７）は、ＳＤＲコンテンツ（例えば、ＳＤＲ＋コンテンツ）と、ビデオ配信パイプライン（１００）の下流にある受信者デバイスによって使用されて、ＳＤＲビデオコンテンツの復号されたバージョンに対して画像処理動作を実行することができる画像メタデータとを含み得る。

ＳＤＲビデオコンテンツの例としては、ＳＤＲ＋ビデオコンテンツ、ＳＤＲ画像、ＳＤＲムービーリリース、ＳＤＲ＋画像、ＳＤＲメディアプログラムなどがあるが、これらに限定されない。

本明細書で使用されるように、用語「ＳＤＲ＋」はＳＤＲ画像データとメタデータとの組み合わせを意味し、これらは、組み合わされると、対応する高ダイナミックレンジ（ＨＤＲ）画像データを生成することを可能にする。ＳＤＲ＋画像メタデータは、入力ＳＤＲ画像に適用されたときに対応するＨＤＲ画像を生成する後方再整形マッピング（例えば、後方再整形関数／曲線／多項式集合、多変量多重回帰（ＭＭＲ）係数など）を生成するためのコンポーザデータを含むことができる。ＳＤＲ＋画像を使用すると、ＳＤＲ＋画像メタデータを無視して単にＳＤＲ画像を表示できる従来のＳＤＲディスプレイとの後方互換性が可能になる。

ＳＤＲビデオコンテンツと共に受信者デバイスに送信される画像メタデータは、本明細書に記載する技術の下で（例えば、自動的に、リアルタイムに、オフライン処理で、）生成されるＭＬコンポーザメタデータを含み得る。いくつかの実施形態では、（例えば、ＳＤＲコンテンツ編集またはカラーグレーディング後の）ビデオデータ（１０７）は、ＭＬコンポーザメタデータ生成（１１５）のためにプロセッサに提供される。ＭＬコンポーザメタデータ生成（１１５）は、人間の対話をまったくまたはほとんど行わずに、ＭＬコンポーザメタデータを自動的に生成できる。自動的に生成されたＭＬコンポーザメタデータは、ビデオデータ（１０７）内のＳＤＲ画像から対応する高ダイナミックレンジ（ＨＤＲ）画像を生成するために、受信者デバイス（１つまたは複数）によって後方再整形動作を実行するために使用することができる。

ＭＬコンポーザメタデータ生成（１１５）は、ビデオコンテンツを多種多様なディスプレイデバイスに利用可能にするための１つまたは複数の価値あるサービスを提供するために使用することができる。ＭＬコンポーザメタデータ生成（１１５）によって提供される価値あるサービスの１つは、ＳＤＲ画像に描写されたビデオコンテンツのＨＤＲ画像は利用可能ではないが、ビデオコンテンツを描写するＳＤＲ画像は利用可能である動作シナリオにおいて、上述のようにＳＤＲ画像からＨＤＲ画像を生成することである。したがって、本明細書で説明する技法は、ＳＤＲ画像が利用可能であるこれらの動作シナリオにおいて、ＨＤＲディスプレイのためのＨＤＲビデオコンテンツを生成または構成するために使用することができる。

ＭＬコンポーザメタデータ生成（１１５）によって提供される１つの価値あるサービスは、「カラータイミング」または「カラーグレーディング」として知られるカラーリストの手動操作の一部または全部に頼ることなく、ＨＤＲディスプレイ用に（例えば、完全に、部分的になど）最適化されたＨＤＲビデオコンテンツを生成することである

符号化ブロック（１２０）は、ビデオデータ（１０７）、自動生成されたＭＬコンポーザメタデータ（１７７）、およびその他の画像メタデータを受信し、ビデオデータ（１０７）を、自動生成されたＭＬコンポーザメタデータ（１７７）、その他のイメージメタデータなどと共に、符号化されたビットストリーム（１２２）に符号化する。符号化ビットストリームの例は、単一レイヤビデオ信号などを含むことができるが、必ずしもこれに限定されない。いくつかの実施形態では、符号化ブロック（１２０）は、符号化ビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）、および他の配信フォーマットによって定義されるものなどのオーディオおよびビデオエンコーダを備えることができる。

次いで、符号化ビットストリーム（１２２）は、復号および再生デバイス、メディアソースデバイス、メディアストリーミングクライアントデバイス、テレビセット（例えば、スマートＴＶなど）、セットトップボックス、映画館などの受信側に下流で配信される。下流デバイスでは、符号化ビットストリーム（１２２）が復号ブロック（１３０）によって復号されて復号画像１８２を生成し、復号画像１８２は、符号化ブロック（１２０）によって実行される圧縮および復号ブロック（１３０）によって実行される解凍において引き起こされる量子化エラーの対象になる、ビデオデータ（１０７）内に表される画像（例えば、ＳＤＲ画像、ＨＤＲ画像など）と類似または同じであり得る。

非限定的な例では、符号化ビットストリーム（１２２）で表されるビデオ信号は、後方互換ＳＤＲビデオ信号（例えば、ＳＤＲ＋ビデオ信号など）であってもよい。ここで、「後方互換ビデオ信号」とは、ＳＤＲディスプレイのために（例えば、保存された特定の芸術的意図などで）最適化されたＳＤＲ画像を搬送するビデオ信号を指すことができる。

いくつかの実施形態では、符号化ブロック（１２０）によって出力された符号化ビットストリーム（１２２）は、逆トーンマッピングメタデータ、ＭＬコンポーザメタデータ、自動生成されたＭＬコンポーザメタデータ（１７７）、ディスプレイ管理（ＤＭ）メタデータなどを含むがこれらに限定されない画像メタデータが埋め込まれた出力ＳＤＲビデオ信号（例えば、ＳＤＲ＋ビデオ信号など）を表すことができる。自動生成されたＭＬコンポーザメタデータ（１７７）は、ＨＤＲ（例えば、ターゲット、リファレンスなど）ディスプレイ上でのレンダリングのために後方再整形画像を生成するために、符号化ビットストリーム（１２２）から復号されたＳＤＲ画像（例えば、ＳＤＲ＋画像など）上で後方再整形を実行するために、下流デコーダによって使用され得る後方再整形マッピングを指定する。いくつかの実施形態では、後方再整形画像は、自動生成されたＭＬコンポーザメタデータ（１７７）で指定された後方再整形マッピング（または逆トーンマッピング）を実施する１つまたは複数のＳＤＲ－ＨＤＲ変換ツールを使用して、復号されたＳＤＲ画像から生成され得る。

本明細書で使用されているように、後方再整形とは、ディスプレイ管理などのさらなる下流処理のために、再量子化画像を元のＥＯＴＦドメイン（例えば、ガンマ、ＰＱ、ハイブリッドログガンマまたはＨＬＧなど）に変換する画像処理動作を指す。後方再整形動作の例は、２０１５年３月２０日に出願された米国仮特許出願第６２／１３６，４０２号（２０１８年１月１８日にも、米国特許出願公開第２０１８／００２０２２４号として公開されている）、および２０１８年５月１１日に出願された米国仮特許出願第６２／６７０，０８６号に記載されており、その全内容は参照により、本明細書に完全に記載されているかのように本明細書に組み込まれる。

追加的、任意選択的または代替的に、画像メタデータ内のＤＭメタデータは、後方再整形された画像上でディスプレイ管理操作を実行するために、下流デコーダによって使用されて、ＨＤＲ基準ディスプレイデバイス、または非基準ＨＤＲディスプレイデバイスなどの他のディスプレイデバイス上でのレンダリングのために最適化された表示画像（たとえば、ＨＤＲ表示画像など）を生成することができる。

受信機が標準ダイナミックレンジまたは比較的狭いダイナミックレンジをサポートするＳＤＲディスプレイ１４０と共に（またはそれに取り付けられる）動作する動作シナリオでは、受信機は、復号されたＳＤＲ画像をターゲットディスプレイ（１４０）上に直接的または間接的にレンダリングすることができる。

受信機が高ダイナミックレンジ（例えば、４００ニト、１０００ニト、４０００ニト、１００００ニトまたはそれ以上など）をサポートするＨＤＲディスプレイ１４０－１と共に（またはそれに取り付けられて）動作する動作シナリオでは、受信機は、符号化ビットストリーム（１２２）（のメタデータコンテナなど）からコンポーザメタデータを抽出し、コンポーザメタデータを使用して、ＨＤＲ画像（１３２）を作成することができ、これはコンポーザメタデータに基づいてＳＤＲ画像を後方再整形することから生成された後方再整形画像であってもよい。さらに、受信器は、符号化ビットストリーム（１２２）からＤＭメタデータを抽出し、ＤＭメタデータに基づいてＨＤＲ画像（１３２）にＤＭ操作（１３５）を適用して、ＨＤＲ（例えば、非基準など）ディスプレイデバイス（１４０－１）上にレンダリングするために最適化された表示画像（１３７）を生成し、ＨＤＲディスプレイデバイス（１４０－１）上に表示画像（１３７）をレンダリングすることができる。

機械学習によるダイナミックコンポーザメタデータ生成
単一層逆ディスプレイ管理（ＳＬｉＤＭ）またはＳＤＲ＋を使用して、ＨＤＲディスプレイデバイス上でのレンダリングのためのＳＤＲコンテンツを強化することができる。ＳＤＲ画像のルマチャネルおよびクロマチャネル（またはカラーコンポーネント）は、ＨＤＲ画像の対応するルマチャネルおよびクロマチャネルを生成するために、画像メタデータを使用して別々にマッピングすることができる。

本明細書で説明する技法を使用して、ＳＤＲコンテンツのダイナミックコンポーザメタデータを推定する機械学習（ＭＬ）ベースのアプローチを実装することができる。このＭＬベースのアプローチによって生成されるダイナミックコンポーザメタデータは、他のアプローチで使用されるスタティックメタデータと比較して、ＨＤＲ視覚経験を改善する。ダイナミックコンポーザメタデータ（またはＭＬベースのコンポーザメタデータ）は異なるユーザ定義（例えば、エンドユーザが選択可能）スタイルで推論して、ＨＤＲルックベースの個々のユーザのそれぞれの好みを修正することができる。追加的、任意選択的、または代替的に、本明細書で説明する技法の下のメタデータコーディングシンタックスを使用して、（たとえば、ＳＤＲ＋、ＳＬｉＤＭなど）ビデオ信号中のダイナミックコンポーザメタデータの圧縮を可能にすることができる。

他のアプローチにおけるスタティックメタデータは、ＳＤＲルマコードワード（例えば、強度等）をＨＤＲコードワード（または強度）にマッピングするために、（例えば、ＳＤＲ画像における実際の画素値分布にかかわらず、いくつかのまたはすべてのＳＤＲ画像に対して）固定曲線を指定する。すべてのＳＤＲ画像（またはフレーム）に同じ固定曲線が適用されるので、異なるシーン／画像における輝度レベルは、結果として生じるＨＤＲ画像において必ずしも満足に強調されない。例えば、ＳＤＲ画像中のいくつかの明るい領域は、他のアプローチの下でＳＤＲ画像を固定曲線にマッピングすることによって生成された対応するＨＤＲ画像中で過度に明るくなることがある。ＳＤＲ画像で表されるような特定の芸術的意図または視覚的品質の信頼できる再現を得るために、ＳＤＲ画像における画像部分の輝度はＳＤＲ画像で表されるような視覚的コンテンツに基づいてマッピングまたは強調されるべきであり（例えば、狭いＳＤＲ輝度範囲から広いＨＤＲ輝度範囲など）、これは、固定（マッピング）曲線を使用する他のアプローチの下では適切にサポートされ得ない。

同様に、他のアプローチの下では、クロマ再整形（例えば、ＳＤＲクロマコードワードのＨＤＲクロマコードワードへの後方再整形など）は、ＭＭＲ予測係数の事前計算されたセットを使用する。ＭＭＲベースの予測子の例は、米国特許第８，８１１，４９０号に記載されており、その全体が参照により組み込まれる。固定係数はまた、異なる視覚コンテンツを描写する異なるビデオシーケンスのカラーパレットにおける微妙な相違を見落とす傾向があり、したがって、結果として生じるＨＤＲビデオコンテンツの異なる部分が、ＨＤＲビデオコンテンツを生成するために使用されるＳＤＲビデオコンテンツの対応する部分において表されるような固有の視覚品質および／または別個のカラーパレットアイデンティティを失うか、または再生し損なう。代わりに、同じＭＭＲ係数によって生成されたＨＤＲビデオコンテンツの異なる部分は、他のアプローチの下でＨＤＲビデオコンテンツの異なる部分に対する固定ＭＭＲ係数を操作する自由がないので、一般的なルックを獲得する傾向がある。

対照的に、ＨＤＲルマ／クロマコードワードを予測または推定するＭＬベースのアプローチの下では、関連する画像特徴（例えば、コンテンツ依存特徴、画素値依存特徴など）をＳＤＲ画像データから抽出し、ＳＤＲ画像データからＨＤＲ画像データを構築または再構成するための（ダイナミック）ＭＬベースのコンポーザメタデータをトレーニング、予測、および／または推定するために使用することができる。いくつかの運用シナリオでは、このような構築または再構築は、ユーザが意図したビジュアルスタイル／モードのユーザ選択を指定するユーザ入力によってさらに影響を受け得る。

本明細書で説明する技法の下でＭＬ予測モデル／アルゴリズム／方法をトレーニングすることは、ＳＤＲと、対応する（例えば、ユーザが望む、手動でカラーグレード付けされたなどの）ＨＤＲ画像とのペアを備えるトレーニングデータセットを用いて行うことができる。ＭＬ予測モデル／アルゴリズム／方法は、トレーニングフェーズ中にＳＤＲからＨＤＲへのマッピングを学習することができる（例えば、ユーザ意図など）。機械学習されたＭＬ予測モデル／アルゴリズム／方法の最適な動作パラメータは、永続的に、またはキャッシュ／メモリに格納することができる。

ＭＬ予測モデル／アルゴリズム／方法は、（ダイナミック）ＭＬベースのコンポーザメタデータを予測するために、テストＳＤＲコンテンツに適用することができる。（他のアプローチの下でのスタティックまたは固定メタデータの代わりに）（ダイナミック）ＭＬベースのコンポーザメタデータは、対応するＨＤＲコンテンツを構築または再構築し、再構築されたＨＤＲコンテンツにおいて所望のルック（例えば、ユーザの意図したルック、特定の芸術的意図の保存など）を達成するために、ビデオデコーダに出力または送信され得る。

本明細書で説明する技法の下で、様々な特定のユーザ選好について、多数の異なるＭＬ予測モデル／アルゴリズム／方法を学習することができる。次いで、複数の異なるユーザ選好ＨＤＲルックの間の切り替えは、異なるＭＬ予測モデル／アルゴリズム／方法の間の切り替えと同様に、これらの技法の下で容易に実行することができる。その結果、ＳＤＲコンテンツは、高価で複雑な手動カラーグレーディングを実行することなく、ユーザのための所望のＨＤＲを有するＨＤＲコンテンツに後方再整形することができ、それによって、多数のユーザのための所望のＨＤＲルックを有するＨＤＲコンテンツを生成する費用効果的で高効率の方法を提供する。潜在的に膨大な量の利用可能なＳＤＲコンテンツから生成されたＨＤＲ画像を手動でカラーグレーディングする代わりに、個々のユーザは、ＳＤＲと、対応する（例えば、手動などの）カラーグレーディングされたＨＤＲ画像とのペアのトレーニングデータセットを提供することができる。本明細書で説明する技法の下での機械学習モデル／アルゴリズム／方法は、トレーニングデータセットによって具現化されるようなユーザ選好を模倣することによって、任意のＳＤＲコンテンツを対応するＨＤＲコンテンツに自動的に変換することができる。

ルマおよびクロマ後方再整形
限定ではなく例として、ＳＤＲルマおよびクロマコードワードからのＨＤＲルマおよびクロマコードワードの予測／推定は、ＧＰＲモデルおよびクロマディクショナリを使用して、図２Ａに示されるようなプロセスフローにおいて実行され得る。

本明細書で使用されるように、ＳＤＲルマコードワードからＨＤＲルマコードワードを再生成する（例えば、予測する、推定するなど）ことは、ルマ後方再整形（動作）と呼ばれることがある。ＳＤＲルマコードワード（例えば、強度、輝度値など）は、ＧＰＲモデルに基づいて生成された後方ルックアップテーブル（または後方ＬＵＴまたはＢＬＵＴ）を使用して、ＨＤＲルマコードワード（例えば、強度、輝度値など）にマッピングされて、ルマ後方再整形を実行することができる。追加的、任意選択的、または代替的に、ＳＤＲルマおよびクロマコードワードからＨＤＲクロマコードワードを再生成する（たとえば、予測する、推定するなど）ことは、クロマ後方再整形（動作）と呼ばれ得る。ＳＤＲルマおよびクロマコードワードは、クロマディクショナリを調べるのに使用され、クロマ後方再整形を実行するためにＨＤＲクロマコードワードを予測または推定する。

ＧＰＲモデルおよびクロマディクショナリは、本明細書で説明されるように、トレーニングフェーズにおいて、１つまたは複数のトレーニングデータセットを用いてトレーニングされ得る。より具体的には、トレーニングフェーズにおいて、トレーニングデータセット内のＳＤＲ画像（例えば、２０２）の画像特徴（例えば、コンテンツ依存特徴など）を抽出して、特徴ベクトル２０４を形成することができる。画像特徴または特徴ベクトル（２０４）は、トレーニングデータセット内の対応するＨＤＲ画像内の参照ＨＤＲルマコードワード（または値）とともに、ＳＤＲルマコードワードからＨＤＲルマコードワード（または値）のＧＰＲモデルベースの予測２０６を行うようにＧＰＲモデルをトレーニングまたは最適化するために使用することができる。次いで、トレーニングされたＧＰＲモデルを使用して、後方ルックアップテーブル（または後方ＬＵＴ）などの後方再整形曲線を生成することができる。いくつかの実施形態において、後方再整形曲線または後方ＬＵＴは、８片多項式近似２０８によって近似されてもよい。候補特徴の大きなセットが利用可能である操作シナリオでは、本明細書で説明するように、候補特徴の大きなセットを特徴ベクトルに含まれる特徴のセットに縮小するために、特徴枝刈り操作を実行することができる。特徴枝刈り動作の例は、２０１８年９月１９日に出願された米国仮特許出願第６２／７３３，２１７号に記載されており、その全内容は参照により、本明細書に完全に記載されているかのように本明細書に組み込まれる。

追加的、任意選択的、または代替的に、トレーニングフェーズにおいて、トレーニングデータセット内の対応するＨＤＲ画像内の基準ＨＤＲルマおよびクロマコードワード（または値）によって表されるグラウンドトゥルース（またはラベル）とともに、画像特徴または特徴ベクトル（２０４）を使用して、クロマディクショナリ２１０（またはＭＭＲマッピング）をトレーニングまたは最適化して、ＳＤＲルマおよびクロマコードワードからＨＤＲクロマコードワード（または値）のクロマディクショナリベースの予測を行うことができる。次いで、トレーニングされたクロマディクショナリ（２１０）を使用して、ＳＤＲルマおよびクロマコードワードをＨＤＲクロマコードワードにマッピングするために下流の受信デバイスによって使用されるＭＭＲ係数２１２（例えば、ＳＤＲルマおよびクロマコードワードからＨＤＲクロマコードワードへのマッピングを定義するクロマ行列などにおいて）を生成することができる。

いくつかの非限定的な実装例では、ルマチャネルＹ（またはルマ色成分）のための後方再整形曲線を表す８片多項式近似（２０８）と、クロマチャネルＣｂおよびＣｒのための後方再整形マッピングを表すＭＭＲ係数（２１２）とは、ビデオ信号中で搬送または符号化される符号化ビデオコンテンツとは別に、ビデオ信号の１つまたは複数の画像メタデータコンテナ中の１つまたは複数のビデオエンコーダ２１４によって符号化され得る。８片多項式近似（２０８）およびＭＭＲ係数（２１２）は、１つまたは複数の非トレーニングＳＤＲ画像（例えば、２０２、トレーニングデータセット内ではなく）とともに、いくつかまたはすべての画像メタデータとして、下流のデコーダ（１つまたは複数）に送信することができる。非トレーニングＳＤＲ画像は、ビデオ信号の基本レイヤまたは符号化ビットストリーム２１６において符号化され得る。

ＨＤＲルマ再構成（例えば、ＳＤＲ画像内のＳＤＲルマコードワードからのＨＤＲルマコードワードの予測／推定など）中に、後方ＬＵＴ（または後方ＬＵＴを近似する多項式）によって表される後方再整形曲線を使用して、ＳＤＲ画像の（例えば、各）画素位置におけるＳＤＲルマコードワード（値）を入力として受け入れ、（構築または再構築される）マッピングされたＨＤＲ画像の（例えば、各）対応する画素位置（同じ行／列など）で対応するマッピングされたＨＤＲルマコードワード（値）を出力として生成することができる。マッピングされたＨＤＲ画像のいくつかまたはすべての画素位置についてのマッピングされたＨＤＲルマコードワード（値）は、このようにして生成され、マッピングされたＨＤＲ画像の（例えば、ルマチャネルおよびクロマチャネルまたは色成分などの間の）ルマチャネルまたはルマ色成分を構築するために使用され、次いで、本明細書で説明されるように、下流のデコーダと連動して動作する画像ディスプレイでレンダリングするためのＨＤＲ表示画像を導出するために使用され得る。

ＧＰＲベースのルマ予測
図２Ｂに示すようなＧＰＲベースのプロセス（例えば、フローチャート、アプローチなど）を使用して、Ｑ個の（例えば、分散、等距離、非等距離など）サンプル点を、入力ＳＤＲコンテンツ（例えば、単一のＳＤＲ画像、１つまたは複数のＳＤＲ画像、ＳＤＲ画像のグループ、ＳＤＲ画像のシーケンスを含むシーンのいくつかまたはすべて、など）に基づいて、後方整形曲線上で、予測または推定することができ、水平軸は、実際のＳＤＲ画像内のＳＤＲルマコードワードまたは値を表すためのすべての利用可能なＳＤＲコードワードまたは値を含むＳＤＲコードワード空間を表し、垂直軸は、マッピングされたＨＤＲコードワードまたは値を含むマッピングされたＨＤＲコードワード空間を表す。次に、予測／推定サンプル点を補間および／または外挿して、後方再整形曲線（またはＢＬＵＴ）全体を構築することができる。

図２Ｂに示されるようなプロセスの第１のステップ（２２２）は、トレーニングデータセット内の入力ＳＤＲ画像２２６から（例えば、関連する、選択された）画像特徴を抽出し、画像特徴を使用して、（例えば、信頼性をもって、高い信頼性をもって、正確に）ルマ後方再整形曲線または後方ＬＵＴを予測または推定することである。

図２Ｂに示すように、トレーニングデータセットは、ＳＤＲ画像（２２６）および対応するＨＤＲ画像２２８を含む。ＳＤＲ画像（２２６）内の各ＳＤＲ画像は、ＨＤＲ画像２２８内の対応するＨＤＲ画像を有するか、またはそれとペアを形成し、それによって、トレーニングデータセット内に複数のＳＤＲ－ＨＤＲ画像ペアを形成する。トレーニングデータセット内のＳＤＲ－ＨＤＲ（画像）ペアのＳＤＲ画像および対応するＨＤＲ画像は、視覚オブジェクト、人物／キャラクタ、視覚シーン、視覚背景技術、自動車、飛行機などの移動オブジェクトなどの同じ画像特徴を示すが、異なる（輝度）ダイナミックレンジ、色域、色精度、鮮やかさなどを有する。

画像特徴は、特徴ベクトル計算の効率、予測精度などの１つまたは複数の画像特徴選択ファクタまたは基準に基づいて、多種多様な画像特徴の中から選択することができる。

大規模な展開のために実行可能であるためには、計算の複雑さおよび予測精度が（例えば、ユーザ入力に基づいて決定され、ヒューリスティックに基づいて決定され、トレーニングデータの経験的研究に基づいて決定されるなど）許容可能な限界内にあるべきである。これらの許容可能な限界（または制約）に基づいて、１つ、２つ、またはそれ以上の画像特徴タイプが（例えば、許容可能な限界または制約に合致する、または満たすなど）適切であり得る。

限定ではなく例として、選択された画像特徴は、（例えば、正規化された）ルマ－クロマ結合１Ｄヒストグラムにおけるヒストグラムビンカウントであってもよい。その中のルマ－クロマ結合１Ｄヒストグラムおよびビンカウントは、特徴ベクトル２３０を導出するために使用することができ、これは、比較的信頼性が高く、正確な予測／推定結果を生成するためにＧＰＲモデルをトレーニングするために使用することができる。

（それぞれ、ｙ、ｃ０、およびｃ１として示される）入力３チャネル内のルマおよびクロマコードワードＳＤＲビデオ信号（例えば、トレーニングデータセット内のＳＤＲ画像（２２６）などを含む）を、各チャネル（またはディメンション）内のＭ個のビンに入れる。正規化された－例えば［０，１］の値域に正規化された－ｊ番目の画像またはフレームでのｉ番目のＳＤＲ画素値（ｓ^ｙ _ｊｉ，ｓ^ｃ０ _ｊｉ，ｓ^ｃ１ _ｊｉ）（またはルマおよびクロマコードワード）は、３Ｄヒストグラムの中でインデックス（α_ｊｉ，β_ｊｉ，γ_ｉｊ）を有するキューブにマッピングされてもよく、ここでインデックスα_ｊｉ，β_ｊｉ，γ_ｉｊは次のように与えられる。

３Ｄヒストグラム内の各３Ｄキューブは、３Ｄキューブのインデックスに対応するそれぞれの（量子化後の）入力値を表すトリプレットである。ｊ番目の画像またはフレーム内の画素の総数（またはカウント）をＰと表記する。すべてのＦ個のフレーム（トレーニングデータセットなど）内の画素値（またはルマおよびクロマコードワード）は、以下の表１に示すように、例示的なプロセスを使用してＦ個の３Ｄヒストグラムに収集できる。

いくつかの実施形態では、最終（対数）ヒストグラムは、以下の表２に示すように、例示的なプロセスを使用して得ることができる。

いくつかの実施形態では、ルマチャネル（またはディメンション）をＭ_ｙ個のビンに分割することができ、３Ｄヒストグラムの２つのクロマチャネル（またはディメンション）をそれぞれＭ_ｃ０個のビンおよびＭ_ｃ１個のビンに分割することができる。ｊ番目の画像またはフレームにおける正規化されたｉ番目のＳＤＲ画素値（ｓ^ｙ _ｊｉ，ｓ^ｃ０ _ｊｉ，ｓ^ｃ１ _ｊｉ）（またはルマおよびクロマコードワード）は、インデックスα_ｊｉを有するルマチャネル（またはディメンション）のためのＭ_ｙ個のビンに、インデックスβ_ｊｉを有するＣ_０のクロマチャネル（またはディメンション）のためのＭ_ｃ０個のビンに、およびインデックスγ_ｉｊを有するＣ_１のクロマチャネル（またはディメンション）ヒストグラムビンのためのＭ_ｃ１個のビンに、それぞれマッピングすることができ、ここで、α_ｊｉ，β_ｊｉ，γ_ｉｊは次のように与えられる。

各ＳＤＲ画像またはフレーム（例えば、ＳＤＲ画像（２２６）など）に対して、３つの別個の１Ｄヒストグラム（各チャネルに対して１つ）は、各ビン内の画素の総数をカウントすることによって構築される。３つの別個の１Ｄヒストグラムを生成するプロセスは、（例えば、トレーニングデータセットなどにおいて）すべてのＦ個の画像またはフレームについて繰り返すことができる。

３つのルマチャネルおよびクロマチャネルについての３つの別個の１Ｄヒストグラムは、以下の表３に示される例示的なプロセスを使用して、図３Ｄに示されるように、結合されたルマ－クロマ１Ｄヒストグラム（ｈ_ｊ ^{ｙ，ｃ０，ｃ１}（・）として示されるように）を形成するように連結され得る。

各結合されたルマ－クロマ１Ｄヒストグラムは、以下の表４に示される例示的なプロセスを使用して、本明細書に記載されるように、ＭＬモデル（例えば、ＧＰＲモデルなど）のトレーニングまたはテスト中に、様々な画像ディメンションの影響を除去するように正規化されてもよい。

各結合されたルマ－クロマ１Ｄヒストグラムは、（ＧＰＲモデルを用いてトレーニングまたは予測するための）特徴ベクトルを表すことができ、そのディメンションＫは以下のように与えられる。

前述したように、トレーニングデータセットは、（トレーニング）ＳＤＲ画像（２２６）、および、対応する（例えば、ユーザが望む、手動で色分けされた）ＨＤＲ画像（２２８）のペアを含む。図２Ｂに示すようなプロセスの第１のステップ（２２２）の前、後、または同時になど、任意の実行順序で実行することができる第２のステップ（２２４）は、例えばＣＤＦマッチングなどの方法を使用して、トレーニングＳＤＲ画像およびその対応するＨＤＲ画像の各ペアについて後方ＬＵＴを構築することである。ＣＤＦマッチング動作の例は、２０１７年９月１１日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２０１７／５０９８０号、２０１６年１０月５日に出願された米国仮特許出願第６２／４０４，３０７号（また、２０１８年４月５日に、米国特許出願公開第２０１８／００９８０９４号として公開された）に記載されており、その内容全体は参照により、本明細書に完全に記載されているかのように本明細書に組み込まれる。

本明細書で説明する技法は、８ビットＳＤＲ画像（例えば、ＢＬＵＴ内の２５６インデックス）、１０ビットＳＤＲ画像（例えば、ＢＬＵＴ内の１０２４インデックス）など、様々なビット深度のＳＤＲ画像に適用することができる。限定ではなく例として、トレーニングデータセット内のＦ個のＳＤＲ－ＨＤＲ画像ペアのうちのＳＤＲ－ＨＤＲ画像ペアの１０ビットＳＤＲ画像の場合、Ｆは１より大きい正の整数であり、後方再整形曲線は２^１０＝１０２４のインデックスの配列（例えば、インデックス付きエントリ、インデックス付き配列要素）の形態の後方ＬＵＴとして表すことができる。後方再整形曲線は、Ｌが１より大きい正の整数である、ρとして示されるＬ個の位置でサンプリングすることができる。

Ｌ個の等距離サンプル点が後方再整形曲線をサンプリングするために使用される動作シナリオでは、後方再整形曲線に対するこれらの等距離サンプル点の位置は、以下のように与えられることができる。

ここで、ｌは、Ｌ個の等距離サンプル点における対応するサンプル点に対する正の整数インデックスを表す。

後方再整形曲線におけるサンプル（またはサンプル点）のこれらのＬ個の位置におけるＨＤＲ値は、ＢＬＵＴ_ｊ（・）がトレーニングデータセット内の（Ｆ個のＳＤＲ－ＨＤＲペアの中の）ｊ番目のＳＤＲ－ＨＤＲペアに対するＢＬＵＴ（または後方再整形曲線）を表す１０２４個の要素の配列を示す、ＢＬＵＴ_ｊ（ρ_ｌ）として導出することができる。

後方再整形曲線におけるサンプル（またはサンプル点）のこれらＬ個の位置におけるＨＤＲ値ＢＬＵＴ_ｊ（ρ_１）の各々（例えば、ｌ番目のＨＤＲ値など）は、ＧＰＲモデル（例えば、サンプル点のＬ個の位置に対するＬ個のＧＰＲモデルそれぞれ）におけるそれぞれのＧＰＲモデル（例えば、ｌ番目のＧＰＲモデル２３４など）をトレーニングするための後方再整形曲線のＬ個のサンプル点のそれぞれのサンプル点（例えば、ｌ番目のサンプル点２３２など）に対する真の予測（例えば、予測／推定のための基準値、予測／推定のためのグラウンドトゥルースなど）を構成するか、またはラベル付けするか、または示す。

（トレーニングデータセット内のＳＤＲ－ＨＤＲ画像ペアから構築された各後方再整形曲線のサンプル点の総数）Ｌの値の例は、１０、１５、２０、２５などを含むことができるが、必ずしもこれらに限定されない。

特徴ベクトル（２３０）と、Ｌ個のサンプリング点の位置について決定されたＨＤＲ値の真の予測（例えば、予測または推定のための基準値、予測または推定のためのグラウンドトゥルースなど）を含むサンプル（２３２）とを使用してＧＰＲモデルをトレーニングした結果は、（例えば、バイナリなどの）ファイルに格納され、メモリにキャッシュされ、１つまたは複数のデータベースに持続されるなどすることができる。

要約すると、いくつかの実施形態では、トレーニングデータセット内の各ＳＤＲ－ＨＤＲペアについて、ＳＤＲ－ＨＤＲペア内のＳＤＲ画像から特徴ベクトル（２３０）を抽出することができ、後方再整形曲線のＬ個のサンプルは、ＳＤＲ－ＨＤＲペアから構築された後方ＬＵＴによって（例えば、本明細書で言及するＣＤＦ技法などを介して）導出することができる。

特徴ベクトルの長さ（またはディメンション）を、Ｋとして表す。ＳＤＲ画像のビット深度をＢ_ｓとして表す。以下の表５に示す例示的なプロセスを使用して、特徴ベクトル（または特徴行列）Ｘ、および（ＧＰＲモデルを用いて予測／推定されるマッピングされたＨＤＲ値の予測／推定のための観測値または基準値を含む）真の予測行列ｙを構築することができる。

ＧＰＲモデルのトレーニング
特徴ベクトル行列Ｘおよび真の予測行列ｙ内の観測値は、ＧＰＲモデルをトレーニングするために、またはその動作パラメータを以下のように学習するために使用することができる。

Ｌ個の異なるＧＰＲモデルのすべてをトレーニングして、サンプル点のＬ個の位置でマッピングされたＨＤＲ値を予測することができる。ＧＰＲモデル内の各ＧＰＲモデルは、Ｌ個の位置内の特定の位置における後方再整形曲線上のそれぞれの点を推定する。より具体的には、Ｌ個のＧＰＲモデルにおけるｌ番目のＧＰＲモデルは、後方再整形曲線を表す後方ＬＵＴのρ_ｌ番目のエントリを予測または推定するようにトレーニングすることができ、ここで、ｌ∈［ｌ，Ｌ］である。後方再整形曲線（または後方ＬＵＴ）の予測されたエントリ（またはサンプル）は、図３Ａに円を有する点として示されている。

説明のために、ρ_ｌ番目の位置における後方再整形曲線のｌ番目の値を予測または推定するために使用されるｌ番目のＧＰＲモデルを考える。データセット内のトレーニングベクトルの総数Ｆのうち、ｐ番目およびｑ番目のトレーニングベクトル（ここで、ｐ，ｑ∈［０，Ｆ－１］）を、それぞれ、ｘ_ｐおよびｘ_ｑとして示す。これら２つのベクトル間のカーネル化された距離を表すカーネル関数をｒ_ｌ（ｘ_ｐ，ｘ_ｑ）として示す。対応する重みをｗ_ｌ，ｑとして示す。次いで、すべてのＦ個の特徴ベクトルに基づくｌ番目のＧＰＲモデルからの予測ｙ＾［ｌ，ｐ］は、以下のように定式化され得る。

トレーニングフェーズは、以下のように、予測誤差が最小化されるように、予測ｙ＾［ｌ，ｐ］を行うために使用されるカーネル関数の動作パラメータおよび重みを調整するために使用することができる。

数式（７）および（８）で使用される例示的な有理二次（ＲＱ）カーネルｒ_ｌ（ｘ_ｐ，ｘ_ｑ）は、以下の形式をとることができる。

トレーニングフェーズでは、次の動作パラメータを学習または最適化できる。数式（９）のカーネルのハイパーパラメータθ_ｌ＝｛σ_ｌ，ｆ，α_ｌ，ｄ_ｌ｝：数式（７）のｌ番目のＧＰＲモデルの重み係数（Ｆ個の特徴ベクトルに対応するＦ個の重み係数）。

動作パラメータが学習または最適化された後、ｌ番目のＧＰＲモデルを適用または使用して、以下のように、任意のＳＤＲ画像から抽出された任意の（例えば、見えない、予測される、推定される、テストされるなど）特徴ベクトルｘ＾の対応する値を予測することができる。

前述の操作は、Ｌ個のＧＰＲモデルのすべてをトレーニングして、これらのＧＰＲモデルにおけるそれぞれの動作パラメータを学習または最適化するために適用または反復することができ、これらのＧＰＲモデルのそれぞれは、それ自体のカーネル動作パラメータおよび重み（または重み係数）のセットを有する。

ＧＰＲモデルのテスト
テストフェーズは、（テスト）ＳＤＲ画像から、例えば、特徴ベクトルをトレーニングする際に使用される同じまたは同一の特徴タイプを用いて特徴ベクトルを構築（テスト）し、次いで、トレーニングされたＧＰＲモデルを使用して、後方再整形曲線（または対応する後方ＬＵＴ）においてサンプルを構築するために使用されてもよい。次に、これらのサンプルを補間および／または外挿して、後方整形曲線全体（またはＢＬＵＴ全体）を生成することができる。ＣＤＦマッチングは、結果として生じるＢＬＵＴが滑らかで単調に減少しないことを保証するために、生成されたＢＬＵＴを用いて実行されることができる。

図２Ｃに示すように、（テスト）画像特徴は、図２Ｂの第１のステップ（２２２）と同様に、入力（テスト）ＳＤＲ画像２３６から抽出することができる。例として、（テスト）特徴ベクトル（ｘ^～として示される）２３８は、ＳＤＲ画像（２３６）から抽出され、画像特徴としてヒストグラムビンを有する結合されたルマ－クロマ１Ｄヒストグラムとして表されてもよい。様々な動作シナリオでは、（テスト）特徴ベクトルｘ^～（２３８）などの特徴ベクトルは、シーンの一部または全部、ピクチャのグループの一部または全部、画像またはフレームの時間シーケンスの一部または全部などにおいて、入力ＳＤＲ画像から抽出することができる。特徴ベクトルの各々は、特徴ベクトル内のすべての要素が合計で１（１）になるように正規化されてもよい。

（テスト）特徴ベクトルｘ^～（図２Ｃの２３８）は、トレーニングされたｌ番目のＧＰＲモデル（図２Ｃの２３４）と共に使用され、（テスト）ＳＤＲ画像をマッピングされたＨＤＲ画像に再整形するために使用される後方再整形曲線上のｌ番目のサンプル（図２Ｃの２４０）またはｌ番目のマッピングされたＨＤＲ値を予測または推定することができる。これは、後方再整形曲線上のすべてのＬ個の位置についてサンプルを予測または推定するために繰り返すことができる。

ｌ番目のＧＰＲモデル（２３４）に基づく後方整形曲線上のｌ番目のサンプル（２４０）（またはｌ番目のＨＤＲ値）の予測は、以下のように与えられる。

同様に、後方ＬＵＴの他の値は、対応するＧＰＲモデルを使用して予測または推定することができる。その結果、Ｌ個のサンプルまたは点は、以下のように、後方再整形曲線上で予測または推定することができる。

ＢＬＵＴを定義または指定する配列のエントリ（例えば、１０２４個のエントリ）は、補間（図２Ｃの２４２）によって埋めることができる。

いくつかの動作シナリオでは、（ＳＤＲ画像内の実際の画素値分布または実際の視覚コンテンツに関係なくＳＤＲ画像をマッピングするために使用される）スタティックＢＬＵＴおよび（例えば、ＳＤＲ画像のそれぞれの画像特徴に基づいて各ＳＤＲ画像に対して個別に生成される）ダイナミックＢＬＵＴをマージすることができる。

例えば、ＧＰＲモデルから予測／推定された後方ＬＵＴのサンプルは、マッピングされたＨＤＲ画像の暗い領域における期待値よりもわずかに高いことがある。これは、再構成されたＨＤＲ画像において、特に再構成されたＨＤＲ画像に存在するレターボックス領域およびブラックフレームの周りにおいて、高いブラックレベルの問題または視覚的なアーチファクトにつながる可能性がある。この問題または視覚的アーチファクトを取り除くために、スタティック後方ＬＵＴは、暗い領域におけるＧＰＲモデルから予測／推定されるダイナミックＢＬＵＴとマージされ得る。いくつかの実施形態では、ＧＰＲモデルの予測値は、以下のように、並置されたインデックス位置を使用して、第１の点（例えば、最も暗い点など）から前方へのスタティックＢＬＵＴからの値で置き換えられる。

ここで、χは、静的ＢＬＵＴ値が使用される閾値インデックス値を表し、いくつかの実施形態では、２、３など、

を超えないように設定することができる。ｓｔａｔｉｃ＿ＢＬＵＴ（・）は、スタティックＢＬＵＴを表す。

線形補間（図２Ｃの２４２）を使用するか、または適用して、ＢＬＵＴ（・）内のすべての欠損値を埋めることによってＢＬＵＴ全体を構築することができる。ｌ∈［１ Ｌ］に対して位置ρ_ｌにおけるＢＬＵＴのサンプル値が与えられると、ＢＬＵＴの最初の値および最後の値は、以下のようにポピュレートすることができる。

ＢＬＵＴ内の残りの欠損値は、線形補間（図２Ｃの２４２）を使用して補間することができる。任意のＢＬＵＴインデックスζ（ここで、

は整数インデックス）について、ＢＬＵＴインデックスζに配置されているエントリに最も近い点を最初に判別できる。位置ζが、ｌとｌ＋１の間にあると仮定する。次に、ＢＬＵＴインデックスζに位置するＢＬＵＴエントリの値は、以下のように計算することができる。

または等価的に、ＢＬＵＴインデックスζに位置するＢＬＵＴエントリの値は以下のように与えられ得る。

線形補間の後、ＢＬＵＴ全体におけるすべてのインデックス付きエントリを取得または生成することができる。

単調に減少しない条件は、ＢＬＵＴ上で強制されてもよい（図２Ｃの２４４）。この条件は、少なくとも２つの異なる時点で強制されることができる。第１の非限定例では、線形補間の前に、単調に減少しない条件が強制されてもよい。例えば、ｌ番目のＧＰＲモデルからのｌ番目のマッピングされたＨＤＲ値の予測／推定が（ｌ－１）番目のＧＰＲモデルからの（ｌ－１）番目のマッピングされたＨＤＲ値の推定の予測よりも小さい場合、以下の表６に示される例示的なプロセスに示されるように、（ｌ－１）番目のＧＰＲモデルからの（ｌ－１）番目のマッピングされたＨＤＲ値の推定の予測は、ｌ番目のＧＰＲモデルから何が予測／推定されるかにかかわらず、ｌ番目のマッピングされたＨＤＲ値の予測／推定としてコピーすることができる。

第２の非限定例では、単調に減少しない条件が線形補間の前または線形補間の後に強制されてもよい。ＢＬＵＴおよび正規化されたＳＤＲヒストグラムを使用して、ＨＤＲヒストグラム分布を予測することができる。テストＳＤＲ画像から得られるＳＤＲヒストグラムおよび予測されたＨＤＲ分布は、ＣＤＦマッチング演算に入力として供給されて、単調に減少しない滑らかな後方整形曲線を生成することができる。後方再整形曲線が単調に減少しないことを保証するためのＣＤＦマッチングの例は、前述のＰＣＴ出願ＰＣＴ／ＵＳ２０１７／５０９８０に記載されている。

単調に減少しない条件の制約を強制するために、上述の方法の一方または両方を使用することができる。単調性を提供することに加えて、ＣＤＦマッチングを使用して、（例えば、８ピース等）多項式近似を導く比較的滑らかな後方再整形曲線を生成することができる。

いくつかの動作シナリオでは（例えば、最終的な、予測された、などの）後退ＬＵＴは、８片２次多項式で近似されることがある。次いで、多項式を指定する動作パラメータは、マッピングされたＨＤＲ画像内のＨＤＲルマコードワードを再構成するために、および画像ディスプレイにおいてマッピングされたＨＤＲ画像をレンダリングするために、下流のデコーダ（複数可）に送信され得る。

ディクショナリベースのクロマ予測
いくつかの動作シナリオでは、ルママッピング（またはルマ後方再整形）は、マッピングまたは再構成されたＨＤＲビデオコンテンツの対応するルマチャネルの予測または推定のために、ＳＤＲビデオコンテンツの単一のルマチャネル（たとえば、「Ｙ」など）を使用し、一方、クロママッピング（またはクロマ後方再整形）は、マッピングまたは再構成されたＨＤＲビデオコンテンツのクロマチャネルの予測または推定のために、ＳＤＲビデオコンテンツの３つすべてのルマチャネルおよびクロマチャネル（たとえば、「Ｙ」、「Ｃｂ」／「Ｃ０」および「Ｃｒ」／「Ｃ１」など）を使用する。追加的、任意選択的、または代替的に、クロママッピングは、事前トレーニングされたクロマディクショナリを使用して、クロマ予測プロセスとして実装または実行され得る。

本明細書で説明するクロマディクショナリ予測アプローチは、１つまたは複数のトレーニングデータセット内のＳＤＲ画像から特徴ベクトルを抽出することから開始することができる。同様の理由で、このアプローチは前述のように、ルマ－クロマ結合１Ｄヒストグラム特徴を用いて比較的効率的に機能することができる。さらに、ルママッピングにおけるのと同じ（画像）特徴をクロママッピングにおいて使用することは、比較的高い計算効率で計算された特徴ベクトルの共有または再使用を可能にする。

より具体的には、図２Ｄに示すように、（図２Ｃの２３０と同じであってもよい）ルマ－クロマ結合１Ｄ特徴ベクトル２３０は、（図２Ｃの２２８と同じであってもよい）対応する（トレーニング）ＨＤＲ画像２２８も含むトレーニングデータセット内の（トレーニング）ＳＤＲ画像２２６（図２Ｃの２２６と同じであってもよい）内の各ＳＤＲ画像から抽出される。

特徴ベクトルは、類似の画像／フレームを一緒にグループ化するために、クラスタリングアルゴリズム／方法（例えば、６４個のクラスタのような固定された数を生成するために、固定されていない、自動的に決定されたクラスタの数を生成するために、クラスタ間距離を最大化しながらクラスタ内距離を最小化するために）に供給されることができる。クラスタリングの背後にある動機は、類似の画像または視覚特性を有するフレームを同じ比較的均一なクラスタにグループ化することである。そのような比較的均一なクラスタについては、同じ後方クロママッピング－または、さらに詳細に説明されるＡ行列およびＢ行列によって効果的にキャプチャまたは特徴付けられるＳＤＲからＨＤＲへのクロママッピング－は、クラスタ内のすべてのフレームに適用するために（たとえば、完全に、十分に、適切に、など）一貫していることが可能である。その結果、そのようなクラスタごとに、Ａ行列およびＢ行列の単一のセットのみを計算することができる。そのクラスタに属するすべての画像／フレームについて、ＳＤＲからＨＤＲへのクロママッピングの同一または類似の本質をキャプチャするために、Ａ行列およびＢ行列の同一のセットを使用することができる。

図２Ｄに示されるように（例えば、すべての）特徴ベクトル（２３０）は、一緒にプールされ、次いで、例えば、ｋ－平均クラスタリングアルゴリズム２４６を含むがこれに限定されないクラスタリングアルゴリズム／方法によって、自動的にまたはプログラム的に、Ｐ個のクラスタにグループ化または分割され得る。

特徴ベクトルのクラスタは、類似のルマおよびクロマ画素値分布を有する画像／フレームの対応するクラスタの集合を表すものとして見ることができる。特徴ベクトルのクラスタの中で特徴ベクトルのクラスタを生じさせる画像／フレームは、画像／フレームの同じクラスタに属すると見なされるか、または考慮され、これは同じまたは類似のＳＤＲからＨＤＲへのクロマチャネルマッピング（クロマ後方マッピング）を受けることができる。

特徴ベクトルのクラスタ（または画像／フレームの対応するクラスタ）のクラスタ重心は、そのクラスタに属するすべての特徴ベクトルの算術平均（たとえば、マルチディメンション平均など）を取ることによって評価され得る。

特徴ベクトルをクラスタ化し、特徴ベクトルのクラスタのそれぞれの重心を計算する例示的なプロセスを、以下の表７に示す。

図３Ｂは、自動的なｋ平均クラスタリングアルゴリズム／方法を適用することによって生成される特徴ベクトル空間内の特徴ベクトルの例示的なクラスタを示す。特徴ベクトルは、小さな円によって表され、それらの特定のクラスタに集約される。特徴ベクトルのクラスタの各クラスタ重心は、大きな円で囲まれた十字で表される。

特徴ベクトルのｃ番目のクラスタ（または特徴ベクトルのｃ番目のクラスタに対応するか、または特徴ベクトルのｃ番目のクラスタを生み出す画像／フレームのｃ番目のクラスタ）に対して、Ａ_ｃおよびＢ_ｃ行列－特徴ベクトルのｃ番目のクラスタに対応するまたは生み出す画像／フレームのｃ番目のクラスタのためのＡ行列およびＢ行列－は、画像／フレームのｃ番目のクラスタ内の３ＤＭＴベースのＭＭＲおよびＳＤＲ－ＨＤＲ画像ペアを使用して計算されてもよい。これらの行列Ａ_ｃ、Ｂ_ｃ、およびｃ番目のクラスタ重心は共に、ｃ番目のクラスタのための（事前トレーニングされた）クロマディクショナリのクラスタ固有の部分を構成する。

クロマ後方再整形は、Ａ行列およびＢ行列の（クラスタ固有の）セットから導出されたＭＭＲ係数を用いてデコーダ側で実行されてもよく、そのセットは、クロママッピングのためのトレーニングフェーズ中に、３ディメンションマッピングテーブル（３ＤＭＴ）を用いて各クラスタについて別々に計算またはトレーニングされる。

トリプレット（ｓ^ｙ _ｊｉ，ｓ^ｃ０ _ｊｉ，ｓ^ｃ１ _ｊｉ）および（ｖ^ｙ _ｊｉ，ｖ^ｃ０ _ｊｉ，ｖ^ｃ１ _ｊｉ）は、ｊ番目のＳＤＲおよびＨＤＲ画像／フレームにおけるｉ番目の画素に対する正規化されたＹ、Ｃ_０およびＣ_１をそれぞれ表現する。ＳＤＲコードワード空間（またはＳＤＲ領域）のＹ、Ｃ_０およびＣ_１コードワード（または画素値）レンジは、それぞれＱ_ｙ，Ｑ_Ｃ０，Ｑ_Ｃ１ビンに分割することができる。Ｑ_ｙ×Ｑ_Ｃ０×Ｑ_Ｃ１ディメンションを有するＡ３ＤテーブルΩ^ｓ _ｊ（図２Ｄの２４８）は、ｊ番目のＳＤＲ画像／フレームのために構築することができる。この３ＤテーブルΩ^ｓ _ｊの各エントリは、ゼロまたは［０ ０ ０］に初期化される３要素ベクトルとして表現されることがある。この初期化の後、ｊ番目のＳＤＲ画像／フレーム内の各画素は、そのような各画素が属する対応するビン（またはビン関連付け）ｔ＝（ｑ_ｙ，ｑ_Ｃ０，ｑ_Ｃ１）を決定するためにステップスルーされることができる。

ｊ番目のＳＤＲ画像／フレーム内の各画素のビン関連付けｔは、次のように求めることができる。

このビン関連付けｔは、ｊ番目のＳＤＲ画像／フレームのＳＤＲ画像のビン関連付けと、ｊ番目のＨＤＲ画像／フレーム内の対応するＨＤＲ画素のビン関連付けとの両方を確立するために適用されることがある。より具体的には、ｊ番目のＨＤＲ画像／フレーム内のＨＤＲ画素は、同じ画素位置に関して、画素行および画素列インデックスの共通／共有セットなどを有する、ｊ番目のＳＤＲ画像／フレーム内のＳＤＲ画素に対応し得る。ｊ番目のＨＤＲ画像／フレーム内のＨＤＲ画素は、同じビン関連付けｔ（または数式（１７）に示すのと同じビンインデックス）を有するＨＤＲ ３Ｄテーブル（図２Ｄの２４８）のビンと同じビン関連ｔ（または数式（１７）に示すのと同じビンインデックス）を有するＨＤＲ ３Ｄテーブル（図２Ｄの２５０）のビン内のＨＤＲ画素カウントにカウントされる。

したがって、Ω^ｓ _ｊ（ｔ）は、ｔ番目のビンにマッピングするｊ番目のＳＤＲ画像／フレーム内のすべてのＳＤＲ画素に対するＹ、Ｃ_０およびＣ_１値を累算するが、これは以下のように数学的に表現することができる。

ＳＤＲ ３Ｄテーブル（図２Ｄの２４８）は、ｊ番目のＳＤＲ画像／フレームの３ＤヒストグラムΠ_ｊ（乗算演算ではなくヒストグラムを表す）として構築でき、ここで、３ＤヒストグラムΠ_ｊ内のビン関連付けｔを持つ各ビンは、上の数式（１８）に示すように、ｔ番目のビンにマッピングされるｊ番目のＳＤＲ画像／フレーム内のＳＤＲ画素の数を格納するために次のように使用される。

ここで、上式のＩ（・）は、ｉ番目の画素がビン関連付けｔを有するビンに属する場合に１を生じる恒等関数を表す。

同様に、ＨＤＲ領域内のＨＤＲ ３ＤテーブルΩ^ｖ _ｊ（図２Ｄの２５０）は、ｔ番目のビンにマッピングするｊ番目のＨＤＲ画像／フレーム内のすべてのＨＤＲ画素について、Ｙ、Ｃ_０、およびＣ_１を以下のように集約するように構成することができる。

クラスタｃごとに、Φ_ｃを、クラスタ（ｃ）にクラスタ化されたＳＤＲおよびＨＤＲ画像／フレームのセットにする。クラスタ固有のＳＤＲおよびＨＤＲ ３ＤテーブルΩ^ｓ _ｃおよびΩ^ｖ _ｃ（図２Ｄの２４８および２５０）は、３ＤヒストグラムΠ_ｃとして構築することができ、ここで、ｐは、下記のように、クラスタ（または、ｐ∈Φ_ｃ）に属する画像／フレームを表す。

３ＤテーブルΩ^ｓ _ｃおよびΩ^ｖ _ｃ内の非ゼロエントリは、クラスタ（ｃ）内のすべての画像にわたって同じビン関連付けを有するビン内の画素の総数で除算することによって正規化または平均化されてもよい。これにより、Ω^ｓ _ｃ（ｔ）内の３Ｄベクトルのすべての要素（各要素はそれぞれのチャネルまたは色成分に対応する）を［０，１］の範囲内に収まるようにし、これは以下のように数学的に表すことができる。

次に、ＳＤＲおよびＨＤＲ ３Ｄテーブル（図２Ｄの２４８および２５０）を使用して、その特定のクラスタ（ｃ）のためのＡ_ｃ行列およびＢ_ｃ行列を構築することができる。

［ｓ^ｙ _ｔ，ｃ ｓ^ｃ０ _ｔ，ｃ ｓ^ｃ１ _ｔ，ｃ］は、Ω^ｓ _ｃのｔ番目のビン内の３Ｄ（正規化または平均化された）ＳＤＲベクトルを示すものとし、ここで、ＳＤＲトリプレットのすべての要素が正規化または平均化され得る（例えば、ｓ^ｙ _ｔ，ｃ，ｓ^ｃ０ _ｔ，ｃ，ｓ^ｃ１ _ｔ，ｃ∈［０，１］など）。［ｖ^ｙ _ｔ，ｃ ｖ^ｃ０ _ｔ，ｃ ｖ^ｃ１ _ｔ，ｃ］は、Ω^ｖ _ｃのｔ番目のビン内のカウントされたＳＤＲ画素に対応する対応する（正規化または平均化された）ＨＤＲ画素のビン内の３Ｄ（正規化または平均化された）ＨＤＲベクトルを示すものとし、Ω^ｓ _ｃのｔ番目のビンにカウントされたＳＤＲ画像に対応する、対応する（正規化または平均化された）ＨＤＲベクトルをカウントまたは保存する。

ＳＤＲルマおよびクロマコードワードからＨＤＲクロマコードワード／値を予測するために、ベクトルは、まず、以下のように構築され得る。

Ｃ_０およびＣ_１チャネルに対する対応するＭＭＲ係数は、以下の（例えば、転置、下の上付き「Ｔ」はベクトル転置等を意味する）ベクトルによって表現されてもよい。

ここで、Ｒは、上記数式（２３）におけるベクトルのディメンションを表す。２次のＭＭＲ係数を含むベクトルの場合は、Ｒ＝１５である。予測値

は、次のように求めることができる。

Ｗ_ｃは、３Ｄテーブル／行列Ω^ｓ _ｃ内の非ゼロビンの総数を示すものとする。期待されるＨＤＲクロマ値

のベクトル、および数式（２３）に示されるようなＳＤＲ値または項の統合行列Ｇ_ｃは、以下のように構築または書くことができる。

同様に、グラウンドトゥルースＨＤＲ値

の（例えば、ターゲット、基準などの）ベクトルは、以下のように構築または書くことができる。

クロママッピング（またはクロマ逆方向再整形）のためのＡ行列およびＢ行列、またはその中のＭＭＲ係数は、表８に示すように、すべてのビンの全体的な近似誤差を最小にする最適化問題を解くことによって決定することができる。

最適化問題は、次のように線形最小二乗解法を用いて解くことができる。

上記数式（２８）において、次のようにする。

数式（２８）におけるこれらの行列は、各クラスタ（ｃ）に対して別々に計算されたＡ行列およびＢ行列のクラスタ固有のセットを形成する。クラスタ（ｃ）について計算されたクラスタ重心と共に、このクラスタ固有のＡ行列およびＢ行列のセットは、クラスタ（ｃ）の画像特性または特徴ベクトルと同じまたは類似の画像特性または特徴ベクトルを有する画像に対してクロママッピングを実行するためのクロマディクショナリのクラスタ固有の部分を形成する。より明示的には、クロマディクショナリは、特徴ベクトルのすべてのクラスタ（例えば、クラスタの総数Ｃなど）のＡ、クラスタごとのＢ^ｃ０とＢ^ｃ１、およびクラスタごとのクラスタ重心Ψ_ｃ（・）の構成要素を含むか、または格納する。

（例えば、複数のセットなどの）機械学習クラスタ固有のＡ行列およびＢ行列、またはその中のＭＭＲ係数を含むクロマディクショナリ、およびそれぞれのクラスタ重心は、持続的に、またはキャッシュ／メモリに格納され、クロマ予測動作の基礎として使用され得る。追加的、任意選択的、または代替的に、本明細書で説明するように、それぞれのユーザが所望するスタイルまたはＨＤＲルックを提供することができる、複数のトレーニングデータセットを使用して、ＧＰＲモデルおよびクロマディクショナリをトレーニングする動作シナリオでは、複数のトレーニングデータセットのそれぞれを、（たとえば、複数のクラスタなど）クラスタに自動クラスタ化し、（たとえば、複数のセットなどの）機械学習クラスタ固有のＡ行列およびＢ行列、またはその中のＭＭＲ係数、およびそれぞれのクラスタ重心を備えるそれぞれのクロマディクショナリを導出するために使用することができ、それによって、複数のトレーニングデータセットにそれぞれ対応する（またはそれによってトレーニングされる）複数のクロマディクショナリをもたらす。これらのクロマディクショナリは、永続的にまたはキャッシュ／メモリに格納され、クロマ予測演算のベースとして使用される場合がある。

クロママッピングのテスト
クロマディクショナリアプローチのテストフェーズは、対応するＨＤＲ画像へのアクセスに依存せずに実行されてもよい。テストフェーズは、テストＳＤＲ画像上の特徴ベクトル（例えば、トレーニング特徴ベクトルなどで使用される同じまたは同一の特徴タイプを用いて）を計算し、特徴ベクトルをすべてのクラスタのすべてのクラスタ重心と比較して、最も近いクラスタ、または２つ以上の最も近いクラスタを見つけるために実施または実行することができる。最も近いクラスタまたは２つ以上の最も近いクラスタのＡ行列およびＢ行列を使用して、そのテストＳＤＲ画像についてのＭＭＲ係数を計算（例えば、２つ以上の最も近いクラスタが使用される場合に組み合わせるなど）または導出することができる。テストＳＤＲ画像について導出されたＭＭＲ係数は、例えばデコーダ側で、テストＳＤＲ画像からマッピングされたＨＤＲ画像のクロマチャネル内のＨＤＲコードワードを再構成するために（例えばデコーダ等によって）使用され得る。

いくつかの動作シナリオでは、単一の最も近いクラスタ（例えば、図２Ｅの２５６など）がクロママッピングのために使用される。特徴空間内のその単一クラスタに最も近い任意の見えないＳＤＲ画像／フレームは、同様の後方クロママッピング特性を示す可能性が高いと比較的安全に仮定することができる。見えないＳＤＲ画像／フレームに対応するマッピングされたＨＤＲ画像のＨＤＲクロマチャネルは例えば、対応する基準ＨＤＲ画像／フレームにアクセスすることなく、そのクラスタのＡ行列およびＢ行列のセットを使用して、比較的確実かつ正確に構築され得る。

いくつかの他の動作シナリオでは、最も近いクラスタを見つける代わりに、複数の最も近いμ個のクラスタ（たとえば、図２Ｅの２５６など）を見つけて、それらのＡ行列およびＢ行列を組み合わせて、前述のテストＳＤＲ画像などのＳＤＲ画像のＭＭＲ係数を評価または導出することができるようにすることができる。クラスタ融合のこの戦略（例えば、図２Ｅの２５８など）は、隣接するフレームの色の一貫性をより良く維持または保存することができるので、ビデオシーケンスに対してより良く機能することができる。

図２Ｅに示されるように、（テスト）画像特徴は、（図２Ｃの２３６と同じであってもよい）入力（テスト）ＳＤＲ画像２３６から抽出されてもよい。例として、（図２Ｃの２３８と同じであってもよい）（テスト）特徴ベクトル（Ｘ^～として示される）２３８は、ＳＤＲ画像（２３６）から抽出され、画像特徴としてヒストグラムビンを有する組み合わされたルマ－クロマ１Ｄヒストグラムとして表されてもよい。

次いで、（テスト）特徴ベクトル（２３８）は、特徴ベクトルのすべてのクラスタについて、（図２Ｄに例示されているように、トレーニングフェーズから導出されたように）すべてのクラスタ重心２５４と比較される。クラスタ重心（２５４）は、（テスト）特徴ベクトルＸ^～（２３８）に関して、最初に最も近いクラスタ重心で、次にそれぞれの近さの順序で、ランク付けすることができる。距離メトリックが（クラスタリングのための）トレーニングフェーズおよび（最も近いクラスタを識別するための）テストフェーズにおいて一貫して使用される限り、（テスト）特徴ベクトル（２３８）に対するクラスタ重心（２５４）のそれぞれの距離を計算するために、任意の適切な距離メトリック（例えば、ユークリッド距離、Ｌ２距離など）を使用することができる。実験には、ユークリッド距離メトリックを用いる。（テスト）特徴ベクトルＸ^～（２３８）と、ｘ_ｃとして示されるクラスタ重心（２５４）とが与えられると、（テスト）特徴ベクトルＸ^～（２３８）とクラスタ重心（２５４）との間の最も近い距離を有するクラスタ（１つまたは複数）は、以下のように定式化することができる。

いくつかの運用シナリオでは、単一のテスト画像に対して、単一の（例えば、最も近い等の）クラスタのＡ行列、Ｂ^ｃ０行列およびＢ^ｃ１行列を使用して、テスト画像上でクロマ後方再整形を実行するためのＭＭＲ係数を導出することができる。

いくつかの動作シナリオでは、ビデオシーケンスについて、ビデオシーケンス内の隣接する画像／フレームを異なるクラスタ重心、したがって異なるクラスタにマッピングすることができ、それによって、おそらく、特定のビデオシーンなどのビデオシーケンス内の色変動につながるので、単一クラスタ手法は安全性が低いことがある。シーンまたはビデオシーケンス内の色の一貫性を維持するために、複数の上位μ個の（最も近い）クラスタからのクラスタ固有のＡ行列およびＢ行列の複数のセットを融合して（例えば、図２Ｅの２５８など）、Ａ行列およびＢ行列の集合セットを形成することができ、これを使用して、ビデオシーケンスのすべてのＳＤＲ画像／フレームに対してクロママッピングを実行することができる。

説明したようなクラスタ融合は、統一されたクロママッピング動作パラメータ（例えば、ＭＭＲ係数など）を取得または生成するために、上位μ個のクラスタのクラスタ固有のＡ行列およびＢ行列の複数のセットを平均することによって実装または実行され得る。一実施形態では、クラスタ固有のＡ行列およびＢ行列が融合されるか（例えば、図２Ｅの２５８など）、または単純な平均化または重み付け平均化と組み合わされ得る。

図３Ｃは、上位２つのクラスタ（μ＝２）を有する例示的なクラスタ融合（例えば、図２Ｅの２５８など）を示す。２つのトップクラスタからのテスト特徴ベクトルＸ^～（塗りつぶされた円）の２つのそれぞれの距離は、ｄ１およびｄ２である。上位２つのクラスタについてのクラスタ固有行列の２つのセットを、それぞれ、（Ａ_１，Ｂ^Ｃ０ _１，Ｂ^ｃ１ _１）および（Ａ_２，Ｂ^Ｃ０ _２，Ｂ^ｃ１ _２）として示す。上位２つのクラスタのクラスタ重心を、それぞれ、ｘ_１およびｘ_２と表す。第１の例では、融合されたＡ行列およびＢ行列のセットが以下のように単純な平均化によって導出され得る。

第２の例では、融合されたＡ行列およびＢ行列のセットが以下のように加重平均によって導出され得る。

上記の数式（３２）から分かるように、加重平均に使用される重みは、テスト特徴ベクトルＸ^～とクラスタ重心との間の距離の逆数となるように選択することができる。クラスタの距離が短いほど、クラスタに割り当てられる重みは大きくなる。重み付け戦略は、μ＝４，５などの３つ以上のクラスタを用いてクラスタ融合を実行するように拡張することができる。

テストＳＤＲ画像をマッピングするクロマのＭＭＲ係数は、以下のように導出することができる。

クロマ予測（ＳＤＲルマおよびクロマコードワードからのＨＤＲクロマコードワードの予測または推定）は、オフライントレーニングされたクロマディクショナリを使用して、最適化されたクロマ後方マッピング動作パラメータを決定または抽出することができる。クロマディクショナリは、ＳＤＲ画像を対応するマッピングされたＨＤＲ画像に後方再整形するためのＭＭＲ係数を導出するために使用することができるクラスタ固有（Ａ，Ｂ^ｃ０，Ｂ^ｃ１）の行列のリストを含む。クラスタ固有のクラスタ（Ａ，Ｂ^ｃ０，Ｂ^ｃ１）行列の複数のセットの融合を使用して、（例えば、順次、連続等の）画像／フレームのビデオシーケンス内の隣接する画像／フレームにわたって色の一貫性を維持するのを助けることができる。

機械学習ルマおよびクロママッピングの適用例
ルマおよびクロマ後方再整形マッピング（ＳＤＲルマおよびクロマコードワードからのＨＤＲルマおよびクロマコードワードの予測／推定）を使用して、ＨＤＲルックを操作し、メタデータを最適化するための多種多様な異なる可能性を開く（またはサポートする）ことができる。

エンコーダによるスタイル転送
いくつかの動作シナリオでは、図２Ｆに示すように、異なるスタイル（例えば、青みがかった画像を好むスタイル、赤みがかった画像を好むスタイル、強いコントラストを好む第１のカラーリストのスタイル、よりソフトな画像を好む異なるカラーリストのスタイルなど）または異なるＨＤＲルックを、ビデオ信号で搬送されるダイナミックコンポーザメタデータまたはＳＤＲ画像で符号化された符号化ビットストリームによって、上流のビデオエンコーダから下流のビデオデコーダに転送することができる。

ビデオ信号または符号化ビットストリームに符号化された各ＳＤＲ画像２８２について、エンコーダからデコーダに送信されたダイナミックコンポーザメタデータの第１の部分は、ＳＤＲ画像（２８２）から抽出された画像特徴（例えば、チャネルＹ、Ｃｂ／Ｃ０、およびＣｒ／Ｃ１などのコードワードに基づいて計算された画像特徴）を含む特徴ベクトル２８４に選択されたＧＰＲモデルのセットを適用することによって生成されたルマ後方再整形マッピング（例えば、後方再整形曲線、ＢＬＵＴなど）を指定または定義する第１の動作パラメータを含むことができる。

ＳＤＲ画像（２８２）のためのＧＰＲモデルの選択されたセットは、２０６－１から２０６－ＮのようなＧＰＲモデルの異なるセットの中から選択されてもよく、ここで、Ｎは１より大きい正の整数である。ＧＰＲモデル２０６－１～２０６－Ｎの異なるセットは、１つまたは複数の異なるトレーニングデータセット内のトレーニングＳＤＲ－ＨＤＲ画像ペアの異なるセットによってトレーニングされ得る。例えば、トレーニングＳＤＲ画像のセットについて、対応するトレーニングＨＤＲ画像の複数のセットは、対応するトレーニングＨＤＲ画像の複数のセット内の各セットが対応するトレーニングＨＤＲ画像の複数のセット内に表される複数のユーザ所望のスタイルまたはＨＤＲルックの中の別個のユーザ所望のスタイルまたはＨＤＲルックを表すように生成されてもよい。本明細書で使用されるように、ユーザ所望のスタイルまたはＨＤＲルックは、カラーリスト、プロのビデオクリエータ、スタジオなどのユーザによって好まれるまたは意図されるような画像のスタイル（例えば、ＨＤＲ画像など）を指すことができる。

一実施例では、選択されたユーザ所望のスタイルまたはＨＤＲルックに対応するＧＰＲモデルの選択されたセットは、ＧＰＲモデル２０６－１～２０６－Ｎの異なるセットの中から選択された（例えば、ユーザ選好、システム構成情報などに基づいて）ＧＰＲモデルの単一のセットであってもよい。

エンコーダからデコーダに送信されるダイナミックコンポーザメタデータの第１の部分、またはＳＤＲ画像（２８２）のためのルマ後方再整形マッピングを指定または定義する第１の動作パラメータは、ＳＤＲ画像（２８２）内のＳＤＲルマコードワードを対応するマッピングされたＨＤＲ画像内のマッピングされたＨＤＲルマコードワードに後方再整形するためにデコーダによって使用されるＢＬＵＴまたは後方再整形曲線の表現／仕様を含むことができる。いくつかの実施形態では、ＢＬＵＴまたは後方再整形曲線は、複数の２次多項式２８８でそれぞれ近似された複数の（例えば、最大８等）曲線セグメントに区分化または分割されてもよい。複数または一組の２次多項式（２８８）を指定または定義する多項式係数は、ビデオ信号または符号化ビットストリーム内の１つまたは複数の画像メタデータコンテナ（たとえば、画像コンテンツコンテナなどとは別個）内の（各）ＳＤＲ画像／フレーム（２８２）について、ダイナミックコンポーザメタデータの第１の部分でエンコーダから下流のデコーダに送ることができる。

同様に、ビデオ信号または符号化ビットストリームに符号化された各ＳＤＲ画像（２８２）について、エンコーダからデコーダに送信されたダイナミックコンポーザメタデータの第２の部分は、（例えば、Ａ行列およびＢ行列の複数のセット、これらの行列内のＭＭＲ係数などを備える）選択されたクロマディクショナリを特徴ベクトル（２８４）に適用することによって生成されたクロマ後方再整形マッピング（例えば、ＭＭＲ係数など）を指定または定義する第２の動作パラメータを含むことができる。

ＳＤＲ画像（２８２）のために選択されたクロマディクショナリは、２１０－１から２１０－Ｎのような異なるクロマディクショナリの中から選択されてもよく、ここで、Ｎは上述のようにＧＰＲモデルのためのものと同じ整数であってもなくてもよく、１より大きい正の整数である。異なるクロマディクショナリ２１０－１～２１０－Ｎは、異なるトレーニングデータセット内のトレーニングＳＤＲ－ＨＤＲ画像ペアの異なるセット（上述のＧＰＲモデルのセットと同じセットであってもよいし、同じセットでなくてもよい）によってトレーニングされてもよい。異なるトレーニングデータセット内のトレーニングＳＤＲ－ＨＤＲ画像ペアのこれらの異なるセットは、異なる対応するユーザ所望のスタイルまたはＨＤＲルックを有することができる。

一実施例では、選択されたクロマディクショナリは、（例えば、ユーザ選好、システム構成情報などに基づく）異なるクロマディクショナリ２１０－１～２１０－Ｎの中から選択された単一のクロマディクショナリとすることができる。

エンコーダからデコーダに送信されるダイナミックコンポーザメタデータの第２の部分、またはＳＤＲ画像（２８２）のためのクロマ後方再整形マッピングを指定または定義する第２の動作パラメータは、ＳＤＲ画像（２８２）内のＳＤＲルマおよびクロマコードワードを対応するマッピングされたＨＤＲ画像内のマッピングされたＨＤＲクロマコードワードにマッピングするためにデコーダによって使用されるクロマ行列（たとえば、Ａ行列およびＢ行列）内のＭＭＲ係数２９０を含むことができる。ＭＭＲ係数（２９０）は、ダイナミックコンポーザメタデータの第２の部分において、ビデオ信号または符号化ビットストリーム内の１つまたは複数の画像メタデータコンテナ（例えば、画像コンテンツコンテナとは別個など）内の（各）ＳＤＲ画像／フレーム（２８２）について、エンコーダから下流のデコーダ（１つまたは複数）に送信することができる。

スタイル転送をサポートするＳＤＲ－ＨＤＲ画像ペアの異なるセットは、異なるＨＤＲルックまたは異なるユーザ定義スタイルの（または、に適応させた）（トレーニング）ＨＤＲ画像を含むことができる。例えば、トレーニングデータセットの第１のトレーニングデータセット内のＳＤＲ－ＨＤＲ画像ペアの第１のセットは、第１のＨＤＲルックまたは第１のユーザ定義スタイルに対応することができ、トレーニングデータセットの第２のトレーニングデータセット内のＳＤＲ－ＨＤＲ画像ペアの第２の異なるセットは、第２の異なるＨＤＲルックまたは第２の異なるユーザ定義スタイルに対応することができる。

ＳＤＲ画像（２８２）について、異なるＨＤＲルックまたは異なるユーザ定義スタイルの異なるルマおよびクロマ後方再整形マッピングは、ＧＰＲ（ルマ予測／推定）モデル（２０６－１～２０６－Ｎ）の異なるセットに基づいて生成された異なるＢＬＵＴおよび／またはＭＭＲ係数の異なるセットによって、および／または異なるクロマディクショナリ（２１０－１～２１０－Ｎ）によって表すことができる。ＧＰＲモデルの異なるセットおよび／または異なるクロマディクショナリは、（異なるトレーニングデータセット内の）異なるＨＤＲルックまたは異なるユーザ定義スタイルのＳＤＲ－ＨＤＲ画像ペアの異なるセットの上でそれぞれトレーニングされ、次いで、ＳＤＲ画像（２８２）などの任意の（例えば、テスト、予測されるべき、後方再整形されるべき）ＳＤＲ画像に個別に（例えば、距離測度に基づいて選択された最も近いスタイルまたはルックなど）適用され得る。

トレーニングデータセットの特定のトレーニングデータセット内の（トレーニング）ＨＤＲ画像のセット上で学習されたＧＰＲモデルおよびクロマディクショナリを使用して、ＨＤＲ画像のセットの特定のスタイルまたはルックで具現化される固有のユーザ意図を取り込むことができる。これらのＧＰＲモデルおよびクロマディクショナリは次に、特定のトレーニングデータセット内の（トレーニング）ＨＤＲ画像のセット内のスタイルまたはルックを、他の（例えば、これまで）見られなかったＳＤＲ画像を後方再整形することから生成されたマッピングされたＨＤＲ画像に浸透させるために使用することができる。

例として、ユーザは、ユーザが適応することを望むかまたは意図する１つまたは複数のユーザが望むスタイルまたは１つまたは複数のＨＤＲルックに、（または同じ視覚オブジェクト、キャラクタ、シーン、背景などを描写する）トレーニングＳＤＲ画像に対応するトレーニングＨＤＲ画像を自由に操作する（または操作することができる）。トレーニングＳＤＲ画像は、１つ以上のユーザ所望のスタイルまたは１つ以上のＨＤＲルックの各々のトレーニングＨＤＲ画像とペアにすることができ、トレーニングデータセットを形成し、１つまたは複数の異なるトレーニングデータセットを生じさせる。

その後、本明細書に記載されるようなＧＰＲモデルの１つまたは複数のセットおよび１つまたは複数のクロマディクショナリは、それぞれのユーザ定義スタイルまたはＨＤＲルックを入力として有する（１つまたは複数の異なるトレーニングデータセットの）各トレーニングデータセット内のトレーニングＳＤＲ画像およびトレーニングＨＤＲ画像を使用する機械学習によって、直接的かつ自動的にトレーニングされ得る。

次いで、トレーニングされたＧＰＲモデルおよびクロマディクショナリは、他のマップされたＨＤＲ画像が１つまたは複数のトレーニングデータセットのうちの１つのトレーニングＨＤＲ画像に表される特定のサポートされたユーザ所望のスタイルまたはＨＤＲルックを取得するために、ユーザが他のマッピングされたＨＤＲ画像に対して何らかの操作または手動操作を実行することなく、他の任意のＳＤＲ画像を後方再整形することによって生成される他のマッピングされたＨＤＲ画像に、すべてのユーザ所望のスタイルまたはＨＤＲルックの間で、特定のサポートされたユーザ所望のスタイルまたはＨＤＲルックを自動的に浸透または伝播することができる。その結果、本明細書で説明する技法の下では、ユーザが所望するスタイルまたはＨＤＲルックのマッピングされたＨＤＲ画像を生成するためのコストおよび努力は、ユーザの所望のスタイルまたはＨＤＲルックをすべてのビデオシーケンスについて合成されたＨＤＲ画像に手動で適用するなど、他の手法の下よりもはるかに少ないレベルまで大幅に低減することができる。

エンコーダ側からデコーダ側にスタイルを転送するために、上流のビデオエンコーダは、様々なクロマディクショナリ（２１０－１～２１０－Ｎ）と、異なるトレーニングデータセットをそれぞれ有する１人または複数のユーザによってトレーニングされたＧＰＲモデルのセット（２０６－１～２１０－Ｎ）との間で切り替えることができる。異なるトレーニングデータセットの特定のトレーニングデータセットによってトレーニングされるように、特定のクロマディクショナリおよびＧＰＲモデルの特定のセットを選択することは、特定のユーザ所望のスタイルまたはＨＤＲルックを、特定のトレーニングデータセットのトレーニングＨＤＲ画像で表現されるように達成するためのダイナミックコンポーザメタデータを作成することにつながる。

本明細書で説明されるダイナミックコンポーザメタデータは、メディアコンテンツデータ（例えば、ビデオフレーム、オーディオサンプル、変換係数など）を搬送するために使用される画像コンテンツコンテナ／コンストラクトとは別個の１つまたは複数の画像メタデータコンテナ／コンストラクトにおいて、ビデオ信号に圧縮／符号化され得る。

クロマディクショナリは、各クロマチャネルのための複数のＡ行列およびＢ行列を含むことができる。図２Ｆに図示されるように、いくつかの実施形態では（例えば、２２など）、クロマディクショナリ内のＡ行列およびＢ行列の１つまたは複数のセットのから導出されるＭＭＲ係数は、ビデオ信号内の各ＳＤＲ画像／フレームに対して別々に送ることができる。しかしながら、ビデオシーケンスが長い動作シナリオでは、下流のデコーダに送信されるべきクロマディクショナリのＭＭＲ係数を含むダイナミックコンポーザメタデータのデータ量がかなり大きくなり得る。

いくつかの実施形態では、各ＳＤＲ画像／フレームのＭＭＲ係数を個別に送信する代わりに、特定の（サポートされた）クロマディクショナリ（例えば、２１０－１から２１０－Ｎのうちの１つなど）を、クロマディクショナリから選択された特定のクロマディクショナリが後方再整形の目的のために使用され得るビデオシーケンスの始めに送信することができる。

図２Ｇに示すように、エンコーダ側では、ビデオシーケンス内の各ＳＤＲ画像／フレーム（２８２）について、異なるトレーニングデータセットの（選択されたクロマディクショナリをトレーニングまたは導出するために使用される）特定のトレーニングデータセット内の（トレーニング）ＳＤＲ－ＨＤＲ画像ペアの１つまたは複数の選択されたクラスタ（例えば、ＳＤＲ画像／フレームから抽出された特徴ベクトルに基づいて選択された最上位の最も近いクラスタ）を識別する１つまたは複数の（例えば、クラスタなどの）インデックス番号または値（またはクロマディクショナリインデックス）のみが、ＳＤＲ画像／フレーム（２８２）とともに下流のデコーダに送信される。下流のデコーダに送信されるインデックス番号または値は、下流のデコーダによって、１つまたは複数のクラスタに対応する特定のクロマディクショナリ内のＡ行列およびＢ行列の１つまたは複数の選択されたセットを検索および取得するために使用することができる。特定のクロマディクショナリ内のＡ行列およびＢ行列の取得されたセットは、クロマ後方再整形のためにデコーダ側でＭＭＲ係数を導出することができるＡ行列およびＢ行列の（例えば、最上位の最も近い、結合された／融合されたなどの）セットを導出するか、または融合するために使用することができる。その結果、送信されたダイナミックコンポーザメタデータのデータ量は、大幅にまたは顕著に減少させることができる－各クロマチャネルのルックアップ動作の１つまたは複数のインデックス番号／値に対する各ＳＤＲ画像／フレームのための２２個のＭＭＲ係数。特定のクロマディクショナリのクラスタインデックス番号／値は、これらの番号／値の符号化をサポートするコーディングシンタックスに基づいてビデオ信号に符号化できる。

デコーダによるスタイル転送
エンコーダ側でのスタイル転送と同様に、本明細書で説明するようなスタイル転送の一部または全部を、デコーダ側で使用可能にし、実施し、または実行することができる。

図２Ｈに示すように、１つまたは複数のＳＤＲビデオシーケンスで符号化された符号化ビットストリームと、すべての利用可能なＧＰＲモードのセットから選択されたＧＰＲモデルの特定のセットと、すべての利用可能なクロマディクショナリ（たとえば、２１０－１から２１０－Ｎなど）から選択された特定のクロマディクショナリとを用いて構築された特定のＢＬＵＴを備える画像メタデータとは、下流のデコーダによって、上流のエンコーダから直接または間接的に受信され得る。ＧＰＲモデルの利用可能なセットおよび利用可能なクロマディクショナリ（２１０－１～２１０－Ｎ）は、１つまたは複数のトレーニングデータセット内の（トレーニング）ＳＤＲ－ＨＤＲ画像ペアの１つまたは複数のそれぞれのセットに対応するか、またはそれを用いた機械学習から導出することができる。ＳＤＲ－ＨＤＲ画像ペアのそれぞれのセットにおけるＳＤＲ－ＨＤＲ画像ペアのそれぞれのセットは、自動クラスタリングアルゴリズム／方法から生成された画像クラスタを含むことができ、それぞれのユーザが所望するスタイルまたはＨＤＲルックに対応する。選択されたクロマディクショナリは、ＳＤＲ画像（例えば、２８２など）を含むビデオシーケンスの先頭にある画像メタデータの中で送られてもよく、ＳＤＲ画像からマッピングされたＨＤＲ画像が、選択されたユーザ所望のスタイルまたはＨＤＲルックを獲得するためのものである。特定のＢＬＵＴは、ＳＤＲ画像（例えば、１つのＳＤＲ画像に対する１つの画像特有のＢＬＵＴなど）と共に画像メタデータの中で送られることがあり、ＳＤＲ画像からマッピングされたＨＤＲ画像は、選択されたユーザ所望のスタイルまたはＨＤＲルックを獲得するためである。

いくつかの実施形態では、画像メタデータは、ＭＭＲ係数を導出するために結合／融合されたクロマクラスタに結合／融合される１つまたは複数の特定のクロマクラスタを識別する１つまたは複数の特定のクラスタインデックス（例えば、１つまたは複数の数、１つまたは複数の値、１つまたは複数の整数など）を搬送するか、または備えるダイナミックコンポーザメタデータを含み、ＭＭＲ係数はＳＤＲ画像（２８２）上でクロマ後方再整形を実行するために使用することができる。スタイル転送のこのプロセスはエンコーダ側でのスタイル転送と同様であり、利用可能なクロマディクショナリ（２１０－１～２１０－Ｎ）の中から選択されたクロマディクショナリを事前に送信し、特定のクロマディクショナリ内の選択された、または結合された／融合されたＡ行列およびＢ行列のクロマ行列からＭＭＲ係数（たとえば、２９０など）を計算または導出するタスクをデコーダに委ね、導出されたＭＭＲ係数（２９０）を、ＳＤＲ画像（２８２）から（たとえば、デコーダによって、エンコーダによって）抽出された特徴ベクトル（たとえば、２８４など）に適用するオーバヘッドを伴う。その結果、デコーダ側で、ユーザが所望するスタイルやＨＤＲルックを制御することができる。

ＨＤＲルックを操作する自由を提供することとは別に、本明細書に記載される技術はまた、スタティックメタデータアプローチと比較してＨＤＲ経験を改善する。スタティックメタデータは、個々のＳＤＲ画像の個々のＳＤＲ性質に関係なく、固定された後方ＬＵＴおよびＭＭＲ係数を使用することができ、これは、再構成／マッピングされたＨＤＲ画像におけるハイライト／明るい領域の過飽和、ＨＤＲクロマの不飽和、暗い領域における明るさの上昇などにつながる可能性がある。

これらの問題は、ＢＬＵＴ、多項式係数、クロマディクショナリ、クロマディクショナリインデックス／数／値、ＭＭＲ係数、特徴ベクトル等のようなルマおよびクロマ後方再整形曲線／マッピングを含む画像メタデータで軽減することができる。これらの技法は、ＳＤＲコンテンツの固有の特徴、ならびに（例えば、スタジオ、ユーザ、システムなどの）所望のスタイルまたはＨＤＲルックを、トレーニングＨＤＲ画像を通して自動的に学習／識別する。（例えば、トレーニングしていない、見えていない、予測される、マッピングされるなどの）ＳＤＲ画像からの特徴ベクトルは、トレーニングＳＤＲ画像からのトレーニング特徴ベクトルクラスタと、またはそのクラスタ重心と自動的に比較することができる。この比較に基づいて、トレーニングＳＤＲ画像の最も近いクラスタを、ＳＤＲ画像に対して識別することができる。次いで、後方再整形マッピングを決定／導出して、マッピングされたＨＤＲ画像に、（例えば、最も近いクラスタ内などの）特定のトレーニングデータセット内に既に見られた性質、スタイル、およびＨＤＲルックを継承させることができる。

本明細書に記載する技術は、ダイナミックコンポーザメタデータのような画像メタデータを符号化ビットストリームに符号化するための画像メタデータ符号化シンタックスを実現するために使用することができる。

例えば、符号化シンタックスは、（エンコーダおよびデコーダの両方が画像メタデータの符号化値を正しく解釈することができるように）指定されて、上流のビデオエンコーダから下流のビデオデコーダにクロマディクショナリ関連データ（例えば、クロマクラスタインデックス／数／値、クロマ行列、ＭＭＲ係数など）を搬送することができる。クロマディクショナリ関連データを運ぶための符号化シンタックスの例を、以下の表９および１０に示す。

表９に示すように、符号化シンタックス内の符号化シンタックス要素の第１のセットは、例えば、ビデオエンコーダから下流のビデオデコーダへビデオ信号（または符号化ビットストリーム）でビデオシーケンスを送るスタートアップ時に、画像メタデータのシーケンス毎の部分の一部または全部を転送することをサポートするために使用されてもよい。符号化シンタックス要素の第１のセットは、必ずしも限定されないが、以下のもの一部または全部を含むことができる：Ａ行列およびＢ行列、ＭＭＲ行列のそれぞれのセットを有する各クラスタを有する（例えば、利用可能な全ての）クロマディクショナリのためのクラスタの総数を指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｎｕｍ＿ｃｌｕｓｔｅｒｓ”；（例えば、単純平均化によって、重み付けされた平均化によって）所与の（例えば、各）ＳＤＲ画像／フレームのための結合／融合されたＡ行列およびＢ行列のセットを生成するために融合されるクラスタの総数を指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｎｕｍ＿ｃｌｕｓｔｅｒ＿ｆｕｓｉｏｎ”；クロマ後方再整形のためのＭＭＲ係数の総数を推定するために使用されるＣ０およびＣ１クロマチャネルのためのＭＭＲ次数（例えば、１次に対して０、２次に対して１、など）を指定する、ｍｍｒ＿ｏｒｄｅｒ＿ｍｉｎｕｓ１”；Ａ行列のサイズを指定する“ｎｕｍ＿Ａ＿ｃｏｅｆｆ”；Ｂ行列のサイズを指定する、“ｎｕｍ＿Ｂ＿ｃｏｅｆｆ”；特定のクラスタのためにＡ行列の整数および／または非整数部分を運ぶか指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｍａｔ＿Ａ＿ｉｎｔ”および／または“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｍａｔ＿Ａ”；特定のクラスタのためにＢ行列の整数および／または非整数部分を運ぶか指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｍａｔ＿Ｂ＿ｉｎｔ”および／または“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｍａｔ＿Ｂ”などである。

表９に示されるように、符号化シンタックスにおける符号化シンタックス要素の第２のセットは、例えば、ビデオエンコーダから下流のビデオデコーダへビデオ信号（または符号化ビットストリーム）でＳＤＲ画像を送るときに、画像メタデータの画像毎（フレーム毎）の部分の一部または全部の転送をサポートするために使用されてもよい。符号化シンタックス要素の第２のセットは、必ずしも限定されないが、以下のもの一部または全部を含むことができる：各ＳＤＲ画像／フレームに対するクラスタインデックスを指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｃｌｕｓｔｅｒ＿ｉｄｘ”；クラスタ融合中にＡ行列およびＢ行列に対する重み係数の整数および／または小数部分を搬送または指定する、“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｃｌｕｓｔｅｒ＿ｗｆ＿ｉｎｔ”および／または“ｃｈｒｏｍａ＿ｄｉｃｔ＿ｃｌｕｓｔｅｒ＿ｗｆ”などである。

プロセスフローの例
図４Ａは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティングデバイスまたはコンポーネント（たとえば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュール、予測モデルおよび特徴選択システム、逆マッピング生成およびアプリケーションシステムなど）は、このプロセスフローを実行し得る。ブロック４０２において、画像メタデータ予測システムは、複数のトレーニングＳＤＲ画像および複数の対応するトレーニングＨＤＲ画像を含む複数のトレーニング画像ペアを受信する。複数のトレーニング画像ペアにおける各トレーニング画像ペアは、複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像と、複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像とを含む。そのような各トレーニング画像ペアにおけるトレーニングＳＤＲ画像と対応するトレーニングＨＤＲ画像とは、同じ視覚コンテンツを描写するが、異なる輝度ダイナミックレンジを持つ。

ブロック４０４において、画像メタデータ予測システムは、複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から複数のトレーニング画像特徴ベクトルを抽出する。複数のトレーニング画像特徴ベクトル内のトレーニング画像特徴ベクトルは、複数のトレーニング画像ペアのそれぞれのトレーニング画像ペアのトレーニングＳＤＲ画像から抽出される。

ブロック４０６において、画像メタデータ予測システムは、複数のトレーニング画像特徴ベクトルと、複数の対応するトレーニングＨＤＲ画像を用いて導出されたグラウンドトゥルースとを使用して、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの動作パラメータ値を予測するために、１つまたは複数の後方再整形メタデータ予測モデルをトレーニングする。

画像メタデータ予測システムはさらに、１つまたは複数の後方再整形メタデータ予測モデルを適用して、マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードにＳＤＲ画像のＳＤＲルマコードワードを後方再整形するために使用される画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットを生成するように構成される。

一実施形態では、画像メタデータ予測システムがさらに、対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、ＳＤＲ画像から画像特徴ベクトルを抽出することと、１つまたは複数の後方再整形メタデータ予測モデルを適用し、マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードにＳＤＲ画像のＳＤＲルマコードワードを後方再整形するために使用される画像固有のルミナンス後方再整形曲線を指定する動作パラメータ値のセットを生成することと、を実行するように構成される。

一実施形態では、１つまたは複数の後方再整形メタデータ予測モデルがＧＰＲモデルを含む。

一実施形態では、画像メタデータ予測システムがさらに、対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、ＳＤＲ画像から画像特徴ベクトルを抽出することと、ＧＰＲモデルを適用して、ＳＤＲ画像のＳＤＲルマコードワードをマッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードに後方再整形するのに使用される画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットを生成することと、を実行するように構成される。

ＳＤＲ画像から抽出された画像特徴ベクトルは、任意選択的に、画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットの生成中に使用されてもよく、画像固有性は、抽出された画像特徴ベクトルから導出される。

一実施形態では、１つまたは複数の後方再整形メタデータ予測モデルは、多変量多重回帰（ＭＭＲ）マッピング行列のセットを含む。

一実施形態では、画像メタデータ予測システムは、対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、ＳＤＲ画像から画像特徴ベクトルを抽出することと、ＭＭＲマッピング行列を適用し、マッピングされたＨＤＲ画像のマッピングされたＨＤＲクロマコードワードにＳＤＲ画像のＳＤＲルマおよびクロマコードワードをマッピングするために使用される画像固有のクロマ後方再整形マッピングを指定するＭＭＲ係数のセットを生成することと、を実行するようにさらに構成される。

一実施形態では、画像特徴ベクトルは、ルマヒストグラムビンおよびクロマヒストグラムビンによって連結された１Ｄルマおよびクロマ結合ヒストグラムによって表される。

一実施形態では、複数のトレーニング画像ペアは、複数のトレーニング画像特徴ベクトルの自動クラスタリングによって生成されたトレーニング画像特徴ベクトルの複数のクラスタに対応するトレーニング画像ペアの複数のクラスタに分割され、複数のクラスタ重心は、トレーニング画像特徴ベクトルの複数のクラスタについて計算され、画像メタデータ予測システムは、対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、ＳＤＲ画像から画像特徴ベクトルを抽出することと、画像特徴空間内の画像特徴ベクトルに最も近い１つまたは複数のクラスタ重心を有するトレーニング画像特徴ベクトルの１つまたは複数のクラスタに対応するトレーニング画像ペアの１つまたは複数のクラスタを見つけることと、トレーニング画像ペアの１つまたは複数のクラスタを通してトレーニングされた後方再整形メタデータ予測モデルの１つまたは複数のセットを使用して、ＳＤＲ画像のＳＤＲルマおよびクロマコードワードをマッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにマッピングするために使用される１つまたは複数の画像固有の後方再整形マッピングを決定することと、を実行するようにさらに構成される。

一実施形態では、複数のトレーニング画像ペアが複数のトレーニングデータセットに対応し、複数のトレーニングデータセットは、トレーニングＳＤＲ画像の複数のセットおよび対応するトレーニングＨＤＲ画像の複数のセットを含み、複数のデータセット中の各トレーニングデータセットはトレーニングＳＤＲ画像の複数のセット中のトレーニングＳＤＲ画像のセットおよびトレーニングＨＤＲ画像の複数のセット中の対応するトレーニングＨＤＲ画像のセットを含み、対応するトレーニングＨＤＲ画像の複数のセットは複数の異なるＨＤＲルックを有し、対応するＨＤＲ画像の複数のセット中の対応するトレーニングＨＤＲ画像の各セットは、複数の異なるＨＤＲルック中のそれぞれのＨＤＲルックを有し、画像メタデータ予測システムは、対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、ＳＤＲ画像から画像特徴ベクトルを抽出することと、複数のトレーニングデータセット中の特定のトレーニングデータセットを通してトレーニングされた後方再整形メタデータ予測モデルの特定のセットを使用して、マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにＳＤＲ画像のＳＤＲルマおよびクロマコードワードをマッピングするのに使用される画像固有の後方再整形マッピングを決定することと、を実行するようにさらに構成される。

一実施形態では、画像メタデータ予測システムは、ＳＤＲ画像とともに、画像メタデータとして、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの１つまたは複数の動作パラメータ値を、ビデオ信号に符号化することを実行するようにさらに構成され、ビデオ信号は、１つまたは複数の受信者デバイスに、マッピングされたＨＤＲ画像から導出された表示画像を１つまたは複数のディスプレイデバイスでレンダリングさせる。

一実施形態では、後方再整形マッピングの動作パラメータ値のうちの１つまたは複数は、画像ごとのダイナミックコンポーザメタデータの符号化および復号をサポートする画像メタデータ符号化シンタックスに基づいてビデオ信号に符号化される。

一実施形態では、後方再整形マッピングの動作パラメータ値を予測するための１つまたは複数の後方再整形メタデータ予測モデルは、複数のＳＤＲルマコードワードから複数のマッピングされたＨＤＲルマコードワードを予測するための複数のＧＰＲモデルを含み、複数のＧＰＲモードによって予測された複数のマッピングされたＨＤＲルマコードワードは、補間によって後方再整形曲線を構築するために使用され、後方再整形曲線は複数の２次多項式によって近似され、複数の２次多項式を指定する動作パラメータは、ダイナミックコンポーザメタデータとして１つまたは複数の受信者復号システムに提供される。

図４Ｂは、本発明の一実施形態による例示的なプロセスフローを示す。いくつかの実施形態では、１つまたは複数のコンピューティングデバイスまたはコンポーネント（たとえば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュール、予測モデルおよび特徴選択システム、逆マッピング生成およびアプリケーションシステムなど）がこのプロセスフローを実行し得る。ブロック４５２において、ビデオ復号システムは、対応するマッピングされた高ダイナミックレンジ（ＨＤＲ）画像に後方再整形されるＳＤＲ画像をビデオ信号から復号する。

ブロック４５４において、ビデオ復号システムは、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を導出するために使用されるダイナミックコンポーザメタデータをビデオ信号から復号する。

画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、複数のトレーニング画像特徴ベクトルでトレーニングされた１つまたは複数の後方再整形メタデータ予測モデルによって予測される。複数のトレーニング画像特徴ベクトルは、複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から抽出される。複数のトレーニング画像ペアは、複数のトレーニングＳＤＲ画像と、複数の対応するトレーニングＨＤＲ画像とを含む。複数のトレーニング画像ペアにおける各トレーニング画像ペアは、複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像と、複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像とを含む。トレーニングＳＤＲ画像とそのような各トレーニング画像ペアにおける対応するトレーニングＨＤＲ画像は、同じ視覚コンテンツを描写するが、異なる輝度ダイナミックレンジを持つ。

ブロック４５６では、ビデオ復号システムは、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を使用して、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形する。

ブロック４５８において、ビデオ復号システムは、マッピングされたＨＤＲ画像から導出された表示画像をディスプレイデバイスでレンダリングさせる。

一実施形態では、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、後方ルックアップテーブル（ＢＬＵＴ）を近似する２次多項式のセットを指定する多項式係数を含む。２次多項式のセットを使用して構築されたＢＬＵＴは、ＳＤＲ画像のＳＤＲルマコードワードを、マッピングされたＨＤＲ画像のＨＤＲルマコードワードに後方再整形するために使用される。

一実施形態では、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、１つまたは複数のＭＭＲマッピング行列を指定するＭＭＲ係数を含み、ＭＭＲ係数は、ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを、マッピングされたＨＤＲ画像のＨＤＲクロマコードワードにマッピングするために使用される。

一実施形態では、１つまたは複数のクラスタインデックスは、ＳＤＲ画像のためのビデオ信号から復号され、１つまたは複数のクラスタインデックスは、ＳＤＲ画像に適用可能な、１つまたは複数のクロマディクショナリの中の特定のクロマディクショナリ内の１つまたは複数のクラスタを識別するために使用され、画像固有の多変量多重回帰（ＭＭＲ）係数は、１つまたは複数のクラスタインデックスを通して識別された特定のクロマディクショナリ内の１つまたは複数のクロマ行列セットから生成され、画像固有のＭＭＲ係数は、ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを、マッピングされたＨＤＲ画像のＨＤＲクロマコードワードにマッピングするために使用される。

一実施形態では、１つまたは複数の後方再整形メタデータ予測モデルがＧＰＲモデルを含む。

一実施形態では、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、画像固有の予測値を非画像固有のスタティック後方再整形マッピング値で補間することによって導出される少なくとも１つの値を含む。言い換えれば、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、画像固有の予測値および非画像固有のスタティック後方再整形マッピング値の両方に依存する関数によって導出される少なくとも１つの値を含む。

一実施形態では、ＳＤＲ画像は、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、ＥＤＲ色空間、ガンマ／ＨＬＧ／ＰＱ色空間、ＳＤＲ色空間などのうちの１つで表される。

一実施形態では、ディスプレイデバイス、モバイルデバイス、セットトップボックス、マルチメディアデバイスなどのコンピューティングデバイスは、前述の方法のいずれかを実行するように構成される。一実施形態では、装置はプロセッサを含み、前述の方法のいずれかを実行するように構成される。一実施形態では、ソフトウェア命令を記憶する非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されると、前述の方法のいずれかの実行を引き起こす。

一実施形態では、コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、前述の方法のいずれかの実行を引き起こす命令のセットを記憶する１つまたは複数の記憶媒体とを備える。

本明細書では別個の実施形態について議論するが、本明細書で議論する実施形態の任意の組み合わせおよび／または部分的実施形態を組み合わせて、さらなる実施形態を形成することができることに留意されたい。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラなどの集積回路（ＩＣ）デバイス、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または別の構成可能またはプログラマブル論理デバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、および／またはそのようなシステム、デバイス、またはコンポーネントのうちの１つまたは複数を含む装置で実装され得る。コンピュータおよび／またはＩＣは、本明細書で説明されるような、ダイナミックレンジが強化された画像の適応知覚量子化に関する命令を実行、制御、または実行することができる。コンピュータおよび／またはＩＣは、本明細書に記載される適応知覚量子化プロセスに関連する様々なパラメータまたは値のいずれかを計算してもよい。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組合せで実施することができる。

本発明のある特定の実施形態は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの１つまたは複数のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述のようなＨＤＲ画像の適応知覚量子化に関連する方法を実装することができる。本発明はまた、プログラム製品の形態で提供されてもよい。プログラム製品は、データプロセッサによって実行されると、データプロセッサに本発明の方法を実行させる命令を含む１組のコンピュータ可読信号を搬送する任意の非一時的媒体を含むことができる。本発明によるプログラム製品は、多種多様な形態のいずれであってもよい。プログラム製品は例えば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体などの物理媒体を含むことができる。プログラム製品上のコンピュータ可読信号は、任意選択で、圧縮または暗号化することができる。

構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が上記で言及されている場合、別段の指示がない限り、（「手段」への言及を含む）その構成要素への言及は、本発明の例示的な実施形態において機能を実行する開示された構造と構造的に同等でない構成要素を含む、説明された構成要素（例えば、機能的に同等）の機能を実行する任意の構成要素の同等物を含むものとして解釈されるべきである。

一実施形態によれば、本明細書で説明する技法は、１つまたは複数の専用コンピューティングデバイスによって実装される。専用コンピューティングデバイスは、技法を実行するためにハードワイヤードであってもよく、または技法を実行するように永続的にプログラムされた１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよく、あるいはファームウェア、メモリ、他のストレージ、またはそれらの組合せ内のプログラム命令に従って技法を実行するようにプログラムされた１つまたは複数の汎用ハードウェアプロセッサを含んでもよい。このような特殊な目的のコンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて、技法を達成することもできる。特殊な目的の計算デバイスは、デスクトップコンピュータシステム、ポータブル・コンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または技術を実現するためにハードワイヤードおよび／またはプログラムロジックを組み込んだその他のデバイスであってもよい。

例えば、図５は、本発明の実施形態を実施することができるコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２または他の通信メカニズムと、情報を処理するためのバス５０２と結合されたハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は例えば、汎用マイクロプロセッサであってもよい。

コンピュータシステム５００はまた、プロセッサ５０４によって実行される情報および命令を記憶するためにバス５０２に結合されたランダムアクセスメモリ（ＲＡＭ）または他のダイナミック記憶デバイスなどのメインメモリ５０６を含む。メインメモリ５０６はまた、プロセッサ５０４によって実行される命令の実行中に、一時変数または他の中間情報を記憶するために使用されてもよい。このような命令は、プロセッサ５０４にアクセス可能な非一時的記憶媒体に記憶されると、コンピュータシステム５００を、命令で指定された動作を実行するようにカスタマイズされた特殊な目的のマシンにする。

コンピュータシステム５００はさらに、バス５０２に結合された読取り専用メモリ（ＲＯＭ）５０８または他の静的記憶デバイスを含み、静的情報およびプロセッサ５０４のための命令を記憶する。磁気ディスクまたは光ディスクなどの５１０が提供され、情報および命令を記憶するためにバス５０２に結合される。

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示するために、液晶ディスプレイなどのディスプレイ５１２に結合することができる。英数字および他のキーを含む入力デバイス５１４は、情報およびコマンド選択をプロセッサ５０４に通信するためにバス５０２に結合される。別のタイプのユーザ入力デバイスは、プロセッサ５０４に方向情報およびコマンド選択を通信し、ディスプレイ５１２上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御５１６である。この入力デバイスは通常、デバイスが平面内の位置を指定することを可能にする第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の２つの軸における２つの自由度を有する。

コンピュータシステム５００は、コンピュータシステムと組み合わせて、コンピュータシステム５００が特殊な目的のマシンであることを引き起こすまたはプログラムする、カスタマイズされたハードワイヤードロジック、１つまたは複数のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを使用して、本明細書に記載する技術を実施することができる。一実施形態によれば、本明細書で説明する技法は、プロセッサ５０４がメインメモリ５０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、コンピュータシステム５００によって実行される。このような命令は、記憶デバイス５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてもよい。メインメモリ５０６に含まれる命令のシーケンスを実行することにより、プロセッサ５０４は、本明細書に記載するプロセスステップを実行する。代替的な実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。

本明細書で使用される「記憶媒体」という用語は、機械を特定の方式で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含むことができる。不揮発性媒体は例えば、記憶デバイス５１０のような光または磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のようなダイナミックメモリを含む。記憶媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光データ記憶媒体、穴のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップまたはカートリッジが挙げられる。

記憶媒体は伝送媒体とは異なるが、伝送媒体と併せて使用することができる。伝送媒体は、記憶媒体間の情報転送に関与する。例えば、伝送媒体は、バス５０２を構成するワイヤを含む同軸ケーブル、銅線および光ファイバを含む。また、伝送媒体は、ラジオ波および赤外線データ通信中に生成されるような音波または光波の形態をとることができる。

様々な形態の媒体が、実行のために１つまたは複数の命令の１つまたは複数のシーケンスをプロセッサ５０４に搬送することに関与し得る。例えば、命令は最初に、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で搬送されてもよい。遠隔コンピュータはそのダイナミックメモリに命令をロードし、モデムを使用して電話回線を介して命令を送ることができる。コンピュータシステム５００にローカルなモデムは、電話回線上でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号において搬送されるデータを受信することができ、適切な回路は、データをバス５０２上に配置することができる。バス５０２はデータをメインメモリ５０６に搬送し、そこからプロセッサ５０４が命令を取得して実行する。メインメモリ５０６によって受信された命令は、プロセッサ５０４による実行の前または後のいずれかで、任意選択で記憶デバイス５１０に記憶することができる。

コンピュータシステム５００は、バス５０２に結合された通信インターフェース５１８も含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されているネットワークリンク５２０への双方向データ通信結合を提供する。例えば、通信インターフェース５１８は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、またはモデムであり、対応するタイプの電話回線へのデータ通信接続を提供することができる。別の例として、通信インターフェース５１８は、互換性のあるＬＡＮへのデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクを実装することも可能である。任意のそのような実装形態では、通信インターフェース５１８が様々なタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。

ネットワークリンク５２０は、典型的には１つまたは複数のネットワークを介して他のデータデバイスにデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介して、ホストコンピュータ５２４またはインターネットサービスプロバイダ（ＩＳＰ）５２６によって運用されるデータデバイスへの接続を提供することができる。ＩＳＰ５２６は次に、現在一般に「インターネット」５２８と呼ばれているワールドワイドパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は共に、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータシステム５００との間でデジタルデータを搬送する、様々なネットワークを介する信号、ならびにネットワークリンク５２０上の信号、および通信インターフェース５１８を介する信号は、伝送媒体の例示的な形態である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２および通信インターフェース５１８を介して、アプリケーションプログラムの要求されたコードを送信することができる。

受信されたコードは、受信されたときにプロセッサ５０４によって実行され、および／または、後に実行するために、記憶デバイス５１０、または他の不揮発性記憶デバイスに記憶されてもよい。

等価物、拡張物、代替物およびその他
先述の明細では、実装ごとに異なる可能性のある多数の具体的詳細を参照して、本発明の実施形態を説明してきた。したがって、本発明が何であり、出願人によって本発明であることが意図されているのが何であるかの唯一の排他的な指標は、後続の補正を含む、そのような特許請求の範囲が発行される特定の形態で、本出願から発行される請求項のセットである。当該特許請求の範囲に含まれる用語に関して本明細書に明示的に記載される定義は、特許請求の範囲で使用される用語の意味を規定するものとする。したがって、特許請求の範囲に明示的に記載されていない限定、要素、特性、特徴、利点または属性は、当該特許請求の範囲の範囲を何らかの形で制限するものであってはならない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。

列挙された例示的な実施形態
本発明は、本発明のいくつかの部分の構造、特徴、および機能性を説明する以下の列挙された実施例（ＥＥＥ）を含むが、これらに限定されない、本明細書に記載された形態のいずれかで具現化されてもよい。
ＥＥＥ１．
複数のトレーニング標準ダイナミックレンジ（ＳＤＲ）画像および複数の対応するトレーニング高ダイナミックレンジ（ＨＤＲ）画像を含む複数のトレーニング画像ペアを受信することであって、前記複数のトレーニング画像ペアにおける各トレーニング画像ペアは、前記複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像および前記複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像を含み、各トレーニング画像ペアにおける前記トレーニングＳＤＲ画像および前記対応するトレーニングＨＤＲ画像は、同じ視覚的コンテンツを示すが、異なる輝度ダイナミックレンジを有する、受信することと、
前記複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から複数のトレーニング画像特徴ベクトルを抽出することであって、前記複数のトレーニング画像特徴ベクトルにおけるトレーニング画像特徴ベクトルは、前記複数のトレーニング画像ペアにおけるそれぞれのトレーニング画像ペアにおけるトレーニングＳＤＲ画像から抽出される、抽出することと、
前記複数のトレーニング画像特徴ベクトルおよび前記複数の対応するトレーニングＨＤＲ画像で導出されたグラウンドトゥルースを使用して、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの動作パラメータ値を予測するために、１つまたは複数の後方再整形メタデータ予測モデルをトレーニングすることと、を含む方法。
ＥＥＥ２．
前記１つまたは複数の後方再整形メタデータ予測モデルはガウス過程回帰（ＧＰＲ）モデルを含む、ＥＥＥ１記載の方法。
ＥＥＥ３．
対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受け取ることと、
前記ＳＤＲ画像から画像特徴ベクトルを抽出することと、
ＧＰＲモデルを適用して、前記ＳＤＲ画像のＳＤＲルマコードワードを、前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードに後方再整形するために使用される画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットを生成することと、をさらに含む、ＥＥＥ２に記載の方法。
ＥＥＥ４．
前記１つまたは複数の後方再整形メタデータ予測モデルは、多変量多重回帰（ＭＭＲ）マッピング行列のセットを含む、ＥＥＥ１～３のいずれか１つに記載の方法。
ＥＥＥ５．
対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、
前記ＳＤＲ画像からの画像特徴ベクトルを抽出することと、
前記ＭＭＲマッピング行列を適用して、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードをマッピングされたＨＤＲ画像のマッピングされたＨＤＲクロマコードワードにマッピングするために使用される画像固有のクロマ後方再整形マッピングを指定するＭＭＲ係数のセットを生成することと、をさらに含む、ＥＥＥ４記載の方法。

ＥＥＥ６．
前記画像特徴ベクトルは、ルマヒストグラムビンおよびクロマヒストグラムビンによって連結された１Ｄルマおよびクロマ結合ヒストグラムによって表される、ＥＥＥ１～５のいずれかに記載の方法。
ＥＥＥ７．
前記複数のトレーニング画像ペアは、前記複数のトレーニング画像特徴ベクトルの自動クラスタ化によって生成されたトレーニング画像特徴ベクトルの複数のクラスタに対応するトレーニング画像ペアの複数のクラスタに分割され、複数のクラスタ重心は、トレーニング画像特徴ベクトルの前記複数のクラスタについて計算され、
対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、
前記ＳＤＲ画像から画像特徴ベクトルを抽出することと、
画像特徴空間内の前記画像特徴ベクトルに最も近い１つまたは複数のクラスタ重心を有するトレーニング画像特徴ベクトルの１つまたは複数のクラスタに対応するトレーニング画像ペアの１つまたは複数のクラスタを見つけることと、
トレーニング画像ペアの前記１つまたは複数のクラスタを介してトレーニングされた後方再整形メタデータ予測モデルの１つまたは複数のセットを使用して、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにマッピングするために使用される１つまたは複数の画像固有の後方再整形マッピングを決定することと、をさらに含む、ＥＥＥ１～６のいずれか１つに記載の方法。
ＥＥＥ８．
前記複数のトレーニング画像ペアは複数のトレーニングデータセットに対応し、前記複数のトレーニングデータセットは、トレーニングＳＤＲ画像の複数のセットと、対応するトレーニングＨＤＲ画像の複数のセットとを含み、前記複数のデータセット内の各トレーニングデータセットは、トレーニングＳＤＲ画像の前記複数のセット内のトレーニングＳＤＲ画像のセットと、トレーニングＨＤＲ画像の前記複数のセット内の対応するトレーニングＨＤＲ画像のセットとを含み、対応するトレーニングＨＤＲ画像の前記複数のセットは複数の異なるＨＤＲルックを有し、対応するＨＤＲ画像の前記複数のセット内の対応するトレーニングＨＤＲ画像の各セットは、複数の異なるＨＤＲルック内のそれぞれのＨＤＲルックを有し、
対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、
前記ＳＤＲ画像から画像特徴ベクトルを抽出することと、
複数のトレーニングデータセット内の特定のトレーニングデータセットを介してトレーニングされた後方再整形メタデータ予測モデルの特定のセットを使用して、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにマッピングするために使用される画像固有の後方再整形マッピングを決定することと、をさらに含む、ＥＥＥ１～７のいずれか１つに記載の方法。
ＥＥＥ９．
ＳＤＲ画像とともに、画像メタデータとして、前記ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの１つまたは複数の動作パラメータ値をビデオ信号に符号化することをさらに含み、前記ビデオ信号は１つまたは複数の受信デバイスに、前記マッピングされたＨＤＲ画像から導出された表示画像を１つまたは複数のディスプレイデバイスでレンダリングさせる、ＥＥＥ１～８のいずれか１つに記載の方法
ＥＥＥ１０．
後方再整形マッピングの１つまたは複数の動作パラメータ値は、画像ごとのダイナミックコンポーザメタデータの符号化および復号をサポートする画像メタデータ符号化シンタックスに基づいてビデオ信号に符号化される、ＥＥＥ１－９のいずれか１つに記載の方法。

ＥＥＥ１１．
後方再整形マッピングの動作パラメータ値を予測するための１つまたは複数の後方再整形メタデータ予測モデルは、複数のＳＤＲルマコードワードから複数のマッピングされたＨＤＲルマコードワードを予測するための複数のガウス過程回帰（ＧＰＲ）モデルを含み、前記複数のＧＰＲモードによって予測された複数のマッピングされたＨＤＲルマコードワードは補間によって後方再整形曲線を構築するために使用され、前記後方再整形曲線は複数の２次多項式によって近似され、前記複数の２次多項式を指定する動作パラメータは、ダイナミックコンポーザメタデータとして１つまたは複数の受信者復号システムに提供される、ＥＥＥ１～１０のいずれかに記載の方法。
ＥＥＥ１２．
方法であって、
ビデオ信号から、対応するマッピングされた高ダイナミックレンジ（ＨＤＲ）画像に後方再整形される標準ダイナミックレンジ（ＳＤＲ）画像を復号することと、
前記ビデオ信号から、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を導出するために使用されるダイナミックコンポーザメタデータを復号することと、を含み、
画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値は、複数のトレーニング画像特徴ベクトルでトレーニングされた１つまたは複数の後方再整形メタデータ予測モデルによって予測され、
前記複数のトレーニング画像特徴ベクトルは、複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から抽出され、
前記複数のトレーニング画像ペアは、複数のトレーニングＳＤＲ画像と複数の対応するトレーニングＨＤＲ画像とを含み、前記複数のトレーニング画像ペアにおける各トレーニング画像ペアは、前記複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像と、前記複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像とを含み、各そのようなトレーニング画像対における前記トレーニングＳＤＲ画像と前記対応するトレーニングＨＤＲ画像とは同じ視覚的コンテンツを示すが、異なる輝度ダイナミックレンジを有し、
前記方法は、さらに、
前記画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を使用して、前記ＳＤＲ画像を前記マッピングされたＨＤＲ画像に後方再整形することと、
前記マッピングされたＨＤＲ画像から導出された表示画像をディスプレイデバイスでレンダリングさせることと、を含む、方法。
ＥＥＥ１３．
前記画像固有の後方再整形マッピングの前記１つまたは複数の動作パラメータ値は、後方ルックアップテーブル（ＢＬＵＴ）に近似する二次多項式のセットを指定する多項式係数を含み、前記二次多項式のセットを使用して構築された前記ＢＬＵＴは、前記ＳＤＲ画像のＳＤＲルマコードワードを、前記マッピングされたＨＤＲ画像のＨＤＲルマコードワードに後方再整形するために使用される、ＥＥＥ１２に記載の方法。
ＥＥＥ１４．
前記画像固有の後方整形マッピングの前記１つまたは複数の動作パラメータ値は、１つまたは複数のＭＭＲマッピング行列を指定する多変量多重回帰（ＭＭＲ）係数を含み、前記ＭＭＲ係数は、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを、前記マッピングされたＨＤＲ画像のＨＤＲクロマコードワードにマッピングするために使用される、ＥＥＥ１２またはＥＥＥ１３に記載の方法。
ＥＥＥ１５．
１つまたは複数のクラスタインデックスは前記ＳＤＲ画像のための前記ビデオ信号から復号され、１つまたは複数のクラスタインデックスは、前記ＳＤＲ画像に適用可能な、１つまたは複数のクロマディクショナリの中の特定のクロマディクショナリにおける１つまたは複数のクラスタを識別するために使用され、画像固有の多変量多重回帰（ＭＭＲ）係数は、前記１つまたは複数のクラスタインデックスを通して識別された特定のクロマディクショナリの中の１つまたは複数のクロマ行列のセットから生成され、前記画像固有のＭＭＲ係数は、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを、マッピングされたＨＤＲ画像のＨＤＲクロマコードワードにマッピングするために使用される、ＥＥＥ１２～１４のいずれか１つに記載の方法。

ＥＥＥ１６．
前記１つまたは複数の後方再整形メタデータ予測モデルは、ガウス過程回帰（ＧＰＲ）モデルを含む、ＥＥＥ１２～１５のいずれか１つに記載の方法。
ＥＥＥ１７．
前記画像固有の後方再整形マッピングの前記１つまたは複数の動作パラメータ値は、画像固有の予測値を非画像固有のスタティック後方再整形マッピング値で補間することによって導出される少なくとも１つの値を含む、ＥＥＥ１２～１６のいずれかに記載の方法。
ＥＥＥ１８．
前記ＳＤＲ画像は、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、または標準ダイナミックレンジ（ＳＤＲ）色空間のうちの１つで表される、ＥＥＥ１２～１７のいずれか１つに記載の方法。
ＥＥＥ１９．
ＥＥＥ１～１８に記載の方法のいずれか１つを実行するように構成された、コンピュータシステム。
ＥＥＥ２０．
プロセッサを含み、ＥＥＥ１～１８に記載の方法のいずれか１つを実行するように構成された、装置。
ＥＥＥ２１．
ＥＥＥ１～１８に記載のいずれか１つの方法による方法を実行するためのコンピュータ実行可能命令を記憶した、非一時的コンピュータ読み取り可能な記憶媒体。

Claims (15)

1. 複数のトレーニング標準ダイナミックレンジ（ＳＤＲ）画像および複数の対応するトレーニング高ダイナミックレンジ（ＨＤＲ）画像を含む複数のトレーニング画像ペアを受信することであって、前記複数のトレーニング画像ペアにおける各トレーニング画像ペアは、前記複数のトレーニングＳＤＲ画像におけるトレーニングＳＤＲ画像および前記複数の対応するトレーニングＨＤＲ画像における対応するトレーニングＨＤＲ画像を含み、各トレーニング画像ペアにおける前記トレーニングＳＤＲ画像および前記対応するトレーニングＨＤＲ画像は、同じ視覚的コンテンツを示すが、異なる輝度ダイナミックレンジを有する、受信することと、
   前記複数のトレーニング画像ペアにおける複数のトレーニングＳＤＲ画像から複数のトレーニング画像特徴ベクトルを抽出することであって、前記複数のトレーニング画像特徴ベクトルにおけるトレーニング画像特徴ベクトルは、前記複数のトレーニング画像ペアにおけるそれぞれのトレーニング画像ペアにおけるトレーニングＳＤＲ画像から抽出される、抽出することと、
   前記複数のトレーニング画像特徴ベクトルおよび前記複数の対応するトレーニングＨＤＲ画像で導出されたグラウンドトゥルースを使用して、ＳＤＲ画像をマッピングされたＨＤＲ画像に後方再整形するために使用される後方再整形マッピングの動作パラメータ値を予測するために、１つまたは複数の後方再整形メタデータ予測モデルをトレーニングすることと、
   対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受け取ることと、
   前記受け取ったＳＤＲ画像から画像特徴ベクトルを抽出することと、
   前記１つまたは複数の後方再整形メタデータ予測モデルを適用して、前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードに前記受け取ったＳＤＲ画像のＳＤＲルマコードワードを後方再整形するために使用される画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットを生成することと、を含む、方法。
2. 前記１つまたは複数の後方再整形メタデータ予測モデルはガウス過程回帰（ＧＰＲ）モデルを含む、方法であって、
   ＧＰＲモデルを適用して、前記ＳＤＲ画像のＳＤＲルマコードワードを、前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマコードワードに後方再整形するために使用される画像固有のルマ後方再整形曲線を指定する動作パラメータ値のセットを生成することと、をさらに含む、請求項１に記載の方法。
3. 前記１つまたは複数の後方再整形メタデータ予測モデルは、多変量多重回帰（ＭＭＲ）マッピング行列のセットを含む、請求項１または２に記載の方法。
4. 前記画像特徴ベクトルは、ルマヒストグラムビンおよびクロマヒストグラムビンによって連結された１Ｄルマおよびクロマ結合ヒストグラムによって表される、請求項１～３のいずれか一項に記載の方法。
5. 前記複数のトレーニング画像ペアは、前記複数のトレーニング画像特徴ベクトルの自動クラスタ化によって生成されたトレーニング画像特徴ベクトルの複数のクラスタに対応するトレーニング画像ペアの複数のクラスタに分割され、複数のクラスタ重心は、トレーニング画像特徴ベクトルの前記複数のクラスタについて計算され、
   対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、
   前記ＳＤＲ画像から画像特徴ベクトルを抽出することと、
   画像特徴空間内の前記画像特徴ベクトルに最も近い１つまたは複数のクラスタ重心を有するトレーニング画像特徴ベクトルの１つまたは複数のクラスタに対応するトレーニング画像ペアの１つまたは複数のクラスタを見つけることと、
   トレーニング画像ペアの前記１つまたは複数のクラスタを介してトレーニングされた後方再整形メタデータ予測モデルの１つまたは複数のセットを使用して、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにマッピングするために使用される１つまたは複数の画像固有の後方再整形マッピングを決定することと、をさらに含む、請求項１～４のいずれか一項に記載の方法。
6. 前記複数のトレーニング画像ペアは複数のトレーニングデータセットに対応し、前記複数のトレーニングデータセットは、トレーニングＳＤＲ画像の複数のセットと、対応するトレーニングＨＤＲ画像の複数のセットとを含み、前記複数のデータセット内の各トレーニングデータセットは、トレーニングＳＤＲ画像の前記複数のセット内のトレーニングＳＤＲ画像のセットと、トレーニングＨＤＲ画像の前記複数のセット内の対応するトレーニングＨＤＲ画像のセットとを含み、対応するトレーニングＨＤＲ画像の前記複数のセットは複数の異なるＨＤＲルックを有し、対応するＨＤＲ画像の前記複数のセット内の対応するトレーニングＨＤＲ画像の各セットは、複数の異なるＨＤＲルック内のそれぞれのＨＤＲルックを有し、
   対応するマッピングされたＨＤＲ画像に後方再整形されるＳＤＲ画像を受信することと、
   前記ＳＤＲ画像から画像特徴ベクトルを抽出することと、
   複数のトレーニングデータセット内の特定のトレーニングデータセットを介してトレーニングされた後方再整形メタデータ予測モデルの特定のセットを使用して、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを前記マッピングされたＨＤＲ画像のマッピングされたＨＤＲルマおよびクロマコードワードにマッピングするために使用される画像固有の後方再整形マッピングを決定することと、をさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 後方再整形マッピングの１つまたは複数の動作パラメータ値は、画像ごとのダイナミックコンポーザメタデータの符号化および復号をサポートする画像メタデータ符号化シンタックスに基づいてビデオ信号に符号化される、請求項１～６のいずれか一項に記載の方法。
8. 後方再整形マッピングの動作パラメータ値を予測するための１つまたは複数の後方再整形メタデータ予測モデルは、複数のＳＤＲルマコードワードから複数のマッピングされたＨＤＲルマコードワードを予測するための複数のガウス過程回帰（ＧＰＲ）モデルを含み、前記複数のＧＰＲモデルによって予測された複数のマッピングされたＨＤＲルマコードワードは補間によって後方再整形曲線を構築するために使用され、前記後方再整形曲線は複数の２次多項式によって近似され、前記複数の２次多項式を指定する動作パラメータは、ダイナミックコンポーザメタデータとして１つまたは複数の受信者復号システムに提供される、請求項１～７のいずれか一項に記載の方法。
9. 方法であって、
   ビデオ信号から、対応するマッピングされた高ダイナミックレンジ（ＨＤＲ）画像に後方再整形される標準ダイナミックレンジ（ＳＤＲ）画像を復号することと、
   前記ビデオ信号から、画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を導出するために使用されるダイナミックコンポーザメタデータを復号することと、
   前記画像固有の後方再整形マッピングの１つまたは複数の動作パラメータ値を使用して、前記ＳＤＲ画像を前記マッピングされたＨＤＲ画像に後方再整形することと、
   前記マッピングされたＨＤＲ画像から導出された表示画像をディスプレイデバイスでレンダリングさせることと、をさらに含む、請求項１から８のいずれか一項に記載の方法。
10. 前記画像固有の後方再整形マッピングの前記１つまたは複数の動作パラメータ値は、後方ルックアップテーブル（ＢＬＵＴ）に近似する二次多項式のセットを指定する多項式係数を含み、前記二次多項式のセットを使用して構築された前記ＢＬＵＴは、前記ＳＤＲ画像のＳＤＲルマコードワードを、前記マッピングされたＨＤＲ画像のＨＤＲルマコードワードに後方再整形するために使用される、請求項９に記載の方法。
11. 前記画像固有の後方整形マッピングの前記１つまたは複数の動作パラメータ値は、１つまたは複数のＭＭＲマッピング行列を指定する多変量多重回帰（ＭＭＲ）係数を含み、前記ＭＭＲ係数は、前記ＳＤＲ画像のＳＤＲルマおよびクロマコードワードを、前記マッピングされたＨＤＲ画像のＨＤＲクロマコードワードにマッピングするために使用される、請求項９または１０に記載の方法。
12. 前記画像固有の後方再整形マッピングの前記１つまたは複数の動作パラメータ値は、画像固有の予測値および非画像固有のスタティック後方再整形マッピング値の両方に依存する関数によって導出される少なくとも１つの値を含む、請求項９～１１のいずれか一項に記載の方法。
13. 請求項１～１２のいずれか一項に記載の方法を実行するように構成された、コンピュータシステム。
14. プロセッサを含み、請求項１～１２のいずれか一項に記載の方法を実行するように構成された、装置。
15. コンピューティングデバイスまたはシステムによって実行されると、前記コンピューティングデバイスまたはシステムに、請求項１～１２のいずれか一項に記載の方法を実行させる命令を有する、コンピュータプログラム。

Images