JP6964807B2 - エンドツーエンド単一レイヤの下位互換性のある符号化パイプラインにおける、高忠実度の完全参照及び低減参照符号化 - Google Patents

Description

［関連出願］
本願は、２０１８年５月１１出願の米国仮特許出願番号第６２／６７０,０８６号、２０１８年５月１１出願の欧州特許出願番号第１８１７１７９５．０号、及び２０１８年８月２１日出願の米国仮特許出願番号第６２／７２０,３７５号の優先権を主張し、各出願は参照によりその全体がここに組み込まれる。

［技術分野］
本発明は、概して画像に関連する。より具体的には、本発明の実施形態は、エンドツーエンド単一レイヤにおける下位互換性のある符号化パイプライン高忠実度の完全な参照及び高効率の低減された参照符号化に関する。

本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range (DR)）」は、例えば最も暗い黒色（darks）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system (HVS)）の能力に関連し得る。このシーンでは、ＤＲは「シーン参照」強度に関連する。ＤＲは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、ＤＲは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。

本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range (HDR)）」は、人間の視覚システム（ＨＶＳ）の大きさの１４〜１５倍またはそれより大きな程度に渡るＤＲ幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るＤＲは、ＨＤＲに関連して、何らかの方法で省略され得る。本願明細書で使用されるとき、用語「拡張ダイナミックレンジ（enhanced dynamic range (EDR)）」又は「視覚ダイナミックレンジ（visual dynamic range (VDR)）」は、個々に又は同義的に、目の動きを含む人間の視覚システム（ＨＶＳ）によりシーン又は画像内で知覚可能なＤＲに関連し、何からの光適応がシーン又は画像に渡り変化することを可能にする。本願明細書で使用されるとき、ＥＤＲは、５〜６桁の大きさに広がるＤＲに関連してよい。従って、ＨＤＲと呼ばれる実際のシーンに比べておそらくやや狭いが、それにも関わらず、ＥＤＲは広いＤＲ幅を表し、更にＨＤＲと呼ばれ得る。

実際には、画像は色空間の１つ以上の色成分（例えば、ルマＹ及びクロマＣｂ及びＣｒ）を含み、各色成分はピクセル当たりｎビット（例えば、ｎ＝８）の精度により表される。非線形輝度符号化（例えば、ガンマエンコーディング）を使用して、ｎ≦８である画像（例えば、カラー２４ビットＪＰＥＧ画像）は、標準ダイナミックレンジの画像であると考えられる。一方で、ｎ＞８である画像は、拡張ダイナミックレンジの画像であると考えられてよい。

所与のディスプレイのための参照電子光伝達関数（electro-optical transfer function (EOTF)）は、入力ビデオ信号の色値（例えば、輝度）と、ディスプレイにより生成される出力スクリーン色値（例えば、スクリーン輝度）との間の関係を特徴付ける。例えば、ＩＴＵ Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ１８８６「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」(March ２０１１)は、参照によりその全体がここに組み込まれ、平面パネルディスプレイの参照ＥＯＴＦを定義する。ビデオストリームが与えられると、そのＥＯＴＦに関する情報は、メタデータとしてビットストリームに埋め込まれてよい。用語「メタデータ」は、本願明細書では、符号化ビットストリームの部分として送信される任意の補助情報に関連し、復号画像をレンダリングするためにデコーダを支援する。このようなメタデータは、限定ではないが、本願明細書に記載されるような、色空間又は全色域（gamut）情報、参照ディスプレイパラメータ、及び補助信号パラメータ、を含んでよい。

用語「ＰＱ」は、本願明細書で使用されるとき、知覚輝度振幅量子化を表す。人間の視覚システムは、非常に非線形な方法で、増大する光レベルに反応する。刺激を見る人間の能力は、該刺激の輝度、該刺激のサイズ、該刺激を構成する空間周波数、及び特定の瞬間に適応される目が該刺激を見ている輝度レベル、により影響を受ける。幾つかの実施形態では、知覚量子化関数は、線形入力グレーレベルを、人間の視覚システムにおいてコントラスト感度閾値により良好に一致する出力グレーレベルにマッピングする。例示的なＰＱマッピング関数は、参照によりその全体がここに組み込まれるＳＭＰＴＥ ＳＴ２０８４：２０１４「High Dynamic Range EOTF of Mastering Reference Displays」（以後「ＳＭＰＴＥ」）に記載されており、固定刺激サイズが与えられると、輝度レベル（例えば、刺激レベル、等）毎に、該輝度レベルにおける最小可視コントラストステップが、該輝度レベルが最も敏感な適応レベル及び最も敏感な空間周波数に従い（ＨＶＳモデルに従い）選択される。

２００〜１０００ｃｄ／ｍ^２又はニト（nit）の輝度をサポートするディスプレイは、低いダイナミックレンジ（lower dynamic range (LDR)）を代表し、ＥＤＲ（又はＨＤＲ）に対して、標準ダイナミックレンジ（standard dynamic range (SDR)）とも呼ばれる。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば、１０００ニト〜５０００ニト、又はそれ以上）をサポートするＥＤＲディスプレイ上で表示されてよい。このようなディスプレイは、高輝度能力（例えば０〜１００００ニト）をサポートする代替のＥＯＴＦを使用して定義されてよい。このようなＥＯＴＦの一例は、ＳＭＰＴＥで定義される。ここで発明者により認識されたように、種々のＳＤＲ及びＨＤＲディスプレイ装置の表示能力をサポートするために使用可能なビデオデータを符号化及び復号する改良された技術が望ましい。

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。

本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。
ビデオ配信パイプラインの例示的な処理を示す。

エンドツーエンド単一レイヤの下位互換性のある（single-layer-backward-compatible (SLBC)）符号化パイプラインの全体図を示す。 高忠実度の完全な参照モードで動作する例示的なエンドツーエンドＳＬＢＣ符号化パイプラインを示す。 高効率の低減された参照モードで動作する例示的なエンドツーエンドＳＬＢＣ符号化パイプラインを示す。 ＳＬＢＣデコーダ側コーデックアーキテクチャの一例を示す。

レターボックスを含む例示的なソースＨＤＲ画像、及びレターボックス問題の生じる例示的な再構成ＨＤＲ画像を示す。 黒色背景上の白色ブロックを含む例示的ソースＨＤＲ画像、及び黒色背景上の白色ブロックが消失し全体がグレーになる例示的な再構成ＨＤＲ画像を示す。 抑制（suppression）の無い、前方再成形ルックアップテーブル（forward reshaping look-up table (FLUT)）から構成される第１後方ルックアップテーブル（backward look-up table (BLUT)）例示的なグラフを示す。 抑制の有る、同じＦＬＵＴから構成された第２ＢＬＵＴを表す例示的なグラフを示す。

高忠実度の完全参照ＳＬＢＣクロマ前方再成形の例示的な処理フローを示す。 高忠実度の完全参照ＳＬＢＣクロマ後方再成形の例示的な処理フローを示す。 高効率の低減された参照ＳＬＢＣクロマ前方及び後方再成形の例示的な処理フローを示す。 高効率の低減された参照ＳＬＢＣクロマ前方及び後方再成形の例示的な処理フローを示す。 例示的な処理フローを示す。 例示的な処理フローを示す。 例示的な処理フローを示す。 例示的な処理フローを示す。

本願明細書に記載されるコンピュータ又はコンピューティング装置が実装され得る例示的なハードウェアプラットフォームの簡略ブロック図を示す。

本願明細書では、エンドツーエンド単一レイヤの下位互換性のある符号化パイプラインにおける、高忠実度の完全な参照（High-fidelity full reference (HFFR)）、及び高効率の低減された参照符号化（high-efficiency reduced reference (HERR)）が説明される。以下の詳細な説明を通じて、説明を目的として、本発明の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明を抑止し（occluding）、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。

＜概要＞
本願明細書に記載される例示的な実施形態は、画像データの符号化に関連する。３Ｄマッピング統計は、第１ダイナミックレンジの第１画像及び第１画像に対応する第２画像について生成される。第２画像は、第１ダイナミックレンジと異なる第２ダイナミックレンジのものである。多変量多重回帰（Multivariate multiple regression (MMR)）係数は、レターボックス制約無しで、３Ｄマッピング統計により少なくとも部分的に構築されたＭＭＲ行列を使用して定式化される最適化問題を解くことにより生成される。ＭＭＲ係数は、第２画像のクロマコードワード値を予測するためのクロママッピングを生成するために使用される。第１画像又は第２画像のうちの少なくとも１つの中にレターボックスが存在するか否かが決定される。第１画像又は第２画像のうちの少なくとも１つの中にレターボックスが存在すると決定することに応答して、制約無し最適化問題を解くことにより生成されたクロママッピングが第２画像の中のクロマコードワード値を正確に予測するか否かが決定される。第１画像、又は第２画像を近似する第３画像、のうちの１つは、受信側装置に提供されて、第１画像、又は第２画像を近似する第３画像、のうちの１つを少なくとも後方成形することにより生成された再構成画像を、受信側装置と関連して動作するディスプレイ装置によりレンダリングさせる。

本願明細書に記載される例示的な実施形態は、画像データの符号化に関連する。ルマ前方再成形マッピングに少なくとも部分的に基づき前方再成形により１つ以上のソースＨＤＲ画像から生成された１つ以上のＳＤＲ画像の中の前方再成形標準ダイナミックレンジ（ＳＤＲ）ルマコードワード値へのルマ前方再成形マッピングによりマッピングされた１つ以上のＨＤＲルマコードワード値のセットは、１つ以上のソースＨＤＲ画像の中で識別される。１つ以上のＨＤＲルマコードワード値のセットは、加重ＨＤＲルマコードワード値を決定するために使用される。後方再成形マッピングは、前方再成形ＳＤＲルマコードワード値を加重ＨＤＲルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含むよう構成される。後方再成形マッピングは、１つ以上のソースＨＤＲ画像を近似するために、１つ以上の再成形ＳＤＲ画像を１つ以上の再構成ＨＤＲ画像に後方再成形するために使用される。後方再成形画像メタデータは、１つ以上の再構成ＨＤＲ画像をレンダリングするために、１つ以上の前方再成形画像と共に受信側装置に提供される後方再成形マッピングから少なくとも部分的に生成される。

本願明細書に記載される例示的な実施形態は、画像データの復号に関連する。第１ダイナミックレンジの再構成画像を生成するための後方再成形画像メタデータを含むビデオ信号が受信される。再構成画像は、第１ダイナミックレンジの第１画像を近似するためのものである。再構成画像は、後方再成形画像メタデータに基づき、第１ダイナミックレンジと異なる第２ダイナミックレンジの第２画像を後方再成形により生成される。第２画像は第１画像に対応する。後方再成形画像メタデータは、ＭＭＲ係数から生成されたクロママッピングを含む。ＭＭＲ係数は、第１画像及び第１画像に対応する第２画像について生成される３次元（３Ｄ）マッピング統計から少なくとも部分的に構築されるＭＭＲ行列を使用して定式化される最適化問題を解くことにより生成される。第２画像は、ビデオ信号から復号される。第２ダイナミックレンジの第２画像は、後方再成形画像メタデータに基づき後方再成形されて、第１ダイナミックレンジの再構成画像を生成する。再構成画像は、ディスプレイ装置によりレンダリングされる。

本願明細書に記載される例示的な実施形態は、画像データの復号に関連する。１つ以上の再構成高ダイナミックレンジ（ＨＤＲ）画像を生成するための後方再成形画像メタデータを含むビデオ信号が受信される。１つ以上の再構成ＨＤＲ画像は、１つ以上のソースＨＤＲ画像を近似する。１つ以上の再構成ＨＤＲ画像は、後方再成形画像メタデータに基づき、１つ以上のソースＨＤＲ画像に対応する１つ以上の前方再成形ＳＤＲ画像を後方再成形することにより生成される。後方再成形画像メタデータは、１つ以上の前方再成形ＳＤＲ画像の中の前方再成形ＳＤＲルマコードワード値を加重ＨＤＲルマコードワード値にマッピングする少なくとも後方再成形ルママッピングを含む後方再成形マッピングから少なくとも部分的に生成される。１つ以上のＨＤＲルマコードワード値のセットは、加重ＨＤＲルマコードワード値を決定するために使用される。１つ以上のＨＤＲルマコードワード値のセットは、１つ以上のＨＤＲ画像の中で識別される。１つ以上のソースＨＤＲ画像の中の１つ以上のＨＤＲルマコードワード値のセットの中の各ＨＤＲルマコードワード値は、ルマ前方再成形マッピングにより、１つ以上の前方再成形ＳＤＲ画像の中の前方再成形ＳＤＲルマコードワード値にマッピングされる。１つ以上の前方再成形ＳＤＲ画像は、ルマ前方再成形マッピングに少なくとも部分的に基づき、前方再成形により、１つ以上のソースＨＤＲ画像から生成される。１つ以上の前方再成形ＳＤＲ画像は、ビデオ信号から復号される。１つ以上の前方再成形画像は、１つ以上の再構成ＨＤＲ画像を生成するために、後方再成形画像メタデータに基づき、後方再成形される。１つ以上の再構成ＨＤＲ画像は、ディスプレイ装置によりレンダリングされる。

＜例示的なビデオ配信処理パイプライン＞
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示すビデオ配信パイプライン１００の例示的な処理を示す。ビデオフレーム１０２のシーケンスは、画像生成ブロック１０５を用いてキャプチャ又は生成される。ビデオフレーム１０２は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを用いて）生成されてよく、ビデオデータ１０７を提供する。代替として、ビデオフレーム１０２は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。製作（production）段階１１０において、ビデオデータ１０７は、ビデオ製作ストリーム１１２を提供するために編集される。

製作ストリーム１１２のビデオデータは、次に、製作後編集１１５のためにプロセッサに提供される。製作後編集１１５は、ビデオ制作者の製作意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。他の編集（例えば、シーン選択、順序付け、手動及び／又は自動シーンカット情報生成、画像クロッピング、コンピュータの生成した視覚空間効果の追加、等）が、ＨＤＲ画像１１７−１又はＳＤＲ（又は相対的に狭いダイナミックレンジ）画像１１７（例えば、ＳＤＲ、等）のリリースバージョンを生成するために、製作後編集１１５において実行されてよい。幾つかの実施形態では、製作後編集１１５の間に、ＨＤＲ画像１１７−１は、高ダイナミックレンジをサポートする参照ＨＤＲディスプレイで、ＨＤＲ画像１１７−１に対して製作後編集を実行しているカラーリストにより閲覧される。更に任意で又は代替として、製作後編集１１５の間に、ＳＤＲ画像１１７は、標準ダイナミックレンジ（又は相対的に狭いダイナミックレンジ）をサポートする参照ディスプレイ１２５で、ＳＤＲ画像１１７に対して製作後編集を実行しているカラーリストにより閲覧される。追加で、任意で、又は代替として、ＳＤＲ画像１１７は、ＨＤＲ画像１１７−１からマッピングされたコンテンツであってよい。

幾つかの実施形態では、符号化ブロック１２０は、図２Ａ〜図２Ｃに示すようなエンドツーエンドの単一レイヤの下位互換性のある符号化パイプラインにおいて、高忠実度の完全な参照及び高効率の低減された参照符号化を実装してよい。符号化ブロック１２０は、製作後編集１１５からＨＤＲ画像１１７−１を受信し、ＨＤＲ画像１１７−１を（前方）再成形ＳＤＲ画像へと前方再成形する。

再成形画像は、符号化ブロック１２０により、例えば単一レイヤで、符号化ビットストリーム１２２へと圧縮／符号化され得る。幾つかの実施形態では、符号化ブロック１２０は、符号化ビットストリーム１２２を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ-ｒａｙ（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。

再成形ＳＤＲ画像は、広範な種類のＳＤＲディスプレイ装置（例えば、ＳＤＲディスプレイ、等）との下位互換性のあるビデオ信号（例えば、８ビットＳＤＲビデオ信号、１０ビットＳＤＲビデオ信号、等）の中のビデオデータへと符号化されてよい。非限定的な例では、再成形ＳＤＲ画像と共に符号化されたビデオ信号は、単一レイヤの下位互換性のあるビデオ信号であってよい。ここで、「単一レイヤの下位互換性のあるビデオ信号」は、単一の信号レイヤのＳＤＲディスプレイのために特に最適化された又はカラーグレーディングされたＳＤＲ画像を運ぶビデオ信号を表してよい。

幾つかの実施形態では、符号化ブロック１２０により出力された符号化ビットストリーム１２２は、限定ではないが符号化ブロック１２０により生成されるようなコンポーザメタデータを含む画像メタデータを有する出力８ビットＳＤＲ ＹＣｂＣｒビデオ信号を表してよい。コンポーザメタデータ（又は後方再成形マッピング）は、下流デコーダにより、ＨＤＲ参照ディスプレイ上でレンダリングするために最適化され得る後方再成形画像を生成するために、再成形ＳＤＲ画像に対して後方再成形（例えば、逆トーンマッピング、等）を実行するために使用できる。幾つかの実施形態では、後方再成形画像は、コンポーザメタデータに少なくとも部分的に基づき逆トーンマッピングを実施する１つ以上のＳＤＲ−ＨＤＲ変換ツールを用いて、再成形ＳＤＲ画像（又はその復号バージョン）から生成されてよい。本願明細書で使用される、後方再成形は、ディスプレイ管理のような更なる下流処理のために、再量子化画像を元のＥＯＴＦドメイン（例えば、ガンマ、ＰＱ、ハイブリッドログガンマ、又はＨＬＧ、等）に変換して戻す画像処理動作を表す。例示的な後方再成形動作は、参照により本願明細書に全体が記載されたように本願明細書に組み込まれる２０１５年３月２０日出願の米国仮特許出願番号第６２／１３６,４０２号（米国特許出願公開番号第２０１８／００２０２２４号として２０１８年１月１８日に公開された）に記載されている。

追加で、任意で、又は代替として、符号化ビットストリーム１２２は、限定ではないが、ＨＤＲ参照ディスプレイのために後方再成形画像に対してディスプレイ管理動作を実行するために下流デコーダにより使用可能なディスプレイ管理（display management (DM)）メタデータを含む画像メタデータと共に更に符号化されて、非参照ＨＤＲディスプレイ等のような他のディスプレイ上でのレンダリングのために最適化されたディスプレイ画像を生成する。

符号化ビットストリーム１２２は、次に、復号及び再生装置、メディアソース装置、メディアストリーミングクライアント装置、テレビジョンセット（例えば、スマートＴＶ、等）、セットトップボックス、映画劇場、等のような受信機へと下流へ配信される。受信機（又は下流装置）では、符号化ビットストリーム１２２は、復号ブロック１３０により復号されて、符号化ブロック１２０において実行された圧縮及び復号ブロック１３０により実行された伸張で生成された量子化誤差の影響を受けている、再成形ＳＤＲ画像と同じであってよい復号画像１８２を生成する。

受信機が、標準ダイナミックレンジ又は標準ダイナミックレンジに匹敵する又はそれより狭い相対的に狭いダイナミックレンジをサポートする目標ディスプレイ１４０と共に（又はそれに取り付けられて）動作する動作シナリオでは、復号ブロック１３０は、符号化ビットストリーム１２２（例えば、その中の単一レイヤ）から再成形ＳＤＲ画像を復号し、目標ディスプレイ１４０上でレンダリングするために復号再成形ＳＤＲ画像を直接又は間接的に使用できる。目標ディスプレイ１４０がＳＤＲ参照ディスプレイ１２５と同様の特性である実施形態では、再成形ＳＤＲ画像は、目標ディスプレイ１４０上で直接見ることができる。

幾つかの実施形態では、高ダイナミックレンジ（例えば、４００ニト、１０００ニト、４０００ニト１００００ニト又はそれ以上、等）をサポートするＨＤＲ目標ディスプレイ１４０と共に動作する（又はそれに取り付けられる）受信機は、コンポーザメタデータを符号化ビットストリーム１２２（例えば、その中のメタデータコンテナ）から抽出し、コンポーザメタデータを用いて、コンポーザメタデータに基づき再成形ＳＤＲ画像を後方再成形することにより、再成形ＳＤＲ画像から後方再成形画像１３２−１を構成し、ＨＤＲ目標ディスプレイ１４０−１上でレンダリングするために後方再成形画像１３２−１を直接又は間接的に使用できる。

後方成形画像１３２−１は、ＨＤＲ目標ディスプレイ１４０−１と同じではないが匹敵する、例えばＨＤＲ目標ディスプレイより大きい最大又はピーク輝度値をサポートするＨＤＲ参照ディスプレイ上で閲覧するために最適化されてよい。ディスプレイ管理ブロック（例えば、１３５−１等）は、受信機内、ＨＤＲ目標ディスプレイ１４０−１内、又は別個の装置内にあってよく、ＨＤＲ目標ディスプレイ１４０−１の特性に適応されたディスプレイマップド信号１３７−１を生成することにより、ＨＤＲ目標ディスプレイ１４０−１の特性に後方再成形画像１３２−１を更に調整する。

＜コーデックアーキテクチャ＞
エンドツーエンドＳＬＢＣ符号化パイプラインのためのＨＦＦＲ符号化アーキテクチャを実装する目標は、入力参照画像に対する比較的高い（例えば、最高の、等）忠実度を達成することである。幾つかの動作シナリオでは、ＨＦＦＲ符号化アーキテクチャは、スタジオのワークフローの部分として組み込む又は実装されることができ、トリムパスを多用する画像コンテンツを処理し、画像コンテンツ内に表現されたアーティストの意図を維持する（例えば、カラーリストの意図に適合する又はそれに比較的近く近似する、等）。

更に、ＨＥＲＲ符号化アーキテクチャも本願明細書に記載される。ＨＥＲＲ符号化アーキテクチャは、場合によってはＨＦＦＲ符号化アーキテクチャにより提供される幾つかの機能の削減されたサポートを有する、ＨＦＦＲアーキテクチャにおける符号化ツールのサブセットを用いることにより、少なくとも部分的に実装されてよい。ＨＥＲＲ符号化アーキテクチャは、比較的少ない量の品質劣化と比較的少ない（例えば、最低の、等）計算コスト／時間とを相殺するために使用されてよい。ＨＥＲＲ符号化アーキテクチャは、モバイル装置、軽量ブロードキャスト、遅延の影響を受けやすいメディア消費アプリケーション、等のような限られた計算プラットフォームに適用されてよい。

図２Ａは、例示的なエンドツーエンドＳＬＢＣ符号化パイプラインの全体図を示し、（例えば、ＨＥＲＲ動作で使用される等）ＨＤＲ−ＳＤＲマッピング情報を生成するマッピング情報段（又はモジュール２０２）、可能な限り参照ＳＤＲ画像と近く見える復帰可能（revertible）ＳＤＲ画像（又は前方再成形ＳＤＲ画像２４０）を生成する前方再成形段（又はモジュール）２０４、参照ＨＤＲ画像に可能な限り近く見える（例えば、復帰可能ＳＤＲ画像に対応する等）ＨＤＲ画像を再構成する（例えば、復帰可能ＳＤＲから後方再成形する等）ために受信側装置により使用され得る（「ＲＰＵ」又は「ｒｐｕ」として示される）画像メタデータを生成する後方再成形段（又はモジュール）２０６を含む。

本願明細書に記載されるエンドツーエンドＳＬＢＣ符号化パイプラインは、より多くの又は少ない可能なブロックにより実装されてよい。説明のために限定ではなく、図２Ｂ及び図２Ｃに示された点線でマークされた一部又は全部のブロックは、符号化アーキテクチャがＨＦＦＲ又はＨＥＲＲかによって任意的であってよい。

マッピング情報段２０２により提供される情報に依存して、前方／後方再成形を実行するための２つの異なる方法があってよい。

図２Ｂは、ＨＦＦＲモードで動作する例示的なエンドツーエンドＳＬＢＣ符号化パイプラインを示す。このモードでは（例えば、完全な等）参照ＨＤＲ画像及び（例えば、完全な等）参照ＳＤＲ画像は、マッピング情報段２０２により前方再成形段２０４に提供されてよい。従って、最終再構成ＳＤＲ及びＨＤＲ画像がどのように見えるか又は近く近似するかに関する（例えば、最も包括的な、最もリッチな、等）情報は、これらの参照ＨＤＲ及び参照ＳＤＲ画像により利用可能である。情報は、再成形ＳＤＲ画像及び比較的高い（例えば、最高の等）ビデオ品質を有するＳＤＲ及びＨＤＲ画像を再構成するために受信側装置により使用可能な付随する画像メタデータを生成するために、符号化パイプライン、又はその中の前方再成形段２０４及び後方再成形段２０６により使用できる。

ＨＦＦＲモードにおける画像処理動作は、参照ＳＤＲ画像及び／又は参照ＳＤＲ画像に対応する参照ＨＤＲ画像の各々の中の比較的多数のピクセル（例えば、全部のピクセル、目立つ部分の全部のピクセル、等）の中の各ピクセルを利用し又はそれに適用されてよい。例えば、参照ＨＤＲから参照ＳＤＲを生成するコンテンツマッピング（content mapping (CM)）２１２は、参照ＳＤＲ及び／又は参照ＨＤＲの１つずつのピクセルに対して動作するためにコンテンツマッピングを生じ得るサンプリングストラテジ２１０により動作してよく、従って、比較的大量の計算コストを生じ得る。従って、ＣＭ２１２は、参照ＳＤＲ画像２４４を生成するために、ＨＤＲ画像２０８の全てのピクセルに適用できる。

マッピング情報段２０２と前方成形段２０４との間の比較的大容量の帯域幅リソースは、マッピング情報段２０２から前方再成形段２０４へ、（例えば、全体の等）参照ＳＤＲ画像を送信することに対応するために準備されてよい。

前方再成形段２０４は、参照ＳＤＲ画像を画像メタデータに圧縮又は抜き出す（distill）ために使用されてよい。参照ＳＤＲ画像から引き出された画像メタデータは、参照ＳＤＲ画像のピクセル情報の代わりに、直接、再成形関数を実現するために使用できる。

前方再成形段２０４は、ルマ前方再成形部２１４及びクロマ前方再成形部２２２を含んでよい。ルマ前方再成形部２１４は、ヒストグラム構成ブロック２１６、累積密度関数（cumulative density function (CDF)）照合部２１８、ルマトリムパス処理ブロック２２０、等を含む。クロマ前方再成形部２２２は、動的３Ｄマッピングテーブル（ｄ３ＤＭＴ）構成ブロック２２４、クロマトリムパス処理ブロック２２６、レターボックス処理ブロック２２８、等を含む。

ルマ前方再成形部２１４では、参照ＨＤＲ画像２０８及び参照ＳＤＲ画像２４４の両方の１Ｄルマヒストグラムが、それぞれ、これらの画像から、ヒストグラム構成ブロック２１６により構成される。ＦＬＵＴは、参照ＨＤＲ画像２０８の中の（ＨＤＲ）ルマコードワードを再成形ＳＤＲ画像２４０の中の再成形（ＳＤＲ）ルマコードワードへと前方再成形するＣＤＦ照合ブロック２１８により構築されてよい（これは、符号化ビットストリームの中で、受信側装置又は受信側装置と共に動作する受信機に提供されてよい）。例示的なＣＤＦ照合動作は、参照により本願明細書に全体が記載されたように本願明細書に組み込まれる２０１７年９月１１日出願のＰＣＴ出願番号ＰＣＴ／ＵＳ２０１７／５０９８０；２０１６年１０月５日出願の米国仮特許出願番号第６２／４０４,３０７号（米国特許出願公開番号第２０１８／００９８０９４号として２０１８年４月５日に公開された）に記載されている。

幾つかの動作シナリオでは、参照ＨＤＲ画像２０８から参照ＳＤＲ画像２４４へのコンテンツマッピング（例えば、ＣＭ２１２、等）の一部として実行されるトリムパス動作は、参照ＳＤＲ画像２４４に、再構成ＨＤＲ画像の中の正しい輝度（又は画像の詳細）を生成するために使用できる画像情報を損失させ得る。ルマトリムパス処理ブロック２２０は、受信側装置により再成形ＳＤＲ画像２４０から構成される再構成ＨＤＲ画像の中の画像の詳細の損失を回避する方法で、ＦＬＵＴを構築するのを助けるために使用されてよい。ルマの例示的なトリムパス検出及び訂正は、参照により本願明細書に全体が記載されたように組み込まれる２０１８年１月４日に公開された米国特許出願公開番号第２０１８／０００７３５６号に記載されている。

クロマ前方再成形部２２２では、知覚される色の比較的高い（例えば、最高の等）忠実度を達成するために、ｄ３ＤＭＴ構成ブロック２２４により、参照ＨＤＲ画像２０８及び参照ＳＤＲ画像２４４から、参照ＨＤＲ画像２０８の中のクロマコードワードを再成形ＳＤＲ画像２４０の中の再成形クロマコードワードへと前方再成形するために、ｄ３ＤＭＴが構築される。幾つかの動作シナリオでは、参照ＨＤＲ画像２０８から参照ＳＤＲ画像２４４へのコンテンツマッピング（例えば、ＣＭ２１２、等）の一部として実行されるトリムパス動作は、参照ＳＤＲ画像２４４に、再構成ＨＤＲ画像の中の正確な色を生成するために使用できる画像情報を損失させ得る。クロマトリムパス処理ブロック２２６は、再成形ＳＤＲ画像２４０及び／又は再構成ＨＤＲ画像の色損失（又は色精度の損失）を回避する方法で、ｄ３ＤＭＴを構築するのを助けるために使用されてよい。レターボックス処理ブロック２２８は、参照ＨＤＲ画像２０８内に存在し得る任意のレターボックスを処理するために使用でき、ｄ３ＤＭＴが再成形ＳＤＲ画像２４０及び／又は再構成ＨＤＲ画像内で正しい色を生成するのを助ける。

後方再成形段２０６は、ルマ後方再成形部２３０及びクロマ後方再成形部２３４を含んでよい。ルマ後方再成形部２３０は、ヒストグラム加重ＢＬＵＴ構成ブロック２３２、等を含む。クロマ後方再成形部２３４は、動的３Ｄマッピングテーブル（ｄ３ＤＭＴ）構成ブロック２３６、レターボックス処理ブロック２３８、等を含む。

ルマ後方再成形部２３０内で、ヒストグラム加重ＢＬＵＴ構成ブロック２３２は、ヒストグラム加重方法を適用して、再成形ＳＤＲ画像２４０内の（ＳＤＲ）ルマコードワードを再構成ＨＤＲ画像内の再構成（ＨＤＲ）画像ルマコードワードへと後方再成形するためのＢＬＵＴを構成してよい。従って、コードワード間のマッピングの確率を累積するＣＤＦ伝達関数を構築する際に、加重コードワードが使用される。例示的なＣＤＦ伝達関数は、先に言及した米国仮特許出願番号第６２／４０４,３０７号に記載されている。

クロマ後方再成形部２３４では、知覚される色の比較的高い（例えば、最高の等）忠実度を達成するために、再成形ＳＤＲ画像２４０の中の後方再成形クロマコードワードを再構成ＨＤＲ画像の中の再構成クロマコードワードへと後方再成形するために、ｄ３ＤＭＴ構成ブロック２３６により、再成形ＳＤＲ画像２４０及び参照ＨＤＲ画像２０８から、別のｄ３ＤＭＴが構成される。レターボックス処理ブロック２３８は、再形成ＳＤＲ画像２４０内に存在し得る任意のレターボックスを処理するために使用でき、ｄ３ＤＭＴが再構成ＨＤＲ画像内で正しい色を生成するのを助ける。

ＢＬＵＴ及びｄ３ＤＭＴを含む（又は指定する）後方再成形画像メタデータは、再成形ＳＤＲ画像２４０に付随する画像メタデータ（例えば、ＲＰＵ２４２、等）の一部として、符号化ビットストリームの中で出力されてよい。

図２Ｃは、ＨＦＦＲモードで動作する例示的なエンドツーエンドＳＬＢＣ符号化パイプラインを示す。このモードでは、参照ＳＤＲ画像はなく、（例えば、完全な等）参照ＨＤＲ画像のみが、マッピング情報段２０２により前方再成形段２０４に提供されてよい。参照ＳＤＲ画像を提供する代わりに、参照ＨＤＲ画像をコンテンツマッピングすることにより生成されたＳＤＲ画像の圧縮／抽出／導出されたマッピングサイド情報が、マッピング情報段２０２により前方再成形段２０４に提供される。幾つかの実施形態では、マッピングサイド情報は、３Ｄ−ＬＵＴ、フラットマッピングテーブル、ヒストグラム、等を含んでよい。再成形ＳＤＲ画像（例えば、２４０等）及び／又は再成形ＳＤＲ画像２４０を後方再成形することにより生成された再構成ＨＤＲ画像のビデオ品質は、前方再成形段２０４及び／又は後方再成形段２０６によりマッピング情報段２０２から受信される不完全な情報により影響を受け得る。

マッピング情報段２０２では、サンプリングストラテジ２１０に少なくとも部分的に基づき、３Ｄサンプリンググリッド（例えば、直線３Ｄグリッド、粗３Ｄグリッド、均一又は不均一な頂点分布／密度を有する３Ｄグリッド、等）が構成される。種々の実施形態では、サンプリング点は、３Ｄマッピンググリッドに基づき選択されてよく、又はそうでなくてよい。幾つかの実施形態では、サンプリング点は、密度分布に基づき選択されてよい。例えば、サンプリング点は、ピクチャ内の色が密度分布の中で示されたように存在するか否かに従い選択される。ＣＭ２１２は、ＨＤＲサンプリング点からＳＤＲサンプリング点へのサンプルドコンテンツマッピング（例えば、それだけ、等）を生成するために使用されてよい。サンプルドコンテンツマッピングは、全部のＨＤＲピクセル（例えば、１９２０×１０８０空間解像度の画像について２百万個以上のピクセル、等）から対応するＳＤＲピクセルへの、比較的少数のサンプリング点（例えば、１００００個のサンプリング点、等）における、コンテンツマッピングの小さな（適正な）部分集合を表してよい。

マッピング情報段２０２と前方成形段２０４との間の比較的少ない量の帯域幅リソースは、マッピング情報段２０２から前方再成形段２０４へ、選択されたサンプリング点のコンテンツマッピングから生成された情報を含むマッピングサイド情報２４６を送信することに対応するために準備されてよい。

ＨＥＲＲモードでは、ＨＤＲとＳＤＲとの間のマッピングサイド情報（例えば、コンテンツマッピング情報、等）が、選択されたサンプリング点においてマッピング情報段２０２によりキャプチャされているので、前方再成形段２０４では、ピクセルドメインでコンテンツマッピング情報を構成する又は導出するために、計算が実行されない。結果として、このモードでは画像処理動作におけるＣＰＵ及びメモリ使用率が低減できる。

クロマ後方再成形関数（例えば、ＭＭＲ係数、等）は、クロマ前方再成形関数の構成と並列に構成できる。これは、マッピング情報段２０２により提供されるのと同じマッピングサイド情報２４６が、前方再成形段２０４及び後方再成形段２０６の両方により（例えば、同時に、任意の順序で、等）使用され得るからである。

ルマトリムパス処理ブロック２２０、クロマトリムパス処理ブロック２２６、ｄ３ＤＭＴ構成ブロック２２４及び２４６、等のようなＨＦＦＲモードで使用される幾つかの処理ブロックは、オフにできる（又はＨＦＦＲモードがサポートされる必要のない幾つかの動作シナリオでは、除去できる）。ＨＥＲＲモードの符号化アーキテクチャでは、コンテンツマッピングは、参照ＨＤＲ画像２０８の全てのピクセルに適用されない。幾つかの実施形態では、サンプリング点を選択するために、３Ｄサンプリンググリッドが使用される。コンテンツマッピングは、サンプリング点に関して実行されてよい。ＨＤＲサンプル（又はＨＤＲサンプリング点におけるピクセル値）及びＨＤＲサンプルをコンテンツマッピングすることにより生成されたようなマップドＳＤＲサンプル（又はＳＤＲサンプリング点におけるピクセル値）は、マッピング情報段２０２により前方再成形段２０４及び／又は後方再成形段２０６へ送信できる。ＨＤＲサンプル及びそれらの対応するコンテンツマップドＳＤＲサンプルは、複数のＨＤＲ−ＳＤＲマッピング対として表され、マッピングサイド情報２４６内にキャプチャできる。後の前方及び後方再成形段２０４及び２０６における計算だけでなく、マッピング情報段２０２における計算も節約され又は削減できる。

前方再成形段２０４では、ＨＤＲ及びＳＤＲのルマヒストグラムは、ヒストグラム構成ブロック２１６により粗サンプルドマッピングサイド情報２４６から構成できる（又は復元できる）。前方再成形ルックアップテーブル（forward reshaping look-up table (FLUT)）は、参照ＨＤＲ画像２０８の中の（ＨＤＲ）ルマコードワードを再成形ＳＤＲ画像２４０の中の再成形（ＳＤＲ）ルマコードワードへと前方再成形するＣＤＦ照合ブロック２１８により構築されてよい（これは、符号化ビットストリームの中で、受信側装置又は受信側装置と共に動作する受信機に提供されてよい）。ルマトリムパス処理は、ＨＥＲＲモードで実行されなくてよい。

クロマ前方再成形部２２２で、クロマ再成形ＭＭＲ係数は、マッピング情報段２０２から受信したマッピングサイド情報２４６から直接生成できる。該マッピングサイド情報２４６は、クロマ再成形ＭＭＲ係数を生成するために直接使用される。例示的なＭＭＲ係数生成動作は、先に言及した米国仮特許出願番号第６２／４０４,３０７号に記載されている。

ＦＬＵＴ及びＭＭＲ係数は、次に、前方再成形段２０４において提供でき、参照ＨＤＲ画像２０８内のルマ及びクロマコードワードを、再成形ＳＤＲ画像内の前方再成形ルマ及びクロマコードワードへと前方再成形する。

後方再成形段２０６で、ヒストグラム加重ＢＬＵＴ構成ブロック２３２により、ヒストグラム加重方法を用いて、ルマ後方再成形のためのＢＬＵＴが構成される。マッピングサイド情報２４６は、クロマ後方再成形のための後方再成形ＭＭＲ係数を生成するために使用される。後方再成形ＭＭＲ係数及びＢＬＵＴを指定する後方再成形画像メタデータ（ＲＰＵ２４２と示される）は、前方再成形ＳＤＲ画像２４０と共に符号化された符号化ビットストリームに書き込まれる又はそれに含まれ得る。

ＨＥＲＲモードでは、ｄ３ＤＭＴは、前方再成形段２０４でも後方再成形段２０６でも構成されない。これは、マッピングサイド情報２４６が、ＨＤＲ（ルマ及びクロマ）コードワードとＳＤＲ（ルマ及びクロマ）コードワードとの間のマッピングを既に含んでいるからである。クロマ前方再成形ＭＭＲ係数の生成は、クロマ後方再成形ＭＭＲ係数の生成と並列に又は任意の順序で、マッピング情報段２０２からのマッピングサイド情報２４６に基づき、処理できる。これは、これら２つの生成動作の間には依存関係が存在しないからである。

纏めると、本願明細書に記載の技術は、多数の高忠実度符号化ツールと共に、高忠実度の完全参照モードにおいて、エンドツーエンド符号化パイプライン動作をサポートするために使用されてよい。ルマ再成形動作は、レターボックスの明るさ及びブロック消失問題を除去又は回避する方法で実装されてよい。クロマ再成形動作は、重度のトリムパス動作等により引き起こされる色アーチファクト、レターボックス色問題、及び色損失のような問題を除去又は回避する方法で、実装されてよい。

追加で、任意で、又は代替として、本願明細書に記載されるような技術は、再成形ＳＤＲ画像及び後方再成形画像メタデータを生成するために生じる計算リソースの観点で比較的低コストの符号化ツールにより高効率の低減参照モードで動作するエンドツーエンド符号化パイプラインをサポートするために使用されてよい。ＦＬＵＴは、マッピング情報段２０２からの粗サンプルドｄ３ＤＭＴにより効率的に構成されてよい。前方再成形及び後方再成形の両方のためのクロマ再成形ＭＭＲ係数は、エンドツーエンド符号化パイプラインにおける待ち時間又は遅延を低減するために並列に実行できる。

図２Ｄは、下流ビデオデコーダ（例えば、受信機、等）における１つ以上のコンピューティングプロセッサによっても実施され得る、ＳＬＢＣデコーダ側コーデックアーキテクチャの一例を示す。

幾つかの実施形態では、図２Ｄに示すように、単一レイヤ１４４における（前方）再成形ＳＤＲ画像と、後方再成形画像メタデータ１４２を含むが必ずしもそれだけに限定されない画像メタデータ１５２と共に符号化されたビデオ信号は、ビデオデコーダに入力される。

伸長ブロック１５４（例えば、図１の復号ブロック１３０の一部、等）は、ビデオ信号の単一レイヤ１４４における圧縮ビデオデータを、復号ＳＤＲ画像１８２へと伸長し／復号する。復号ＳＤＲ画像１８２は、再成形ＳＤＲ画像と同じであってよく、符号化ブロック１２０及び伸長ブロック１５４における量子化誤差の影響を受けており、ＳＤＲディスプレイ装置のために最適化されていてよい。復号ＳＤＲ画像１８２は、出力ビデオ信号１５６の中でＳＤＲディスプレイ装置へと（例えば、ＨＤＭＩ（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、ＳＤＲディスプレイ装置上でレンダリングされてよい。

更に、後方再成形ブロック１５８は、後方再成形画像メタデータ１４２を入力ビデオ信号から抽出し、画像メタデータ１５２内の抽出した後方再成形画像メタデータ１４２に基づき、最適な後方再成形関数を構成し、最適な後方再成形関数に基づき再成形ＳＤＲ画像に対して後方再成形動作を実行して、後方再成形画像１３２−１（又は再構成ＨＤＲ画像）を生成する。

幾つかの実施形態では、後方再成形画像は、ＨＤＲ目標／参照ディスプレイ装置のために最適化された製作品質の又は製作品質に近いＨＤＲ画像を表す。後方再成形画像１３２は、出力ＨＤＲビデオ信号１６０の中でＨＤＲディスプレイ装置へと（例えば、ＨＤＭＩ（登録商標）インタフェースを介して、ビデオリンクを介して、等）出力され、ＨＤＲディスプレイ装置上でレンダリングされてよい。幾つかの実施形態では、ＤＭ機能は、装置動作を簡略化するため及び装置コストを削減するために、受信機により実装されなくてよい。

追加で、任意で、又は代替として、幾つかの実施形態では、ＤＭメタデータは、画像メタデータ１５２及び再成形ＳＤＲ画像の中で受信機へ送信されてよい。ＨＤＲディスプレイ装置に特有のディスプレイ管理動作は、画像メタデータ１５２の中のＤＭメタデータに少なくとも部分的に基づき、後方再成形画像１３２に対して実行されてよく、例えばＨＤＲディスプレイ装置上でレンダリングされるべきディスプレイ画像を生成する。

説明の目的で、単一レイヤのコーデックアーキテクチャが説明された。留意すべきことに、本願明細書に記載された技術は、図２Ａ〜２Ｄに示された以外の異なる単一レイヤコーデックアーキテクチャで使用できる。追加で、任意で、又は代替として、これらの技術はマルチレイヤのコーデックアーキテクチャで使用できる。従って、単一レイヤ又はマルチレイヤのコーデックアーキテクチャのこれら及び他の変形は、本願明細書に記載の技術の一部又は全部と共に動作し得る。

＜ヒストグラム加重ルマ後方再成形＞
ルマ再成形では、前方ＬＵＴ（又はＦＬＵＴ）は、参照ＨＤＲ画像の（ソース）ＨＤＲルマコードワードを（前方）再成形ＳＤＲルマコードワードへとマッピングするために使用される前方マッピング関数を表す。この前方マッピング関数は、多対１であってよく、従って、数学的に可逆でなくてよい。これは、ＦＬＵＴにより単一のＳＤＲルマコードワードにマッピングされた複数のＨＤＲコードワードエントリがＦＬＵＴ内に存在し得るからである。ＦＬＵＴは、ＣＤＦ照合ブロック２１８によるＣＤＦ照合を通じて構築されてよい。

他方で、後方ＬＵＴ（又はＢＬＵＴ）は、再成形ＳＤＲ画像の再成形ＳＤＲルマコードワードを対応する再構成ＨＤＲルマコードワードにマッピングするために使用される逆（又は後方）マッピング関数を表す。ＢＬＵＴ構をＦＬＵＴから構成することは、ＦＬＵＴの数学的反転を通じなくてよく、ＢＬＵＴ推定処理を通じて達成されてよい。

幾つかのアプローチの下では、ＢＬＵＴを構築するために、所与の再成形ＳＤＲコードワードに対応する（又はそれに前方マッピングされた）全部のソースＨＤＲコードワードの平均は、所与の再成形ＳＤＲコードワードがＢＬＵＴ内で後方マッピングされる再構成ＨＤＲコードワードに設定される。これらのアプローチの下では、再構成ＨＤＲ画像内に存在するレターボックスは、幾つかの動作シナリオでは、対応する参照ＨＤＲ画像に存在する対応するレターボックスよりも明るく見えることがある。この平均法は、暗い及び明るい画像領域におけるＢＬＵＴを抑制し、それにより、幾つかの再構成ＨＤＲ画像においてブロック消失アーチファクト／問題を導入し得る。

本願明細書に記載した技術の下では、レターボックス問題のような他のアプローチに存在し得る欠点を克服するために、ヒストグラム加重ＢＬＵＴ推定処理が使用されてよい。追加で、任意で、又は代替として、幾つかの実施形態では、ＢＬＵＴ抑制動作（suppression operation）は、ブロック消失問題に対する解決策としては無効にされてよい。

数学的に、ＦＬＵＴはｆ（ｗ）→ｃと表すことができ、これは、ソースＨＤＲコードワードｗのＨＤＲエントリに対して、対応する再成形ＳＤＲコードワードｃを指定する。ＢＬＵＴ推定タスクは、参照ＨＤＲ画像を厳密に近似する再構成ＨＤＲ画像を生成する目的で、再成形ＳＤＲコードワードを再構成ＨＤＲコードワードにマッピングするために使用できる逆ＬＵＴ（又は対応するＢＬＵＴ）ｆ_ｂ（ｃ）→ｗを構成することである。

上述のように、ＦＬＵＴｆ（ｗ）→ｃは、多対１マッピング、又はマッピングの各々が幾つかのソースＨＤＲコードワードを同じ再成形ＳＤＲコードワードにマッピングし得るマッピングを有する場合がある。

ｗ_ｉ及びｗ_ｊがこのようなＨＤＲコードワードを表し、ｃ_ｋが、このような多対１マッピングにおける同じ再成形ＳＤＲコードワードを表すとする。

例として、限定ではなく、１６ビットのソースＨＤＲビデオ信号は、全部で６５５３６個の利用可能なＨＤＲコードワードを含むソースＨＤＲコードワード空間をサポートしてよく、一方で、１０ビットの再成形ＳＤＲビデオ信号は、全部で１０２４個の利用可能なＳＤＲコードワードを含む再成形ＳＤＲコードワード空間をサポートしてよい。従って、本例では、ｗ_ｉ，ｗ_ｊ∈［０，２^１６−１］、ｃ_ｋ∈［０，２^１０−１］である。範囲［ｗ_ｉ，ｗ_ｊ］にあるソースＨＤＲコードワードが、ＦＬＵＴ内の再成形ＳＤＲコードワードｃ_ｋに全部マッピングされるとする。ＢＬＵＴｆ_ｂ（ｃ）→ｗでは、ＳＤＲ値ｃ_ｋは、ｗ_ｋと示される単一の再構成ＨＤＲコードワードを有する１つのＨＤＲエントリだけを有し得る。これは、本質的に、再構成（又は出力）ＨＤＲ画像が、１６ビットのソースＨＤＲビデオ信号の中で表現可能な６５５３６個のユニークなコードワードの代わりに、範囲［０，２^１６−１］に渡り広がる１０２４個のユニークな再構成ＨＤＲコードワードを有することを意味する。課題は、再構成ＨＤＲ画像がソース（又は参照）ＨＤＲ画像と知覚的に依然として同様に見えるように、ＢＬＵＴの中で、これらの１０２４個のＨＤＲコードワードを選択することである。

上述のように、幾つかのアプローチの下では、ＢＬＵＴ推定のための平均法は、範囲［ｗ_ｉ，ｗ_ｊ］の中のＨＤＲコードワードの平均を、ＢＬＵＴｆ_ｂ（ｃ）→ｗ内のＳＤＲコードワードｃ_ｋのマップド（又は再構成）値として選択し、以下の通りである。

この平均法は、幾つかの動作シナリオでは、再構成ＨＤＲ画像内の知覚可能な品質損失を伴わず、良好に動作し得る。エントリ［ｗ_ｉ，ｗ_ｊ］がＦＬＵＴ内のｃ_ｋにマッピングするとき問題が生じるが、ソースＨＤＲ画像は範囲［ｗ_ｉ，ｗ_ｊ］内のこれらのコードワードの多く（例えば、殆ど、等）を有しない。

図３Ａは、（ａ）レターボックスを含む例示的なソースＨＤＲ画像、及び（ｂ）レターボックス問題の生じる例示的な再構成ＨＤＲ画像を示す。

説明のために、ソースＨＤＲ画像（ａ）内のレターボックスは、４０９６の（例えば、比較的均一な、比較的一定の、等）ソースＨＤＲコードワードを有し、一方で、再構成ＨＤＲ画像（ｂ）は、ソースＨＤＲコードワードと比べて大きくジャンプする値を表す８６０８の再構成ＨＤＲコードワードを有する。再構成ＨＤＲ画像のレターボックスにおける再構成ＨＤＲコードワードのこの値のジャンプは、図３Ａ（ｂ）から分かるように、レターボックスを通常より明るくする。この依存関係又はジャンプの理由は、以下のように説明できる。ソースＨＤＲ画像は、レターボックスについて４０９６の値を有し、１３１２１より上の次に高い値のＨＤＲコードワードを有する。幾つかのアプローチの下では、４０９６から１３１２０までの範囲にある（次に高い値のＨＤＲコードワードより下の）全部のＨＤＲコードワードは、同じ再成形ＳＤＲコードワード、例えば６７の値、にマッピングする。後方再成形のためのＢＬＵＴでは、６７の再成形ＳＤＲコードワードは、４０９６から１３１２０までの数値の平均にマッピングされ、これは約８６０８である（又はそれに丸め込まれる）。これは、再構成ＨＤＲ画像内のレターボックスを、ソースＨＤＲ画像内のレターボックスと比べてより明るくする。この問題は、再構成ＨＤＲ画像内の輝度忠実性を良好に維持するヒストグラム加重アプローチにより効率的に解決できる。

幾つかの他のアプローチの下で生じる別の問題は、ブロック消失問題である。図３Ｂは、黒色背景上の白色ブロックを含む例示的ソースＨＤＲ画像、及び黒色背景上の白色ブロックが消失し全体がグレーになる例示的な再構成ＨＤＲ画像を示す。

再構成ＨＤＲ画像の中でグレーになるソースＨＤＲ画像内の黒色背景は、上述の平均法（又は非ヒストグラムベースの平均法）に起因し得る。ソースＨＤＲ画像は、２つのコードワードのみ、例えば白色（５５３５０）及び黒色（７６００）のみを有する。ＦＬＵＴでは、７６００から５５３４９までの全部のソースＨＤＲコードワードが、８１の同じ再成形ＳＤＲコードワードにマッピングされる。ＢＬＵＴでは、８１の再成形ＳＤＲコードワードは、７６００から５５３４９までの数値の平均又は３１４７５にマッピングされる。結果として、再構成ＨＤＲ画像内の背景はグレーになる。

ＢＬＵＴ抑制動作（suppression operation）により、再構成ＨＤＲ画像では白色ブロックは消失する。

図３Ｃは、抑制のない、ＦＬＵＴから構成された第１ＢＬＵＴを表す例示的なグラフを示す。図示のように、抑制無しに生成された第１ＢＬＵＴは、グラフの端にある高い強度領域（高ＨＤＲコードワード値領域）で比較的鋭い遷移を含む。

図３Ｄは、抑制の有る、同じＦＬＵＴから構成された第２ＢＬＵＴを表す例示的なグラフを示す。図示のように、抑制を伴い生成された第２ＢＬＵＴは、グラフの端において、抑制動作により除去された高い強度領域（高ＨＤＲコードワード値領域）で比較的鋭い遷移を含む。幾つかのアプローチの下では、抑制動作は、多項式適合／近似を助ける第２ＢＬＵＴを表す曲線（又はグラフ）を生成する傾向がある。例示的な多項式適合／近似動作は、参照により本願明細書に全体が記載されたように組み込まれる２０１７年１０月２６日こに公開された米国特許出願公開番号第２０１８／０３０８９９６号に記載されている。

幾つかの動作シナリオでは、抑制を伴わず平均法を用いてＦＬＵＴから計算されたＢＬＵＴは、ステップ関数のように見えてよい。つまり、ＢＬＵＴを表す曲線は、ＳＤＲにおける白色のような比較的高い輝度レベルをＨＤＲにマッピングする高強度領域で鋭い（又は比較的急峻な）遷移を有する暗い及び中程度のトーン領域で平坦であってよい。抑制動作がＢＬＵＴに適用されて、別のＢＬＵＴを生成する場合、前者のＢＬＵＴの高強度領域における鋭い遷移は、後者のＢＬＵＴにおいて除去されてよい。結果として、後者のＢＬＵＴでは、全部のＳＤＲコードワードが、同じ再構成ＨＤＲコードワードにマッピングされてよい。このれは、黒色及び白色ボックスの両方を、同じ再構成ＨＤＲコードワード値にマッピングさせ、それにより、ボックスを消失させる。その上、平均法は、上述のように全てをグレーにする。

平均法に関連する問題を克服するために、本願明細書に記載されたヒストグラム加重ＢＬＵＴ生成技術は、ＢＬＵＴを生成するために使用できる。ＨＤＲヒストグラムは、ＣＤＦ照合により（例えば、直ちに、等）導出でき、ＢＬＵＴ生成／予測を向上するために使用され又は利用できる。

Ｉ（ｐ）が、所与の（例えば、各々の、等）ソースＨＤＲ画像Ｉ内のｐに位置するピクセルのルマコードワード（例えば、強度、等）を表す。ＨＤＲヒストグラムは、（例えば、各々の、等）ソースＨＤＲ画像Ｉについて、以下のように計算されてよい。

ここで、ｎは、ＨＤＲヒストグラム

の中のビンインデックスとして使用されるＨＤＲルマコードワードを示し、

は識別関数を表す。幾つかの実施形態では、ソースＨＤＲ画像Ｉについて計算されたＨＤＲヒストグラム

は、シーン全体に渡り又はスライディングウインドウの中の多数のフレームに渡り集約できる。集約されたＨＤＲヒストグラム（ｈ（・）と示される）は、ＣＤＦ照合で又はＦＬＵＴ生成のために使用できる。集約されたＨＤＲヒストグラムｈ（・）の中のビンの数は、ＨＤＲドメイン（又はＨＤＲコードワード空間）の中のコードワードの可能な最大数に等しい。

複数の（異なる）ソースＨＤＲコードワード［ｗ_ｉ，ｗ_ｊ］がＦＬＵＴにおいて同じ再成形ＳＤＲコードワードｃ_ｋにマッピングされるシナリオを考える。再成形ＳＤＲコードワードｃ_ｋがＢＬＵＴｆ_ｂ（ｃ）→ｗでマッピングされる、マッピングされた（後方再成形された）ＨＤＲコードワードｗ_ｋは、以下の通りである。

このヒストグラムに基づくＢＬＵＴ推定方法（又は処理）により、図３Ａに示すレターボックス問題を考える。図３ＡのソースＨＤＲ画像では、４０９６から１３１２０までのソースＨＤＲコードワードは、再成形ＳＤＲコードワード６７にマッピングされる。しかしながら、４０９７から１３１２０までのＨＤＲコードワードを有するピクセルがソースＨＤＲ画像内に存在しないので、上述の式（３）は以下の式に変換される。

式（４）から分かるように、ヒストグラムに基づくＢＬＵＴ推定方法は、正しいＢＬＵＴマッピングｆ_ｂ（６７）→４０９６を提供する。従って、再構成ＨＤＲ画像では、レターボックスは、適正な再構成ＨＤＲコードワードにより表現される。

ブロック消失問題を解決するために、ＢＬＵＴ構成において抑制動作を（suppression operation）無効にできる。一例として、ブロック消失問題が生じる可能性のある画像において、抑制動作を無効にできる。別の例では、ＢＬＵＴを表すグラフ内に生じ得る鋭い遷移を処理するために多項式適合／近似処理が装備されるシナリオで、抑制動作を無効にできる。

抑制が無い場合、ソースＨＤＲ画像内に見える図３Ｂ（ａ）に示すような白色長方形ブロックは、再構成ＨＤＲ画像内で維持され得る。更に、ソースＨＤＲ画像内に見える図３Ｂ（ａ）に示すような黒色背景も、再構成ＨＤＲ画像内で維持され得る。

＜高忠実度の完全参照ＳＬＢＣクロマ再成形＞
図４Ａは、本願明細書に記載した技術の下で、高忠実度の完全参照ＳＬＢＣクロマ前方再成形の例示的な処理フローを示す。この処理フローにより生成されたＭＭＲ係数は、ソース（又は参照）ＨＤＲビデオ信号の中のクロマコードワードを再成形ＳＤＲビデオ信号の中の再成形クロマコードワードへと前方再成形するために使用でき、再成形ＳＤＲビデオ信号の中の再成形ＳＤＲ画像において、ソースＨＤＲビデオ信号の中のソース（又は参照）ＨＤＲ画像に対する色の忠実度を保存できる。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの前方再成形段（例えば、図２Ａ又は図２Ｂの２０４）におけるクロマ前方再成形部（例えば、図２Ａ又は図２Ｂの２２２）は、この処理フローの一部又は全部の動作を実行するために使用されてよい。

他のアプローチと対称的に、本願明細書に記載した技術では、ｄ３ＤＭＴ構成ブロック（例えば、２２４等）は、動的３Ｄマッピングテーブル（ｄ３ＤＭＴ）をソース（又は参照）ＨＤＲ画像（例えば、２０８等）及び参照ＳＤＲ画像（例えば、２４４等）から再構成するために使用できる。

参照ＳＤＲ画像２４４、又はその中のルマ及び／又はクロマコードワードの分布は、トリムパス検出ブロック４０２において分析できる。ブロック４０４で、トリムパスが参照ＳＤＲ画像２４４内に存在するか否かが決定される。このようなトリムパスは、ソースＨＤＲビデオ信号から参照ＳＤＲ画像２４４を含む参照ＳＤＲビデオ信号へのコンテンツマッピング（例えば、芸術的又はカラーリストの意図に基づき実行される操作／動作、カラーグレーディング操作、等）において導入されてよい。

参照ＳＤＲ画像２４４内にトリムパスが存在すると決定することに応答して、このようなトリムパスは、クロマトリムパス訂正（例えば、２２６等）により、ｄ３ＤＭＴ構成ブロック２４４により生成されたような参照ＳＤＲ画像２４４のｄ３ＤＭＴを、トリムされた色についてトレーニングされた参照３ＤＭＴとマージしてマージｄ３ＤＭＴにすることにより、訂正されてよい。

図４Ａ〜図４Ｃでは、ブロックへの入力は別のブロックで行われた決定に依存してよい。例えば、図４Ａに示すように、ｄ３ＤＭＴ構成ブロック２２４の出力（又はｄ３ＤＭＴ）又はクロマトリムパス訂正ブロック２２６の出力（又はマージｄ３ＤＭＴ）は、制約無しＭＭＲ行列構成４１２に入力される。２つのブロック２２４及び２２６のうちのどちらの出力が、制約無しＭＭＲ行列構成４１２への実際の入力となるかは、参照ＳＤＲ画像２４４内にトリムパスが存在するか否かに関するブロック４０４における決定に依存する。存在する場合、クロマトリムパス訂正ブロック２２６により出力されるマージｄ３ＤＭＴが、制約無しＭＭＲ行列構成４１２への（実際の）入力として使用される。存在しない場合、ｄ３ＤＭＴ構成ブロックにより出力されたｄ３ＤＭＴ（トレーニングされた３ＤＭＴとマージされない）が、制約無しＭＭＲ行列構成４１２への（実際の）入力として使用される。ブロック４１４で、制約無し最小二乗問題は、ＭＭＲ係数について解くために定式化される。ＭＭＲ係数は、ソースＨＤＲ画像２０８内のレターボックスのクロマコードワードを、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために使用される。

参照ＳＤＲ画像２４４、又はその中のルマ及び／又はクロマコードワードの分布は、レターボックス検出ブロック４０６において分析できる。ブロック４０８で、レターボックス（例えば、単一のレターボックス、複数のレターボックス、等）が参照ＳＤＲ画像２４４内に存在するか否かが決定される。

参照ＳＤＲ画像２４４内にレターボックスが存在しないと決定することに応答して、ブロック４１８で、制約無しＭＭＲ行列構成ブロック４１２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより、ルマ前方再成形部（例えば図２Ａ又は図２Ｂの２１４等）により取得されてよい。

他方で、参照ＳＤＲ画像２４４内にレターボックスが存在しないと決定することに応答して、レターボックスの色を保証するために（又は色忠実度を維持するために、等）、ブロック４１６で、制約無しＭＭＲ行列構成ブロック４１２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のレターボックスのクロマコードワードを、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために適用される。

ブロック４１０で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが、十分に正確か否かが（例えば、１つ以上の精度／範囲閾値等に基づき）決定される。

制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック４１８へ進み、制約無しＭＭＲ行列構成ブロック４１２により、制約無しＭＭＲ行列構成ブロック４１２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ルマ前方再成形部（例えば図２Ａ又は図２Ｂの２１４等）により、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより取得されてよい。

他方で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りＭＭＲ行列構成ブロック４２０により、制約有りＭＭＲ行列が構成される。ブロック４２２で、ソースＨＤＲ画像２０８内のレターボックスのクロマコードワードを、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードに前方再成形するために使用されるＭＭＲ係数は、制約有りＭＭＲ行列を用いて最適化問題（例えば、最小化問題、等）を解くことにより生成される。次に処理はブロック４１８に進み、制約有りＭＭＲ行列構成ブロック４２０により、制約有り最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ルマ前方再成形部（例えば図２Ａ又は図２Ｂの２１４等）により、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより取得されてよい。

図４Ｂは、本願明細書に記載した技術の下で、高忠実度の完全参照ＳＬＢＣクロマ後方再成形の例示的な処理フローを示す。この処理フローにより生成されたＭＭＲ係数は、後方再成形画像メタデータとして受信側装置に提供でき、受信側装置により、再成形ＳＤＲ画像（例えば２４０等）内のクロマコードワードを、再構成ＨＤＲ画像内の再構成クロマコードワードへと後方再成形するために使用でき、再構成ＨＤＲ画像において、再成形ＳＤＲ画像２４０を生成するために使用されるソース（又は参照）ＨＤＲ画像（例えば２０８等）に対する色忠実度を保存できる。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの後方再成形段（例えば、図２Ａ又は図２Ｂの２０６）におけるクロマ後方再成形部（例えば、図２Ａ又は図２Ｂの２３４）は、この処理フローの一部又は全部の動作を実行するために使用されてよい。

ｄ３ＤＭＴ構成ブロック（例えば２３０等）は、再形成ＳＤＲ画像（例えば、図２Ａ又は２Ｂの２０４のような従来の前方再成形段により生成されるような２４０等）及びソース（又は参照）ＨＤＲ画像（例えば２０８等）から、動的３Ｄマッピングテーブル（ｄ３ＤＭＴ）を構成するために使用できる。

ｄ３ＤＭＴ構成ブロック２３０により構成されたｄ３ＤＭＴは、制約無しＭＭＲ行列を構成するために、制約無しＭＭＲ行列構成４３２へと入力される。ブロック４３６で、制約無し最小二乗問題は、ＭＭＲ係数について解くために定式化される。ＭＭＲ係数は、再成形ＳＤＲ画像２４０のクロマコードワードを、再構成ＨＤＲ画像内の再構成クロマコードワードへと後方再成形するために使用される。

再成形ＳＤＲ画像２４０、ソースＨＤＲ画像２０８、又は参照ＳＤＲ画像２４４のいずれかの中のルマ及び／又はクロマコードワードの分布は、レターボックス検出ブロック４３０において分析できる。幾つかの実施形態では、レターボックスが存在するか否かに関する決定は、ブロック４３０及び４３４において、レターボックスがこれらの画像のうちのいずれかに存在するか否かを決定するために使用されてよい。

レターボックスが存在しないと決定することに応答して、ブロック４４０で、制約無しＭＭＲ行列構成ブロック４３６により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像（例えば２４０等）と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中に含まれる。

他方で、レターボックスが存在すると決定することに応答して、レターボックスの色を保証するために（又は色忠実度を維持するために、等）、ブロック４３８で、制約無しＭＭＲ行列構成ブロック４３６により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像２４０内のレターボックスのクロマコードワードを、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードへと後方再成形するために適用される。

ブロック４４２で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確か否かが（例えば、１つ以上の精度／範囲閾値等に基づき）決定される。

制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック４４０へ進み、制約無しＭＭＲ行列構成ブロック４３６により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像（例えば２４０等）と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）に含まれる。

他方で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りＭＭＲ行列構成ブロック４４４により、制約有りＭＭＲ行列が構成される。ブロック４４６で、再成形ＳＤＲ画像２４０内のレターボックスのクロマコードワードを、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードに後方再成形するために使用されるＭＭＲ係数は、制約有りＭＭＲ行列を用いて最適化問題（例えば、最小化問題、等）を解くことにより生成される。処理フローは次にブロック４４０へ進み、再成形ＳＤＲ画像（例えば２４０等）と共に下流受信側装置へ送信されるべき後方再成形画像メタデータとして、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）に含まれる。

＜３ｄＤＭＴ構成＞
３Ｄマッピングテーブル（３ＤＭＴ）は、必ずしも限定されないがトレーニングされた３ＤＭＴ又は動的３ＤＭＴ（又はｄ３ＤＭＴ）たけを含み、色空間（例えば、ＲＧＢ、ＹＣｂＣｒ、等）の各色チャネル（例えば、赤又はＲ、緑又はＧ、青又はＢ、Ｙ、Ｃｂ、Ｃｒ、等）と共に、例えばｄ３ＤＭＴ構成ブロック（例えば、図２Ａ又は２Ｂの２２６又は２３６、図４Ａの２２６、図４Ｂの２２６等）により、構築できる。例示的な３ＤＭＴ（又は３Ｄ平坦化マッピングテーブル）構成は、参照により本願明細書に全体が記載されたように組み込まれる２０１８年２月２８日こ出願された米国仮特許出願公開番号第６２／６３６,３８８号に記載されている。

色チャネルの利用可能な成分ピクセル値（又は利用可能な成分コードワード）の全範囲は、画像内で実際に見付かった各色チャネルの最小及び最大成分ピクセル値（又は成分コードワード）に依存して、多数の固定サイズのビンに統計的に区分でき、又は多数の非固定サイズのビンに動的に区分できる。これは以下に更に詳細に説明される。

エンドツーエンドＳＬＢＣ符号化パイプラインは前方再成形段（例えば２０４等）及び後方再成形段（例えば２０６等）の両方を含み、下位互換性をサポートするので、本願明細書に記載したのと同じｄ３ＤＭＴ構成技術が、前方再成形段２０４及び後方再成形段２０６の両方により、それらそれぞれのｄ３ＤＭＴを構築するために使用できる。前方再成形段２０４では、第１ｄ３ＤＭＴは、ソース（又は参照）ＨＤＲ画像２０８を参照ＳＤＲ画像２４４へとマッピングするために構成される。後方再成形段２０６では、第２ｄ３ＤＭＴが、ソースＨＤＲ画像２０８を前方再成形することにより生成された再成形ＳＤＲ画像を、ソースＨＤＲ画像２０８にマッピングするために構成される。

説明のみを目的として、ｄ３ＤＭＴは、ソース信号から目標信号への、又はソース画像から目標画像へのマッピングを表すと考えられる。従って、前方再成形段２０４における第１ｄ３ＤＭＴは、ソース（又は参照）ＨＤＲビデオ信号のようなソース信号から参照ＳＤＲビデオ信号のような目標信号への、又はＨＤＲ画像２０８のようなソース画像から参照ＳＤＲ画像２４４のような目標画像への、マッピングを表す。同様に、後方再成形段２０６における第２ｄ３ＤＭＴは、再成形ＳＤＲビデオ信号のようなソース信号からソースＨＤＲビデオ信号のような目標信号への、又は再成形ＳＤＲ画像２４０のようなソース画像からソース（又は参照）ＨＤＲ画像２０８のような目標画像への、マッピングを表す。

ソース信号のクロマチャネルの解像度が、ルマチャネルの解像度と異なる（例えば、小さい等）場合、ソース信号のルマチャネルは、ルマチャネルがクロマチャネルと同じ解像度を有するように、先ずダウンサンプリングされ得る。

ｓ^ｃｈ _ｔ，ｉが、ソース信号の中のフレームｔ（又はｔ番目のソース画像）内の（色）チャネルｃｈのピクセルｉの非正規化値を表し、ｄｈ＝｛Ｙ，Ｃ_０，Ｃ_１｝であるとする。ｒ^ｃｈ _ｔ，ｉが、目標信号の中の対応する目標画像内の対応する（色）チャネルｃｈの対応するピクセルｉの非正規化値を表すとする。説明の目的で、ソース信号のビット深さはｂ_ｓであり、目標信号のビット深さはｂ_ｒであるとする。

先ず、ソースフレームｔのチャネル毎に、非正規化最小（Ｌ^ｃｈ _ｔ，ｉと表す）が見付かり、以下の通りである。

次に、各チャネルは、非正規化最小及び最大に基づき、Ｑ個のビンに不均一に量子化又は区分されてよい。ビンｊの範囲は、以下の通りである。

ここで、

区分されたビン（各色チャネルの中にＱ個のビン）は、ソース信号の中のソースフレームｔの（Ｑ×Ｑ×Ｑ）又は３Ｄヒストグラム（Ω^Ｑ，ｓ _ｔ）を計算するために使用できる。３ＤヒストグラムΩ^Ｑ，ｓ _ｔはＱ^３個のビンを含み、その中の各３Ｄビンは、ビンインデックスｑ＝（ｑ^Ｙ，ｑ^Ｃ０，ｑ^Ｃ１）により指定でき、このような３Ｄビンの各々により表される色チャネルのそれぞれの値範囲に含まれる３チャネル量子化値を有するピクセルの合計数（又はカウント）を表す。ビンインデックスは以下のように決定される。

３ＤヒストグラムΩ^Ｑ，ｓ _ｔの各３Ｄビンの中のソースピクセル値の和は、ルマ又はクロマチャネル毎に計算されてよい。以下がそれぞれ（例えば、ＹＣｂＣｒ色空間、等における）３つのチャネル内の上記のような和を表すとする。

更に、３ＤヒストグラムΩ^Ｑ，ｓ _ｔの各３Ｄビンの中のソースピクセル値からマッピングされた目標ピクセル値の和は、クロマチャネル毎に計算されてよい。以下がそれぞれ、ソース画像ｔに対応する目標画像の（例えば、ＹＣｂＣｒ色空間、等における）２つのクロマチャネル内の上記のようなクロマの和を表すとする。

ソースビデオ信号（又はソース画像ｔ）から目標ビデオ信号（又は対応する目標画像）へのマッピングを記述するｄ３ＤＭＴを表す３Ｄ（ソース）ヒストグラムの中の３Ｄビンの前述の統計（及び対応する目標ピクセル値統計）を収集する例示的な手順は、以下の表１に示される。

表１

幾つかの実施形態では、ｔ（これはフレームインデックスのような論理的時間を表す）における（現在）ソースフレームについて、ピクセルのゼロでない合計数（Ω^Ｑ，ｓ _ｔ，ｑ≠０）を有する３Ｄヒストグラム内のビンが識別され、保持される。いかなるピクセルも有しないこれらの全部のビンは、３Ｄヒストグラムから破棄される。｛ｑ_０，ｑ_１，．．．ｑ_ｋｔ−１｝が、Ω^Ｑ，ｓ _ｔ，ｑ≠０であるＫ_ｔ個のこのようなビンを表すとする。

の平均又は重心値（centroid）がこれらのビンについて、それぞれ計算されてよい。このような計算の例示的な手順は以下の表２に示される。
表２

例えば表２の例示的な手順により計算された重心値

を有するｄ３ＤＭＴは、（例えば、比較的高速、低遅延、等）メモリ空間、バッファ、データストアなどに格納されてよい。ｄ３ＤＭＴは、以下に更に詳細に説明されるように、ＭＭＲ係数を計算するために使用できる。

上述のように、幾つかの実施形態では、各チャネルは、０〜２^ｂｓ−１まで区分されなくてよいが、むしろ、このような各チャネルにおいて実際の最小値Ｌ^ｓ，ｃｈ _ｔから実際の最大値Ｌ^ｓ，ｃｈ _ｔ＋２^ｂｓ／ｇ^ｃｈ _ｔまで区分されてよい。これは、幾つかのフレーム（又は画像）内のピクセルが非常に小さな値範囲の中に存在するからである。これらのフレームでは、固定区分（０〜２^ｂｓ−１）は、ｄ３ＤＭＴの中で非常に少ないゼロでないビンを生じる。結果として、固定区分された３ＤＭＴから構築されるＭＭＲ行列は、特異（singular）である可能性が非常に高い。これは、ＭＭＲ計算が失敗し得る又は収束しない可能性があることを意味する。その場合、多くの場合にＭＭＲよりもあまり正確な予測を提供しない多項式予測が、ＭＭＲに基づく予測の代わりに使用できる。

他方で、各チャネルの中の実際の最小値Ｌ^ｓ，ｃｈ _ｔから実際の最大値Ｌ^ｓ，ｃｈ _ｔ＋２^ｂｓ／ｇ^ｃｈ _ｔまでの動的区分は、依然としてより精細な（例えば、サイズの、範囲の、等）区分を提供できる。これは、ピクセルが、依然として、ｄ３ＤＭＴ内の比較的多数の異なるビンに分類され入力され得ることを意味する。ゼロでないビンの数が増大するにつれ、ｄ３ＤＭＴから構築されるＭＭＲ行列は、完全なランク（例えば、特異でない、あまり特異ではない、等）である可能性がより高くなる。これは、ＭＭＲ行列を解いて、クロマチャネル内の予測のためのＭＭＲ係数を生成できることを意味する。

追加、任意で、又は代替として、各（ソース）ビンの重心値（又は質量中心）が、中間点の代わりに、決定され、ＭＭＲ係数を計算するために使用できる。これにより、クロマチャネルに関連する予測において比較的高い精度を提供する。

＜トリムパス訂正＞
ルマトリムパス処理ブロック（例えば、図２Ａ又は２Ｂの２２２等）、クロマトリムパス処理ブロック（例えば、図２Ａ又は２Ｂ又は図４Ａの２２６等）、等のうちの１つ以上により実行されるトリムパス訂正は、前方再成形段（例えば、図２Ａ又は２Ｂの２０４等）に実装されてよい。

本願明細書に記載されたような参照ＳＤＲ画像（例えば２４４等）は、１つ以上の（例えばプログラムで実行される、自動的に実行される、最小限のユーザ介入による、等）ＣＭアルゴリズムにより、ソース（又は参照）ＨＤＲ画像（例えば２０８等）から、必ずしも限定されないがＳＯＰパラメータ（例えば、シフト、オフセット、パワー、等）のみを含み得るコンテンツマッピングメタデータに基づき、生成されてよい。時に、生成された参照ＳＤＲ画像は、カラーリスト（例えば、ビデオ専門家、ディレクタ、等）により（例えば、手動入力により、ユーザ相互作用により、等）、カラーグレーディングツールで利用可能なトリムパスパラメータ（例えば、リフト、ゲイン、ガンマ、等）を調整して所望の外観を達成するために（例えば、手動で、ＧＵＩ制御による相互作用を通じて、等）操作されてよい。カラーリストにより実行されるトリムパス動作は、参照ＳＤＲ画像において所望の外観を達成する処理において、カラーリストの意図を表す。

トリムパス動作はソース（又は参照）ＨＤＲ画像の芸術的意図を参照ＳＤＲ画像の中で表現する又は維持するために使用され得るが、１つ以上の輝度範囲において参照ＳＤＲ画像内にクリッピングアーチファクトが導入されることがある。正しく修正されない場合、これらのクリッピングアーチファクトは、トリムパス動作により参照ＳＤＲ画像から生成される後方再成形ＨＤＲ画像の中で視覚的アーチファクトを生じ、従って後方再成形ＨＤＲに伝搬し得る。ルマでは、視覚的アーチファクトは、テクスチャの詳細の損失として現れる。クロマでは、視覚的アーチファクトは、色の損失として現れる。例えば、参照ＨＤＲ画像又は参照ＳＤＲ画像内の少女の唇の赤いバラ色が、後方再成形ＨＤＲ画像において殆ど黒に見えることがある。

後方再成形ＨＤＲ画像において比較的正確なＨＤＲコードワードを生成するために、再成形ＳＤＲ画像の中のＳＤＲコードワードの可逆性を維持するために、トリムパス訂正が前方再成形段２０４において適用されてよい。トリムパス訂正は、ＳＤＲドメインで表現された又は表された芸術的意図に対するトリムパス動作の影響を取り消さない。むしろ、本願明細書に記載のトリムパス訂正は、トリムパス動作から生じるクリッピング（又は輝度又は色度情報の非可逆性損失）を回避／低減し、カラーリストの介入において表現された又は表された芸術的意図を再成形ＳＤＲ画像の中で依然として維持する。

更に、本願明細書に記載の技術の下で参照ＨＤＲ画像の中の詳細は、再成形ＳＤＲ画像内の可逆性（又はクリッピングのない）ＳＤＲコードワードへと再成形できるので、再成形ＳＤＲ画像を後方再成形することにより生成された再構成ＨＤＲ画像は、参照ＨＤＲ画像と比べて比較的正確な輝度及び色度情報を含むことができる。それにより、再構成ＨＤＲ画像の中で、参照ＨＤＲ画像の中で表現された／表されたのと同じ又は同様の芸術的意図を維持する。

前述のように、ルマの例示的なトリムパス検出及び訂正は、米国特許出願公開番号第２０１８／０００７３５６号に記載されている。クロマのトリムパス訂正は、以下に詳細に記載される。

先ず、低い強度領域（又は低い輝度サブ範囲）におけるルマコードワードに対するトリムパス動作の影響は、深刻になり得る。これらの領域の色は、比較的重度にクリッピングされ得る。例えば、顔（例えば、少女の顔、等）における大量の画像の詳細が消失する。後方再成形の間、同じピクセル値を有する再成形ＳＤＲピクセルは、同じＨＤＲ値にマッピング又は後方再成形される。結果として、これらの領域におけるクリッピングは、再構成ＨＤＲ画像へと伝搬し、画像の詳細及び色の損失の非可逆性をもたらす。

第２に、この問題を扱うために、再構成ＨＤＲ内の色の損失が参照ＳＤＲ画像におけるクリッピングにより生じるとき、本願明細書に記載の技術では、色は、再成形ＳＤＲ画像の中で復元できる。その結果、参照ＳＤＲ画像におけるクリッピングの影響は、再成形ＳＤＲ画像において回避され又は低減される。後者は、参照ＳＤＲ画像の代わりに再構成ＨＤＲ画像を再構成するために使用されてよい。

幾つかの実施形態では、色の修復は、トレーニングされた（例えば、クリッピングの無い又は殆ど無い）参照３ＤＭＴ及び（例えば、クリッピングを有する、等）参照ＳＤＲ画像から構築されたｄ３ＤＭＴをマージすることにより達成される。トレーニングされた参照３ＤＭＴは、トレーニングデータセットの中のトレーニングＨＤＲ−ＳＤＲ画像対（これらのうちの一部又は全部はクリッピングを有しない又は殆ど有しなくてよい）の入力から構築されてよい。例えば、トレーニングされた参照３ＤＭＴは、ビデオ画像シーケンスの中の最大数（例えば５０＋等）のトレーニングＨＤＲ−ＳＤＲ画像ペアのうちの（例えば、一様にサンプリングされた、ランダムにサンプリングされた、等）トレーニングデータセットの中の３０００＋ＨＤＲ−ＳＤＲ画像（又はフレーム）の平均３ＤＭＴとして構築されてよい。

３ＤＭＴは、画像内のピクセル値の範囲に関わらず、０〜２^ｂｓ−１の固定区分を用いて各トレーニングＨＤＲ−ＳＤＲ画像ペア（又はフレームペア）から構築されてよい。言い換えると、３ＤＭＴは、表１及び２と同じ手順を用いて計算できる。ここで、Ｌ^ｓ，ｃｈ _ｔは０に設定され、ｇ^ｃｈ _ｔは１に設定される。各色チャネルは、Ｑ＾個のビン（例えば、３２個のビン、６４個のビン、１２８個のビン、等）に分割されてよい。個々のトレーニングＨＤＲ−ＳＤＲ画像（又はフレーム）ペアから構築された全部の個々の３ＤＭＴは、次に、平均３ＤＭＴへと平均化され得る。この平均３ＤＭＴの中に空のビン（例えば、ゼロのヒストグラムカウントを有するビン、等）が存在する場合、近隣の又は隣接する空ではないビンのゼロではないヒストグラムカウントが、前の空のビンに入力するために例えば線形補間又は他の補間方法を用いて補間（interpolated）ヒストグラムカウントを導出するために使用されてよい。境界にある空のビンは、必要ならば、それらの利用可能な最も近い近隣（例えば、空のビンの片側にある複数の隣接する空ではないビン、等）から補完できる。

幾つかの実施形態では、色空間毎に、及びＥＯＴＦの種類（例えば、ＰＱに基づく、ガンマに基づく、ＨＬＧに基づく、等）毎に、それぞれのトレーニングされた参照３ＤＭＴが、例えばオフライン処理を通じて構築できる。

例として限定ではなく、トレーニングされた参照３ＤＭＴ内のマップドＳＤＲクロマ値は、Ｃ_０及びＣ_１についてそれぞれ以下のように表す。

ここで、以下の通りである。

再成形ＳＤＲクロマコードワードを予測するＳＬＢＣ動作の間、トレーニングされた参照３ＤＭＴは、初期化で（例えば、比較的高速な、低待ち時間の、等）メモリにロードされ得る。再成形ＳＤＲ画像毎に、個々のｄ３ＤＭＴは、再成形ＳＤＲ画像へと前方再成形されるソース（又は参照）ＨＤＲ画像、及びソースＨＤＲ画像に対応する（例えば、可能なカラーリストの介入によりコンテンツマッピングされた、等）参照ＳＤＲ画像を用いて、例えば、表１及び２に示した手順を用いて構築できる。このｄ３ＤＭＴは、フレーム固有３ＤＭＴと呼ばれてよく、ソースＨＤＲ値

及び対応する参照ＳＤＲ値

を有する空ではない（又はゼロではないヒストグラムカウントを有する）ビンを含む３Ｄヒストグラムにより表現されてよい。フレーム固有ｄ３ＤＭＴを表す３Ｄヒストグラムで使用されるビンインデックスは、以下の通りであってよい。

（例えば各々の、等）参照ＳＤＲ画像の中のトリムパス（又はトリムパス動作の影響）は、ルマチャネルの中の参照ＳＤＲ画像の画像情報を用いて、例えば、ルマチャネルに対するトリムパス検出及び訂正技術を実装する図２Ａ又は２Ｂの２２０のようなルマトリムパス処理ブロックにより、検出できる。

参照ＳＤＲ画像（例えば、フレームｔ，等）内の高又は低ＳＤＲ強度領域（又はＳＤＲ輝度サブレンジ）又は高及び低ＳＤＲ強度領域の両方にクリッピング（又はトリムパス）が存在すると決定することに応答して、クリップされたＳＤＲ強度領域（又はＳＤＲ輝度サブレンジ）に対応するＨＤＲ強度領域（又はＨＤＲ輝度サブレンジ）を有するフレーム固有３ＤＭＴ内のビンである。低強度領域におけるクリッピング点は、フレームｔについてρ^low _{ｃｄｆ，ｔ}と示されてよい。高強度領域におけるクリッピング点は、ρ^ｈｉｇｈ _{ｃｄｆ，ｔ}と示されてよい。これはビンインデックスの代わりに、ルマコードワード値（又は輝度値）を表し得る。

トリムパス訂正動作の例示的な手順は以下の表３に示される。この例示的な手順では、ルマ値がクリッピング範囲

の中にあるフレーム３ＤＭＴの中のビンについて、マップドＳＤＲ（コードワード）値は、フレーム固有３ＤＭＴのマップドＳＤＲ（コードワード）値とトレーニングされた参照３ＤＭＴのマップドＳＤＲ（コードワード）値との平均により置き換えられる。クリッピング範囲内にない他のビンのＳＤＲ値は置換されなくてよい。
表３

更新されたＳＤＲコードワード値

は、色損失無しに又は僅かしか有しないで参照ＨＤＲ画像を再成形ＳＤＲ画像へと前方再成形するために使用される最適ＭＭＲ係数を決定するためにＭＭＲ行列を生成するために、不変のＳＤＲコードワード値

と共に使用されてよい。

＜レターボックス制約＞
レターボックス処理ブロック（例えば、図２Ａ又は２Ｂの２２８又は２３８等）により実行されるレターボックス処理は、前方再成形段（例えば、図２Ａ又は２Ｂの２０４等）及び後方再成形段（例えば、図２Ａ又は２Ｂの２０６等）内に実装されてよい。

前述のように、本願明細書に記載されるｄ３ＤＭＴは、ソース信号から目標信号への、又はソース画像から目標画像へのマッピングを表すと考えられてよい。従って、前方再成形段２０４では、フレーム固有ｄ３ＤＭＴ（これはトリムパス訂正されていてよい）は、ソース（又は参照）ＨＤＲビデオ信号のようなソース信号から参照ＳＤＲビデオ信号のような目標信号への、又はＨＤＲ画像２０８のようなソース画像から参照ＳＤＲ画像２４４のような目標画像への、マッピングを表す。同様に、後方再成形段２０６では、フレーム固有ｄ３ＤＭＴは、再成形ＳＤＲビデオ信号のようなソース信号からソースＨＤＲビデオ信号のような目標信号への、又は再成形ＳＤＲ画像２４０のようなソース画像からソース（又は参照）ＨＤＲ画像２０８のような目標画像への、マッピングを表す。以下のように、フレーム固有ｄ３ＤＭＴ内のゼロではないビンの平均参照クロマ値を用いて、フレーム固有ｄ３ＤＭＴから、２つのベクトルが構成できる。

更に、以下のように、フレーム固有ｄ３ＤＭＴ内のゼロではないビンの平均ソース値を用いて、行列が構成できる。

ここで、

これは、全部のサポートされるＭＭＲを含む又は表すために使用されてよい。例示的なＭＭＲ関連行列及び／又はベクトル構成は、先に言及した米国仮特許出願番号第６２／４０４,３０７号に記載されている。

ＭＭＲ係数は、以下のように最適化問題を解くことにより計算又は生成できる。

ここで、ｘ^Ｃ０ _ｔ及びｘ^Ｃ１ _ｔは、それぞれＣ_０及びＣ_１のＭＭＲ係数を示す。

以下の通りであるとする。

ＭＭＲ係数の閉形式解は以下の通り与えられる。

本願明細書で使用されるとき、レターボックスは、画像、スクリーン、等の上部、下部、左、又は右にある黒色の帯を表してよく、（例えば、２つの向かい合う柱を含む、２つの向かい合う帯を含む、等）ピラーボックスを含んでよい。レターボックスを示す（又は表現する）ために使用されるピクセルは、同じピクセル値を有してよく、従って対応するフレーム固有ｄ３ＤＭＴの中の単一のビンにマッピングされてよい。レターボックスのサイズに関わらず、レターボックスは、フレーム固有ｄ３ＤＭＴに入力されるコードワード値を１つだけ提供してよい。レターボックスからコードワード値の分布への貢献が、単一のビンに比較的限られるので、レターボックスの存在は、ＭＭＲ適合／最適化処理に対して比較的小さな影響又は比較的少ない影響しか有しない。従って、この処理により生成されたＭＭＲ係数は、レターボックスのために特に最適化されなくてよく、より具体的には、レターボックスのピクセルが属す／貢献するビンに特に良好に適合しなくてよい。結果として、前方再成形段２０４における再成形ＳＤＲ画像又は後方再成形段２０６における再構成ＨＤＲ画像のような生成された画像（又は目標画像）内のレターボックスは、前方再成形段２０４におけるソース（又は参照）ＨＤＲ画像のようなソース（又は参照画像）又は後方再成形段２０６における再成形ＳＤＲ画像が黒色で現れるときでさえ、時に、黒色以外で現れる。

この問題を解決するために、上述の式（１４）から得られたＭＭＲ係数は、前方再成形段２０４におけるＳＤＲ画像のような目標画像及び後方再成形段２０６におけるソース（又は参照）ＨＤＲ画像の中のレターボックスクロマ値を予測するために、レターボックス制約として適用されてよい。

ソース画像（前方再成形段２０４におけるソースＨＤＲ画像又は後方再成形段２０６における再成形ＳＤＲ画像）内のレターボックスのコードワード値は、３つのチャネルについてそれぞれ、以下の通り示される。

説明の目的で、ソース画像が表現されるＹＣｂＣｒ色空間を考える。レターボックスは黒色なので、ｓ^Ｃ０ _ＬＢ及びｓ^Ｃ１ _ＬＢは、ＹＣｂＣｒ色空間のクロマチャネルの中の中央点に非常に近くなければならず、又は２^ｂｓ／２の非正規化値に非常に近くなければならない。ソース画像内のレターボックスの対応する正規化値は、３つのチャネルについてそれぞれ、以下の通り示される。

ＭＭＲ項のベクトルは、以下の通り形成されてよい。

目標画像（前方再成形段２０４における再成形ＳＤＲ画像、又は後方再成形段２０６における再構成ＨＤＲ画像）の予測（又は目標）クロマ値は、（上述の式（１４）の中の）ＭＭＲ係数及び（上述の式（１５）の中の）ベクトルを用いて、以下の通り取得できる。

正規化された予測クロマ値は、ソース画像の中の正規化されたクロマ値と比較されてよく、それらの全部は、［０，１］の正規化値範囲の中の１／２に近いことが期待される。

正規化された（目標画像内のレターボックスの）予測（又は目標）クロマ値が、正規化された（ソース画像内のレターボックスの）参照クロマ値と大きく異なると決定することに応答して、ＭＭＲ計算に制約が適用されてよい。その結果、再成形ＳＤＲ画像内のレターボックスの目標クロマ値の予測は比較的正確になる。

対応する参照画像内のレターボックスのクロマ値は、以下のように表され、２^ｂｒ／２に非常に近い。

これらのクロマ値の正規化された値はそれぞれ以下のように示される。

レターボックス制約を有するＭＭＲの最適化問題は、以下の通り定式化されてよい。

等式制約問題は、ラグランジュ乗数λ^Ｃ０及びλ^Ｃ１によりラグラジアン関数を形成することにより、以下のように解くことができる。

ＭＭＲ係数の閉形式解は以下の通り得られる。

以下の通りであるとすると、

上述の式（１９）の解は、以下のように書き換えられ又は表現できる。

前述のレターボックス処理動作を実行する例示的な手順は以下の表４に示される。
表４

＜ＨＦＦＲにおける時間的安定性＞
幾つかの実施形態では、時間的安定性を提供するために、クロマ再成形が、例えば同じシーンを示す全部の画像のうちの、シーンのような画像のサブセットに渡り実行されてよい。シーン毎に、シーンの中の全部の画像のうちの個々の統計が収集され、次に、ルマ及び／又はクロマコードワード前方及び後方再成形のために再成形パラメータの単一のセットを生成するために、集約される。前方再成形クロマコードワードについて、（例えば、同じシーンを表す、等）複数の画像の再成形パラメータの単一のセットを取得する例示的な手順は、以下の表５に示される。
表５

更に、任意で、又は代替として、後方再成形クロマコードワード、前方再成形ルマコードワード、後方再成形ルマコードワード、等の各々について、再成形パラメータの単一のセットが、（例えば、同じシーンを表す、等）複数の画像について取得されてよい。

幾つかの実施形態では、線形及びセグメントに基づくＳＬＢＣ前方及び／又は後方再成形動作は、３つのレベルのスライディングウインドウに基づくスライディングウインドウ動作により生成された統計を用いてビデオ符号化動作の部分として実行される例示的なスライディングウインドウ動作は、先に言及した米国仮特許出願番号第６２／６３６,３８８号に記載されている。

画像のシーケンス全体は、画像の複数の重なり合うセグメントを定義するために使用されてよい。画像の複数の重なり合うセグメントのうちの各々の重なり合うセグメントは、画像の個々のシーケンスを表してよい。

現在の（又は現在処理中の）入力画像（又は時間ｔにおけるフレーム）毎に、ＦＬＵＴ、ＢＬＵＴ、ＭＭＲ係数を計算／導出するために使用されるスカラ、ベクトル、及び／又は行列、等のうちの一部又は全部のような、フレームレベルの統計は、レベル３（又はＬ３）スライディングウインドウにおいて計算され格納され得る。フレームレベルの統計の一部又は全部は、ソースＨＤＲコードワード、参照ＳＤＲコードワード、再成形ＳＤＲコードワード、等のうちの一部又は全部を用いて計算できる。新たな入力フレームについての統計は、リングバッファのようなメモリ構造に、メモリ構造の中の最も古い入力フレームについての統計を置換する最新Ｌ３データとして挿入されてよい。新たな出力データ（又は統計）は、比較的単純な平均演算、加重線形／非線形結合演算、等のうちのいずれかのような、スライディングウインドウ動作を用いて計算できる。新たな出力データは、時間ｔ−τ^ａ _３における代表的統計として機能してよく、ここでτ^ａ _３はＬ３スライディングウインドウにおける遅延を表す。

Ｌ３スライディングウインドウからの新たな出力データは、第２メモリ構造の中の最も古いＬ２データを置換する最新Ｌ２データとして、レベル２（Ｌ２）スライディングウインドウに挿入できる。各々の新たな統計の挿入において（又はＬ３スライディングウインドウからの新たな出力データの各々の挿入において）、Ｌ２スライディングウインドウに基づく新たな統計が計算され出力される。Ｌ２スライディングウインドウに基づき計算されたこれらの新たな統計は、時間ｔ−τ^ａ _３−τ^ａ _２における代表的統計として機能してよく、ここでτ^ａ _３＋τ^ａ _２はＬ２スライディングウインドウにおける遅延を表す。

Ｌ２ウインドウからの新たな出力データは、第３メモリ構造の中の最も古いL１データを置換する最新L１データとして、レベル１（L１）スライディングウインドウに挿入できる。各々のこのような挿入において、統計の新しいセットが、Ｌ１スライディングウインドウに基づき計算され、時間ｔ−τ^ａ _３−τ^ａ _２−τ^ａ _１の最終出力データ（又は統計）として使用される。ここで、（τ^ａ _３＋τ^ａ _２＋τ^ａ _１）は、各スライディングウインドウ動作からの全部の遅延を加算し、出力における合計遅延（待ち時間）を表す。

＜高効率な低減された参照ＳＬＢＣコーデック＞
図４Ｃは、本願明細書に記載した技術の下で、高効率の低減された参照ＳＬＢＣクロマ前方及び後方再成形の例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。例えば、エンドツーエンド符号化パイプラインの前方再成形段（例えば、図２Ａ又は２Ｃの２０４等）は、前方再成形に関連するこの処理フローにおける一部又は全部の動作を実行するために使用されてよい。一方で、エンドツーエンド符号化パイプラインの後方再成形段（例えば、図２Ａ又は２Ｃの２０６等）は、後方再成形に関連するこの処理フローにおける一部又は全部の動作を実行するために使用されてよい。

この処理フローにより生成された前方再成形ＭＭＲ係数は、ソース（又は参照）ＨＤＲビデオ信号の中のクロマコードワードを再成形ＳＤＲビデオ信号の中の再成形クロマコードワードへと前方再成形するために使用でき、再成形ＳＤＲビデオ信号の中の再成形ＳＤＲ画像において、ソースＨＤＲビデオ信号の中のソース（又は参照）ＨＤＲ画像に対する色の忠実度を保存できる。

この処理フローにより生成された後方再成形ＭＭＲ係数は、後方再成形画像メタデータとして受信側装置に提供でき、受信側装置により、再成形ＳＤＲ画像（例えば２４０等）内のクロマコードワードを、再構成ＨＤＲ画像内の再構成クロマコードワードへと後方再成形するために使用でき、再構成ＨＤＲ画像において、再成形ＳＤＲ画像２４０を生成するために使用されるソース（又は参照）ＨＤＲ画像（例えば２０８等）に対する色忠実度を保存できる。

ビデオエンコーダは、計算の複雑さを低減するために、本願明細書に記載の高効率の低減された参照コーデックアーキテクチャを実装してよい。図４Ｃに示すように、マッピングサイド情報（例えば２４６等）は、（例えば、全部実質的に全部、等）の個々のピクセルのうちの（例えば、全部実質的に全部、等）のピクセル値を含む参照ＳＤＲ画像（例えば、図４Ａ又は４Ｂの２４４等）の代わりに、マッピング情報段（例えば２０２等）から、ビデオエンコーダの前方再成形段（例えば２０４等）、後方再成形段（例えば２０６等）、等のような後の処理段へと送信できる。図２Ｃ及び４Ｃに示されるＨＥＲＲ符号化動作では、ソース（又は参照）ＨＤＲ画像（例えば、２０８等）及びソース（又は参照）ＨＤＲ画像２０８に関連付けられたマッピングサイド情報２４６は、後の処理段により、前方再成形関数（例えば、ＦＬＵＴ、ＭＭＲ係数、等）を構成するため、前方再成形関数に基づきソースＨＤＲ画像２０８を前方再成形することにより（前方）再成形ＳＤＲ画像（例えば２０４等）を生成するため、受信側装置（又は受信側ビデオデコーダ）により、ソースＨＤＲ画像２０８を厳密に近似する再構成ＨＤＲ画像を生成するために使用される後方再成形画像メタデータ（例えば２４２等）を生成するため、ＳＬＢＣビデオ信号の中の画像メタデータ２４２を後方再成形することにより再成形ＳＤＲ画像２４０を符号化するため、等に使用される。幾つかの動作シナリオでは、マッピングサイド情報２４６は、完全な参照ＳＤＲ画像の中で表現されるものと比べて、削減された数の色を含んでよい。

ＨＦＦＲコードでは、参照ＳＤＲ画像（例えば図４Ａの２４４等）は、クロマ前方再成形のためにｄ３ＤＭＴを構築するために使用された、ソースＨＤＲ画像２０８の各ピクセルにコンテンツマッピングを適用することにより生成される。ＨＦＦＲモードでは、参照ＳＤＲ画像２４４は、ＳＬＢＣビデオ信号に符号化されず、むしろ、クロマ前方再成形のためのｄ３ＤＭＴを構築するための近似参照として機能する。従って、ＨＦＦＲモードでは、各々の個々のピクセルレベルで（例えば、画像内の数百万個のピクセルの各々について）実行される多数の符号化関連動作がある。

これに対して、ＨＥＲＲモードでは、ブロックにおいて、ｄ３ＤＭＴが、削減された数（例えば、数百万より遙かに少ない１００００等）のサンプリング点におけるコンテンツマッピング情報のようなマッピングサイド情報２４６から生成でき、各々の個々のピクセルレベルで完全な参照ＳＤＲ画像を用いて生成し又は動作しない。結果として、大量の計算又は符号化関連動作が節約され又は回避できる。

完全参照モードにおけるように、低減参照モードでマッピング情報段２０２でマッピングサイド情報２４６を生成するために、ソースＨＤＲ画像２０８（フレームｔと示される）内のコードワードは、各色チャネルの中の最小及び最大コードワード値に基づき、色チャネル毎にＱ個のビンに区分できる。全部で、Ｑ×Ｑ×Ｑ個の３Ｄビンがある。非正規化最小コードワード値をＬ^{ＥＤＲ，ｃｈ} _ｔと表し，非正規化最大コードワード値をＨ^{ＥＤＲ，ｃｈ} _ｔと表す。ここで、チャネルｃｈ＝｛Ｙ，Ｃｂ，Ｃｒ｝である。ビンｊの範囲は、以下の通り与えられる。

ＨＤＲピクセル値（又はコードワード値）の３Ｄヒストグラム（Ω^{Ｑ，ＥＤＲ} _ｔ）は、以下のビンインデックスにより指定される３Ｄヒストグラム内の各３Ｄビンにより収集される。

各３Ｄビンの中のＨＤＲピクセル値のチャネル固有和（以下のように示される）が、それぞれ計算される。

ゼロでない数のピクセルを有する、（３ＤヒストグラムΩ^{Ｑ，ＥＤＲ} _ｔの）空ではないビンについて、チャネル固有平均ＨＤＲピクセル値（又はコードワード値）は、以下のように示され

全部の色チャネルについてそれぞれ計算でき、空ではないビンで表されるＨＤＲピクセル値のマップドＳＤＲピクセル値も、全部の色チャネルについてそれぞれ、平均ＨＤＲピクセル値におけるコンテンツマッピングを用いて決定され又は計算されてよい。Ｋｔ個のビンを以下のように示す。

マップドＳＤＲピクセル値を以下のように示す。

チャネル固有平均ＨＤＲピクセル値

及びマップドＳＤＲピクセル値

のようなマッピング統計を収集する例示的な手順は、以下の表６に示される。
表６

上述の表６から分かるように、完全参照モードと異なり、低減参照モードのマップドＳＤＲピクセル値は、参照ＳＤＲ画像内の個々のＳＤＲピクセル値を平均する代わりに、サンプリング点におけるＨＤＲピクセル値にコンテンツマッピングを適用することにより取得される。このようなコンテンツマッピングは、ｄ３ＤＭＴを表す３ＤヒストグラムΩ^{Ｑ，ＥＤＲ} _ｔのゼロでないビットにのみ適用されてよい。ＨＤＲ及びＳＤＲコードワード統計

を含む３ＤヒストグラムΩ^{Ｑ，ＥＤＲ} _ｔにより表されるｄ３ＤＭＴは、ヒストグラム

と一緒に、マッピングサイド情報２４６として、マッピングサイド情報段（例えば図２Ｃの２０２等）から前方再成形段（例えば図２Ｃの２０４等）及び／又は後方再成形段（例えば図２Ｃの２０６等）へ送信され、前方再成形段（例えば図２Ｃの２０４等）及び後方再成形段（例えば図２Ｃの２０６等）で前方及び後方再成形関数を構成するために使用されてよい。

本願明細書で使用されるとき、マッピング情報段（例えば図２Ｃの２０２等）から前方再成形段（例えば図２Ｃの２０４等）及び／又は後方再成形段（例えば図２Ｃの２０６等）へ各々のソースＨＤＲ画像と共に送信される例示的なマッピングサイド情報は、必ずしもそれだけに限定されないが、以下のいずれかを含んでよい。以下のような３ＤＭＴ情報：

次のようなレターボックス情報：
レターボックス指示子（「letter_box_flag」と示される）、存在する場合にはレターボックスのソースＨＤＲピクセル（又はコードワード）値

ＳＤＲドメインにおけるレターボックスのマップドＳＤＲピクセル（又はコードワード）値

等。

＜クロマ前方再成形＞
マッピング情報段（図２Ｃの２０２）からのｄ３ＤＭＴは、前方再成形段（図２Ｃの２０４）内の制約無しＭＭＲ行列構成４６０により受信される。ブロック４６８で、制約無し最小二乗問題は、ＭＭＲ係数について解くために定式化される。ＭＭＲ係数は、ソースＨＤＲ画像２０８内の（適切な場合には任意のレターボックスソースＨＤＲクロマコードワードを含む）クロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の（適切な場合には任意のレターボックス再成形ＳＤＲクロマコードワードを含む）再成形クロマコードワードへと前方再成形するために使用される。

マッピングサイド情報２４６の中で提供されたｄ３ＤＭＴから、ｄ３ＤＭＴを表す３Ｄヒストグラムのゼロでないビン（又は空ではないビン）のＳＤＲクロマ値を用いて２つのベクトルが以下のように構成できる。

さらに、ゼロでないビンの平均ＨＤＲピクセル値を用いて、以下のように行列が構成できる。

これは、全部のサポートされるＭＭＲ項を含む。

以下の通りであるとする：

制約無しＭＭＲ係数は、制約無しＭＭＲ行列を用いて制約無し最小二乗問題を解くことにより、以下のように閉形式で得られる。

ソースＨＤＲ画像２０８、又はその中のルマ及び／又はクロマコードワードの分布は、ソースＨＤＲ画像２０８内のレターボックスの存在を検出するために、マッピング情報段（図２Ｃの２０２）において分析できる。マッピングサイド情報２４６は、マッピング情報段（図２Ｃの２０２）から、前方再成形段（図２Ｃの２０４）及び後方再成形段（図２Ｃの２０６）のような後の処理段へのレターボックス指示子を含んでよい。ブロック４６６で、例えば、前方再成形段（図２Ｃの２０４）において、マッピング情報段（図２Ｃの２０２）から受信したマッピングサイド情報２４６内のレターボックス指示子に基づき、レターボックス（例えば、単一のレターボックス、複数のレターボックス、等）がソースＨＤＲ画像２０８内に存在するか否かが決定される。

ソースＨＤＲ画像２０８内にレターボックスが存在しないと決定することに応答して、ブロック４６４で、制約無しＭＭＲ行列構成ブロック４６２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ルマ前方再成形部（例えば図２Ａ又は図２Ｂの２１４等）により、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより取得されてよい。

他方で、ソースＨＤＲ画像２０８内にレターボックスが存在すると決定することに応答して、再成形ＳＤＲ画像２４０内でレターボックスの色を保証するために（又は色忠実度を維持するために、等）、ブロック４６８で、制約無しＭＭＲ行列構成ブロック４６２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のレターボックスのクロマコードワードを、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードへと前方再成形するために適用される。

幾つかの実施形態では、マッピング情報段（図２Ｃの２０２）においてソースＨＤＲ画像内でレターボックスが検出されると、レターボックスの正規化ＨＤＲピクセル値が、以下のように決定される。

正規化ＨＤＲピクセル値

に対して、コンテンツマッピングが適用されて、ＳＤＲドメインでレターボックスの対応するマップドＳＤＲピクセル値

を取得できる。必ずしもそれだけに限定されないが、正規化ＨＤＲピクセル値

及び対応するマップドＳＤＲピクセル値

のうちのいずれか、一部又は全部を含むレターボックス情報は、マッピングサイド情報２４６の一部として、マッピング情報段（図２Ｃの２０２）から前方再成形段（図２Ｃの２０４）及び／又は後方再成形段（図２Ｃの２０６）へと送信できる。

ブロック４７０で、ベクトルが以下のように構成できる。

予測レターボックス値は、制約無しＭＭＲ係数を用いて以下のように計算されてよい。

ブロック４７０で、上述の式（３０）の制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが、十分に正確か否かが（例えば、Δのような１つ以上の精度／範囲閾値等に基づき）決定される。

制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック４６４へ進み、制約無しＭＭＲ行列構成ブロック４６２により、制約無しＭＭＲ行列構成ブロック４１２により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ルマ前方再成形部（例えば図２Ａ又は図２Ｃの２１４等）により、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより取得されてよい。

他方で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りＭＭＲ行列構成ブロック４９０により、制約有りＭＭＲ行列が構成される。

例えば、再成形ＳＤＲ画像２４０の対応するレターボックスの再成形クロマコードワードは、レターボックスの再成形クロマコードワードについてレターボックスの予測したピクセル値のいずれかが、マッピングサイド情報２４６の中で受信したレターボックスのマップドＳＤＲピクセル値と大きく異なる場合、例えば以下：

十分に正確ではないと考えられる。その他の場合、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードは、十分に正確であると考えられる。

ブロック４８６で、ソースＨＤＲ画像２０８内のレターボックスのクロマコードワードを、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードに前方再成形するために使用されるＭＭＲ係数は、制約有りＭＭＲ行列を用いて最適化問題（例えば、最小化問題、等）を解くことにより生成される。

例えば、ＭＭＲ係数は、制約有りＭＭＲ行列を用いて以下のように取得できる。

次に処理はブロック４６４に進み、制約有りＭＭＲ行列構成ブロック４２０により、制約有り最小二乗問題を解くことにより生成されたＭＭＲ係数は、ソースＨＤＲ画像２０８内のクロマコードワードを、再成形ＳＤＲ画像（例えば２４０等）内の再成形クロマコードワードへと前方再成形するために適用され、これは、符号化ビットストリーム（例えば、図１のＳＬＢＣビデオ信号１１２等）の中で受信側装置へと出力できる。再成形ＳＤＲ画像２４０内の再成形ルマコードワードは、ルマ前方再成形部（例えば図２Ａ又は図２Ｃの２１４等）により、ソースＨＤＲ画像２０８内のルマコードワードを前方再成形することにより取得されてよい。

＜クロマ後方再成形＞
完全参照モードでは、第１ｄ３ＤＭＴは、ソースＨＤＲ画像（例えば２０８等）及び参照ＳＤＲ画像に基づき前方再成形するために構成され、第２の異なるｄ３ＤＭＴは、ソースＨＤＲ画像及びソースＨＤＲ画像２０８を前方再成形することにより生成された再成形ＳＤＲ画像（例えば２４０等）に基づき後方再成形するために構成される。低減参照モードでは、マッピング情報段（図２Ｃの２０２）により構成されたのと同じｄ３ＤＭＴが、前方及び後方再成形の両方のために使用でき、計算の複雑さを低減する。

マッピング情報段（図２Ｃの２０２）からのｄ３ＤＭＴは、後方再成形段（図２Ｃの２０６）内の制約無しＭＭＲ行列構成４７２により受信される。ブロック４８０で、制約無し最小二乗問題は、ＭＭＲ係数について解くために定式化される。ＭＭＲ係数は、再成形ＳＤＲ画像２４０内の（適切な場合には任意のレターボックス再成形クロマコードワードを含む）クロマコードワードを、再構成ＨＤＲ画像内の（適切な場合には任意のレターボックス再構成ＨＤＲクロマコードワードを含む）再構成クロマコードワードへと後方再成形するために使用される。

マッピングサイド情報２４６の中で提供されたｄ３ＤＭＴから、ｄ３ＤＭＴを表す３Ｄヒストグラムのゼロでないビン（又は空ではないビン）の平均ＨＤＲクロマ値を用いて２つのベクトルが以下のように構成できる。

さらに、ゼロでないビンのＳＤＲピクセル値を用いて、以下のように行列が構成できる。

これは、全部のサポートされるＭＭＲ項を含む。

以下の通りであるとする：

制約無しＭＭＲ係数は、制約無しＭＭＲ行列を用いて制約無し最小二乗問題を解くことにより、以下のように閉形式で得られる。

ブロック４７４で、例えば、後方再成形段（図２Ｃの２０６）において、マッピング情報段（図２Ｃの２０２）から受信したマッピングサイド情報２４６内のレターボックス指示子に基づき、レターボックス（例えば、単一のレターボックス、複数のレターボックス、等）がソースＨＤＲ画像２０８内に存在するか否かが決定される。

レターボックスがソースＨＤＲ画像２０８内に存在しないと決定することに応答して、ブロック４８８で、制約無しＭＭＲ行列構成ブロック４８０により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像（例えば２４０等）と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。

他方で、ソースＨＤＲ画像２０８内にレターボックスが存在すると決定することに応答して、再成形ＳＤＲ画像２４０内でレターボックスの色を保証するために（又は色忠実度を維持するために、等）、ブロック４７６で、制約無しＭＭＲ行列構成ブロック４８０により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像２４０内のレターボックスのクロマコードワードを、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードへと後方再成形するために適用される。

幾つかの実施形態では、マッピング情報段（図２Ｃの２０２）においてソースＨＤＲ画像内でレターボックスが検出されると、ベクトルが、以下のように構成される。

予測レターボックス値は、制約無しＭＭＲ係数を用いて以下のように計算されてよい。

ブロック４７８で、上述の式（４１）の制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確か否かが（例えば、Δのような１つ以上の精度／範囲閾値等に基づき）決定される。

制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが十分に正確であると決定することに応答して、処理フローはブロック４８８へ進み、制約無しＭＭＲ行列構成ブロック４８０により、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像２４０と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。

他方で、制約無し最小二乗問題を解くことにより生成されたＭＭＲ係数により予測された、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードが、十分に正確ではないと決定することに応答して、制約有りＭＭＲ行列構成ブロック４８２により、制約有りＭＭＲ行列が構成される。

例えば、再成形ＳＤＲ画像２４０内の対応するレターボックスの再成形クロマコードワードは、予測ベクトルのいずれかが大きく異なる場合、例えば以下：

十分に正確ではないと考えられる。その他の場合、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードは、十分に正確であると考えられる。

ブロック４８４で、再成形ＳＤＲ画像２４０内のレターボックスのクロマコードワードを、再構成ＨＤＲ画像内の対応するレターボックスの再構成クロマコードワードに後方再成形するために使用されるＭＭＲ係数は、制約有りＭＭＲ行列を用いて最適化問題（例えば、最小化問題、等）を解くことにより生成される。

例えば、ＭＭＲ係数は、制約有りＭＭＲ行列を用いて以下のように取得できる。

処理フローはブロック４８８に進み、制約有りＭＭＲ行列構成ブロック４８４により、制約有り最小二乗問題を解くことにより生成されたＭＭＲ係数は、再成形ＳＤＲ画像２４０と共に後方再成形画像メタデータとして、符号化ビットストリームに書き込まれる。

＜ルマ前方及び後方再成形＞
幾つかの実施形態では、前方再成形ルックアップテーブル（forward reshaping look-up table (FLUT)）を構築するために、ＣＤＦ照合が利用できる。ブロック４５０で、各々のサンプリングされないピクセルのレベルのソースＨＤＲ画像２０８及び参照ＳＤＲ画像からではなく、サンプリング点（例えば、ＨＤＲ及びＳＤＲ画像フレームの各々の中のサンプリンググリッド、等）におけるソースＨＤＲコードワード値及びＳＤＲコードワード値から生成されたｄ３ＤＭＴを用いて、１Ｄルマヒストグラムが構成される。マッピング情報段（図２Ｃの２０２）からのマッピングサイド情報２４６の中でｄ３ＤＭＴを表す３Ｄヒストグラムが既に利用可能なので、前方再成形段（図２Ｃの２０４）は、３Ｄヒストグラムの中で、ルマ値が１Ｄルマヒストグラムの中の同じルマビンに対応する全部の３Ｄビンを加算することにより、１Ｄルマヒストグラムを構築できる。

１Ｄルマヒストグラムに基づき補間ＦＬＵＴ４５２を生成するために、ＣＤＦ照合ブロック（例えば２１８等）により、ＣＤＦ照合が実行されてよい。補間ＦＬＵＴは、平滑化されたＦＬＵＴを生成するために平滑化されてよい。更に、後方再成形ＬＵＴ（ＢＬＵＴ）は、ＢＬＵＴ構成ブロック４５６により、平滑化ＦＬＵＴの中で示されるコードワードマッピング又は曲線（例えば、８ピースの２次多項式、等）を用いて、構成されてよい。

異なる計算コストで１Ｄルマヒストグラムを構築する２つの例示的な方法又は手順は、以下の表７及び８に示される。表７に示される第１の方法では、各ビンの重心（centroid）が計算される。重心を用いて、ＣＤＦ照合が実行される。これは、比較的高いコストの計算を必要とするが、比較的高い精度のマッピングを生成する。表８に示す第２の方法では、各ビンは、比較的低コストの計算で容易に決定できる、その中心点（mid-point）により表される。２つの方法は以下に提示される。
表７

表８

＜ＨＥＲＲにおける時間的安定性＞
幾つかの実施形態では、ＨＦＦＲモードにおけるように、ＨＥＲＲモードで、時間的安定性を提供するために、ルマ及びクロマ再成形が、例えば同じシーンを示す全部の画像のうちの、シーンのような画像のサブセットに渡り実行されてよい。シーン毎に、シーンの中の全部の画像のうちの個々の統計が収集され、次に、ルマ及び／又はクロマコードワード前方及び後方再成形のために再成形パラメータの単一のセットを生成するために、集約される。前方及び／又は後方再成形ルマ及び／又はクロマコードワードについて、（例えば、同じシーンを表す、等）複数の画像の再成形パラメータの単一のセットを取得する例示的な手順は、以下の表９に示される。
表９

幾つかの実施形態では、ＨＦＦＲモードにおけるように、ＨＥＲＲモードでは、線形及びセグメントに基づくＳＬＢＣ前方及び／又は後方再成形動作は、３つのレベルのスライディングウインドウに基づくスライディングウインドウ動作により生成された統計を用いてビデオ符号化動作の部分として実行される

＜例示的な処理フロー＞
図４Ｄは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。ブロック４００２で、画像処理装置（例えば、符号化ブロック１２０等）は、第１ダイナミックレンジの第１画像及び第１画像に対応する第２画像について、３次元（３Ｄ）マッピング統計を生成する。第２画像は、第１ダイナミックレンジと異なる第２ダイナミックレンジのものである。

ブロック４００４で、画像処理装置は、多変量多重回帰（Multivariate multiple regression (MMR)）係数を、レターボックス制約無しで、３Ｄマッピング統計により少なくとも部分的に構築されたＭＭＲ行列を使用して定式化される最適化問題を解くことにより、生成する。ＭＭＲ係数は、第２画像のクロマコードワード値を予測するためのクロママッピングを生成するために使用される。

ブロック４００６で、画像処理装置は、第１画像又は第２画像のうちの少なくとも１つの中にレターボックスが存在するか否かを決定する。

ブロック４００８で、第１画像又は第２画像のうちの少なくとも１つの中にレターボックスが存在すると決定することに応答して、画像処理装置は、制約無し最適化問題を解くことにより生成されたクロママッピングが第２画像の中のクロマコードワード値を正確に予測するか否かを決定する。

ブロック４０１０で、画像処理装置は、第１画像、又は第２画像を近似する第３画像、のうちの１つを提供して、受信側装置により第１画像、又は第２画像を近似する第３画像、のうちの１つを少なくとも後方成形することにより生成された再構成画像を、受信側装置と関連して動作するディスプレイ装置によりレンダリングさせる。

一実施形態では、３Ｄマッピング統計は、第１画像及び第２画像のうちの一方又は両方が表される色空間の各色チャネルの中の最小及び最大コードワード値に従い生成される複数のビンパーティション動態を有するヒストグラムにより表される。

一実施形態では、３Ｄマッピング統計は、複数のビンパーティションを有するヒストグラムにより表され、画像処理装置は、複数のビンパーティションのうちの各ビンパーティションに属するコードワードに基づき、重心のセットを計算するよう更に構成される。

一実施形態では、第３画像は、前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像であり、第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、第２画像は、ソースＨＤＲ画像からコンテンツマッピングを通じて生成される参照ＳＤＲ画像を表す。

一実施形態では、第２画像はソース高ダイナミックレンジ（ＨＤＲ）画像であり、第１画像は、ソースＨＤＲ画像から生成される前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像を表し、第３画像は、ソースＨＤＲ画像を近似する再構成ＨＤＲ画像を表し、再構成ＨＤＲ画像は、受信側装置にビットストリームの中で提供される後方再成形画像メタデータに基づき、前方再成形されたＳＤＲ画像から後方再成形を通じて生成される。

一実施形態では、画像処理装置は、ディスプレイ装置と共に動作するビデオデコーダに、符号化ビットストリームの中で前方再成形ＳＤＲ画像と共に後方再成形画像メタデータを提供することを実行するよう更に構成される。後方再成形画像メタデータは、前方再成形ＳＤＲ画像内のクロマコードワード値を再構成ＨＤＲ画像内の再構成コードワード値へと後方再成形するクロママッピングを生成するために、ビデオデコーダにより使用される画像メタデータを含む。

一実施形態では、画像処理装置は、第１画像又は第２画像のうちの少なくとも１つの中にレターボックスが存在しないと決定することに応答して、制約無し最適化問題を解くことにより生成されたクロママッピングを使用して、第２画像の中のクロマコードワード値を生成することを実行するよう更に構成される。

一実施形態では、画像処理装置は、制約無し最適化問題を解くことにより生成されたクロママッピングが第２画像の中のクロマコードワード値を正確に予測しないと決定したことに応答して、制約有り最適化問題を解くことにより生成された新しいＭＭＲ係数からのクロママッピングの再生成を実行してＭＭＲ係数セットを取得し、制約有り最適化問題は、（ａ）制約無しＭＭＲ行列と、（ｂ）第１ダイナミックレンジの特定のレターボックスクロマコードワード値を第２ダイナミックレンジの特定のレターボックスクロマコードワード値に関連付ける特定のレターボックス制約と、により定式化され、
新しいＭＭＲ係数から再生成されたクロママッピングを使用して、第３画像のクロマコードワード値を生成することを実行するよう更に構成される。

一実施形態では、３Ｄマッピング統計は、（ａ）第１ダイナミックレンジのソース画像を表す第１画像及び（ｂ）第２ダイナミックレンジの参照画像の個々のピクセル値を使用して、ピクセルレベルで生成され、
第２ダイナミックレンジの参照画像は、第１ダイナミックレンジのソース画像からマッピングされたコンテンツであり、
画像処理装置は、
第２ダイナミックレンジの参照画像の中にクリッピングが存在するか否かを決定し、
第２ダイナミックレンジの参照画像の中にクリッピングが存在すると決定したことに応答して、３Ｄマッピング統計をトレーニングされた３Ｄマッピング統計とマージすることにより、３Ｄマッピング統計を変更することを実行するよう更に構成される。

一実施形態では、トレーニングされた３Ｄマッピング統計は、第１ダイナミックレンジの第１トレーニング画像と第２ダイナミックレンジの第２トレーニング画像とのペアを含むトレーニングデータセットから生成される。

一実施形態では、トレーニングされた３Ｄマッピング統計は、色空間種類及び電気光伝達関数種類に基づき、３Ｄマッピング統計の複数のセットから選択された３Ｄマッピング統計のセットで構成される。

一実施形態では、３Ｄマッピング統計は、（ａ）第１ダイナミックレンジのソース画像を表す第１画像のサンプリング点ピクセル値と（ｂ）第２ダイナミックレンジの対応するサンプリング点ピクセル値とを使用してサンプリング点レベルで生成され、
第２ダイナミックレンジの対応するサンプリング点ピクセル値は、第１ダイナミックレンジのソース画像のサンプリング点ピクセル値からマッピングされたコンテンツである。

一実施形態では、サンプリング点ピクセル値は、３Ｄグリッド又は密度分布のうちの１つ以上を使用して選択されたサンプリング点のものである。

一実施形態では、第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、第３画像は、前方再成形を通じてソースＨＤＲ画像から生成される前方再成形標準ダイナミックレンジ（ＳＤＲ）画像を表し、
クロママッピングは、クロマ前方再成形マッピングを表し、
画像処理装置は、レターボックス制約の無い３Ｄマッピング統計により少なくとも部分的に構築された第２ＭＭＲ行列を使用して定式化される第２最適化問題を解くことにより、第２ＭＭＲ係数を生成し、第２ＭＭＲ係数は、ソースＨＤＲ画像を近似する再構成ＨＤＲ画像の再構成ＨＤＲクロマコードワード値を予測する第２クロママッピングを生成するために使用され、
再構成ＨＤＲ画像をディスプレイ装置によりレンダリングさせることを実行するよう更に構成される。

一実施形態では、制約無し最適化問題を解くことにより生成されるクロママッピングが第２画像の中のクロマコードワード値を生成するために使用されるか否かを決定することは、クロママッピングが、１つ以上の範囲閾値により指定される特定の許容範囲で、第２ダイナミックレンジのレターボックスクロマ値を予測するか否かを決定することを含む。

一実施形態では、３Ｄマッピング統計は、第１画像のフレーム固有３Ｄマッピング統計のセットを表す。

一実施形態では、第１画像は、シーンを表す第１ダイナミックレンジの複数の画像の中のものであり、ＭＭＲ行列は、シーンを表す第１ダイナミックレンジの複数の画像のフレーム固有３Ｄマッピング統計の複数のセットから生成されたシーン固有３Ｄマッピング統計により構築される。

一実施形態では、ＭＭＲ行列は、第１ダイナミックレンジの複数の画像のフレーム固有３Ｄマッピング統計の複数セットから１つ以上のスライディングウインドウにより構築される。

一実施形態では、第３画像は、前方再成形画像を表し、第２ダイナミックレンジの第３画像は、単一レイヤ下位互換性のある符号化ビットストリームの中で、ディスプレイ装置と共に動作するビデオデコーダに提供される。

一実施形態では、第１又は第２画像のうちの少なくとも１つは、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣＢＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．２０２０色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、又は標準ダイナミックレンジ（ＳＤＲ）色空間、等のうちの１つで表される。

一実施形態では、第１画像又は第２画像のうちの少なくとも１つは、８、９、１０、１１、１２、１３、１４、又は１５＋ビットのうちの１つのビット深さのビデオ信号の中の同じダイナミックレンジの画像のシーケンスの中に符号化される。

図４Ｅは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。ブロック４０２２で、画像処理装置（例えば符号化ブロック１２０等）は、１つ以上のソースＨＤＲ画像の中で、ルマ前方再成形マッピングに少なくとも部分的に基づき前方再成形により１つ以上のソースＨＤＲ画像から生成された１つ以上のＳＤＲ画像の中の前方再成形標準ダイナミックレンジ（ＳＤＲ）ルマコードワード値へのルマ前方再成形マッピングによりマッピングされた１つ以上の高ダイナミックレンジ（ＨＤＲ）ルマコードワード値のセットを識別する。

ブロック４０２４で、画像処理装置は、１つ以上のＨＤＲルマコードワード値のセットを用いて、加重ＨＤＲルマコードワード値を決定する。

ブロック４０２６で、画像処理装置は、前方再成形ＳＤＲルマコードワード値を加重ＨＤＲルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングを構成する。後方再成形マッピングは、１つ以上のソースＨＤＲ画像を近似するために、１つ以上の再成形ＳＤＲ画像を１つ以上の再構成ＨＤＲ画像に後方再成形するために使用される。

ブロック４０２８で、画像処理装置は、１つ以上の再構成ＨＤＲ画像をレンダリングするために、後方再成形マッピングから少なくとも部分的に生成された後方再成形画像メタデータを、１つ以上の前方再成形画像と共に受信側装置に提供させる。

一実施形態では、ルマ前方再成形マッピングは、コンテンツマップドＳＤＲコードワード値の分布から生成されるＳＤＲヒストグラムから構成されるＳＤＲ累積密度関数（ＣＤＦ）を、コンテンツマッピング動作を通じてコンテンツマップドＳＤＲコードワード値を生成するために使用されるソースＨＤＲコードワード値の分布から生成されるＨＤＲヒストグラムから構成されるＨＤＲ ＣＤＦと照合することにより構築される。

図４Ｆは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。ブロック４０４２で、画像処理装置（例えば復号ブロック１３０等）は、第１ダイナミックレンジの再構成画像を生成するために、後方再成形画像メタデータを含むビデオ信号を受信する。再構成画像は、第１ダイナミックレンジの第１画像を近似するためのものである。再構成画像は、後方再成形画像メタデータに基づき、第１ダイナミックレンジと異なる第２ダイナミックレンジの第２画像を後方再成形により生成される。第２画像は第１画像に対応する。

後方再成形画像メタデータは、多変量多重回帰（multivariate multiple regression (MMR)）係数から生成されたクロママッピングを含む。ＭＭＲ係数は、第１画像及び第１画像に対応する第２画像について生成される３次元（３Ｄ）マッピング統計から少なくとも部分的に構築されるＭＭＲ行列を使用して定式化される最適化問題を解くことにより生成される。

ブロック４０４４で、画像処理装置は、ビデオ信号から第２画像を復号する。

ブロック４０４６で、画像処理装置は、後方再成形画像メタデータに基づき、第２ダイナミックレンジの第２画像を後方再成形して、第１ダイナミックレンジの再構成画像を生成する。

ブロック４０４８で、画像処理装置は、再構成画像をディスプレイ装置によりレンダリングさせる。

図４Ｇは、本発明の一実施形態による例示的な処理フローを示す。幾つかの実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、符号化装置／モジュール、トランスコーディング装置／モジュール、復号装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、等）は、この処理フローを実行してよい。ブロック４０６２で、画像処理装置（例えば復号ブロック１３０等）は、１つ以上の再構成高ダイナミックレンジ（ＨＤＲ）画像を生成するために、後方再成形画像メタデータを含むビデオ信号を受信する。１つ以上の再構成ＨＤＲ画像は、１つ以上のソースＨＤＲ画像を近似する。１つ以上の再構成ＨＤＲ画像は、後方再成形画像メタデータに基づき、１つ以上のソースＨＤＲ画像に対応する１つ以上の前方再成形ＳＤＲ画像を後方再成形することにより生成される。

後方再成形画像メタデータは、１つ以上の前方再成形ＳＤＲ画像の中の前方再成形ＳＤＲルマコードワード値を加重ＨＤＲルマコードワード値にマッピングする少なくとも後方再成形ルママッピングを含む後方再成形マッピングから少なくとも部分的に生成される。１つ以上のＨＤＲルマコードワード値のセットは、加重ＨＤＲルマコードワード値を決定するために使用される。１つ以上のＨＤＲルマコードワード値のセットは、１つ以上のＨＤＲ画像の中で識別される。１つ以上のソースＨＤＲ画像の中の１つ以上のＨＤＲルマコードワード値のセットの中の各ＨＤＲルマコードワード値は、ルマ前方再成形マッピングにより、１つ以上の前方再成形ＳＤＲ画像の中の前方再成形ＳＤＲルマコードワード値にマッピングされる。１つ以上の前方再成形ＳＤＲ画像は、ルマ前方再成形マッピングに少なくとも部分的に基づき、前方再成形により、１つ以上のソースＨＤＲ画像から生成される。

ブロック４０６４で、画像処理装置は、ビデオ信号から１つ以上の前方再成形ＳＤＲ画像を復号する。

ブロック４０６６で、画像処理装置は、後方再成形画像メタデータに基づき、１つ以上の前方再成形画像を後方再成形して、１つ以上の再構成ＨＤＲ画像を生成する。

ブロック４０６８で、画像処理装置は、１つ以上の再構成ＨＤＲ画像をディスプレイ装置によりレンダリングさせる。

一実施形態では、ディスプレイ装置、モバイル装置、セットトップボックス、マルチメディア装置、等のようなコンピューティング装置は、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、機器は、プロセッサを含み、前述の方法のうちのいずれかを実行するよう構成される。一実施形態では、非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサにより実行されると、前述の方法のうちのいずれかの実行を生じるソフトウェア命令を格納している。

一実施形態では、コンピューティング装置は、１つ以上のプロセッサと１つ以上の記憶媒体とを含み、該記憶媒体は、１つ以上のプロセッサにより実行されると、前述の方法のうちの何れかの実行を生じる命令のセットを格納している。

別個の実施形態が本願明細書に記載されたが、本願明細書で議論した実施形態及び／又は部分的実施形態の任意の組み合わせは、更なる実施形態を形成するために結合されてよい。

＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はＩＣは、本願明細書に記載したような拡張ダイナミックレンジを有する画像の適応型知覚量子化に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び／又はＩＣは、本願明細書に記載した適応型知覚量子化処理に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。

本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のＨＤＲ画像の適応型知覚量子化に関連する方法を実施してよい。本発明は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的媒体を含んでよい。本発明によるプログラムプロダクトは、種々の形式のうちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。

コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。

一実施形態によると、本願明細書に記載の木j通は、１つ以上の専用コンピューティング装置により実装される。専用コンピューティング装置は、技術を実行するためにハード結線されてよく、又は技術を実行するために永久的にプログラムされた１つ以上の特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA）のようなデジタル電子装置を含んでよく、又はファームウェア、メモリ、他の記憶装置又はそれらの組み合わせの中のプログラム命令に従い技術を実行するためにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでよい。このような専用コンピューティング装置は、技術を達成するために、カスタムハードワイヤドロジック、ＡＳＩＣ、又はＦＰＧＡをカスタムプログラミングと結合してもよい。専用コンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルド装置、ネットワーク装置、又は技術を実装するためにハードワイヤド及び／又はプログラムロジックを組み込む任意の他の装置であってよい。

例えば、図５は、本発明の一実施形態が実装され得るコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２又は他の通信メカニズム、及び情報を処理するためにバス５０２に結合されたハードウェアプロセッサ５０４を含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであってよい。

コンピュータシステム５００は、バス５０２に結合され、プロセッサ５０４により実行されるべき情報及び命令を格納するＲＡＭ（random access memory）又は他の動的記憶装置のようなメインメモリ５０６も含む。メインメモリ５０６は、プロセッサ５０４により実行されるべき命令の実行中に、時間変数又は他の中間情報を格納するためにも使用されてよい。このような命令は、プロセッサ５０４によりアクセス可能な非一時的記憶媒体に格納されるとき、コンピュータシステム５００を、命令で指定された動作を実行するようカスタマイズされた専用マシンにする。

コンピュータシステム５００は、バス５０２に結合され、プロセッサ５０４のための静的情報及び命令を格納する、読み出し専用メモリ（ＲＯＭ）５０８又は他の静的記憶装置を更に含む。情報及び命令を格納するために、磁気ディスク又は光ディスクのような記憶装置５１０が設けられ、バス５０２に結合される。

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示する液晶ディスプレイのようなディスプレイ５１２に結合されてよい。英数字及び他のキーを含む入力装置５１４は、プロセッサ５０４に情報及びコマンド選択を通信するために、バス５０２に結合される。別の種類のユーザ入力装置は、プロセッサ５０４に方向情報及びコマンド選択を通信するための、及びディスプレイ５１２上のカーソルの動きを制御するための、マウス、トラックボール、又はカーソル方向キーのようなカーソル制御５１６である。この入力装置は、標準的に、第１軸（例えばｘ）及び第２軸（例えばｙ）の２軸の２つの自由度を有し、装置が平面内で位置を指定することを可能にする。

コンピュータシステム５００は、コンピュータシステムと結合してコンピュータシステム５００を専用マシンにする又はプログラムする、カスタマイズされたハードワイヤドロジック、１つ以上のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、本願明細書に記載の技術を実装してよい。一実施形態によると、本願明細書に記載の技術は、プロセッサ５０４がメインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００により実行される。このような命令は、記憶装置５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてよい。メインメモリ５０６に含まれる命令のシーケンスの実行は、プロセッサ５０４に本願明細書に記載の処理ステップを実行させる。代替の実施形態では、ハードワイヤド回路は、ソフトウェア命令の代わりに又はそれと結合して使用されてよい。

本願明細書で使用される用語「記憶媒体」は、機械を特定の方法で動作させるデータ及び／又は命令を格納する任意の非一時的媒体を表す。このような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、記憶装置５１０のような光学又は磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のような動的メモリを含む。記憶媒体の一般的形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、固体ドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学データ記憶媒体、ホールのパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップ又はカートリッジを含む。

記憶媒体は、伝送媒体と異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、バス５０２を含むワイヤを含む、同軸ケーブル、銅線、光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような、音響又は光波の形式も取りうる。

種々の形式の媒体は、実行のためにプロセッサ５０４に１つ以上の命令の１つ以上のシーケンスを運ぶ際に関連してよい。例えば、命令は、最初に、リモートコンピュータの磁気ディスク又は固体ドライブにより運ばれてよい。リモートコンピュータは、その動的メモリに命令をロードし、該命令をモデムを用いて電話線を介して送信できる。コンピュータシステム５００のローカルにあるモデムは、電話線でデータを受信し、赤外線送信機を用いてデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号の中で運ばれたデータを受信し、適切な回路が該データをバス５０２に配置できる。バス５０２は、データをメインメモリ５０６に運び、そこからプロセッサ５０４が命令を読み出し実行する。メインメモリ５０６により受信された命令は、任意で、プロセッサ５０４による実行の前又は後に記憶装置５１０に格納されてよい。

コンピュータシステム５００は、バス５０２に結合された通信インタフェース５１８も含む。通信インタフェース５１８は、ローカルネットワーク５２２に接続されるネットワークリンク５２０との２方向データ通信結合を提供する。例えば、通信インタフェース５１８は、ＩＳＤＮ（integrated services digital network）カード、ケーブルモデム、衛星モデム、又は対応する種類の電話線にデータ通信接続を提供するモデムであってよい。別の例として、通信インタフェース５１８は、互換ＬＡＮにデータ通信接続を提供するＬＡＮ（local area network）カードであってよい。無線リンクも実装されてよい。任意のこのような実装では、通信インタフェース５１８は、種々の種類の情報を表すデジタルデータストリームを運ぶ電気、電磁気、又は光信号を送受信する。

ネットワークリンク５２０は、標準的に、１つ以上のネットワークを通じて他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を通じてホストコンピュータ５２４に又はＩＳＰ（Internet Service Provider）５２６により運用されるデータ機器に接続を提供してよい。ＩＳＰ５２６は、また、現在一般に「インターネット」５２８と呼ばれるワールドワイドパケットデータ通信ネットワークを通じて、データ通信サービスを提供する。ローカルネットワーク５２２及びインターネット５２８は、デジタルデータストリームを運ぶ電気、電磁気、又は光信号の両方を使用する。コンピュータシステム５００へ及びそれからのデジタルデータを運ぶ種々のネットワークを通じる信号及びネットワークリンク５２０上の信号および通信インタフェース５１８を通じる信号は、伝送媒体の例示的な形式である。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、及び通信インタフェース５１８を通じて、プログラムコードを含むメッセージを送信しデータを受信できる。インターネットでは、例えば、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２、及び通信インタフェース５１８を通じて、適切なプログラムのための要求されたコードを送信してよい。

受信したコードは、プロセッサ５０４により受信されるとプロセッサ５０４により実行され、及び／又は後の実行のために記憶装置５１０若しくは他の不揮発性記憶装置に格納される。

＜均等物、拡張機能、代替按、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

本発明の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。

ＥＥＥ１. 画像データを符号化する方法であって、
第１ダイナミックレンジの第１画像及び前記第１画像に対応する第２画像の３次元（３Ｄ）マッピング統計を生成するステップであって、前記第２画像は前記第１ダイナミックレンジと異なる第２ダイナミックレンジのものである、ステップと、
レターボックス制約を有しないで前記３Ｄマッピング統計により少なくとも部分的に構築された多変量多重回帰（multivariate multiple regression (MMR)）行列を用いて定式化された最適化問題を解くことにより、係数を生成するステップであって、前記ＭＭＲ係数は、前記第２画像のクロマコードワード値を予測するクロママッピングを生成するために使用される、ステップと、
前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在するか否かを決定するステップと、
前記制約無し最適化問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測するか否かを決定するステップと、
前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在しないと決定したことに応答して、前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングを使用して、前記第２画像の中のクロマコードワード値を生成するステップと、
ディスプレイ装置によりレンダリングされるべき前記第１画像又は前記第２画像を近似する第３画像のうちの１つを少なくとも後方再成形することにより、受信側装置により再構成画像を生成させるために、前記第１画像、又は前記第２画像を近似する第３画像のうちの前記１つを前記受信側装置に提供するステップと、を含む方法。

ＥＥＥ２. 前記第３画像は、前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像であり、前記第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、前記第２画像は、前記ソースＨＤＲ画像からコンテンツマッピングを通じて生成される参照ＳＤＲ画像を表す、ＥＥＥ１に記載の方法。

ＥＥＥ３. 前記第２画像はソース高ダイナミックレンジ（ＨＤＲ）画像であり、前記第１画像は、前記ソースＨＤＲ画像から生成される前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像を表し、前記第３画像は、前記ソースＨＤＲ画像を近似する再構成ＨＤＲ画像を表し、前記再構成ＨＤＲ画像は、前記受信側装置にビットストリームの中で提供される後方再成形画像メタデータに基づき、前記前方再成形されたＳＤＲ画像から後方再成形を通じて生成される、ＥＥＥ１に記載の方法。

ＥＥＥ４. 後方再成形画像メタデータを前記前方再成形ＳＤＲ画像と共に符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供するステップ、を更に含み、
前記後方再成形画像メタデータは、前記クロママッピングを生成して前記前方再成形ＳＤＲ画像の中のクロマコードワード値を前記再構成ＨＤＲ画像の中の再構成コードワード値に後方再成形するために前記ビデオデコーダにより使用される画像メタデータを含む、ＥＥＥ３に記載の方法。

ＥＥＥ５. 前記第１画像又は前記第２画像のうちの少なくとも１つの中にレターボックスが存在しないと決定することに応答して、制約無し最適化問題を解くことにより生成された前記クロママッピングを使用して、前記第２画像の中のクロマコードワード値を生成するステップを更に含むＥＥＥ１乃至４のいずれか一項に記載の方法。

ＥＥＥ６. 前記制約無し最適化問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測しないと決定したことに応答して、制約有り最適化問題を解くことにより生成された新しいＭＭＲ係数からの前記クロママッピングの再生成を実行してＭＭＲ係数セットを取得するステップであって、前記制約有り最適化問題は、（ａ）前記制約無しＭＭＲ行列と、（ｂ）前記第１ダイナミックレンジの特定のレターボックスクロマコードワード値を前記第２ダイナミックレンジの特定のレターボックスクロマコードワード値に関連付ける特定のレターボックス制約と、により定式化される、ステップと、
前記新しいＭＭＲ係数から再生成された前記クロママッピングを使用して、前記第３画像のクロマコードワード値を生成するステップと、を更に含むＥＥＥ１乃至５のいずれか一項に記載の方法。

ＥＥＥ７. 前記３Ｄマッピング統計は、（ａ）前記第１ダイナミックレンジのソース画像を表す前記第１画像及び（ｂ）前記第２ダイナミックレンジの参照画像の個々のピクセル値を使用して、ピクセルレベルで生成され、
前記第２ダイナミックレンジの前記参照画像は、前記第１ダイナミックレンジの前記ソース画像からマッピングされたコンテンツであり、
前記方法は、
前記第２ダイナミックレンジの前記参照画像の中にクリッピングが存在するか否かを決定するステップと、
前記第２ダイナミックレンジの前記参照画像の中にクリッピングが存在すると決定したことに応答して、前記３Ｄマッピング統計をトレーニングされた３Ｄマッピング統計とマージすることにより、前記３Ｄマッピング統計を変更するステップと、
を更に含むＥＥＥ１乃至６のいずれか一項に記載の方法。

ＥＥＥ８. 前記トレーニングされた３Ｄマッピング統計は、前記第１ダイナミックレンジの第１トレーニング画像と前記第２ダイナミックレンジの第２トレーニング画像とを含むトレーニングデータセットから生成される、ＥＥＥ７に記載の方法。

ＥＥＥ９. 前記トレーニングされた３Ｄマッピング統計は、色空間種類及び電気光伝達関数種類に基づき、３Ｄマッピング統計の複数のセットから選択された３Ｄマッピング統計のセットで構成される、ＥＥＥ７に記載の方法。

ＥＥＥ１０. 前記３Ｄマッピング統計は、（ａ）前記第１ダイナミックレンジのソース画像を表す前記第１画像のサンプリング点ピクセル値と（ｂ）前記第２ダイナミックレンジの対応するサンプリング点ピクセル値とを使用してサンプリング点レベルで生成され、
前記第２ダイナミックレンジの前記対応するサンプリング点ピクセル値は、前記第１ダイナミックレンジの前記ソース画像のサンプリング点ピクセル値からマッピングされたコンテンツである、ＥＥＥ１乃至６のいずれか一項に記載の方法。

ＥＥＥ１１. 前記サンプリング点ピクセル値は、３Ｄグリッド又は密度分布のうちの１つ以上を使用して選択するサンプリング点のものである、ＥＥＥ１０に記載の方法。

ＥＥＥ１２. 前記第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、前記第３画像は、前方再成形を通じて前記ソースＨＤＲ画像から生成される前方再成形標準ダイナミックレンジ（ＳＤＲ）画像を表し、
前記クロママッピングは、クロマ前方再成形マッピングを表し、
前記方法は、レターボックス制約の無い前記３Ｄマッピング統計により少なくとも部分的に構築された第２ＭＭＲ行列を使用して定式化される第２最適化問題を解くことにより、第２ＭＭＲ係数を生成するステップであって、前記第２ＭＭＲ係数は、前記ソースＨＤＲ画像を近似する再構成ＨＤＲ画像の再構成ＨＤＲクロマコードワード値を予測する第２クロママッピングを生成するために使用される、ステップと、
前記再構成ＨＤＲ画像をディスプレイ装置によりレンダリングさせるステップと、
を更に含むＥＥＥ１０又は１１に記載の方法。

ＥＥＥ１３. 前記制約無し最適化問題を解くことにより生成される前記クロママッピングが前記第２画像の中のクロマコードワード値を生成するために使用されるか否かを決定する前記ステップは、前記クロママッピングが、１つ以上のレンジ閾値により指定される特定の許容範囲で、前記第２ダイナミックレンジのレターボックスクロマ値を予測するか否かを決定するステップを含む、ＥＥＥ１乃至１２のいずれか一項に記載の方法。

ＥＥＥ１４. 前記３Ｄマッピング統計は、前記第１画像のフレーム固有３Ｄマッピング統計のセットを表す、ＥＥＥ１乃至１３のいずれか一項に記載の方法。

ＥＥＥ１５. 前記第１画像は、シーンを表す前記第１ダイナミックレンジの複数の画像の中のものであり、前記ＭＭＲ行列は、前記シーンを表す前記第１ダイナミックレンジの前記複数の画像のフレーム固有３Ｄマッピング統計の複数のセットから生成されたシーン固有３Ｄマッピング統計により構築される、ＥＥＥ１乃至１４のいずれか一項に記載の方法。

ＥＥＥ１６. 前記ＭＭＲ行列は、前記第１ダイナミックレンジの複数の画像のフレーム固有３Ｄマッピング統計の複数セットからの１つ以上のスライディングウインドウにより構築される、請求項１乃至１５のいずれか一項に記載の方法。

ＥＥＥ１７. 前記第３画像は、前方再成形画像を表し、前記第２ダイナミックレンジの前記第３画像は、単一レイヤ後方互換符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供される、請求項１乃至１６のいずれか一項に記載の方法。

ＥＥＥ１８. 前記第１又は前記第２画像のうちの少なくとも１つは、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣＢＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、又は標準ダイナミックレンジ（ＳＤＲ）色空間、のうちの１つで表される、ＥＥＥ１乃至１７のいずれか一項に記載の方法。

ＥＥＥ１９. 前記第１画像又は前記第２画像のうちの少なくとも１つは、８、９、１０、１１、１２、１３、１４、又は１５＋ビットのうちの１つのビット深さのビデオ信号の中の同じダイナミックレンジの画像のシーケンスの中に符号化される、ＥＥＥ１乃至１８のいずれか一項に記載の方法。

ＥＥＥ２０. 前記３Ｄマッピング統計は、前記第１画像及び前記第２画像のうちの一方又は両方が表される色空間の各色チャネルの中の最小及び最大コードワード値に従い生成される複数のビンパーティション動態を有するヒストグラムにより表される、ＥＥＥ１乃至１９のいずれか一項に記載の方法。

ＥＥＥ２１. 前記３Ｄマッピング統計は、複数のビンパーティションを有するヒストグラムにより表され、前記方法は、前記複数のビンパーティションのうちの各ビンパーティションに属するコードワードに基づき、重心のセットを計算するステップ、を更に含むＥＥＥ１乃至２０のいずれか一項に記載の方法。

ＥＥＥ２２. 画像データを符号化する方法であって、
１つ以上のソース高ダイナミックレンジ（ＨＤＲ）画像の中で、前記１つ以上のＨＤＲ画像から前方再成形によりルマ前方再成形マッピングに少なくとも部分的に基づき生成された１つ以上の標準ダイナミックレンジ（ＳＤＲ）画像内の前方再成形ＳＤＲルマコードワード値に、前記ルマ前方再成形マッピングによりマッピングされた１つ以上のＨＤＲルマコードワード値のセットを識別するステップと、
前記１つ以上のＨＤＲルマコードワード値のセットを用いて、加重ＨＤＲルマコードワード値を決定するステップと、
前記前方再成形ＳＤＲルマコードワード値を前記加重ＨＤＲルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングを構成するステップであって、前記後方再成形マッピングは、前記１つ以上のＨＤＲ画像を近似するために前記１つ以上の再成形ＳＤＲ画像を１つ以上の再構成ＨＤＲ画像へと後方再成形するために使用される、ステップと、
前記１つ以上の再構成ＨＤＲ画像をレンダリングするために、前記後方再成形マッピングから少なくとも部分的に生成された後方再成形画像メタデータを、前記１つ以上の前方再成形画像と共に受信側装置に提供させるステップと、を含む方法。

ＥＥＥ２３. 前記ルマ前方再成形マッピングは、コンテンツマップＳＤＲコードワード値の分布から生成されるＳＤＲヒストグラムから構成されるＳＤＲ累積密度関数（ＣＤＦ）を、コンテンツマッピング動作を通じて前記コンテンツマップＳＤＲコードワード値を生成するために使用されるソースＨＤＲコードワード値の分布から生成されるＨＤＲヒストグラムから構成されるＨＤＲ ＣＤＦと照合することにより構築される、ＥＥＥ２２に記載の方法。

ＥＥＥ２４. 画像データを復号する方法であって、
後方再成形画像メタデータを含むビデオ信号を受信して、ダイナミックレンジの再構成画像を生成するステップであって、前記再構成画像は前記第１ダイナミックレンジの第１画像を近似するものであり、前記再構成画像は、前記後方再成形画像メタデータに基づき、前記第１ダイナミックレンジと異なる第２ダイナミックレンジの第２画像を後方再成形することにより生成され、前記第２画像は前記第１画像に対応し、前記後方成形画像メタデータは、多変量多重回帰（multivariate multiple regression (MMR)）係数から生成されるクロママッピングを含み、前記ＭＭＲ係数は、前記第１画像及び前記第１画像に対応する前記第２画像について生成された３次元（３Ｄ）マッピング統計から少なくとも部分的に構築されたＭＭＲ行列を使用して定式化される最適化問題を解くことにより生成される、ステップと、
前記ビデオ信号から前記第２画像を復号するステップと、
前記後方再成形画像メタデータに基づき、前記第２ダイナミックレンジの前記第２画像を後方再成形して、前記第１ダイナミックレンジの前記再構成画像を生成するステップと、
前記再構成画像をディスプレイ装置によりレンダリングさせるステップと、
を含む方法。

ＥＥＥ２５. 画像データを復号する方法であって、
後方再成形画像メタデータを含むビデオ信号を受信して、１つ以上の再構成高ダイナミックレンジ（ＨＤＲ）画像を生成するステップであって、前記１つ以上の再構成ＨＤＲ画像は、１つ以上のソースＨＤＲ画像を近似し、前記１つ以上の再構成ＨＤＲ画像は、前記後方再成形画像メタデータに基づき、前記１つ以上のソースＨＤＲ画像に対応する１つ以上の前方再成形ＳＤＲ画像を後方再成形することにより生成され、前記後方再成形画像メタデータは、前記１つ以上の前方再成形ＳＤＲ画像の中の前方再成形ＳＤＲルマコードワード値を加重ＨＤＲルマコードワード値にマッピングする後方再成形ルママッピングを少なくとも含む後方再成形マッピングから少なくとも部分的に生成され、１つ以上のＨＤＲルマコードワード値のセットは、前記加重ＨＤＲルマコードワード値を決定するために使用され、１つ以上のＨＤＲルマコードワード値の前記セットは、前記１つ以上のソースＨＤＲ画像の中で識別され、１つ以上のＨＤＲルマコードワード値の前記セットの中の各ＨＤＲルマコードワード値は、前記１つ以上の前方再成形ＳＤＲ画像の中の前記前方再成形ＳＤＲルマコードワード値へのルマ前方再成形マッピングによりマッピングされ、前記１つ以上の前方再成形ＳＤＲ画像は、前記１つ以上のソースＨＤＲ画像から、前記ルマ前方再成形マッピングに少なくとも部分的に基づく前方再成形により、生成される、ステップと、
前記ビデオ信号から前記１つ以上の前方再成形ＳＤＲ画像を復号するステップと、
前記後方再成形画像メタデータに基づき、前記１つ以上の前方再成形画像を後方再成形して、前記１つ以上の再構成ＨＤＲ画像を生成するステップと、
前記１つ以上の再構成ＨＤＲ画像をディスプレイ装置によりレンダリングさせるステップと、
を含む方法。

ＥＥＥ２６. ＥＥＥ１乃至２５のいずれか一項に記載の方法を実行するよう構成されるコンピュータシステム。

ＥＥＥ２７. プロセッサを含み、ＥＥＥ１乃至２５のいずれか一項に記載の方法を実行するよう構成される機器。

ＥＥＥ２８. ＥＥＥ１乃至２５のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。

ＥＥＥ２９. コンピューティング装置又はシステムにより実行されると、該コンピューティング装置又はシステムにＥＥＥ１乃至２５のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。

Claims (24)

1. 画像データのクロマ再成形のための方法であって、
   第１ダイナミックレンジの第１画像及び前記第１画像に対応する第２画像の色チャネル毎に複数のビンパーティションを有するヒストグラムにより表される３次元（３Ｄ）色空間マッピング統計を生成するステップであって、前記第２画像は前記第１ダイナミックレンジと異なる第２ダイナミックレンジのものである、ステップと、
   前記第２画像のクロマコードワード値を予測するためのクロママッピングを生成するために、多変量多重回帰（multivariate multiple regression (MMR)）係数を生成するステップであって、前記ＭＭＲ係数は、前記第１ダイナミックレンジの固有レターボックスクロマコードワード値を前記第２ダイナミックレンジの固有レターボックスクロマコードワード値に関連付けるレターボックス制約を有しないで前記３Ｄ色空間マッピング統計により少なくとも部分的に構築されたＭＭＲ行列を用いて定式化された制約無し最小二乗問題を解くことにより生成される、ステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在するか否かを決定するステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在すると決定したことに応答して、１つ以上の精度閾値に基づき、前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測するか否かを決定するステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在しないと決定したことに応答して、前記制約無し最適化問題を解くことにより生成された前記クロママッピングを使用して、前記第２画像の中のクロマコードワード値を生成するステップと、
   前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測しないと決定することに応答して、ＭＭＲ係数のセットを取得するために、制約有り最小二乗問題を解くことにより生成された新しいＭＭＲ係数から、前記クロママッピングを再生成することを実行するステップであって、前記制約有り最小二乗問題は、（ａ）前記制約無しＭＭＲ行列、及び（ｂ）前記レターボックス制約により定式化される、ステップと、
   前記新しいＭＭＲ係数から再生成した前記クロママッピングを用いて、前記第２画像を近似する第３画像の中のクロマコードワード値を生成するステップであって、前記第３画像はディスプレイ装置によりレンダリングされる再構成画像を生成するために使用される、ステップと、
   を含む方法。
2. 画像データのクロマ再成形のための方法であって、
   第１ダイナミックレンジの第１画像及び前記第１画像に対応する第２画像の色チャネル毎に複数のビンパーティションを有するヒストグラムにより表される３次元（３Ｄ）色空間マッピング統計を生成するステップであって、前記第２画像は前記第１ダイナミックレンジと異なる第２ダイナミックレンジのものである、ステップと、
   前記第２画像のクロマコードワード値を予測するためのクロママッピングを生成するために、多変量多重回帰（multivariate multiple regression (MMR)）係数を生成するステップであって、前記ＭＭＲ係数は、前記第１ダイナミックレンジの固有レターボックスクロマコードワード値を前記第２ダイナミックレンジの固有レターボックスクロマコードワード値に関連付けるレターボックス制約を有しないで前記３Ｄ色空間マッピング統計により少なくとも部分的に構築されたＭＭＲ行列を用いて定式化された制約無し最小二乗問題を解くことにより生成される、ステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在するか否かを決定するステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在すると決定したことに応答して、１つ以上の精度閾値に基づき、前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測するか否かを決定するステップと、
   前記第１画像又は前記第２画像のうちの少なくとも１つにレターボックスが存在しないと決定したことに応答して、前記制約無し最適化問題を解くことにより生成された前記クロママッピングを使用して、前記第２画像の中のクロマコードワード値を生成するステップと、
   前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測しないと決定することに応答して、ＭＭＲ係数のセットを取得するために、制約有り最小二乗問題を解くことにより生成された新しいＭＭＲ係数から、前記クロママッピングを再生成することを実行するステップであって、前記制約有り最小二乗問題は、（ａ）前記制約無しＭＭＲ行列、及び（ｂ）前記レターボックス制約により定式化される、ステップと、
   前記新しいＭＭＲ係数から再生成した前記クロママッピングを用いて、前記第２画像を近似する第３画像の中のクロマコードワード値を生成するステップであって、前記第３画像はディスプレイ装置によりレンダリングされる再構成画像を生成するために使用される、ステップと、
   を含む方法。
3. 前記第３画像は、前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像であり、前記第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、前記第２画像は、前記ソースＨＤＲ画像からコンテンツマッピングを通じて生成される参照ＳＤＲ画像を表す、請求項１に記載の方法。
4. 前記第２画像はソース高ダイナミックレンジ（ＨＤＲ）画像であり、前記第１画像は、前記ソースＨＤＲ画像から生成される前方再成形された標準ダイナミックレンジ（ＳＤＲ）画像を表し、前記第３画像は、前記ソースＨＤＲ画像を近似する再構成ＨＤＲ画像を表し、前記再構成ＨＤＲ画像は、受信側装置にビットストリームの中で提供される後方再成形画像メタデータに基づき、前記前方再成形されたＳＤＲ画像から後方再成形を通じて生成される、請求項１に記載の方法。
5. 前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測すると決定したことに応答して、前記クロママッピングを使用して、前記第３画像の中のクロマコードワードを生成するステップ、を更に含む請求項１乃至４のいずれか一項に記載の方法。
6. 前記３Ｄ色空間マッピング統計は、（ａ）前記第１ダイナミックレンジのソース画像を表す前記第１画像及び（ｂ）前記第２ダイナミックレンジの参照画像の個々のピクセル値を使用して、ピクセルレベルで生成され、
   前記第２ダイナミックレンジの前記参照画像は、前記第１ダイナミックレンジの前記ソース画像からマッピングされたコンテンツであり、
   前記方法は、
   前記第２ダイナミックレンジの前記参照画像の中にクリッピングが存在するか否かを決定するステップと、
   前記第２ダイナミックレンジの前記参照画像の中にクリッピングが存在すると決定したことに応答して、前記３Ｄ色空間マッピング統計をトレーニングされた３Ｄ色空間マッピング統計とマージすることにより、前記３Ｄ色空間マッピング統計を変更するステップと、
   を更に含む請求項１乃至５のいずれか一項に記載の方法。
7. 前記トレーニングされた３Ｄ色空間マッピング統計は、前記第１ダイナミックレンジの第１トレーニング画像と前記第２ダイナミックレンジの第２トレーニング画像とのペアを含むトレーニングデータセットから生成される、請求項６に記載の方法。
8. 前記３Ｄ色空間マッピング統計は、（ａ）前記第１ダイナミックレンジのソース画像を表す前記第１画像のサンプリング点ピクセル値と（ｂ）前記第２ダイナミックレンジの対応するサンプリング点ピクセル値とを使用してサンプリング点レベルで生成され、
   前記第２ダイナミックレンジの前記対応するサンプリング点ピクセル値は、前記第１ダイナミックレンジの前記ソース画像のサンプリング点ピクセル値からマッピングされたコンテンツである、請求項１乃至５のいずれか一項に記載の方法。
9. 前記サンプリング点ピクセル値は、３Ｄグリッド又は密度分布のうちの１つ以上を使用して選択されたサンプリング点のものである、請求項８に記載の方法。
10. 前記第１画像は、シーンを表す前記第１ダイナミックレンジの複数の画像の中のものであり、前記ＭＭＲ行列は、前記シーンを表す前記第１ダイナミックレンジの前記複数の画像のフレーム固有３Ｄ色空間マッピング統計の複数のセットから生成されたシーン固有３Ｄ色空間マッピング統計により構築される、請求項１乃至９のいずれか一項に記載の方法。
11. 前記ＭＭＲ行列は、前記第１ダイナミックレンジの複数の画像のフレーム固有３Ｄ色空間マッピング統計の複数セットからの１つ以上のスライディングウインドウにより構築される、請求項１乃至１０のいずれか一項に記載の方法。
12. 前記方法は、前記複数のビンパーティションのうちの各ビンパーティションに属するコードワードに基づき、重心のセットを計算するステップ、を更に含む請求項１乃至１１のいずれか一項に記載の方法。
13. 後方再成形画像メタデータを前記前方再成形ＳＤＲ画像と共に符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供するステップ、を更に含み、
    前記後方再成形画像メタデータは、前記クロママッピングを生成して前記前方再成形ＳＤＲ画像の中のクロマコードワード値を前記再構成ＨＤＲ画像の中の再構成コードワード値に後方再成形するために前記ビデオデコーダにより使用される画像メタデータを含む、請求項４に記載の方法。
14. 前記第１画像は、ソース高ダイナミックレンジ（ＨＤＲ）画像を表し、前記第３画像は、前方再成形を通じて前記ソースＨＤＲ画像から生成される前方再成形標準ダイナミックレンジ（ＳＤＲ）画像を表し、
    前記クロママッピングは、クロマ前方再成形マッピングを表し、
    前記方法は、前記レターボックス制約の無い前記３Ｄ色空間マッピング統計により少なくとも部分的に構築された第２ＭＭＲ行列を使用して定式化される第２最適化問題を解くことにより、第２ＭＭＲ係数を生成するステップであって、前記第２ＭＭＲ係数は、前記ソースＨＤＲ画像を近似する再構成ＨＤＲ画像の再構成ＨＤＲクロマコードワード値を予測する第２クロママッピングを生成するために使用される、ステップと、
    前記再構成ＨＤＲ画像をディスプレイ装置によりレンダリングさせるステップと、
    を更に含む請求項６又は７に記載の方法。
15. 前記制約無し最小二乗問題を解くことにより生成された前記クロママッピングが前記第２画像の中のクロマコードワード値を正確に予測するか否かを決定する前記ステップは、前記クロママッピングが、１つ以上のレンジ閾値により指定される特定の許容範囲で、前記第２ダイナミックレンジのレターボックスクロマ値を予測するか否かを決定するステップを含む、請求項１乃至１４のいずれか一項に記載の方法。
16. 前記３Ｄ色空間マッピング統計は、前記第１画像のフレーム固有３Ｄ色空間マッピング統計のセットを表す、請求項１乃至１５のいずれか一項に記載の方法。
17. 前記第３画像は、前方再成形画像を表し、前記第２ダイナミックレンジの前記第３画像は、単一レイヤ後方互換符号化ビットストリームの中で、前記ディスプレイ装置と共に動作するビデオデコーダに提供される、請求項１乃至１６のいずれか一項に記載の方法。
18. 前記第１又は前記第２画像のうちの少なくとも１つは、ＩＰＴ ＰＱ（ＩＣｔＣｐ）色空間、ＹＣｂＣｒ色空間、ＲＧＢ色空間、Ｒｅｃ．７０９色空間、拡張ダイナミックレンジ（ＥＤＲ）色空間、ガンマ／ＨＬＧ／ＰＱ色空間、又は標準ダイナミックレンジ（ＳＤＲ）色空間、のうちの１つで表される、請求項１乃至１７のいずれか一項に記載の方法。
19. 前記第１画像又は前記第２画像のうちの少なくとも１つは、８、９、１０、１１、１２、１３、１４、又は１５＋ビットのうちの１つのビット深さのビデオ信号の中の同じダイナミックレンジの画像のシーケンスの中に符号化される、請求項１乃至１８のいずれか一項に記載の方法。
20. 前記複数のビンパーティションは、前記第１画像及び前記第２画像のうちの一方又は両方が表される色空間の各色チャネルの中の最小及び最大コードワード値に従い動的に生成される、請求項１乃至１９のいずれか一項に記載の方法。
21. 請求項１乃至２０のいずれか一項に記載の方法を実行するよう構成されるコンピュータシステム。
22. プロセッサを含み、請求項１乃至２０のいずれか一項に記載の方法を実行するよう構成される機器。
23. 請求項１乃至２０のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
24. コンピューティング装置又はシステムにより実行されると、該コンピューティング装置又はシステムに請求項１乃至２０のいずれか一項に記載の方法を実行させる命令を有するコンピュータプログラム。

Images