JP2024505493A

JP2024505493A - グローバルおよびローカル再整形を介した画像向上

Info

Publication number: JP2024505493A
Application number: JP2023544664A
Authority: JP
Inventors: スゥ，グワン－ミーン; カドゥ，ハルシャッド; ヨナスアンドレアスクリットマーク，ペル; チェン，タオ
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2021-01-27
Filing date: 2022-01-26
Publication date: 2024-02-06
Also published as: EP4285590A1; US20240095893A1; WO2022164929A1

Abstract

第1のドメインで表される第1の画像に対して第1の再整形マッピングを実行して、第2のドメインで表される第2の画像を生成する。第1のドメインは、第2のドメインの第2のダイナミックレンジとは異なる第1のダイナミックレンジを有する。第2のドメインで表される第2の画像に対して第2の再整形マッピングを実行して、第1のドメインにおいて表される第3の画像を生成する。第3の画像は、グローバル・コントラスト、グローバル彩度、ローカル・コントラスト、ローカル彩度等の少なくとも1つにおいて、第1の画像と知覚的に異なる。第3の画像から表示画像が導出され、ディスプレイ・デバイス上にレンダリングされる。

Description

関連出願への相互参照
本願は、いずれも2021年1月27日に出願された米国仮出願第63/142,270号および欧州特許出願第21153722.0号の優先権を主張するものであり、そのそれぞれは、その全体が参照により援用される。

技術
本開示は、概括的には画像処理動作に関する。より詳細には、本開示のある実施形態はビデオ・コーデックに関する。

本明細書で使用されているところでは、用語「ダイナミックレンジ」（DR）は、人間の視覚系（HVS）が、たとえば最も暗い黒（暗部）から最も明るい白（ハイライト）までの、画像内の強度（たとえば、ルミナンス、ルーマ）の範囲を知覚する能力に関するものでありうる。この意味で、DRは「シーン基準の」（scene-referred）強度に関連する。DRはまた、ディスプレイ装置が特定の幅の強度範囲を十分にまたは近似的にレンダリングする能力にも関連しうる。この意味で、DRは「ディスプレイ基準の」（display-referred）強度に関連する。特定の意味が、本明細書の記載のいずれかの点において特定の意義を有すると明示的に指定されない限り、この用語は、どちらの意味でも、たとえば交換可能に使用されうると推論されるべきである。

本明細書で使用されているところでは、用語「高ダイナミックレンジ（HDR）」は、人間の視覚系（HVS）の約14～15桁以上にまたがるDR幅に関する。実際には、人間が強度範囲の広い幅を同時に知覚することができるところのDRは、HDRに比していくらか切り捨てられることがある。本明細書で使用されるところでは、「向上ダイナミックレンジ（EDR）」または「視覚ダイナミックレンジ（VDR）」という用語は、個別にまたは交換可能に、シーンまたは画像全体にわたって何らかの光順応変化を斟酌して、眼球運動を含む人間の視覚系（HVS）によってシーンまたは画像内で知覚可能なDRに関連する。本明細書で使用されるところでは、EDRは、5~6桁にまたがるDRに関することができる。真のシーン基準のHDRとの関連ではおそらくいくらか狭いが、EDRはそれでも広いDR幅を表し、HDRと呼ばれることもある。

実際には、画像は、色空間の一つまたは複数の色成分（たとえば、ルーマYおよびクロマCbおよびCr）を含み、各色成分は、ピクセル当たりnビット（たとえば、n＝8）の精度によって表される。非線形ルミナンス符号化（たとえば、ガンマ・エンコード）を使用して、n≦8の画像（たとえば、カラー24ビットJPEG画像）は標準ダイナミックレンジの画像と考えられ、一方、n＞8の画像は向上ダイナミックレンジの画像と考えられる。

所与のディスプレイについての基準電気‐光学伝達関数（electro-optical transfer function、EOTF）は、入力ビデオ信号のカラー値（たとえばルミナンス）と、ディスプレイによって生成される出力スクリーン・カラー値（たとえばスクリーン・ルミナンス）との間の関係を特徴付ける。たとえば、その全体が参照により本明細書に組み込まれている非特許文献１は、フラットパネルディスプレイのための基準EOTFを定義する。ビデオストリームが与えられると、そのEOTFに関する情報は、（画像）メタデータとしてビットストリームに埋め込まれることができる。本明細書における「メタデータ」という用語は、符号化ビットストリームの一部として送信される任意の補助情報に関するものであり、デコードされた画像をレンダリングするためにデコーダを支援する。そのようなメタデータは、本明細書に記載されているように、色空間または色域情報、参照ディスプレイ・パラメータ、および補助信号パラメータを含みうるが、これらに限定されない。
ITU Rec. ITU-R BT.1886「Reference electro-optical transfer function for flat panel displays used in HDTV studio production」（2011年3月）

本明細書で使用されるところの用語「PQ」は、知覚的ルミナンス振幅量子化をいう。人間の視覚系は、光レベルの増加に対して非常に非線形に反応する。刺激を見る人間の能力は、その刺激のルミナンス、刺激の大きさ、刺激を構成する空間周波数、および刺激を見ている特定の瞬間に眼が順応しているルミナンス・レベルによって影響を受ける。いくつかの実施形態では、知覚的量子化関数は、線形入力グレーレベルを、人間の視覚系における諸コントラスト感度閾値によりよく一致する出力グレーレベルにマップする。例示的なPQマッピング関数は、その全体が参照により本明細書に組み込まれている非特許文献２（以下「SMPTE」）に記載されている。ここでは、固定した刺激サイズが与えられた場合、すべてのルミナンス・レベル（たとえば、刺激レベルなど）について、そのルミナンス・レベルにおける最小の可視コントラストきざみが、最も感度の高い適応レベルおよび最も感度の高い空間周波数（HVSモデルによる）に従って選択される。
SMPTE ST 2084:2014 "High Dynamic Range EOTF of Mastering Reference Displays"

200～1,000cd/m²またはニトのルミナンスをサポートするディスプレイは、EDR（またはHDR）に対して、標準ダイナミックレンジ（SDR）とも呼ばれる低ダイナミックレンジ（LDR）を代表する。EDRのコンテンツは、より高いダイナミックレンジ（たとえば、1,000ニトから5,000ニトまたはそれ以上）をサポートするEDRディスプレイ上に表示されてもよい。そのようなディスプレイは、高いルミナンス能力（たとえば、0～10,000ニト以上）をサポートする代替的なEOTFsを使用して定義されうる。そのようなEOTFの例は、SMPTE 2084および非特許文献３で定義されている。本発明者によってここで認識されるように、入力ビデオコンテンツデータを、高いダイナミックレンジ、高い局所コントラストおよび鮮明な色を有する出力ビデオコンテンツに変換するための改善された技術が望まれている。
Rec.ITU-R BT.2100,"Image parameter values for high dynamic range television for use in production and international programme exchange,"（06/2017）

このセクションで説明するアプローチは、追求することができるアプローチであるが、必ずしも以前に考案または追求されたアプローチではない。したがって、別段の指示がない限り、このセクションに記載されたアプローチのいずれかが、単にこのセクションに含まれていることによって先行技術として適格であると想定すべきではない。同様に、一つまたは複数のアプローチに関して特定された課題は、別段の指示がない限り、このセクションに基づいて何らかの先行技術において認識されていたと想定すべきではない。

本発明の実施形態は、限定ではなく例として、添付図面の図において例示されており、同様の参照符号は同様の要素を指す。

ビデオ配信パイプラインの例示的なプロセスを示す。グローバルおよび／またはローカル再整形操作を適用するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。入力HDRビデオ信号から出力HDRビデオ信号を生成するための例示的なアーキテクチャーを示す。ソース画像が入力SDRビデオ信号においてモバイル・デバイスによってSDR画像として捕捉される例示的なビデオ・アプリケーションを示す。入力ビデオ信号の輝度および／または彩度を変更するために、対をなさない前方および後方再整形関数を使用する例示的なフローを示す。局所的に再整形された出力画像を生成するために入力画像に対して実行できる例示的なルーマおよびクロマ・ローカル再整形を示す。自己導出された単一チャネルのローカル関数生成のための例示的なフローを示す。チャネル横断ローカル関数生成のための例示的なフローを示す。チャネル横断ローカル関数生成のための例示的なフローを示す。チャネル横断ローカル関数生成のための例示的なフローを示す。ローカル再整形関数選択ディザリングのための例示的なフローを示す。クロマ・ローカル再整形関数のための係数を生成するための例示的なマッピング・フローを示す。クロマ・ローカル再整形関数のための係数を生成するための例示的なマッピング・フローを示す。クロマ・ローカル再整形関数のための係数を生成するための例示的なマッピング・フローを示す。

例示的なインデックス付けされたルミナンス・グローバル順方向再整形関数を示す。例示的なインデックス付けされたルーマ・グローバル後方再整形関数を示す。 3Cおよび3Fは、それぞれが同じインデックス値を有する一対のグローバル前方および後方再整形関数を使用する例示的なルーマ符号語マッピングを示す。 3Dおよび3Eは、それぞれが同じインデックス値を有する一対のグローバル前方および後方再整形関数を使用する例示的なクロマ符号語マッピングの例を示す。 3Dおよび3Eは、それぞれが同じインデックス値を有する一対のグローバル前方および後方再整形関数を使用する例示的なクロマ符号語マッピングの例を示す。 3Cおよび3Fは、それぞれが同じインデックス値を有する一対のグローバル前方および後方再整形関数を使用する例示的なルーマ符号語マッピングを示す。異なるインデックス値を有する例示的なルーマ後方関数を示す。異なるインデックス値を有する例示的なルーマ前方関数を示す。彩度の変化を実現するために使用される例示的な非線形関数を示す。

例示的なプロセス・フローを示す。

本明細書に記載されるコンピュータまたはコンピューティングデバイスが実装されうる例示的なハードウェアプラットフォームの簡略化されたブロック図を示す。

以下の説明では、説明の目的で、本開示の十全な理解を提供するために多くの特定の詳細を記載する。しかしながら、本開示は、これらの特定の詳細なしに実施されてもよいことは明らかであろう。他方、周知の構造および装置は、本開示を不必要に見えなくし、埋没させ、または不明瞭にすることを回避するために、網羅的な詳細さでは説明されない。

概要
入力画像データを出力画像データに再整形または変換するために、本明細書に記載される前方または後方再整形〔リシェイピング〕技法が実施できる。例示的な再整形または変換動作は、ローカル再整形操作、グローバル再整形操作、ローカル前方再整形操作、グローバル前方再整形操作、ローカル後方再整形操作、グローバル後方再整形操作、これらの組み合わせなどのうちの一つまたは複数の組み合わせを含むことができる。

グローバル再整形は、入力画像のすべてのピクセルに同じグローバル（前方および／または後方）再整形関数／マッピングを適用して、入力画像と同じ視覚的意味内容を描写する対応する出力画像――（たとえば、前方、後方、循環などの）再整形された画像――を生成する変換または再整形操作をいう。

入力画像のすべてのピクセルに同じ再整形関数またはマッピングを適用するグローバル再整形とは対照的に、ローカル再整形は、入力画像の異なるピクセルに異なる（前方および／または後方）再整形関数またはマッピングを適用する変換または再整形操作を指す。よって、ローカル再整形においては、入力画像の第1のピクセルに適用される第1の再整形関数は、入力画像の第2の異なるピクセルに適用される第2の再整形関数とは異なる関数であってもよい。

例示的なグローバル再整形操作は、2015年3月20日に出願された米国仮特許出願第62/136,402号（2018年1月18日に米国特許出願公開第2018/0020224号としても公開された）、および2019年5月9日に出願されたPCT出願第PCT/US2019/031620号、2019年11月27日に出願されたPCT出願第PCT/US2019/063796号、「Interpolation of Reshaping Functions」、2020年6月11日にWO2020/117603としても公開された；2020年4月21日出願に出願されたG-M. Suによる米国仮特許出願第63/013,063号、「Reshaping functions for HDR imaging with continuity and reversibility constraints」；および2020年4月22日に出願されたG-M. SuおよびH. Kaduによる米国仮特許出願第63/013,807号「Iterative optimization of reshaping functions in single-layer HDR image codec」に記載されており、そのすべての全内容は、参照により、あたかも完全に本明細書に記載されているかのように本明細書に組み込まれる。例示的なローカル再整形操作は、2020年10月2日に出願された米国仮特許出願第63/086,699号に記載されており、その全内容は、参照により、あたかも完全に本明細書に記載されているかのように本明細書に組み込まれる。

本明細書に記載される再整形技法は、さまざまなグローバルおよび／またはローカル再整形操作を選択し、組み合わせ、および／または混合して、再整形または再構成された画像であって、該再整形または再構成された画像を生成するために使用された入力画像と比較してより良好な画像品質を有するものを生成するための、統一された画像向上方法を実装するために使用できる。

たとえば、HDRビデオは、TV視聴アプリケーションにおいて、対応するSDRビデオよりも有意に良好な視聴経験を提供するが、HDRビデオは、モバイル・デバイス視聴アプリケーションにおいては、対応するSDRビデオに匹敵するかまたは類似する、ずっと抑制された視聴経験を示す場合がある。

本明細書に記載される技術の下では、HDRビデオ内のHDR画像は、既存のSDR-HDRダイナミックレンジ向上に加えてさらに向上されることができる。さらに向上されたHDR画像は、TV視聴アプリケーションおよびモバイル・デバイス視聴アプリケーションにおいて、対応するSDRビデオにおけるSDR画像よりもはるかに魅力的に見える可能性がある。追加的、任意的または代替的に、SDR後方互換ビデオ信号または層構成のビデオ信号の基本層で搬送されるようなSDRビデオに対してさえも、SDRビデオ内のSDR画像は、より良好な局所コントラストおよび／または彩度で向上されて、基本層の視聴経験を豊かにするまたは改善することができる。

本明細書で使用される場合、「循環再整形（circular reshaping）」または「循環再整形された」とは、前方および後方再整形の組み合わせを指す。

グローバル再整形操作で構成される循環再整形は、対をなす前方／後方再整形と対をなさない前方／後方再整形に分類できる。対をなす前方／後方グローバル再整形操作によって受領された入力画像は、対をなす前方／後方グローバル再整形操作によって生成された出力画像を用いて（たとえば、完全に、忠実に、量子化誤差を受けて、などで）再構成されることができる。対をなさない前方／後方グローバル再整形操作によって受領された入力画像の輝度、色調〔トーン〕、および／または彩度は、対をなさない前方／後方グローバル再整形操作によって生成された出力画像で調整されることができる。

前方、後方および／または循環ローカル再整形のようなローカル再整形操作は、対をなす／対をなさないカテゴリーに分類されないことがある。ローカル前方再整形操作とローカル後方再整形操作との間に対応または関係が存在するかどうかにかかわらず、ローカル前方再整形操作およびローカル後方再整形操作は、該ローカル前方再整形操作およびローカル後方再整形操作によって再構成画像を生成するために使用される入力画像と（たとえば、完全に、忠実に、量子化誤差を受けて、などで）同じ再構成画像を生成するために対として使用されなくてもよい。

本明細書に記載されるようなローカル再整形操作は、対をなしていても対をなさなくても、局所コントラスト比および彩度を増加させ、ローカル再整形操作によって生成される再整形および／または再構成された画像においてより良好な局所的見え方を達成するために使用できる。

いくつかの動作シナリオでは、画像ソース（たとえば、上流のエンコーダ、メディアコンテンツサーバー、メディアストリーミングサーバー、プロダクションスタジオなど）から入力画像と一緒に受領される入来画像メタデータは、本明細書に記載される再整形操作によって生成された再整形または再構成された画像をエンコードされた出力ビデオ信号の出向画像メタデータにおいて、保存されるか、またはほぼ乱されない。

対をなさないグローバル再整形操作は、入力画像に対して、出力画像内の符号語統計または分布を過度に変化させる可能性があり、それにより、入来画像メタデータを部分的にまたは全体的に無効にするか、または少なくとも、対をなさないグローバル再整形操作による符号語統計または分布の変化により出向画像メタデータに不正確さを生じさせる。いくつかの動作シナリオでは、対をなさないグローバル再整形操作の代わりにローカル再整形操作が全体的または部分的に適用されて、入力画像に対する、出力画像における符号語統計／分布の変化を最小にするかまたは低減し、それにより入来画像メタデータの妥当性および／または正確さを維持することができる。結果として、入来画像メタデータの一部または全部は、出力画像をエンコードされた出力ビデオ信号の出向画像メタデータにおいて保存される、または乱されないことができる。

使用事例に依存して、画像を向上させるためのグローバル／ローカル再整形関数／操作の異なる組み合わせは、たとえば、再整形関数／操作によって受領された入力画像よりもコントラスト比、色調および／または彩度に関してより良い見え方を有する出力画像を生成する。

本明細書に記載されるように再整形関数を生成するために、多様な方法が使用できる。たとえば、ローカル再整形関数は、（1）自己導出法、（2）事前構築法、（3）自己導出法と事前構築法とを組み合わせたハイブリッド法などのうちの一つまたは複数を使用することによって、制限なしに生成されうる。これらの方法のいくつかまたは全部は、オンライン／リアルタイムの再整形使用事例、オフライン／非リアルタイムの再整形使用事例において展開できる。たとえば、いくつかの動作シナリオにおいて、ローカル再整形関数は、オフラインでトレーニングされたグローバル再整形関数の族からリアルタイムで生成されることができる。

いくつかの動作シナリオでは、ローカル再整形は、偽輪郭形成またはバンディング・アーチファクトが生成される原因となりうる。ローカル再整形は、マッピング関数における傾きまたはコントラストを増大させ、よって、画像内の画像コンテンツをエンコードするための利用可能な符号語の符号語空間内の連続する符号語間のギャップを広げる。偽輪郭形成またはバンディング・アーチファクトを軽減またはマスクするために、ローカル再整形関数インデックス・ディザリングを適用することができる。追加的、任意的または代替的に、偽輪郭形成またはバンディング・アーチファクトをさらに軽減またはマスクするために、再整形された符号語においてフィルム粒子注入が実施されることができる。

本明細書に記載される例示的実施形態は、入力画像から出力画像を生成することに関する。第1のドメインで表される第1の画像に対して第1の再整形マッピングが実行され、第2のドメインで表される第2の画像が生成される。第1のドメインは、第2のドメインが有する第2のダイナミックレンジとは異なる第1のダイナミックレンジを有する。第2のドメインで表される第2の画像に対して第2の再整形マッピングが実行され、第1のドメインで表される第3の画像が生成される。第3の画像は、グローバル・コントラスト、グローバル彩度、ローカル・コントラスト、ローカル彩度等のうちの少なくとも1つにおいて、第1の画像と知覚的に異なる。ディスプレイ・デバイス上にレンダリングされるべく、第3の画像から表示画像が導出される。

例示的なビデオ配信処理パイプライン
図1は、ビデオ捕捉／生成からHDRまたはSDRディスプレイまでのさまざまなステージを示すビデオ配信パイプライン（100）の例示的なプロセスを示す。例示的なHDRディスプレイは、TV、モバイル・デバイス、ホームシアターなどとの関連で動作する画像ディスプレイを含みうるが、これらに限定されない。例示的なSDRディスプレイは、SDR TV、モバイル・デバイス、ホームシアターディスプレイ、ヘッドマウントディスプレイデバイス、ウェアラブルディスプレイデバイスなどを含みうるが、これらに限定されない。

再整形操作のような本明細書に記載される画像処理動作は、エンコーダ／サーバー側（ビデオ圧縮前）またはデコーダ／再生側（ビデオ圧縮解除後）のいずれか、ならびにビデオ・エンコードのための入力画像を提供するビデオ前処理システムまたはブロックにおいて実行することができることに留意されたい。再生側再整形操作をサポートするために、図1に示されるものと同じシステム構成が使用されてもよく、図1に示すものに加えて異なるシステム構成が使用されてもよい。これらのシステム構成において画像メタデータを伝達するために、図1に示されるような処理コンポーネントによって使用されるもの以外の幅広い多様な異なる画像メタデータ・フォーマットが使用されうる。

連続する入力（たとえば、SDR、HDR等）画像102のシーケンスのようなビデオ・フレームが、画像生成ブロック105によって受領されることができる。これらの画像（102）は、ビデオソースから受領されるか、画像生成ブロック（105）の外部または内部のビデオ前処理システム／ブロックによって生成されるか、またはビデオ・データ・ストアから取得される。画像（102）の一部または全部は、ソース画像から、たとえば（たとえば、人間の入力なしの自動的な、手動の、人間の入力ありの自動的な、などの）ビデオ編集または変換操作、カラーグレーディング操作などを通して生成されることができる。ソース画像は、（たとえば、デジタルカメラによって）デジタル的に取り込まれる、フィルム上に取り込まれたアナログ・カメラ・ピクチャーをデジタル・フォーマットに変換することによって生成される、コンピュータによって（たとえば、コンピュータアニメーション、画像レンダリングなどを使用して）生成されるなどしてもよい。画像（102）は、映画リリース、アーカイブされたメディアプログラム、メディアプログラムライブラリ、ビデオ記録／クリップ、メディアプログラム、TVプログラム、ユーザー生成されたビデオコンテンツなどのうちの一つまたは複数に関連する画像であってもよい。

画像生成ブロック（105）は、連続する入力画像（102）のシーケンス内の各入力画像に（たとえば、ローカル、グローバル、ローカルおよびグローバル等）再整形操作を適用して、入力画像（102）と同じ視覚的意味内容を描写するが、入力画像（102）と比較して同じまたは異なるダイナミックレンジ、より高い局所コントラスト、より鮮明な色等を有する対応する連続する（たとえば、再整形された、再構成された、向上された、さらに向上された、などの）出力画像のシーケンス内のそれぞれの（たとえば、再整形された、再構成された、向上された、さらに向上された、などの）出力画像を生成する。

より具体的には、入力画像（102）の入力画像に存在する符号語に基づいて、画像生成ブロック（105）は、入力画像に一般的または特異的なグローバル再整形関数142および／またはローカル再整形関数146を選択または構築することができる。画像生成ブロック（105）は、グローバル再整形関数（142）に基づいてグローバル再整形操作を実行し、および／またはローカル再整形関数（146）に基づいてローカル再整形操作を実行して、入力画像を再整形または変換して、入力画像と同じ視覚的意味情報を描写する対応する出力（たとえば、再整形された、再構成された、向上された、さらに向上された、などの）画像にすることができる。画像生成ブロック（105）は、入力画像から対応する出力画像を生成するために、グローバル再整形操作のみ、ローカル再整形操作のみ、またはグローバル再整形操作および／またはローカル再整形操作の組み合わせなどを実行することができる。出力画像は、入力画像と比較して、同じまたは異なるダイナミックレンジ、より高い局所コントラスト、より鮮明な色などを有することができる。

いくつかの動作シナリオでは、再整形操作のいくつかがオフラインで実行されて、トレーニングHDR画像、トレーニングSDR画像、トレーニングHDR-SDR画像の組み合わせ／対などのトレーニング画像データに基づいて、事前構築された再整形マッピング／関数を生成することができる。これらの事前構築された再整形マッピング／関数は、実行時に画像生成ブロック（105）で動的オンライン再整形操作を実行する目的で、直接的または間接的に使用または適合されることができる。

いくつかの動作シナリオでは、画像生成ブロック（105）によって生成された出力画像は、コンポーザー・メタデータ生成ブロック115に提供されて、前方再整形されたSDR画像112を生成するとともに、画像メタデータ177（たとえば、コンポーザー・メタデータ、後方再整形マッピングなど）を生成することができる。画像メタデータ（177）は、後方再整形マッピングを生成するためのコンポーザー・データを含むことができ、この後方再整形マッピングは、前方再整形されたSDR画像に適用されたときに、前方再整形されたSDR画像と同じ視覚的意味内容を描写する対応するHDR画像を生成する。入力画像（102）の一部または全部がコンポーザー・メタデータ生成ブロック（115）に提供されて、前方再整形されたSDR画像（112）を生成する前方再整形操作を容易にするまたは支援するとともに、画像メタデータまたはその中の後方再整形マッピングの生成を容易にするまたは支援することができる。

例示的な再整形マッピング／演算は、後方マッピング／演算、前方マッピング／演算および／または循環マッピング／演算を含むがこれらに限定されないが、後方ルックアップテーブル（backward lookup table、BLUT）、前方ルックアップテーブル（forward lookup table、FLUT）、後方および前方再整形関数／曲線または多項式セット、多変量多重回帰（multivariate multiple regression、MMR）係数、テンソル積Bスプライン（tensor product B-spline、TPB）係数、これらの任意の組み合わせ等の一つまたは複数で指定されるものを含むことができるが、これらに限定される必要はない。MMR動作の例は、米国特許第8,811,490号に記載されており、その内容全体は、あたかも完全に本明細書に記載されているかのように、参照によりその全体が組み込まれる。TPB動作の例は、2019年10月1日に出願された「TENSOR-PRODUCT B-SPLINE PREDICTOR」と題する米国仮出願第62/908,770号（代理人整理番号60175-0417）に記載されており、その全内容は、あたかも完全に本明細書に完全に記載されているかのように、参照によりその全体が組み込まれる。

再整形されたSDR画像（112）および画像メタデータ（177）は、ビデオ信号122（たとえば、符号化されたビットストリーム等）または連続するビデオ・セグメントの集合内の符号化ブロック120によってエンコードされることができる。ビデオ信号（122）が与えられると、携帯電話などの受信側デバイスは、デバイス上でビデオ信号（122）を内部的に処理するまたは後処理することの一部として、SDR画像データとともにメタデータを使用して、受信側デバイスの表示能力内でHDRなどのより高いダイナミックレンジおよびより鮮明な色を有する画像を生成およびレンダリングすることを決定することができる。追加的、任意的または代替的に、ビデオ信号（122）またはビデオ・セグメントは、画像メタデータ（177）を無視し、単純に、SDR画像データにおいて表現されているSDR画像を表示することができるレガシーSDRディスプレイとの後方互換性を許容する。

例示的なビデオ信号またはビデオ・セグメントは、単一層ビデオ信号／セグメントなどを含みうるが、必ずしもこれらに限定されない。いくつかの実施形態では、符号化ブロック（120）は、ビデオ信号（122）またはビデオ・セグメントを生成するために、ATSC、DVB、DVD、Blu-Ray、および他の配信フォーマットによって定義されるものなどのオーディオおよびビデオ・エンコーダを含みうる。

ビデオ信号（122）またはビデオ・セグメントは、モバイル・デバイス、タブレットコンピュータ、復号および再生デバイス、メディアソースデバイス、メディアストリーミングクライアントデバイス、テレビジョンセット（たとえば、スマートTV等）、セットトップボックス、映画館等のような受信機に下流に送達される。下流のデバイスでは、ビデオ信号（122）またはビデオ・セグメントがデコードブロック（130）によってデコードされ、デコードされた画像182が生成されるが、これは、符号化ブロック（120）によって実行される圧縮およびデコード・ブロック（130）によって実行される圧縮解除において生成される量子化エラーおよび／または伝送エラーおよび／または同期エラーおよび／またはパケット損失によって引き起こされるエラーの影響を受けているものの、再整形SDR画像（112）と類似または同一でありうる。

非限定的な例では、ビデオ信号（122）（またはビデオ・セグメント）は、後方互換性のあるSDRビデオ信号（またはビデオ・セグメント）であってもよい。ここで、「後方互換性」とは、SDRディスプレイ用に最適化された（たとえば、特定の芸術的意図が保持される、など）SDR画像を搬送するビデオ信号またはビデオ・セグメントを指す。

デコード・ブロック（130）はまた、ビデオ信号（122）またはビデオ・セグメントから、画像メタデータ（177）を取得またはデコードすることができる。画像メタデータ（177）は後方再整形マッピングを指定し、これは、デコードされたSDR画像（182）に対して後方再整形を実行し、HDRディスプレイ（たとえば、ターゲット・ディスプレイ、参照ディスプレイなど）上でレンダリングするための後方再整形されたHDR画像を生成するために、下流のデコーダによって使用されることができる。画像メタデータ（177）において表現される後方再整形マッピングは、画像メタデータ（177）を用いて生成される後方再整形されたHDR画像と、グローバルおよび／またはローカル再整形操作を用いて画像生成ブロック（115）によって生成される出力画像との間の誤差または差を最小化することを通じて、コンポーザー・メタデータ生成ブロック（115）によって生成できる。結果として、画像メタデータ（177）は、受信機によって画像メタデータ（177）を用いて生成された後方再整形されたHDR画像が、グローバルおよび／またはローカル再整形操作を用いて画像生成ブロック（115）によって生成された出力画像に比較的よく、正確に近似することを保証するのに役立つ。

追加的、任意的、または代替的に、画像メタデータ（177）は、HDRディスプレイ・デバイス上でレンダリングするために最適化された表示画像（たとえば、HDR表示画像など）を生成するために後方再整形画像に対して表示管理操作を実行するために下流のデコーダによって使用できる表示管理（display management、DM）メタデータを含むことができる。

受信機が、標準ダイナミックレンジまたは比較的狭いダイナミックレンジをサポートするSDRディスプレイ140とともに動作する（またはそれに取り付けられる）動作シナリオにおいて、受信機は、デコードされたSDR画像を、直接または間接的にターゲット・ディスプレイ（140）上にレンダリングすることができる。

受信機が、高ダイナミックレンジ（たとえば、400ニト、1000ニト、4000ニト、10000ニト以上等）をサポートするHDRディスプレイ140-1とともに動作する（またはそれに取り付けられる）動作シナリオでは、受信機は、ビデオ信号（122）またはビデオ・セグメントから（たとえば、その中などのメタデータ・コンテナから）コンポーザー・メタデータを抽出し、該コンポーザー・メタデータを使用してHDR画像（132）を作成する〔コンポーズする〕ことができ、これはコンポーザー・メタデータに基づいてSDR画像を後方再整形することから生成される後方再整形された画像であってもよい。さらに、受信機は、ビデオ信号（122）またはビデオ・セグメントからDMメタデータを抽出し、DMメタデータに基づいてHDR画像（132）にDM操作（135）を適用して、HDRディスプレイ・デバイス（140-1）上でのレンダリング用に最適化された表示画像（137）を生成し、該表示画像（137）をHDRディスプレイ・デバイス（140-1）上でレンダリングすることができる。

単に説明の目的で、本明細書に記載されたグローバルおよび／またはローカル再整形操作は、入力画像から出力画像を生成するビデオ・エンコーダなどの上流の装置によって実行できることを記載してきた。次いで、これらの出力画像は、後方再整形メタデータを生成するためにビデオ・エンコーダによってターゲット画像または参照画像として使用され、該後方再整形メタデータは、受信側のデバイスが、グローバルおよび／またはローカル再整形操作から生成された出力画像を比較的よくまたは正確に近似する後方再整形HDR画像を生成するのを助ける。

さまざまな実施形態において、いくつかまたはすべてのグローバルおよび／またはローカル再整形操作は、ビデオ・エンコーダ単独、ビデオ・デコーダ単独、ビデオ・トランスコーダ単独、またはこれらの組み合わせによって実行できることに留意されたい。

グローバルおよび／またはローカル再整形オプション
図2Aは、グローバルおよび／またはローカル再整形操作を適用するための例示的なアーキテクチャーを示す。すべての再整形操作のうちのいくつかは、エンコーダ側における図1の一つまたは複数の処理ブロック、エンコーダ側における図1の一つまたは複数の処理ブロック、エンコーダおよびデコーダ側における図1の処理ブロックの組み合わせ等のような画像処理システムによって実施または実行することができる。

図2Aに示されるように、ブロック202はHDRビデオ信号入力／出力インターフェースを表す。さまざまな動作シナリオにおいて、HDRビデオ信号入力／出力インターフェース（202）は、HDRビデオ信号入力インターフェース単独、HDRビデオ信号出力インターフェース単独、またはHDRビデオ信号入力インターフェースとHDRビデオ信号出力インターフェースの組み合わせでありうる。いくつかの動作シナリオでは、入力HDRビデオ信号またはその中の入力HDR画像は、HDRビデオ信号入力／出力インターフェース（202）のHDRビデオ入力インターフェースを用いて入力または受信されうる。いくつかの動作シナリオでは、出力HDRビデオ信号またはその中の出力HDR画像は、HDRビデオ信号入力／出力インターフェース（202）のHDRビデオ出力インターフェースを用いて出力または送信されうる。

同様に、ブロック208は、SDRビデオ信号入力／出力インターフェースを表す。さまざまな動作シナリオにおいて、SDRビデオ信号入力／出力インターフェース（208）は、SDRビデオ信号入力インターフェース単独、SDRビデオ信号出力インターフェース単独、またはSDRビデオ信号入力インターフェースとSDRビデオ信号出力インターフェースとの組み合わせでありうる。いくつかの動作シナリオでは、入力SDRビデオ信号またはその中の入力SDR画像は、SDRビデオ信号入力／出力インターフェース（208）のSDRビデオ入力インターフェースを用いて入力または受信されうる。いくつかの動作シナリオにおいて、出力SDRビデオ信号またはその中の出力SDR画像は、SDRビデオ信号入力／出力インターフェース（208）のSDRビデオ出力インターフェースを用いて出力または送信されうる。

ブロック204および206は、前方再整形経路における前方再整形操作、方法および／または関数のためのオプションを表す。ブロック210および212は、後方再整形経路における後方再整形操作、方法および／または関数のためのオプションを表す。前方および後方再整形経路のそれぞれは、これらのグローバル再整形操作、方法および／または関数によって生成されたSDRまたはHDR画像の全体的な（SDRまたはHDR）見え方を維持するように設計されうるグローバル再整形操作、方法および／または関数のためのオプションを含む。

いくつかの動作シナリオでは、前方再整形経路における前方グローバル再整形操作、方法および／または関数は、後方再整形経路における後方グローバル再整形操作、方法および／または関数との（たとえば、完全に、忠実に、量子化誤差等の影響を受けて、など）可逆再整形対を形成する。これらの動作シナリオでは、（たとえば、入力の、受領された、など）HDR画像は、前方再整形経路における前方グローバル再整形操作、方法および／または関数によって前方再整形されて、前方再整形（たとえば、SDR等）画像を生成し、その後、後方再整形経路における後方グローバル再整形操作、方法および／または関数を適用することによって生成された再構成されたまたは後方再整形された画像は、（たとえば、入力の、受領された、など）HDR画像と同じであるか、または可能な量子化誤差を受けて（たとえば、入力の、受領された、など）HDR画像をよく近似する。

同様に、（たとえば、入力の、受領された、など）SDR画像は、後方再整形経路における後方グローバル再整形操作、方法および／または関数によって後方再整形されて、後方再整形（たとえば、HDR等）画像を生成し、次いで、前方再整形経路における前方グローバル再整形操作、方法および／または関数を適用することによって生成された再構成されたまたは前方再整形された画像は、（たとえば、入力の、受領された、など）SDR画像と同じであるか、または可能な量子化誤差を受けて（たとえば、入力の、受領された、など）SDR画像をよく近似する。

ローカルな視覚的に知覚可能な特性を向上させることができる一方で、前方または後方経路におけるローカル再整形操作、方法および／または関数は、グローバル再整形操作、方法および／または関数とは対照的に、後方または前方経路における他のグローバルまたはローカルな再整形操作によって復元でき（revertible）ないか、またはそれと復元可能対（revertible pair）を形成できない。

図2Aに示されるように、さまざまな動作シナリオでは、どのような具体的な再整形操作、方法および／または関数がどのように使用され、どのような具体的な入力および／または出力画像インターフェース（たとえば、入力および／または出力SDR画像インターフェース、入力および／または出力HDR画像インターフェース等）がどのように使用されるかに依存して、入力ビデオ信号またはその中の入力画像は、HDRまたはSDRでありうる。同様に、図2Aに示されるように、どのような具体的な再整形操作、方法および／または関数がどのように使用されるか、およびどのような具体的な入力および／または出力インターフェースがどのように使用されるかに依存して、出力ビデオ信号またはその中の出力（たとえば、再構成された、など）画像は、HDRまたはSDRでありうる。

さまざまな異なる組み合わせが以下に示される。第1に、入力信号はHDR入力信号であり、出力信号はHDR出力信号である。この場合、HDR入力信号における入力HDR画像は、最初に前方再整形によって処理され、続いて後方再整形によって処理されて、HDR出力信号における対応する出力HDR画像（入力HDR画像と同じ視覚的意味内容を描写する）を生成する。前方経路におけるグローバルまたはローカル再整形を使用する2つのオプション、かける、後方経路におけるグローバルまたはローカル再整形を使用する2つのオプションによって形成される、4つの（2*2=4）組み合わせが存在する。

第2に、入力信号はHDR入力信号であり、出力信号はSDR出力信号である。この場合、HDR入力信号における入力HDR画像は、前方再整形によって処理されて、SDR出力信号における対応する出力SDR画像（入力HDR画像と同じ視覚的意味内容を描写する）を生成する。前方経路においてグローバルまたはローカル再整形を使用する2つのオプションによって形成される2つの組み合わせがある。

第3に、入力信号はSDR入力信号であり、出力信号はHDR出力信号である。この場合、SDR入力信号における入力SDR画像は、後方再整形によって処理され、HDR出力信号における対応する出力HDR画像（入力SDR画像と同じ視覚的意味内容を示す）を生成する。後方経路においてグローバルまたはローカル再整形を使用する2つのオプションによって形成される2つの組み合わせがある。

第4に、入力信号はSDR入力信号であり、出力信号はSDR出力信号である。この場合、SDR入力信号における入力SDR画像は、最初に後方再整形によって処理され、続いて前方再整形によって処理されて、SDR出力信号における対応する出力SDR画像（入力SDR画像と同じ視覚的意味内容を表す）を生成する。後方経路におけるグローバルまたはローカル再整形を使用する2つのオプション、かける、前方経路におけるグローバルまたはローカル再整形を使用する2つのオプションによって形成される4つの（2*2=4）組み合わせが存在する。

HDR向上
入力HDRビデオ信号から整形された出力HDRビデオ信号におけるHDR向上をサポートするために、上述したいくつかの組み合わせが使用できる。

図2Bは、前方経路と後方経路の両方でグローバル再整形操作、方法および／または関数を用いて入力HDRビデオ信号から出力HDRビデオ信号を生成する例を示す。図示されるように、HDR入力／出力インターフェース（202）の入力HDRインターフェースを介して受信された入力HDRビデオ信号における入力HDR画像は、前方経路におけるグローバル前方再整形（204）および後方経路におけるグローバル後方再整形（210）を用いて、HDR入力／出力インターフェース（202）の出力HDRインターフェースを介して送信された出力HDRビデオ信号における出力HDR画像に変換されてもよい。

前方経路におけるグローバル前方再整形（204）と、後方経路におけるグローバル後方再整形（210）とが対を形成するかまたは互いに対称的（たとえば、復元可能（revertible）、数学的な逆、量子化誤差のもとでの数学的な逆など）である動作シナリオでは、出力HDR画像は、HDR向上のない（もとの）入力HDR画像）入力HDR画像と（可能性としては量子化誤差の範囲内で）同一である。いくつかの動作シナリオでは、入力HDR画像に対してグローバル前方再整形（204）を実行することから生成される再整形されたSDR画像は、見ることのできる（watchable）非向上SDR画像でありうる。

前方経路におけるグローバル前方再整形（204）と後方経路におけるグローバル後方再整形（210）が対を形成しないかまたは互いに非対称（たとえば、非復元可能、数学的な逆でない、量子化誤差に帰せられない差異があって数学的逆でない、など）である動作シナリオでは、出力HDR画像は、異なるHDRの見え方を有する（もとの）入力HDR画像から変更されている。たとえば、前方経路におけるグローバル前方再整形（204）および後方経路におけるグローバル後方再整形（210）は、入力HDR画像の（もとの）見え方における輝度および彩度とは異なる輝度および彩度を有する異なるHDRの見え方を生成することができる。追加的、任意的、または代替的に、入力HDR画像に対してグローバル前方再整形（204）を実行することから生成された再整形SDR画像は、見ることのできる非向上SDR画像でありうる。

図2Cは、前方経路におけるグローバル前方再整形操作、方法および／または関数と、後方経路におけるローカル後方再整形操作、方法および／または関数とを用いて、入力HDRビデオ信号から出力HDRビデオ信号を生成する例を示す。図示されるように、HDR入力／出力インターフェース（202）の入力HDRインターフェースを介して受信された入力HDRビデオ信号における入力HDR画像は、前方経路におけるグローバル前方再整形（204）および後方経路におけるローカル後方再整形（212）を用いて、HDR入力／出力インターフェース（202）の出力HDRインターフェースを介して送信される出力HDRビデオ信号における出力HDR画像に変換されてもよい。

出力HDR画像は、ローカル後方再整形の使用のおかげで向上される。追加的、任意的、または代替的に、入力HDR画像に対してグローバル前方再整形（204）を実行することによって生成された再整形SDR画像は、非ローカル向上SDR画像でありうる。

図2Dは、前方経路におけるローカル前方再整形操作、方法および／または関数と、後方経路におけるグローバル後方再整形操作、方法および／または関数とを用いて、入力HDRビデオ信号から出力HDRビデオ信号を生成する例を示す。図示されるように、HDR入力／出力インターフェース（202）の入力HDRインターフェースを介して受信された入力HDRビデオ信号における入力HDR画像は、前方経路におけるローカル前方再整形（206）および後方経路におけるグローバル後方再整形（210）を用いて、HDR入力／出力インターフェース（202）の出力HDRインターフェースを介して送信される出力HDRビデオ信号における出力HDR画像に変換されてもよい。

出力HDR画像は、ローカル前方再整形の使用のおかげで向上される。入力HDR画像に対してローカル前方再整形（206）を実行することによって生成された再整形されたSDR画像は、ローカル向上SDR画像である。

図2Eは、前方経路におけるローカル前方再整形操作、方法および／または関数と、後方経路におけるローカル後方再整形操作、方法および／または関数とを用いて、入力HDRビデオ信号から出力HDRビデオ信号を生成する例を示す。図示されるように、HDR入力／出力インターフェース（202）の入力HDRインターフェースを介して受信された入力HDRビデオ信号における入力HDR画像は、前方経路におけるローカル前方再整形（206）および後方経路におけるローカル後方再整形（212）を用いて、HDR入力／出力インターフェース（202）の出力HDRインターフェースを介して送信される出力HDRビデオ信号における出力HDR画像に変換されてもよい。

出力HDR画像は、前方経路と後方経路の両方におけるローカル前方再整形とローカル後方再整形の使用のおかげで二重に向上される。入力HDR画像に対してローカル前方再整形（206）を実行することによって生成された再整形SDR画像は、向上されたSDRである。追加的、任意的、または代替的に、前方経路および後方経路の一方または両方におけるグローバル設定は非対称であってもよく、それにより、入力HDR画像の（もとの）HDRの見え方を、入力HDR画像と比較して異なるグローバル輝度および彩度の異なるHDRの見え方にさらに変更する。

追加的、任意的、または代替的に、いくつかの動作シナリオでは、上述した一つまたは複数のオプションの組み合わせにおける前述の動作の一部または全部が、グローバル／ローカル前方およびグローバル／ローカル後方再整形の複数ラウンドにおいて逐次反復的に実行されて、出力HDR画像および再整形SDR画像においてさらなるHDRおよび／またはSDR向上を生成することができる。

SDR向上
入力SDRビデオ信号から再整形された出力SDRビデオ信号におけるSDR向上をサポートするために、上述したいくつかの組み合わせが使用できる。

図2Fは、前方経路と後方経路の両方においてグローバル再整形操作、方法および／または関数を用いて入力SDRビデオ信号から出力SDRビデオ信号を生成する例を示す。図示されるように、SDR入力／出力インターフェース（208）の入力SDRインターフェースを介して受信された入力SDRビデオ信号における入力SDR画像は、前方経路におけるグローバル前方再整形（204）および後方経路におけるグローバル後方再整形（210）を用いて、SDR入力／出力インターフェース（208）の出力SDRインターフェースを介して送信される出力SDRビデオ信号における出力SDR画像に変換されてもよい。

前方経路におけるグローバル前方再整形（204）と後方経路におけるグローバル後方再整形（210）とが対を形成するかまたは互いに対称的（たとえば、復元可能、数学的な逆、量子化誤差のもとでの数学的な逆など）である動作シナリオでは、出力SDR画像は、SDR向上なしの（もとの）入力SDR画像と（可能性としては量子化誤差を受けて）同一である。いくつかの動作シナリオでは、入力SDR画像に対してグローバル後方再整形（210）を実行することから生成された再整形されたHDR画像は、見ることのできる非向上HDR画像でありうる。

前方経路におけるグローバル前方再整形（204）と後方経路におけるグローバル後方再整形（210）とが対を形成しないかまたは互いに非対称（たとえば、非復元可能、数学的な逆でない、量子化誤差に帰せられない差異があって数学的な逆でない、など）である動作シナリオでは、出力SDR画像は異なるSDRの見え方を有する（もとの）入力SDR画像から変更されている。たとえば、前方経路におけるグローバル前方再整形（204）および後方経路におけるグローバル後方再整形（210）を使用して、入力SDR画像の（もとの）見え方における輝度および彩度とは異なる輝度および彩度を有する異なるSDRの見え方を生成することができる。追加的、任意的、または代替的に、入力SDR画像に対してグローバル後方再整形（210）を実行することから生成された再整形HDR画像は、見ることのできる非向上HDR画像でありうる。

図2Gは、前方経路におけるグローバル前方再整形操作、方法および／または関数と、後方経路におけるローカル後方再整形操作、方法および／または関数とを用いて、入力SDRビデオ信号から出力SDRビデオ信号を生成する例を示している。図示されるように、SDR入力／出力インターフェース（208）の入力SDRインターフェースを介して受信された入力SDRビデオ信号における入力SDR画像は、前方経路におけるグローバル前方再整形（204）および後方経路にローカル後方再整形（212）を用いて、SDR入力／出力インターフェース（208）の出力SDRインターフェースを介して送信される出力SDRビデオ信号における出力SDR画像に変換されてもよい。

出力SDR画像はローカル後方再整形の使用のおかげで向上される。追加的、任意的、または代替的に、入力SDR画像に対してグローバル後方再整形（212）を実行することによって生成された再整形されたHDR画像は、ローカル向上HDR画像であってもよい。

図2Hは、前方経路におけるローカル前方再整形操作、方法および／または関数と、後方経路におけるグローバル後方再整形操作、方法および／または関数とを用いて、入力SDRビデオ信号から出力SDRビデオ信号を生成する例を示す。図示されるように、SDR入力／出力インターフェース（208）の入力SDRインターフェースを介して受信された入力SDRビデオ信号における入力SDR画像は、前方経路におけるローカル前方再整形（206）および後方経路におけるグローバル後方再整形（210）を用いて、SDR入力／出力インターフェース（208）の出力SDRインターフェースを介して送信される出力SDRビデオ信号における出力SDR画像に変換されうる。

出力SDR画像は、ローカル前方再整形の使用のおかげで向上される。追加的、任意的、または代替的に、入力SDR画像に対してグローバル後方再整形（210）を実行することによって生成された再整形HDR画像は、非ローカル向上HDR画像でありうる。

図2Iは、前方経路におけるローカル前方再整形操作、方法および／または関数と、後方経路におけるローカル後方再整形操作、方法および／または関数とを用いて、入力SDRビデオ信号から出力SDRビデオ信号を生成する例を示す。図示されるように、SDR入力／出力インターフェース（208）の入力SDRインターフェースを介して受信された入力SDRビデオ信号における入力SDR画像は、前方経路におけるローカル前方再整形（206）および後方経路におけるローカル後方再整形（212）を用いて、SDR入力／出力インターフェース（208）の出力SDRインターフェースを介して送信される出力SDRビデオ信号における出力SDR画像に変換されうる。

出力SDR画像は、前方経路と後方経路の両方におけるローカル前方再整形とローカル後方再整形の使用のおかげで二重に向上される。入力SDR画像に対してローカル後方再整形（212）を実行することによって生成された再整形HDR画像は、向上されたHDRである。追加的、任意的、または代替的に、前方経路および後方経路の一方または両方におけるグローバル設定を非対称にすることができ、それにより、入力SDR画像の（もとの）SDRの見え方を、入力SDR画像と比較して異なるグローバルな輝度および彩度の異なるSDRの見え方にさらに変更する。

追加的、任意的、または代替的に、いくつかの動作シナリオでは、出力SDR画像および再整形HDR画像におけるさらなるHDRおよび／またはSDR向上を生成するために、上述した一つまたは複数のオプションの組み合わせにおける前述の動作の一部または全部が、グローバル／ローカル前方およびグローバル／ローカル後方再整形の複数ラウンドで逐次反復的に実行されてもよい。

復元可能な向上
前方経路と後方経路の両方におけるグローバル再整形に基づくもののような復元可能な向上（revertible enhancement）は、多くのビデオ・アプリケーションにおいて適用できる。図2Jは、ソース画像が入力SDRビデオ信号においてモバイル・デバイスによってSDR画像として捕捉される例示的なビデオ・アプリケーションを示す。SDRからHDRへのアップコンバージョン〔上方変換〕は、グローバル後方再整形（たとえば、210など）を用いて実施または実行されうる。少なくともダイナミックレンジ向上を有するアップコンバート（または再整形）されたHDR画像は、（ソースまたは入力）SDR画像に対してグローバル後方再整形（210）を実行することによって生成できる。比較的少ないまたは控えめな計算能力で実行されることができるグローバル再整形と比較して、ローカル再整形は、携帯電話における比較的限られた計算能力のために、手頃ではない、または実行可能ではないことがありうる。代わりに、グローバル後方再整形（210）を使用して、（アップコンバートまたは再整形された）HDR画像を生成することができる。HDR画像は、HDR符号化ビットストリームの出力バージョンとしてエンコードされることができる。HDR符号化ビットストリームのこのバージョンは、モバイル・デバイスのディスプレイスクリーン上で共有、プレビューおよび／または表示されることができる。

HDR画像は、HDR符号化ビットストリームを介して、より強力なマシンなどの別のデバイス（たとえば、PC、ラップトップ、クラウドベースのストレージおよび／またはコンピューティングシステム、サーバー、メディアまたはビデオ共有システムなど）にアップロードされることができる。図2Cに示されるように、HDR符号化ビットストリームは、入力HDRビデオ信号として受信されることができる。HDR符号化ビットストリームのこのバージョンのHDR画像――（もとの）SDR画像に対してモバイル・デバイスによって実行されたグローバル後方再整形（210）から生成される――は、まず、復元可能なグローバル前方再整形（204）――これは復元可能対を形成するか、または図2Jのグローバル後方再整形（210）に対応する――を使用して、モバイル・デバイスによって（たとえば、モバイル・デバイスとの関連で動作するカメラ（単数または複数）などによって）生成された（もとの）SDR画像を復元することによって、さらに向上されることができる。図2Cに示されるように、回復されたSDR画像に対してローカル後方再整形（212）を適用または実行されて、HDR符号化ビットストリームのこのバージョンのHDR画像のHDRの見え方と比較して、向上されたHDRの見え方を有する（新しい）HDR画像を生成することができる。

よって、もとのSDR画像または入力SDR画像を取得するモバイル・デバイスに関わるこのビデオ・アプリケーションでは、もとのSDR画像または入力SDR画像が、モバイル・デバイスによって生成されたHDR符号化ビットストリームのこのバージョンのHDR画像から復元されて、閲覧されることができる。また、モバイル・デバイスによって生成された少なくともダイナミックレンジ向上を有するHDR画像が、たとえばモバイル・デバイスから受信され、閲覧されることができる。さらに、さらなる向上を有するHDR画像が、図2Cに示されるような本明細書に記載されるようなローカル再整形を実行することから、生成され、閲覧されることができる。

同様に、入力HDR画像が入力HDRビデオ信号（たとえば、モバイル・デバイスによって生成される、非モバイル・デバイスによって生成される、カメラによって生成されるなど）において受信されるビデオ・アプリケーションでは、グローバル前方再整形がHDR画像に対して実行されて、出力SDR画像を生成することができる。出力SDR画像は、復元可能対を形成するか、またはグローバル前方再整形に対応するグローバル後方再整形を使用して、（もとの）入力HDR画像に戻すことができる。追加的、任意的、または代替的に、ローカル前方再整形がHDR画像に対して実行されて、たとえばローカルな向上をもつ、向上された出力SDR画像を生成することができる。

グローバル再整形
いくつかの動作シナリオでは、グローバル再整形において使用されるグローバル再整形関数またはマッピングは、単一層後方互換（single-layer backward compatible、SLBC）ビデオ符号化のためのスケーラブルな静的フレームワークに基づいて設計されることができる。SDRおよびHDRドメインの一方のようなあるドメインから、SDRおよびHDRドメインの他方のような別のドメインへの完全な復元可能性を保証するアルゴリズムが、本明細書に記載されるようにグローバル再整形において使用できる。グローバル再整形によって使用される前方および後方（グローバル再整形）関数が可逆対を形成するか否かに依存して、グローバル再整形の異なる使用法が存在しうる。

いくつかの動作シナリオでは、SLBCビデオ・エンコードのためのスケーラブルな静的枠組みにおいて、対をなす前方および後方グローバル再整形関数が使用される。これらの動作シナリオでは、総数G個の（たとえば、G=4096；12ビット符号語空間内のすべての可能な符号語値をカバーするなど）完全に復元可能なグローバル前方およびグローバル後方再整形関数対が存在しうる。完全に復元可能なグローバル前方およびグローバル後方再整形関数対のそれぞれは、グローバル前方再整形関数および対応するグローバル後方再整形関数を含む。

上記の復元可能対におけるグローバル前方再整形関数を下記のように表す（グローバル前方再整形関数のそれぞれは、第1の色空間のルーマおよびクロマ・チャネルについての符号語を変換または前方再整形して、第2の色空間のルーマおよびクロマ・チャネルについての前方再整形された符号語にする）：

ここで、Yはルーマ・チャネルを表し；Cxはクロマ・チャネルを表し、xは0（C0または第1のクロマ・チャネルに対応）または1（C1または第2のクロマ・チャネルに対応）でありうる。

同様に、上記の復元可能対におけるグローバル後方再整形関数を下記のように表す（グローバル後方再整形関数のそれぞれは、第2の色空間のルーマおよびクロマ・チャネルについての符号語を変換または前方再整形して、第1の色空間のルーマおよびクロマ・チャネルについての後方再整形された符号語にする）：

図3Aおよび上記の式（1）に示されるように、ルーマ・グローバル前方再整形関数は、異なるインデックス値g^F,Yを使用してインデックス付けまたはルックアップされてもよい。同様に、図3Bおよび上記の式（2）に示されるように、ルーマ・グローバル後方再整形関数は、異なるインデックス値g^B,Yを使用してインデックス付けまたはルックアップされてもよい。

式（1）におけるグローバル前方再整形関数と式（2）におけるグローバル後方再整形関数とによって形成される複数の復元可能対における復元可能対は、式（1）におけるグローバル前方再整形関数におけるグローバル前方再整形関数と、このグローバル前方再整形関数に対応する（式（2）におけるグローバル後方再整形関数における）グローバル後方再整形関数とによって形成されてもよい。

同じ復元可能対におけるグローバル前方再整形関数およびグローバル後方再整形関数は、同じインデックス値でインデックス付けされてもよい。グローバル前方およびグローバル後方再整形関数の同じ対は、もとの入力ビデオ信号またはその中の入力画像を出力ビデオ信号または出力画像において復元するために使用されることができる。たとえば、前記複数の復元可能対におけるg番目の対が与えられ、g^F,Y＝g^B,Y＝g^F,Cx＝g^B,Cx＝gである場合、入力HDR画像は、次式のように、再整形されたSDR画像に前方再整形され、次いで、入力HDR画像と（たとえば、完全に、忠実に、量子化誤差のもとで、など）同じ出力HDRに後方再整形されてもよい。

ここで、右辺（RHS）のvは入力HDR画像を表し；左辺（LHS）のvは出力HDR画像を表す。

同じg番目の対が与えられる場合、入力SDR画像は、再整形されたHDR画像に後方再整形され、次いで、入力SDR画像と（たとえば、完全に、忠実に、量子化誤差のもとで、など）同じ出力SDRに前方再整形されてもよい。

ここで、右辺（RHS）のsは入力SDR画像を表し；左辺（LHS）のsは出力SDR画像を表す。

再整形関数が再整形前ビット深さ（たとえば、再整形前色空間チャネルにおける再整形前画像における各符号語を符号化するビットの総数など）から再整形後ビット深さ（たとえば、再整形後色空間チャネルにおける再整形後画像における各符号語を符号化するビットの総数など）への、たとえば16ビットの再整形前ビデオ信号／画像から10ビットの再整形後ビデオ信号／画像へのビット深さ変換を行う場合、量子化誤差または損失が発生する可能性がある。復元可能対によって受領される入力画像と復元可能対によって生成される出力画像との間の差が、ビット深さ変換（単数または複数）によって生じる量子化誤差または損失に帰される場合、入力画像と出力画像は依然として同じとみなすことができる。

図3Cは、上記の式（3-1）を使用して、入力HDR画像（入力ビット深さ＝16ビット）の入力ルーマ符号語を出力HDR画像（出力ビット深さ＝16ビット）の出力ルーマ符号語に変換するために、同じインデックス値gによってインデックス付けされたグローバル前方および後方再整形関数の同じ（復元可能）対を使用する例示的なルーマ符号語マッピングを示す。

図示されるように、ルーマ・チャネルにおける入力から出力への符号語マッピングは、ほぼ直線である（たとえば、定義されたルーマ値範囲の両端でクリップするSMPTE指定の範囲内などで）。これは、復元可能対によって生成された出力HDR画像において再構成されたまたは出力されたルーマ符号語が、入力HDR画像において受領されたルーマ符号語と同じかまたはそれに非常に近いことを意味する。

図3Dおよび図3Eは、上記の式（3-2）を用いて、入力HDR画像（16ビット）の入力クロマ符号語を出力HDR画像（16ビット）の出力クロマ符号語に変換するために、同じインデックス値gによってインデックス付けされたグローバル前方および後方再整形関数の同じ（復元可能）対を用いた例示的なクロマ符号語マッピングを示す。

入力クロマ符号語は、固定されたCb（たとえば、35000等）およびCr（たとえば、28000等）値を有するが、変化するルーマ符号語値を有する色のグループを形成することができる。

図示されるように、この色のグループについてのクロマ・チャネルにおける入力から出力への符号語マッピングは、ほぼ直線である。これは、復元可能対によって生成された出力HDR画像において再構成または出力されるクロマ符号語が、変化するルーマ符号語値について、この色のグループに関して、入力HDR画像において受領されたクロマ符号語と同じか、または非常に近いことを意味する。

同様に、別の一組の固定されたCbおよびCr符号語値（たとえば、Cbは25000、Crは35000など）を有するが、ルーマ符号語値が変化する別のグループの色が、グローバル前方および後方再整形関数の復元可能対を使用してクロマ・マッピングにおいて使用されることができる。そのような別のグループの色についてのクロマ・チャネルにおける入力から出力への符号語マッピングは、図3Dおよび図3Eと同様に、ほぼ直線であることが示せる。これは、復元可能対によって生成された出力HDR画像において再構成または出力されたクロマ符号語が、変化するルーマ符号語値について、他の色のグループに関して、入力HDR画像において受領されたクロマ符号語と同じか、またはそれに非常に近いことを意味する。

図3Fは、上記の式（4-1）を使用して、入力SDR画像（入力ビット深さ＝10ビット）の入力ルーマ符号語を出力SDR画像（出力ビット深さ＝16ビット）の出力ルーマ符号語に変換するために、同じインデックス値gによってインデックス付けされたグローバル前方および後方再整形関数の同じ（復元可能）対を使用する例示的なルーマ符号語マッピングを示す。

図示されるように、ルーマ・チャネルにおける入力から出力への符号語マッピングは、ほぼ直線である（たとえば、業界標準等で規定された符号語範囲全体内で）。これは、復元可能対によって生成された出力SDR画像において再構成または出力されたルーマ符号語が、入力SDR画像において受領されたルーマ符号語と同じか、またはそれに非常に近いことを意味する。

同様に、入力SDR画像における入力SDRクロマ符号語を出力SDR画像における出力SDRクロマ符号語にマップするために、クロマ符号語マッピングが前記復元可能対で実行されることができる。

いくつかの動作シナリオでは、復元可能対におけるグローバル前方および後方再整形関数は、クロマ・マッピングのためのMMRベースの前方および後方マッピング／関数、およびルーマ・マッピングのためのFLUT/BLUTベースの前方および後方マッピング／関数でありうるが、必ずしもこれだけに限定されない。

復元可能対におけるMMRベースの後方マッピング／関数が、入力SDR画像における入力ルーマおよびクロマ符号語を後方再整形HDR画像における後方再整形クロマ符号語にマッピングするために使用されてもよい。復元可能対におけるBLUTベースの後方マッピング／関数が、入力SDR画像における入力ルーマ符号語を後方再整形HDR画像における後方再整形ルーマ符号語にマッピングするために使用されてもよい。

復元可能対におけるMMRベースの前方マッピング／関数が、後方再整形HDR画像における後方再整形されたルーマおよびクロマ符号語を、出力SDR画像における出力クロマ符号語にマッピングするために使用されてもよい。復元可能対におけるFLUTベースの前方マッピング／関数が、後方再整形HDR画像における後方再整形ルーマ符号語を出力SDR画像における出力ルーマ符号語にマップするために使用されてもよい。

復元可能対を用いて実施される入力HDR-出力HDR変換の場合と同様に、復元可能対を用いて実施される入力SDR-出力SDR変換において、可能な量子化誤差は受けつつ、出力SDR画像における入力クロマ符号語は回復されることができる、または入力SDR画像中の出力クロマ符号語と同じであることができる。

対をなさない前方および後方グローバル再整形
異なる復元可能対からの再整形関数は、これらの関数に基づいて入力ビデオ信号（またはその中の入力画像）に対して実行される再整形操作から生成された出力信号（またはその中の出力画像）において、入力ビデオ信号（またはその中の入力画像）を再現しないことがある。

単に例示の目的で、前方ルーマおよびクロマ再整形関数は、それぞれ第1のインデックス値g^F,Yおよびg^F,Cxによってインデックス付けされてもよい。ここで、第1のインデックス値は互いに等しくても等しくなくてもよい。同様に、後方ルーマおよびクロマ再整形関数は、それぞれ第2のインデックス値g^B,Cおよびg^B,Cxによってインデックス付けされてもよい。ここで、第2のインデックス値は互いに等しくても等しくなくてもよい。

第1および第2のインデックス値がそれら自身の間で異なる動作シナリオでは、下記のように、これらの関数に基づいて入力ビデオ信号（またはその中の入力画像）に対して実行される再整形操作から生成された出力信号（またはその中の出力画像）において、入力ビデオ信号（またはその中の入力画像）が再現されないことがある。

しかしながら、これらの動作シナリオでは、対をなさない前方および後方再整形関数と呼ばれうるこれらの再整形関数は、グローバル画像向上として、入力画像の入力輝度および彩度を出力画像の異なる輝度および彩度に調整するためのツールとして適用または使用されることができる。

図3Gは、512から3328の範囲のさまざまな異なるインデックス値g^B,Cを有する例示的なルーマ（またはルミナンス）後方関数を示す（たとえば、固定された前方インデックスg^F,Y＝1792などとする）。図3Hは、512から3328の範囲の異なるインデックス値g^F,Cを有する例示的なルーマ（またはルミナンス）前方関数を示す（たとえば、固定された前方インデックスg^F,Y＝1792などとする）。

ルーマ前方および後方再整形について、インデックス値がg^B,Y＞g^F,Yとなるように選択される場合、少なくとも部分的には入力HDR画像に対してこれらのインデックス値をもつルーマ前方および後方再整形関数を実行することによって生成される再構成HDR画像は、入力HDR画像よりも明るくなる。一方、インデックス値がg^B,Y＜g^F,Yとなるように選択された場合、少なくとも部分的には入力HDR画像に対してこれらのインデックス値をもつルーマ前方および後方再整形関数を実行することによって生成される再構成HDR画像は、入力HDR画像よりも暗くなる。2つのインデックス値間のギャップΔg^Y＝g^B,Y－g^F,Yが輝度変化に影響する。いくつかの動作シナリオでは、ギャップの大きさが大きいほど、入力画像と出力画像との間の輝度変化が大きくなる。

同様に、クロマ前方および後方再整形について、g^B,Cx＞g^F,Cxとなるようにインデックス値が選択される場合（ここで、CxはCbまたはCrでありうる）、少なくとも部分的には入力HDR画像に対してこれらのインデックス値をもつクロマ前方および後方再整形関数を実行することによって生成された再構成HDR画像は、入力HDR画像よりも彩度が高くなる。一方、インデックス値がg^B,Cx＜g^F,Cxとなるように選択された場合、少なくとも部分的には入力HDR画像に対してこれらのインデックス値をもつクロマ前方および後方再整形関数を実行することによって生成される再構成HDR画像は、入力HDR画像よりも彩度が低くなる。2つのインデックス値の間のギャップΔg^Cx＝g^B,Cx－g^F,Cxが彩度変化に影響する。いくつかの動作シナリオでは、ギャップの大きさが大きいほど、入力画像と出力画像との間の彩度変化が大きくなる。

図2Kは、入力ビデオ信号の輝度および／または彩度を出力ビデオ信号の異なる輝度および／または彩度に変更するために、対をなさない前方および後方再整形関数を使用する例示的なフローを示している。本明細書に示される他のフローと同様に、図2Kのフローは、ビデオ・エンコーダ、ビデオ・トランスコーダ、ビデオ・デコーダ、またはこれらの組み合わせなどの一つまたは複数のコンピューティングデバイスによって実行されうる。単に説明の目的で、入力ビデオ信号および出力ビデオ信号は、それぞれ、入力HDRビデオ信号および出力HDRビデオ信号である。

ブロック222は、入力HDRビデオ信号における入力HDR画像を受信することを含む。ブロック224-1および224-2は、前方再整形関数のための第1のルーマおよびクロマ・インデックス値を選択することを含む。ブロック226-1および226-2は、第1のインデックス値によってインデックス付けされたルーマおよびクロマ前方再整形関数に基づいて入力HDR画像に対してルーマおよびクロマ前方再整形を実行して、前方再整形画像を生成することを含む。ブロック228-1および228-2は、後方再整形のために第2のルーマおよびクロマ・インデックス値を選択することを含む。ブロック230-1および230-2は、入力HDR画像の輝度および／または彩度とは異なる輝度および／または彩度を有する再構成されたHDR画像を生成するために、第2のインデックス値によってインデックスされたルーマおよびクロマ後方再整形関数に基づいて前方再整形画像に対してルーマおよびクロマ後方再整形を実行することを含む。ブロック232は、再構成されたHDR画像を出力することを含む。

ローカル再整形および案内された画像
図2Lは、（ローカル再整形された）出力画像250を生成するために入力画像242に対して実行されることができる例示的なルーマおよびクロマ・ローカル再整形246を示す。図2Lの処理ブロック（ルーマおよびクロマ・ローカル再整形（246）を含むが、これらに限定されない）は、ビデオ・エンコーダ、ビデオ・トランスコーダ、ビデオ・デコーダ、またはこれらの組み合わせなどの一つまたは複数のコンピューティングデバイスによって実装または実行されうる。

図2Lに示されるように、ルーマおよびクロマ・ローカル再整形（246）を補助またはサポートするために、2つの構成要素が使用されうる。

第1の構成要素は、F_<l>( )と記されるローカル再整形関数の集合（または総数L個）を含むローカル再整形関数の族248である。ここで、lは0,1,…L－1である。これらのローカル再整形関数は、ルーマおよびクロマ・ローカル再整形操作の一部として使用される、または呼び出されることができる。ローカル再整形関数の族は、ルーマ・ローカル再整形のためのF^Y _<l>と記されるルーマ・ローカル再整形関数の族と、クロマ・ローカル再整形のためのF^Cx _<l>と記されるクロマ・ローカル再整形関数の族とを含む。

第2の構成要素は、案内画像生成演算子（Gと記される）を用いて入力画像（Vと記される）から案内された画像（Mと記される）を次のように生成する案内画像生成である。

案内された画像Mは、入力ピクセルに対してローカル再整形を実行して出力画像（250）における対応する出力ピクセルを生成するために、ローカル再整形関数の族におけるどのローカル再整形関数がローカル再整形を実行するかを選択するために、入力画像（242）の一部または全部における各入力ピクセルについて、（[0 L－1]の値範囲内の）個別の（再整形関数）インデックス値を含む。案内された画像Mは、異なるルーマ・チャネルおよびクロマ・チャネルにおけるルーマおよびクロマ・ローカル再整形のために、M^YおよびM^Cｘのような異なる案内された画像を含むことができる。

より具体的には、案内画像生成（244）によって生成された案内された画像が与えられると、入力画像（242）の各入力ピクセルについて、ローカル再整形（246）は、案内された画像において、入力画像（242）を含む画像フレームと同じ行および同じ列に格納されている特定の再整形関数インデックス値（単数または複数）を見出すことができる。次いで、特定の再整形関数インデックス値が、再整形関数の族（248）を構成する再整形関数のうちから特定のローカル再整形関数（単数または複数）を選択または識別するために使用されることができる。次いで、特定のローカル再整形関数は、入力ピクセルに対してルーマおよびクロマ・ローカル再整形を実行し、出力画像（250）における対応する出力ピクセルを生成することができる。

単に説明の目的で、ローカル前方再整形が詳細に論じられる。ローカル後方再整形は、同様に導出され、実施され、または実行されうることに留意されたい。簡単のため、ここでの議論では、「Y」および「Cx」のような上付き文字は除去されることがある。

単一チャネル・ルーマ・ローカル再整形
いくつかの動作シナリオでは、出力画像の出力または再整形されたルーマ符号語は、入力画像の入力または再整形前のルーマ符号語に対して単一チャネル・ルーマ・ローカル再整形を実行することから生成できる。より具体的には、入力画像のピクセルについての入力ルーマ符号語（たとえば、十分に、など）は、ローカル再整形関数が、入力画像のそのピクセルについての入力クロマ符号語を使用することなく、出力画像の対応するピクセルのマッピングされたまたは再整形されたルーマ符号語を決定することを可能にする。

単一チャネル・ルーマ・ローカル再整形のためのルーマ・ローカル再整形（関数）の族は、多くの異なる仕方で生成できる。

第1の例では、自己導出されるローカル再整形が、ルーマ・ローカル再整形の族を生成するために使用されてもよい。自己導出されるローカル再整形とは、ルーマ・ローカル再整形の族が、あるルーマ・グローバル再整形関数から導出されるアプローチを指す。この（タイプの）ルーマ・ローカル再整形関数の族は、各入力画像またはその中の特定の符号語分布に応答して、実行時にオンザフライで生成されることができる。ローカル再整形関数の族は、異なるコンテンツにおける各フレームについてカスタマイズされたルーマ・ローカル再整形関数を含むことができる。

第2の例では、事前構築されたルーマ・ローカル再整形関数を含むルーマ・ローカル再整形の族を生成するために、オフライン・トレーニングが使用されてもよい。この（タイプの）ルーマ・ローカル再整形関数の族は、すべてのコンテンツ内のすべての入力画像に適用されうる。

第3の例では、事前構築されたグローバル再整形関数から、自己導出されるローカル再整形の一部または全部を実行することによって生成されるルーマ・ローカル再整形関数を含むルーマ・ローカル再整形の族を生成するために、ハイブリッドのオフラインおよびオンライン動作が使用されうる。このハイブリッド方法の恩恵は、実行時に入力画像に応答して構築される動的グローバル関数と、オフライン・トレーニングから生成される事前構築されたローカル関数とを使用して、ルーマ再整形関数が構築できるという点で、計算コストを節約または低減することである。

自己導出される単一チャネル・ローカル再整形
ルーマ・ローカル再整形の2つの目標は、（２）入力画像に対してルーマ・ローカル再整形を実行することから生成される出力画像において同様の輝度を維持しながら、（ａ）局所コントラスト比を増加させることである。第1の目標は、トーン曲線で表現されるようなローカル再整形関数の傾きを増加させることによって達成できる。上述した第2の目標は、（たとえば、新しい等の）ローカル再整形関数をさまざまな位置でグローバル再整形関数と交差させることによって達成できる。グローバル再整形関数を与えられたときのローカル再整形関数の例示的な生成は、2020年4月3日に出願された「BLIND LOCAL RESHAPING IN HDR IMAGING」と題する米国仮出願第63/004,609号に記載されており、その内容全体は、あたかも本明細書に完全に記載されているかのように、参照によりその全体が組み込まれる。

図2Mは、F()と表されるグローバル再整形関数から自己導出されるローカル関数の生成のための例示的なフローを示す。いくつかの動作シナリオでは、グローバル再整形関数は、たとえばローカル再整形のための入力画像を受領することに応答して、ビデオ・コーデックによってオンライン動作において計算されることができる。そのようなグローバル整形関数は、（たとえば、適応的、ランタイムなど）動的グローバル再整形関数と称されてもよい。いくつかの動作シナリオでは、グローバル再整形関数は、オフライン動作において画像処理システムによって計算または事前構築されることができ、これはたとえば、必ずしもローカル再整形のための入力画像を受領することに応答してではない。そのようなグローバル整形関数は、（たとえば、スケーラブルな、事前構成された、などの）静的なグローバル再整形関数と称されてもよい。

ブロック252は、テンプレート再整形関数を構築することを含む。そうするためにはグローバル再整形関数F()における平坦な領域が最初に除去されて、修正された再整形曲線または関数を生成することができる。これらの平坦な領域は、符号語空間内の（たとえば、有効な、SMPTEなど）利用可能な符号語の全範囲の外側のサブ範囲に対応してもよい。平坦な領域は、後で（たとえば、最終的に、など）構築されるローカル再整形関数に再度加えられてもよい。

修正された再整形曲線または関数は、y軸に接するまでシフトされることができる。本明細書で使用されるところでは、（たとえば、図3A、図3B、図3G、および図3Hなどに示されるような）ローカルまたはグローバル再整形関数を表すプロットまたは曲線は、y軸が再整形されたまたは出力される符号語を表し、x軸が再整形前のまたは入力の符号語を表す2次元座標系で表現されてもよい。修正された再整形曲線または関数のシフトが、きわどいケースの扱いを回避するかまたは不要にし、ローカル再整形関数を生成するスケーリングおよびシフト操作を容易にするために使用できる。よって、シフトされた修正された再整形関数（F'と記される）は、平坦な領域を除去してy軸にシフトすることを用いて、グローバル再整形関数から次のように構築できる：
F'＝shift_to_Yaxis(remove_flat(F())) (7)

上記の第1の目標として述べた、より高い局所コントラスト比を達成するために、α_<l>と記されるx軸スケーリング因子が使用できる。より具体的には、ある入力符号語値においてx軸スケーリング因子が1より大きく設定されている、あるいはα_<l>＞1である場合、x軸に沿った入力符号語値のまわりの局所近傍は（たとえば、x軸スケーリング因子に比例して、など）拡大され、それにより、その入力符号語値によって表されるx軸位置における局所コントラスト比を低下または減少させる（または、ぼけを増加させる）。言い換えれば、x軸スケーリング因子α_<l>が1より大きい場合、曲線はX軸に沿って拡大される。x軸に沿った範囲（たとえば、微分計算のために使用される間隔または差など）が大きくなり、y軸に沿ったマッピング範囲（たとえば、微分計算のために使用される間隔または差など）が同じままである場合、x軸拡大曲線は、拡大前の曲線よりも小さな傾きをもち、そのため、x軸拡大曲線のコントラスト比は拡大前の曲線に比べて小さくなる。一方、入力符号語値において、x軸のスケーリング因子が1未満に設定されている、あるいはα_<l>＜1である場合、x軸に沿った入力符号語値のまわりの局所近傍は（たとえば、x軸スケーリング因子に比例して、など）圧縮され、そのため、入力符号語値によって表されるx軸位置における局所コントラスト比（または鮮鋭度）を増加または向上させることができる。言い換えれば、x軸スケーリング因子α_<l>が1より小さい場合、曲線はX軸に沿って圧縮される。x軸に沿った範囲（たとえば、微分計算のために使用される間隔または差など）が減少し、y軸に沿ったマップされた範囲（たとえば、微分計算のために使用される間隔または差など）が同じままであるので、x軸圧縮された曲線は圧縮前の曲線よりも大きな傾きをもち、それによりx軸圧縮された曲線におけるコントラスト比が圧縮前の曲線に比べて大きくなる。

x軸スケーリング因子（α_<l>＜1）は、たとえばx軸スケーリング因子によって指定されるようにx軸に沿って、さまざまな入力符号語値におけるシフトされた修正された再整形関数をスケーリングして、スケーリングされた（前方）関数を生成するために使用されることができ、これらの入力符号語値におけるスケーリングされた関数における局所コントラスト比（または鮮鋭度）を増加させる。

テンプレート再整形関数（F^T _<l>()）は、まず、テンプレート再整形関数を変換またはシフトして、スケーリングされた（またはシフトされた）前方関数にし、次いで、入力画像をエンコードするために使用される入力符号語値に対応するさまざまな入力符号語値において、スケーリングされた関数を再サンプリングすることによって、構築または構成されることができる：
F^T _<l>( )＝resample(F'(),α_<l>) (8)

いくつかの動作シナリオでは、ローカル再整形関数の異なるl値について上記の式（8）におけるx軸スケーリング因子の異なる値を使用することによって、ローカル再整形族における異なるローカル再整形関数の間で、等しくない局所コントラスト比向上が達成できる。

いくつかの動作シナリオでは、ローカル再整形関数のl値について上述の式（8）におけるx軸スケーリング因子の同じ値を使用することによって、ローカル再整形族におけるいくつかのまたはすべてのローカル再整形関数の間で等しい局所コントラスト比向上が達成できる。

単に説明の目的で、上記の式（8）におけるシフトおよび再サンプリング動作において割り当てられるまたは適用される同じx軸スケーリング因子α_<l>と一緒に等しい局所コントラスト比向上が使用されて、ローカル再整形族におけるすべてのローカル再整形関数（すべてのlについてのF^T _<l>()＝F^T()）についてテンプレート再整形関数を生成することができる。よって、1つのスケーリングされ再サンプリングされた関数のみが、上式（8）において、同じx軸スケーリング因子α_<l>を有するグローバル再整形関数から、すべてのローカル再整形関数についてのテンプレート再整形関数として構築されうる。

ブロック254は、上記の式（8）におけるテンプレート再整形関数をシフトして、融合前ローカル再整形関数を生成することを含む。該融合前ローカル再整形関数は、グローバル再整形関数と融合されて、ローカル再整形族におけるl番目のローカル再整形関数中に入れられることができる。テンプレート再整形関数のこのシフトは、第2の目標、すなわち、融合前のローカル再整形関数とグローバル再整形関数との間で同様の（たとえば、ローカルに平均、ローカルにフィルタリングされた、グローバル等）輝度を維持することを達成する。
本開示を通して使用される用語「融合」は、2つの指定された関数の補間または混合を指す。好ましい実施形態では、関数の混合は、関係する関数の線形結合を計算することを含む。線形結合における重みは、所与の値に正規化されてもよい。たとえば、重みの和は1であってもよい。
本開示全体を通して使用される用語「融合前（pre-fusing）」は、再整形関数との関連で使用される。たとえば、ローカル再整形関数がグローバル再整形関数と融合されてもよい。結果として得られる融合された再整形関数は、グローバル再整形関数との融合にもかかわらず、依然としてローカル再整形関数である。融合された再整形関数は、融合前ローカル再整形関数から、ピクセル・レベルで、異なる関数特性（functional characteristics）を依然として維持しているからである。融合以前のローカル再整形関数と、グローバル再整形関数と融合した後のローカル再整形関数とを区別するために、融合以前の初期ローカル再整形関数を「融合前ローカル再整形関数」と呼び、融合結果を「融合後ローカル再整形関数」、「融合ローカル再整形関数」または単に「ローカル再整形関数」と呼ぶ。
「融合前」という用語は、他の再整形関数にも適用されてもよく、たとえば、2つのグローバル再整形関数を融合するとき、それらがさらにグローバルなままであり、したがって区別が必要な場合、融合以前の（「融合前」）のグローバル再整形関数か融合後のグローバル再整形関数かに触れるべきである。

より具体的には、入力画像中のi番目の入力符号語のような入力ピクセルが再整形されてi番目の出力符号語のような出力ピクセルにされるとき、l番目のローカル再整形関数についての融合前ローカル再整形関数は、――ローカル再整形族において――案内された画像Mのi番目の要素（m_iと記される）に格納されている対応するローカル再整形関数インデックス値lによってインデックス付けされる。

入力画像のビット深さをB^vと表す。このビット深さの入力符号語範囲（全体）は、以下のように、対応する区間中心をもつL個の均一な区間に分割されうる：

グローバル再整形関数とl番目のローカル再整形関数についての融合前ローカル再整形関数との間で入力ピクセル周辺の同様の（たとえば、ローカル平均、ローカルにフィルタリング、グローバルなど）輝度を維持するために、入力符号語範囲のl番目の区間の中心における（もとの）グローバル再整形関数F(C_l ^v)のマップ。された値またはグローバル再整形された値と、入力符号語範囲のl番目の区間の同じ中心におけるl番目のローカル再整形関数についての――テンプレート再整形関数をシフトすることによって生成される――融合前ローカル再整形関数F_<l>(C_l ^v)とが、次の条件／制約条件を満たすように制約されうる：
F(C_l ^v)＝F_<l>(C_l ^v) (11)

この制約条件は、融合前ローカル再整形関数F_<l>(C_l ^v)についてのシフト量またはシフト（値）を決定し、該シフト（値）をテンプレート再整形関数に適用して、l番目のローカル再整形関数についての融合前ローカル再整形関数F_<l>(C_l ^v)を生成するために使用できる。l番目のローカル再整形関数または融合前のローカル再整形関数F_<l>(C_l ^v)をゼロから再計算することなしにできる。

よって入力符号語としてC_l ^vを与えられて、対応するマップされた（またはグローバル再整形された）値F_<l>(C_l ^v)が（たとえば、グローバル再整形関数F_<l>(C_l ^v)を表す曲線、関数および／またはルックアップテーブルから）取得またはルックアップされることができる。次いで、対応するマップされた値F_<l>(C_l ^v)は、次の等式条件（たとえば等しい輝度など）が満たされるように入力符号語値φ_l ^vを決定するために使用できる：
F_<l> ^T(φ_l ^v)＝F_<l>(C_l ^v) (12)

さらに、入力符号語値φ_l ^vは、次のようにシフト（値）を決定するために使用できる：
a_l ^v＝C_l ^v－φ_l ^v (13)

よって、（0からL－1までの間のすべてのlについて）l番目のローカル再整形関数についての融合前ローカル再整形関数はF_<l>(C_l ^v)は、次のように、テンプレート再整形関数のシフトされたバージョンとして得ることができる：
F_<l>(v)＝F_<l> ^T(v－a_l ^v) (14)

スケーリングおよびシフト操作が実行されて、グローバル再整形関数の傾きを増加または変更してテンプレート再整形関数の傾きにした後、テンプレート再整形関数またはテンプレート再整形関数から生成されたローカル再整形関数は、許容可能な符号語値の範囲でハードクリッピングされる範囲外の値を生成し、それにより視覚的アーチファクトを生成する可能性がある。ハードクリッピングを回避または低減するために、グローバル関数およびローカル関数をそれぞれの重み因子をもって一緒に融合させることによってソフトクリッピングが使用されてもよい。

ブロック256は、融合前ローカル再整形関数F_<l>(C_l ^v)をグローバル再整形関数と融合することによって融合前ローカル再整形関数F_<l>(C_l ^v)をソフトクリッピングする。ブロック254においてl番目のローカル再整形関数について生成された融合前ローカル再整形関数F_<l>(C_l ^v)が与えられた場合、θ_<L> ^Y,Gと表されるグローバル再整形関数重み付け因子およびθ_<L> ^Y,Lと表されるローカル再整形関数重み付け因子がそれぞれ、グローバル再整形機能とl番目のローカル再整形関数についての融合前ローカル再整形関数F_<l>(C_l ^v)にそれぞれ割り当てられてもよい。いくつかの動作シナリオでは、2つの重み付け因子は次のような制約条件／条件を満たす：
θ_<L> ^Y,G＋θ_<L> ^Y,L＝1 (15)

（融合後の）l番目のローカル再整形関数は、次のように与えられる：
F_<l>( )＝θ_<L> ^Y,L・F_<l>( )＋θ_<L> ^Y,G・F( ) (16)

上述の演算は、ローカル前方再整形関数およびローカル後方再整形関数の両方を生成するために実装または実行できることに留意されたい。

事前構築された単一チャネル・ローカル再整形
いくつかの動作シナリオでは、上述のような自己導出される単一チャネル・ローカル再整形に加えて、またはその代わりに、それぞれgと表されるグローバル再整形関数インデックス値によってインデックス付けされる複数の事前構築された単一チャネル・グローバル再整形関数F_<g> ^Y( )が、オフライン・トレーニングを通じて取得できる。これらの事前構築されたグローバル再整形関数は、たとえば前方経路において、次のように、ローカル再整形関数インデックス値lによってそれぞれインデックス付けされたローカル再整形関数を生成するために使用されうる：
F_<l>( )＝F_<g> ^Y() (17-1)
ここで、
g＝l (17-2)

同様に、後方経路では、B_<l>( )と表されるローカル再整形関数は、次のように、B_<g> ^Y( )と表される事前構築されたグローバル再整形関数から生成されることができる：
B_<l>( )＝B_<g> ^Y() (18)

グローバル再整形関数からのローカル再整形関数の例示的な導出は、2020年10月2日に出願された米国仮出願第63/086,699号「ADAPTIVE LOCAL RESHAPING FOR SDR-TO-HDR UP-CONVERSION」に記載されており、その全内容は、参照により、あたかも完全に本明細書に記載されているかのように、組み込まれる。

事前定義および自己導出の単一チャネル・ローカル再整形のハイブリッド
いくつかの動作シナリオでは、事前定義された単一チャネル・ローカル再整形と自己導出された単一チャネル・ローカル再整形とを組み合わせたハイブリッド・アプローチが、ローカル再整形関数を生成するために使用されうる。より具体的には、上述したような自己導出されたローカル再整形は、入力画像を受領することに応答して構築される（たとえば、動的など）グローバル再整形関数の代わりに、既存の事前構築されたグローバル再整形関数に関して実行されることができる。たとえば、入力画像の符号語分布に基づいて、特定の事前構築されたグローバル再整形関数が、複数の事前構築されたグローバル再整形関数（たとえば、オフライン・トレーニングなどを通じて得られたもの）の中から選択されうる。特定の事前構築されたグローバル再整形関数は、入力画像を受領することに応答して構築されたグローバル再整形関数の代わりに、上述した自己導出されるローカル再整形において使用されてもよい。

チャネル横断ルーマ・ローカル再整形
いくつかの動作シナリオでは、出力画像の出力または再整形されたルーマ符号語は、入力画像の入力または再整形される前のルーマおよびクロマ符号語に対してチャネル横断ルーマ・ローカル再整形を実行することにから生成できる。より具体的には、入力画像のピクセルについての入力ルーマおよびクロマ符号語（たとえば、十分など）は、集団的に、出力画像の対応するピクセルのマッピングされたまたは再整形されたルーマ符号語を決定するための（たとえば、TPBベース、MMRベースなどの）ローカル再整形マッピングを可能にする。

チャネル横断ルーマ・ローカル再整形のためのルーマ・ローカル再整形（関数）族は、多くの異なる仕方で生成できる。単一チャネル・ルーマ・ローカル再整形と同様に、チャネル横断ルーマ・ローカル再整形は、少なくとも、（1）自己導出されたローカル再整形関数を使用すること、（2）事前構築された再整形関数を使用すること、および（3）自己導出された再整形関数と事前構築された再整形関数の両方を使用するハイブリッドを含む。

自己導出されるチャネル横断ルーマ・ローカル再整形
さまざまな動作シナリオでは、多様な異なる（たとえば、TPB、MMRなどの）タイプのチャネル横断ルーマ再整形関数のうちの任意のものが使用できる。単に例解の目的で、チャネル横断ルーマ再整形関数は、テンソル積Bスプライン（Tensor-Product B-Spline、TPB）ベースであってもよい。TPBベースの再整形関数は、ルーマ再整形における広い非線形性を捕捉することができる。

図2Nは、第1の画像および第2の画像を含む画像対に基づく自己導出されるチャネル横断ローカル関数生成のための例示的なフローを示す。第1の画像の入力符号語を、第2の画像によって表される参照画像の符号語を近似または再構成するローカル再整形された符号語にマッピングするために、該フローを用いて、TPBベースのローカル再整形関数が生成されうる。単に例解の目的で、画像対における第1の画像はHDR画像であってよく、一方、第2の画像（または参照画像）はSDR画像であってよい。一例では、SDR画像は、HDR画像を生成するために（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）使用されたものであってもよい。別の例では、SDR画像は、前記HDR画像から（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作等を通じて）生成されたものであってもよい。

ブロック262は、画像対から3Dマッピングテーブル（3DMT）を構成または構築することを含む。HDR画像の各ピクセルは、HDR色空間またはドメインのそれぞれy、c0、c1（あるいは代替的にy、C₀、C₁）と表される（たとえば3つなどの）色チャネルにおける、v_i＝[v_i ^y v_i ^c0 v_i ^c1]^Tと表されるルーマおよびクロマ符号語を含んでいてもよい。SDR画像の各ピクセルは、SDR色空間またはドメインのそれぞれy、c0、c1と表される（たとえば3つなどの）色チャネルにおける、s_i＝[s_i ^y s_i ^c0 s_i ^c1]^Tと表されるルーマおよびクロマ符号語を含んでいてもよい。

3つのチャネルのそれぞれにおいて利用可能な符号語を含むHDR色空間は、対応する固定数――各成分についてQ_y,Q_c0,Q_c1など――の1次元ビンを使って（たとえば、一様に、など）量子化またはパーティション分割されることができる。結果として、3次元ヒストグラムは、(Q_y×Q_c0×Q_c1)個の立方体または3Dヒストグラム・ビンを含むように初期化されうる。

3DヒストグラムをΩ^Q,vと表す。ここで、Q＝[Q_y,Q_c0,Q_c1]である。3DヒストグラムΩ^Q,vは、総数(Q_y・Q_c0・Q_c1)個の3Dヒストグラム・ビンを含む。3DヒストグラムΩ^Q,v内の3Dヒストグラム・ビンは、3Dビン・インデックスq＝(q_y,q_c0,q_c1)を用いて指定またはインデックス付けされてもよく、ここで、各ch={y,C₀,C₁}について、q_ch＝0,…,Q_ch-1であり、3Dヒストグラム・ビン内でこれらの3チャネルの量子化された値を有するピクセルを表現する――または該ピクセルのカウント（たとえば、総数など）を格納するために使用されてもよい。

SDR画像内の（たとえば、参照、マッピングされた、等）符号語値の和が、3Dヒストグラム内の各3Dヒストグラム・ビンについて計算されてもよい。Ψ_y ^Q,s、Ψ_C0 ^Q,s、Ψ_C1 ^Q,sは、それぞれ出力ドメインのルーマ・チャネルおよびクロマ・チャネル{y,C₀,C₁}における符号語のそれぞれの和であるとする。

HDR画像およびSDR画像のそれぞれがP個のピクセルを含むとする。3Dヒストグラムの3Dヒストグラム・ビンにおける、HDRピクセルのカウント、およびそれらの3Dヒストグラム・ビンについてのSDR符号語値の合計を計算するための例示的な手順が、下記の表1に示される。

(v_q ^y,(B),v_q ^C0,(B), v_q ^C1,(B))は、3Dヒストグラム内のq番目（HDR）3Dヒストグラム・ビンの中心を表すとする。3Dヒストグラムにおける3Dヒストグラム・ビンの一部または全部の中心を事前計算するための例示的な手順が、下記の表2に例示される。

次に、3Dヒストグラム内の3Dヒストグラム・ビンのうちで、0でない総ピクセル数を有する3Dヒストグラム・ビンが識別できる。ピクセルを有さない――またはいくつかの他の動作シナリオでは最小ピクセル数閾値未満の総ピクセル数を有する――すべての他の3Dヒストグラム・ビンは、さらなる処理から破棄されることができる。

q₀、q₁、…、q_k-1が、HDRピクセルのカウントがΩ_q ^Q,v≠0であるk個の3Dヒストグラム・ビンであるとする。これらk個の3Dヒストグラム・ビンについて、SDR符号語の平均値

は、SDR符号語の和

と、ビン内のHDRピクセルの総数に基づいて計算できる。そのような計算のための例示的な手順が、下記の表3に示される。

結果として、第1の画像（本例ではHDR画像）から第2の画像（本例ではSDR画像）への複数のマッピング対となる。そのようなマッピング対のそれぞれは、下記のように、0でないHDRピクセル・カウントを有する有効なqによってインデックス付けされる3Dヒストグラム・ビンの中心と、3Dヒストグラム・ビンにおいてカウントされたHDRピクセルからマップされたSDRピクセルについてのSDR符号語値の平均とを含んでいてもよい：

いくつかの動作シナリオでは、

のような符号語値または、HDRおよびSDR符号語値は、たとえば、[0 1)の正規化された値範囲への正規化であってもよい。

ブロック264は、各ローカル再整形関数について修正された3DMTを構築することを含む。局所コントラスト比の変化を実現するためには、h_Y()と記される関数が設計され、3Dヒストグラムの各3Dヒストグラム・ビン（0でないHDRピクセル・カウントをもつ有効なqによってインデックス付けされる）における平均SDRまたはマッピングされた値

に適用されて、修正された平均SDRまたはマッピングされた値

を下記のように得ることができる：

グローバル再整形関数とl番目のローカル再整形関数とが交差する点（たとえば、中心等）は、たとえば、局所コントラスト比が増加される局所近傍においてグローバル再整形関数とl番目のローカル再整形関数との間で同様の明るさを維持するために、次のように与えられる：
C_l ^v＝l/L (21)

いくつかの動作シナリオでは、局所コントラスト比の変化を実現するために使用される上記の関数h_Y()は、l番目のローカル再整形関数について、α_<l>と表される線形スケーリング因子を用いて定義されてもよい（局所コントラスト比を増加させるためにはα_<l>＜1、局所コントラスト比を低下させるためにはα_<l>＞1）。それにより、上記の式（21）は次のように書き直すことができる。

ここで、clip3()は、最初の引数を0～1の値範囲に制限するクリッピング関数である。

ブロック266は、グローバル再整形関数と、ローカル再整形関数のそれぞれ（たとえば、l番目のローカル再整形関数など）とについてTPB係数を構築することを含む。

上記の式（19）で定義された（もとの）3DMT対に基づいて、グローバル再整形関数のための第1 TPB係数

が構築できる。より具体的には、グローバル再整形関数は、第1 TPB係数

と、B_i ^yと表されるD^y個のテンソル積Bスプライン基底関数の完備な集合とを用いて指定されうる。ここで、iは0からD^y－1までの間の整数を表す。設計行列S^Yは、下記のように、テンソル積Bスプライン基底関数と、上記式（19-1）の3Dヒストグラムにおける3Dヒストグラム・ビンのHDRルーマおよびクロマ符号語値v_q ^(B)とに基づいて定義されてもよい：

ベクトル

は、上記の式（19-2）における3Dヒストグラムにおける3Dヒストグラム・ビンの平均SDRまたはマッピングされた値

に基づいて、次のように構成されうる：

最適化されたグローバル再整形解または第1 TPB係数

についての最適化された値は、最小二乗解法によって（たとえば閉じた形などで）次のように得られる：

第1 TPB係数

についての最適値を得るために使用された上記の演算は、L個のローカル再整形関数（l＝0,…,L－1）のそれぞれについて、第2 TPB係数

を得るために拡張できる。これらの拡張された演算では、グローバル再整形関数についての式（24）におけるベクトル

は、L個のローカル再整形関数（l＝0,…,L－1）のそれぞれについて、下記のように、

と表されるそれぞれのベクトルで置き換えることができる：

グローバル再整形関数の場合と同様に、L個のローカル再整形関数（l＝0,…,L－1）のそれぞれについて、最適化されたローカル再整形解または第2 TPB係数

についての最適化された値は、最小二乗解法を介して（たとえば、閉じた形などで）下記のように得られる：

ブロック268は、（たとえば融合された、などの）TPBベースのローカル再整形関数を構築することを含む。単一チャネル・ローカル再整形／予測と同様に、より高い局所コントラストを有するローカル再整形関数は、許容可能な符号語値の範囲でハードクリッピングされる範囲外の値を生成し、それにより視覚的アーチファクトを生成する可能性がある。ハードクリッピングを回避または低減するために、グローバル関数およびローカル関数をそれぞれの重み付け因子をもって一緒に融合させることによってソフトクリッピングが使用されてもよい。

ブロック266において生成されたl番目のローカル再整形関数を与えられて、θ_<l> ^Y,Gと表されるグローバル再整形関数重み付け因子およびθ_<l> ^Y,Lと表されるローカル再整形関数重み付け因子が、グローバル再整形関数およびl番目のローカル再整形関数にそれぞれ割り当てられてもよい。いくつかの動作シナリオでは、2つの重み因子は、上記の式（15）に示されるような制約条件／条件を満たす。よって、本明細書に記載するローカル再整形は、下記のように、グローバル再整形関数についての第1 TPB係数とローカル再整形関数についての第2 TPB係数とを融合することによって生成される融合ローカル再整形関数を使用して実行されうる：

事前構築されたチャネル横断ルーマ・ローカル再整形
いくつかの動作シナリオでは、上述のような自己導出されたチャネル横断ローカル再整形に加えて、またはその代わりに、それぞれgと表されるグローバル再整形関数インデックス値によってインデックス付けされる複数の事前構築されたチャネル横断グローバル再整形関数F_<g> ^Y()が、オフライン・トレーニングを通じて取得できる。これらの事前構築されたグローバル再整形関数は、たとえば前方経路において、下記のように、ローカル再整形関数インデックス値lによってそれぞれインデックス付けされたローカル再整形関数を生成するために使用されうる：
F_<l>( )＝F_<g> ^Y( ) (29-1)
ここで、
g＝l （29-2）

同様に、後方経路では、B_<l>()と表されるローカル再整形関数は、B_<g> ^Y()と表される事前構築されたグローバル再整形関数から、下記のように生成できる：
B_<l>( )＝B_<g> ^Y( ) (30)

事前定義されたチャネル横断ルーマ・ローカル再整形と自己導出されたチャネル横断ルーマ・ローカル再整形のハイブリッド
いくつかの動作シナリオでは、事前定義された単一チャネル・ローカル再整形と自己導出された単一チャネル・ローカル再整形とを組み合わせたハイブリッド・アプローチが、ローカル再整形関数を生成するために使用されうる。

いくつかの実施形態では、一つまたは複数の3DMTが、それぞれトレーニング・データ内のトレーニング画像対の一つまたは複数のセットを用いて、オフライン・トレーニングにおいて、生成できる。トレーニング画像対の前記一つまたは複数のそれぞれのセットにおける各トレーニング画像対は、入力HDR画像と、入力HDR画像と同じ視覚的意味内容を示す対応する入力SDR画像とを含んでいてもよい。一例では、対応する入力SDR画像は、前記入力HDR画像を生成するために（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）使用されたものであってもよい。別の例では、対応する入力SDR画像は、前記入力HDR画像から（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）生成されたものであってもよい。

前記一つまたは複数の3DMTにおける各3DMTは、トレーニング・データ内のトレーニング画像対のそれぞれのセットを用いて生成できる。トレーニング画像対のそれぞれのセットにおけるルーマおよびクロマ符号語などの画像データは、対応する3DMTにおいて収集された統計を生成するために使用できる。これらの統計は、対応する3DMTについて複数の3DMTマッピング対を形成するために使用できる。前記一つまたは複数の3DMT、前記一つまたは複数の3DMTにおける統計および／または3DMTマッピング対の一部または全部は、システム起動時に記憶、キャッシュおよび／またはロードされることができる。

前記一つまたは複数の3DMTにおける各3DMTは、ルックアップの目的で、それぞれのインデックス値（たとえば、gなど）によってインデックス付けされることができる。いくつかの動作シナリオでは、前記一つまたは複数の3DMTにおいて対応する3DMTを一意に識別するインデックス値（たとえばgなど）は、L1ミッド（mid）値であってもよい。例示的なミッドL値は、先に述べた米国仮特許出願第63/086,699号に見出すことができる。

図2Oは、自己導出されたチャネル横断ローカル関数生成と事前構築されたチャネル横断ローカル関数生成とを組み合わせるための例示的なフローを示す。

ブロック262'は、対応するトレーニング画像対の対応するセットを用いて生成された3DMTを再利用または選択することを含む。いくつかの動作シナリオでは、入力HDR画像から決定された入力符号語値の分布が、ミッドL値などのインデックス値（gと表される）を計算または予測するために使用できる。インデックス値は、前記一つまたは複数の3DMTのうちから前記3DMTをルックアップ、識別または選択するために使用できる。選択された3DMTは、g番目のSDRデータを含むトレーニング画像対のg番目のセット内の画像データに基づいて生成されうる。

結果として、前記3DMTから、複数の3DMTマッピング対

が、下記のように構築または生成できる：

ブロック264'は、各ローカル再整形関数（たとえば、l番目のローカル再整形関数など）について個々の修正された3DMTを構築することを含む。

局所コントラストの変化を実現するためには、h_Y()と記される関数が、次のように、3DMTマッピング対におけるSDR符号語値の平均を修正するために使用できる：

グローバル再整形関数とl番目のローカル再整形関数とが交差する点が、たとえば、局所コントラスト比が増加される局所近傍においてグローバル再整形関数とl番目のローカル再整形関数との間で同様の明るさを維持するために、次のように与えられてもよい：
C_l ^v＝l/L (33)

l番目のローカル再整形関数についての、α_<l>と表される線形スケーリング（局所コントラスト比を増加させるためにはα_<l>＜1、局所コントラスト比を低下させるためにはα_<l>＞1）が、3DMTマッピング対におけるSDR符号語の平均またはマッピングされた値を変化させるために、下記の式において使用されてもよい：

ブロック266'は、グローバル再整形関数についての第1 TPB係数と、l番目のローカル再整形関数についての第2 TPB係数とを構築することを含む。

より具体的には、トレーニング・データを用いて生成されたもとの3DMTマッピング対に基づいて、第1 TPB係数は、次のような設計行列S^Yおよびベクトル

を用いて導出できる：

ここで、

はTPB基底関数を表す。

最適化されたグローバル再整形解または第1 TPB係数についての最適化された値

は、次のように最小二乗解によって（たとえば、閉じた形などで）得ることができる：

第1 TPB係数

についての最適値を得るために使用された上記の演算は、L個のローカル再整形関数（l＝0,…,L－1）のそれぞれについての第2 TPB係数

を得るために拡張できる。これらの拡張された演算では、グローバル再整形関数についての式（36）におけるベクトル

はL個のローカル再整形関数（l＝0,…,L－1）のそれぞれについて、次のように、

と表されるそれぞれのベクトルで置き換えられることができる：

グローバル再整形関数の場合と同様に、L個のローカル再整形関数（l＝0,…,L－1）のそれぞれについての最適化されたローカル再整形解または第2 TPB係数についての最適化された値

は、最小二乗解法を介して（たとえば、閉じた形などで）下記のように得られる：

ブロック268'は、（たとえば、融合された、などの）TPBベースのローカル再整形関数を構築することを含む。単一チャネル・ローカル再整形／予測と同様に、より高い局所コントラストを有するローカル再整形関数は、許容可能な符号語値の範囲でハードクリッピングされる、範囲外の値を生成する可能性があり、それにより視覚的アーチファクトを生成する可能性がある。ハードクリッピングを回避または低減するために、グローバル関数およびローカル関数をそれぞれの重み付け因子を用いて一緒に融合することによって、ソフトクリッピングが使用されてもよい。

ブロック266'で生成されたl番目のローカル再整形関数が与えられると、θ_<l> ^Y,Gと表されるグローバル再整形関数重み付け因子と、θ_<l> ^Y,Lと表されるローカル再整形関数重み付け因子は、それぞれグローバル再整形関数とl番目のローカル再整形関数に割り当てられてもよい。いくつかの動作シナリオでは、2つの重み付け因子は、上記の式（15）に示されるような制約条件／条件を満たす。よって、本明細書に記載するローカル再整形は、下記のように、グローバル再整形関数についての第1 TPB係数と、ローカル再整形関数についての第2 TPB係数とを融合することによって生成される融合ローカル再整形関数を使用して実行されうる。

図2Pは、入力HDR画像272に対して（たとえば前方など）ローカル再整形を実行するための複数のチャネル横断ローカル再整形関数を生成するために3DMTを使用する例示的なフローを示している。チャネル横断ローカル再整形関数は、少なくとも部分的には、局所コントラスト変化およびソフトクリッピングを実現するためのα_<l>、θ_<l> ^Y,G、θ_<l> ^Y,Lのような向上パラメータに基づいて生成できる。

ブロック276は、入力HDR画像（272）内のHDRピクセルのカウントと、入力HDR画像と入力SDR画像によって形成された画像対における対応する入力SDR画像の平均とを格納するマッピング対（または項目）を有する3Dヒストグラムを使用して3DMTを構築することを含む。

一例では、対応する入力SDR画像は、HDR画像（272）を生成するために（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）使用されたものであってもよい。別の例では、対応する入力SDR画像は、HDR画像（272）から（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）生成されたものであってもよい。

ブロック278は、グローバル再整形関数を構築するために3DMTを使用することを含む。たとえば、第1 TPB係数は、テンソル積Bスプライン基底関数の完備なセットを用いてグローバル再整形関数を指定するために生成されうる。

ブロック280は、局所コントラスト変化のために向上パラメータα_<l>を使用して前記3DMTを修正して、ローカル再整形のために使用される複数のチャネル横断ローカル再整形関数における各チャネル横断ローカル再整形関数についての修正3Dヒストグラムによって表されるそれぞれの修正3DMTにすることを含む。

ブロック282は、修正3DMTを使用して、融合前ローカル再整形関数を構築することを含む。融合前ローカル再整形関数は、グローバル再整形関数と融合されて、ローカル再整形のために使用される前記複数のチャネル横断ローカル再整形関数における前記チャネル横断ローカル再整形関数にされることができる。たとえば、テンソル積Bスプライン基底関数を用いて融合前ローカル再整形関数を指定するために、第2 TPB係数が生成されてもよい。

ブロック284は、ソフトクリッピングのための向上パラメータθ_<L> ^Y,Gおよびθ_<L> ^Y,Lを使用して、グローバル再整形関数および融合前ローカル再整形関数の両方を用いた重み付けされた融合を実行して、対応する融合チャネル横断ローカル再整形関数を生成することを含む。ブロック286は、複数の（融合された）チャネル横断ローカル再整形関数を出力することを含む。

ルーマ・ローカル再整形のための案内画像
案内画像M＝G(V)は、入力画像の諸ピクセルについて、ローカル再整形関数インデックス値を提供するために、一つまたは複数の異なる方法で生成されうる。いくつかの動作シナリオでは、（たとえば、画像特徴／オブジェクトのエッジ付近、背景と前景の境界付近または周辺などの）ハロー（halo）・アーチファクトのような視覚的アーチファクトを回避または低減するために、マルチレベル・エッジ保存フィルタが適用されて案内画像を生成してもよい。マルチレベル・エッジ保存フィルタリングによる例示的な案内画像生成は、前述の米国特許仮出願第63/086,699号に見出すことができる。

ローカル再整形は局所コントラスト比を増加させることができるが、特にローカル再整形が高ビット深さの入力ドメイン（または入力色空間）から低ビット深さのドメイン（または出力色空間）へと実行され、出力画像が入力画像よりも低いビット深さを有する場合には、偽輪郭生成またはバンディング・アーチファクトを導入する可能性を増加させることもありうる。

2020年8月6日に出願された米国仮出願第63/061,937号「ADAPTIVE STREAMING WITH FALSE CONTOURING ALLEVIATION」（その内容全体が、参照により、あたかもここに完全に記載されているかのようにその全体において組み込まれる）に記載されているような、入力画像をエンコードされた高ビット深さビデオ信号に対するフィルム粒子注入は、出力ドメインが入力ドメインよりも利用可能な符号語数が少ないので、バンディング・アーチファクトを回避または大幅に低減するのに十分でない可能性がある。このバンディング・アーチファクトの問題は、ローカル再整形によって局所コントラスト比が増加されるときに悪化する可能性がある。追加的、任意的または代替的に、フィルム粒子ノイズは、不快な視覚的見え方をもたらすことを代償として、有意に導入されうる。

バンディング・アーチファクトの問題を克服または改善するために、バンディング・アーチファクトを回避または低減するようローカル再整形関数選択ディザリングが実施または実行されてもよい。

図2Qは、ローカル再整形関数選択ディザリングのための例示的なフローを示す。ブロック288は、ローカル再整形インデックス・ノイズ注入を実行することを含む。たとえば、ガウシアン・ノイズが、案内された画像Mにおいて、ローカル再整形関数インデックスm_iに注入されて、下記のようなノイズ注入されたローカル再整形関数インデックス

を含むノイズ注入された案内された画像を生成してもよい：

ここで、n_i ^lはガウシアン・ランダム・ノイズN(0,σ²)を表す。

ブロック290は、ノイズ注入された案内された画像またはその中のノイズ注入されたローカル再整形関数インデックス

に基づいて選択されたローカル再整形関数を用いて生成された、ローカル再整形された符号語値においてノイズ注入を実行することを含む。

ローカル（たとえば、前方など）再整形された符号語値は、入力画像の各ピクセル（たとえば、i番目のピクセルなど）について、ノイズ注入された案内された画像におけるそれぞれのノイズ注入されたインデックス値

を用いて、

によって与えられることができる。最終的な出力のローカル再整形された値は、前述の米国仮特許出願第63/061,937号に記載されているように、ローカル再整形された符号語値に、ルーマ変調されたフィルム粒子ノイズを下記のように加えることによって生成されうる：

ここでn_i ^fはガウシアン・ランダム・ノイズなどのフィルム粒子ノイズを表し、g(v_i)は種々のルミナンス・サブ範囲におけるノイズ強度を調整するために使用されるルーマ変調関数を表す。

いくつかの動作シナリオでは、ルーマ変調関数は、グローバル再整形関数に基づくことができる。いくつかの動作シナリオでは、ルーマ変調関数はローカル再整形関数に基づくことができる。入力ドメイン（または色空間）のルーマ範囲全体が、Δ_vと表される区間を有する複数の重なりのないビンに分割されることができる。区間kにおける離散的な傾きは次のように与えられる：
グローバル再整形について（またはそれに基づく）

ローカル再整形について（またはそれに基づく）

すべてのkのうちで最大または最高の傾き

は、次のように識別されうる：

すべてのビンについての傾きは、次のように最大の傾きで正規化できる：

ここで、LHSの

は正規化された傾きを表し、RHSの

は、正規化前の傾きを表す。

あるビンについて値

が大きいほど、そのビンに割り当てられる符号語数が多くなり、よって、そのビンについてバンディング・リスクは低くなる。その結果、そのビンに注入されるノイズは小さくできる。一方、あるビンについて値

が小さいほど、そのビンに割り当てられる符号語数が少なくなり、よって、そのビンについてのバンディング・リスクが高くなる。その結果、そのビンに注入されるノイズが高くなりうる。

いくつかの動作シナリオでは、正規化された傾き

の逆関数に依存して、ルーマ変調関数が定義できる。

上記式（42）に加えられるべき最大および最小のノイズ強度（たとえば、ユーザーによって指定される、事前構成される、動的に構成可能など）を、ユーザーから指定されるψ_maxおよびψ_minと表す。入力画像における各入力符号語v_iについて、ルーマ変調関数によって表される適用可能なノイズ強度は、以下のように設計または導出されることができる：

ここで

はフロア演算を表す。

計算コストを回避または低減するために、ルーマ変調関数は、上記の式（46）において、グローバル再整形関数を用いて計算された傾きに依存して導出されることができる。

いくつかの動作シナリオでは、ローカル再整形関数インデックス・ディザリングとローカルに再整形された符号語値におけるフィルム粒子ノイズ注入との組み合わせが、特に出力画像が8ビット画像である場合に、バンディング・アーチファクトを効果的に回避または低減することができる。

クロマ・ローカル再整形
いくつかの動作シナリオにおいて、出力画像の出力または再整形されたクロマ符号語は、入力画像の入力または再整形前のルーマおよびクロマ符号語に基づいて、入力画像の入力または再整形前のクロマ符号語に対して（たとえばチャネル横断などの）クロマ・ローカル再整形を実行することから生成できる。

クロマ・ローカル再整形のためのクロマ・ローカル再整形（関数）族は、自己導出されるローカル再整形、事前構築されたローカル再整形、前述のものの組み合わせまたはハイブリッド等の多数の異なる仕方で生成できる。

クロマ・ローカル再整形マッピング／関数を構築するために、MMRまたはTPBベースの技法が実装または実行されることができる。MMRベースまたはTPBベースの両方のローカル再整形関数についての係数のような、クロマ・ローカル再整形のための動作パラメータを構築または生成するために使用される方法および／またはプロセスは、互いに同じかまたは類似しており、違い（たとえば、唯一の違い、主な違いなど）は、係数についての最適化された値を得るための最適化問題において使用される基底関数である。MMRについては、多項式基底関数／項が、MMR係数との関連で基底関数として使用される。TPBについては,テンソル積Bスプライン基底関数が、TPB係数との関連で基底関数として使用される。MMRまたはTPB再整形関数はいずれも、3DMTの構築と3DMTの修正に関わる。

自己導出されるクロマ・ローカル再整形
（たとえば、自由形式などの）グローバル・クロマ再整形関数からローカル・クロマ再整形関数を直接導出することは簡単ではないかもしれない。クロマ再整形は（たとえば、MMRベース、TPBベースなどの）色チャネル横断予測子を使用することがあるからである。チャネル横断ルーマ・ローカル再整形と同様に、入力画像に対するチャネル横断クロマ・ローカル再整形は、グローバル再整形関数またはマッピングに関連するもとの3DMTに戻り、もとの3DMTに対して修正を加えて、ローカル変化（たとえば、ローカルな向上された彩度、ローカルな低減された彩度など）のためのローカル再整形関数またはマッピングを得ることができる。3DMTは、オンラインおよび／またはオフライン計算で構築できる。いくつかの動作シナリオでは、2つのクロマ・チャネルCbおよびCrのそれぞれについての2つのグローバル・クロマ再整形関数が生成され、融合されて、2つのクロマ・チャネルCbおよびCrのそれぞれについての2つの（たとえば融合後などの）ローカル再整形関数のそれぞれのローカル再整形関数を生成することができる。

図2Rは、自己導出されるクロマ・ローカル再整形を使用するクロマ・ローカル再整形関数／マッピングのための（たとえば、MMRベース、TPBベースなどの）係数を生成するための例示的なフローを示す。

ブロック292は、たとえば画像対（たとえば、ローカル再整形されるべきHDR画像および対応するSDR画像など）に基づいて、グローバル再整形関数またはマッピングに関する3 DMTを構築することを含む。3DMTは、上記の表（1）~（3）に記載されたような、チャネル横断ルーマ・ローカル再整形に使用されるものと同じまたは同様の操作を使用して構築できる。

結果として、3DMTについて、式（19）に示されるような複数の3DMTマッピング対が生成できる。次いで、前記複数の3DMTマッピング対が、グローバル再整形関数またはマッピングを導出するとともに、第2のグローバル・クロマ再整形関数またはマッピングを生成する目的で修正または向上されるために使用されることができる。

ブロック294は、マッピング対における3DMTまたはマッピングされた値を修正することを含む。彩度の変化を実現するために、h_C()と表される関数が設計され、3Dヒストグラムの（0でないHDRピクセル・カウントをもつ有効なqによってインデックス付けされる）各3Dヒストグラム・ビンにおけるマッピングされた値

または平均SDRに適用されて、下記のように、修正された平均SDRまたはマッピングされた値

を得ることができる：

関数h_C()は、まず、Cb（C₀として示される）およびCr（C₁として示される）のデカルト座標系における（たとえば、非中立色原点（0,0）の代わりに中立色点（0.5,0.5）を基準として）シフトされたCb/Crを、極動径ρおよび極角θの極座標系に次のように変換することを含む：

関数h_C()は、次のように、極動径ρ_C,q ^Q,Sによって表される彩度に対して非線形関数またはマッピングをさらに適用することを含む：

ここでδ_Cは、中立に近い色において線形マッピングを維持するための閾値を表す。M_Cは、ρ_C,q ^Q,sの可能な最大値を表し、クロマ値が正規化され、非中立色原点（0,0）の代わりに中立色点（05,0.5）を基準としてシフトされるときに0.5である。βは、彩度変化を実現するために使用される（たとえば、事前構成された、適応可能な、実際の、などの）設計パラメータを表す。δ_Cの例示的な値は0.05を含んでいてもよいが、必ずしもそれだけに限定されない。βの例示的な値は0.5を含んでいてもよいが、必ずしもそれだけに限定されない。

上記の式（49）に示されるように、中立に近い色（たとえばρ_C,q ^Q,s＜δ_Cなど）については、線形マッピングは、中立に近い色、より具体的にはその色相の変更を回避または防止するために使用される。

図3Iは、上記の式（49）で特定されるように彩度の変化を実現するために使用される例示的な非線形関数h_C()を示している。

非線形関数h_C()から生成される修正されたシフトされたCb/Cr値は、極座標系からもとのデカルト座標系に変換されることができる。デカルト座標系に変換された修正されたシフトされたCb/Cr値は、下記のように、0.5のオフセットを逆に加えることによって、修正されたCb/Cr値を生成するために逆にシフトされることができる：

上記の式（50）における修正されたCb/Cr値は、下記のように、修正された3DMTについて複数の修正された3DMTマッピング対を形成するために部分的に使用されること
ができる。

ブロック296は、複数の（もとの）3DMTマッピング対からグローバル再整形関数のための第1（たとえば、MMR、TPBなどの）係数を構築または生成することと、修正された3DMT内の複数の修正された3DMTマッピング対から第2のグローバル再整形関数のための第2（たとえば、MMR、TPBなどの）係数を構築または生成することとを含む。

たとえば、もとの色を用いて構築されたもとの3DMT対に基づいて、第1の係数は、設計行列S_Cxおよびベクトル

を用いて下記のように構築または生成されることができる：

ここで、

はMMR/TPB基底関数を表す。

最適化されたグローバル再整形解または第1の係数についての最適化された値

は、下記のように最小二乗解法によって（たとえば、閉じた形などで）得ることができる：

グローバル再整形関数について第1の係数についての最適値

を得るために使用される上記の演算は、第2のグローバル再整形関数についての第2の係数

を得るために拡張できる。

これらの拡張された演算では、グローバル再整形関数についての上記の式（54）におけるベクトル

は、下記のような、第2のグローバル・ローカル再整形関数についての

と記されるそれぞれのベクトルで置き換えられる：

グローバル再整形関数の場合と同様に、第2のグローバル再整形関数についての第2の係数

についての最適化されたローカル再整形解または最適化された値は、次のように最小二乗解法によって（たとえば、閉じた形などで）得ることができる：

ブロック298は、（たとえば融合された、MMRベースの、TPBベースの、などの）ローカル再整形関数を構築することを含む。

ブロック296で生成された第1および第2のグローバル再整形関数が与えられると、θ_<l> ^Cx,G1と表される第1のグローバル再整形関数重み付け因子と、θ_<l> ^Cx,G2と表される第2のグローバル再整形関数重み付け因子が、それぞれ第1のグローバル再整形関数と第2のグローバル再整形関数に割り当てられてもよい。いくつかの動作シナリオでは、2つの重み付け因子は次のような制約条件／条件を満たす：

よって、本明細書に記載されるローカル再整形は、下記のように、グローバル再整形関数についての第1の係数と第2のグローバル再整形関数についての第2の係数とを融合することによって生成される融合ローカル再整形関数を使用して実行されうる：

事前構築されたチャネル横断クロマ・ローカル再整形
いくつかの動作シナリオでは、上述のような自己導出されるチャネル横断ローカル再整形に加えて、またはその代わりに、それぞれgと表されるグローバル再整形関数インデックス値によってインデックス付けされる複数の事前構築されたチャネル横断グローバル再整形関数F_<g> ^Cx()が、それぞれのSDR-HDR画像対を含むg番目のトレーニング・データセットを用いたオフライン・トレーニングを通じて得られる。

たとえば、複数の3DMTマッピング対

は、下記のように、g番目のトレーニング・データセットに基づいて生成できる：

g番目のグローバル再整形関数は、たとえば上述した最小二乗解法アプローチを用いて、下記のように得ることができる：

これらの事前構築されたグローバル再整形関数は、たとえば前方経路において、下記のように、ローカル再整形関数インデックス値lによってそれぞれインデックス付けされたローカル再整形関数を生成するために使用されてもよい：
F_<l> ^Cx()＝F_<g> ^Cx() (62-1)
ここで、
g＝l (62-2)

同様に、後方経路では、B_<l> ^Cxと表されるローカル再整形関数は、下記のように、B_<g> ^Cxと表される事前構築されたグローバル再整形関数から生成されることができる：
B_<l> ^Cx()＝B_<g> ^Cx() (63)

事前定義されたクロマ・ローカル再整形と自己導出されるクロマ・ローカル再整形のハイブリッド
いくつかの動作シナリオでは、事前定義されたおよび自己導出されたチャネル横断クロマ・ローカル再整形とを組み合わせたハイブリッド手法が、ローカル・クロマ再整形関数を生成するために使用されうる。

いくつかの実施形態では、2つ以上の3DMTが、オフライン・トレーニングにおいて、それぞれトレーニング・データ内のトレーニング画像対の一つまたは複数のセットを用いて生成されることができる。トレーニング画像対の前記2つ以上のそれぞれのセットにおける各トレーニング画像対は、入力HDR画像と、入力HDR画像と同じ視覚的意味内容を示す対応する入力SDR画像とを含んでいてもよい。一例では、対応する入力SDR画像は、前記入力HDR画像を生成するために（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）使用されたものであってもよい。別の例では、対応する入力SDR画像は、前記入力HDR画像から（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）生成されたものであってもよい。

前記2つ以上の3DMTにおける各3DMTは、トレーニング・データ内のトレーニング画像対のそれぞれのセットを用いて生成できる。トレーニング画像対のそれぞれのセットにおけるルーマおよびクロマ符号語などの画像データは、対応する3DMTにおいて収集された統計を生成するために使用できる。これらの統計は、対応する3DMTについての複数の3DMTマッピング対を形成するために使用できる。

前記2つ以上の3DMTにおける各3DMTは、ルックアップ目的のために、それぞれのインデックス値（たとえばgなど）によってインデックス付けされることができる。いくつかの動作シナリオでは、前記2つ以上の3DMTにおける対応する3DMTを一意的に識別するインデックス値（たとえばgなど）は、L1ミッド値であってもよい。

2つ以上の事前構築されたグローバル・クロマ再整形関数が、前述のような自己導出されるローカル再整形方式のアプローチを使用して、それぞれ前記2つ以上の（もとの、未修正の）3DMTから構築できる。前記2つ以上の3DMTは、同じ彩度因子（saturation factor）または2つ以上の異なる彩度因子を用いて向上または修正されて、2つ以上の修正された3DMTを生成することができる。前記2つ以上の修正された3DMTから、2つ以上の融合前の第2グローバル・クロマ再整形関数が、前述の自己導出されるローカル再整形方式のアプローチを使用して、それぞれ構築されることができる。さらに、前記2つ以上の（もとの、未修正の）3DMTからの前記2つ以上のグローバル・クロマ再整形関数は、前記2つ以上の修正された3DMTから生成された前記2つ以上の融合前の第2グローバル・クロマ再整形関数とそれぞれ融合されて、2つ以上の事前構築されたローカル・クロマ再整形関数を、前述の自己導出されたローカル再整形方式のアプローチを使用して生成することができる。

図2Sは、事前定義されたおよび自己導出されたクロマ・ローカル再整形の組み合わせを使用してクロマ・ローカル再整形関数／マッピングのための係数（たとえば、MMRベース、TPBベースなど）を生成するための例示的フローを示す。

ブロック2092は、トレーニング画像対の複数のセットから選択されたトレーニング画像対のg番目のセットなどの画像データ・サブセットに基づいて、グローバル再整形関数またはマッピングに関する3DMTを構築することを含む。3DMTは、上記の表（1）~（3）に記載されたような、チャネル横断ルーマ・ローカル再整形に使用されるものと同じまたは同様の動作を使用して構築できる。

結果として、式（19）に示されるような複数の3DMTマッピング対が、下記のように、3DMTについて生成されることができる：

次に、式（64）における複数の3DMTマッピング対が、グローバル再整形関数またはマッピングを導出するとともに、第2のクロマ再整形関数またはマッピングを生成する目的で修正または拡張されるために使用されることができる。ブロック2094は、マッピング対における3DMTまたはマッピングされた値を修正して、修正された3DMTを生成することを含む。

彩度の変化を実現するために、h_C()と表される関数が設計され、下記のように、3Dヒストグラムの各3Dヒストグラム・ビン（0でないHDRピクセル・カウントをもつ有効なqによってインデックスされる）におけるマッピングされた値

または平均SDRに適用されて、修正された平均SDRまたはマッピングされた値

を得ることができる：

関数h_C()は、まず、Cb（C₀と表される）およびCr（C₁と表される）のデカルト座標系において、（たとえば、非中立色原点（0,0）の代わりに（0.5,0.5）の中立色点を基準として）シフトされたCb/Crを、下記のように、極動径ρおよび極角θの極座標系に変換することを含む：

関数h_C()は、下記のように、極動径ρ_C,q ^Q,s<g>によって表される彩度に対する非線形関数またはマッピングをさらに適用することを含む：

ここで、δ_Cは、中立に近い色において線形マッピングを維持するための閾値を表す。M_Cはρ_C,q ^Q,s,<g>の最大の可能な値を表す。これは、クロマ値が正規化され、非中立色原点（0,0）の代わりに中立色点（05,0.5）を基準としてシフトされるときに0.5である。βは、彩度変化を実現するために使用される（たとえば、事前構成された、適応可能な、実際の、などの）設計パラメータを表す。δ_Cの例示的な値は0.05を含んでいてもよいが、必ずしもそれだけに限定されない。βの例示的な値は0.5を含んでいてもよいが、必ずしもそれだけに限定されない。

上記の式（67）に示されるように、中立に近い色（たとえばρ_C,q ^Q,S,<g>＜δ_Cなど）について、中立に近い色を（より具体的にはその色相を）変えるのを回避または防止するために、線形マッピングが使用される。

非線形関数h_C()から生成される修正されシフトされたCb/Cr値は、極座標系からもとのデカルト座標系に変換されることができる。デカルト座標系に変換された、修正されたシフトされたCb/Cr値は、下記のように、0.5のオフセットを逆に加えることによって逆にシフトされて、修正されたCb/Cr値を生成することができる：

上記の式（68）における修正されたCb/Cr値は、下記のように、修正された3DMT内に複数の修正された3DMTマッピング対を形成するために使用されることができる：

ブロック2096は、前記複数の（もとの）3DMTマッピング対からグローバル再整形関数のための第1（たとえば、MMR、TPBなど）係数を構築または生成するとともに、前記複数の修正された3DMTマッピング対から第2のグローバル再整形関数のための第2（たとえば、MMR、TPBなど）係数を構築または生成することを含む。

たとえば、もとの色を用いて構築されたもとの3DMT対に基づいて、第1の係数は、設計行列S^Cｘおよびベクトル

を用いて、下記のように構築または生成されることができる。

ここで、

は、MMR/TPB基底関数を表す。

は、下記のように、最小二乗解法によって（たとえば、閉じた形などで）得られる：

グローバル再整形関数についての第1の係数についての最適な値

を得るために使用された上記の演算は、第2のグローバル再整形関数についての第2の係数

を得るために拡張されることができる。

これらの拡張された演算では、グローバル再整形関数についての式（24）におけるベクトル

は次のような、

と表されるそれぞれのベクトルで置き換えられる：

最適化されたローカル再整形解または第2の係数ついての最適化された値

ブロック2098は、（たとえば融合された、MMRベースの、TPBベースの、などの）ローカル再整形関数を構築することを含む。

ブロック2096で生成された2つのグローバル再整形関数が与えられると、θ_<l> ^Cx,G1と表される第1のグローバル再整形関数重み付け因子とθ_<l> ^Cx,G2と表される第2のグローバル再整形関数重み付け因子が、それぞれ第1のグローバル再整形関数と第2のグローバル再整形関数にそれぞれ割り当てられてもよい。いくつかの動作シナリオでは、2つの重み付け因子は次のような制約条件／条件を満たす：

単に例解の目的で、12ビット（オフライン）トレーニング入力画像から予測または推定されたミッドL1値が、上記の式(64)ないし(76)において<g>と表されるインデックス値として使用される。12ビットのビット深さを与えられると、インデックス値<g>は、[0,4095]の値範囲から選択された値でありうる。同様に、10ビットのビット深さを与えられると、インデックス値<g>は、[0,1023]の値範囲から選択された値でありうる。

同様に、12ビット（たとえば、実際の、非トレーニング、向上されるべき、オンライン処理された、などの）入力画像から予測または推定されたミッドL1値が、上記の式(64)ないし(76)において<l>と表されるインデックス値として使用される。12ビットのビット深さを与えられると、インデックス値<l>は、[0,4095]の値範囲から選択された値でありうる。同様に、10ビットのビット深さを与えられると、インデックス値<l>は、[0,1023]の値範囲から選択された値でありうる。

インデックス値<g>および／または<l>のすべての可能な組み合わせのすべての再整形関数／マッピングのためのMMRまたはTPB係数などの動作パラメータを記憶するために使用されるメモリ空間、揮発性または不揮発性ストレージ空間等は、比較的大きく高価になることがある。

いくつかの動作シナリオでは、インデックス値<g>および／または<l>のすべての可能な組み合わせにおける（たとえば、代表的な、などの）インデックス値の真部分集合についてのMMRまたはTPB係数のような動作パラメータのみがオフラインで計算または生成され、メモリ空間またはストレージに保存／キャッシュされる。たとえば、すべての可能な組み合わせの値範囲全体が、複数のサブ範囲に（たとえば、16、64、128、256などで）パーティション分割または分割されることができる。代表的なインデックス値<g>または<l>が、複数のサブ範囲のうちの各サブ範囲について（たとえば、均等に、特定の位置で、16毎、64毎、128毎、256毎などで）選択される。代表的なインデックス値<g>（および対応する<l>値）についてのMMRまたはTPB係数などの動作パラメータ

はオフラインで計算または生成され、メモリ空間またはストレージに保存／キャッシュされる。

入力画像に対してローカル再整形操作を実行する画像処理システムのシステム・ブートアップ中に、代表的なインデックス値<g>（および対応する<l>値）についてのMMRまたはTPB係数などの動作パラメータ

が取り出される、ロードされる、または他の仕方で利用可能にされる。

実行時に、本明細書に記載されるようなローカル再整形は、[0,4095]、[0,1023]などの比較的広い値範囲における任意のインデックス値<l>をもつ入力画像に対して実行できる。事前生成されたインデックス値<g>（および対応する<l>値）によってカバーされないインデックス値について、MMRまたはTPB係数などの動作パラメータは、システム・ブートアップの開始時にメモリ空間またはストレージから容易に利用可能でないことがある。代表的なインデックス値のうちに含まれないインデックス値<l>については、事前生成されたインデックス値<g>および／または<l>によってカバーされる（たとえば2つの最も近い、などの）インデックス値についてのMMRまたはTPB係数などの利用可能な動作パラメータが取り出された、ロードされた、または他の仕方で利用可能にされた後に、補間演算が実行されてもよい。

図2Tは、3DMTベースのクロマ・ローカル再整形関数またはマッピング生成のための例示的なフローを示す。説明の目的で、MMRまたはTPBベースのクロマ・ローカル再整形関数が、入力HDR画像2192の局所的な彩度を向上させるために生成される。クロマ・ローカル再整形関数（またはマッピング）は、ローカルな彩度の変化とソフトクリッピングを実現するためのδ_C、M_C、β、θ_<l> ^Cx,G1のような向上パラメータ2194に少なくとも部分的に基づいて生成されることができる。

ブロック2196は、入力HDR画像（2192）内のHDRピクセルのカウントと、入力HDR画像と入力SDR画像によって形成された画像対内の対応する入力SDR画像の平均とを格納するビンを有する3Dヒストグラムを使用して3DMTを構築することを含む。

一例では、対応する入力SDR画像は、HDR画像（2192）を生成するために（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）使用されたものであってもよい。別の例では、対応する入力SDR画像は、HDR画像（2192）から（たとえば、以前に実行されたコンテンツ・マッピング、トーン・マッピングおよび／または再整形操作などを通じて）生成されたおのであってもよい。

ブロック2198は、3DMTを使用してグローバル・クロマ再整形関数を構築することを含む。たとえば、第1のMMRまたはTPB係数が、MMR項またはテンソル積Bスプライン基底関数の完備なセットを用いてグローバル・クロマ再整形関数を指定するために生成されてもよい。

ブロック2200は、局所的な彩度変化のために向上パラメータδ_C、M_C、βを使用して、前記3DMTを、修正されたマッピング対を含むそれぞれの修正された3DMTにする。

ブロック2202は、修正された3DMTを使用して第2のグローバル・クロマ再整形関数を構築することを含む。第2のグローバル・クロマ再整形関数は、第1のグローバル再整形関数と融合されることができる。たとえば、MMR項またはテンソル積Bスプライン基底関数を用いてグローバル再整形関数を指定するために、第2のMMRまたはTPB係数が生成されてもよい。

ブロック2204は、向上パラメータθ_<l> ^Cx,G1、θ_<l> ^Cx,G2を使用して、もとの3DMTおよび修正された3DMTから導出された両方のグローバル・クロマ再整形関数を用いて重み付けされた融合を実行して、対応する融合されたチャネル横断ローカル再整形関数を生成することを含む。ブロック2206は、（融合された）チャネル横断ローカル再整形関数を出力することを含む。

ローカル・ルーマ再整形と同様に、ローカル・クロマ再整形は、入力画像の特定の諸入力ピクセルについて特定のローカル・クロマ再整形関数／マッピングを識別するために、インデックス値をもつ案内画像（guidance image）を使用することができる。ローカル・クロマ再整形のためのガイダンス画像を構築するためには複数の異なる方法がある。第1の例では、案内画像は、入力画像中のクロマ符号語に基づいて構築されたルーマ独立案内画像であってもよいし、または入力画像から計算された彩度画像であってもよい。第2の例では、案内画像は、入力画像におけるルーマおよびクロマの符号語に基づいて構築されてもよい。第3の例では、ローカル・ルーマ再整形のための同じ案内画像が、ローカル・クロマ再整形のためのガイダンス画像として、またはそれを導出するために使用されることができる。444または420のようなカラー・サンプリング・フォーマットに依存して、ローカル・ルーマ再整形のための案内画像は、クロマ・チャネル画像サイズに適合するように適宜ダウンサンプリングされることができる。多くの動作シナリオにおいて、ルーマ案内画像は、視覚的アーチファクトを導入することなく、ローカル再整形された画像において、向上された局所的彩度を含むより良い見え方を提供しながら、クロマ再整形のために再利用されることができる。

例示的なプロセス・フロー
図4は、ある実施形態による例示的なプロセス・フローを示す。いくつかの実施形態では、一つまたは複数のコンピューティングデバイスまたはコンポーネント（たとえばエンコード・デバイス／モジュール、トランスコード・デバイス／モジュール、デコード・デバイス／モジュール、逆トーン・マッピング・デバイス／モジュール、トーン・マッピング・デバイス／モジュール、メディア・デバイス／モジュール、逆マッピング生成および適用システムなど）が、このプロセス・フローを実行することができる。ブロック402において、画像処理システムは、第1のドメインで表される第1の画像に対して第1の再整形マッピングを実行して、第2のドメインで表される第2の画像を生成する。第1のドメインは、第2のドメインの第2のダイナミックレンジとは異なる第1のダイナミックレンジを有する。

ブロック404において、画像処理システムは、第2のドメインで表される第2の画像に対して第2の再整形マッピングを実行して、第1のドメインにおいて表される第3の画像を生成する。第3の画像は、グローバル・コントラスト、グローバル彩度、ローカル・コントラスト、ローカル彩度等の少なくとも1つにおいて、第1の画像と知覚的に異なる。

ブロック406において、画像処理システムは、第3の画像から導出された表示画像をディスプレイ・デバイス上にレンダリングさせる。

ある実施形態では、第1の再整形マッピングおよび第2の再整形マッピングは、（a）グローバル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（b）グローバル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（c）グローバル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（d）グローバル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ；（e）ローカル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（f）ローカル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（g）ローカル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（h）ローカル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ；などのうちの1つを形成する。

ある実施形態では、第1の画像についての第1のダイナミックレンジおよび第2の画像についての第2のダイナミックレンジは、第1の画像についての高ダイナミックレンジ（HDR）と第2の画像についての標準ダイナミックレンジ（SDR）との組み合わせ；第1の画像についてのSDRと第2の画像についてのHDRとの組み合わせ、などのうちの1つを形成する。

ある実施形態では、エンコードされた画像が、第2の画像に対して実行された第3の再整形マッピングから生成され；前記エンコードされた画像は、受領デバイスによって受領されたビデオ信号においてエンコードされ；前記受領デバイスは、前記ビデオ信号とともに受領された前記エンコードされた画像のデコードされたバージョンから表示画像を生成する。

ある実施形態では、第1のドメインで表される第1の画像は、モバイル・デバイスによって生成され、アップロードされる。

ある実施形態では、第1の再整形マッピングおよび第2の再整形マッピングのうちの少なくとも1つは、ルーマ・ローカル再整形マッピングを含む。

ある実施形態では、ルーマ・ローカル再整形マッピングは：（a）入力クロマ符号語とは独立に、入力ルーマ符号語から出力ルーマ符号語を生成する単一チャネル・ルーマ・ローカル再整形マッピング；（b）入力ルーマ符号語と入力クロマ符号語の両方から出力ルーマ符号語を生成するチャネル横断ルーマ・ローカル再整形マッピング、などのうちの1つを表す。

ある実施形態では、ルーマ・ローカル再整形マッピングは、チャネル横断ルーマ・ローカル再整形マッピングを表し；チャネル横断ルーマ・ローカル再整形マッピングは、チャネル横断ルーマ・グローバル再整形マッピングと融合前チャネル横断ルーマ・ローカル再整形マッピングとを融合することによって生成され；チャネル横断ルーマ・グローバル再整形は、画像対における符号語を使用して計算された3次元マッピング・テーブル（3DMT）を使用して生成され；融合前チャネル横断ルーマ・ローカル再整形マッピングは、3DMTを局所コントラスト向上関数を用いて修正することによって得られた修正された3DMTを使用して生成される。

ある実施形態では、第1の再整形マッピングおよび第2の再整形マッピングの少なくとも1つは、クロマ・ローカル再整形マッピングを含む。

ある実施形態では、クロマ・ローカル再整形マッピングは、（a）入力ルーマ符号語および入力クロマ符号語から出力クロマ符号語を生成するチャネル横断MMRクロマ・ローカル再整形マッピング；（b）入力ルーマ符号語および入力クロマ符号語の両方から出力クロマ符号語を生成するチャネル横断TPBクロマ・ローカル再整形マッピング、などの1つを表す。

ある実施形態では、クロマ・ローカル再整形マッピングは、第1のチャネル横断クロマ・グローバル再整形マッピングと第2のチャネル横断クロマ・グローバル再整形マッピングとを融合させることによって生成され；第1のチャネル横断クロマ・グローバル再整形は、画像対における符号語を使用して計算された3次元マッピング・テーブル（3DMT）を使用して生成され；第2のチャネル横断クロマ・グローバル再整形マッピングは、3DMTを彩度向上関数を用いて修正することによって導出された修正された3DMTを使用して生成される。

ある実施形態では、バンディング・アーチファクトを低減するために、ノイズ注入された案内画像を用いて、第1の画像、第2の画像、または前記第2の画像から導出された画像のうちの少なくとも1つに画像フィルタリングが適用され；前記ノイズ案内画像はピクセル毎のノイズ注入されたローカル再整形関数インデックスを含み；フィルタリングされた画像は、ノイズ注入された案内画像を用いた前記画像フィルタリングから生成された符号語を含み；フィルタリングされた画像内の符号語は、ノイズ注入された符号語を生成するためにさらなるノイズ注入とともに適用される。

ある実施形態では、第2の画像は、入力画像のシーケンスにおける入力画像としてビデオ・エンコーダによって受信され；ビデオ・エンコーダによって受信された入力画像のシーケンスはビデオ・エンコーダによってビデオ信号にエンコードされる。

ある実施形態では、ディスプレイ・デバイス、モバイル・デバイス、セットトップボックス、マルチメディアデバイスなどのコンピューティングデバイスが、前述の方法のいずれかを実行するように構成される。ある実施形態では、装置がプロセッサを含み、前述の方法のいずれかを実行するように構成される。ある実施形態では、ソフトウェア命令を記憶している非一時的なコンピュータ可読記憶媒体であって、一つまたは複数のプロセッサによって実行されたときに、前述の方法のいずれかの実行を引き起こす、コンピュータ可読記憶媒体。

ある実施形態では、コンピューティングデバイスが、一つまたは複数のプロセッサと、該一つまたは複数のプロセッサによって実行されたときに前述の方法のいずれかの実行を引き起こす一組の命令を記憶している一つまたは複数の記憶媒体とを備える。

別個の諸実施形態が本明細書で議論されるが、本明細書で議論される実施形態および／または部分的な実施形態の任意の組み合わせが、さらなる実施形態を形成するために組み合わされうることに留意されたい。

例示的なコンピュータ・システムの実装
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラなどの集積回路（IC）デバイス、フィールドプログラマブルゲートアレイ（FPGA）、または別の構成可能またはプログラム可能論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはこのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置によって実装されてもよい。コンピュータおよび／またはICは、本明細書に記載されるような、向上されたダイナミックレンジを有する画像の適応的な知覚的量子化に関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、本明細書に記載される適応的な知覚的量子化プロセスに関連する多様なパラメータまたは値のいずれかを計算することができる。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装されうる。

本発明のある種の実装は、プロセッサに本開示の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における一つまたは複数のプロセッサは、該プロセッサにとってアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述のようなHDR画像の適応的な知覚的量子化に関連する方法を実装しうる。本発明の実施形態は、プログラム・プロダクトの形態で提供されてもよい。プログラム・プロダクトは、データプロセッサによって実行されたときにデータプロセッサに本発明の実施形態の方法を実行させる命令を含むコンピュータ読み取り可能な信号のセットを担持する任意の非一時的媒体を含むことができる。本発明の実施形態によるプログラム・プロダクトは、幅広い多様な形のいずれかでありうる。プログラム・プロダクトは、たとえば、フロッピー・ディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体、などの物理媒体を含むことができる。プログラム・プロダクト上のコンピュータ可読信号は、任意的に圧縮または暗号化されてもよい。

構成要素（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）が上記で言及される場合、別段の指示がない限り、その構成要素への言及（「手段」への言及を含む）は、本発明の例示的実施形態において機能を実行する開示された構造と構造的に等価でない構成要素を含め、記載された構成要素の機能を実行する（たとえば、機能的に等価である）任意の構成要素をその構成要素の等価物として含むものとして解釈されるべきである。

ある実施形態によれば、本明細書に記載される技法は、一つまたは複数の特殊目的のコンピューティング装置によって実装される。特殊目的のコンピューティング装置は、それらの技法を実行するために固定構成にされてもよく、またはそれらの技法を実行するために永続的にプログラムされた一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のようなデジタル電子装置を含んでいてもよく、またはファームウェア、メモリ、他の記憶、または組み合わせにおけるプログラム命令に従ってそれらの技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的のコンピューティング装置はまた、カスタムの固定構成論理、ASIC、またはFPGAをカスタム・プログラミングと組み合わせて、それらの技法を達成してもよい。特殊目的のコンピューティング装置は、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置、またはこれらの技法を実装するよう固定構成および／またはプログラム論理を組み込んだ他の任意の装置であってもよい。

たとえば、図5は、本開示の例示的な実施形態が実装されうるコンピュータ・システム500を示すブロック図である。コンピュータ・システム500は、情報を通信するためのバス502または他の通信機構と、情報を処理するための、バス502に結合されたハードウェア・プロセッサ504とを含む。ハードウェア・プロセッサ504はたとえば汎用マイクロプロセッサであってもよい。

コンピュータ・システム500は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ504によって実行されるべき命令を記憶するための、バス502に結合されたメイン・メモリ506をも含む。メイン・メモリ506はまた、一時変数または他の中間的な情報を、プロセッサ504によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ504にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム500を、前記命令において指定されている動作を実行するようにカスタマイズされた特殊目的機械にする。

コンピュータ・システム500はさらに、バス502に結合された、静的な情報およびプロセッサ504のための命令を記憶するための読み出し専用メモリ（ROM）508または他の静的記憶装置を含む。磁気ディスクまたは光ディスク、半導体RAMのような記憶装置510が提供され、情報および命令を記憶するためにバス502に結合される。

コンピュータ・システム500は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイのようなディスプレイ512にバス502を介して結合されていてもよい。英数字その他のキーを含む入力装置514が、情報およびコマンド選択をプロセッサ504に伝えるためにバス502に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ504に伝えるとともにディスプレイ512上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール516である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。

コンピュータ・システム500は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム500を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ504がメイン・メモリ506に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム500によって実行される。そのような命令は、記憶装置510のような別の記憶媒体からメイン・メモリ506に読み込まれてもよい。メイン・メモリ506に含まれる命令のシーケンスの実行により、プロセッサ504は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。

本稿で用いられる用語「記憶媒体」は、データおよび／または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置510のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ506のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。

記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス502をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。

さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ504に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム500にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス502上に載せることができる。バス502はそのデータをメイン・メモリ506に搬送し、メイン・メモリ506から、プロセッサ504が命令を取り出し、実行する。メイン・メモリ506によって受信される命令は、任意的に、プロセッサ504による実行の前または後に記憶装置510上に記憶されてもよい。

コンピュータ・システム500は、バス502に結合された通信インターフェース518をも含む。通信インターフェース518は、ローカル・ネットワーク522に接続されているネットワーク・リンク520への双方向データ通信結合を提供する。たとえば、通信インターフェース518は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース518は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース518は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、電磁的または光学的信号を送受信する。

ネットワーク・リンク520は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク520は、ローカル・ネットワーク522を通じてホスト・コンピュータ524またはインターネット・サービス・プロバイダー（ISP）526によって運営されているデータ設備への接続を提供してもよい。ISP 526は、現在一般に「インターネット」528と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク522およびインターネット528はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム500に／からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク520上および通信インターフェース518を通じた信号は、伝送媒体の例示的な形である。

コンピュータ・システム500は、ネットワーク（単数または複数）、ネットワーク・リンク520および通信インターフェース518を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー530は、インターネット528、ISP 526、ローカル・ネットワーク522および通信インターフェース518を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。

受信されたコードは、受信される際にプロセッサ504によって実行されても、および／または、のちの実行のために記憶装置510または他の不揮発性記憶に記憶されてもよい。

7．等価物、拡張、代替その他
以上の明細書では、本開示の実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明の実施形態であるか、何が出願人によって本発明の請求される実施形態であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、特性、特徴、利点もしくは属性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

箇条書き例示的実施形態
本発明は、本発明の実施形態のいくつかの部分の構造、特徴、および機能を記載する以下の箇条書き実施形態（Enumerated Example Embodiment、EEE）を含むが、これらに限定されない、本明細書に記載された形態のうちの任意のもので具現されうる。

〔EEE１〕
画像を向上させる方法であって：
第1のドメインで表される第1の画像に対して第1の再整形マッピングを実行して、第2のドメインで表される第2の画像を生成する段階であって、前記第1のドメインは、前記第2のドメインの第2のダイナミックレンジとは異なる第1のダイナミックレンジを有する、段階と；
前記第2のドメインで表される前記第2の画像に対して第2の再整形マッピングを実行して、前記第1のドメインで表される第3の画像を生成する段階であって、前記第3の画像は、グローバル・コントラスト、グローバル彩度、ローカル・コントラスト、またはローカル彩度のうちの少なくとも1つにおいて、前記第1の画像と知覚的に異なる、段階と；
前記第3の画像から導出された表示画像をディスプレイ・デバイス上にレンダリングさせる段階とを含む、
方法。

〔EEE２〕
前記第1の再整形マッピングおよび前記第2の再整形マッピングは：（a）グローバル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（b）グローバル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（c）グローバル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（d）グローバル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ；（e）ローカル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（f）ローカル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（g）ローカル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（h）ローカル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ、のうちの1つを形成する、EEE１に記載の方法。

〔EEE３〕
前記第1の画像についての前記第1のダイナミックレンジおよび前記第2の画像についての前記第2のダイナミックレンジは：前記第1の画像についての高ダイナミックレンジ（HDR）と前記第2の画像についての標準ダイナミックレンジ（SDR）との組み合わせ；または前記第1の画像についてのSDRと前記第2の画像についてのHDRとの組み合わせ、のうちの1つを形成する、EEE１または２に記載の方法。

〔EEE４〕
エンコードされた画像が、前記第2の画像に対して実行された第3の再整形マッピングから生成され；前記エンコードされた画像は、受領デバイスによって受領されたビデオ信号においてエンコードされ；前記受領デバイスは、前記ビデオ信号とともに受領された前記エンコードされた画像のデコードされたバージョンから前記表示画像を生成する、EEE１ないし３のうちいずれか一項に記載の方法。

〔EEE５〕
前記第1のドメインで表される前記第1の画像は、モバイル・デバイスによって生成され、アップロードされる、EEE１ないし４のうちいずれか一項に記載の方法。

〔EEE６〕
前記第1の再整形マッピングおよび前記第2の再整形マッピングのうちの少なくとも1つは、ルーマ・ローカル再整形マッピングを含む、EEE１ないし５のうちいずれか一項に記載の方法。

〔EEE７〕
前記ルーマ・ローカル再整形マッピングは：（a）入力クロマ符号語とは独立に、入力ルーマ符号語から出力ルーマ符号語を生成する単一チャネル・ルーマ・ローカル再整形マッピング；または（b）入力ルーマ符号語と入力クロマ符号語の両方から出力ルーマ符号語を生成するチャネル横断ルーマ・ローカル再整形マッピングのうちの1つを表す、EEE６に記載の方法。

〔EEE８〕
前記ルーマ・ローカル再整形マッピングは、前記チャネル横断ルーマ・ローカル再整形マッピングを表し；前記チャネル横断ルーマ・ローカル再整形マッピングは、チャネル横断ルーマ・グローバル再整形マッピングと融合前チャネル横断ルーマ・ローカル再整形マッピングとを融合することによって生成され；前記チャネル横断ルーマ・グローバル再整形は、画像対における符号語を使用して計算された3次元マッピング・テーブル（3DMT）を使用して生成され；前記融合前チャネル横断ルーマ・ローカル再整形マッピングは、前記3DMTを局所コントラスト向上関数を用いて修正することから導出される修正された3DMTを使用して生成される、EEE７に記載の方法。

〔EEE９〕
前記第1の再整形マッピングおよび前記第2の再整形マッピングのうちの少なくとも1つは、クロマ・ローカル再整形マッピングを含む、EEE１ないし８のうちいずれか一項に記載の方法。

〔EEE１０〕
前記クロマ・ローカル再整形マッピングは、（a）入力ルーマ符号語および入力クロマ符号語から出力クロマ符号語を生成するチャネル横断多変量多重回帰（MMR）クロマ・ローカル再整形マッピング；または（b）入力ルーマ符号語および入力クロマ符号語の両方から出力クロマ符号語を生成するチャネル横断テンソル積Bスプライン（TPB）クロマ・ローカル再整形マッピングのうちの1つを表す、EEE９に記載の方法。

〔EEE１１〕
前記クロマ・ローカル再整形マッピングは、第1のチャネル横断クロマ・グローバル再整形マッピングと第2のチャネル横断クロマ・グローバル再整形マッピングとを融合させることによって生成され；前記第1のチャネル横断クロマ・グローバル再整形は、画像対における符号語を使用して計算された3次元マッピング・テーブル（3DMT）を使用して生成され；前記第2のチャネル横断クロマ・グローバル再整形マッピングは、前記3DMTを局所彩度向上関数を用いて修正することから導出される修正された3DMTを使用して生成される、EEE９または１０に記載の方法。

〔EEE１２〕
バンディング・アーチファクトを低減するために、ノイズ注入された案内画像を用いて前記第1の画像、前記第2の画像、または前記第2の画像から導出された画像のうちの少なくとも1つに画像フィルタリングが適用され；前記ノイズ案内画像はピクセル毎のノイズ注入されたローカル再整形関数インデックスを含み；フィルタリングされた画像は、前記ノイズ注入された案内画像を用いた前記画像フィルタリングから生成された符号語を含み；前記フィルタリングされた画像における前記符号語は、ノイズ注入された符号語を生成するためにさらなるノイズ注入とともに適用される、EEE１ないし１１のうちいずれか一項に記載の方法。

〔EEE１３〕
前記第2の画像は、入力画像のシーケンスにおける入力画像としてビデオ・エンコーダによって受領され；前記ビデオ・エンコーダによって受領された入力画像の前記シーケンスは前記ビデオ・エンコーダによってビデオ信号にエンコードされる、EEE１ないし１２のうちいずれか一項に記載の方法。

〔EEE１４〕画像を向上させる方法であって：
第1の符号語空間における第1符号語でエンコードされた一つまたは複数の第1画像と、第2の符号語空間における第2符号語でエンコードされた一つまたは複数の第2画像とから、3次元マッピングテーブル（3DMT）を構築する段階であって、前記一つまたは複数の第1画像は前記一つまたは複数の第2画像に対応し、前記第1の符号語空間は複数のビンに分割され、前記3DMTは、複数のマッピング対を格納し、前記マッピング対のそれぞれは、前記複数のビンにおけるそれぞれのビンに対応し、（a）前記一つまたは複数の第1画像における、前記それぞれのビンに位置する第1符号語のカウント値と、（b）前記一つまたは複数の第2画像における、前記第1符号語が対応する第2符号語の平均第2ルーマ符号語値とを含む、段階と；
前記複数のマッピング対における各マッピング対における前記平均第2ルーマ符号語値に局所コントラスト向上操作を適用して、修正された3DMTを生成する段階と；
前記3DMTからグローバル・ルーマ再整形関数を、前記修正された3DMTからローカル・ルーマ再整形関数を生成する段階と；
前記グローバル・ルーマ再整形関数および前記ローカル・ルーマ再整形関数から最終的なローカル・ルーマ再整形関数を生成する段階と；
前記最終的なローカル・ルーマ再整形関数を入力画像に適用して、局所コントラスト向上画像を生成する段階であって、前記局所コントラスト向上画像から表示画像が導出され、ディスプレイ・デバイス上にレンダリングされる、段階とを含む、
方法。

〔EEE１４〕画像を向上させる方法であって：
第1の符号語空間における第1符号語でエンコードされた一つまたは複数の第1画像と、第2の符号語空間における第2符号語でエンコードされた一つまたは複数の第2画像とから、3次元マッピングテーブル（3DMT）を構築する段階であって、前記一つまたは複数の第1画像は前記一つまたは複数の第2画像に対応し、前記第1の符号語空間は複数のビンに分割され、前記3DMTは、複数のマッピング対を格納し、前記マッピング対のそれぞれは、前記複数のビンにおけるそれぞれのビンに対応し、（a）前記一つまたは複数の第1画像における、前記それぞれのビンに位置する第1符号語のカウント値と、（b）前記一つまたは複数の第2画像における、前記第1符号語が対応する第2符号語の平均クロマ符号語値とを含む、段階と；
前記複数のマッピング対における各マッピング対における前記平均クロマ符号語値に一つまたは複数の局所彩度向上操作を適用して、修正された3DMTを生成する段階と；
各クロマ・チャネルについて、前記3DMTからグローバル・クロマ再整形関数を、前記修正された3DMTから第2のグローバル・クロマ再整形関数を生成する段階と；
各クロマ・チャネルについて、前記グローバル・クロマ再整形関数および前記第2のグローバル・クロマ再整形関数から最終的なローカル・クロマ再整形関数を生成する段階と；
各クロマ・チャネルについて、前記最終的なローカル・クロマ再整形関数を入力画像に適用して、局所彩度向上画像を生成する段階であって、前記局所彩度向上画像から表示画像が導出され、ディスプレイ・デバイス上にレンダリングされる、段階とを含む、
方法。

〔EEE１５〕
画像フィルタリングが、案内画像を用いて適用される案内画像フィルタリングを表し、前記案内画像は、前記案内画像の一つまたは複数のチャネルの1つにおける複数のピクセル位置について計算された画像勾配の逆によってそれぞれ重み付けされた、複数のピクセル位置について計算された高周波特徴値を含む、EEE１ないし１４のうちいずれか一項に記載の方法。

〔EEE１６〕
前記案内画像が、少なくとも部分的にハロー低減動作パラメータのセットに基づいて導出された案内画像値を含む、EEE１ないし１５のうちいずれか一項に記載の方法であって、当該方法がさらに：
複数の画像対のうちの各画像対について、前記ハロー低減動作パラメータの前記セットについての候補値の複数のセットを用いて、一つまたは複数の局所前景エリアのうちのある局所前景エリアにおける領域ベースのテクスチャー測度を、前記画像対における前記第1のダイナミックレンジのトレーニング画像および前記第2のダイナミックレンジの対応するトレーニング画像の分散の比として、計算する段階であって、前記一つまたは複数の局所前景エリアは、前記画像対における前記第1のダイナミックレンジの前記トレーニング画像において識別された前景マスクからサンプリングされる、段階と；
前記複数の画像対のうちの各画像対について、前記ハロー低減動作パラメータの前記セットについての候補値の前記複数のセットを用いて、一つまたは複数の局所ハロー・アーチファクト・エリアのうちのある局所ハロー・アーチファクト・エリアにおけるハロー測度を、前記画像対における前記第1のダイナミックレンジのトレーニング画像と前記第2のダイナミックレンジの対応するトレーニング画像との間の相関係数として、計算する段階であって、前記一つまたは複数の局所ハロー・アーチファクト・エリアは、前記第2のダイナミックレンジの前記対応するトレーニング画像において識別されたハロー・マスクからサンプリングされる、段階と；
ハロー低減動作パラメータの前記セットについての候補値の前記複数のセットについて、（a）前記複数の画像対における前記第1のダイナミックレンジのトレーニング画像において識別された前景マスクからサンプリングされたすべての局所前景エリアについてのすべての領域ベースのテクスチャー測度、および（b）前記複数の画像対における前記第2のダイナミックレンジの対応するトレーニング画像において識別されたハロー・マスクからサンプリングされたすべての局所ハロー・アーチファクト・エリアについてのすべてのハロー測度、のそれぞれ重み付けされた和を計算する段階と；
ハロー低減動作パラメータの前記セットについての最適化された値のセットを決定する段階であって、最適化された値の前記セットは、（a）前記複数の画像対における前記第1のダイナミックレンジのトレーニング画像において識別された前景マスクからサンプリングされたすべての局所前景エリアについてのすべての前記領域ベースのテクスチャー測度、および（b）前記複数の画像対における前記第2のダイナミックレンジの対応するトレーニング画像において識別されたハロー・マスクからサンプリングされたすべての局所ハロー・アーチファクト・エリアについてのすべての前記ハロー測度、の最小化された重み付けされた和を生成するために使用される、段階と；
複数の空間カーネル・サイズ・レベルにおける前記画像フィルタリングを、ハロー低減動作パラメータの前記セットについての最適化された値の前記セットを用いて、前記入力画像に適用する段階とを含む、
方法。

〔EEE１６〕
EEE１ないし１５のうちいずれか一項に記載された方法のいずれか1つを実行するように構成されたコンピュータ・システム。

〔EEE１７〕
プロセッサを有しており、EEE１ないし１５のうちいずれか一項に記載の方法を実行するように構成された装置。

〔EEE１８〕
EEE１ないし１５のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。

Claims

画像を向上させる方法であって：
第1のドメインで表される第1の画像に対して第1の再整形マッピングを実行して、第2のドメインで表される第2の画像を生成する段階であって、前記第1のドメインは、前記第2のドメインの第2のダイナミックレンジとは異なる第1のダイナミックレンジを有する、段階と；
前記第2のドメインで表される前記第2の画像に対して第2の再整形マッピングを実行して、前記第1のドメインで表される第3の画像を生成する段階であって、前記第3の画像は、グローバル・コントラスト、グローバル彩度、ローカル・コントラスト、またはローカル彩度のうちの少なくとも1つにおいて、前記第1の画像と異なり、グローバル・コントラストおよびグローバル彩度の少なくとも一方における相違が、前記それぞれの画像のすべてのピクセルに適用される同じ関数によって表される第1および第2の再整形マッピングのうちの少なくとも1つによって引き起こされ、ローカル・コントラストおよびローカル彩度の少なくとも一方における相違が、前記それぞれの画像のピクセル・レベルで選択可能な関数によって表される第1および第2の再整形マッピングのうちの少なくとも1つによって引き起こされる、段階と；
前記第3の画像から導出された表示画像をディスプレイ・デバイス上にレンダリングさせる段階とを含む、
方法。
前記第1の再整形マッピングおよび前記第2の再整形マッピングのうちの少なくとも1つは、ルーマ・ローカル再整形マッピングを含み；前記ルーマ・ローカル再整形マッピングは、入力ルーマ符号語および入力クロマ符号語の両方から出力ルーマ符号語を生成するチャネル横断ルーマ・ローカル再整形マッピングを表し；前記チャネル横断ルーマ・ローカル再整形マッピングは、チャネル横断ルーマ・グローバル再整形マッピングと融合前のチャネル横断ルーマ・ローカル再整形マッピングを融合することによって生成され；チャネル横断ルーマ・グローバル再整形マッピングと融合前のチャネル横断ルーマ・ローカル再整形マッピングを融合することは、前記チャネル横断ルーマ・グローバル再整形マッピングと融合前の前記チャネル横断ルーマ・ローカル再整形マッピングの線形結合を計算することを含み；前記チャネル横断ルーマ・グローバル再整形マッピングは、前記第1および第2の画像によって表される画像対における符号語を使用して計算された3次元マッピングテーブル（3DMT）を使用して生成され；融合前の前記チャネル横断ルーマ・ローカル再整形マッピングは、局所コントラスト向上関数を用いて前記3DMTを修正することから導出される修正された3DMTを使用して生成される、請求項１に記載の方法。
第1の符号語空間における第1符号語でエンコードされた一つまたは複数の第1画像と、第2の符号語空間における第2符号語でエンコードされた一つまたは複数の第2画像とから、前記3次元マッピングテーブル（3DMT）を構築する段階をさらに含み、前記一つまたは複数の第1画像は前記一つまたは複数の第2画像に対応し、前記第1の符号語空間は複数のビンに分割され、前記3DMTは、複数のマッピング対を格納し、前記マッピング対のそれぞれは、前記複数のビンにおけるそれぞれのビンに対応し、（a）前記一つまたは複数の第1画像における、前記それぞれのビンに位置する第1符号語のカウント値と、（b）前記一つまたは複数の第2画像における、前記第1符号語が対応する第2符号語の平均第2ルーマ符号語値とを含む、
請求項２に記載の方法。
前記第1の再整形マッピングおよび前記第2の再整形マッピングのうちの少なくとも1つは、クロマ・ローカル再整形マッピングを含み；前記クロマ・ローカル再整形マッピングは、第1のチャネル横断クロマ・グローバル再整形マッピングと第2のチャネル横断クロマ・グローバル再整形マッピングを融合することによって生成され；前記第1のチャネル横断クロマ・グローバル再整形マッピングと第2のチャネル横断クロマ・グローバル再整形マッピングを融合することは、前記第1のチャネル横断クロマ・グローバル再整形マッピングと前記第2のチャネル横断クロマ・グローバル再整形マッピングの線形結合を計算することを含み；前記第1のチャネル横断クロマ・グローバル再整形マッピングは、前記第1および第2の画像によって表される画像対における符号語を使用して計算された3次元マッピングテーブル（3DMT）を使用して生成され；前記第2のチャネル横断クロマ・グローバル再整形マッピングは、局所彩度向上関数を用いて前記3DMTを修正することから導出される修正された3DMTを使用して生成される、請求項１ないし３のうちいずれか一項に記載の方法。
第1の符号語空間における第1符号語でエンコードされた一つまたは複数の第1画像と、第2の符号語空間における第2符号語でエンコードされた一つまたは複数の第2画像とから、3次元マッピングテーブル（3DMT）を構築する段階をさらに含み、前記一つまたは複数の第1画像は前記一つまたは複数の第2画像に対応し、前記第1の符号語空間は複数のビンに分割され、前記3DMTは、複数のマッピング対を格納し、前記マッピング対のそれぞれは、前記複数のビンにおけるそれぞれのビンに対応し、（a）前記一つまたは複数の第1画像における、前記それぞれのビンに位置する第1符号語のカウント値と、（b）前記一つまたは複数の第2画像における、前記第1符号語が対応する第2符号語の平均クロマ符号語値とを含む、
請求項４に記載の方法。
前記クロマ・ローカル再整形マッピングは、（a）入力ルーマ符号語および入力クロマ符号語から出力クロマ符号語を生成するチャネル横断多変量多重回帰（MMR）クロマ・ローカル再整形マッピング；または（b）入力ルーマ符号語および入力クロマ符号語の両方から出力クロマ符号語を生成するチャネル横断テンソル積Bスプライン（TPB）クロマ・ローカル再整形マッピングのうちの1つを表す、請求項４または５に記載の方法。
前記第1の再整形マッピングおよび前記第2の再整形マッピングのうちの少なくとも1つは、ルーマ・ローカル再整形マッピングを含み；前記ルーマ・ローカル再整形マッピングは、入力クロマ符号語とは独立に、入力ルーマ符号語から出力ルーマ符号語を生成する単一チャネル・ルーマ・ローカル再整形マッピングを表す、請求項１に記載の方法。
前記第1の再整形マッピングおよび前記第2の再整形マッピングは：（a）グローバル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（b）グローバル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（c）グローバル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（d）グローバル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ；（e）ローカル後方再整形マッピングおよびグローバル前方再整形マッピングの組み合わせ；（f）ローカル前方再整形マッピングおよびグローバル後方再整形マッピングの組み合わせ；（g）ローカル前方再整形マッピングおよびローカル後方再整形マッピングの組み合わせ；（h）ローカル後方再整形マッピングおよびローカル前方再整形マッピングの組み合わせ、のうちの1つを形成する、請求項１ないし７のうちいずれか一項に記載の方法。
前記第1の画像についての前記第1のダイナミックレンジおよび前記第2の画像についての前記第2のダイナミックレンジは：前記第1の画像についての高ダイナミックレンジ（HDR）と前記第2の画像についての標準ダイナミックレンジ（SDR）との組み合わせ；または前記第1の画像についてのSDRと前記第2の画像についてのHDRとの組み合わせ、のうちの1つを形成する、請求項１ないし８のうちいずれか一項に記載の方法。
エンコードされた画像が、前記第2の画像に対して実行された第3の再整形マッピングから生成され；前記エンコードされた画像は、受領デバイスによって受領されたビデオ信号においてエンコードされ；前記受領デバイスは、前記ビデオ信号とともに受領された前記エンコードされた画像のデコードされたバージョンから前記表示画像を生成する、請求項１ないし９のうちいずれか一項に記載の方法。
前記第1のドメインで表される前記第1の画像は、モバイル・デバイスによって生成され、アップロードされる、請求項１ないし１０のうちいずれか一項に記載の方法。
バンディング・アーチファクトを低減するために、ノイズ注入された案内画像を用いて前記第1の画像、前記第2の画像、または前記第2の画像から導出された画像のうちの少なくとも1つに画像フィルタリングが適用され；画像フィルタリングは、フィルタリングされるべき画像から案内画像を生成することを含み、前記案内画像は、フィルタリングされるべき画像の諸ピクセルについてのローカル再整形関数インデックス値を提供し；前記ノイズ注入された案内画像は前記案内画像から計算され、ピクセル毎のノイズが注入されたローカル再整形関数インデックスを含み；フィルタリングされた画像は、前記ノイズ注入された案内画像を用いた前記画像フィルタリングから生成された符号語を含み；前記フィルタリングされた画像における前記符号語は、ノイズ注入された符号語を生成するためにさらなるノイズ注入とともに適用される、請求項１ないし１１のうちいずれか一項に記載の方法。
前記第2の画像は、入力画像のシーケンスにおける入力画像としてビデオ・エンコーダによって受領され；前記ビデオ・エンコーダによって受領された入力画像の前記シーケンスは前記ビデオ・エンコーダによってビデオ信号にエンコードされる、請求項１ないし１２のうちいずれか一項に記載の方法。
一つまたは複数のプロセッサを有しており、請求項１ないし１３のうちいずれか一項に記載の方法を実行するように構成された装置。
一つまたは複数のプロセッサで請求項１ないし１３のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ可読記憶媒体。