JP7309081B2 - Ｈｄｒイメージングにおけるブラインド局所再整形 - Google Patents

Description

関連出願への相互参照
本願は、2020年4月3日に出願された米国仮出願第63/004,609号および欧州特許出願第20167908.1号の優先権を主張するものであり、各出願は、その全体が参照により援用される。

技術
本開示は、概括的には画像に関する。より詳細には、本発明のある実施形態は、局所再整形関数を用いて標準ダイナミックレンジ（SDR）画像から再構成された高ダイナミックレンジ（HDR）画像の符号化効率および画像品質を改善することに関する。

本稿での用法では、用語「ダイナミックレンジ」（DR）は、たとえば最も暗いグレー（黒）から最も明るい白（ハイライト）まで、画像内の強度（たとえば、輝度〔ルミナンス〕、ルーマ）を知覚する人間の視覚系（HVS）の能力に関連しうる。この意味では、DRは「シーン基準の（scene-referred）」強度に関係する。DRは、特定の幅の強度範囲を十分にまたは近似的にレンダリングする表示装置の能力にも関係しうる。この意味では、DRは「ディスプレイ基準の（display-referred）」強度に関係する。本稿の記述における任意の点において特定の意味が特に有意であることが明示的に指定されるのでない限り、上記用語はどちらの意味でも、たとえば交換可能に使用されうると推定されるべきである。

本稿での用法では、高ダイナミックレンジ（HDR: high dynamic range）という用語は、人間の視覚系（HVS）の14～15桁にまたがるDR幅に関係する。実際上、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、「視覚的ダイナミックレンジ」（VDR: visual dynamic range）または「向上ダイナミックレンジ」（EDR: enhanced dynamic range）の用語は、個々にまたは交換可能に、眼球の動きを含み、シーンまたは画像を横断したいくらかの光順応変化を許容する人間の視覚系（HVS）によってシーンまたは画像内で知覚可能なDRに関係する。本稿での用法では、VDRは5～6桁にまたがるDRに関しうる。よって、真のシーン基準のHDRに比べるといくぶん狭いかもしれないが、それでもVDRまたはEDRは幅広いDR幅を表わし、やはりHDRと称されてもよい。

実際上、画像は一つまたは複数の色成分（たとえばルーマYおよびクロマCbおよびCr）を有する。ここで、各色成分はnビット毎ピクセルの精度で表現される（たとえばn＝8）。たとえば、ガンマ・ルミナンス符号化を使うと、n≦8である画像（たとえばカラー24ビットJPEG画像）は標準ダイナミックレンジの画像と考えられ、n≧10である画像は向上ダイナミックレンジの画像と考えられてもよい。HDR画像は、インダストリアル・ライト・アンド・マジックによって開発されたOpenEXRファイル・フォーマットのような、高精度（たとえば16ビット）の浮動小数点フォーマットを使って記憶および頒布されてもよい。

たいていの消費者デスクトップ・ディスプレイは、現在、200ないし300cd/m²またはニトのルミナンスをサポートする。たいていの消費者HDTVは300ないし500ニトの範囲であり、新しいモデルは1000ニト（cd/m²）に達する。よって、そのような従来のディスプレイは、HDRに対し、標準ダイナミックレンジ（SDR: standard dynamic range）とも称される低ダイナミックレンジ（LDR: lower dynamic range）の典型である。撮影設備（たとえばカメラ）およびHDRディスプレイ（たとえばドルビー・ラボラトリーズからのPRM-4200業務用参照モニタ）の両方における進歩のためHDRコンテンツの入手可能性が高まるにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ（たとえば1000ニトから5000ニト以上）をサポートするHDRディスプレイ上で表示されることがある。

本稿での用法では、「前方再整形（forward reshaping）」という用語は、もとのビット深さおよびもとの符号語分布または表現（たとえば、ガンマ、PQ、HLGなど）から、同じまたは異なるビット深さおよび異なる符号語分布または表現への、デジタル画像の、サンプルからサンプルへのまたは符号語から符号語へのマッピングのプロセスを表す。再整形は、固定ビットレートでの改善された圧縮性または改善された画像品質を許容する。たとえば、限定されるものではないが、10ビットのビデオ符号化アーキテクチャーにおける符号化効率を改善するために、10ビットまたは12ビットのPQ符号化されたHDRビデオに再整形が適用されてもよい。受信機において、受信信号（これは再整形されてもされなくてもよい）を圧縮解除した後、受信機は、「逆（または後方）再整形関数」を適用して、信号をもとの符号語分布に復元し、および／または、より高いダイナミックレンジを達成することができる。

伝統的な再整形技法では、単一の大域的な順方向再整形関数が入力HDR画像内のすべてのピクセルに適用されてもよく、圧縮されてデコーダに伝送される再整形SDR画像を生成することができる。次に、前方再整形関数に関連する情報（たとえば、後方再整形関数のパラメトリック表現）が、入力HDR画像を再構成するためにデコーダを支援するよう、再整形されたSDR画像と一緒にメタデータとしてデコーダに送られてもよい。本発明者らにより認識されるところでは、HDR符号化における符号化アーチファクトを低減し、対応する再整形SDR画像の品質を改善するための、画像再整形のための改良された技法が望まれる。

本稿での用法では、用語「局所再整形（local reshaping）」は、エンコーダが再整形関数のファミリーを使用してもよく、入力画像内の各ピクセルが、局所的な空間的情報に従って、再整形関数のファミリーから選択された異なる再整形関数を使用してエンコードされてもよいことを意味する。

本稿での用法では、用語「ブラインド局所再整形」は、エンコーダ内の各入力HDR画像ピクセルについて個々の前方再整形関数がどのように選択されたかについてデコーダに情報が送られず、よって、デコーダが、エンコードされたSDRデータからその情報を自律的に再構成する必要がある方法を指す。

本セクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、本セクションにおいて記述されるアプローチはいずれも、本セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明のある実施形態は、添付の図面の図において、限定ではなく例として示されており、図面において、同様の参照番号は同様の要素を指す。

従来技術による、大域的再整形関数を使用するHDRデータのための例示的な単層エンコーダを示す。

従来技術による、図1Aのエンコーダに対応する例示的なHDRデコーダを示す。

本発明のある実施形態による、局所前方再整形を使用するHDRデータについての例示的な単層エンコーダを示す。

本発明のある実施形態による、図2Aのエンコーダに対応する例示的なHDRデコーダを示す。

本発明の第1の実施形態による、ブラインド局所後方再整形についての例示的な逐次反復プロセスを示す。

本発明の第2の実施形態による、ブラインド局所後方再整形についての例示的な逐次反復プロセスを示す。

大域的前方再整形関数の例示的なプロットを示す。

図4Aの大域的前方再整形関数に対応するテンプレート前方再整形関数の例示的プロットを示す。

図4Bのテンプレート前方再整形関数に対応するテンプレート後方再整形関数の例示的プロットを示す。

図4Bのテンプレート前方再整形関数に対応する一組の局所前方再整形関数の例示的プロットを示す。

図4Cのテンプレート後方再整形関数に対応する一組の局所後方再整形関数の例示的プロットを示す。

本発明のある実施形態による、大域的前方再整形関数に基づく、局所前方再整形関数のファミリーおよび局所後方再整形関数のファミリーを生成するための例示的なプロセスを示す。

例示的実施形態の説明
HDR画像およびビデオ・コンテンツを符号化するためのブラインド局所再整形のための方法が本稿に記載される。以下の記述では、説明の目的で、本発明の十全な理解を提供するために、多数の個別的な詳細が記載される。しかしながら、本発明は、これらの個別的な詳細なしに実施されうることは明らかであろう。他方では、本発明を不必要に隠蔽し、不明瞭にし、または埋没させることを避けるために、周知の構造および装置は、網羅的な詳細さでは記述されていない。

概要
本明細書に記載される例示的実施形態は、HDR画像の符号化のためのブラインド局所再整形に関する。ある実施形態では、エンコーダにおいては、入力HDR画像が与えられて、エンコーダは、前方再整形関数のファミリーと前方マッピング・インデックス（forward mapping indices、FMI）のアレイを使用する。ここで、FMIアレイは、入力HDR画像を再整形し、再整形されたSDR画像を生成するために、各入力HDRピクセルについてどの前方再整形関数が使用されるべきかを示す。デコーダにおいては、受信された再整形SDR画像と後方再整形関数のファミリーが与えられて、デコーダは、逐次反復技法を適用して、後方マッピング・インデックス（backward mapping indices、BMI）のアレイを生成し、ここでBMIアレイは、入力HDR画像を最もよく近似する再構成HDR画像を生成するために、各SDRピクセルについてどの後方再整形関数が使用されるべきかを示す。

ある実施形態では、一つまたは複数のプロセッサを有する装置において、デコーダが第1のダイナミックレンジの入力再整形画像（156）を受領し、それは後方マッピング・インデックス（BMI）のアレイを初期化し（305）、ここで、BMIアレイの各要素は、2つ以上の局所後方再整形関数の集合における局所後方再整形関数のインデックスを示し、局所後方再整形関数は、第1のダイナミックレンジからのピクセル値を第2のダイナミックレンジにおけるピクセル値にマッピングし、第2のダイナミックレンジにおける出力再構成画像を生成するために一つまたは複数の反復工程を実行し、反復工程は、以下を含む：
前記BMIアレイに従って入力再整形画像に局所後方再整形関数の集合を適用することによって前記第2のダイナミックレンジにおける第1の再構成された画像を生成する（310）段階と；
前記第1の再構成された画像およびFMI生成関数に基づいて前方マッピング・インデックス（forward mapping indices、FMI）の第1のアレイを生成する段階（315）であって、前記FMIアレイの各要素は、2つ以上の局所前方再整形関数の集合における局所前方再整形関数のインデックスを示し、局所前方再整形関数は、前記第2のダイナミックレンジからのピクセル値を前記第1のダイナミックレンジにおけるピクセル値にマッピングする、段階と；
第1の誤差メトリックに従って前記BMIアレイと前記第1のFMIアレイとの間の差を測定して、マッピング・インデックス誤差を生成する段階と；
前記マッピング・インデックス誤差に基づいて、更新されたBMIアレイを生成する段階（325）と；
前記更新されたBMIアレイに従って前記入力再整形画像に局所後方再整形関数の前記集合を適用することによって、前記第2のダイナミックレンジにおける第2の再構成された画像を生成する段階（330）と；
前記第2の再構成された画像および前記FMI生成関数に基づいて、更新されたFMIアレイを生成する段階（335）と；
前記更新されたFMIアレイに従って前記第2の再構成された画像に局所前方再整形関数の前記集合を適用することによって前記第1のダイナミックレンジにおける推定再整形画像を生成する段階（340）と；
第2の誤差メトリックに従って前記推定再整形画像と前記入力再整形画像との差を測定して、再整形画像誤差を生成する段階と；
前記再整形画像誤差と前記マッピング・インデックス誤差の組み合わせが収束基準を満たすかどうかを試験する段階であって：
前記収束基準が満たされている場合、逐次反復を終了し、前記第2の再構成された画像を前記出力再構成画像として出力し；
そうでない場合：
前記更新されたBMIアレイの要素および前記再整形画像誤差に基づいて、前記BMIアレイの要素を置換し（360）；
もう一つの反復工程を実行する、段階とを含む。

第2の実施形態では、一つまたは複数のプロセッサを有する装置において、プロセッサが、大域的前方再整形関数にアクセスする段階と；
前記大域的前方再整形関数のための属性値を生成する段階であって、前記属性値は、前記第2のダイナミックレンジにおける前記関数の非平坦領域（xレンジ）、前記xレンジの中点、および前記第2のダイナミックレンジにおける暗部およびハイライトのための平坦領域のうちの一つまたは複数を含む、段階と；
前記大域的前方再整形関数、前記属性値、およびxレンジ・スケーリング因子に基づいてテンプレート前方再整形関数を生成する段階と；
前記テンプレート前方再整形関数の逆関数を計算することによってテンプレート後方再整形関数を生成し；前記第2のダイナミックレンジにおけるターゲット輝度値に関連する局所前方再整形関数については、前記テンプレート前方再整形関数をx軸シフト値だけシフトすることによって前記局所前方再整形関数を生成し、前記x軸シフト値は、前記ターゲット輝度値については、前記局所前方再整形関数および前記テンプレート前方再整形関数を用いた対応する平均再整形出力値がほぼ等しくなるように決定される。

HDR符号化システムの例
参照によりその全体が本明細書に組み込まれる、'262と称される特許文献１に記載されているように、図1Aおよび図1Bは、画像再整形を使用する例示的な単一層後方互換コーデック・フレームワークを示す。より具体的には、図1Aは、上流のビデオ・エンコーダ内の一つまたは複数のコンピューティング・プロセッサで実装されうる、例示的なエンコーダ側のコーデック・アーキテクチャーを示す。図1Bは、一つまたは複数の下流のビデオ・デコーダ内の一つまたは複数のコンピューティング・プロセッサで実装されうる、例示的なデコーダ側のコーデック・アーキテクチャーを示す。
A. Kheradmandらによる米国特許第10,032,262号「高ダイナミックレンジ画像のためのブロックベースのコンテンツ適応的な再整形」

このフレームワークの下では、所与の参照HDRコンテンツ（120）、対応するSDRコンテンツ（134）（基本層（base-layer、BL）または再整形されたコンテンツとも呼ばれる）は、エンコーダ側コーデック・アーキテクチャーを実装する上流のエンコード装置によって、エンコードされ、符号化されたビデオ信号（144）の単一層において送信される。SDRコンテンツは、ビデオ信号の単一層において、デコーダ側のコーデック・アーキテクチャーを実装する下流のデコード装置によって受領され、デコードされる。後方再整形メタデータ（152）も、SDRコンテンツと一緒にビデオ信号においてエンコードされ、送信される。それにより、HDRディスプレイ装置は、SDRコンテンツおよび後方再整形メタデータに基づいてHDRコンテンツを再構成できる。一般性を失うことなく、いくつかの実施形態では、非後方互換システムにおけるように、SDRコンテンツは、それ自体では視聴可能ではなくてもよく、視聴可能なSDRまたはHDRコンテンツを生成する後方再整形関数と組み合わせて視聴されなければならない。後方互換性をサポートする他の実施形態では、レガシーSDRデコーダは、後方再整形関数を使用しなくても、受領されたSDRコンテンツを再生することができる。

図1Aに示されるように、HDR画像（120）およびターゲット・ダイナミックレンジが与えられて、ステップ130において前方再整形関数（132）を生成した後、該前方再整形関数が与えられて、前方再整形マッピング段階（132）がHDR画像（120）に適用され、再整形されたSDR基本層（134）が生成される。圧縮ブロック142（たとえば、AVC、HEVC、AV1などの任意の既知のビデオ符号化アルゴリズムに従って実装されたエンコーダ）は、ビデオ信号の単一層（144）においてSDR画像（134）を圧縮／エンコードする。さらに、後方再整形関数生成器（150）は、メタデータ（152）としてデコーダに送信されうる後方再整形関数を生成することができる。いくつかの実施形態では、メタデータ（152）は、前方再整形関数（130）を表してもよく、よって、後方再整形関数（図示せず）を生成するのはデコーダ次第である。

最適な後方再整形関数を表す／指定する後方再整形メタデータの例は、以下のうちの任意のものを含みうるが、これらのみに限定されるものではない：逆トーンマッピング関数、逆ルーマ・マッピング関数、逆クロマ・マッピング関数、ルックアップテーブル（LUT）、多項式、逆ディスプレイ管理係数／パラメータなど。さまざまな実施形態において、ルーマ後方再整形関数およびクロマ後方再整形関数は、合同してまたは別個に導出／最適化されてもよく、多様な技法、たとえば限定するものではないが'262特許に記載されている技法を使って導出されてもよい。

SDR画像（134）およびターゲットHDR画像（120）に基づく後方再整形関数生成器（150）によって生成される後方再整形メタデータ（152）は、ビデオ信号144の一部として、たとえば、補足向上情報（supplemental enhancement information、SEI）メッセージ伝達として多重化されうる。

いくつかの実施形態では、後方再整形メタデータ（152）は、全体的な画像メタデータの一部としてビデオ信号において搬送される。全体的な画像メタデータは、ビデオ信号においてSDR画像がエンコードされる単一層とは別個に、ビデオ信号において搬送される。たとえば、後方再整形メタデータ（152）は、符号化ビットストリーム内のコンポーネント・ストリームにおいてエンコードされてもよく、該コンポーネント・ストリームは、SDR画像（134）がエンコードされる（符号化ビットストリームの）単一層とは別個であってもなくてもよい。

よって、後方再整形メタデータ（152）は、エンコーダ側で利用可能な強力なコンピューティング資源およびオフライン・エンコード・フロー（コンテンツ適応的な多重パス（multiple passes）、先読み演算、逆ルーマ・マッピング、逆クロマ・マッピング、CDFベースのヒストグラム近似および／または転送等を含むが、これらに限定されない）を利用するために、エンコーダ側で生成または事前生成されることができる。

図1Aのエンコーダ側アーキテクチャーは、ターゲットHDR画像（120）をビデオ信号中の符号化された／圧縮されたHDR画像に直接エンコードすることを回避するために使用されることができ；代わりに、ビデオ信号中の後方再整形メタデータ（152）が、下流のデコード装置が（ビデオ信号中にエンコードされた）SDR画像（134）を後方再整形して、参照HDR画像（120）と同一であるか、またはそれを近く／最適に近似する再構成された画像にすることを可能にするために使用できる。

いくつかの実施形態では、図1Bに示されるように、単一層（144）においてSDR画像をエンコードされたビデオ信号と、全体的な画像メタデータの一部としての後方再整形メタデータ（152）が、コーデック・フレームワークのデコーダ側で入力として受領される。圧縮解除ブロック（154）は、ビデオ信号の単一層（144）内の圧縮されたビデオデータを圧縮解除／デコードして、デコードされたSDR画像（156）にする。圧縮解除154は、典型的には、圧縮142の逆に対応する。デコードされたSDR画像（156）は、SDRディスプレイ装置のために最適化されていてもよい圧縮ブロック（142）および圧縮解除ブロック（154）における量子化誤差のもとで、SDR画像（134）と同じであってもよい。後方互換なシステムでは、デコードされたSDR画像（156）は、SDRディスプレイ装置上でレンダリングされるべき出力SDRビデオ信号において出力されてもよい（HDMI（登録商標）インターフェースを通じて、ビデオ・リンクを通じて、など）。

任意的に、代替的または追加的に、同じまたは別の実施形態において、後方再整形ブロック158は、入力ビデオ信号から後方（または前方）再整形メタデータ（152）を抽出し、再整形メタデータ（152）に基づいて後方再整形関数を構築し、デコードされたSDR画像（156）に対して、最適な後方再整形関数に基づいて後方再整形操作を実行して、後方再整形画像（160）（または再構築されたHDR画像）を生成する。いくつかの実施形態において、後方再整形画像は、参照HDR画像（120）と同一であるかまたは近く／最適に近似する、プロダクション品質またはプロダクション品質に近いHDR画像を表す。後方再整形画像（160）は、HDRディスプレイ装置上でレンダリングされる出力HDRビデオ信号において出力されてもよい（たとえば、HDMI（登録商標）インターフェースを通じて、ビデオ・リンクを通じて、など）。

いくつかの実施形態では、HDRディスプレイ装置に固有のディスプレイ管理動作が、HDRディスプレイ装置上に後方再整形画像（160）をレンダリングするHDR画像レンダリング動作の一部として、後方再整形画像（160）に対して実行されてもよい。

ブラインド局所再整形
図1Aおよび図1Bに描かれるシステムに基づく実施形態は、フレーム内のすべてのピクセルを再マッピングするために同じ前方再整形関数が使用されるので、「大域的再整形」を使用していると考えられてもよい。図2Aは、エンコーダが複数の前方再整形関数を適用でき、各関数が局所的な画像特性に従って選択される「局所再整形」の実施形態の一例を示している。

図1Aと比較して、図2Aに示されているところでは、今や、参照HDR画像（120）内の各ピクセルについて、前方再整形関数のうちのどれが、そのような関数の有限の集合のうちで、使用されるべきかを示す、前方マッピング・インデックス（FMI）の新しいテーブル205がある。前方マッピング・テーブル205が与えられて、前述したように前方再整形（215）が実行されるが、ただし、再整形エンジン（215）は、ユニット（210）によって提供される複数の前方再整形関数を使用し、よって、局所的な再整形をサポートする。局所的に再整形されたSDR画像をサポートすることができないデコーダとの後方互換性を提供するために、ある実施形態では、図1Aのように、任意的なユニット150が、大域的後方再整形関数、または、大域的前方再整形関数に関連する他のメタデータをも生成してもよく、それが、メタデータ（152）として、符号化された再整形されたSDR画像（144）と一緒に伝送されることができる。FMIアレイ（205）はデコーダに送信される必要はない。後述するように、ある例示的な実施形態では、デコーダ（たとえば、図2Bに示されるもの）は、逐次反復的なデコード・プロセスを使用して、入力HDR画像の再構成バージョン（160）を生成するために、局所的な逆または後方再整形を適用してもよい。エンコーダからの何のメタデータもなしで、デコーダが局所的な後方再整形を実行できるようにするこのタイプの再整形は、「ブラインド」再整形と呼ばれることがある。

記法
入力参照HDR（120）シーケンスが与えられた場合、そのビット深さをB^vと表すことにする。対応する再整形されたSDRシーケンス（134）のビット深さをB^sと表すことにする。v_t,iが、入力参照HDR信号のt番目のフレームのi番目のピクセルを表すものとする。ある実施形態では、t番目のフレーム内のすべてのP個のピクセルを、V_tと表されるアレイとして集めることができる。

s_t,iが、参照SDR信号についてのt番目のフレームのi番目のピクセルを表すものとする。t番目のフレーム内のすべてのP個のピクセルを、ベクトルS_tとして集めることができる。ある実施形態では、一般性を失うことなく、我々の議論を容易にするために、ピクセル値（v_t,iおよびs_t,i）は（たとえば[0,1]に）正規化されず、本文書におけるそれらのもとのビット深さ範囲（たとえば、各色平面について

内）であると想定される。本明細書に提示される方法は、単一の色平面（たとえば、ルーマY）について議論されることがあるが、それらは、色空間（たとえば、RGB、YCbCr等）に関係なく、入力信号内のすべての利用可能な色平面に適用可能である。

前方再整形関数のファミリーを{F_<l>()｜l＝0,…,L－1}と表し、後方再整形関数のファミリーを{B_<l>()｜l＝0,…,L－1}で表す。ここで、Lは、それぞれのファミリーにおける関数の数である。ある実施形態では、これら2つのファミリーは、ビット深さの差および非一様な間隔に起因する量子化誤差に関連する合理的な近似の範囲内で、可逆的である：
F_<l>()＝B_<l> ^-1() l＝0,…,L－1 (1)
B_<l>()＝F_<l> ^-1() l＝0,…,L－1

前方マッピング・インデックス（FMI）を生成するプロセス（205）を

と表す。ここで、M_t内の要素はm_t,iと表され、ここで、m_t,iは0からL－1までの間であり、i番目のピクセルについて使用されるべき前方再整形関数を示す。

前述したように、M_tはデコーダには通信されないので、デコーダは、逐次反復プロセスを使用して、M_tの要素と、推定された後方マッピング・インデックスn_t,iをもつ対応するテーブル（N_t）（240）とを推定する。表記の目的のために、k回目の反復工程では、再整形関数選択インデックスを、前方経路ではm_t,i ^(k)と表し、後方経路ではn_t,i ^(k)と表す。ここで、m_t,i ^(k)およびn_t,i ^(k)は、0からL－1までの間の値をもつ。推定の精度および収束基準のため、両方の選択は同一ではない可能性がありうることに注意されたい。さらに、デコーダにおいては、i番目のピクセルについての選択された前方再整形関数は

であり、選択された後方再整形関数は

である。

局所前方再整形
図2Aに描かれるように、エンコーダでは、M_tを与えられて、ブロック215で、再整形されたSDR信号（134）は、次のように生成される。

一例として、ある実施形態では、限定なしに、M_tを生成するための式（2）におけるマッピング関数G()は、
G()＝G₂(G₁()) (4)
と表されてもよい。
たとえば、第1の演算子G₁()は、ガウスぼかし演算子であってもよく、それは、入力HDR画像に適用されたとき、ぼかされたピクセル値

を生成する。ここで、重みは次のように定義される。

ここで、xおよびyは、フィルタの中心からの重み付けされたピクセルの距離を示し、2W＋1は、フィルタの幅および高さを示し（たとえば、W＝12）、σは、ぼかしの標準偏差を表す（たとえば、1080pコンテンツについてσ＝50）。

一例として、ある実施形態では、第2の演算子は、一様な量子化器であり、前記の0からL－1の値のうちの1つをぼかしフィルタの出力に割り当てる。

ここで、Uは量子化間隔を表し、z＝clip3(x,a,b)はクリッピング関数を表す。ここで、

である。

個のHDR符号語をもつL個の一様な間隔については、

となる。

いくつかの実施形態では、一様な量子化器は、非一様な量子化器または他の何らかのマッピング関数によって置き換えられてもよい。いくつかの実施形態では、式（4）は、フレームのアクティブ領域を取り囲みうるレターボックス領域には適用されない。その代わりに、レターボックス領域が検出されるとき、単一の定数値（たとえば、c番目の前方再整形関数に対応する）が、レターボックス領域内のすべてのピクセルに適用されてもよい。ある実施形態では、ぼかしフィルタを使用する代わりに、低域通過フィルタを使用してもよい。

局所後方再整形
局所的後方再整形の目標は、もとの参照HDR画像（120）を可能な限り近似する再構成されたHDR画像（160）を生成することである。再構成プロセスにおいて、たとえば図2Bに示されるように、それぞれ対応するインデックスm_t,i ^(k)およびn_t,i ^(k)に関連付けられた前方関数選択（225）および後方関数選択（240）を推定する必要があり、kは逐次反復的な推定プロセスにおけるk番目の反復工程を表す。

収束条件の一つは、両方の関数選択がほぼ等しくなければならない、すなわち、

ということである。しかしながら、この収束条件を満足することは、必ずしも、再構成されたHDR画像がもとのHDR画像に近いことを意味するわけではない。なぜなら、iのすべての値についてm_t,i ^(k)＝n_t,i ^(k)＝定数のような任意の自明な定数値は、そのような要件を容易に満足することができるが、正しいHDR信号を予測することはできないからである。ある実施形態では、再整形されたSDR信号（156）が既知である場合、別の収束条件は、再構成されたHDR画像（160）を用いて生成された再整形されたSDR画像（SDR^(k)と表される）（232）がもとの入力SDR画像（156）に十分近いかどうかをチェックすることである。このように、これら2つの収束条件が満たされる場合、推定されたHDR画像はもとのHDR画像に近いはずである。

ある実施形態では、推定プロセスは、a）2つの再整形関数選択インデックス間の差；およびb）入力再整形SDRと推定された再整形SDR^(k)の間の差の（重み付けされた）和を最小化する最適化問題として定式化できる。この目標を達成するために逐次反復アルゴリズムが提案される。各反復工程において、両方の収束条件からの推定差が試験され、それが不合格であれば、m_t,i ^(k)およびn_t,i ^(k)の値が好適に調整される。この逐次反復プロセスのステップは、図2Bと、図3Aにおける、より詳細な例示的なプロセスフローの両方に関して議論される。
ステップ1（305）：初期化
１．k＝0；
２．局所後方再整形関数（B_<l>()）を選択するために使用される後方マッピング・インデックス（BMI）のアレイ{n_t,i ^(k)}（240）を初期化する（たとえば、定数c＝L/2に）。
ステップ2（310）：局所的な後方再整形（220）
入力再整形SDR信号（156）内の各ピクセル＾s_t,i〔上付きの＾を便宜上このように記すことがある〕について、対応する再整形関数インデックスn_t,i ^(k)を見出し、対応する後方再整形関数を適用して、再構成されたHDR信号＾v_t,i ^(k)
を生成する：

k番目の反復工程における再構成されたHDR画像は、ベクトルV_t ^(k)として表現されてもよい。
ステップ3（315）：再構成されたHDR画像に基づいて、前方マッピング・インデックス（forward mapping indices、FMI）（225）の推定アレイを生成する。G()関数は、エンコーダによって使用される関数と同じであってもよい。

ステップ4（325）：現在の推定されたFMIアレイおよびBMIアレイの間の差に基づいて、BMIアレイ（240）を更新する。
１．まず、既存の推定FMIおよびBMIアレイの間の差

を計算し、フレーム全体についての平均差

を計算する。
２．次に、平均差に基づいてBMIアレイを更新する。

ある実施形態では、h()は、丸め関数および／またはクリッピング関数であり、α₁は収束速度を制御する（たとえば、α₁＝1）。
ステップ5（330）：BMI値の更新されたアレイ（240）を与えられて、局所後方再整形を再度実行する（220）。各入力再整形SDRピクセルについて、更新された後方再整形関数インデックスn_t,i'^(k)を見出し、局所後方再整形（220）を適用して、再構成されたHDR信号の更新された（2番目の）バージョンを得る。

k反復工程における再構成された画像の更新された（2番目の）バージョンは

と表されてもよい。
ステップ6（335）：更新されたHDR再構成信号に基づいて、第2のFMIアレイ（225）を推定する

ステップ7（340）：推定された再構成HDR信号に基づいて、再整形されたSDR画像の推定値SDR^(k)を得るために、局所前方再構成（230）を実行する。
各ピクセル

について、M'_t ^(k)から前方再整形関数インデックスm'_t,i ^(k)を見出し、対応する前方再整形関数を適用して（230）、再整形されたSDR信号の推定バージョン＾s'_t,i ^(k)を生成する（232）。

ステップ8（345）：入力SDR再整形画像と推定されたSDR再整形画像との差を計算する。

ステップ4およびこのステップでは、L1誤差を、平均二乗誤差メトリックまたは当技術分野で知られている他の誤差メトリック、たとえば信号対雑音比（SNR）またはピークSNRで置き換えてもよいことに留意されたい。そのようなメトリックは、計算集約的であるが、収束速度を改善する可能性がある。
ステップ9（350）：収束を判定し、BMIアレイを更新する
１．全体的な誤差を計算する

ここで、w₁＋w₂＝1は、2つのタイプの誤差を重み付けするための重み付け因子である。たとえば、両方の誤差が同じように重要とみなされる場合、w₁＝w₂＝0.5となる。
２．全体的な誤差（D_t ^(k)）が閾値Δ（たとえば、非正規化10ビットデータについてΔ＝0.5）より小さい場合、デコーダは収束している。現在のBMIアレイ{n'_t,i ^(k)}は、最終的なものとみなされ、出力ステップ355において、ステップ5（330）（式（14））の出力は、最終的な再構成されたHDR出力とみなされる。
３．D_t ^(k)＞D_t ^(k-1)であれば、よりよい解を見つけることはできないかもしれない。前のBMIアレイ{n_t,i ^(k-1)}は、最終的なものとみなされ、出力ステップ355において、前に生成された信号

が最終的な再構成HDR出力とみなされる。
４．そうでない場合（ステップ360）（D_t ^(k)＞ΔかつD_t ^(k)＜D_t ^(k-1)）、再整形されたSDR差に基づいてBMIアレイを更新（235）し、ステップ2（310）に戻る。すなわち、

ここで、α₂は、収束を管理するためのもう1つの変数である（たとえば、α₂＝1）。

図2Aと比較して、各反復工程において、このプロセスが、a）ステップ3（315）およびb）ステップ6（335）において、FMIアレイの2つの別個の更新を含むことに注目することができる。最初にFMIアレイが更新されるとき、BMIアレイは、現在のBMI値とFMI値との間の誤差に基づいて更新される（ステップ325）。FMIアレイが2回目に更新されるとき、デコーダは、ステップ8（345）で再整形SDR誤差を計算する前に、第2のFMIアレイを使用して、より正確な再整形されたSDR推定値を生成する。実験結果は、そのようなプロセスがはるかに速く逐次反復されることを示した。

別の実施形態では、この重複ステップは、複雑さを低減するために除去することができるが、全体として、収束はより遅くなることがある。このスキームは、図3Bに示されており、ここで、図3Aのステップ5（330）およびステップ6（335）が今や除去されている。これは、再整形SDR差を計算するための前のステップ8（345）が、今やBMI-FMI誤差も計算するステップ345Bに置き換えられることを意味する：

ここで（340B）、SDR^(k)は、次式で与えられる：

さらに、現在のBMIとFMI差の間の誤差に基づいてBMIアレイを更新すること（325）は、収束がある場合はBMIアレイを更新する必要がないため、ステップ360Bに吸収されつつある。したがって、ステップ360Bにおいて、

ここで、誤差メトリックは式（20）を用いて計算されうる。

ここで、収束がある場合（たとえば、ステップ355B）、現在のBMIアレイ{n_t,i ^(k)}は、最終的なものとみなされ、ステップ2（310）の出力（式（9））が、最終的な再構成HDR出力（160）とみなされる。

局所再整形関数の構築
これまで述べてきた方法は、どのような種類の可逆的な再整形関数にも適用できる。このセクションでは、局所再整形関数のいくつかの具体的な例とその属性について考察する。

大域的再整形関数に基づく局所再整形関数
大域的な前方および後方再整形関数を、それぞれF()およびB()と表す。理想的には、量子化誤差の範囲内でF()＝B^-1()である。ある実施形態では、局所再整形関数の選択は、ルーマ・ピクセルの属性（たとえば、それらの値、または近傍ピクセルに基づいて計算される値、たとえば、平均、標準偏差など）に依存しうる。
ある実施形態では、局所再整形関数の集合について、以下の属性が望ましいことがありうる：
・局所再整形を使用して、再整形されたSDR画像の鮮鋭度とコントラスト比を局所的に高める。これは、x軸において大域的な前方再整形関数を圧縮しつつ、各局所前方再整形関数の勾配を増加させることによって、すなわち、SDR y軸において同じ範囲を維持しつつ、HDR x軸において大域的な再整形関数の平坦でない領域の幅（範囲）を減少させることによって達成されうる。このx軸圧縮比をαと表す（0＜α＜1）。
・一定の大域的な明るさを維持する。これは、HDR符号語が与えられた場合、各局所再整形関数が、大域的再整形関数によって提供される値に近い再整形されたSDR値を与えれば、達成されうる。

局所前方再整形関数が与えられた場合、局所後方再整形関数は局所前方再整形関数を逆にすることによって構築できる。前述したように、L個の前方局所再整形関数とL個の後方局所再整形関数を構築する必要がある。

上述した第1の属性について、すべてのL個の前方／後方再整形関数についてx軸圧縮比が固定されている場合、基礎関数として使用されるテンプレート前方関数F^T()およびテンプレート後方再整形関数B^T()を構築することができる。次に、テンプレートの前方再整形関数をx軸を通じてシフトさせて、局所前方再整形関数の前記所望される集合を生成することができる。次に、これらのステップについて説明する。

ステップ1。大域的再整形関数の属性を同定する
第1のステップは、その入力および出力範囲（たとえば、その最小および最大入力および出力符号語）、平坦でない範囲におけるその中間値などの、大域的前方再整形関数の属性を同定することである。限定するものではないが、16ビットのHDRデータ（4,000ニト、PQ）を10ビットのSDRデータ（100ニト、ガンマ）にマッピングする、大域的前方再整形関数の例が図4Aに示されている。図4Aに示されているように、典型的な大域的な再整形関数は、有効な入力値および出力値と考えられるものに対する制限のために、暗い領域およびハイライト領域に2つの平坦な領域を有するシグモイド特性を有する。テンプレート前方再整形関数を構築するために、それらの平坦な領域を除外し、傾き＞0の領域のみを考慮（スケール）することができる。一例として、非平坦領域の始点と終点を識別するために、表1の擬似コードを適用することができる。ここで、δは、我々の計算の数値精度に関連する、ゼロより大きい、非常に小さい閾値を示す（たとえば、浮動小数点演算についてはδ=0.0001）。

次いで、有効な入力HDR範囲全体を
v^r＝v^H－v^L (23)
として計算できる。
有効な入力HDR範囲の中点は、
v^M＝round(v^H＋v^L)/2 (24)
として計算できる。
ステップ2。テンプレート前方再整形関数を生成する
x軸の圧縮比αが与えられた場合、HDR信号の新しいスケーリングされた範囲は

となる。
天井演算子のため、αの値は
α＝v^T,R/v^R (26)
として更新されてもよい。
次いで、テンプレート前方再整形関数が表2に示されるように構築されてもよい。

図4Bは、α＝0.8を用いて図4Aの大域的前方再整形関数に基づいて生成されたテンプレート前方再整形関数の一例を示す。
ステップ3。テンプレート後方再整形関数を生成
テンプレート後方再整形関数B^T()は、テンプレート前方再整形関数を逆にすることによって再構築できる。例示的なプロセスが表3に記載される。所与の場合、図4B、図4Cのテンプレート前方再整形関数は、対応するテンプレート後方再整形関数を呈示する。

ステップ4：局所前方再整形関数のファミリーを生成
テンプレート前方再整形関数およびテンプレート後方再整形関数が与えられて、以下のように局所再整形関数のファミリー全体を構築することができる。

各局所再整形関数のシフトされたバージョンの構築
L個の局所前方再整形関数F_<l>()およびB_<l>()の構築を考える。m_t,i＝lの場合、i番目のHDRピクセルは、l番目の前方再整形関数を使用して再整形される。ある実施形態では、まず、入力符号語範囲をL個の一様区間に分割し、各区間について中心を見出すことができる。

大域的な明るさを維持するという目標が与えられれば、ある実施形態では、一つの解決策は、区間の中心C_l ^vにおけるもとの大域的な再整形関数F(C_l ^v)と局所再整形関数のスケーリングされたシフトされたバージョンF_<l>(C_l ^v)との両方について、同じマッピングされた値を有することを強制することを含む。局所前方再整形関数の水平方向のシフトは、対応する局所後方再整形関数の垂直方向のシフトを引き起こすことに注意されたい。換言すれば、この属性を使って、関数を再計算することなく、テンプレート関数からl番目の局所再整形関数についての「シフト」を決定することができる。このことは表4に示されている。ここで、主たる発想は、テンプレート関数に基づいてl番目の局所再整形関数を生成するために、テンプレート前方再整形関数は、それがl番目のビン中心C_l ^vで大域的再整形関数と交差するようにシフトされる、ということである。言い換えれば、l番目のビン中心C_l ^vでは、l番目の局所再整形関数と大域的再整形関数が同じ値にマッピングされる。よって、l番目の局所前方および後方再整形関数を生成するには：

無効フラグをもつ（たとえば、それらの始点または終点が有効な範囲

の外であるため）局所関数については、局所関数は、最も近い局所再整形関数から補間することによって、または最も近い局所再整形関数をコピーすることによって生成されてもよい。このプロセスの例は、限定されるものではないが、表5に示されている。

一例として、図4Dは、L＝1,024個の局所前方再整形関数（α＝0.8について）のうちの4つと、もとの大域的前方再整形関数とを示す。αの値が小さいほど、傾きが鋭くなり、シフトが大きくなる。傾きが鋭いほどコントラスト比が高くなる。ルーマとクロマの両方を調整しない限り、より大きなシフトは、画像の色を歪めることがある。たとえば、色が褪せて見えることがある。図4Eは、対応する1,024個の局所後方再整形関数のうちの8つを示す。

変形および注記
局所再整形関数の提案されるスケールおよびシフト・ベースの導出における潜在的な問題の一つは、局所領域におけるハードなハイライト／暗部クリッピングである。勾配が高くなるにつれて、ハイライト部と暗部はより早く飽和する。早期飽和の問題を避けるために、次の代替的な解決策を適用することができる。

a）各局所再整形関数において異なるスケールおよびオフセットを適用する
そのような実施形態では、たとえば、クリッピングを回避するために、ハイライト部分とダーク部分〔暗部〕におおいてスケーリングを回避してもよい。ルーマ領域において遷移をなめらかにするために、暗い色調から中間色調まで、スケーリング因子を1から目標値（たとえば0.8）に徐々に変化させ、中間色調では一定値のままでいて、ハイライト部分では徐々に1まで増加させてもよい。このアプローチでは、早期飽和の問題を遅らせることができる。他方、このアプローチではコントラスト比が低下することも示唆される。

b）局所的および大域的な再整形関数の融合
この実施形態のもとでは、飽和部分を遠ざけるために、局所再整形関数と大域的再整形関数の重み付けされた線形結合を適用してもよい。重み付け因子は、輝度の関数であってもよい。局所再整形関数が暗い部分またはハイライト部分にある場合、重みは大域的関数に向けられ、局所関数が中間調にある場合、重みは局所関数に向けられる。

大域的関数と局所関数の重み付け因子をθ_<l> ^G、θ_<l> ^Lと表す。ここで、
θ_<l> ^G＋θ_<l> ^L＝1
である。最終的な融合された局所再整形関数は次のように表せる。

たとえば、ある実施形態では、l＝0ないし1023について：

c）鮮鋭化演算子としての局所再整形の使用
本発明者らによって認識されるように、大域的再整形関数が単純な1対1マッピングである場合、先に議論したアルゴリズムを用いて構築されるような局所前方再整形関数の集合は、鮮鋭化演算子として使用されてもよい。よって、ある実施形態では、伝送されたSDR画像の知覚される鮮鋭度を改善することを最終的な目標として、SDRからSDRへのマッピングのために、一組の局所再整形関数を使用することができる。

d）後方互換性
局所再整形は、いかなる追加的メタデータも必要としないが、局所再整形関数が局所的に再構築されるように、局所前方再整形関数および後方再整形関数、または、少なくとも、たとえばメタデータ152によって定義される、大域的な前方再整形関数および／または大域的な後方再整形関数の特性のあらかじめ定義された知識を必要とする場合がある。局所後方再整形を適用できないレガシー・デコーダでも、入来するSDR信号が局所再整形器を用いて符号化されていたとしても、（たとえば、図1Bに示されるような）大域的再整形を適用することができる。

図5は、大域的再整形関数に基づく局所再整形関数のファミリーを生成するプロセスの例示的な要約を示す。図5に示されるように、大域的前方再整形関数（502）が与えられて、ステップ505は、その属性（たとえば、平坦な領域、範囲、および中点）を見出す。x軸スケーリング・パラメータαおよび大域的前方再整形関数の収集された属性が与えられて、ステップ510において、a）テンプレート前方関数を生成し、b）前方関数の生成後、対応するテンプレート後方整形関数を生成する。最後に、所望される関数の数（L）および最適化制約条件、たとえば全体的な明るさを維持することを与えられて、ステップ515は、テンプレート前方および後方再整形関数に基づいて、局所前方および後方再整形関数のファミリーを生成する。

例示的なコンピュータ・システム実装
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されるシステム、集積回路（IC）、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他の構成可能またはプログラマブルなロジック・デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはそれらのシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、ここに記載されるようなブラインド局所再整形に関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、ここに記載されるようなブラインド局所再整形に関連する多様なパラメータまたは値の任意のものを計算することができる。画像およびビデオのダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装されうる。

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを含む。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における一つまたは複数のプロセッサは、該プロセッサにとってアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述したようなブラインド局所再整形のための方法を実装することができる。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されると、該データ・プロセッサに本発明の方法を実行させる命令を含む一組のコンピュータ読み取り可能な信号を担持する任意の非一時的かつ有形の媒体を含んでいてもよい。本発明によるプログラム・プロダクトは、幅広い多様な非一時的かつ有形の形のいずれかであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体等の物理的な媒体を含むことができる。

プログラム・プロダクト上のコンピュータ読み取り可能信号は、任意的に、圧縮または暗号化されてもよい。コンポーネント（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、該コンポーネントへの言及（「手段」への言及を含む）は、本発明の示されている例示的実施形態において機能を実行する開示された構造と構造的に等価でない構成要素を含む、記載された構成要素の機能を実行する（たとえば、機能的に同等である）任意の構成要素を、当該構成要素の等価物として含むものとして解釈されるべきである。

等価物、拡張、代替物およびその他
よって、HDR画像のためのブラインド局所再整形に関連する例示的な実施形態が記載される。上記の明細において、本発明の実施形態は、実装毎に変化しうる多数の個別的詳細を参照して説明されてきた。何が本発明であり、出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは属性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

Claims (13)

1. 2つ以上の局所後方再整形関数の集合および2つ以上の局所前方再整形関数の集合を使って、再構成された画像を生成する方法であって、当該方法は：
   第1のダイナミックレンジにおける入力再整形画像（156）を受領する段階と；
   第1の後方マッピング・インデックス（BMI）アレイを初期化する段階（305）であって、前記第1のBMIアレイの各要素は、前記入力再整形画像のピクセルに対応し、2つ以上の局所後方再整形関数の前記集合における局所後方再整形関数のインデックスを示し、局所後方再整形関数は、前記第1のダイナミックレンジからのピクセル値を第2のダイナミックレンジにおけるピクセル値にマッピングする、段階と；
   前記第2のダイナミックレンジにおける出力再構成画像を生成するために一つまたは複数の反復工程を実行する段階とを含み、反復工程は：
   ｉ）前記第1のBMIアレイに従って前記入力再整形画像に2つ以上の局所後方再整形関数の前記集合を適用することによって前記第2のダイナミックレンジにおける第1の再構成された画像を生成する段階（310）と；
   ii）前記第1の再構成された画像をFMI生成関数への入力として使って、第1の前方マッピング・インデックス（FMI）アレイを生成する段階（315）であって、前記第1のFMIアレイの各要素は、前記第1の再構成された画像におけるピクセルに対応し、2つ以上の局所前方再整形関数の前記集合における局所前方再整形関数のインデックスを示し、局所前方再整形関数は、前記第2のダイナミックレンジからのピクセル値を前記第1のダイナミックレンジにおけるピクセル値にマッピングする、段階と；
   iii）前記入力再整形画像および前記第1の再構成された画像の両方における同じピクセルに対応する前記第1のBMIアレイおよび前記第1のFMIアレイの要素の間の差に基づく第1の誤差メトリックに従って、マッピング・インデックス誤差を生成する段階と；
   iv）前記第1のBMIアレイおよび前記マッピング・インデックス誤差に基づいて、第2のBMIアレイを生成する段階（325）と；
   v）前記第2のBMIアレイに従って前記入力再整形画像に局所後方再整形関数の前記集合を適用することによって、前記第2のダイナミックレンジにおける第2の再構成された画像を生成する段階（330）と；
   vi）前記第2の再構成された画像を前記FMI生成関数への入力として使って、第2のFMIアレイを生成する段階（335）と；
   vii）前記第2のFMIアレイに従って前記第2の再構成された画像に局所前方再整形関数の前記集合を適用することによって前記第1のダイナミックレンジにおける推定再整形画像を生成する段階（340）と；
   viii）前記推定再整形画像と前記入力再整形画像との差に基づく第2の誤差メトリックに従って、再整形画像誤差を生成する段階と；
   ix）前記再整形画像誤差と前記マッピング・インデックス誤差の組み合わせが収束基準を満たすかどうかを試験する段階であって：
   前記収束基準が満たされている場合、前記反復工程を終了し、前記第2の再構成された画像を前記出力再構成画像として出力し；
   そうでない場合：
   前記第2のBMIアレイの要素および前記再整形画像誤差に基づいて、前記BMIアレイの要素を置換し（360）；
   もう一つの反復工程を実行する、段階とを含む、
   方法。
2. 前記第1のBMIアレイのすべての要素は、定数値に初期化される、請求項１に記載の方法。
3. L個の局所後方再整形関数の集合について、前記第1のBMIアレイのすべての要素がL/2に初期化される、請求項２に記載の方法。
4. 前記第1の再構成された画像内のピクセル値について、前記FMI生成関数は、前記第1の再構成された画像内の該ピクセル値を囲む一つまたは複数のピクセルの輝度属性に従って、値を前記FMIアレイの対応する要素に割り当てる、請求項１ないし３のうちいずれか一項に記載の方法。
5. 前記FMI生成関数は、
   

   

   を計算することを含み、
   ここで、k番目の反復工程について、tは時間に関係するインデックスを表し、m_t,i ^(k)はi番目のFMIアレイ値を表し、＾v_t,i ^(k)は前記第1の再構成された画像のi番目のピクセル値を表し、G₁()は＾v_t,i ^(k)を囲む輝度値の関数を含み、G₂()は前記G₁()関数の出力を0からL－1までの間に制約する量子化器を含み、ここで、Lは局所前方再整形関数の数を表す、
   請求項１ないし４のうちいずれか一項に記載の方法。
6. G₁()が低域通過フィルタまたはガウスぼかしフィルタを含む、請求項５に記載の方法。
7. 前記第1の誤差メトリックは、前記入力再整形画像および前記第1の再構成された画像の両方における同じピクセルに対応する前記第1のBMIアレイおよび前記第1のFMIアレイの要素の間の前記差の平均絶対誤差または平均二乗誤差である、請求項１ないし６のうちいずれか一項に記載の方法。
8. 前記第2の誤差メトリックは、前記推定再整形画像および前記入力再整形画像の対応するピクセルの間の差の平均絶対誤差または平均二乗誤差である、請求項１ないし７のうちいずれか一項に記載の方法。
9. k番目の反復工程において、前記第2のBMIアレイの要素n'_t,i ^(k)を生成することが
   

   

   を計算することを含み、
   ここで、n_t,i ^(k)は前記第1のBMIアレイの要素を表し、Δmn_t,i ^(k)はマッピング・インデックス誤差を表し、α₁はスケーリング因子を示し、h()は丸め関数を示す、
   請求項１ないし８のうちいずれか一項に記載の方法。
10. k番目の反復工程において、前記収束基準は、前記マッピング・インデックス誤差および前記再整形画像誤差の重み付けされた和を計算し、前記重み付けされた和が逐次反復閾値よりも低いかどうかを試験することを含む、請求項１ないし９のうちいずれかに記載の方法。
11. 一つまたは複数の前方再整形関数の前記集合を生成することを：
    大域的前方再整形関数にアクセスする段階と；
    前記大域的前方再整形関数のための属性値を生成する段階であって、前記属性値は、前記第2のダイナミックレンジにおけるその関数の非平坦領域、前記第2のダイナミックレンジにおける前記関数の非平坦領域の中間点、および前記第2のダイナミックレンジにおける暗部およびハイライトのための平坦領域のうちの一つまたは複数を含む、段階と；
    前記大域的前方再整形関数、前記属性値、および非平坦領域スケーリング因子に基づいてテンプレート前方再整形関数を生成する段階と；
    前記テンプレート前方再整形関数の逆関数を計算することによって、テンプレート後方再整形関数を生成する段階と；
    前記第2のダイナミックレンジにおける輝度値のターゲット範囲に関連する局所前方再編成関数のために、
    前記テンプレート前方再整形関数をx軸シフト値だけシフトさせることによって、該局所前方再整形関数を生成する段階であって、前記x軸シフト値は、輝度値の前記ターゲット範囲について、前記局所前方再整形関数および前記大域的前方再整形関数を用いて対応する平均再整形出力値がほぼ等しくなるように決定される、段階と
    を実行することによって行うことをさらに含む、
    請求項１ないし１０のうちいずれか一項に記載の方法。
12. 請求項１ないし１１のうちいずれか一項に記載の方法を一つまたは複数のプロセッサで実行するためのコンピュータ実行可能命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体。
13. プロセッサを有しており、請求項１ないし１１のうちいずれか一項に記載の方法を実行するように構成されている装置。
    

Images