JP6502947B2

JP6502947B2 - 高ダイナミックレンジ画像をトーンマッピングする方法及びデバイス

Info

Publication number: JP6502947B2
Application number: JP2016542766A
Authority: JP
Inventors: ラセール，セバスティアン; オリヴィエ，ヤニック; ル，ラエンネック，ファブリス; トウゼ，デイビッド
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2013-12-27
Filing date: 2014-12-22
Publication date: 2019-04-17
Anticipated expiration: 2034-12-22
Also published as: TWI666921B; US20160345017A1; WO2015097168A1; US10003809B2; CN105850129B; CN105850129A; JP2017502353A; TW201537959A; KR20160102438A; EP3087740A1

Description

本発明は、概して、画像／ビデオのトーンマッピングに関係がある。特に、本発明の技術分野は、高ダイナミックレンジに属するピクセル値を有する画像のトーンマッピングに関連している。

本項目は、以下で記載及び／又は請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この議論は、本発明の様々な態様のより良い理解を助けるよう読者に背景情報を提供するのに有用であると信じられている。然るに、それらの記述は、この観点から読まれるべきであり、先行技術の承認としてではないことが理解されるべきである。

低ダイナミックレンジ画像（ＬＤＲ（Low-Dynamic-Range）画像）は、限られた数のビット（ほとんどの場合、８又は１０）により表現される輝度値を有する画像である。この限られた表現は、特に、暗い輝度範囲及び明るい輝度範囲において、小さな信号変動の正確なレンダリングを認めない。高ダイナミックレンジ画像（ＨＤＲ（High-Dynamic-Range）画像）では、信号表現は、その範囲全体にわたって信号の高い精度を維持するために拡張される。ＨＤＲ画像において、ピクセル値は、通常、浮動小数点フォーマット（夫々のコンポーネントについて３２ビット又は１６ビット、すなわち、浮動小数点又は半精度浮動小数点のいずれか一方。最も人気のあるフォーマットは、ＯｐｅｎＥＸＲ半精度浮動小数点フォーマット（ＲＧＢコンポーネントごとに１６ビット、すなわち、ピクセルごとに４８ビット）である。）で、あるいは、長い表現（通常は、少なくとも１６ビット）を持つ整数で、表現される。

本発明によって解決されるべき課題は、ＨＤＲ画像をＬＤＲ画像へ、あるいは、方法は画像ごとへ適用されるので、延長線上で考えてみると、ＨＤＲ画像のシーケンスをＬＤＲ画像のシーケンスへ、トーンマッピングする自動の又は半自動の方法を提供することである。

トーンマッピング方法は、例えば、従来のＬＤＲ準拠のディスプレイ上でＨＤＲ画像を見るために、あるいは、通常はブロードキャストシナリオで実行するデュアルカラーグレーディングにおいて、有用である。

通常、デュアルカラーグレーディングのアプローチは、ＨＤＲ画像（又は画像のシーケンス）を捕捉し、捕捉されたＨＤＲ画像にカラーグレーディングを施し、ＨＤＲ画像をＬＤＲ画像にトーンマッピングすることを含み、ＬＤＲ画像は次いでカラーグレーディングを施される。

実際のところ、トーンマッピングされたＬＤＲ画像は表示されるよう意図されるので、それは、基礎をなすＨＤＲシーンに適合した見ることができるＬＤＲシーンの基本原則を満たさなければならない。言い換えれば、トーンマッピングは、トーンマッピングされた画像への空間コヒーレンス、画像のシーケンスの中のトーンマッピングされた画像どうしの時間コヒーレンス、大域的な輝度コヒーレンス（すなわち、暗いＨＤＲシーンは暗いＬＤＲシーンをもたらし、その逆も同様である。）、及びＨＤＲ画像とトーンマッピングされた画像との間の色コヒーレンスを少なくとも保つべきである。すなわち、カラーグレーディングは、可能な限り保たれる。

デュアルカラーグレーディングのアプローチは、ＬＤＲ画像がカラーグレーディングのエキスパートの制御下で生成される場合に、ＬＤＲ画像の最も高い品質をもたらし、よって、自動的且つ系統だった方法の制御されていない望まれていない効果がないことを確かにする。しかし、それは、２つのワークフロー（１つはＨＤＲ用、もう１つはＬＤＲ用）を扱う必要があるので、二重のポストプロダクションリソースを要する。

それは、全ての使用ケースについて実際的ではない可能性があり、且つ、それは、ＨＤＲシーケンスのみがカラーグレーディングを施されている場合であり得る。当然、そのような場合に、全てのカスタマが表示のためにＨＤＲデバイスを備え付けられ得るわけではないので、見ることができるＬＤＲ画像を得ることが望ましい。それらのカスタマに手を差し伸べるために、ＬＤＲ画像は、余分の又は代替のカラーグレーディングなしで、すなわち、全てのコンテンツについて許容可能な品質を持ったＬＤＲ画像を提供する自動のトーンマッピング方法を使用することによって、生成されるべきである。

多くの局所的又は大域的トーンマッピングオペレータは、例えば、Reinhardによって定義されたトーンマッピングのように、先行技術において存在し、使用されてよい（Reinhard, E.，Stark, M.，Shirley, P.，及びFerwerda, J.，“Photographic tone reproduction for digital images”，ACM Transactions on Graphics 21（２００２年７月）、又はBoitard, R.，Bouatouch, K.，Cozot, R.，Thoreau, D.，及びGruson, A.，“Temporal coherency for video tone mapping”，In A. M. J. van Eijk，C. C. Davis，S. M. Hammel，及びA. K. Majumdar (Eds.)，Proc. SPIE 8499，Applications of Digital Image Processing，２０１２年，p.84990D-84990D-10）。

しかし、たとえ大域的トーンマッピングオペレータが輝度一貫性のような画像のシーケンスにわたる時間的特性を保つとしても、大域的トーンマッピングオペレータは、そのようなオペレータが、鮮明さの顕著な喪失なしで、より低いダイナミックで空間ディテールを表現することができないので、多くのダイナミックを持ったＨＤＲ画像のシーケンスに適用される場合に劇的に役に立たなくなり得る。

他方で、局所的トーンマッピングオペレータは、画像のシーケンスがある画像の局所的特性を捕捉するために局所的なピクセル近傍に基づくので、画像のシーケンスを扱う場合に有効ではなく、画像のシーケンスの全体的な輝度（時間的な輝度一貫性）を維持しない。結果として、時間的な輝度一貫性は、時間フィルタリングを適用するために、オブジェクト追跡又はフレームバッファリングのような付加的な複雑な処理を使用することによって得られる。

Reinhard, E.，Stark, M.，Shirley, P.，及びFerwerda, J.，"Photographic tone reproduction for digital images"，ACM Transactions on Graphics 21（２００２年７月） Boitard, R.，Bouatouch, K.，Cozot, R.，Thoreau, D.，及びGruson, A.，"Temporal coherency for video tone mapping"，In A. M. J. van Eijk，C. C. Davis，S. M. Hammel，及びA. K. Majumdar (Eds.)，Proc. SPIE 8499，Applications of Digital Image Processing，２０１２年，p.84990D-84990D-10

本発明は、画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法によって、先行技術の欠点の幾つかを改善することを目指す。

これは、見ることができるトーンマッピングされた画像、すなわち、トーンマッピングされた画像が、画像における原シーンと比較してまあまあ良く且つ一貫して、トーンマッピングされたシーンを芸術的にレンダリングするという意味における画像、を提供する。このようにして、この方法は、見ることができるトーンマッピングされた画像が、高ダイナミックレンジを扱うことができない従来の装置によって符号化／復号化及び／又は表示され得るので、上位互換性がある。

実施形態に従って、トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ（Slog）補正のいずれか一方を有する。

ガンマ補正及びエスログ補正は、暗情報及び明情報が失われないように、トーンマッピングされた画像を高い精度を有してもたらす。更には、ガンマ補正及びエスログ補正は、見ることができるトーンマッピングされた画像においてフラットなクリッピングされたエリアを回避する。

実施形態に従って、前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する。

前記画像の平均輝度値により前記バックライト画像を変調することは、前記画像と前記残像との間の大域的な輝度コヒーレンスを改善する。例えば、画像における明るい領域は、残像において明るく現れ、画像における暗い領域は、残像において暗く現れる。

実施形態に従って、前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する。

これは、画像について１バックライト画像でのミッドグレー（mid-gray-at-one backlight image）を得ることを可能にする。

実施形態に従って、当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する。

これは、トーンマッピングされた画像から得られた画像の平均グレーを、見るための及び潜在的に符号化するための十分な値に置く。

実施形態に従って、当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する。

前記トーンマッピングされた画像をクリッピングすることは、限られた数のビット（通常は、８〜１０ビット）が、クリッピングされたトーンマッピングされた画像を符号化又は表示するのに必要とされるので、従来のインフラストラクチャ（コーデック、ディスプレイ、分配チャネル、など）との上位互換性を確かにする。その場合に、例えば、符号化されたデータは、遠隔のディスプレイ上で画像の低ダイナミックレンジバージョンを表示するよう、そのようなインフラストラクチャにわたって送信されてよい。

その他の態様に従って、本発明は、画像をトーンマッピングするデバイスに関係がある。

本発明の特性並びに本発明の他の目的、利点、特徴及び使用は、添付の図面とともに読まれる好適な実施形態の以下の記載から明らかになるであろう。

実施形態は、次の図を参照して記載される。
本発明の実施形態に従って画像Ｉをトーンマッピングする方法のステップのブロック図を示す。本発明の実施形態に従う方法のステップのブロック図を示す。本発明の実施形態に従う方法のステップのブロック図を示す。本発明の実施形態に従う方法のステップのブロック図を示す。デバイスのアーキテクチャの例を示す。

本発明は、本発明の実施形態が示されている添付の図を参照して、以下で、より十分に記載される。本発明は、しかしながら、多くの代替の形態において具現されてよく、ここで示されている実施形態に制限されるものとして解釈されるべきではない。然るに、本発明は、様々な変更及び代替の形態の余地があり、一方、その具体的な実施形態は、図面において一例として示され、ここで詳細に記載される。なお、本発明を開示されている特定の形態に制限する意図はなく、それどころか、本発明は、特許請求の範囲で定義される本発明の主旨及び適用範囲内にある全ての変形、同等物及び代替案に及ぶべきことが理解されるべきである。同じ符号は、図の説明を通して同じ要素を参照する。

ここで使用される用語は、単に、特定の実施形態を記述することを目的とし、本発明の限定であるよう意図されない。ここで使用されるように、単数形（a、an及びthe）は、特段明記されない限りは、複数形も含むよう意図される。語「有する（comprises、comprising）」及び／又は「含む（includes、including）」は、本明細書において使用される場合に、述べられている機構、整数、ステップ、動作、要素及び／又はコンポーネントの存在を特定するが、１つ以上の他の機構、整数、ステップ、動作、要素、コンポーネント及び／又はそれらのグループの存在又は追加を除外しないことが理解される。更には、要素が他の要素に“応答する”又は“接続される”ものとして呼ばれる場合に、それは他の要素に直接に応答する又は接続されることができ、あるいは、介在する要素が存在してよい。対照的に、要素が他の要素に“直接に応答する”又は“直接に接続される”ものとして呼ばれる場合に、介在する要素は存在しない。ここで使用されるように、語「及び／又は（and/or）」は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含み、“／（/）”と省略されてよい。

たとえ語「第１（first）」、「第２（second）」などが様々な要素を記載するために使用され得るとしても、それらの要素はそのような語によって制限されるべきではないことが理解される。そのような語は、１つの要素を他と区別するためにのみ使用される。例えば、本開示の教示から外れることなしに、第１の要素は第２の要素と称されてよく、同様に、第２の要素は第１の要素と称されてよい。

たとえダイアグラムの幾つかが、通信の主方向を示すために通信経路上に矢印を含むとしても、通信は、表されている矢印とは逆方向において起こってよいことが理解されるべきである。

幾つかの実施形態は、ブロック図及び動作フローチャートに関連して記載される。ブロック図及び動作フローチャートにおいて、夫々のブロックは、回路素子、モジュール、あるいは、特定されている論理機能を実施する１つ以上の実行可能命令を含むコードの部分を表す。また、他の実施形態では、ブロックにおいて示されている機能は、示されている順序を外れて起こってよい点が留意されるべきである。例えば、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてよく、あるいは、ブロックは、関連する機能に応じて、ときどき逆の順序で実行されてよい。

「一実施形態」又は「実施形態」とのここでの言及は、実施形態に関連して記載されている特定の機構、構造、又は特性が、本発明の少なくとも１つの実施に含まれ得ることを意味する。明細書中の様々な箇所における「一実施形態において」又は「実施形態に従って」との言い回しの出現は、必ずしも全てが同じ実施形態に言及しているわけでも、他の実施形態と必然的に相互排他的な別個の又は代替の実施形態でもない。

特許請求の範囲において現れる参照符号は、単なる実例であって、特許請求の範囲の適用範囲に対して限定効果を有すべきではない。

明示的には記載されていないが、本実施形態及び変形例は、あらゆる組み合わせ又は部分的組み合わせにおいて用いられてよい。

本発明は、画像を符号化／復号化することについて記載されるが、シーケンスの各画像は後述されるように順次に符号化／復号化されるので、画像のシーケンス（ビデオ）の符号化／復号化に及ぶ。

図１は、本発明の実施形態に従って画像Ｉをトーンマッピングする方法のステップのブロック図を示す。

ステップ１０で、モジュールＩＣは、トーンマッピングされるべき画像Ｉの輝度成分Ｌ及び潜在的に少なくとも１つの色成分Ｃ（ｉ）を得る。

例えば、画像Ｉが色空間（Ｘ，Ｙ，Ｚ）に属する場合に、輝度成分Ｌは成分Ｙの変換ｆ（．）によって求められる。例えば、Ｌ＝ｆ（Ｙ）。

画像Ｉが色空間（Ｒ，Ｇ，Ｂ）に属する場合に、輝度成分Ｌは、例えば、７０９ガマットにおいて、

Ｌ＝０．２１２７×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ

によって与えられる線形結合により求められる。

ステップ１１で、モジュールＢＡＭは、画像Ｉの輝度成分Ｌからバックライト画像Ｂａｌを決定する。

図２で表されるステップ１１の実施形態に従って、モジュールＢＩは、バックライト画像Ｂａを、

Ｂａ＝Σ_ｉａ_ｉψ_ｉ（１）

によって与えられる形状関数ψ_ｉの加重線形結合であるとして決定する。ここで、ａ_ｉは重み係数である。

このように、輝度成分Ｌからバックライト画像Ｂａを得ることは、バックライト画像Ｂａｌが輝度成分Ｌに適合するために、最適な重み係数（更には、潜在的に、予め知られてない場合には、最適な形状関数）を見つけることにある。

重み係数ａ_ｉを見つけるためのよく知られた方法が多数存在する。例えば、１つは、バックライト画像Ｂａと輝度成分Ｌとの間の平均二乗誤差を最小限にするために最小平均二乗法を使用してよい。

本発明は、バックライト画像Ｂａを得るために如何なる具体的な方法にも制限されない。

形状関数は、表示バックライトの実際の物理応答（ＬＥＤの、例えば、その場合に、１つのＬＥＤの応答に対応する夫々の形状関数から作られる。）であってよく、あるいは、最善の状態で輝度成分に適合するために純粋な数学的構成であってよいことが知られ得る。

それらのサポート及びそれらのセンターのサイズは、形状関数の幾つかのパラメータであってよい。

例えば、それらのサポートが非常に大きい（事実上無限）場合に、一定のバックライト画像がまさに得られ、結果として起こるトーンマッピング方法は、その場合に、大域的トーンマッピングオペレータと同等である。反対に、非常に小さいサポートによれば、結果として起こるトーンマッピング方法は、その場合に、上述された局所的トーンマッピングオペレータの全ての欠点を伴った局所的トーンマッピングオペレータと同等である。

形状関数のサポートのサイズは、それが、局所的でありながら大きい近傍を有するスムース輝度ダイナミック低減を使用するので、実際には、大域的でも極めて局所的でもないトーンマッピング方法を得るために、選択される。

そのような形状関数の使用は、その局所サポートにより空間ディテールを犠牲にせずに非常に高いダイナミックを扱うことを可能にする。

この実施形態に従って、ステップ１１から出力されるバックライト画像Ｂａｌは、式（１）によって与えられるバックライト画像Ｂａである。

図３で表されるステップ１１の実施形態に従って、モジュールＢＭは、モジュールＨＬによって得られた画像Ｉの平均輝度値Ｌ_ｍｅａｎによりバックライト画像Ｂａ（式（１）によって与えられる。）を変調する。

この実施形態に従って、ステップ１１から出力されるバックライト画像Ｂａｌは、変調されたバックライト画像である。

実施形態に従って、モジュールＨＬは、全体の輝度成分Ｌにわたって平均輝度値Ｌ_ｍｅａｎを計算するよう構成される。

実施形態に従って、モジュールＨＬは、

Ｌ_ｍｅａｎ＝Ｅ（Ｌ^β）^１／β

によって平均輝度値Ｌ_ｍｅａｎを計算するよう構成される。ここで、βは、１に満たない係数であり、Ｅ（Ｘ）は、輝度成分Ｌの数学的期待値（平均）である。

この最後の実施形態は、画像Ｉが画像のシーケンスに属する場合に、非常に厄介である時間的な平均輝度の不安定さを通常もたらす極めて高い値を持った数個のピクセルによって平均輝度値Ｌ_ｍｅａｎが影響を及ぼされることを回避するので、有利である。

本発明は、平均輝度値Ｌ_ｍｅａｎを計算するための具体的な実施形態に制限されない。

図４で表されるこの実施形態の変形例に従って、モジュールＮは、画像について（画像が画像のシーケンスに属する場合には、全ての画像について）１バックライト画像でのミッドグレー（mid-gray-at-one backlight image）が得られるように、バックライト画像Ｂａ（式（１）によって与えられる。）をその平均値Ｅ（Ｂａ）によって正規化する：

Ｂａ_ｇｒａｙ＝Ｂａ／Ｅ（Ｂａ）。

次いで、モジュールＢＭは、次の式：

Ｂａｍｏｄ≒ｃｓｔ_ｍｏｄ・Ｌ_ｌｆ ^α・Ｂａ_ｇｒａｙ（２）

を使用することによって、画像Ｉの低空間周波数バージョンＬ_ｌｆにより１バックライト画像でのミッドグレーを変調するよう構成される。ここで、ｃｓｔ_ｍｏｄは、変調係数であり、αは、１に満たない（通常、１／３）他の変調係数である。

この変形例に従って、ステップ１１で出力されるバックライト画像Ｂａｌは、式（２）によって与えられる変調されたバックライト画像Ｂａ_ｍｏｄである。

変調係数ｃｓｔ_ｍｏｄは、残像について良好な外観輝度を得るよう調整され、バックライト画像を得るプロセスに大いに依拠する。例えば、最小平均二乗によって得られるバックライト画像について、ｃｓｔ_ｍｏｄ≒１．７。

実際に、線形性によって、バックライト画像を変調する全ての動作は、
（外１）

を得るように、係数ａ_ｉを新しい係数
（外２）

に変換する補正係数として、バックライト係数ａ_ｉに適用される。

ステップ１２で、残像Ｒｅｓは、画像をバックライト画像Ｂａｌで割ることで計算される。

もっと正確に言えば、モジュールＩＣから得られる画像Ｉの輝度成分Ｌ及び潜在的に夫々の色成分Ｃ（ｉ）は、バックライト画像Ｂａｌによって割られる。この除算はピクセルごとに行われる。

例えば、画像Ｉの成分Ｒ、Ｇ又はＢが色空間（Ｒ，Ｇ，Ｂ）において表現される場合に、成分Ｒ_ｒｅｓ、Ｇ_ｒｅｓ及びＢ_ｒｅｓは、次のように求められる：

Ｒ_ｒｅｓ＝Ｒ／Ｂａｌ，Ｇ_ｒｅｓ＝Ｇ／Ｂａｌ，Ｂ_ｒｅｓ＝Ｂ／Ｂａｌ

例えば、画像Ｉの成分Ｘ、Ｙ又はＺが色空間（Ｘ，Ｙ，Ｚ）において表現される場合に、成分Ｘ_ｒｅｓ、Ｙ_ｒｅｓ及びＺ_ｒｅｓは、次のように求められる：

Ｘ_ｒｅｓ＝Ｘ／Ｂａｌ，Ｙ_ｒｅｓ＝Ｙ／Ｂａｌ，Ｚ_ｒｅｓ＝Ｚ／Ｂａｌ。

ステップ１３で、トーンマッピングされた画像Ｒｅｓ_ｖは、残像Ｒｅｓをトーンマッピングすることで得られる。

残像Ｒｅｓは、そのダイナミックレンジが高すぎるので、且つ、この残像Ｒｅｓがあまりに可視的なアーチファクトを示すので、見ることができないと考えられる。残像をトーンマッピングすることは、そのような欠点のうちの少なくとも１つを改善する。

本発明は、如何なる具体的なトーンマッピングオペレータにも制限されない。

有利に、トーンマッピングオペレータは、原ＨＤＲ画像の再構成を可能にするために、可逆であるべきである。

ステップ１３の実施形態に従って、残像をトーンマッピングすることは、残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する。

トーンマッピングされた画像Ｒｅｓ_ｖは、次いで、例えば：

Ｒｅｓ_ｖ＝Ａ・Ｒｅｓ^γ

によって与えられる。ここで、Ａは一定値であり、γは、例えば、１／２．４に等しいγ曲線の係数である。

代替的に、トーンマッピングされた画像Ｒｅｓ_ｖは、例えば：

Ｒｅｓ_ｖ＝ａ・ｌｎ（Ｒｅｓ＋ｂ）＋ｃ

によって与えられる。ここで、ａ、ｂ及びｃは、０及び１が不変であるように決定されたエスログ曲線の係数である。エスログ曲線の導関数は、１を下回るガンマ曲線によって延長される場合に、１において連続的である。よって、ａ、ｂ及びｃは、パラメータγの関数である。

残像Ｒｅｓに対してガンマ補正を適用することは、暗領域を引っ張り出すが、激しく明るいピクセルを回避するほど十分にハイライトを下げない。

残像Ｒｅｓに対してエスログ補正を適用することは、十分にハイライトを下げるが、暗領域を引っ張り出さない。

次いで、ステップ１３の実施形態に従って、モジュールＴＭＯは、残像Ｒｅｓのピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を適用する。

例えば、残像Ｒｅｓのピクセル値が閾値（１に等しい。）を下回る場合に、ガンマ補正は適用され、そうでない場合に、エスログ補正は適用される。

構成によって、トーンマッピングされた画像Ｒｅｓ_ｖは、通常、画像Ｉの輝度に応じて１におおよそ近い平均値を有し、上記のガンマ−エスログ結合の使用を特に有効なものとする。

方法の実施形態に従って、ステップ１４で、モジュールＳＣＡは、トーンマッピングされた画像Ｒｅｓ_ｖの夫々の成分にスケーリング係数ｃｓｔ_{ｓｃａｌｉｎｇ}を乗じることによって、トーンマッピングされた画像Ｒｅｓ_ｖをスケーリングする。

スケーリングされたトーンマッピングされた画像Ｒｅｓ_ｓは、次いで、

Ｒｅｓ_ｓ＝ｃｓｔ_{ｓｃａｌｉｎｇ}・Ｒｅｓ_ｖ

によって与えられる。

望ましくは、スケーリング係数ｃｓｔ_{ｓｃａｌｉｎｇ}は、トーンマッピングされた画像Ｒｅｓ_ｖの値を０から最大値２^Ｎ−１の間でマッピングするよう定義される。ここで、Ｎは、例えば、エンコーダ又はディスプレイによる符号化のための入力として許されるビットの数である。

これは、当然ながら、値１（トーンマッピングされた画像Ｒｅｓ_ｖのおおよそ平均値である。）をミッドグレー値２^Ｎ−１にマッピングすることによって得られる。よって、標準的なビット数Ｎ＝８を有するトーンマッピングされた画像Ｒｅｓ_ｖについて、１２０に等しいスケーリング係数は、２^７＝１２８での中間グレーに極めて近づけられるので、非常に矛盾のない値である。

方法の実施形態に従って、ステップ１５で、モジュールＣＬＩは、トーンマッピングされが画像Ｒｅｓ_ｖをクリッピングして、そのダイナミックレンジを目標のダイナミックレンジＴＤＲに制限する。目標のダイナミックレンジＴＤＲは、例えば、エンコーダ又はディスプレイの性能に従って、定義される。

この最後の実施形態に従って、結果として起こる残像Ｒｅｓ_ｃは、方法の実施形態に従って、例えば：

Ｒｅｓ_ｃ＝ｍａｘ（２^Ｎ，Ｒｅｓ_ｖ）
Ｒｅｓ_ｃ＝ｍａｘ（２^Ｎ，Ｒｅｓ_ｓ）

によって与えられる。

本発明は、そのようなクリッピング（ｍａｘ（．））に制限されず、如何なる他のクリッピングにも及ぶ。

スケーリングの実施形態とクリッピングの実施形態とを組み合わせることは、方法の実施形態に従って、

Ｒｅｓ_ｓｃ＝ｍａｘ（２^Ｎ，ｃｓｔ_{ｓｃａｌｉｎｇ}×Ｒｅｓ_ｖ）、又は
Ｒｅｓ_ｓｃ＝ｍａｘ（２^Ｎ，ｃｓｔ_{ｓｃａｌｉｎｇ}×Ｒｅｓ_ｓ）

によって与えられる残像Ｒｅｓ_ｓｃをもたらす。

上記のトーンマッピング、スケーリング及びクリッピングは、パラメトリックプロセスである。パラメータは固定であってもなくてもよく、後者の場合に、パラメータ又はそれらの一部は、エンコーダによってビットストリームにおいて符号化され、且つ／あるいは、遠隔のディスプレイへ送信され、且つ／あるいは、局所又は遠隔のメモリから取得されてよい。

パラメータ、例えば、α、ｃｓｔ_ｍｏｄ、ｃｓｔ_{ｓｃａｌｉｎｇ}、γ、β、の選択は、ポストプロダクション及びカラーグレーディングにおけるエキスパートの好みに最も良く従うコンテンツに適するトーンマッピングの選択の余地を与えると考えられる。また、バックライトを生成するために使用される形状関数のポジション及びサイズは、選択され得る他のパラメータである。

他方で、普遍的なパラメータは、各種の画像の全てに受け入れられ得るように定義されてよい。これは、上記のパラメータがエンドユーザ又は何らかの他の局所若しくは外部の手段によって選択される半自動のパラメトリックトーンマッピングと対照的に、完全に自動のトーンマッピングをもたらす。

図１乃至４で、モジュールは機能ユニットであって、区別可能な物理ユニットと関係があってもなくてもよい。例えば、それらのモジュール又はそれらの一部は、唯一のコンポーネント若しくは回路において寄せ集められるか、あるいは、ソフトウェアの機能に寄与してよい。反対に、幾つかのモジュールは、場合によっては、別々の物理エンティティから成ってよい。本発明に従う装置は、純粋なハードウェアにより、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）又はＶＬＳＩ（Very Large Scale Integration）のような専用ハードウェアを用いて、あるいは、デバイスに埋め込まれた幾つかの組み込み型電子部品から、又はハードウェア及びソフトウェアコンポーネントの混合から、実装される。

図５は、図１乃至４で記載された方法を実装するよう構成され得るデバイス５０の例となるアーキテクチャを表す。

デバイス５０は、データ及びアドレスバス５１によって結合されている次の要素を有する：
・例えば、ＤＳＰ（すなわち、Digital Signal Processor）であるマイクロプロセッサ５２（又はＣＰＵ）；
・ＲＯＭ（すなわち、Read Only Memory）５３；
・ＲＡＭ（すなわち、Random Access Memory）５４；
・アプリケーションからの送信すべきデータの受信のためのＩ／Ｏインターフェイス５５；及び
・バッテリ５６。

変形例に従って、バッテリ５６はデバイスの外部にある。図５のそれらの要素の夫々は、当業者によく知られており、これ以上は開示されない。示されているメモリの夫々において、明細書中で使用される語「レジスタ（register）」は、小さい容量（数ビット）のエリアに、あるいは、非常に大きいエリア（例えば、プログラム全体又は受信若しくは復号される大量のデータ）に対応することができる。ＲＯＭ５３は、少なくともプログラム及びパラメータを有する。本発明に従う方法のアルゴリズムはＲＯＭ５３において記憶される。起動されるときに、ＣＰＵ５２は、プログラムをＲＡＭ５４にアップロードし、対応する命令を実行する。

ＲＡＭ５４は、レジスタにおいて、デバイス５０の起動後にアップロードされてＣＰＵ５２によって実行されるプログラムを、レジスタにおいて入力データを、レジスタにおいて、方法の異なる状態での中間データを、そして、レジスタにおいて、方法の実行に使用される他の変数を有する。

ここで記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられないとしても（例えば、方法又はデバイスとしてしか論じられないとしても）、論じられている特徴の実施は、他の形態（例えば、プログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッサのような装置において実施されてよい。プロセッサは、プロセッシングデバイス全般を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能なロジックデバイスを含む。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。

ここで記載される様々なプロセス及び機構の実施は、多種多様な設備又は用途、特に、例えば、設備又は用途において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスが含まれる。当然、設備は移動性であって、移動車両において設置さえされてよい。

加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、又はリードオンリーメモリ（“ＲＯＭ”））のようなプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、又は両者の組み合わせにおいて見つけられてよい。従って、プロセッサは、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイス、の両方と見なされてよい。更に、プロセッサ可読媒体は、命令に加えて、又はそれに代えて、実施によって生成されたデータ値を記憶してよい。

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載される実施の１つによって生成されたデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして運ぶよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶよう、フォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）、あるいは、ベースバンド信号として、フォーマットされてよい。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクにわたって送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。

実施形態に従って、Ｉ／Ｏインターフェイス５５は、図１乃至４に関して記載された方法によって使用されるパラメータの少なくとも１つを受けるよう構成される。例えば、パラメータは、知られている非適応的形状関数が使用される場合に重み係数
（外３）

に制限されるが、形状関数ψ_ｉは、例えば、より良い適合のためのいくらか最適な数学的構成の場合に、先験的に未知であってもよい。その場合に、形状関数ψ_ｉのポジション及びサポートのサイズは、パラメータであってよい。ガンマ曲線の係数γ、β、ｃｓｔ_ｍｏｄ、α、スケーリング係数ｃｓｔ_{ｓｃａｌｉｎｇ}、ビットの数Ｎも、本発明に従う、画像をトーンマッピングする方法のパラメータであってよい。

それらのパラメータの一部は、局所又は遠隔のメモリから得られるか、あるいは、デバイス５０のグラフィカルインターフェイスからエンドユーザによって選択されてよい。このように、トーンマッピング方法は、この方法のパラメータを得るために使用される方法に従って、自動又は半自動であってよい。

それらの受け取られるパラメータの一部は、遠隔のデバイスによって符号化されていてよい。その場合に、デバイス５０は、それらの受け取られたパラメータを復号するデコーダを有する。

多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施をもたらすよう、組み合わされ、補完され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造及びプロセスが、開示されているものに取って代わってよく、結果として起こる実施は、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じようにして、少なくとも実質的に同じ機能を実行すると理解する。然るに、それら及び他の実施は、本願によって考えられている。
ここで例としていくつかの付記を記載する。
（付記１）
画像をトーンマッピングする方法であって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有する、ことを特徴とする方法。
（付記２）
トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する、
付記１に記載の方法。
（付記３）
前記画像から前記バックライト画像を得ることは、
前記画像の輝度成分からバックライト画像を得ることと、
前記画像の平均輝度値により前記バックライト画像を変調することと
を有する、
付記１又は２に記載の方法。
（付記４）
前記画像から前記バックライト画像を得ることは、前記バックライト画像を変調する前に、該バックライト画像をその平均値によって正規化することを更に有する、
付記３に記載の方法。
（付記５）
当該方法は、前記トーンマッピングされた画像のスケーリングを更に有する、
付記１乃至４のうちいずれか一項に記載の方法。
（付記６）
当該方法は、前記トーンマッピングされた画像をクリッピングするステップを更に有する、
付記１乃至５のうちいずれか一項に記載の方法。
（付記７）
画像をトーンマッピングするデバイスであって、
前記画像から決定されるバックライト画像によって前記画像を割ることで残像を得る手段と、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得る手段と
を有するデバイス。
（付記８）
コンピュータデバイスで実行される場合に、付記１乃至６のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有する、
ことを特徴とするコンピュータプログラム製品。
（付記９）
コンピュータデバイスで実行される場合に、付記１乃至６のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体。

Claims

画像をトーンマッピングする方法であって、
バックライト画像によって前記画像を割ることで残像を得るステップと、
前記残像をトーンマッピングすることで、トーンマッピングされた画像を得るステップと
を有し、
前記バックライト画像は、前記画像の低空間周波数で変調された前記画像の輝度成分から決定され、前記変調された輝度成分は、前記画像に亘って前記輝度成分の平均値によって正規化される、ことを特徴とする方法。
前記バックライト画像は、形状関数の加重線形結合であり、前記加重線形結合の重み係数は、前記バックライト画像が前記輝度成分に適合するように決定される、請求項１に記載の画像をトーンマッピングする方法。
前記形状関数は、また、前記バックライト画像が前記輝度成分に適合するように、前記重み係数と共に决定される、請求項２に記載の画像をトーンマッピングする方法。
前記形状関数が、ディスプレイのバックライトの応答に対応する、請求項２に記載の画像をトーンマッピングする方法。
前記トーンマッピングは、前記残像のピクセル値に従ってガンマ補正又はエスログ補正のいずれか一方を有する、請求項１乃至４のいずれか１項に記載の方法。
画像をトーンマッピングするデバイスであって、請求項１乃至５のいずれか１項に従った方法を実行する手段を有する、デバイス。
コンピュータデバイスで実行される場合に、請求項１乃至５のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を有する、コンピュータプログラム。
コンピュータデバイスで実行される場合に、請求項１乃至５のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を記憶する非一時的な記憶媒体。