JP6461165B2 - 画像の逆トーンマッピングの方法 - Google Patents

画像の逆トーンマッピングの方法 Download PDF

Info

Publication number
JP6461165B2
JP6461165B2 JP2016543050A JP2016543050A JP6461165B2 JP 6461165 B2 JP6461165 B2 JP 6461165B2 JP 2016543050 A JP2016543050 A JP 2016543050A JP 2016543050 A JP2016543050 A JP 2016543050A JP 6461165 B2 JP6461165 B2 JP 6461165B2
Authority
JP
Japan
Prior art keywords
pixel
luminance
image
value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016543050A
Other languages
English (en)
Other versions
JP2017502602A (ja
Inventor
ポーリ，タニア
ラインハルト，エリック
シャマレ，クリステル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2017502602A publication Critical patent/JP2017502602A/ja
Application granted granted Critical
Publication of JP6461165B2 publication Critical patent/JP6461165B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、高ダイナミックレンジ・イメージングの分野に関し、特に、低ダイナミックレンジ・コンテンツのダイナミックレンジを拡張して特に高いピーク・ルミナンスをもつ表示装置のためのコンテンツを用意することの問題を扱う。
ディスプレイ技術における近年の進歩は、拡大された範囲の色、ルミナンスおよびコントラストが表示されることを許容しはじめている。
画像コンテンツのルミナンスまたは輝度範囲における拡大を許容する技術は高ダイナミックレンジ・イメージング（high dynamic range imaging）として知られており、しばしばHDRと略称される。HDR技術は、より広いダイナミックレンジのコンテンツを捕捉すること、処理すること、表示することに焦点を当てる。
いくつかのHDR表示装置が出現しており、増大したダイナミックレンジで画像を捕捉できる画像カメラが開発されつつあるが、まだ利用可能なHDRコンテンツは非常に限られている。近年の進展は、近い将来におけるHDRコンテンツのネイティブな捕捉を約束しているが、既存のコンテンツに対処するものではない。
従来の（以下では低ダイナミックレンジ（low dynamic range）を略してLDRと称される）コンテンツをHDR表示装置のために準備するために、リバースまたは逆トーンマッピング演算子（iTMO: inverse tone mapping operators）を用いることができる。そのようなアルゴリズムは、もとのシーンの見え方を復元または再生成することをねらいとして、画像コンテンツにおける色のルミナンス情報を処理する。典型的には、iTMOは従来の（すなわちLDR）画像を入力として取り、この画像の色のルミナンス・レンジをグローバルな仕方で拡張し、その後、ハイライトまたは明るい領域をローカルに処理して画像における色のHDRでの見え方を向上させる。
いくつかのiTMO解決策が存在しているが、それらはもとのシーンの見え方を知覚的に再現することに焦点を当てており、コンテンツについての厳しい仮定に依拠している。さらに、文献で提案されているたいていの拡張方法は、ダイナミックレンジの極端な増大に向けて最適化されている。
典型的には、HDRイメージングは、色のルミナンスの暗い値と明るい値との間のダイナミックレンジの拡大を、量子化ステップの数の増大と組み合わせたものによって定義される。ダイナミックレンジにおいてより極端な増大を達成するために、多くの方法は、グローバルな拡張を、ハイライトおよび画像の他の明るい領域の見え方を向上させるローカルな処理ステップと組み合わせる。文献において提案されている既知のグローバル拡張ステップは、逆シグモイドから線形または区分線形まで多様である。
画像における明るい局所的特徴を向上させるために、ルミナンス拡張マップを生成することが知られている。ここで、画像の各ピクセルは、このピクセルのルミナンスに適用する拡張値に関連付けられる。最も単純な場合には、画像中のクリッピングされた領域が検出され、次いでより急峻な拡張曲線を使って拡張されることができる。しかしながら、そのような解決策は、画像の見え方に対して十分な制御をもたらさない。
画像の色のルミナンスおよびコントラスト範囲を選択的かつ動的に再マッピングすることによって、画像の視覚的な魅力を向上させることをねらいとする新規なiTMOが必要とされている。
画像の色のルミナンスおよびコントラスト範囲を選択的かつ動的に再マッピングすることによって、画像の視覚的な魅力を向上させることが本発明の目的である。基本的に、画像の異なる部分について異なるルミナンス処理が必要とされると考えられる。ディスプレイ側ダイナミックレンジ拡張のコンテキストにおいてシーン基準の（scene-referred）データが利用可能でないときは、いかなるルミナンス拡張解決策でも、圧縮アーチファクトやノイズが増幅されないことを保証しつつできるだけもとのシーンの見え方を再現することの間のトレードオフにならざるをえない。よって、下記で提案される画像の逆トーンマッピングの方法では、レンジ拡張は空間的に変動し、よって画像コンテンツに完全に適合される。
したがって、本発明の主題は、ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングの方法であって：
・前記画像の各ピクセル（p）についてのピクセル拡張指数値（E'(p)）を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るステップと、
・前記画像の各ピクセル（p）についてのピクセル・ルミナンス向上値（Yenhance(p)）を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るステップと、
・前記画像の各ピクセル（p）のルミナンスY(p)を、前記ピクセルのルミナンスY(p)の、このピクセルについて得られたピクセル拡張指数値E'(p)乗と、前記ピクセルについて得られたピクセル・ルミナンス向上値Yenhance(p)の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスYexp(p)に逆トーンマッピングするステップとを含む方法である。
つまり、Yexp(p)＝Y(p)E'(p)×[Yenhance(p)]c
である。
指数パラメータcは、ピクセル・ルミナンス向上値によってもたらされる詳細の向上の量を制御する。したがって、cの値が大きくなるほど画像エッジのコントラストは徐々に増大する。c＝1.5の値が使われることが好ましい。
ピクセル拡張指数値を得るためにピクセルの空間的近傍においてルミナンス値の低域通過フィルタリングが実行されるので、各ピクセルは独自の拡張指数を得ることになる。したがって、この方法によって得られるルミナンス・レンジの拡張は空間的に変動し、画像コンテンツに適合される。
ピクセル・ルミナンス向上値を得るためにピクセルの空間的近傍においてルミナンス値の高周波数の抽出が実行されるので、各ピクセルは独自のルミナンス向上を得ることになり、そのようなルミナンス向上は有利には、ルミナンスを拡張するために実行されるルミナンス値の低域通過フィルタリングの空間的コンポーネントによって引き起こされる、画像の詳細の平滑化を少なくとも部分的に補償するよう適応される。
好ましくは、低域通過フィルタリングは、画像の明るいエリア内でのピクセルの色が、この画像のより暗いエリア内でのピクセルの色よりも向上されるよう、実行される。
好ましくは、前記ピクセル拡張指数値E'(p)は、前記低域通過フィルタリングされたルミナンス値を、得られる画像の平均拡張ルミナンスがもとの画像の平均ルミナンスにほぼ等しくなるようこれらの値が分布し直されるように再整形することによっても得られる。
第一の変形では、逆トーンマッピングされた画像が所与のピーク・ルミナンスDmaxをもつ表示装置上で再現されることが意図される場合、前記ピクセル拡張指数値E'(p)は、好ましくは、前記画像のピクセルにわたる最大ルミナンスmax(Y)の、この最大ルミナンスmax(Y)をもつピクセルについて得られたピクセル拡張指数値乗が、前記ピーク・ルミナンスDmaxに等しくなるよう、前記低域通過フィルタリングされたルミナンス値を再スケーリングすることによっても得られる。
つまり、たとえば、
Figure 0006461165
 である。ここで、E(p)はこのピクセルの空間的近傍においてピクセル（p）の色のルミナンス値を低域通過フィルタリングすることによって直接得られる値であり、αは全体的なルミナンス拡張を制御するために使用できる再スケーリング・パラメータである。したがって、項Dmaxにより、画像のルミナンス処理は、この画像を表示するために使われるHDR表示装置の機能、特にそのピーク・ルミナンスに依存する。
よって、本方法は、有利なことに、コンテンツ自身および表示装置のルミナンス・レンジの両方に適合し、ダイナミックレンジの控えめな増大が使用されるときの表示装置でさえ、コンテンツのHDR見え方の向上を許容する。
第二の変形では、前記ピクセル拡張指数値（E'(p)）は好ましくは、前記低域通過フィルタリングされたルミナンス値を、これらの値に適用される二次関数を通じて再整形することによって得られる。
好ましくは、各ピクセルのピクセル拡張指数値を計算するために、前記低域通過フィルタリングは、第一の変形では、前記ピクセルの前記空間的近傍において適用される第一のガウス関数および前記ピクセルの色のルミナンス値の近傍において適用される第二のガウス関数の積を計算することによって実行される。
つまり、該フィルタリングは、前記画像の空間領域で適用される第一のガウス関数と、ルミナンス・レンジ領域で適用される第二のガウス関数とを使って実行される。
好ましくは、第一のガウス関数の標準偏差σSの値は3以上である。
第二のガウス関数の標準偏差σrの値は、好ましくはテクスチャーおよびノイズをならすために十分大きい一方、画像のオブジェクト間のエッジにまたがることを避けるために十分小さいべきである。標準偏差σrの値は好ましくは0.1max(Y)から0.5max(Y)までの間で選ばれる。ここで、max(Y)はもとの画像の全ピクセルにわたる最大ルミナンスである。
好ましくは、ピクセル・ルミナンス向上値を計算するために、ルミナンス値の高周波数の前記抽出は、第二の低域通過フィルタリングを第三の低域通過フィルタリングで割った比を計算することによって実行される。ここで、第三の低域通過フィルタリングは、第二の低域通過フィルタリングより画像中のより多くの詳細を除去するよう構成される。
好ましくは、ピクセルのピクセル・ルミナンス向上値を計算するために、前記第二の低域通過フィルタリングは、第一の標準偏差をもち、前記ピクセルの近傍において適用される第三のガウス関数と、前記ピクセルの色のルミナンスの近傍で適用される第四のガウス関数との積を計算することによって実行され、前記第三の低域通過フィルタリングは、前記第三のガウス関数についての前記第一の標準偏差より高い第二の標準偏差をもって前記第二の低域通過フィルタリングを再び適用することによって得られる。
二度目に適用するときに第三のガウス関数の標準偏差のより高い値を使うことによって、第三の低域通過フィルタリングは、第二の低域通過フィルタリングより画像中の多くの詳細を除去する。したがって、得られた比は高域通過フィルタリングに対応する。
好ましくは、前記諸色のルミナンスはウェーブレット分解の増大していく諸レベルにエンコードされ、各レベルは少なくとも高周波数係数（LH）および低周波数係数（LL）をもち、各ピクセルのピクセル拡張指数値は、第二の変形では、前記ピクセル（p）の色のルミナンスをエンコードする最高レベルの低周波数係数A(p)＝LLに等しいとし、次いで前記ピクセルの前記空間的近傍において前記低域通過フィルタリングを実行して計算される。
好ましくは、ピクセルのピクセル・ルミナンス向上値の前記計算のために、前記ピクセルの前記近傍に位置されるピクセルのルミナンス値の高周波数の前記抽出は、前記ピクセルのルミナンスY(p)と前記ピクセルの前記低周波数係数A(p)との間の差を計算することによって実行される。
このように、ルミナンスのウェーブレット分解の前記（最高の）レベルの最低周波数サブバンドから除去される高周波数のみが、画像の詳細の向上のために保持される。
好ましくは、前記計算は、この差への指数係数の前記適用を含む。この指数係数は好ましくは2に等しい。
本発明の主題は、ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングのための画像処理装置であって：
・前記画像の各ピクセルについてのピクセル拡張指数値を、このピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るよう構成された低域通過フィルタリング・モジュールと、
・前記低域通過フィルタリング・モジュールによって与えられる前記低域通過フィルタリングされたルミナンス値を、再整形／再スケーリングするよう構成された再整形／再スケーリング・モジュールと、
・前記画像の各ピクセルについてのピクセル・ルミナンス向上値を、このピクセルのルミナンス近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るよう構成された高周波抽出モジュールと、
・前記画像の各ピクセルのルミナンスを、前記ピクセルのルミナンスの、前記再整形／再スケーリング・モジュールによってこのピクセルについて与えられたピクセル拡張指数値乗と、前記高周波抽出モジュールによって前記ピクセルについて与えられたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスに逆トーンマッピングするよう構成された逆トーンマッピング・モジュールとを有する装置でもある。
本発明は、付属の図面を参照し、限定しない例として与えられる以下の記述を読めばより明瞭に理解されるであろう。
本発明の第一および第二の実施形態に基づく種々のステップを示す図である。 逆トーンマッピングされる画像の色のYUV座標のウェーブレット分解を示す図である。 この画像のウェーブレット分解を示す図である。
図面に示されるさまざまな要素の機能は、専用のハードウェアを通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行できるハードウェアを通じて提供されてもよい。
本発明は、さまざまな形のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせで実装されうる。用語「プロセッサ」は、ソフトウェアを実行できるハードウェアのみを指すものと解釈するべきではなく、暗黙的に、限定するものではないが、デジタル信号プロセッサ（DSP）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）および不揮発性記憶を含んでいてもよい。本発明は、特に、ハードウェアおよびソフトウェアの組み合わせとして実装されてもよい。さらに、ソフトウェアは、プログラム記憶ユニット上に有体に具現されたアプリケーション・プログラムとして実装されてもよい。そのようなソフトウェアは、別のソフトウェアに統合されるプラグインの形を取ってもよい。アプリケーション・プログラムは、任意の好適なアーキテクチャを有する画像処理装置にアップロードされ、実行されてもよい。好ましくは、画像処理装置は、一つまたは複数の中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）および入出力（I/O）インターフェースといったハードウェアを有するコンピュータ・プラットフォーム上で実装される。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードをも含んでいてもよい。本稿に記載されるさまざまなプロセスおよび機能は、マイクロ命令コードの一部またはアプリケーション・プログラムの一部またはその任意の組み合わせであってもよく、CPUによって実行されてもよい。さらに、追加的なデータ記憶ユニット、表示装置、印刷ユニットなどといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されてもよい。本発明に基づく方法の実施形態を実装する画像処理装置は、画像を受領できる任意の電子装置、たとえばテレビ・セット、セットトップボックス、ゲートウェイ、携帯電話、タブレットの一部であってもよい。
ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングのための本画像処理装置は：
・この画像の各ピクセルについてのピクセル拡張指数値を、このピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るよう構成された低域通過フィルタリング・モジュールと、
・前記低域通過フィルタリング・モジュールによって与えられる前記低域通過フィルタリングされたルミナンス値を、再整形／再スケーリングするよう構成された再整形／再スケーリング・モジュールと、
・前記画像の各ピクセルについてのピクセル・ルミナンス向上値を、このピクセルの空間的近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るよう構成された高周波抽出モジュールと、
・前記画像の各ピクセルのルミナンスを、前記ピクセルのルミナンスの、前記再整形／再スケーリング・モジュールによってこのピクセルについて与えられたピクセル拡張指数値乗と、前記高周波抽出モジュールによって前記ピクセルについて与えられたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスに逆トーンマッピングするよう構成された逆トーンマッピング・モジュールとを有する。
画像の逆トーンマッピングの方法の第一の実施形態について、上記の画像処理装置を使って、ここで図１を参照して述べる。
たとえば画像受領器を使って、各ピクセルの色に関係したすべてのデータをもつ画像が受領される。ここで、この画像の各ピクセルに関連する色は三つの色座標、すなわち各色チャネルR、G、Bについて一つの色座標、にエンコードされている。
この実施形態の第一の準備段階（図１には示さず）では、これらの色の受領されたRGB色座標が、必要であれば、それ自身としては既知の仕方で、規格化され、任意的には線形化され、それにより、受領された画像の色は表示装置のRGB色空間で表現される。このRGB色空間は標準化されることができ、対応する表示装置は仮想的な表示装置である。次いで、これらの色は、ルミナンスをクロミナンスから分離する色空間、たとえばYUV色空間に変換される。RGB色空間からYUV色空間へのこの変換はそれ自身としては既知であり、よって詳細には述べない。ルミナンスをクロミナンスから分離する他の任意の色空間、たとえばXYZ、Yxy、CIE Labが代わりに使用されることができる。したがって、受領された画像の任意のピクセルpの色にルミナンス値Y(p)および二つのクロミナンス値U(p)、V(p)が関連付けられる。これから述べる逆トーンマッピングの方法の実施形態のねらいは、これらのルミナンス値Y(p)のそれぞれに指数値E'(p)を適用することによって、これらのルミナンス値を拡張されたルミナンス値に拡張することである。
この実施形態の第二段階では、低域通過フィルタリング・モジュールを使って、ルミナンス値Y(p)をもつ画像の各ピクセルpについて、中間的なピクセル拡張指数値E(p)が得られる。これは、ピクセルpの空間的近傍内および任意的にはルミナンス値Y(p)の近傍内でもある諸ピクセルのルミナンス値を低域通過フィルタリングすることによる。この低域通過フィルタリング段階は好ましくはガウス関数を使う。E(p)はたとえば次式を通じて得られる。
Figure 0006461165
 ここで、fsは画像の空間領域で適用される第一のガウス関数であり、frはルミナンス・レンジ領域で適用される第二のガウス関数であり、
Ωはピクセルpを中心とする前記画像の窓のサイズであり、
piはこの窓内のピクセルである。窓サイズはたとえば5または7であることができる。窓サイズの同様の値が計算効率のためには好ましい。
本発明に基づく方法のこの第一の実施形態では、低域通過フィルタリングは二側面フィルタ〔バイラテラル・フィルタ〕である。「二側面」〔バイラテラル〕という語は、ここではフィルタリングが空間領域およびルミナンス・レンジ領域の両方で実行されるという事実をいう。
好ましくは第一のガウス関数fsの標準偏差σsの値は2以上である。
第二のガウス関数frの標準偏差σrの値は好ましくは、もとの画像におけるテクスチャーおよびノイズをならすのに十分大きいが、この画像のオブジェクト間のエッジを横断するのを避けるには十分小さいべきである。標準偏差σrの値は好ましくは0.1max(Y)から0.5max(Y)までの間で選ばれる。ここで、max(Y)は、もとの画像の全ピクセルにわたる最大ルミナンス値である。
この第一の実施形態の特定の実装では、第一のガウス関数fsについての標準偏差はσs＝3に設定され、ルミナンス・レンジ・ガウス関数frについての標準偏差はσr＝0.3×max(Y)に設定された。
ここで、この低域通過フィルタリングを通じて得られるすべての中間的なピクセル拡張指数値は、中間的な拡張指数マップE(p)をなす。
再整形／再スケーリング・モジュールを使って、この実施形態の第三段階では、中間的な拡張指数マップは、当該画像にわたるピクセル拡張指数値の分布に依存するシグモイド関数を使って最終的な拡張指数マップに再整形される、および／または拡張された画像を再現するために使われる表示装置のピーク・ルミナンスに基づいて再スケーリングされる。
上記で計算されたピクセル拡張指数値は相対スケールでピクセル毎の拡張を示すが、これらの拡張値は、一組の制約条件に従うよう再スケーリングされる必要がある。逆トーンマッピング方法によって与えられるHDR画像を再現するために使用できるHDR表示装置の増大した能力にもかかわらず、この方法によって得られる拡張されたHDR画像における平均ルミナンスは好ましくは、もとのLDR画像のものと匹敵するレベルに維持されるべきである。同時に、ルミナンスの拡張は、ハイライトを適切に拡張するために、拡張されたHDR画像を再現するために使用される表示装置のピーク・ルミナンスDmaxを考慮に入れるべきである。したがって、この第三段階を通じて、再整形／再スケーリングされたピクセル拡張指数値E'(p)が次式を通じて得られる。
Figure 0006461165
 ここで、パラメータαはルミナンス拡張の全体的な挙動を制御するために使用されることができ、
E(p)は上記の第二段階で計算された中間的なピクセル拡張指数値であり、
max(E)は画像の全ピクセルにわたるE(p)の最大値であり、
項log(Dmax)/log(max(Y))はY(p)＝max(Y)であるときにY(p)E'(p)＝Dmaxとなることを許容する。
パラメータαの目的は、ルミナンス拡張がどのくらい「平坦」であるかを制御することである。これは、空間的に変動する拡張と一定の指数との間のバランスを取る重みである。αについての値が大きいほどルミナンス拡張は局所的になり、よってより極端な結果につながる。一方、αについての値が小さいほど、よりグローバルに近い拡張につながる。値α＝0.1が実際に、ハイライト拡張と中間トーンの効果的な管理との間の良好なトレードオフをもたらした。
この第一の実施形態のある特定の実装では、パラメータαは値α＝0.1に設定された。この値はハイライト拡張と中間トーンの効果的な管理との間の良好なトレードオフをもたらすからである。
ここで、すべての再整形／再スケーリングされたピクセル拡張指数値は最終的な拡張指数マップE'(p)をなす。
この実施形態の第四段階では、高周波抽出モジュールを使って、ルミナンス値Y(p)をもつ前記画像の各ピクセルpについてのピクセル・ルミナンス向上値Yenhance(p)を得るために、もとの画像におけるルミナンス値の高空間周波数が抽出される。この段階はたとえば、以下のような三つのサブステップを通じて実行される。
フィルタリングの第一サブステップでは、画像のルミナンスにおける大きな変動を含むがノイズまたは他の小さな特徴は除外する基本層Ybaseが、第一はピクセルpの空間的近傍におけるもの、第二はルミナンス値Y(p)の近傍におけるものである上記と同じガウス関数f's、f'rを使って、次のように計算される：
Figure 0006461165
 ここで、Ω'は、好ましくは上記と同じサイズをもつピクセルpを中心とする前記画像の窓のサイズであり、
piはこの窓内のピクセルである。
この第一の実施形態のこの特定の実装では、空間的ガウス関数f'sについての標準偏差は今やσ's＝10に設定され、ルミナンス・レンジ・ガウス関数f'rについての標準偏差はσ'r＝0.1×max(Y)に設定される。
フィルタリングの第二サブステップでは、第一サブステップによって得られた基本層Ybaseがやはりガウス関数を使って、だが画像中のより多くのルミナンス詳細を除去するためにルミナンス・レンジにおけるより大きな標準偏差を用いて、二度目にフィルタリングされ、次のようにY'baseを得る：
Figure 0006461165
 ここで、f"s、f"rは、第一はピクセルpの空間的近傍における、第二はルミナンス値Y(p)の近傍における上記と同じガウス関数であり、
ここで、Ω"は、好ましくは上記と同じサイズをもつピクセルpを中心とする前記画像の窓のサイズであり、
piはこの窓内のピクセルである。
任意的に、Y'base(p)は、最終的なHDR画像におけるノイズを最小にするために、上記で定義したE(p)に等しく設定されることができる。
この第一の実施形態のある特定の実装では、空間的ガウス関数f"sについての標準偏差は今やσ"s＝σ'sに設定され、ルミナンス・レンジ・ガウス関数f"rについての標準偏差は画像中のより多くのルミナンス詳細を除去するよう、すなわちσ"r＞σ'rとなるよう設定される。たとえば、σ"r＝0.3×max(Y)である。
画像中のルミナンス値の高周波数の抽出の第三にして最後のサブステップでは、画像の各ピクセルについて、ピクセル・ルミナンス向上値Yenhance(p)が、第一サブステップの結果Ybase(p)を第二サブステップの結果Y'base(p)で割った比として計算される。よって、Yenhance(p)＝Ybase(p)/Y'base(p)である。σ"r＞σ'rなので、この比は、画像中のルミナンス値の高空間周波数の抽出に対応する。本発明から外れることなく、画像中のルミナンス値の高空間周波数の抽出の他の方法が使用できる。
ここで、すべての最終的なピクセル・ルミナンス向上値は、ルミナンス値の高周波数の上記抽出のため、画像のルミナンス値に適用されたときにその詳細を向上させるルミナンス向上マップをなす。
この実施形態の第五段階では、逆トーンマッピング・モジュールを使って、画像の各ピクセルpのルミナンスY(p)は、このピクセルのルミナンスの、上記の第三段階からこのピクセルについて得られた最終的なピクセル拡張指数値E'(p)乗と、上記の第四段階からこのピクセルについて得られたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスYexp(p)に逆トーンマッピングされる。つまり、Yexp(p)＝Y(p)E'(p)×[Yenhance(p)]cである。
指数パラメータcは、ピクセル・ルミナンス向上値によってもたらされる詳細の向上の量を制御する。したがって、cの値が大きくなるほど画像エッジのコントラストは徐々に増大する。c＝1.5の値が使われることが好ましい。
上記のように画像のルミナンスを拡張するとき、ルミナンスおよびコントラストの変化が画像中の色の見え方および飽和度に影響することがある。そのルミナンス・レンジを拡張する間、画像の芸術的意図を保存するために、画像の色情報が、第六の任意的な段階において管理されてもよい。好ましくは、色の飽和度が、前記拡張指数値をガイドとして使って、向上される。より具体的には、各ピクセルの色の飽和度は、このピクセルの拡張指数に等しい因子によって向上される。ピクセルpの色の飽和度はたとえば、YUV空間の円筒バージョンにおいて次のように計算される、このピクセルのクロマ値C(p)を調整することによって向上される。
C(p)＝√（U(p)2＋V(p)2）
調整されたクロマ値C'(p)は、このピクセルpの拡張指数E'(p)とこのピクセルのクロマ値C(p)の積として、
C'(p)＝E'(p)×C(p)
のように計算される。
この実施形態の上記特定の実装では、C(p)をC'(p)に変換するクロマ・スケーリングは、ハイライトを過剰飽和させるのを避けるために、たとえば光の爆発および明るい光を避けるために、好ましくは1.5の因子に制限される。
C'(p)のこれらの新たな値を用いて、クロミナンスU'(p)、V'(p)の新たな値が、ここではLCHのような円筒形の色空間からYUV空間への変換の通常の仕方を使って、計算される。
U'(p)＝cos[H(p)]×C'(p)
V'(p)＝sin[H(p)]×C'(p)
ここで、H(p)はもとのU(p)およびV(p)から
H(p)＝arctan[V(p),U(p)]
のように計算されたもとの色相である。
第五段階または第六段階の終わりに、画像の各色のYUV座標は、YUV色空間における拡張された色を表わす新たなY'U'V'座標にマッピングされる。
この第一の実施形態の最後の第七段階（図１には示さず）では、拡張された色の新たなY'U'V'座標は、それ自身としては既知の仕方で、RGB色空間において同じ拡張された色を表わす対応する新たなR'G'B'座標に変換し戻される。必要であれば、上記の第一段階で色が受領された色空間において拡張された色を表現するよう、これらのR'G'B'座標は線形化解除される。
図１に示されるように、これらの拡張された色に基づく拡張された画像は今や、高ダイナミックレンジ内で再現されるために、ピーク・ルミナンスDmaxをもつ表示装置に送られる準備が整った。
〈利点〉
本発明に基づく方法を通じて得られる拡張された画像は、同じシーンのHDR画像の見え方に可能な限り近い。得られた拡張されたコンテンツは、たとえ控えめな拡張が適用できるだけの場合でも、LDR入力画像に比べてより高い視覚的品質である。このルミナンス拡張方法は、明るい画像特徴を向上させ、光源およびハイライトの見え方を見る者に伝え、一方、中間レンジ値を保存する。これら拡張された画像を再生するために使われる表示装置のルミナンス・レンジに依存して、暗い値は保存されてもよく、あるいは画像中のグローバル・コントラストを向上させるためにさらに圧縮されてもよい。
本発明に基づく方法は、色のルミナンスを拡張するために使われる拡張指数値を定義するために、空間領域における低域通過フィルタリング・プロセスを使う。この低域通過フィルタリング・プロセスは、画像のいくらかの詳細をならす。有利なことに、このような詳細の除去は、拡張されたルミナンスに適用されるルミナンス向上因子を得るために使われる高空間周波数の、空間領域における前記抽出によって補償される。換言すれば、ルミナンス値の低域通過フィルタリングの空間成分によって引き起こされる画像の詳細の平滑化を少なくとも部分的に補償するよう、ルミナンス値の高域通過フィルタリングの空間成分が実行される。
上記のようにルミナンスに対して二側面低域通過フィルタを使って、ノイズまたは帯生成アーチファクトのような小さな局所的詳細をならす一方で画像の明るい領域を優遇する拡張マップが得られる。これにより、ノイズやテクスチャー情報を増幅することなく、明るい領域を拡張できる。
実のところ、たいていの現行のHDR LCD表示装置の限界の一つは、これらの装置の空間的に変動するバックライトが、これらの装置の前面のLCDパネルに比べて相対的に低い解像度をもつということである。その結果、そのようなHDR表示装置は非常に高いグローバル・コントラストを達成できるが、局所的にはコントラストが悪くなる。これは特に、ハイライトのような画像の小さな高コントラスト・エリアにおいて、あるいは暗い領域と明るい領域の間の急な遷移において、目に見える。画像におけるコントラストを向上させるための多くの解決策が利用可能であるが、逆トーンマッピングのコンテキストでは、ノイズや他のアーチファクトまでも向上されないことを保証するよう特別な注意が必要とされる。画像の高空間周波数を抽出するための上記した二パスの二側面フィルタリング・プロセスは、ノイズおよびアーチファクトを向上させることなくコントラストを向上させるために特に好適である。
ピクセル拡張指数値E(p)が上記のように再整形された値E'(p)に再整形されるとき、得られる拡張された画像は、画像を再生するために使われる表示装置の利用可能なダイナミックレンジを最もよく活用する。
〈第一の実施形態の第一の変形〉
画像のシーケンス、すなわちビデオ・コンテンツの逆トーンマッピングについて、上記の方法の実施形態は、シーケンスのある画像から次の画像へと、逐次的に適用される。この方法がシーケンスの相続く各画像に独立に適用される場合、得られるHDRシーケンスの拡張された画像どうしの間の時間的なコヒーレンスを保証するのが難しいことがありうる。実のところ、シーンにおける明るいオブジェクトが動く場合、フリッカリング・アーチファクトが生じることがありうる。この問題を避けるため、拡張された映像の平均ルミナンスが一定のままであることを保証することによって、単純な時間的処理が適用されることが好ましい。上記の第一の実施形態において述べたように拡張されたルミナンス値Y'exp,iが得られた前記シーケンスの画像iについて、調整された拡張されたルミナンス値Y"exp,iが次のように計算され、拡張された画像についてY'exp,iの代わりに使われる：
Figure 0006461165
 一つのシーンにおける強い特徴が次のシーンに伝搬されないことを保証するために、すべてのカットの始まりにおいて平均はリセットされる。これは、既存のカット検出アルゴリズムを用いることによって達成できる。
〈第一の実施形態の第二の変形〉
この第二の変形は、上記の実施形態の第二段階において得られた中間的なピクセル拡張指数値E(p)からの再整形／再スケーリングされたピクセル拡張指数値E'(p)の計算に関する。ここでは、式
E'(p)＝a[E(p)]2＋b[E(p)]＋c
のように、中間的なピクセル拡張指数値E(p)の二次関数に従ってピクセル拡張指数値を再整形することが提案される。
この式において、E(p)は前の式におけるようにmax(E(p))によってスケーリングされないことを注意しておく。
第一の例では、上記の式におけるパラメータa,b,cは定数として設定され、特定の表示装置について最適化されることができる。
第二の例では、上記の式におけるパラメータa,b,cはDmaxに依存して計算されることができる。たとえばパラメータa,b,cの値を計算するために次式が使用される。
Figure 0006461165
 式(s-1)および(s-2)の定数に与えられる値の例を表１に示す。
Figure 0006461165
 第三の例では、パラメータa,b,cの値は、ピクセル拡張指数値E(p)自身の値に依存する。E(p)の暗い値についてとE(p)の明るい値についてとで異なるようにして、拡張後に得られる画像の陰およびハイライトをよりよく制御するためである。
ここで、この変形に基づくすべての再整形／再スケーリングされたピクセル拡張指数値は最終的な拡張指数マップE'(p)をなし、これが先のものを置き換える。
画像の逆トーンマッピングの方法の第二の実施形態が、ここで、上記のような、ただし本実施形態を実装するよう特に構成された画像処理装置を使って開示される。
第一の実施形態と比べると、違いは：
・各ピクセルpについて、ピクセル拡張指数値E'(p)を、前記ピクセルの空間的近傍におけるピクセルのルミナンス値を低域通過フィルタリングすることによって得る第二段階と、
・前記画像の各ピクセルpについてのピクセル・ルミナンス向上値Yenhance(p)を得るよう高空間周波数を抽出する第四段階
に関する点のみである。
この第二の実施形態では、色は、ルミナンスをクロミナンスから分離する色空間、たとえばYUV色空間においてこれらの色を表わす三つの色座標のセットとして受領される。ここでもまた、ルミナンスをクロミナンスから分離する他のいかなる色空間が代わりに使用されることもできる。したがって、画像の任意のピクセルpの色に、ルミナンス値Y(p)および二つのクロミナンス値U(p)、V(p)が関連付けられる。
より具体的には、三つの色座標のこれらのセットは、ウェーブレット圧縮の型の圧縮されたフォーマットのもとで受領される。したがって、色のルミナンスY(p)は、ウェーブレット分解の増大していく諸レベルにエンコードされ、各レベルは少なくとも高周波数係数LHおよび低周波数係数LLをもつ。このことはたとえば図２に記載される。ここで、LL、LH、HLおよびHHサブバンド・パーティションは、図３に描かれるように、それぞれ近似された画像および水平エッジ、垂直エッジおよび斜めエッジをもつ画像を示す。
ピクセル拡張指数マップおよびピクセル・ルミナンス向上マップを生成するために、この実施形態では、ウェーブレット分解の一つのレベルだけが使われる。
本方法の第二段階を実装するために、いわゆるハール・リフティング（Haar lifting）・ウェーブレット実装が使われ、ピクセルpのピクセル拡張指数値E(p)はLLサブバンドから得られる。hΨ(n)＝｛1/√2;1/√2｝およびhφ(n)＝｛1/√2;−1/√2｝は畳み込みフィルタである。
したがって、この実施形態の上記第二段階において、各ピクセルのピクセル拡張指数値は、このピクセルpの色のルミナンスをエンコードする最高レベルの低周波数係数A(p)＝LLに等しいとし、次いでこのピクセルの前記空間的近傍において低域通過フィルタリングを実行して計算される。
本方法の上記第四段階を実装するために、空間領域においてルミナンスの高周波数の前記抽出は、ピクセルpのルミナンスY(p)とこのピクセルの前記低周波数係数A(p)との間の差を計算することによって実行される。より精密には、4で割った解像度でのもとのルミナンスY(p)の低周波数バージョンA(p)であるLLサブバンドがアップサンプリングされ、次いでこのもとのルミナンスY(p)から減算されて、次のようにピクセル・ルミナンス向上値Yenhance(p)が得られる：Yenhance(p)＝（(Y(p)−cA(p)↑2)＋128）/255*2。
このように、LLサブバンドから除去された高周波数のみが、ルミナンス向上マップYenhanceの基礎を生成するために保持される。
他のすべての段階は、第一の実施形態において記載された段階と同様である。むろん、最後の第七段階はなくしてもよい。得られる拡張された色の新たなY'U'V'座標は、対応する新たなR'G'B'座標に変換される必要がないことがあるからである。
本発明は具体例および好ましい実施形態に関して記述されているが、本発明がこれらの例および実施形態に限定されないことは理解される。したがって、当業者には明らかであろうが、特許請求される本発明は、本稿に記載される具体例および好ましい実施形態からの変形を含む。個別的な実施形態のいくつかが別個に記述され、特許請求されることがありうるが、本願で記載され、特許請求される実施形態のさまざまな特徴が組み合わせて使われてもよいことは理解される。請求項に現われる参照符号は単に例であって、請求項の範囲に対して限定する効果はもたないものとする。
いくつかの付記を記載しておく。
〔付記１〕
ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングの方法であって：
・前記画像の各ピクセル（p）についてのピクセル拡張指数値E'(p)を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るステップと、
・前記画像の各ピクセル（p）についてのピクセル・ルミナンス向上値Y enhance (p)を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るステップと、
・前記画像の各ピクセル（p）のルミナンスY(p)を、前記ピクセルのルミナンスY(p)の、このピクセルについて得られたピクセル拡張指数値E'(p)乗と、前記ピクセルについて得られたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスY exp (p)に逆トーンマッピングするステップとを含む、
画像の逆トーンマッピングの方法。
〔付記２〕
前記ピクセル拡張指数値E'(p)は、前記低域通過フィルタリングされたルミナンス値を、得られる画像の平均拡張ルミナンスがもとの画像の平均ルミナンスにほぼ等しくなるようこれらの値が分布し直されるように再整形することにもよって得られる、付記１記載の画像の逆トーンマッピングの方法。
〔付記３〕
所与のピーク・ルミナンスD max をもつ表示装置上で再現されるよう適応された付記１または２記載の画像の逆トーンマッピングの方法であって、前記ピクセル拡張指数値E'(p)は、前記画像のピクセルにわたる最大ルミナンスmax(Y)の、この最大ルミナンスmax(Y)をもつピクセルについて得られたピクセル拡張指数値乗が、前記ピーク・ルミナンスD max に等しくなるよう、前記低域通過フィルタリングされたルミナンス値を再スケーリングすることにもよって得られる、画像の逆トーンマッピングの方法。
〔付記４〕
前記ピクセル拡張指数値E'(p)は、前記低域通過フィルタリングされたルミナンス値を、これらの値に適用される二次関数を通じて再整形することによって得られる、付記１または２記載の画像の逆トーンマッピングの方法。
〔付記５〕
各ピクセルのピクセル拡張指数値を計算するために、前記低域通過フィルタリングは、前記ピクセルの前記空間的近傍において適用される第一のガウス関数および前記ピクセルの色のルミナンス値の近傍において適用される第二のガウス関数の積を計算することによって実行される、付記１ないし４のうちいずれか一項記載の画像の逆トーンマッピングの方法。
〔付記６〕
ピクセル・ルミナンス向上値を計算するために、ルミナンス値の高周波数の前記抽出は、第二の低域通過フィルタリングを第三の低域通過フィルタリングで割った比を計算することによって実行され、前記第三の低域通過フィルタリングは、前記第二の低域通過フィルタリングより画像中のより多くの詳細を除去するよう構成される、付記５記載の画像の逆トーンマッピングの方法。
〔付記７〕
前記色のルミナンスはウェーブレット分解の増大していく諸レベルにエンコードされており、各レベルは少なくとも高周波数係数（LH）および低周波数係数（LL）をもち、
各ピクセルのピクセル拡張指数値は、前記ピクセル（p）の色のルミナンスをエンコードする最高レベルの低周波数係数A(p)＝LLに等しいとし、次いで前記ピクセルの前記空間的近傍において前記低域通過フィルタリングを実行して計算される、付記１ないし４のうちいずれか一項記載の画像の逆トーンマッピングの方法。
〔付記８〕
ピクセルのピクセル・ルミナンス向上値の前記計算のために、前記ピクセルの前記近傍に位置されるピクセルのルミナンス値の高周波数の前記抽出は、前記ピクセルのルミナンスY(p)と前記ピクセルの前記低周波数係数A(p)との間の差を計算することによって実行される、付記７記載の画像の逆トーンマッピングの方法。
〔付記９〕
ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングのための画像処理装置であって：
・前記画像の各ピクセルについてのピクセル拡張指数値を、このピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るよう構成された低域通過フィルタリング・モジュールと、
・前記低域通過フィルタリング・モジュールによって与えられる前記低域通過フィルタリングされたルミナンス値を、再整形／再スケーリングするよう構成された再整形／再スケーリング・モジュールと、
・前記画像の各ピクセルについてのピクセル・ルミナンス向上値を、このピクセルのルミナンス近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るよう構成された高周波抽出モジュールと、
・前記画像の各ピクセルのルミナンスを、前記ピクセルのルミナンスの、前記再整形／再スケーリング・モジュールによってこのピクセルについて与えられたピクセル拡張指数値乗と、前記高周波抽出モジュールによって前記ピクセルについて与えられたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスに逆トーンマッピングするよう構成された逆トーンマッピング・モジュールとを有する、
画像処理装置。

Claims (12)

  1. ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングの方法であって：
    ・前記画像の各ピクセル（p）についてのピクセル拡張指数値E'(p)を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るステップと、
    ・前記画像の各ピクセル（p）についてのピクセル・ルミナンス向上値Yenhance(p)を、前記ピクセルの空間的近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るステップと、
    ・前記画像の各ピクセル（p）のルミナンスY(p)を、前記ピクセルのルミナンスY(p)の、このピクセルについて得られたピクセル拡張指数値E'(p)乗と、前記ピクセルについて得られたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスYexp(p)に逆トーンマッピングするステップとを含む、
    画像の逆トーンマッピングの方法。
  2. 前記ピクセル拡張指数値E'(p)は、前記低域通過フィルタリングされたルミナンス値を、得られる画像の平均拡張ルミナンスがもとの画像の平均ルミナンスにほぼ等しくなるようこれらの値が分布し直されるように再整形することにもよって得られる、請求項１記載の画像の逆トーンマッピングの方法。
  3. 所与のピーク・ルミナンスDmaxをもつ表示装置上で再現されるよう適応された請求項１または２記載の画像の逆トーンマッピングの方法であって、前記ピクセル拡張指数値E'(p)は、前記画像のピクセルにわたる最大ルミナンスmax(Y)の、この最大ルミナンスmax(Y)をもつピクセルについて得られたピクセル拡張指数値乗が、前記ピーク・ルミナンスDmaxにほぼ等しくなるよう、前記低域通過フィルタリングされたルミナンス値を再スケーリングすることにもよって得られる、画像の逆トーンマッピングの方法。
  4. 前記ピクセル拡張指数値E'(p)は、前記低域通過フィルタリングされたルミナンス値を、これらの値に適用される二次関数を通じて再整形することによって得られる、請求項１または２記載の画像の逆トーンマッピングの方法。
  5. 各ピクセルのピクセル拡張指数値を計算するために、前記低域通過フィルタリングは、前記ピクセルの前記空間的近傍において適用される第一のガウス関数および前記ピクセルの色のルミナンス値の近傍において適用される第二のガウス関数の積を計算することによって実行される、請求項１ないし４のうちいずれか一項記載の画像の逆トーンマッピングの方法。
  6. ピクセル・ルミナンス向上値を計算するために、ルミナンス値の高周波数の前記抽出は、第二の低域通過フィルタリングを第三の低域通過フィルタリングで割った比を計算することによって実行され、前記第三の低域通過フィルタリングは、前記第二の低域通過フィルタリングより画像中のより多くの詳細を除去するよう構成される、請求項５記載の画像の逆トーンマッピングの方法。
  7. 前記色のルミナンスはウェーブレット分解の増大していく諸レベルにエンコードされており、各レベルは少なくとも高周波数係数（LH）および低周波数係数（LL）をもち、
    各ピクセルのピクセル拡張指数値は、前記ピクセル（p）の色のルミナンスをエンコードする最高レベルの低周波数係数A(p)＝LLに等しいとし、次いで前記ピクセルの前記空間的近傍において前記低域通過フィルタリングを実行して計算される、請求項１ないし４のうちいずれか一項記載の画像の逆トーンマッピングの方法。
  8. ピクセルのピクセル・ルミナンス向上値の前記計算のために、前記ピクセルの前記近傍に位置されるピクセルのルミナンス値の高周波数の前記抽出は、前記ピクセルのルミナンスY(p)と前記ピクセルの前記低周波数係数A(p)との間の差を計算することによって実行される、請求項７記載の画像の逆トーンマッピングの方法。
  9. ルミナンスをクロミナンスから分離する色空間で色が表現されている画像の逆トーンマッピングのための画像処理装置であって：
    ・前記画像の各ピクセルについてのピクセル拡張指数値を、このピクセルの空間的近傍におけるピクセルの色のルミナンス値を低域通過フィルタリングすることによって得るよう構成された低域通過フィルタリング・モジュールと、
    ・前記低域通過フィルタリング・モジュールによって与えられる前記低域通過フィルタリングされたルミナンス値を、再整形／再スケーリングするよう構成された再整形／再スケーリング・モジュールと、
    ・前記画像の各ピクセルについてのピクセル・ルミナンス向上値を、このピクセルのルミナンス近傍におけるピクセルの色のルミナンス値の高周波数の抽出によって得るよう構成された高周波抽出モジュールと、
    ・前記画像の各ピクセルのルミナンスを、前記ピクセルのルミナンスの、前記再整形／再スケーリング・モジュールによってこのピクセルについて与えられたピクセル拡張指数値乗と、前記高周波抽出モジュールによって前記ピクセルについて与えられたピクセル・ルミナンス向上値の、1以上である指数パラメータc乗との積を通じて得られる拡張されたルミナンスに逆トーンマッピングするよう構成された逆トーンマッピング・モジュールとを有する、
    画像処理装置。
  10. 請求項９記載の画像処理装置を有する電子装置。
  11. 所与のピーク・ルミナンスD max をもち、前記逆トーンマッピングされた画像を表示するよう構成された表示装置と、前記ピクセル拡張指数値E'(p)を、前記画像のピクセルにわたる最大ルミナンスmax(Y)の、この最大ルミナンスmax(Y)をもつピクセルについて得られたピクセル拡張指数値乗が、前記ピーク・ルミナンスD max にほぼ等しくなるよう、前記低域通過フィルタリングされたルミナンス値を再スケーリングすることによって得るよう構成されたモジュールとをさらに有する、請求項１０記載の電子装置。
  12. プロセッサによって実行されたときに請求項１ないし８のうちいずれか一項記載の方法の段階を実行するためのプログラム・コード命令を有するコンピュータ・プログラム・プロダクト。
JP2016543050A 2013-12-27 2014-12-02 画像の逆トーンマッピングの方法 Active JP6461165B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306876.7 2013-12-27
EP13306876 2013-12-27
PCT/EP2014/076183 WO2015096955A1 (en) 2013-12-27 2014-12-02 Method for inverse tone mapping of an image

Publications (2)

Publication Number Publication Date
JP2017502602A JP2017502602A (ja) 2017-01-19
JP6461165B2 true JP6461165B2 (ja) 2019-01-30

Family

ID=50030037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016543050A Active JP6461165B2 (ja) 2013-12-27 2014-12-02 画像の逆トーンマッピングの方法

Country Status (8)

Country Link
US (1) US9911181B2 (ja)
EP (1) EP3087730B1 (ja)
JP (1) JP6461165B2 (ja)
KR (1) KR102234092B1 (ja)
CN (1) CN105850114B (ja)
ES (1) ES2690371T3 (ja)
PL (1) PL3087730T3 (ja)
WO (1) WO2015096955A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121059B2 (ja) * 2014-06-20 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｈｄｒｉの生成方法及び装置
US10609395B2 (en) * 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
EP3341913B1 (en) * 2015-08-25 2019-06-26 InterDigital VC Holdings, Inc. Inverse tone mapping based on luminance zones
EP3136736A1 (en) * 2015-08-25 2017-03-01 Thomson Licensing Method for inverse tone mapping of a sequence of images
EP3345155B1 (en) 2015-08-31 2019-06-26 InterDigital VC Holdings, Inc. Method and apparatus for inverse tone mapping
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
GB2549521A (en) * 2016-04-21 2017-10-25 British Broadcasting Corp Method and apparatus for conversion of dynamic range of video signals
WO2017190786A1 (en) 2016-05-04 2017-11-09 1/1Thomson Licensing Optimized content-adaptive inverse tone mapping for low to high dynamic range conversion
EP3249605A1 (en) 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
KR102552747B1 (ko) * 2016-06-28 2023-07-11 주식회사 엘엑스세미콘 역 톤 매핑 방법
US10275864B2 (en) * 2016-09-09 2019-04-30 Kabushiki Kaisha Toshiba Image processing device and image processing method
EP3340165A1 (en) * 2016-12-20 2018-06-27 Thomson Licensing Method of color gamut mapping input colors of an input ldr content into output colors forming an output hdr content
CN107045715B (zh) * 2017-02-22 2019-06-07 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
US10187637B2 (en) 2017-03-07 2019-01-22 Filmic Inc. Inductive micro-contrast evaluation method
EP3373585A1 (en) 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
EP3462743A1 (en) 2017-09-27 2019-04-03 Thomson Licensing Device and method for dynamic range expansion in a virtual reality scene
DE102017218072A1 (de) * 2017-10-11 2019-04-11 Robert Bosch Gmbh Verfahren zum Aufnehmen eines Bildes
EP3486865A1 (en) * 2017-11-20 2019-05-22 Thomson Licensing Method and device for inverse tone mapping
EP3503019A1 (en) 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
CN108305227A (zh) * 2018-01-23 2018-07-20 中国航空工业集团公司洛阳电光设备研究所 一种对比度不变的图像低亮度区域增强亮度的方法
EP3522107A1 (en) 2018-01-31 2019-08-07 InterDigital CE Patent Holdings Method and apparatus for generating hdr images with reduced clipped areas
KR102546990B1 (ko) 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
CN108761391B (zh) * 2018-05-29 2022-04-01 南京信息工程大学 一种模型类无设备目标定位方法
EP3594894A1 (en) 2018-07-11 2020-01-15 InterDigital VC Holdings, Inc. Tone-mapping of colors of a video content
CN109060806B (zh) * 2018-08-29 2019-09-13 陈青 箱子底端材料类型辨识机构
CN109274985B (zh) * 2018-10-12 2020-04-28 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备和存储介质
CN109544463A (zh) * 2018-10-17 2019-03-29 天津大学 基于图像内容的逆色调映射方法
CN113168672B (zh) * 2018-10-19 2024-02-02 高途乐公司 用于图像处理的色调映射和色调控制集成
KR102127760B1 (ko) 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
CN113728627B (zh) * 2019-04-26 2023-09-19 北京字节跳动网络技术有限公司 用于环路内重构的参数的预测
CN110223256A (zh) * 2019-06-10 2019-09-10 北京大学深圳研究生院 一种逆色调映射方法、装置及电子设备
CN112565645B (zh) * 2019-09-10 2023-07-25 瑞昱半导体股份有限公司 视角图像补偿方法与电路系统
CN110874816B (zh) * 2019-11-19 2023-07-04 抖音视界有限公司 一种图像处理方法、装置、移动终端及存储介质
EP4115383A1 (en) 2020-03-02 2023-01-11 InterDigital VC Holdings France Method and apparatus for inverse tone mapping
US20230267579A1 (en) 2020-06-26 2023-08-24 Interdigital Ce Patent Holdings, Sas Inverse tone mapping with adaptive bright-spot attenuation
CN111667541B (zh) * 2020-06-28 2023-07-18 北京美摄网络科技有限公司 图像颜色量化方法、装置、电子设备及存储介质
CN112200753B (zh) * 2020-10-30 2023-02-10 青岛海泰新光科技股份有限公司 一种图像宽动态范围的处理方法
EP4264537A1 (en) * 2020-12-21 2023-10-25 Fondation B-COM Converting an image into an output image having a higher dynamic range
CN113518185B (zh) * 2020-12-30 2022-08-05 腾讯科技（深圳）有限公司 视频转换处理方法、装置、计算机可读介质及电子设备
CN115018714A (zh) * 2021-03-05 2022-09-06 思特威(上海)电子科技股份有限公司 一种图像像素值映射方法、成像装置及计算机存储介质
US11544827B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Hue-based video enhancement and rendering
CN113570519B (zh) * 2021-07-27 2024-03-22 重庆金山医疗技术研究院有限公司 一种hdr图像快速映射显示方法
WO2023138913A1 (en) 2022-01-19 2023-07-27 Interdigital Vc Holdings France, Sas Expansion function selection in an inverse tone mapping process

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731823B1 (en) * 1999-12-22 2004-05-04 Eastman Kodak Company Method for enhancing the edge contrast of a digital image independently from the texture
JP4102985B2 (ja) * 2002-11-21 2008-06-18 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
KR101466596B1 (ko) 2006-11-27 2014-11-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
KR100900694B1 (ko) * 2007-06-27 2009-06-04 주식회사 코아로직 비선형 저조도 보정장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
US8233738B2 (en) 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US20090317017A1 (en) * 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
EP2204047B1 (en) 2007-10-16 2018-04-25 Thomson Licensing DTV Methods and apparatus for artifact removal for bit depth scalability
JP5188356B2 (ja) 2008-02-28 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 復号器において画像を逆トーンマッピングする方法
US8184693B2 (en) * 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
WO2010105036A1 (en) 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
GB2486348B (en) 2009-10-08 2014-11-12 Ibm Method and system for transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
WO2015113655A1 (en) * 2014-01-31 2015-08-06 Thomson Licensing Method for conversion of a saturated image into a non-saturated image
EP3136736A1 (en) * 2015-08-25 2017-03-01 Thomson Licensing Method for inverse tone mapping of a sequence of images
EP3139342A1 (en) * 2015-09-02 2017-03-08 Thomson Licensing Methods, systems and apparatus for over-exposure correction

Also Published As

Publication number Publication date
CN105850114A (zh) 2016-08-10
EP3087730A1 (en) 2016-11-02
WO2015096955A1 (en) 2015-07-02
KR20160102524A (ko) 2016-08-30
EP3087730B1 (en) 2018-08-01
US9911181B2 (en) 2018-03-06
US20160328830A1 (en) 2016-11-10
KR102234092B1 (ko) 2021-04-01
PL3087730T3 (pl) 2018-12-31
JP2017502602A (ja) 2017-01-19
CN105850114B (zh) 2019-05-21
ES2690371T3 (es) 2018-11-20

Similar Documents

Publication Publication Date Title
JP6461165B2 (ja) 画像の逆トーンマッピングの方法
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
US10013745B2 (en) Method for inverse tone mapping of a sequence of images
EP1242975B1 (en) Digital imaging
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
Lee et al. A space-variant luminance map based color image enhancement
US8059911B2 (en) Depth-based image enhancement
EP2852152A1 (en) Image processing method, apparatus and shooting terminal
WO2018031153A1 (en) Brightness control for spatially adaptive tone mapping of high dynamic range (hdr) images
WO2017091278A1 (en) Spatially adaptive tone mapping for display of high dynamic range (hdr) images
WO2014169579A1 (zh) 一种色彩增强方法及装置
CN111480177B (zh) 改进的逆色调映射方法和对应装置
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
CN113935911A (zh) 高动态范围视频图像处理方法、计算机装置及计算机可读存储介质
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
JP2024037722A (ja) コンテンツに基づく画像処理
WO2012056965A1 (ja) 画像処理装置、電子機器、画像処理方法
Lim et al. Denoising scheme for realistic digital photos from unknown sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181225

R150 Certificate of patent or registration of utility model

Ref document number: 6461165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250