JP2023554451A - 画像の、より高ダイナミックレンジを有する出力画像への変換 - Google Patents
画像の、より高ダイナミックレンジを有する出力画像への変換 Download PDFInfo
- Publication number
- JP2023554451A JP2023554451A JP2023537079A JP2023537079A JP2023554451A JP 2023554451 A JP2023554451 A JP 2023554451A JP 2023537079 A JP2023537079 A JP 2023537079A JP 2023537079 A JP2023537079 A JP 2023537079A JP 2023554451 A JP2023554451 A JP 2023554451A
- Authority
- JP
- Japan
- Prior art keywords
- peak
- brightness
- value
- image
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 description 97
- 230000003068 static effect Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
画像処理装置は、第一のダイナミックレンジを有する入力画像を第一のダイナミックレンジより高い第二のダイナミックレンジを有する出力画像に変換する。画像処理装置は、入力画像のあるピクセルに関連付けられる入力輝度値(Lsdr)を出力画像中のそれに対応するピクセルに関連付けられる出力輝度値(Lhdr)に変換するためのマッピングユニット(10)を含む。マッピングユニット(10)は、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、それによって第一の数値範囲中の最高値は連続増加関数によって第二の数値範囲の上限にマッピングされる。マッピングユニット(10)は、ピーク輝度(Ypeak)に応じて上限を調整するように構成される。入力画像を出力画像に変換する方法及び他の画像処理装置も提供される。
Description
本発明は画像処理の分野に関する。
より詳しくは、本発明は画像処理装置及び入力画像を出力画像に変換する方法に関する。
第一のダイナミックレンジ(例えば、「スタンダードダイナミックレンジ」すなわちSDR)を有する入力画像を、第一のダイナミックレンジより高い第二のダイナミックレンジ(例えば、「ハイダイナミックレンジ」すなわちHDR)を有する出力画像に変換するための画像処理装置が提案されている。このような変換は一般に、「トーン拡張」と呼ばれる。
このような画像処理装置では、入力画像のあるピクセルに関連付けられる入力輝度値を出力画像の中のそれに対応するピクセルに関連付けられる出力輝度値に変換するためのマッピングユニットが提供される。
マッピングユニットは、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、それによって第一の数値範囲内の最高値が連続増加関数によって第二の数値範囲の上限にマッピングされる。
この関数は一般に、第二のダイナミックレンジの広がりを利用するように設計される。従来、上限は出力画像をそこから得ることが意図されるHDRディスプレイにより実現可能な最大輝度に対応する。
これに関して、本発明は、第一のダイナミックレンジを有する入力画像を第一のダイナミックレンジより高い第二のダイナミックレンジを有する出力画像に変換するための画像処理装置を提供するものであり、画像処理装置は、入力画像のあるピクセルに関連付けられる入力輝度値を出力画像中のそれに対応するピクセルに関連付けられる出力輝度値に変換するためのマッピングユニットを含み、マッピングユニットは、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、第一の数値範囲中の最高値は連続増加関数によって第二の数値範囲の上限にマッピングされ、マッピングユニットは、ピーク輝度に応じて上限を調整するように構成されることを特徴とする。
上限が調整可能であるため、マッピング関数とその結果として得られるピーク輝度は、処理対象の画像に応じて(後で説明するように手作業で、又は自動的に)適応され得る。特に、本発明者らは、出力画像について得られる全ダイナミックレンジにわたって輝度をマッピングすることで、常に最も快適な結果が得られるとはかぎらないことに気付いた。
考え得る実施形態によれば、マッピングユニットは入力画像のピクセル値の関数としてピーク輝度を特定するモジュールを含み得る。上限とマッピング関数はそれゆえ、処理される画像の内容に応じて自動的に調整され得る。
ピーク輝度を特定するモジュールは、例えば、ピーク輝度を入力画像のピクセルにそれぞれ関連付けられる輝度値に基づいて特定するように構成される。
後述の実施形態によれば、ピーク値を特定するモジュールは、入力画像の明るさの値を評価して、前記値の関数として(例えば、減少関数として)ピーク輝度を特定するように構成される。
マッピングユニットはまた、ピーク輝度に応じて連続増加関数の少なくとも1つのパラメータを変化させるように構成され得て、例えばそれによって適用される連続増加関数の曲率はピーク値の関数として増大する。
後述の実装形態によれば、マッピングユニットは指数をピーク輝度に基づいて特定するモジュールと、前記指数を使って累乗するモジュールを含む。
この実装形態において、指数を特定するモジュールはすると、指数がピーク輝度の関数として増加するように構成され得る。
しかしながら、考え得る変形型によれば、マッピングユニットの他の計算モジュール(例えば、静的マッピングモジュール)は、ピーク輝度に応じて変化可能な処理を実行し得る。
マッピングユニットは、入力輝度値を中間輝度値に、例えばピーク輝度に応じたマッピング関数を適用することによって変換するように構成された(計算)モジュールを含み得る。上述の累乗モジュールは、この中間輝度値に適用され得る(すなわち、累乗モジュールは、上述の指数を使って中間輝度値を累乗する)。
本発明はまた、第一のダイナミックレンジを有する入力画像を、第一のダイナミックレンジより高い第二のダイナミックレンジを有する出力画像に変換する方法を提供するものであり、これは、入力画像のあるピクセルに関連付けられる入力輝度値を出力画像中のそれに対応するピクセルに関連付けられる出力輝度値に変換するステップを含み、変換するステップは、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するサブステップを含み、それによって第一の数値範囲の最高値は連続増加関数によって第二の数値範囲の上限にマッピングされ、上限はピーク輝度に応じて調整可能であることを特徴とする。
このような方法は、ピーク輝度を入力画像のピクセル値の関数として特定するステップをさらに含み得る。
ピーク輝度を特定するこのステップは、入力画像の明るさの値を評価するサブステップ及び/又はピーク輝度を前記値の関数として特定するサブステップを含み得る。
前述のように、連続増加関数のパラメータは、ピーク輝度に応じて変化可能であり得る。
最後に、本発明は、第一のダイナミックレンジを有する入力画像を、第一のダイナミックレンジより低い第二のダイナミックレンジを有する出力画像に変換するための画像処理装置を提供し、画像処理装置は、入力画像のあるピクセルに関連付けられる入力輝度値を出力画像中のそれに対応するピクセルに関連付けられる出力輝度値に変換するマッピングユニットを含み、マッピングユニットは、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、第一の数値範囲の上限は連続増加関数によって第二の数値範囲内の最高値にマッピングされ、マッピングユニットは、上限がピーク輝度に応じて調整可能であるように構成されることを特徴とする。
これらの装置及び方法のその他の考え得る特徴は、後述の本発明の考え得る実施形態の説明から明らかとなるであろう。
添付の図面に関する以下の説明により、本発明は、どのような構成であり、及びそれをどのように実現できるかが明らかとなるであろう。本発明は、図中に示された実施形態に限定されない。したがって、特許請求の範囲に明記されている特徴が参照符号を伴う場合、このような符号は特許請求の範囲をよりわかりやすくすることのみを目的として含められており、特許請求の範囲を一切限定しないことを理解されたい。
図1は、本発明による画像処理装置の例を示す。
この画像処理装置1は、実際には、プロセッサを含む電子装置と、プログラムコード命令であって、関係するプログラムコード命令がプロセッサにより実行されると、後述のモジュール及びユニットの動作と機能を実行するようになされたプログラムコード命令を記憶するメモリによって実装され得る。
以下の説明から明らかとなるように、画像処理装置1は、第一のダイナミックレンジΔsdr(例えば、スタンダードダイナミックレンジ、すなわちSDR)を有する入力画像Isdrを第二のダイナミックレンジΔhdr(例えば、ハイダイナミックレンジ、すなわちHDR)を有する出力画像Ihdrに変換するように設計され、第二のダイナミックレンジΔhdrは第一のダイナミックレンジΔsdrより(厳密に)高い。
第一のダイナミックレンジΔsdrを有する入力画像Isdrを、第一のダイナミックレンジΔsdrより高い第二のダイナミックレンジΔhdrを有する出力画像Ihdrに変換するこのようなプロセスは一般に、「トーン拡張」と呼ばれる。
入力画像Isdrは、各ピクセルpに関する複数の成分値Rp、Gp、Bpにより、入力画像Isdrのピクセル群(一般に、ピクセルのマトリクス)を使って表現される。
この例では、入力画像Isdrは各ピクセルpに関する3つの色成分Rp、Gp、Bp(すなわち、赤成分Rp、緑成分Gp、及び青成分Bp)により表現される。しかしながら、例えば各ピクセルpに関する輝度成分Ypと2つの色度成分Up、Vpを使用する等、入力画像Isdrについて他の表現も使用され得る。
図1においてわかるように、画像処理装置1は、入力画像Isdr、すなわち入力画像Isdrを表す成分値Rp、Gp、Bpを受け取る入力モジュール2を含む。実際には、入力画像Isdrを表す成分値Rp、Gp、Bpは、電子機器の他のモジュールから、又は外部の電子機器から(入力モジュール2と協働する通信回路を通じて)受け取られ得る。
画像処理装置1はまた、(各ピクセルpに関する)入力輝度値Lsdrを(関連するピクセルpの)成分値Rp、Gp、Bpに基づいて生成するように構成された画像作成モジュール4も含む。
画像作成モジュール4は入力輝度値Lsdrを成分値Rp、Gp、Bpに基づいて生成するために幾つかのステップ、例えばこのケースでは、
- 逆光電気伝達関数(すなわち、OETF-1)の適用、
- ITU-R BT.709標準表現からITU-R BT.2020標準表現への変換、
- ITU-R BT.2020標準表現からの輝度計算
を実行し得る。
- 逆光電気伝達関数(すなわち、OETF-1)の適用、
- ITU-R BT.709標準表現からITU-R BT.2020標準表現への変換、
- ITU-R BT.2020標準表現からの輝度計算
を実行し得る。
逆光電気伝達関数適用のステップにより、画像作成モジュール4により生成された入力輝度値Lsdrは入力画像Isdrの線形の輝度成分を表す。
画像処理装置は入力画像Isdrの何れかのピクセルに関連付けられる入力輝度値Lsdrを出力画像Ihdrのそれに対応するピクセルp’に関連付けられる出力輝度値Lhdrに変換するように設計されたマッピングユニット10(後でさらに説明する)を含む。
後述のように、マッピングユニット10は、第一の数値範囲[x0,x1]を第二の数値範囲[y0,y1]にマッピングする連続増加関数fYpeakを適用するように構成され、それによって第一の数値範囲内の最高値x1は連続増加関数fYpeakによって第二の数値範囲の上限y1にマッピングされる。上限y1は、画像処理装置のユーザにより選択されるか、入力画像Isdrに基づいて特定されるかの何れも可能なピーク輝度Ypeakに応じて(及びそれと相関して)調整可能である。
関数fYpeakが増加関数であるとは、第一の数値範囲[x0,x1]内の何れのペア(z1,z2)についても、z1≦z2、fYpeak(z1)≦fYpeak(z2)となることを意味する。
後でさらに説明するように、使用される連続増加関数fYpeakは、調整可能なピーク値Ypeakに応じて変化し、したがってfYpeakと表記される。
連続増加関数fYpeakは、例えば第一の数値範囲では凸状である。(連続増加関数fYpeakは特に、ピーク輝度Ypeakが後述の最大輝度Ymaxと等しいときに凸状となり得る。)このような関数により、ハイライト内で(シャドウ及びミッドトーンと比較して)より広いトーン拡張を提供し、(より広い)第二のダイナミックレンジΔhdrを利用することが可能となる。しかしながら、この効果はより低いピーク輝度Ypeakの値については希薄となり、これについては後で説明する。
このケースでは、連続増加関数fYpeakは各入力輝度値Lsdr(第一の数値範囲[x0,x1]に含まれ、特定のピクセルpに関連する)を出力輝度値Lhdr(第二の数値範囲[y0,y1]に含まれ、出力画像Ihdr内のそれに対応するピクセルp’に関連する)にマッピングする。
このケースでは、入力輝度値Lsdrは正規化され(すなわち、考え得る最大入力輝度値との比を表す)、それゆえx0=0及びx1=1となる。
マッピングユニット10の考え得る実施形態について、図2を参照しながら以下に説明する。
画像処理装置1は、出力画像Ihdrの各ピクセルp’について、関係するピクセルp’の成分値R’p’、G’p’、B’p’を、その関係するピクセルp’についてマッピングユニット10により生成された出力輝度値Lhdr及び入力画像Isdr内のそれに対応するピクセルpに関する成分値Rp、Gp、Bpに基づいて特定するように構成された画像生成モジュール6を含む。
成分値R’p’、G’p’、B’p’を出力輝度値Lhdrと成分値Rp、Gp、Bpに基づいて特定するために、画像生成モジュール6は例えば、
- 出力輝度値Lhdrを使って成分値Rp、Gp、Bpのスケーリングを行うステップ(スケーリングされた成分値は出力輝度値Lhdrを表す)、
- 色補正を行う(例えば、飽和調整による)、とり得るステップ、
- 光電気伝達関数(すなわち、OETF)を適用する、とり得るステップ
を実行する。
- 出力輝度値Lhdrを使って成分値Rp、Gp、Bpのスケーリングを行うステップ(スケーリングされた成分値は出力輝度値Lhdrを表す)、
- 色補正を行う(例えば、飽和調整による)、とり得るステップ、
- 光電気伝達関数(すなわち、OETF)を適用する、とり得るステップ
を実行する。
この例において、成分値R’p’、G’p’、B’p’は出力画像Ihdrの各ピクセルp’に関する3つの色成分R’p’、G’p’、B’p’(すなわち、赤成分R’p、緑成分G’p’、及び青成分B’p’)である。しかしながら、出力画像Ihdrについては他の表現も使用され得て、例えば各ピクセルp’に関する輝度成分Y’p’(この場合は関係するピクセルp’についてマッピングユニット10により生成された出力輝度値Lhdrと等しい可能性がある)及び2つの色度成分U’p’、V’p’が使用される。
画像処理装置1は、成分値R’p’、G’p’、B’p’を出力するための出力モジュール8を含み、これは例えば前述の電子機器の表示モジュールによってこの電子機器のスクリーン上に出力画像Ihdrを表示するために使用されるか、又は変形型として、外部の電子機器に(電子機器の通信回路を使って)転送される。
換言すれば、画像処理装置1を実装する電子機器は、出力画像Ihdrを表示するのに適したスクリーンを含む表示装置であり得る。しかしながら、変形型として、電子機器はディスプレイを持たない処理装置でもあり得、おそらく、出力画像Ihdrを表す成分値R’p’、G’p’、B’p’を外部の電子機器(出力画像Ihdrを表示するのに適したスクリーンを含み得る)に転送するための通信回路を備える。
図2は、マッピングユニット10の考え得る実施形態を示す。
マッピングユニット10は、ピーク輝度提供モジュール11と、静的マッピングモジュール12と、中心傾向評価モジュール14と、中心傾向補正モジュール15と、指数特定モジュール16と、適応型マッピングモジュール18と、を含む。
ピーク輝度提供モジュール11は、ピーク輝度Ypeakを提供するように構成される。このピーク輝度Ypeakは、第一の所定の値Yminと第二の所定の値Ymaxとの間で調整可能である。
(第二の)所定の値Ymaxはそれゆえ、調整可能なピーク輝度Ypeakの最大許容値であり、これは例えば、その上に出力画像Ihdrが表示されることになるディスプレイにより得られる最大輝度に対応し得る。現在のHDRディスプレイの場合、1000nits(すなわち、1000cd/m2)と等しい最大輝度Ymaxが使用される。
ピーク輝度Ypeakは調整可能であるため、これは勿論、最大許容、又は取得可能な輝度Ymaxとは異なり得る。
第一の所定の値Ymin(関係する画像処理装置の最小許容値に対応する)は、ヌル値(0cd/m2)又は比較的低い値(例えば100cd/m2~400cd/m2、ここでは200cd/m2)であり得る。
第一の実施形態において、ピーク輝度提供モジュール11は、ピーク輝度Ypeakを(マッピングユニット10のための入力として)受け取るように構成される。ピーク輝度Ypeakは例えば、画像処理装置1のユーザにより選択される。ピーク輝度Ypeakは、ユーザにより、例えば前述の電子機器のユーザインタフェースを介して入力され得て、その場合、ユーザインタフェースはその後、入力されたピーク輝度Ypeakを(ピーク輝度提供モジュール11を介して)マッピングユニット10に送信する。他の可能性によれば、ピーク輝度Ypeakは画像処理装置1の記憶ユニット内に保存され得て、その場合、ピーク輝度提供モジュール11はその後、記憶ユニットからピーク輝度Ypeakを読み出し得る
第二の実施形態において、ピーク輝度提供モジュール11はピーク値Ypeakを、例えば入力画像Isdrのピクセルにそれぞれ関連付けられる輝度値に基づいて、入力画像Isdrの内容(すなわち、ここではピクセル値)の関数として特定するように構成される。
このようなピーク輝度提供モジュール11の例示的実施形態について、図4を参照しながら後で説明する。
静的マッピングモジュール12は、(各ピクセルpについて)入力輝度値Lsdrを中間輝度値Lmに変換する。
このケースでは、中間輝度値Lmは、画像の内容にも(すなわち、入力画像Isdrのピクセル値にも)ピーク輝度Ypeakにも依存しない関数を適用することによって(このマッピングはそれゆえ、「静的」と考えられる)入力輝度値Lsdrから得られ、すなわちLm=h(Lsdr)である。しかしながら、関数hは他の条件にも適応させ得て、例えば出力画像Ihdrがその上に表示される予定のディスプレイの種類に依存する。
現在説明している例では、静的マッピングモジュール12は中間輝度値Lmを以下のように取得するように構成される。
式中、ma=1.5284、mb=0.5279、mc=0.7997である。
中心傾向評価モジュール14は、静的マッピングモジュール12により生成された中間輝度値Lmの(現在処理中の画像全体に関する)中心傾向の値Lmedを評価するように構成される。中心傾向のこの値Lmedはそれゆえ、処理中の画像のピクセル全部にそれぞれ関連付けられる中間輝度値Lmに基づいて特定される(すなわち、それぞれ入力画像Isdrの全ピクセルの入力輝度値Lsdrに基づいて静的マッピングモジュール12により生成される)。
この例では、中心傾向の値Lmedは、処理中の画像の全ピクセルの中間輝度値Lmの中央値である。
中心傾向補正モジュール15は、中心傾向評価モジュール14によって生成された中心傾向の値Lmedを特にピーク輝度Ypeakに基づいて補正して、中心傾向の補正後の値L’medを得るように構成される。
ここでは、正確には、中心傾向補正モジュール15は、中心傾向の値Lmedをピーク輝度Ypeakに基づいてスケールダウンして、中心傾向の補正後の値L’medを得るように構成される。
それに加えて、この例では、中心傾向補正モジュール15はまた、例えば中心傾向のスケールダウンされた値を所定の(無限小の)値L0に、そのスケールダウンされた値がこの所定の値L0未満である場合に置き換えることにより、ゼロと等しい中心傾向の補正後の値L’medを生成しないように構成される(後述のように指数を特定する際のエラーを避けるため)。
それゆえ、この例において、中心傾向補正モジュール15は、中心傾向の補正後の値L’medを以下のように特定する。
L’med=max(Lmed *Ypeak/Ymax,L0)
式中、max(I,I’)は、数IとI’との間の最大値を生成する演算子である。
L’med=max(Lmed *Ypeak/Ymax,L0)
式中、max(I,I’)は、数IとI’との間の最大値を生成する演算子である。
指数特定モジュール16は、指数γを、ピーク輝度値Ypeakと処理中の画像の輝度の中心傾向の値、ここでは中心傾向補正モジュール15により生成された中心傾向の補正後の値L’medに基づいて特定するように構成される。
この実施形態において、指数特定モジュール16は、中心傾向のある(ここでは補正後の)値L’medについて、特定された指数γがピーク値Ypeakの関数として増大することになるように構成される。
現在説明している例では、指数特定モジュール16は指数γを以下のように特定するように構成される。
式中、gはゲインパラメータ(例えば、g=0.06)、oはオフセット(例えば、o=1)、
である。
それゆえ、この例では、指数は第一の項と第二の項δの合計であり、第一の項は入力画像Isdrの輝度の中心傾向の(ここでは補正後の)値L’medの関数として減少し、及び/又は第二の項δはピーク輝度Ypeakの関数として増加する。ここでは、第二の項δは中心傾向の補正後の値L’medの関数としては変化しないことに気付くかもしれない。このケースでは、第二の項δは正ではない数であり、及び/又はピーク輝度Ypeakが最大輝度Ymaxと等しいときにゼロと等しい。
適応型マッピングモジュール18は、(出力画像Ihdrの各ピクセルp’に関する)出力輝度値Lhdrを、(対応するピクセルpの)中間輝度値Lm、ピーク値Ypeak、及び指数γに基づいて生成するように構成される。
このケースでは、適応型マッピングモジュール18はより正確には、中間輝度値Lmから導出される数値、ここでは中間輝度値Lmに比例する数値を、指数γを使って累乗するように構成される。
適応型マッピングモジュール18はここでは、生成された出力輝度値Lhdrが第二の数値範囲[y0,y1]内にある、すなわち特に、ピーク輝度Ypeakに依存する上限y1より低いかそれと等しくなるように設計される。上限y1は例えば、ピーク輝度Ypeakに依存する。上限y1は例えば、ピーク輝度Ypeakに比例する。このケースでは、上限y1はピーク輝度Ypeakと最大輝度Ymaxとの比と等しく、すなわち、y1=Ypeak/Ymaxである。
ここで説明する例において、適応型マッピングモジュール18は、出力輝度値Lhdrを以下のように特定するように構成される。
実際には、これは、まず中間輝度値Lmに係数mscale(
)を乗じて、その後、結果として得られた(乗算された)数値を指数γで累乗することによって実行できる。
考え得る変形型によれば、適応型マッピングモジュール18は、上述のように指数γを使って中間値Lmから導出された値を累乗するようになされ得るが、追加的に特定のモジュールを使用して、累乗された値をスケーリング(例えば、スケールダウン)して、生成された出力輝度値Lhdrが第二の数値範囲[y0,y1]内にある、すなわち特に、ピーク輝度Ypeakに依存する上限y1より低い(又はそれと等しくなる)ようにすることもできる。
図3は、マッピングユニット10により使用される連続増加関数の例を表す曲線を示す。
曲線C1(破線で示される)は、Ypeak=Ymax(すなわち、ここではYpeak=1000cd/m2)であるときにマッピングユニット10により使用される連続増加関数fYmaxを表す。
曲線C2(実線で示される)は、Ypeak=0.4.Ymax(すなわち、ここでは、Ypeak=400cd/m2)であるときにマッピングユニット10により使用される連続増加関数fYpeakを表す。
比較しやすいように、曲線C’(一点鎖線で示される)は、曲線C1と同じ形状(すなわち曲率)を有するが、その上限が曲線C2の上限と等しい曲線である。(換言すれば、曲線C’は関数0.4.fYmaxを表す。)
それゆえ、図3から明らかであるように、ここでは、ピーク輝度を調整すると、マッピングユニット10により使用される連続増加関数が比例的にスケールダウンされるだけでなく、この連続増加関数を表す曲線の形状、すなわち輝度が第二の数値範囲[y0,y1](その上限y1はピーク輝度Ypeakに応じて変化する)にわたって広がる様子も変化することが提案されている。
換言すれば、相互に異なる2つのピーク輝度値Y’peak、Y’’peakについて、(連続増加)関数fY’peak(ピーク輝度Y’peakについて使用される)を表す曲線は、(単に)y軸(出力輝度値Lhdrに対応する)に沿った、すなわちx軸(入力輝度値Lsdrに対応する)に垂直な伸長又は収縮変換によって(連続増加)関数fY’’peak(ピーク輝度Y’’peakにより使用される)を表す曲線の像ではない。これは、上述の関数fY’peakとfY’’peakが相互に比例しないことを意味する。
それゆえ、第一の範囲[x0,x1]から得た、最高値x1(例えばx=x0+0.5.[x1-x0])とは異なるある数値xについて、xでの関数fYpeakの勾配fYpeak(x)と最高値x1の関数fY’peakの勾配fY’peak(x1)との比は、Ypeakに応じて変化する。(fY’peakは関数fYpeakの導関数に対応し、したがって、関数fYpeakの勾配、又は関数fYpeakを表す曲線の傾斜を示す。)
相互に異なる2つのピーク輝度値Y’peak、Y’’peakについて、ピーク輝度Y’peakについて使用される関数fY’peakとピーク輝度Y’’peakについて使用される関数fY’’peakはこのケースでは、(xでの関数fY’peakの勾配と最高値x1での関数fY’peakの勾配との間の)比fY’peak(x)/fY’peak(x1)が(xでの関数fY’’peakの勾配と最高値x1での関数fY’’peakの勾配との間の)比fY’’peak(x)/fY’’peak(x1)とは異なるというものである。
また、第一の範囲[x0,x1]から得た、最高値x1とは異なるある数値x(例えば、x=x0+0.5.[x1-x0])について、線形マッピングまでの相対距離はピーク輝度Ypeakに依存する。線形マッピングは、入力値xをy0+(y1-y0)(x-x0)/(x1-x0)にマッピングし、それゆえ、線形マッピングまでの相対距離は、
|y0+(y1-y0)(x-x0)/(x1-x0)-fYpeak(x)|/(y1-y0)となり、式中、|z|はzの絶対値(すなわちモジュラス)である。
|y0+(y1-y0)(x-x0)/(x1-x0)-fYpeak(x)|/(y1-y0)となり、式中、|z|はzの絶対値(すなわちモジュラス)である。
換言すれば、相互に異なる2つのピーク輝度値Y’peak、Y’’peakについて、関数fY’peakと上限y’1はピーク輝度Y’peakについて使用され、関数fY’’peakと上限y’’1はピーク輝度Y’’peakについて使用されることに留意して、ピーク輝度Y’peakが使用されるときの線形マッピングd’までの相対距離は、ピーク輝度Y’’peakが使用されるときの線形マッピングd’’までの相対距離とは異なり、
d’=|y0+(y’1-y0)(x-x0)/(x1-x0)-fY’peak(x)|/(y’1-y0)
d’’=|y0+(y’’1-y0)(x-x0)/(x1-x0)=fY’peak(x)|/(y’’1-y0)
である。
d’=|y0+(y’1-y0)(x-x0)/(x1-x0)-fY’peak(x)|/(y’1-y0)
d’’=|y0+(y’’1-y0)(x-x0)/(x1-x0)=fY’peak(x)|/(y’’1-y0)
である。
このケースでは、x0=y0=0,y’1=Y’peak/Ymax且つy’’1=Y’’peak/Ymaxの場合、これは、第一の数値範囲[x0,x1]から得られた、最高値x1とは異なる何れかの値x(例えば、x=x0+0.5.[x1-x0])について、[x/x1=Ymax.fY’peak(x)/Y’peak]は、[x/x1-Ymax.fY‘’peak(x)/Y’’peak]とは異なることを意味する。(これは、前述のように、関数fY’peakとfY’’peakが相互に比例しないことによる。)
線形マッピングまでの相対距離(第一の範囲[x0,x1]から得られ、最高値x1とは異なる数値x、例えばx=x0+0.5.[x1-x0]について上で定義された)は、例えばピーク輝度Ypeakの関数として増加し得る。
例えば、適用される連続増加関数の曲率はピーク値の関数として増加するようになされ得る。
曲線の形状をピーク値Ypeakに応じて変化させることによって、広いダイナミックレンジが利用可能であるとき(すなわち、ピーク輝度Ypeakが高いとき)にハイライトを大きく拡張し、例えば曲線C’として曲線C1を単にスケールダウンしただけのものを使用した場合に見られるようなピーク輝度Ypeakが低いときにミッドトーンとシャドウが過度に黒へとクラッシュすることを回避できる。
前述のマッピングユニット10の実施形態において、これは、ピーク値Ypeakの関数としての指数γの変化(ここでは、増加)による。しかしながら、他の実施形態では、ピーク輝度Ypeakに応じた連続増加関数を表す曲線の形状の変化は、ピーク輝度Ypeakに応じた連続増加関数の他のパラメータを変化させることによって、例えばピーク輝度Ypeakに応じた静的マッピングモジュール12の効果を変調させることによって得ることができる。
ピーク輝度Ypeakに応じた静的マッピングモジュール12の効果のこの変調は、ピーク輝度Ypeakの関数としての指数γの変化の代わりに、又はピーク輝度Ypeakの関数としての指数γの変化に加えて実行できる。
考え得る実施形態において、指数γはピーク輝度Ypeakの関数として(例えば、前述の指数特定モジュール16を使用して)特定され、及び/又は中間輝度値Lmは入力輝度値Lsdrから、Ypeakをパラメータとして有する関数λYpeakを適用することによって得られる。
Lm=λYpeak(Lsdr)
Lm=λYpeak(Lsdr)
それに加えて、関数λYpeakは例えば、第一の数値範囲[x0,x1]内の何れのLsdrについてもλYmin(Lsdr)=Lsdrとなるものである(すなわち、関数λYminは恒等関数である)。
関数λYpeakは例えばn次多項式、
λYpeak(x)=m0.xn+m1.xn-1+...+mn-1.x+mn
であり、式中、パラメータm0,m1,...,mnは、λYmin(Lsdr)=Lsdrとなるように選択される。この目標において、パラメータmiの少なくとも幾つかはYpeakに依存し、1以外のiについてはmi(Ymin)=0となり、mi(Ymin)=1となる。
λYpeak(x)=m0.xn+m1.xn-1+...+mn-1.x+mn
であり、式中、パラメータm0,m1,...,mnは、λYmin(Lsdr)=Lsdrとなるように選択される。この目標において、パラメータmiの少なくとも幾つかはYpeakに依存し、1以外のiについてはmi(Ymin)=0となり、mi(Ymin)=1となる。
しかしながら、その他の種類の関数、例えばスプラインベースの関数等を使用できる。
ピーク輝度YpeakがYmin付近まで減少するときに指数γが減少する(例えば、1に向かう)ことと共に、これによってYpeak=Yminについての線形スケーリング(すなわち、Lhdr=(Ypeak/Ymax).Lsdr)に収束させることが可能となる。
図4は、マッピングユニット10で使用されるピーク輝度提供モジュール11の考え得る実施形態を示す。
この実施形態において、ピーク輝度提供モジュール11は、明るさ推定モジュール110とピーク輝度特定モジュール112を含む。
明るさ推定モジュール110は、入力画像Isdrの、それゆえここでは入力画像Lsdrのピクセルの入力輝度値Lsdrから導出される明るさの値μを評価するように構成される。
正確には、この例において、明るさの値μは、静的マッピングモジュール12によって(前述のように入力輝度値Lsdrに基づいて)生成された中間輝度値Lmから計算される。
第一の可能性によれば、明るさの値μは、輝度値の(すなわち、ここでは中間輝度値Lmの中の)所定のパーセンタイル(例えば、60thパーセンタイルと等しいか、それを超える所定のパーセンタイル)である。この例において、明るさの値μは(ここでは中間輝度値Lmの)輝度値の80thパーセンタイルである。
換言すれば、このケースでは、明るさの値μは、画像のピクセルの所定のパーセンテージ(ここでは80%)がその輝度値より低い輝度(ここでは、中間輝度Lm)を有する(ここでは中間)輝度値である。
第二の可能性によれば、明るさの値μは(ここでは中間輝度値Lmの)輝度値の加重中央値mwである。この加重中央値mwは、例えばここで説明するように、明るいピクセルにはより大きい重みを付加しながら計算される。
ここでは、考え得る輝度値(ここでは、考え得る中間輝度値)にわたるN個のビンを定義することができると提案され、あるビンi∈{1,...,N}はV(i)とV(i+1)の間の輝度値を有するピクセルに対応し、H(i)はV(i)とV(i+1)の間の輝度値を有するこれらのピクセルの数である(それゆえ、V(1)は可能なかぎり最小の輝度値に対応し、V(N+1)は可能なかぎり最大の輝度値に対応し、何れのj∈{1,...,N}についてもV(j)<V(j+1)である)。
重みW(i)は各ビンiに以下のように付加される。
式中、woffとwとは調整可能なパラメータであり、この例では、woff=0.3、ws=2である。
明るさ推定モジュール110はそれゆえ、累積加重ヒストグラムCを以下のように、すなわち、
あらゆるi∈{1,...,N}について、
として、その後、あらゆるi∈{1,...,N}について、
正規化されたヒストグラムC’、
を生成でき、これは画像輝度の加重累積分布関数を表す。
あらゆるi∈{1,...,N}について、
正規化されたヒストグラムC’、
明るさ推定モジュール110はそれゆえ、輝度値V(k)として加重中央値mwを特定でき、kは、{1,...,N}の中の、C’(k)≧0.5となる第一の(すなわち、最も低い)要素である。
ピーク輝度特定モジュール112は、ピーク輝度Ypeakを明るさ推定モジュール110によって生成された明るさの値μに基づいて特定するように構成される。
ここでは、ピーク輝度Ypeakが明るさの値μの関数として減少することが提案される。これによって、見る際の快適さを向上させ、及び/又は電力消費を改善することが可能となる。より明るい画像はより高い明るさの値につながり、したがって、より低いピーク輝度Ypeakにマッピングされ、それによって、結果として得られる画像の平均明るさが不快な程度に高くならないことが確実となる。
ここで説明する例において、ピーク輝度特定モジュール112は、ピーク輝度Ypeakを以下のように計算するように構成され、
μ≧τの場合、
μ<τの場合、Ypeak=Ymax
式中、τは明るさの値μに関する閾値であり、それを超えると、ピーク輝度特定モジュール112はピーク輝度Ypeakを明るさの値μの関数として減少させる。
μ≧τの場合、
式中、τは明るさの値μに関する閾値であり、それを超えると、ピーク輝度特定モジュール112はピーク輝度Ypeakを明るさの値μの関数として減少させる。
図5は、本発明の他の態様による画像処理装置21の例を示す。
以下の説明から明らかであるように、画像処理装置21は、第一のダイナミックレンジΔhdr(例えば、ハイダイナミックレンジ、すなわちHDR)を有する入力画像I’hdrを第二のダイナミックレンジΔsdr(例えば、スタンダードダイナミックレンジ、すなわちSDR)を有する出力画像I’sdrに変換するように設計され、第二のダイナミックレンジΔsdrは第一のダイナミックレンジΔhdrより(厳密に)低い。
第一のダイナミックレンジΔhdrを有する入力画像I’hdrを第一のダイナミックレンジΔhdrより低い第二のダイナミックレンジΔsdrを有する出力画像I’sdrに変換するこのようなプロセスは一般に、「トーン圧縮」と呼ばれる。
画像処理装置21は例えば、図1に関して前述した画像処理装置1により生成された画像を処理するために使用され得て、特にそれによって当初の入力画像Isdrを回復することが可能となる(一般に「ラウンドトリップ」と呼ばれるプロセス)。
画像処理装置21は実際には、プロセッサと、プログラムコード命令であって、関係するプログラムコード命令がプロセッサにより実行されると、後述のモジュール及びユニットの動作と機能を実行するようになされたプログラムコード命令を記憶するメモリを含む電子機器により実装され得る。
入力画像I’hdrは、入力画像I’hdrのピクセル群(一般に、ピクセルのマトリクス)を使って、各ピクセルpに関する複数の成分値rp、gp、bpによって表される。
この例において、入力画像I’hdrは各ピクセルpの3つの色成分rp、gp、bp(すなわち、赤成分rp、緑成分gp、及び青成分bp)により表される。しかしながら、入力画像I’hdrのために他の表現も使用され得て、例えば各ピクセルpに関する輝度成分yp及び2つの色度成分up、vpが使用される。
図5においてわかるように、画像処理装置21は、入力画像I’hdr、すなわち入力画像I’hdrを表す成分値rp、gp、bpを受け取るための入力モジュール22を含む。実際には、入力画像I’hdrを表す成分値rp、gp、bpは、電子機器の他のモジュールから、又は外部電子機器から(入力モジュール22と協働する通信回路を通じて)受け取り得る。
画像処理装置21はまた、入力輝度値L’hdrを(関係するピクセルpの)成分値rp、gp、bpに基づいて生成するように構成された画像作成モジュール24も含む。
画像作成モジュール24は、入力輝度値L’hdrを成分値rp、gp、bpに基づいて生成するために幾つかのステップ、例えばこのケースでは、
- 逆光電気伝達関数(すなわちOETF-1)の適用、
- RGB表現からの輝度の計算
を実行し得る。
- 逆光電気伝達関数(すなわちOETF-1)の適用、
- RGB表現からの輝度の計算
を実行し得る。
逆光電気伝達関数適用のステップにより、画像作成モジュール24により生成される入力輝度値L’hdrは入力画像I’hdrの線形輝度成分を表す。
画像処理装置21は、入力画像I’hdrの何れかのピクセルpに関連付けられる入力輝度値L’hdrを出力画像I’sdr内のそれに対応するピクセルp’に関連付けられる出力輝度値L’sdrに変換するように設計された(後でさらに説明する)マッピングユニット30を含む。
後述のように、マッピングユニット30は、第一の数値範囲[y0,y1]を第二の数値範囲[x0,x1]にマッピングする連続増加関数φYpeakを適用するように構成され、それによって第一の数値範囲の上限y1は連続増加関数φYpeakによって第二の数値範囲内の最高値x1にマッピングされる。上限y1は、画像処理装置21のユーザにより選択されることも、例えば入力画像I’hdrに関連付けられるメタデータとして受け取ることもできるピーク輝度Ypeakに応じて(及びそれと相関して)調整可能である。
関数φYpeakが増加関数であるとは、第一の数値範囲[y0,y1]内の何れのペア(z1,z2)についても、z1≦z2、φYpeak(z1)≦φYpeak(z2)となることを意味する。
後でさらに説明するように、使用される連続増加関数φYpeakは調整可能なピーク値Ypeakに応じて変化し、それゆえφYpeakと表記される。
このケースでは、連続増加関数φYpeakは各入力輝度値L’hdr(第一の数値範囲[y0,y1]に含まれ、特定のピクセルpに関係する)を出力輝度値L’sdr(第二の数値範囲[x0,x1]に含まれ、出力画像I’sdr内のそれに対応するピクセルp’に関係する)にマッピングする。
マッピングユニット30の考え得る実施形態について、図6を参照しながら以下に説明する。
画像処理装置21は、出力画像I’sdrの各ピクセルp’について、関係するピクセルp’の成分値r’p’、g’p’、b’p’を、その関係するピクセルp’についてマッピングユニット30により生成された出力輝度値L’sdr及び入力画像I’hdr内のそれに対応するピクセルpに関する成分値rp、gp、bpに基づいて特定するように構成された画像生成モジュール26を含む。
成分値r’p’、g’p’、b’p’を出力輝度値L’sdrと成分値rp、gp、bpに基づいて特定するために、画像生成モジュール26は例えば、
- 出力輝度値L’sdrを使って成分値rp、gp、bpのスケーリングを行うステップ(それによって、スケーリングされた成分値は出力輝度値L’sdrを表す)、
- 色補正を行う(例えば、飽和調整による)、とり得るステップ、
- ITU-R BT.2020標準の表現からITU-R BT.709標準の表現に変換する、とり得るステップ、
- 光電気伝達関数(すなわちOETF)を適用する、とり得るステップ
を実行する。
- 出力輝度値L’sdrを使って成分値rp、gp、bpのスケーリングを行うステップ(それによって、スケーリングされた成分値は出力輝度値L’sdrを表す)、
- 色補正を行う(例えば、飽和調整による)、とり得るステップ、
- ITU-R BT.2020標準の表現からITU-R BT.709標準の表現に変換する、とり得るステップ、
- 光電気伝達関数(すなわちOETF)を適用する、とり得るステップ
を実行する。
この例において、成分値r’p’、g’p’、b’p’は出力画像I’sdrの各ピクセルp’に関する3つの色成分r’p’、g’p’、b’p’(すなわち、赤成分r’p、緑成分g’p’、及び青成分b’p’)である。しかしながら、出力画像I’sdrについては他の表現も使用され得て、例えば各ピクセルp’に関する輝度成分y’p’(おそらく、この場合は関係するピクセルp’についてマッピングユニット30により生成された出力輝度値L’sdrと等しい)及び2つの色度成分u’p’、v’p’が使用される。
画像処理装置21は、成分値r’p’、g’p’、b’p’を出力するための出力モジュール28を含み、これは例えば前述の電子機器の表示モジュールによってこの電子機器のスクリーン上に出力画像I’sdrを表示するために使用されるか、又は変形型として、外部の電子機器に(電子機器の通信回路を使って)転送される。
図6は、マッピングユニット30の考え得る実施形態を示す。
このマッピングユニット30は、ピーク輝度提供モジュール31と、指数特定モジュール32と、適応型マッピングモジュール34と、静的マッピングモジュール36と、を含む。
ピーク輝度提供モジュール31は、ピーク輝度Ypeakを(マッピングユニット30のための入力として)受け取るように構成される。このピーク輝度Ypeakは、例えば画像処理装置21のユーザにより選択される。ピーク輝度Ypeakは、ユーザによって例えば前述の電子機器のユーザインタフェースを介して入力され得て、その場合、ユーザインタフェースはすると、入力されたピーク輝度Ypeakは(ピーク輝度提供モジュール31を介して)マッピングユニット30に送信する。他の可能性によれば、ピーク輝度Ypeakは画像処理装置21の記憶ユニットに保存され得て、その場合、ピーク輝度提供モジュール31はすると、ピーク輝度Ypeakを記憶ユニットから読み出し得る。また別の可能性によれば、ピーク輝度Ypeakは入力画像I’hdrに関連付けられるメタデータとして受信され得て、その場合、ピーク輝度提供モジュール31はすると、これらのメタデータをパースすることによってピーク輝度Ypeakを取得し得る。
図1に関して説明した画像処理装置1により過去に処理された画像のラウンドトリップを取得しようとする場合、どちらの画像処理装置1、21においても同じピーク輝度Ypeakを使用すべきである。
指数特定モジュール32は、指数γを入力輝度値L’hdr(現在の入力画像I’hdrについて画像作成モジュール24により生成される)及びピーク輝度Ypeakに基づいて特定するように構成される。
この例において、指数特定モジュール32は、指数を入力輝度値L’hdrの中心傾向の値(ここでは、中央値)の関数として特定するように構成される。ここで、中心傾向の値はピーク輝度Ypeakに応じてスケールダウンされ、おそらくは少なくとも最小値L0と等しくなるように補正されるようになされる。
それゆえ、ここで説明する例において、指数特定モジュール32は中心傾向の、スケールダウンされ、補正された値を以下のように計算するように構成される。
式中、Ymaxは、前述のようにYpeakの最大値である。
指数特定モジュール32はさらに、指数γを中心傾向の(ここではスケールダウン及び補正後の)値及びピーク輝度Ypeakの関数として特定するように構成される。
ここで説明する例では、指数特定モジュール32は、指数を以下のように計算するように構成される。
式中、
、gはゲインパラメータ(例えば、g=0.06)、oはオフセット(例えば、o=1である)。
それゆえ、この例では、指数は第一の項と第二の項δの合計であり、第一の項は入力画像I’hdrの輝度の中心傾向の(ここではスケールダウン及び補正後の)値の関数として減少し、及び/又は第二の項δはピーク輝度Ypeakの関数として増加する。ここでは、第一の項はピーク輝度Ypeakの関数として変化せず、及び/又は第二の項δは中心傾向の値の関数として変化しない点に気付くかもしれない。このケースでは、第二の項δは正ではない数であり、及び/又はピーク輝度Ypeakが最大輝度Ymaxと等しいときにゼロと等しい。
適応型マッピングモジュール34は、(処理された画像の各ピクセルp’に関する)中間輝度値Lmを、入力輝度値L’hdr及び指数γ(指数特定モジュール32により生成される)に基づいて特定するように構成される。
正確には、適応型マッピングモジュール34はここでは、入力輝度値L’hdrを指数γ(指数特定モジュール32により生成される)の逆数で累乗することによって中間輝度値Lmを取得するように適応される。
静的マッピングモジュール36は、(処理中の画像の各ピクセルについて、)(出力画像I’sdr内のそれに対応するピクセルに関する)出力輝度値L’sdrを中間輝度値Lm(上述のように適応型マッピングモジュール34により生成される)及びピーク輝度Ypeakに基づくほか、ここでは指数γに基づいて特定するように構成される。
説明した例において、静的マッピングモジュール36は、出力輝度値L’sdrを以下のように計算するように構成される。
式中、この例では図1に示される画像処理装置1と同様にma=1.528、mc=0.7997である。
それゆえ、入力輝度値L’hdrが上限y1と等しい(及び、ここでは調整可能なピーク輝度Ypeakと最大輝度Ymaxとの比に対応する)場合、どのピーク輝度Ypeakが使用されても、マッピングユニット30は1と等しい(すなわち、第二の数値範囲[x0,x1]内の最高値x1と等しい)出力輝度値L’sdrを生成する。
Claims (13)
- 第一のダイナミックレンジを有する入力画像を第一のダイナミックレンジより高い第二のダイナミックレンジを有する出力画像に変換するための画像処理装置(1)であって、前記入力画像のあるピクセルに関連付けられる入力輝度値(Lsdr)を前記出力画像中のそれに対応するピクセルに関連付けられる出力輝度値(Lhdr)に変換するためのマッピングユニット(10)を含み、
前記マッピングユニット(10)は、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、前記第一の数値範囲中の最高値(x1)は前記連続増加関数によって前記第二の数値範囲の上限(y1)にマッピングされる画像処理装置(1)において、
前記マッピングユニット(10)は、ピーク輝度(Ypeak)に応じて前記上限(y1)を調整するように構成されることを特徴とする画像処理装置(1)。 - 前記マッピングユニット(10)は、前記入力画像のピクセル値の関数として前記ピーク輝度(Ypeak)を特定するモジュール(11)を含む、請求項1に記載の画像処理装置。
- 前記ピーク輝度(Ypeak)を特定する前記モジュールは、前記ピーク輝度を前記入力画像のピクセルにそれぞれ関連付けられる輝度値に基づいて特定するように構成される、請求項2に記載の画像処理装置。
- 前記ピーク値を特定する前記モジュール(11)は、前記入力画像の明るさの値(μ)を評価して、前記値(μ)の関数として前記ピーク輝度(Ypeak)を特定するように構成される、請求項2又は3に記載の画像処理装置。
- 前記マッピングユニット(10)は、前記ピーク輝度(Ypeak)に応じて前記連続増加関数の少なくとも1つのパラメータ(γ)を変化させるように構成される、請求項1~4の何れか1項に記載の画像処理装置。
- 前記マッピングユニット(10)は指数(γ)を前記ピーク輝度(Ypeak)に基づいて特定するモジュール(16)と、前記指数(γ)を使って累乗するモジュール(18)を含む、請求項1~5の何れか1項に記載の画像処理装置。
- 前記指数(γ)を特定する前記モジュール(16)は、前記指数(γ)が前記ピーク輝度(Ypeak)の関数として増加するように構成される、請求項6に記載の画像処理装置。
- 前記マッピングモジュール(10)は、前記入力輝度値(Lsdr)を中間輝度値(Lm)に、前記ピーク輝度(Ypeak)に依存するマッピング関数を適用することによって変換するように構成されるモジュール(12)を含む、請求項1~7の何れか1項に記載の画像処理装置。
- 第一のダイナミックレンジを有する入力画像を、第一のダイナミックレンジより高い第二のダイナミックレンジを有する出力画像に変換する方法であって、前記入力画像のあるピクセルに関連付けられる入力輝度値(Lsdr)を前記出力画像中のそれに対応するピクセルに関連付けられる出力輝度値(Lhdr)に変換するステップを含み、前記変換するステップは、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するサブステップを含み、それによって前記第一の数値範囲の最高値(x1)は前記連続増加関数によって前記第二の数値範囲の上限(y1)にマッピングされる方法において、
前記上限(y1)はピーク輝度(Ypeak)に応じて調整可能であることを特徴とする方法。 - 前記ピーク輝度(Ypeak)を前記入力画像のピクセル値の関数として特定するステップを含む、請求項9に記載の方法。
- 前記ピーク輝度(Ypeak)を特定する前記ステップは、前記入力画像の明るさの値(μ)を評価するサブステップと、前記ピーク輝度(Ypeak)を前記値(μ)の関数として特定するサブステップを含む、請求項10に記載の方法。
- 前記連続増加関数のパラメータ(γ)は、前記ピーク輝度(Ypeak)に応じて変化可能である、請求項9~11の何れか1項に記載の方法。
- 第一のダイナミックレンジを有する入力画像を、第一のダイナミックレンジより低い第二のダイナミックレンジを有する出力画像に変換するための画像処理装置(21)であって、前記入力画像のあるピクセルに関連付けられる入力輝度値(L’hdr)を前記出力画像中のそれに対応するピクセルに関連付けられる出力輝度値(L’sdr)に変換するマッピングユニット(30)を含み、
前記マッピングユニット(30)は、第一の数値範囲を第二の数値範囲にマッピングする連続増加関数を適用するように構成され、前記第一の数値範囲の上限(y1)は前記連続増加関数によって前記第二の数値範囲内の最高値(x1)にマッピングされる画像処理装置(21)において、
前記マッピングユニット(30)は、前記上限(y1)がピーク輝度(Ypeak)に応じて調整可能であるように構成されることを特徴とする画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2020/001127 WO2022136896A1 (en) | 2020-12-21 | 2020-12-21 | Converting an image into an output image having a higher dynamic range |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023554451A true JP2023554451A (ja) | 2023-12-27 |
Family
ID=74797970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023537079A Pending JP2023554451A (ja) | 2020-12-21 | 2020-12-21 | 画像の、より高ダイナミックレンジを有する出力画像への変換 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240046435A1 (ja) |
EP (1) | EP4264537A1 (ja) |
JP (1) | JP2023554451A (ja) |
KR (1) | KR20230122119A (ja) |
WO (1) | WO2022136896A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6461165B2 (ja) * | 2013-12-27 | 2019-01-30 | トムソン ライセンシングThomson Licensing | 画像の逆トーンマッピングの方法 |
EP3503019A1 (en) * | 2017-12-21 | 2019-06-26 | Thomson Licensing | Improved inverse tone mapping method and corresponding device |
-
2020
- 2020-12-21 EP EP20859643.7A patent/EP4264537A1/en active Pending
- 2020-12-21 KR KR1020237024729A patent/KR20230122119A/ko unknown
- 2020-12-21 JP JP2023537079A patent/JP2023554451A/ja active Pending
- 2020-12-21 US US18/258,507 patent/US20240046435A1/en active Pending
- 2020-12-21 WO PCT/IB2020/001127 patent/WO2022136896A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022136896A1 (en) | 2022-06-30 |
US20240046435A1 (en) | 2024-02-08 |
KR20230122119A (ko) | 2023-08-22 |
EP4264537A1 (en) | 2023-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6362793B2 (ja) | ハイダイナミックレンジ映像のためのディスプレイマネジメント | |
US7023580B2 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
Johnson et al. | Rendering HDR images | |
CN109274985B (zh) | 视频转码方法、装置、计算机设备和存储介质 | |
CN113170028B (zh) | 生成基于机器学习的成像算法的图像数据的方法 | |
CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
WO2005057492A1 (en) | Image adjustment with tone rendering curve | |
KR102701013B1 (ko) | 동적 범위 맵핑 방법 및 장치 | |
WO2018035696A1 (zh) | 一种图像处理方法以及装置 | |
KR20080114172A (ko) | 비선형 저조도 보정장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 | |
CN111724316B (zh) | 处理高动态范围图像的方法和装置 | |
CN116113976A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
KR20110048811A (ko) | 입력 영상의 동적 범위를 변환하는 방법 및 장치 | |
US6894720B2 (en) | Method and apparatus for applying tone mapping functions to color images | |
US7006104B2 (en) | Image correction method and system | |
JP2024086904A (ja) | エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法 | |
KR101642034B1 (ko) | 입력 영상의 동적 범위를 변환하는 방법 및 장치 | |
CN107274857B (zh) | 调整显示器的输出图像的方法及显示系统 | |
JP2023554451A (ja) | 画像の、より高ダイナミックレンジを有する出力画像への変換 | |
CN113808045B (zh) | 一种图像亮度调节方法及装置 | |
CN107292829B (zh) | 图像处理方法及装置 | |
CN114244969A (zh) | 一种图像亮度校正方法和硬件系统 | |
JP2017037504A (ja) | 画像処理装置および画像処理方法 | |
CN113012623B (zh) | 显示屏亮度调节方法和装置 | |
KR101073497B1 (ko) | 영상 보정 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240904 |