JP2023530728A - 適応型輝点減衰を伴う逆トーンマッピング - Google Patents
適応型輝点減衰を伴う逆トーンマッピング Download PDFInfo
- Publication number
- JP2023530728A JP2023530728A JP2022577737A JP2022577737A JP2023530728A JP 2023530728 A JP2023530728 A JP 2023530728A JP 2022577737 A JP2022577737 A JP 2022577737A JP 2022577737 A JP2022577737 A JP 2022577737A JP 2023530728 A JP2023530728 A JP 2023530728A
- Authority
- JP
- Japan
- Prior art keywords
- function
- luminance value
- inverse
- current image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000013507 mapping Methods 0.000 claims abstract description 43
- 230000002238 attenuated effect Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 141
- 238000012545 processing Methods 0.000 description 75
- 238000004891 communication Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 8
- 238000013016 damping Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004313 glare Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003121 nonmonotonic effect Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
第1の逆トーンマッピング(ITM)関数の初期利得関数と呼ばれる利得関数を取得する(42)ことによる逆トーンマッピングのための方法であって、現在画像のピクセルの所定のパーセンテージに応じた輝度値(TH1)に少なくとも等しい輝度値を有する現在画像の少なくとも1つのピクセルが目標値よりも高い現在画像に対する第1のITM関数の適用によってもたらされる拡張輝度値を有することを現在画像の解析が示す場合(43)、現在画像に対して第2のITM関数を適用するステップ(45)を含み、初期利得関数によって与えられる利得が減衰関数によって減衰される初期利得関数から導出された修正利得関数によって利得関数が置き換えられた第1の逆トーンマッピング関数に第2のITM関数が対応し、当該減衰関数が、減衰の強度を制御する重み係数によって重み付けされ、重み係数が、所定のパーセンテージに応じた最大輝度値と輝度値との間の現在画像のヒストグラムにおける輝度値の統計的分布に依存する、方法。【選択図】図4
Description
本実施形態の少なくとも1つは、一般に、高ダイナミックレンジ撮像の分野に関し、特に、結果として得られる高ダイナミックレンジ画像内の明るい領域をどのようにして特定の目標輝度まで自動的且つ適応的に減衰させるかに特に焦点を合わせて、低いダイナミックレンジ画像又は標準的なダイナミックレンジ画像のダイナミックレンジを拡張するための方法及び装置に関する。
ディスプレイ技術における最近の進歩は、表示される画像における色、輝度、及びコントラストの拡張ダイナミックレンジを可能にし始めている。画像という用語は、本明細書では、例えば、ビデオ又は静止ピクチャ若しくは画像であり得る画像コンテンツを指す。
画像の輝度又は明るさで拡張ダイナミックレンジを可能にする技術は、高ダイナミックレンジ(high dynamic range、HDR)画像化として知られている。幾つかのHDRディスプレイデバイス、並びに高められたダイナミックレンジで画像をキャプチャできる画像カメラが登場しているが、利用可能であるHDRコンテンツの数は依然として非常に限られている。既存のコンテンツのダイナミックレンジを拡張し、それによって、HDRディスプレイデバイス上でこれらのコンテンツを効率的に表示することを可能にするソリューションが必要である。
HDRディスプレイデバイス用の従来の(低ダイナミックレンジ用のLDR又は標準ダイナミックレンジ用のSDRと呼ばれる)コンテンツを整備するために、リバース又は逆トーンマッピング演算子(ITMO又はITM)を使用することができる。ITMOは、対応する元のシーンの外観を回復又は再作成する目的で、画像内のピクセルの輝度情報を処理するアルゴリズムを使用することにより、従来の(LDR又はSDR)画像からHDR画像を生成することを可能にする。一般に、ITMOは、従来の画像を入力として取得し、この画像の色の輝度範囲をグローバルに拡大し、続いて、画像内の色のHDR外観を向上させるために、ハイライト又は明るい領域(すなわち、輝点)を局所的に処理する。
画像内の明るい領域を増強するために、SDR画像の各ピクセルと拡張値とを関連付ける輝度拡張マップ(又は利得関数)を作成し、このピクセルの輝度に適用して対応するHDR画像を得ることが知られている。しかしながら、最良の想定し得る輝度利得関数を適用するときであっても(及び、更には、当該SDR画像に特に適合されない固定輝度利得関数を適用するとき)、得られるHDR画像に不良な等級付けが行われる場合がある。特に、SDR画像内の広い領域をカバーするハイライト又は明るい領域は、対応するHDR画像内で明るすぎる領域をもたらす可能性がある。そのため、HDRディスプレイデバイスによっては、そのようなHDR画像を正しく表示できない場合がある。実際に、これらのHDR画像はそれらのディスプレイ容量を超えるため、ディスプレイデバイスは、多かれ少なかれ効率的なアルゴリズムを適用して、HDR画像の輝度を局所的又は全体的に低減する。対応するHDR画像内の大きな明るい領域は、ディスプレイデバイスによって管理されない場合、観察者を眩惑させる又は少なくともそのHDR観察体験を不快にする可能性がある。したがって、これらの領域の輝度を制御された態様で減衰させることが好ましい。
上記の欠点を克服することが望ましい。
明るい領域を特定の拡張された目標輝度まで自動的且つ適応的に減衰させることができるようにする逆トーンマッピング方法を定義することが特に望ましい。
第1の態様において、本実施形態のうちの1つ以上は、逆トーンマッピングのための方法を提供し、本方法は、現在画像と呼ばれる画像を取得するステップと、第1の逆トーンマッピング関数の初期利得関数と呼ばれる利得関数を取得するステップと、現在画像のピクセルの所定のパーセンテージに応じた輝度値に少なくとも等しい輝度値を有する現在画像の少なくとも1つのピクセルが目標拡張輝度値よりも高い現在画像に対する第1の逆トーンマッピング関数の適用によってもたらされる拡張輝度値を有することを現在画像の解析が示す場合に、現在画像に対して第2の逆トーンマッピング関数を適用するステップであって、第2の逆トーンマッピング関数が、利得関数が修正利得関数によって置き換えられた第1の逆トーンマッピング関数に対応する、ステップと、を含み、修正利得関数は、初期利得関数によって与えられる利得が減衰関数によって減衰される初期利得関数から導出される関数であり、当該減衰関数は、減衰の強度を制御する重み係数によって重み付けされた輝度値の増加関数であり、重み係数は、所定のパーセンテージに応じた最大輝度値と輝度値との間の現在画像のヒストグラムにおける輝度値の統計的分布に依存する。
一実施形態において、方法は、最大輝度値から輝度値が大きい順にヒストグラムを閲覧するステップと、閲覧された輝度値が所定のパーセンテージに応じた輝度値に少なくとも等しい間、閲覧された輝度値に対する第1の逆トーンマッピング関数の適用の結果が目標拡張輝度値に少なくとも等しいときに、それぞれの閲覧された輝度値ごとに中間重み係数を計算するステップと、計算された中間重み係数の最大値に対応する値に重み付き係数の値を設定するステップとを含む。
一実施形態において、中間重み係数が中間拡張目標輝度値に依存し、中間拡張目標輝度値は、拡張目標輝度値と、閲覧された輝度値に対する第1の逆トーンマッピング関数の適用の結果との間の加重和であり、加重和の各重みは、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセルの割合を表わす値に依存する。
一実施形態において、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセルの割合を表わす値は、最大認可消費輝度値にも依存する。
一実施形態において、方法は、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセル数が所定の最小ピクセル数よりも低い場合に、現在画像に対して第1の逆トーンマッピング関数を適用するステップを含む。
一実施形態では、現在画像がビデオシーケンスに属し、方法は、現在のビデオシーケンス内のシーンカットを検出するステップを含み、重み係数は、減衰の強度を、現在画像に先行するビデオシーケンスの別の画像について計算された減衰の強度を制御する少なくとも1つの他の重み係数にも応じて制御し、現在画像と当該別の画像との間でシーンカットが検出されていない。
一実施形態において、方法は、第2の逆トーンマッピング関数を用いて取得された第1の逆トーンマッピング曲線の単調性を検証するステップと、第1の逆トーンマッピング曲線が単調でない場合、第2の逆トーンマッピング関数の少なくとも1つのパラメータを修正して、単調な第2の逆トーンマッピング曲線を取得するステップとを含む。
第2の態様において、本実施形態のうちの1つ以上は、逆トーンマッピングのためのデバイスを提供し、デバイスは、現在画像と呼ばれる画像を取得し、第1の逆トーンマッピング関数の初期利得関数と呼ばれる利得関数を取得し、現在画像のピクセルの所定のパーセンテージに応じた輝度値に少なくとも等しい輝度値を有する現在画像の少なくとも1つのピクセルが目標拡張輝度値よりも高い現在画像に対する第1の逆トーンマッピング関数の適用によってもたらされる拡張輝度値を有することを現在画像の解析が示す場合に、現在画像に対して第2の逆トーンマッピング関数を適用する、ように適合された電子回路を備え、第2の逆トーンマッピング関数は、利得関数が修正利得関数によって置き換えられた第1の逆トーンマッピング関数に対応し、修正利得関数は、初期利得関数によって与えられる利得が減衰関数によって減衰される初期利得関数から導出される関数であり、当該減衰関数は、減衰の強度を制御する重み係数によって重み付けされた輝度値の増加関数であり、重み係数は、所定のパーセンテージに応じた最大輝度値と輝度値との間の現在画像のヒストグラムにおける輝度値の統計的分布に依存する。
一実施形態において、電子回路は、最大輝度値から輝度値が大きい順にヒストグラムを閲覧し、閲覧された輝度値が所定のパーセンテージに応じた輝度値に少なくとも等しい間、閲覧された輝度値に対する第1の逆トーンマッピング関数の適用の結果が目標拡張輝度値に少なくとも等しいときに、それぞれの閲覧された輝度値ごとに中間重み係数を計算し、
重み付き係数の値を、計算された中間重み係数の最大値に対応する値に設定する、ように更に適合される。
重み付き係数の値を、計算された中間重み係数の最大値に対応する値に設定する、ように更に適合される。
一実施形態では、中間重み係数が中間拡張目標輝度値に依存し、中間拡張目標輝度値は、拡張目標輝度値と、閲覧された輝度値に対する第1の逆トーンマッピング関数の適用の結果との間の加重和であり、加重和の各重みは、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセルの割合を表わす値に依存する。
一実施形態において、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセル の割合を表わす値は、最大認可消費輝度値にも依存する。
一実施形態において、電子回路は、閲覧された輝度値よりも高い輝度値を有する現在画像のピクセル数が所定の最小ピクセル数よりも低い場合に、現在画像に対して第1の逆トーンマッピング関数を適用するように更に適合される。
一実施形態では、現在画像がビデオシーケンスに属し、電子回路は、現在のビデオシーケンス内のシーンカットを検出するようにも適合され、重み係数は、減衰の強度を、現在画像に先行するビデオシーケンスの別の画像について計算された減衰の強度を制御する少なくとも1つの他の重み係数にも応じて制御し、現在画像と当該別の画像との間でシーンカットが検出されていない。
一実施形態において、電子回路は、第2の逆トーンマッピング関数を用いて取得された第1の逆トーンマッピング曲線の単調性を検証するとともに、第1の逆トーンマッピング曲線が単調でない場合、第2の逆トーンマッピング関数の少なくとも1つのパラメータを修正して、単調な第2の逆トーンマッピング曲線を取得するように更に適合される。
第3の態様では、本実施形態のうちの1つ以上は、第2の態様によるデバイスを備える装置を提供する。
第4の態様では、本実施形態のうちの1つ以上は、第1の態様の方法によって、又は第2の態様のデバイスによって、又は第3の態様の装置によって生成された信号を提供する。
第5の態様において、本実施形態のうちの1つ以上は、第1の態様に係る方法を実施するためのプログラムコード命令を含むコンピュータプログラムを提供する。
第6の態様において、本実施形態のうちの1つ以上は、第1の態様に係る方法を実施するためのプログラムコード命令を記憶する情報記憶手段を提供する。
異なる種類の逆トーンマッピング方法が存在する。例えば、ローカルトーンマッピングアルゴリズムの分野において、国際出願公開第2015/096955号は、SDR(又はLDR)画像のそれぞれのピクセルPごとに、以下のように、ピクセル拡張値E(P)を取得するステップと、次いで、ピクセルPの輝度Y(P)を拡張輝度値Yexp(P)に逆トーンマッピングするステップとを含む方法を開示する。
Yexp(P)=Y(P)E(P)×[Yenhance(P)] (式1)
式中、
●Yexp(P)は、ピクセルPの拡張輝度値である。
●Y(P)は、SDR(又はLDR)画像内のピクセルPの輝度値である。
●Yenhance(P)は、SDR(又はLDR)画像内のピクセルPに関する輝度増強値である。
●E(P)は、ピクセルPに関するピクセル拡張値である。
Yexp(P)=Y(P)E(P)×[Yenhance(P)] (式1)
式中、
●Yexp(P)は、ピクセルPの拡張輝度値である。
●Y(P)は、SDR(又はLDR)画像内のピクセルPの輝度値である。
●Yenhance(P)は、SDR(又はLDR)画像内のピクセルPに関する輝度増強値である。
●E(P)は、ピクセルPに関するピクセル拡張値である。
SDR(又はLDR)画像の全てのピクセルにおける値E(P)のセットは、画像における拡張マップ又は拡張関数又は利得関数を成す。この利得関数は、異なる方法で生成することができる。例えば、方法は、各ピクセルPの輝度値Y(P)をローパスフィルタリングして、ローパスフィルタリングされた輝度値Ylow(P)を取得することと、二次関数をローパスフィルタリングされた輝度値に適用することと、で構成され、当該二次関数は、以下の式に従ってパラメータa、b及びcによって定義される。
E(P)=a[Ylow(P)]2+b[Ylow(P)]+c
E(P)=a[Ylow(P)]2+b[Ylow(P)]+c
ハードウェア実装を容易にする国際公開第2015/096955号に基づく別の方法は、以下の式を使用する。
上記の方程式は、以下のように表わすことができる。
文献ITU-R BT.2446-0は、同じ種類の式を使用してSDR(又はLDR)コンテンツをHDRコンテンツに変換する方法を開示する。
Y’exp(P)=Y”(P)E(Y”(P))
式中、
●Y’が[0...1]の範囲内であり
●Y”=255.0×Y’
●Y”≦Tのとき、E=a1Y”2+b1Y”+c1
●Y”>Tのとき、E=a2Y”2+b2Y”+c2
●T=70
●a1=1.8712e-5、b1=-2.7334e-3、c1=1.3141
●a2=2.8305e-6、b2=-7.4622e-4、c2=1.2528
Y’exp(P)=Y”(P)E(Y”(P))
式中、
●Y’が[0...1]の範囲内であり
●Y”=255.0×Y’
●Y”≦Tのとき、E=a1Y”2+b1Y”+c1
●Y”>Tのとき、E=a2Y”2+b2Y”+c2
●T=70
●a1=1.8712e-5、b1=-2.7334e-3、c1=1.3141
●a2=2.8305e-6、b2=-7.4622e-4、c2=1.2528
上記から分かるように、利得関数は、その指数が現在のピクセルの輝度値に依存する累乗関数又はこの輝度値のフィルタリングされたバージョンに基づく。
より一般的には、全ての全体的な拡張方法は、ゼロとは異なる全ての入力値(入力におけるゼロでは、出力が論理的にゼロである)について、以下の形態のITM関数として表わすことができる。
Yexp=YG(Y) (式2)
ここで、G()は輝度Yの利得関数である。
Yexp=YG(Y) (式2)
ここで、G()は輝度Yの利得関数である。
同様に、全てのローカル拡張方法は、ゼロとは異なる全ての入力値について以下の方法で表わすことができる。
いずれも場合(グローバル又はローカル)にも、利得関数は、入力SDR画像と一致するように単調である。
幾つかの逆トーンマッピング(ITM)方法は、画像コンテンツに何ら適応することなく、(例えばITU-R BT.2446-0文書に記載されているように)所定の拡張パラメータに基づく利得関数G()を使用する。欧州特許出願公開第3249605号は、画像のコンテンツに自動的に適応することができる画像の逆トーンマッピングのための方法を開示する。この方法は、テンプレートを形成するプロファイルのセットを使用する。これらのプロファイルは、オフライン処理である学習段階で予め決定されている。各プロファイルは、利得関数が関連付けられている輝度ヒストグラムなどの視覚的特徴によって定義される。
学習段階では、カラリストが手作業でグレーディングした多数の参照画像からプロファイルを判定し、カラリストは、これらの画像に対して、逆トーンマッピングパラメータの設定と利得関数の生成を手作業で行う。次いで、これらの生成された利得関数に基づいて、参照画像をクラスタ化する。各クラスタは、輝度の代表的なヒストグラム及びそれに関連付けられた代表的な利得関数を抽出するために処理され、したがって、当該クラスタから生じるプロファイルを形成する。
新たなSDRコンテンツが受信されると、新たなSDRコンテンツのSDR画像についてヒストグラムが決定される。次いで、テンプレートに最もマッチするヒストグラムを探すために、計算された各ヒストグラムを、学習段階から生じたテンプレートに保存されている各ヒストグラムと比較する。例えば、計算されたヒストグラムとテンプレートに保存されたヒストグラムの各々との間の距離を計算する。次いで、計算されたヒストグラムと最も良く一致するテンプレートのヒストグラムに関連する利得関数を選択し、計算されたヒストグラムに対応する画像(又は複数の画像)に逆トーンマッピングを実行するために使用する。このようにして、SDR画像に適合されたテンプレートの最良の利得関数が適用されて、対応するHDR画像を出力する。
前述したように、最良の想定し得る利得関数を適用する場合でも、逆トーンマッピング演算は、ディスプレイデバイスの容量を超え得る又はユーザにとって不快となり得る非常に明るい領域(又はハイライト)を含むHDR画像を生成する場合がある。
上記の問題を解決するために、欧州特許出願公開第3503019(A1)号は、その拡張値が目標輝度値に等しい入力輝度よりも高い輝度値を入力画像のピクセルの少なくとも所定のパーセンテージが有するという条件で、明るい領域を所定の目標輝度値まで減衰させる方法を開示する。それにもかかわらず、この方法は固定閾値に依存する。すなわち、それが全ての入力画像に適用されるため、ちらつき効果又は少なくとも拡張画像の全体的な明るさの突然の変化をもたらす可能性がある。これは、例えば、輝度値が高いクレジットリストがコンテンツの終わりにローリングして減衰を引き起こす場合に当てはまり得る。
以下に説明する様々な実施形態は、最大の明るい領域に含まれるピクセルの割合が所定の割合よりも大きくなると直ぐに、これらの領域を所定の目標輝度に適応的に且つ滑らかに減衰させることによってこの状況を改善することを目的とする。
図1は、以下に記載される実施形態を実装することができる状況の一例を図示する。
図1では、カメラ、記憶デバイス、コンピュータ、又はSDRコンテンツを送達することができる任意のデバイスであり得るデバイス1は、通信チャネル2を使用して、SDRコンテンツをシステム3に送信する。通信チャネル2は、有線(例えば、イーサネット)又は無線(例えば、WiFi、3G、4G又は5G)ネットワークリンクであり得る。
SDRコンテンツは、固定画像又はビデオシーケンスを含む。
システム3は、SDRコンテンツをHDRコンテンツに変換し、すなわち、SDRコンテンツに逆トーンマッピングを適用して、HDRコンテンツを取得する。
次いで、取得されたHDRコンテンツは、有線又は無線ネットワークであり得る通信チャネル4を使用して、ディスプレイシステム5に送信される。その後、ディスプレイシステムは、HDRコンテンツを表示する。
一実施形態において、システム3は、ディスプレイシステム5に含まれる。
一実施形態において、デバイス1、システム3、及びディスプレイシステム5が全て同じシステムに含まれる。
一実施形態において、ディスプレイシステム5は、HDRコンテンツを記憶する記憶デバイスによって置き換えられる。
図2は、システム3に含まれ、異なる態様及び実施形態を実装することができる処理モジュール30のハードウェアアーキテクチャの一例を概略的に図示する。処理モジュール30は、非限定的な例として、通信バス305によって接続された、1つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はCPU(中央処理ユニット)300と、ランダムアクセスメモリ(RAM)301と、リードオンリーメモリ(ROM)302と、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブ、或いは、SD(セキュアデジタル)カードリーダ及び/又はハードディスクドライブ(HDD)などの記憶媒体リーダ及び/又はネットワークアクセス可能な記憶デバイスを含むがこれらに限定されない不揮発性メモリ及び/又は揮発性メモリを含むことができる記憶ユニット303と、他のモジュール、デバイス、システム、又は機器とデータを交換するための少なくとも1つの通信インターフェース304と、を備える。通信インターフェース304は、通信チャネルを介してデータを送信及び受信するように構成された送受信機を含むことができるが、それに限定されない。通信インターフェース304は、モデム又はネットワークカードを含むことができるが、これらに限定されない。
通信インターフェース304は、例えば、処理モジュール30がSDRコンテンツを受信し、HDRコンテンツを提供することを可能にする。
プロセッサ300は、ROM 302、外部メモリ(図示せず)、記憶媒体、又は通信ネットワークからRAM 301にロードされた命令を実行することができる。処理モジュール30の電源が投入されると、プロセッサ300は、RAM 301から命令を読み出し、それらを実行することができる。これらの命令は、例えば、図4に関連して以下に記載される逆トーンマッピング方法のプロセッサ300による実装を引き起こすコンピュータプログラムを形成する。
当該逆トーンマッピング方法のアルゴリズム及びステップの全て又は一部は、DSP(デジタル信号プロセッサ)又はマイクロコントローラなどのプログラマブルマシンによる命令のセットの実行によってソフトウェア形式で実装されてもよく、又はFPGA(フィールドプログラマブルゲートアレイ)若しくはASIC(特定用途向け集積回路)などのマシン又は専用の構成要素によってハードウェア形式で実装されてもよい。
図3は、様々な態様及び実施形態が実装されているシステム3の一例のブロック図を図示する。システム3は、後述する様々な構成要素を含むデバイスとして具現化することができ、本明細書に記載の態様及び実施形態のうちの1つ以上を実行するように構成される。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム3の要素は、単独で又は組み合わせて、単一の集積回路(IC)、複数のIC、及び/又は個別の構成要素で具現化することができる。例えば、少なくとも1つの実施形態では、システム3は、逆トーンマッピング方法を実装する1つの処理モジュール30を備える。様々な実施形態では、システム3は、例えば通信バスを介して、又は専用の入力及び/又は出力ポートを介して、1つ以上の他のシステム、又は他の電子デバイスに通信可能に結合される。
処理モジュール30への入力は、ブロック32に示すように様々な入力モジュールを介して提供することができる。そのような入力モジュールとしては、限定するものではないが、(i)例えば、放送局から無線で送信されるRF信号を受信する無線周波数(RF)モジュール、(ii)構成要素(COMP)入力モジュール(又はCOMP入力モジュールのセット)、(iii)ユニバーサルシリアルバス(USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface(HDMI)入力モジュールが挙げられる。図3に示されていない他の例は、コンポジットビデオを含む。
様々な実施形態では、ブロック32の入力モジュールは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、及び(vi)データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、RFモジュール及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RFモジュールは、アンテナを含む。
追加的に、USBモジュール及び/又はHDMIモジュールは、システム3をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理、例えばリード・ソロモン誤り訂正の様々な態様は、例えば、別個の入力処理IC内又は必要に応じて処理モジュール30内で実施することができることを理解すべきである。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて別個のインターフェースIC内又は処理モジュール30内で実施され得る。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール30に提供される。
システム3の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システム3において、処理モジュール30は、バス305によって当該システム3の他の要素に相互接続される。
処理モジュール30の通信インターフェース304は、システム3が通信チャネル2上で通信することを可能にする。通信チャネル2は、例えば、有線及び/又は無線媒体内に実装することができる。
様々な実施形態において、データは、例えばIEEE 802.11(IEEEは電気電子技術者協会を指す)のようなWi-Fiネットワークなどの無線ネットワークを使用して、システム3にストリーミングされるか、そうでなければ提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合した通信チャネル2及び通信インターフェース304を介して受信される。これらの実施形態の通信チャネル3は、一般に、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためのインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック32のHDMI接続を介してデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム3に提供する。更に他の実施形態は、入力ブロック32のRF接続を使用してストリームデータをシステム3に提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システム3は、ディスプレイ5、スピーカ6、及び他の周辺デバイス7を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ5は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ5は、テレビジョン、タブレット、ラップトップ、携帯電話(移動電話)、又は他のデバイス用とすることができる。ディスプレイ5はまた、他の構成要素と統合するか(例えば、スマートフォンのように)、又は別々にする(例えば、ラップトップのための外部モニタ)ことができる。ディスプレイデバイス5は、HDRコンテンツと互換性がある。他の周辺デバイス7としては、実施形態の様々な例において、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語の略称としてDVR、digital versatile disc)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上が挙げられる。様々な実施形態は、システム3の出力に基づいて機能を提供する1つ以上の周辺デバイス7を使用する。例えば、ディスクプレーヤは、システム3の出力を再生する機能を果たす。
様々な実施形態では、制御信号は、AV.Link、Consumer Electronics Control(CEC)、又はユーザの介入の有無にかかわらずデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム3とディスプレイ5、スピーカ6、又は他の周辺デバイス7との間で通信される。出力デバイスは、それぞれのインターフェース33、34、及び35を介して専用接続によりシステム3に通信可能に結合することができる。或いは、出力デバイスは、通信インターフェース304を介して通信チャネル2を使用してシステム3に接続することができる。ディスプレイ5及びスピーカ6は、例えばテレビなどの電子デバイス内のシステム3の他の構成要素と共に単一のユニットに組み込まれ得る。様々な実施形態において、ディスプレイインターフェース5は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
或いは、ディスプレイ5及びスピーカ6は、例えば入力32のRFモジュールが別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上から分離することができる。ディスプレイ5及びスピーカ6が外部構成要素である様々な実施形態において、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して提供することができる。
様々な実装形態は、逆トーンマッピング方法を適用することを伴う。本出願で使用される場合、逆トーンマッピングは、例えば、ディスプレイに適した最終HDR出力を作るために、受信されたSDR画像又はビデオストリームに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態では、そのようなプロセスは、画像又はビデオデコーダ、例えば、Joint Video Experts Team(JVET)デコーダとして知られるITU-T及びISO/IECの専門家の合同共同チームによって開発中であるJPEGデコーダ又はH.264/AVC(ISO/IEC14496-10-MPEG-4 Part10、Advanced Video Coding)、H.265/HEVC(ISO/IEC23008-2-MPEG-H Part2、High Efficiency Video Coding/ITU-T H.265)又はH.266/VVC(Versatile Video Coding)によって通常実行されるプロセスのうちの1つ以上を含む。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
本明細書に説明された実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(「PDA、personal digital assistant」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」又は「実施形態では」又は「一実装形態では」又は「実装形態では」という語句の出現、並びに任意の他の変形例は、必ずしも全てが同じ実施形態を指すものではない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、メモリから情報を取得すること、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得することのうちの1つ以上を含むことができる。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
「/」、「及び/又は」、「のうちの少なくとも1つ」、「1つ以上」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、「A及びBのうちの少なくとも1つ」、「A及びBの1つ以上」の場合、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図しているものと理解されたい。更なる例として、「A、B、及び/又はC」及び「A、B、及びCのうちの少なくとも1つ」、「A、B及びCのうちの1つ以上」の場合、このような句は、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は3番目にリストされた選択肢(C)のみの選択、又は、最初及び2番目にリストされた選択肢(A及びB)のみの選択、又は、最初及び3番目にリストされた選択肢(A及びC)のみの選択、又は、2番目及び3番目にリストされた選択肢(B及びC)のみの選択、又は3つの選択肢(A及びB及びC)全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
当業者には明らかであるように、実装形態又は実施形態は、例えば、記憶又は送信することができる情報を搬送するようにフォーマットされた様々な信号を作ることができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態又は実施形態の1つによって作られるデータを含むことができる。例えば、説明されている実施形態のHDR画像又はビデオシーケンスを伝えるように信号をフォーマットすることができる。このような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用する)、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、HDR画像又はビデオシーケンスを符号化ストリームに符号化すること、及び符号化ストリームでキャリアを変調することを含み得る。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線リンク又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
図4は、逆トーンマッピングの方法の様々な実施形態の高レベル表示を概略的に示す。以下で説明する様々な実施形態では、現在のSDR画像に対して利得関数G()が定義されているものとする。この利得関数は、Y’G(Y’)が単調であって、Y’が線形の輝度値Yのガンマ化されたバージョンであるように定義される。
様々な実施形態において、SDR画像の輝度値Y’のヒストグラムは、高輝度レベルの情報量を検出するために使用される。
一例として、文書の残りの部分では、ITMOの目標LMax(すなわち、目標最高輝度値)は「1000」nitであり、現在の入力SDR画像は「8」ビット画像であると仮定され、値「255」は100nitに対応する。
その場合、ITM関数は、以下のように書くことができる。
YSDR’及びYHDR’の両方はガンマ化され、YSDR及びYHDRの両方は線形であり、例えば:
YSDR=(YSDR’/255)2.4×100
YHDR=(YHDR’/1000)2.4×1000
YSDR=(YSDR’/255)2.4×100
YHDR=(YHDR’/1000)2.4×1000
ステップ41において、処理モジュール30は、現在のSDR画像と呼ばれるSDR画像を取得する。
ステップ42において、処理モジュール30は、式4のITM関数の初期利得関数G()と呼ばれる利得関数G()を取得する。取得されると、利得関数G()により、式4のITM関数からITM曲線を取得することが可能になる。
図5A、図5B、及び図5Cは、式4で得られた「1000」ニットディスプレイを標的とするITM曲線の3つの例を表わす。SDR入力は、[0...255]の範囲内にあり(これは、「8」ビット画像でない場合、範囲[0;255]内で正規化される必要があることを意味する)、出力は範囲[0;1000]内で正規化される。図5Aの曲線は、最大入力値「255」(「100」nitに対応する)が、線形化されたときに「1000」nitに対応する「1000」に等しい出力を生成することを示す。図5Bの曲線は、最大値が「700」付近であり、直線化した場合には「425」nitに相当し、図5Cの曲線は、最大値が「1200」付近であり、直線化した場合には「1550」nitに相当することを示す。
図5Aの曲線は、クリップされた値を生成しないが、入力画像が大きな明るい(擬似白色)領域を含む場合、いくらかの眩しい効果を生成することができる。図5Bの曲線は、入力が何であっても眩しい効果を生じない。図5Cの曲線は、入力画像が(準白色領域だけでなく)高い値を有する大きな領域を含む場合、図5Aの曲線よりもはるかに眩しい効果を潜在的に生み出すことができる。
ステップ43において、処理モジュール30は、現在のSDR画像に輝点減衰が必要であるかどうかを判定する。輝点減衰は、SDR画像から得られるHDR画像の明るすぎる領域の輝度を、目標拡張輝度値BSTargetに低減することにある。現在のSDR画像のピクセルの少なくとも所定のパーセンテージが輝度値Y’よりも高い輝度値を有する場合に輝点減衰が適用され、輝度値Y’は、線形化されたときに目標拡張輝度値BSTargetに等しい、式4の逆トーンマッピング関数を当該輝度値Y’に適用することによって取得された拡張値である。ステップ43は、図6、図7及び図8に関連して詳述される。言い換えれば、現在のSDR画像に対する第1の逆トーンマッピング関数の適用によってもたらされるHDR画像のピクセルの少なくともパーセンテージ(P)が目標拡張輝度値BSTargetよりも高く線形化された時点で拡張輝度値を有することを現在のSDR画像の解析が示す場合、輝点減衰が適用される。
現在のSDR画像に輝点減衰が必要とされない場合、ステップ43の後にステップ44が続く。ステップ44の間、処理モジュール30は、HDR画像を取得するために、現在のSDR画像に第1のITM関数を適用する。第1のITM関数は、例えば、初期利得関数G()に基づく式4のITM関数である。
そうでなければ、現在のSDR画像には輝点減衰が必要であり、ステップ43の後にステップ45が続く。ステップ45の間、処理モジュール30は、HDR画像を取得するために、現在のSDR画像に第2のITM関数を適用する。第2のITM関数は、例えば、初期利得関数が修正利得関数Gbs()に置き換えられた式4のITM関数に対応する。修正利得関数Gbs()の取得及び適用の実施形態は、図6A、図7、図8及び図9A、図6B、図9B、図10、図11A、図11B、図12A、図12B、図13A、図13B及び図14に関連して詳述される。
図6Aは、現在のSDR画像がITMプロセス中に輝点減衰を必要とするか否かを判定するステップの第1の実施形態を概略的に示す。
図6Aのプロセスは、図4のステップ43の第1の実施形態に対応する。
ステップ430において、処理モジュール30は、第1の閾値TH1を計算する。第1の閾値TH1はガンマ化された輝度値YSDR’に相当し、この場合、現在のSDR画像のピクセルの所定のパーセンテージPは、この閾値輝度値TH1以上である輝度値を有する。第1の閾値TH1の計算は、図7に関連して以下で詳述される。
ステップ431において、処理モジュール30は、第2の閾値TH2を計算する。第2の閾値TH2は、線形化された場合のその拡張輝度値YHDR’が目標拡張輝度値BSTarget以下である最後のガンマ化された輝度値YSDR’(YSDR’の値が0から「255」まで増加)に対応する。言い換えれば、第2の閾値TH2は、YHDR’≦BSTarget’及び(Y+1)HDR’>BSTarget’を検証し、ここで、BSTarget’はBSTargetのガンマ化されたバージョンである。第2の閾値TH2の演算の詳細については、図8に関連して後述する。
ステップ432において、処理モジュール30は、第1の閾値TH1を第2の閾値TH2と比較する。TH1>TH2である場合、処理モジュール30は、ステップ433において、現在のSDR画像がITMプロセス中に輝点減衰を必要とすると判定する。そうでなければ、処理モジュール30は、ステップ434において、現在のSDR画像のITMプロセス中に輝点減衰が必要ではないと判定する。
図7は、第1の閾値TH1の求め方を模式的に示している。図7の方法は、図6のステップ430に対応する。
ステップ4301において、処理モジュール30は、値Psumを初期化する。Psumは、上で定義されたパーセンテージP(0と1との間の値として表わされる)に、現在のSDR画像内のピクセルの総数を乗算した結果である。現在のSDR画像内のピクセルの総数は、当該現在のSDR画像のヒストグラムHisto内の全てのビンの合計に等しい。
TH1は、(「255」から0へと減少する順序で)YSDR’の第1の値であり、この場合、
ステップ4302において、処理モジュール30は、変数kを「255」に初期化し、変数sumを0に初期化する。
ステップ4303において、処理モジュール30は、変数sumを値Psumと比較する。sum<Psumの場合、ステップ4303の後にステップ4305が続く。ステップ4305の間、処理モジュール30は、位置kにおけるヒストグラムHistoの値Histo[k]の変数sumの値を増加させる。
sum=sum+Histo[k]
sum=sum+Histo[k]
ステップ4306において、処理モジュール30は、一単位の変数kをデクリメントする。ステップ4306の後にステップ4303が続く。
ステップ4303においてsum≧Psumである場合、処理モジュール30は、第1の閾値TH1の値を変数kの値に設定する。
図8は、第2の閾値TH2の求め方を模式的に示している。
図8の方法は、図6のステップ431に対応する。
ステップ4310において、処理モジュール30は、変数kを0に初期化する。
ステップ4312において、処理モジュール30は、変数Kexpを値kG(k)に設定する。
Kexp=kG(k)
Kexp=kG(k)
ステップ4313において、処理モジュール30は、変数Kexpをガンマ化された目標拡張輝度値BSTarget’と比較する。
Kexp≦BSTarget’である場合、処理モジュール30は、ステップ4314において、一単位のユニットの変数kをインクリメントする。ステップ4314の後にステップ4312が続く。
そうではなく、Kexp>BSTarget’である場合、処理モジュール30は、第2の閾値TH2の値を変数k-1の値に設定する。
図9Aは、修正利得関数に基づいてITM関数を計算及び適用するステップの第1の実施形態を概略的に示す。
図9Aのプロセスは、図4のステップ45の第1の実施形態に対応する。
欧州特許出願公開第3503019(A1)号は、輝点減衰を実行するために以下の修正利得関数Gbs()を提案する。
Gbs(Y’)=G(Y’)-hlCoef*(Y’/255)γ (式5)
ここで、γにおける好ましい値は「6」である。hlCoefは、ITMプロセス中の輝点減衰の強度を制御するために使用される減衰強度係数である。図から分かるように、修正利得関数Gbs()は、初期利得関数G()によって提供される利得G(Y’)が減衰関数hlCoef*(Y’/255)γによって減衰される初期利得関数G()から導出される関数であり、当該減衰関数は、輝点減衰の強度を制御する減衰強度係数hlCoefによって重み付けされた輝度値Y’の増加関数である。
Gbs(Y’)=G(Y’)-hlCoef*(Y’/255)γ (式5)
ここで、γにおける好ましい値は「6」である。hlCoefは、ITMプロセス中の輝点減衰の強度を制御するために使用される減衰強度係数である。図から分かるように、修正利得関数Gbs()は、初期利得関数G()によって提供される利得G(Y’)が減衰関数hlCoef*(Y’/255)γによって減衰される初期利得関数G()から導出される関数であり、当該減衰関数は、輝点減衰の強度を制御する減衰強度係数hlCoefによって重み付けされた輝度値Y’の増加関数である。
ステップ45の第1の実施形態では、処理モジュール30は、以下のように減衰強度係数hlCoefを計算する。
ステップ453において、処理モジュールは、修正利得関数Gbs()に基づくITM関数を現在のSDR画像に適用する。修正利得関数Gbs()は、式「5」のステップ451で取得された減衰強度係数hlCoefを用いて取得される。ITM関数は、例えば、以下のようになる式「4」のITM関数である。
図11Aは、利得関数G()のグラフ表示である。輝度値が0から「255」の間の入力画像に図11Aの利得関数を適用すると、図11Bに関連して表わされる拡張輝度値(すなわち、ITM曲線)の曲線を得ることができる。
図12Aは、利得関数G()のグラフ表示を、輝点減衰を実行できるようにする修正利得関数Gbs()(破線で表わされる)と比較する。図12Bは、得られた拡張輝度値の曲線を利得関数G()及び修正利得関数Gbs()(破線で)と比較する。
図示のように、初期利得関数G()を用いて「1000」nitを超える拡張輝度値を得ることができるが、修正利得関数Gbs()を適用することにより、拡張輝度値が「1000」nitの限界を超えないようになる。
1つの輝度値(すなわち、TH1について)に関してのみ減衰強度係数hlCoefが計算されても、減衰強度係数hlcoefは全ての可能な輝度値に対して有効であることに気付くことができる。
TH1が別の値を有していた場合、減衰強度係数hlCoefが、修正利得関数Gbs ()と同様に異なっていたことにも気付くことができる。このことは、輝点減衰を可能にする修正利得関数Gbs()が幾分適応的であるが、ちらつき又は激しい全体的な輝度変化を防止するのに十分ではないことを意味する。
第1の閾値TH1が第2の閾値TH2に近いほど、修正利得関数Gbs()は、初期利得関数G()と比較して明るい領域の減衰を可能にしないことにも気付くことができる。これは、ヒストグラムHisto[]が最も高い輝度値Y’ではなく、閾値TH1で減衰強度係数が算出されるためである。これにより、輝点の減衰が得られず、結果としてクリップされた高い輝度値が得られる状況につながる可能性がある。
前述したように、減衰強度係数hlCoefは閾値TH1で計算される。したがって、計算された減衰強度係数hlCoefは、パーセンテージPで表わされるピクセルの大部分がTH1付近に位置する輝度値を有する場合に有効である。しかし、これらのピクセルの大部分がより高い輝度値(すなわち、>TH1又は更には>>TH1)に対応する場合、計算された減衰強度係数hlCoefは、これらのピクセルを十分に表わしていない。
更に、「減衰された」状態と「減衰されていない」状態との間の滑らかな移行ゾーンを導入することは興味深く、これにより、輝点減衰を必要とするSDR画像から輝点減衰を必要としない画像へ交互に通過するときのちらつきを防止することができる(これは、「255」に等しい輝度値を有するピクセルの割合が代わりにパーセンテージPを超え、ヒストグラムhisto[]内の他の輝度値Y’が輝点の減衰をトリガするのに十分に有意なピクセル数を表わさない場合に起こり得る)。
以下では、ステップ43及び45の第2の実施形態を図6B、図10及び図9Bに関連して説明する。この第2実施形態では、「減衰された」状態と「減衰されていない」状態との間に滑らかな移行ゾーンを導入することで、ちらつきの発生を低減することができる。
図6Bは、現在のSDR画像がITMプロセス中に輝点減衰を必要とするか否かを判定するステップの第2の実施形態を概略的に示す。
図6Bのプロセスは、図4のステップ43の第2の実施形態に対応する。
ステップ430’において、処理モジュール30は、ステップ430に関連して説明したように第1の閾値TH1を計算する。
ステップ431’において、処理モジュール30は、図10に関連して後述する方法を実行する減衰強度係数hlCoefを計算する。
ステップ432’において、処理モジュール30は、減衰強度係数hlCoefがゼロと異なるかどうかを判定する。
hlCoef=0である場合、処理モジュール30は、輝点減衰が必要ではないと見なす。その場合、処理モジュール30は、ステップ433と同一のステップ433’を適用する。
hlCoef≠0である場合、処理モジュール30は、現在のSDR画像がITMプロセス中に輝点減衰を必要とすると見なす。その場合、処理モジュール30は、ステップ434と同一のステップ434’を適用する。
図9Bは、修正利得関数に基づいてITM関数を適用するステップの第2の実施形態を概略的に示す。
ステップ453’において、処理モジュールは、現在のSDR画像に、修正利得関数Gbs()に基づくITM関数を適用する。修正利得関数Gbs()は、式「5」のステップ431’で得られた減衰強度係数hlCoefを用いて取得される。ITM関数は、例えば、以下のようになる式「4」のITM関数である。
図10は、修正利得関数を計算するために使用される減衰強度係数hlCoefを計算するための方法を概略的に示す。
図10の方法は、図6Bのステップ431’に対応する。
ステップ431Aにおいて、処理モジュール30は、以下を初期化する。
●変数kから「255」以下では、kは「255」からTH1に、
●変数SumOfHiBinsから0に、
●減衰強度係数hlCoefから0に、
●γから6にデクリメントされる。
●変数kから「255」以下では、kは「255」からTH1に、
●変数SumOfHiBinsから0に、
●減衰強度係数hlCoefから0に、
●γから6にデクリメントされる。
ステップ431Bにおいて、処理モジュールは、変数kを第1の閾値TH1と比較する。
k≧TH1である場合、ステップ431Bの後にステップ431Cが続く。ステップ431Cの間、処理モジュール30は、ヒストグラムhisto[k]の値の変数SumOfHiBinsをインクリメントする。
ステップ431Dにおいて、変数alphaがsumOfHiBins/Psumに設定される。
alpha=sumOfHiBins/Psum
alpha=sumOfHiBins/Psum
注意喚起として:
ステップ431Eにおいて、変数alpha>1である場合、alphaは、ステップ431Fにおいて「1」に設定される。そうでなければ、変数alphaは変更されない。ステップ431E及び431Fの後にステップ431Gが続く。
ステップ431Gの間に、kの拡張値Kexpが計算される。
Kexp=kG(k)
Kexp=kG(k)
ステップ431Hにおいて、拡張値Kexpは、ガンマ化された目標拡張輝度値BSTarget’と比較される。
Kexp≧BSTarget’である場合、処理モジュール30は、ステップ431I中に新しい目標拡張輝度値BSTarget’[k]を計算する。
BSTarget’[k]=(1-alpha)*Kexp+alpha*BSTarget’
BSTarget’[k]=(1-alpha)*Kexp+alpha*BSTarget’
図から分かるように、目標輝度は、拡張値Kexp及びガンマ化された拡張目標輝度値BSTarget’の関数におけるkの各値について再定義される。alphaが小さいほど(すなわち、輝度値がk以上であるピクセルの割合がパーセンテージPと比較して低い場合)、新たにガンマ化された拡張目標輝度値BSTarget’[k]が拡張値Kexpに近づく。alphaが大きいほど(すなわち、輝度値がk以上であるピクセルの割合がパーセンテージPと比較して高い場合)、新たにガンマ化された拡張目標輝度値BSTarget’[k]がガンマ化された目標輝度値BSTarget’に近づく。
ステップ431Jにおいて、処理モジュール30は、輝度値kに関する新しい減衰強度係数hlCoef[k]を計算する。
見て分かるように、項log(BSTarget’[k])/(log(k)が高いほど、減衰強度係数hlCoef[k]は低い。したがって、減衰強度係数hlcoef[k]における最大値は、BSTarget’[k]がBStarget’に等しいときに得られ、減衰強度係数hlcoef[k]における最小値は、BSTarget[k]が拡張値Kexpに等しいときに得られる。すなわち、減衰強度係数hlCoef[k]の最大値は、k以上の値を有するピクセルの割合がパーセンテージPと比べて高い場合に得られる。減衰強度係数hlCoef[k]の最小値は、k以上の値を有するピクセルの割合がパーセンテージPと比べて低い場合に得られる。
ステップ431Kにおいて、処理モジュール30は、変数kが「255」に等しいか否かを判定する。いいえの場合、ステップ431Kの後にステップ431Lが続く。はいの場合、ステップ431Kの後にステップ431Mが続く。
ステップ431M中、処理モジュール30は、減衰強度係数hlCoefの値を値hlCoef[k]に設定し、値hlCoefPosを値kに設定する。
ステップ431Mの後にステップ431Nが続き、ステップ431N中にkがi一単位デクリメントされる。
ステップ431L中、処理モジュール30は、値hlCoef[k]を減衰強度係数hlCoefの現在値と比較する。
hlCoef[k]>hlCoefである場合、処理モジュール30はステップ431Mを実行する。そうでない場合、処理モジュール30はステップ431Nを実行する。
ステップ431K、431L、及び431Mに見られるように、減衰強度係数hlCoef[k]は、減衰強度係数hlCoefの最後に計算された値と比較され、最大値は、変数hlCoefPosに格納されたkの対応する値と同様に、hlCoefに保持されて格納される。k=255の場合、この比較は実行できない。その特定の場合、hlCoef=hlCoef[255]、及びhlCoefPos=255である。これらの反復は、TH1まで続くが、kexp<BSTarget’になると直ぐに停止され、このことは、kの拡張値が減衰されるほど十分に高くないことを意味する。
ステップ431Nの後にステップ431Bが続く。
ステップ431Bにおいてk<TH1である場合又はステップ431Hにおいてkexp<BSTarget’である場合、処理モジュール30はステップ431Oを実行する。
ステップ431O中、処理モジュール30は、減衰強度係数hlCoefが0に等しいか否かを判定し、hlCoef=0は、TH1よりも大きいヒストグラムhistoのビンが全て空である(現在のSDR画像においてTH1よりも大きい輝度値を有するピクセルがない)ことを意味する。はいの場合、処理モジュール30は、hlCoefの値をTH1に設定する。図10の方法はステップ431Qで終了する。減衰強度係数hlCoefが0と異なる場合、ステップ431Oの直後にステップ431Qが続く。
ステップ432’(hlCoef≠0)のテストは、少なくともTH1に等しい輝度値Y’を有する現在画像の少なくとも1つのピクセルが線形化されたときに目標拡張輝度値BSTargetよりも高い式4の逆トーンマッピング関数を当該輝度値Y’に適用することによって得られる拡張輝度値を有するかどうかをチェックすることと等価である。実際に、図10の方法の実行後にhlCoefが0に等しいことは、処理モジュール30がBSTarget’よりも高い拡張輝度値を有する現在のSDR画像の少なくとも1つのピクセルを見つけることができなかったことを意味する。このテストは、実際には、ヒストグラムを「255」からTH1まで減少する順で閲覧する場合に、それぞれの輝度値kごとにステップ431B,431H中に実行される。ステップ431Hのテストはk<TH2の試験と等価であることに気付くことができる。
図10の方法では、ヒストグラムhistoにおいて、ガンマ化された目標拡張輝度値BSTarget’以上の拡張輝度値kexpを有する輝度値kが見つかると直ぐに、新たな値hlcoef[k]が計算される。この新たな値hlcoef[k]をhlCoefよりも高くすることは、ヒストグラムhistoの先行する輝度値についてこれまでに計算された減衰強度係数hlCoefがITMプロセス中に現在のSDR画像の明るい領域を効率的に減衰させるのに十分ではないことを明らかにする。実際に、その場合、処理モジュール30は、明るい領域が輝度kの以前の値に関して決定されたよりも多くのピクセルを含むと判定する。hlCoef[k]によるhlCoefの現在値の置き換えを促すより強い減衰が必要である。図10の方法の利点の1つは、小さな明るい領域が画像内に現れて後続の画像内で拡大し続ける場合に、この明るい領域が、それがパーセンテージPに等しい(又はそれをちょうど上回る)ピクセルの割合を含むまで(すなわち、sumOfHiBinsがPsumよりも高い場合)、画像から次へと益々減衰することである。したがって、「減衰された」状態と「減衰されていない」状態との間の滑らかな移行が得られる。この明るい領域がパーセンテージPに等しいピクセルの割合を含む場合、その拡張値はBSTarget’に設定される。これは、拡張値が突然減衰され、ビデオシーケンスにちらつき効果を生じさせる可能性がある欧州特許出願公開第3 503 019(A1)号には当てはまらない。
一例では、BSTarget’=862と仮定し、k=250での増加する明るい領域を考慮するが、TH2までのヒストグラムには他のビンは存在しない(すなわち、TH2の拡張値はBSTarget’である)。その場合、図10の方法の一実行例は以下の通りである。
●明るい領域のピクセルの割合=0→alpha=0→BSTarget’[Y’]=Yexp’=2501.254=1016→hlCoef=0;
●明るい領域のピクセルの割合=0.25*Psum→alpha=0.25→BSTarget’[Y’]=0.25*862+0.75*1016=977→Gbs(Y’)=log(977)/log(250)=1.247→hlCoef=0.0079;
●明るい領域のピクセルの割合=0.5*Psum→alpha=0.5→BSTarget’[Y’]=0.5*862+0.5*1016=939→Gbs(Y’)=log(939)/log(250)=1.240→hlCoef=0.0158;
●明るい領域のピクセルの割合=0.75*Psum→alpha=0.75→BSTarget’[Y’]=0.75*862+0.25*1016=900→Gbs(Y’)=log(900)/log(250)=1.232→hlCoef=0.0248;
●明るい領域のピクセルの割合>Psum→alpha=1→BSTarget’[Y’]=862→Gbs(Y’)=log(862)/log(250)=1.224→hlCoef=0.0338;
図から分かるように、減衰強度係数hlCoefは、明るい領域内のピクセルの割合と共に増大する(欧州特許出願公開第3503019(A1)号の値まで)。したがって、輝点減衰の滑らかな増大が得られる。
●明るい領域のピクセルの割合=0→alpha=0→BSTarget’[Y’]=Yexp’=2501.254=1016→hlCoef=0;
●明るい領域のピクセルの割合=0.25*Psum→alpha=0.25→BSTarget’[Y’]=0.25*862+0.75*1016=977→Gbs(Y’)=log(977)/log(250)=1.247→hlCoef=0.0079;
●明るい領域のピクセルの割合=0.5*Psum→alpha=0.5→BSTarget’[Y’]=0.5*862+0.5*1016=939→Gbs(Y’)=log(939)/log(250)=1.240→hlCoef=0.0158;
●明るい領域のピクセルの割合=0.75*Psum→alpha=0.75→BSTarget’[Y’]=0.75*862+0.25*1016=900→Gbs(Y’)=log(900)/log(250)=1.232→hlCoef=0.0248;
●明るい領域のピクセルの割合>Psum→alpha=1→BSTarget’[Y’]=862→Gbs(Y’)=log(862)/log(250)=1.224→hlCoef=0.0338;
図から分かるように、減衰強度係数hlCoefは、明るい領域内のピクセルの割合と共に増大する(欧州特許出願公開第3503019(A1)号の値まで)。したがって、輝点減衰の滑らかな増大が得られる。
図10の方法の別の利点は、ループに保存された減衰強度係数hlCoefが完全な反復中に計算された最大の減衰強度係数であることである。これは、「250」(本例ではG=1,254)に75%のPsumがあり、「240」(本例ではG=1.239)に25%のPsumがある場合、又は「250」に25%のPsumがあり、「240」に75%のPsumがある場合、最終減衰強度値hlCoefが同じではないことを意味する。第1のケースでは、
●Y’=250において、明るい領域内のピクセルの割合=0.75*Psum→alpha=0.75→BSTarget’[250]=0.75*862+0.25*1016=900→Gbs(250)=log(900)/log(250)=1.232→hlCoef[250]=0.0248;
●Y’=240において、明るい領域内のピクセルの割合=0.75*Psum+0.25*Psum=Psum→BSTarget’[240]=862→Gbs(240)=log(862)/log(240)=1.233→hlCoef[240]=0.0086;
●→Y’=250についてのhlCoefを選択する:hlCoef=0.0248;
第2のケースでは、
●Y’=250において、明るい領域内のピクセルの割合=0.25*Psum→alpha=0.25→BSTarget’[Y’]=0.25*862+0.75*1016=977→Gbs(Y’)=log(977)/log(250)=1.247→hlCoef=0.0079;
●Y’=240において、明るい領域内のピクセルの割合=0.25*Psum+0.75*Psum=Psum→BSTarget’[240]=862→Gbs(240)=log(862)/log(240)=1.233→hlCoef[240]=0.0086;
●→Y’=240についてのhlCoefを選択する:hlCoef=0.0086;
つまり、輝点減衰量(すなわち、減衰強度係数hlCoefの値)は、TH1及び「255」のヒストグラムhistoにおけるピクセルの輝度値の統計的分布に依存する。各反復で、kの現在の値に対応するピクセル数がsumOfHiBinsに追加され、hlCoef[k]の最大値が格納されると、方法は、kの前の値に関して(ヒストグラムhistoの前のビンに関して)何が起こったかの「メモリ」を保持する。
●Y’=250において、明るい領域内のピクセルの割合=0.75*Psum→alpha=0.75→BSTarget’[250]=0.75*862+0.25*1016=900→Gbs(250)=log(900)/log(250)=1.232→hlCoef[250]=0.0248;
●Y’=240において、明るい領域内のピクセルの割合=0.75*Psum+0.25*Psum=Psum→BSTarget’[240]=862→Gbs(240)=log(862)/log(240)=1.233→hlCoef[240]=0.0086;
●→Y’=250についてのhlCoefを選択する:hlCoef=0.0248;
第2のケースでは、
●Y’=250において、明るい領域内のピクセルの割合=0.25*Psum→alpha=0.25→BSTarget’[Y’]=0.25*862+0.75*1016=977→Gbs(Y’)=log(977)/log(250)=1.247→hlCoef=0.0079;
●Y’=240において、明るい領域内のピクセルの割合=0.25*Psum+0.75*Psum=Psum→BSTarget’[240]=862→Gbs(240)=log(862)/log(240)=1.233→hlCoef[240]=0.0086;
●→Y’=240についてのhlCoefを選択する:hlCoef=0.0086;
つまり、輝点減衰量(すなわち、減衰強度係数hlCoefの値)は、TH1及び「255」のヒストグラムhistoにおけるピクセルの輝度値の統計的分布に依存する。各反復で、kの現在の値に対応するピクセル数がsumOfHiBinsに追加され、hlCoef[k]の最大値が格納されると、方法は、kの前の値に関して(ヒストグラムhistoの前のビンに関して)何が起こったかの「メモリ」を保持する。
一実施形態では、ITM曲線が最大認可消費輝度値Lmax(例えば、Lmax=1000nit)を超えて非常に高くなる場合に適合されると、kexp>Lmaxの場合、alphaはalphaLmax/kexpに置き換えられる。
一実施形態では、幾つかのspecular(例えば、空の星、スパーク、又は任意の種類の非常に小さな明るい物体)を可能にするように適合されると、alphaが以下のように計算される。
alpha=(SumOfHiBins-specularPassThrough)/(Psum-specularPassThrough)
alpha=(SumOfHiBins-specularPassThrough)/(Psum-specularPassThrough)
specularPassThroughはPsumの一部であり、例えば20%に等しい。次に、値kにおいて、SumOfHiBins<specularPassThroughである場合、alphaが負になって0に設定される。この場合、BSTarget[k]はKexpに等しく、したがって減衰強度係数hlCoefは0に等しい。sumOfHiBinsがspecularPassThroughよりも低い限り、輝点減衰は適用されない。specularPassThrough=0は、図10の実施形態を検索することを可能にする。
前述したように、図4の方法は、減衰強度係数hlCoefを計算するための方法のおかげで、ITMプロセスが適用されるビデオシーケンスにおけるちらつき効果を低減することを可能にする。一実施形態では、図4の方法に時間フィルタリングを導入することによって追加の改善が得られる。この実施形態では、ヒストグラムhistoは、2つの連続する画像のヒストグラム間の距離を測定することによってビデオシーケンス内のシーンカットを検出するために使用される。前述したように、減衰強度係数hlCoefは、式5を用いて現在のSDR画像に適用するための修正利得関数Gbs()を計算するために使用される。
Gbs(Y’)=G(Y’)-hlCoef‘*(Y’/255)γ
Gbs(Y’)=G(Y’)-hlCoef‘*(Y’/255)γ
上記の式は、以下のように書くことができる。
G(Y’)-hlCoef[hlCoefPos]*(Y’/255)γ
G(Y’)-hlCoef[hlCoefPos]*(Y’/255)γ
現在のSDR画像においてシーンカットが検出される場合、処理モジュール30は、変数hlCoefRec及び変数hlCoefPosRecにそれぞれhlCoef及びhlCoefPosを格納する。
現在のSDR画像においてシーンカットが検出されない場合、処理モジュール30は、変数hlCoefCur及び変数hlCoefPosCurにそれぞれhlCoef及びhlCoefPosを記憶する。その場合、処理モジュール30は、現在のSDR画像に先行する及び最後のシーンカットが検出されたSDR画像の後のSDR画像上で計算されたhlCoefCur(それぞれhlCoefPosCur)からhlCoefRec(それぞれhlCoefPosRec)までを混合して、hlCoefRec(それぞれhlCoefPosRec)の新しい値を生成する。hlCoefCur及びhlCoefRecの相対値に応じて、混合プロセスは2つの形態をとることができる。
1.hlCoefCur≧hlCoefRec:この状況では、より多くの輝点減衰を現在のSDR画像に適用しなければならない。
●hlCoefRec=0(最後のシーンカットまで現在のSDR画像に先行するSDR画像に輝点減衰が適用されていない)の場合、hlCoefPosRec=hlCoefPosCurである。
●hlCoefRec≠0(何らかの輝点減衰が、最後のシーンカットまで現在のSDR画像に先行するSDR画像に適用されている)場合、hlCoefPosRec=hlCoefPosCur*bsAttack+hlCoefPosRec*(1-bsAttack)である。
両方の場合には、hlCoefRec=hlCoefCur*bsAttack+hlCoefRec*(1-bsAttack)である。bsAttackは、0と1との間の重み係数である。bsAttackが1に近いほど、hlCoef及びhlCoefPosの新しい値の影響が大きくなる。一例では、bsAttackは、明るい領域の平滑化効果を得るために、25フレーム/秒で0.05に設定される。
2.hlCoefCur<hlCoefRec:この状況では、現在のSDR画像に適用しなければならない輝点の減衰が少なくなる。hlCoefRec=hlCoefCur*bsRelease+hlCoefRec*(1-bsRelease)。hlCoefCur≠0の場合:hlCoefPosRec=hlCoefPosCur*bsRelease+hlCoefPosRec*(1-bsRelease)である。bsReleaseは、0~1の値である。bsReleaseが1に近いほど、hlCoef及びhlCoefPosの新しい値の影響が大きくなる。一例では、明領域平滑化効果を有するために、25フレーム/秒でbsRelease=0.05である。
1.hlCoefCur≧hlCoefRec:この状況では、より多くの輝点減衰を現在のSDR画像に適用しなければならない。
●hlCoefRec=0(最後のシーンカットまで現在のSDR画像に先行するSDR画像に輝点減衰が適用されていない)の場合、hlCoefPosRec=hlCoefPosCurである。
●hlCoefRec≠0(何らかの輝点減衰が、最後のシーンカットまで現在のSDR画像に先行するSDR画像に適用されている)場合、hlCoefPosRec=hlCoefPosCur*bsAttack+hlCoefPosRec*(1-bsAttack)である。
両方の場合には、hlCoefRec=hlCoefCur*bsAttack+hlCoefRec*(1-bsAttack)である。bsAttackは、0と1との間の重み係数である。bsAttackが1に近いほど、hlCoef及びhlCoefPosの新しい値の影響が大きくなる。一例では、bsAttackは、明るい領域の平滑化効果を得るために、25フレーム/秒で0.05に設定される。
2.hlCoefCur<hlCoefRec:この状況では、現在のSDR画像に適用しなければならない輝点の減衰が少なくなる。hlCoefRec=hlCoefCur*bsRelease+hlCoefRec*(1-bsRelease)。hlCoefCur≠0の場合:hlCoefPosRec=hlCoefPosCur*bsRelease+hlCoefPosRec*(1-bsRelease)である。bsReleaseは、0~1の値である。bsReleaseが1に近いほど、hlCoef及びhlCoefPosの新しい値の影響が大きくなる。一例では、明領域平滑化効果を有するために、25フレーム/秒でbsRelease=0.05である。
時間フィルタリングを伴う実施形態では、hlCoefRecは式5のhlCoefを置き換え、Gbs()の計算を可能にする。
ITM関数の単調性は重要な特性である。場合によっては、修正利得関数Gbs()の使用は、ITM関数が単調になることを防止することができる。単調性の喪失は、減衰利得係数hlCoef及び/又はγの非常に高い値に対して、拡張目標輝度値BSTargetが非常に低いとき、又は元のITM曲線が非常に高くなるときに起こり得る。2つの異なるケース、すなわち、最高輝度値Y’で曲線が単調ではないケース、或いは、幾つかの中間輝度値Y’で曲線が単調性を失い、より高い輝度値Y’で曲線を回復するケースが発生する可能性がある。
図13Aは、ITM曲線(破線)が単調でない典型的な場ケースを示す。
図13Aにおいて、実線の第1の曲線は、輝点減衰のないITM曲線を表し、破線の第2の曲線は、非単調曲線をもたらす第1の曲線の減衰の結果を表わす。
この例では、hlCoef及びγの両方、特にγは非常に高い値を有する:hlCoef=0.07及びγ=12。
hlCoefPosが「255」に等しい場合、このことは、hlCoefが輝度値Y’=255で計算されたことを意味し、処理モジュール30は、単調性を検索するためにγを減少させるだけでよい(Yexp’の値は、Y’=255の場合にγが変化するときに変化しない)。例えば、γ=9を使用すると、破線の拡張曲線は再び単調である。
図13Bは、ITM曲線の単調性を保証することを可能にするITM曲線の補正を示す。
図13Bにおいて、第1の曲線は、図13Aの第1の曲線と同一である。破線の曲線は、図13Aの第2の曲線を得ることを可能にするITM関数におけるパラメータγの修正の結果である。
hlCoefPos≠255の場合、処理モジュール30は、hlCoefPosにおいて同じYexp’値を維持しながら、hlCoef及びγの両方を修正して単調性を検索する必要がある。例えば、hlCoefPos=243、Yexp’=748である場合、処理モジュールは、単調性を取り出すためにγ及びhlCoefを低減する必要がある。これは再帰的に行うことができる。例えば、hlCoef=0.063及びγ=9.8では、Yexp’が同じ値(Yexp’=748)を維持している間、曲線は再び単調である。
一実施形態では、図9Bのプロセスは、任意選択のステップ452によって補完される。ステップ452中、輝点減衰を使用するときに得られたITM曲線の単調性が試験され、ITM曲線の単調性を保証するために、必要に応じてITM曲線に補正が適用される。
図14は、ITM曲線の単調性を保証することを可能にする方法を概略的に表わす。
ステップ4521において、処理モジュール30は、式4に修正利得関数Gbs()を導入することによって得られるITM曲線が単調であるかどうかを判定する。ITM曲線は、0から「254」の間の任意のkに関してYexp(k)≦Yexp(k+1)であれば単調である。
ITM曲線が単調である場合、ステップ4525において、ITM関数に補正は適用されない。
ITM関数が単調でない場合、処理モジュール30は、ステップ4522においてhlCoefPos=255であるかどうかを判定する。はいの場合、処理モジュール30はγのみを変更する。例えば、γは、ITM関数が単調になるまで再帰的に減少した。
hlCoefPos≠255の場合、処理モジュール30は、輝度値Y’=hlCoefPosにおいて同じ拡張輝度値Yexp’を維持しながら、ITM曲線の単調性を保証するようにhlCoef及びγを変更する。これは、代替的にhlCoef及びγを低減する再帰的プロセスを適用することによって行うことができる。
以上、幾つかの実施形態について説明した。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたって、以下の特徴、デバイス、又は態様の1つ以上を、単独で、又は組み合わせで含むことができる。
●記載された実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●記載された実施形態のうちの少なくとも1つを実行し、得られた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化ビデオストリームを含む信号を受信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化ビデオストリームを含む信号を(例えば、アンテナを使用して)無線で受信し、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●記載された実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●記載された実施形態のうちの少なくとも1つを実行し、得られた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化ビデオストリームを含む信号を受信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●符号化ビデオストリームを含む信号を(例えば、アンテナを使用して)無線で受信し、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
Claims (20)
- 逆トーンマッピングのための方法であって、
現在画像と呼ばれる画像を取得するステップ(41)と、
第1の逆トーンマッピング関数の初期利得関数と呼ばれる利得関数を取得するステップ (42)と、
目標輝度値(TH1)を取得するステップと、
前記目標輝度値(TH1)に少なくとも等しい輝度値を有する前記現在画像の少なくとも1つのピクセルが、前記現在画像に対する前記第1の逆トーンマッピング関数の適用によってもたらされて目標拡張輝度値(BSTarget’)よりも高い拡張値を有する場合(43)に、前記現在画像に対して第2の逆トーンマッピング関数を適用するステップ(45,453)であって、前記第2の逆トーンマッピング関数が、前記利得関数が修正利得関数によって置き換えられた前記第1の逆トーンマッピング関数に対応する、ステップと、
を含み、前記修正利得関数は、前記初期利得関数によって与えられる利得が減衰関数によって減衰される前記初期利得関数から導出される関数であり、前記減衰関数は、前記減衰の強度を制御する重み係数(hlCoef)によって重み付けされた輝度値の増加関数であり、前記重み係数は、最大輝度値と前記目標輝度値(TH1)との間の前記現在画像のヒストグラムにおける輝度値の統計的分布に依存する、
方法。 - 前記最大輝度値から輝度値が大きい順に前記ヒストグラムを閲覧するステップと、
前記閲覧された輝度値が前記目標輝度値(TH1)に少なくとも等しい(431B)間、前記閲覧された輝度値に対する前記第1の逆トーンマッピング関数の適用の結果(431G)が前記目標拡張輝度値(BSTarget’)に少なくとも等しい(431H)ときに、それぞれの前記閲覧された輝度値ごとに中間重み係数(hlCoef[k])を計算するステップ(431J)と、及び、
前記重み付き係数(hlCoef)の値を、前記計算された中間重み係数の最大値に対応する値に設定するステップ(431M)と、
を含む、請求項1に記載の方法。 - 前記中間重み係数が中間拡張目標輝度値に依存し、前記中間拡張目標輝度値は、前記拡張目標輝度値と、前記閲覧された輝度値に対する前記第1の逆トーンマッピング関数の適用の前記結果(431G)との間の加重和(431I)であり、前記加重和の各重みは、前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル(alpha)の割合を表わす値に依存する、請求項2に記載の方法。
- 前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル(alpha)の前記割合を表わす前記値は、最大認可消費輝度値にも依存する、請求項3に記載の方法。
- 前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル数(SumOfHiBins)が所定の最小ピクセル数よりも低い場合に、前記現在画像に対して前記第1の逆トーンマッピング関数を適用するステップを含む、請求項3に記載の方法。
- 前記現在画像がビデオシーケンスに属し、前記方法は、現在のビデオシーケンス内のシーンカットを検出するステップを含み、前記重み係数は、前記減衰の前記強度を、前記現在画像に先行する前記ビデオシーケンスの別の画像について計算された前記減衰の前記強度を制御する少なくとも1つの他の重み係数にも応じて制御し、前記現在画像と前記別の画像との間でシーンカットが検出されていない、請求項1から5のいずれか一項に記載の方法。
- 前記第2の逆トーンマッピング関数を用いて取得された第1の逆トーンマッピング曲線の単調性を検証するステップと、前記第1の逆トーンマッピング曲線が単調でない場合、前記第2の逆トーンマッピング関数の少なくとも1つのパラメータを修正して、単調な第2の逆トーンマッピング曲線を取得するステップとを含む、請求項1から6のいずれか一項に記載の方法。
- 前記目標輝度値は、前記現在画像の前記ピクセルの所定のパーセンテージ(P)に依存する、請求項1から7のいずれか一項に記載の方法。
- 逆トーンマッピングのためのデバイスであって、
現在画像と呼ばれる画像を取得し(41)、
第1の逆トーンマッピング関数の初期利得関数と呼ばれる利得関数を取得し(42)、
目標輝度値(TH1)を取得し、
前記目標輝度値(TH1)に少なくとも等しい輝度値を有する前記現在画像の少なくとも1つのピクセルが、前記現在画像に対する前記第1の逆トーンマッピング関数の適用によってもたらされて目標拡張輝度値(BSTarget’)よりも高い拡張輝度値を有する場合(43)に、前記現在画像に対して第2の逆トーンマッピング関数を適用する(45,453)、
ように適合された電子回路を備え、
前記第2の逆トーンマッピング関数は、前記利得関数が修正利得関数によって置き換えられた前記第1の逆トーンマッピング関数に対応し、前記修正利得関数は、前記初期利得関数によって与えられる利得が減衰関数によって減衰される前記初期利得関数から導出される関数であり、前記減衰関数は、前記減衰の強度を制御する重み係数(hlCoef)によって重み付けされた輝度値の増加関数であり、前記重み係数は、最大輝度値と前記目標輝度値(TH1)との間の前記現在画像のヒストグラムにおける輝度値の統計的分布に依存する、
デバイス。 - 前記電子回路は、
前記最大輝度値から輝度値が大きい順に前記ヒストグラムを閲覧し、
前記閲覧された輝度値が前記目標輝度値(TH1)に少なくとも等しい(431B)間、前記閲覧された輝度値に対する前記第1の逆トーンマッピング関数の適用の結果(431G)が前記目標拡張輝度値(BSTarget’)に少なくとも等しい(431H)ときに、それぞれの前記閲覧された輝度値ごとに中間重み係数(hlCoef[k])を計算し(431J)、及び
前記重み付き係数(hlCoef)の値を、前記計算された中間重み係数の最大値に対応する値に設定する(431M)、
ようにも適合される、請求項9に記載のデバイス。 - 前記中間重み係数が中間拡張目標輝度値に依存し、前記中間拡張目標輝度値は、前記拡張目標輝度値と、前記閲覧された輝度値に対する前記第1の逆トーンマッピング関数の適用の前記結果(431G)との間の加重和(431I)であり、前記加重和の各重みは、前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル(alpha)の割合を表わす値に依存する、請求項10に記載のデバイス。
- 前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル(alpha)の前記割合を表わす前記値は、最大認可消費輝度値にも依存する、請求項11に記載の方法。
- 前記閲覧された輝度値よりも高い輝度値を有する前記現在画像のピクセル数(SumOfHiBins)が所定の最小ピクセル数よりも低い場合に、前記現在画像に対して前記第1の逆トーンマッピング関数を適用することを含む、請求項11に記載のデバイス。
- 前記現在画像がビデオシーケンスに属し、前記電子回路は、現在のビデオシーケンス内のシーンカットを検出するようにも適合され、前記重み係数は、前記減衰の前記強度を、前記現在画像に先行する前記ビデオシーケンスの別の画像について計算された前記減衰の前記強度を制御する少なくとも1つの他の重み係数にも応じて制御し、前記現在画像と前記別の画像との間でシーンカットが検出されていない、請求項9から13のいずれか一項に記載のデバイス。
- 前記第2の逆トーンマッピング関数を用いて取得された第1の逆トーンマッピング曲線の単調性を検証すること、及び、前記第1の逆トーンマッピング曲線が単調でない場合、前記第2の逆トーンマッピング関数の少なくとも1つのパラメータを修正して、単調な第2の逆トーンマッピング曲線を取得することを含む、請求項9から14のいずれか一項に記載のデバイス。
- 前記目標輝度値は、前記現在画像の前記ピクセルの所定のパーセンテージ(P)に依存する、請求項8から15のいずれか一項に記載のデバイス。
- 請求項9から16のいずれか一項に記載のデバイスを備える装置。
- 請求項1から8のいずれか一項に記載の方法によって又は請求項9から16のいずれか一項に記載のデバイスによって又は請求項17に記載の装置によって生成される信号。
- 請求項1から7のいずれか一項に記載の方法を実施するためのプログラムコード命令を含むコンピュータプログラム。
- 請求項1から7のいずれか一項に記載の方法を実施するためのプログラムコード命令を記憶する情報記憶手段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20305717 | 2020-06-26 | ||
EP20305717.9 | 2020-06-26 | ||
PCT/EP2021/064973 WO2021259613A1 (en) | 2020-06-26 | 2021-06-04 | Inverse tone mapping with adaptive bright-spot attenuation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023530728A true JP2023530728A (ja) | 2023-07-19 |
Family
ID=71614825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022577737A Pending JP2023530728A (ja) | 2020-06-26 | 2021-06-04 | 適応型輝点減衰を伴う逆トーンマッピング |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230267579A1 (ja) |
EP (1) | EP4172928A1 (ja) |
JP (1) | JP2023530728A (ja) |
CN (1) | CN116134478A (ja) |
WO (1) | WO2021259613A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114223209A (zh) * | 2019-08-12 | 2022-03-22 | 杜比实验室特许公司 | Hdr图像传感器的自适应图像数据线性化 |
CN114827484B (zh) * | 2022-04-22 | 2023-10-20 | 咪咕视讯科技有限公司 | 视频画质增强方法、装置、设备及存储介质 |
US20240221134A1 (en) * | 2022-12-28 | 2024-07-04 | Samsung Electronics Co., Ltd. | Image-statistics-based de-banding in sdr to hdr conversion |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102234092B1 (ko) | 2013-12-27 | 2021-04-01 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 이미지의 역 톤 매핑을 위한 방법 |
US9344638B2 (en) * | 2014-05-30 | 2016-05-17 | Apple Inc. | Constant bracket high dynamic range (cHDR) operations |
EP3249605A1 (en) | 2016-05-23 | 2017-11-29 | Thomson Licensing | Inverse tone mapping method and corresponding device |
EP3503019A1 (en) | 2017-12-21 | 2019-06-26 | Thomson Licensing | Improved inverse tone mapping method and corresponding device |
-
2021
- 2021-06-04 EP EP21730576.2A patent/EP4172928A1/en active Pending
- 2021-06-04 CN CN202180061452.9A patent/CN116134478A/zh active Pending
- 2021-06-04 WO PCT/EP2021/064973 patent/WO2021259613A1/en active Application Filing
- 2021-06-04 JP JP2022577737A patent/JP2023530728A/ja active Pending
- 2021-06-04 US US18/012,274 patent/US20230267579A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021259613A1 (en) | 2021-12-30 |
CN116134478A (zh) | 2023-05-16 |
US20230267579A1 (en) | 2023-08-24 |
EP4172928A1 (en) | 2023-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179443B2 (ja) | 拡張された高ダイナミックレンジ(“hdr”)-hdrトーンマッピングのための方法、装置、及びシステム | |
CN110545413B (zh) | 用于执行高动态范围视频的色调映射的方法及装置 | |
JP2023530728A (ja) | 適応型輝点減衰を伴う逆トーンマッピング | |
CN107209929B (zh) | 用于对高动态范围图像进行处理的方法和装置 | |
US20180005357A1 (en) | Method and device for mapping a hdr picture to a sdr picture and corresponding sdr to hdr mapping method and device | |
US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
US9998720B2 (en) | Image processing method for locally adjusting image data of real-time image | |
WO2016157838A1 (ja) | 信号処理装置、表示装置、信号処理方法、およびプログラム | |
JP6948309B2 (ja) | パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス | |
JP2023516184A (ja) | 逆トーンマッピングのための方法及び装置 | |
Vo et al. | HDR10+ adaptive ambient compensation using creative intent metadata | |
CN113079362B (zh) | 视频信号处理方法、装置及电子设备 | |
WO2021073316A1 (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
WO2018010026A1 (en) | Method of presenting wide dynamic range images and a system employing same | |
US12020413B2 (en) | HDR tone mapping based on creative intent metadata and ambient light | |
EP4423709A1 (en) | Coupled inverse tone mapping and tone mapping | |
CN118541722A (zh) | 逆色调映射过程中的扩展函数选择 | |
JP5179433B2 (ja) | ノイズリダクション装置、ノイズリダクション方法、および動画再生装置 | |
WO2024156544A1 (en) | Energy aware sl-hdr | |
CN116508054A (zh) | 用于避免色调映射器中的色度削波同时维持饱和度并保持色调的方法、设备和装置 | |
WO2023194089A1 (en) | Method for correcting sdr pictures in a sl-hdr1 system | |
WO2024213421A1 (en) | Method and device for energy reduction of visual content based on attenuation map using mpeg display adaptation | |
WO2023078707A1 (en) | Tone mapping with configurable hdr and sdr diffuse white levels | |
TW202147835A (zh) | 用於sl-hdrx系統之標準動態範圍(sdr)及高動態範圍(hdr)顯示適應信號上的色度提升 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230227 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20230307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240508 |