JP6738972B2 - ハイダイナミックレンジ画像のためのトーン曲線マッピング - Google Patents
ハイダイナミックレンジ画像のためのトーン曲線マッピング Download PDFInfo
- Publication number
- JP6738972B2 JP6738972B2 JP2019543902A JP2019543902A JP6738972B2 JP 6738972 B2 JP6738972 B2 JP 6738972B2 JP 2019543902 A JP2019543902 A JP 2019543902A JP 2019543902 A JP2019543902 A JP 2019543902A JP 6738972 B2 JP6738972 B2 JP 6738972B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- dynamic range
- input
- midtone
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims description 48
- 238000000034 method Methods 0.000 claims description 62
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 39
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、いずれも2017年2月15日に出願された米国仮特許出願第62/459,141号および欧州特許出願第17156284.6号、ならびに2017年3月1日に出願された米国仮特許出願第62/465,298号に基づく優先権を主張するものであり、これら各出願を本願に援用する。
本発明は、画像全般に関する。より詳しくは、本発明の一実施形態は、第1のダイナミックレンジから第2のダイナミックレンジへとハイダイナミックレンジ(HDR)画像および映像信号をマッピングするための、トーン曲線のパラメータを決定することに関する。
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚系(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最も暗いグレー(黒)から最も明るい白(ハイライト)まで)を知覚する能力に関し得る。この意味では、DRは、「シーン−リファード(scene−referred)」な強度に関する。DRはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)な強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
本明細書に記載の例示的な実施形態は、ハイダイナミックレンジ(HDR)画像のディスプレイマッピングのためのトーン曲線を決定する方法に関する。映像システムにおいて、1つの実施形態では、プロセッサは入力画像について、第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含む第1の情報データを受信する。プロセッサは、第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含む、第2のダイナミックレンジにおける出力画像についての第2の情報データにもアクセスする。プロセッサは、第1の情報データおよび第2の情報データに基づいて、第2のダイナミックレンジにおける出力中間トーン値を決定する。プロセッサは、第2の情報データおよび出力中間トーン値に基づいて、第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算する。次に、プロセッサは、第1の情報データ、第2の情報データおよび出力中間トーン値に基づいて、テール傾き、ヘッド傾き、および中間トーン傾きを計算する。プロセッサは、第1のダイナミックレンジにおける入力画像の画素値を、第2のダイナミックレンジにおける出力画像の対応する画素値にマッピングする伝達関数(transfer function)を決定する。ここで、伝達関数は2つのセグメントを含み、第1のセグメントはテール傾き、中間トーン傾き、入力黒色点レベル、入力中間トーンレベル、第2の出力黒色点および出力中間トーン値に基づいて決定され、第2のセグメントは、中間トーン傾き、ヘッド傾き、入力中間トーンレベル、入力白色点レベル、出力中間トーン値および第2の出力白色点に基づいて決定される。プロセッサは、決定された伝達関数を用いて入力画像を出力画像にマッピングする。
HDR信号の映像符号化
図1は、映像の撮像から映像コンテンツ表示までの様々な段を示す従来の映像配信パイプライン100の例示的なプロセスを示す。一連の映像フレーム102が、画像生成ブロック105を用いて撮像または生成される。映像フレーム102を、(例えばデジタルカメラによって)デジタルで撮像するか、またはコンピュータによって(例えばコンピュータアニメーションを用いて)生成し、映像データ107を提供することができる。代替的に、映像フレーム102は、フィルムカメラによってフィルム上に撮像されてもよい。フィルムは、デジタルフォーマットに変換され、映像データ107が提供される。プロダクションフェーズ110において、映像データ107が編集され、映像プロダクションストリーム112が提供される。
その全体を本願において援用し、本明細書において‘480特許として参照される、A. BallestadおよびA. Kostinによる米国特許第8,593,480号「Method and apparatus for image data transformation」によれば、当該発明者らは、3つのアンカーポイントおよび中間トーンの自由パラメータを用いて一意に決定することができるパラメータ化されたシグモイド関数を用いた画像変換マッピングを提案した。そのような関数の例が図2に示される。
・x1〜x3の値は、入力画像を構成する画素を記述する可能な値の範囲を表す。これらの値は、特定の原色(R、GまたはB)の明るさレベルとすることもできるし、画素の全体輝度レベルとすることもできる(例えば、YCbCr表現におけるY成分)。通常、これらの値は、コンテンツを作成するのに用いられるディスプレイ(「マスタリングディスプレイ」125)によってサポートされる最も暗いレベル(黒色点)および最も明るいレベル(白色点)に対応するが、いくつかの実施形態では、リファレンスディスプレイの特性が未知であるとき、これらの値は、受信機において画像メタデータを介して受信することができるかまたは計算することができる、入力画像における(例えば、R、GまたはB、輝度等における)最小値および最大値を表すことができる。
・y1〜y3の値は、出力画像を構成する画素を記述する可能な値の範囲を表す(ここでも、原色の明るさまたは全体輝度レベル)。通常、これらの値は、意図される出力ディスプレイ(「ターゲットディスプレイ」140)によってサポートされる最も暗いレベル(黒色点)および最も明るいレベル(白色点)に対応する。
・値x1を有する任意の入力画素は、値y1を有する出力画素にマッピングするように制約され、値x3を有する任意の入力画素は、値y3を有する出力画素にマッピングするように制約される。
・x2およびy2の値は、画像の何らかの「中間範囲」(または中間トーンレベル)要素のためのアンカーポイントとして用いられる、入力から出力への特定のマッピングを表す。x2およびy2の特定の選択において、かなりの許容範囲が許可され、‘480号特許は、これらのパラメータをどのように選択することができるかについての複数の代替形態を教示している。
・ターゲットディスプレイの特定の範囲内で1対1のマッピングが存在するようにトーン−曲線パラメータを定義することが困難である。
・コントラストを制御するパラメータ(例えば、指数n)を決定することが困難である。
・中間アンカー(x2,y2)ポイントにおける小さな変化により、予期しない挙動が生じる場合がある。
・黒アンカーポイント205を下回る、および/または白アンカーポイント215を上回る線形マッピングを可能にしない。
・(x1,y1)より低い値についての任意選択の線形セグメントL1(x1は負にもなり得る)
・(x1,y1)から(x2,y2)までのスプラインS1
・(x2,y2)から(x3,y3)までのスプラインS2
・(x3,y3)より大きい値についての任意選択の線形セグメントL2(x1は1より大きくもなり得る)
・SMin=x1は、ソースコンテンツの最小輝度を表す。所与でない場合、SMinは、一般的な黒を表す値(例えば、SMin=0.0151)に設定することができる。
・SMax=x3は、ソースコンテンツの最大輝度を表す。所与でない場合、SMaxは、「ハイライト」を表す大きな値(例えば、SMax=0.9026)に設定することができる。
・SMid=x2は、ソースコンテンツの平均(例えば、算術平均、中央値、幾何平均)輝度を表す。いくつかの実施形態では、SMid=x2は単純に、入力ピクチャにおける「重要な」輝度特徴を表すことができる。いくつかの他の実施形態では、SMid=x2は、選択された領域(例えば、顔)の平均または中央値も表すことができる。SMidは、手動でまたは自動で定義することができ、その値は、ハイライトまたはシャドー内の特定の見かけを保持することの選択(preference)に基づいてオフセットすることができる。所与でない場合、SMidは、一般的な平均値(例えば、肌のトーンを表すSMid=0.36)に設定することができる。
・TminPQ=ターゲットディスプレイの最小輝度
・TmaxPQ=ターゲットディスプレイの最大輝度
用語「PQ」は、本明細書において用いられるとき、これらの値(通常、ニト単位で与えられる)がSMPTE ST 2084に従ってPQ値に変換されることを表す。
TMin=y1、
TMax=y3、
TMid=y2、
slopeMin=(x1,y1)における傾き、
slopeMid=(x2,y2)における傾き、および、
slopeMax=(x3,y3)における傾き。
・対角(1対1)マッピングに可能な限り近づくように出力中間トーンアンカーポイント(SMid,TMid)を決定する。すなわち、理想的には、TMidは、入力中間トーンを保持するために可能な限りSMidに近くなるべきである。
・1対1マッピングが可能でない場合、「テールコントラスト」および「ヘッドコントラスト」範囲の出力値が対応する入力範囲の所定の制限以内になるようにTMidを決定する。本明細書において用いられるとき、入力「ヘッドコントラスト」は、(SMax−SMid)の関数に基づき、入力「テールコントラスト」は、(SMid−SMin)の関数に基づく。
・中間アンカーポイント(x2,y2)すなわち(SMid,TMid)を所与として、トーン曲線全体を特徴付けることができるような3つの傾きを決定する。
・上記で説明したように、例えばy=f(x)で表されるトーンマッピング曲線を導出する
・yi=f(xi)を用いて、入力xi値を出力yi値にマッピングする順方向ルックアップテーブルを生成する
・順方向LUT(すなわち、
・既存の値にわたって補間を行うことによって、逆方向LUTの追加の値を生成する。例えば、
・slopeMidパラメータを用いて、ターゲットディスプレイの特定の範囲内のSMid値とTMid値との間の1対1マッピングを定義して、コントラストを保持することができる
・slopeMidおよびcontrastFactor変数を介して画像コントラストを明示的に制御することができる(表1のステップ8を参照されたい)。例えば、一実施形態では、contrastFactorの値は、限定ではないが、contrastFactor=1のデフォルト値を有して、0.5〜2.0の範囲をとることができる。
・曲線全体を2つのスプラインに分けることによって、中間トーンアンカー(x2,y2)の周りに予期しない挙動がもはや存在しない。
・SlopeMinおよびSlopMaxを用いることによって、黒アンカーの前、および白アンカーポイントの後のマッピング曲線の挙動を予め定めることができる。
・この曲線は、負の入力値(例えば、x<0)をマッピングすることができる。そのような条件は、雑音または他のシステム条件(例えば、空間フィルタリング)に起因して生じる場合がある。通常、負の値を0にクランピングするが、そのようなクランピングの結果として雑音が増大し、全体品質が低減する場合がある。負の入力値をマッピングすることが可能であることによって、そのようなクランピングに基づくアーチファクトを低減または除去することができる。
・トーンマッピング曲線は、x対yマッピングをy対xマッピングに単に切り替えることによって容易に反転することができる。
・非整数の指数関数または冪関数を用いるという要件がないため、非整数の指数が用いられないことから、計算がより高速かつより効率的である。
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなハイダイナミックレンジを有する画像のための画像変換に関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載の画像変換プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
HDR映像のSDR映像への効率的な画像変換に関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
EEE1.
プロセッサを用いて、第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする方法であって、
前記第1のダイナミックレンジにおける入力画像の第1の情報データにアクセスすることであって、前記第1の情報データは、前記第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含むことと、
前記第2のダイナミックレンジにおける出力画像の第2の情報データにアクセスすることであって、前記第2の情報データは、前記第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含むことと、
前記第1の情報データおよび前記第2の情報データに基づいて、前記第2のダイナミックレンジにおける出力中間トーン値を決定することと、
前記第2の情報データおよび前記出力中間トーン値に基づいて、前記第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算することと、
前記第1の情報データ、前記第2の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
前記第1のダイナミックレンジにおける前記入力画像の画素値を、前記第2のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は2つのセグメントを含み、第1のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づいて決定され、第2のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点、前記出力中間トーンレベルおよび前記第2の出力白色点に基づいて決定されることと、
前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
を含む、方法。
EEE2.
前記第1のダイナミックレンジはハイダイナミックレンジを含み、前記第2のダイナミックレンジはスタンダードダイナミックレンジを含む、EEE1に記載の方法。
EEE3.
前記伝達関数は、前記第1のダイナミックレンジにおける前記入力黒色点よりも低い入力値に対する第1の線形セグメントを更に含み、前記線形セグメントは、前記テール傾きに等しい傾きを有する、EEE1またはEEE2に記載の方法。
EEE4.
前記第1の線形セグメントの前記伝達関数は、
EEE5.
前記伝達関数は、前記第1のダイナミックレンジにおける前記入力白色点レベルよりも大きい入力値に対する第2の線形セグメントを更に含み、前記線形セグメントは、前記ヘッド傾きに等しい傾きを有する、EEE1からから4のいずれか1つに記載の方法。
EEE6.
前記第2の線形セグメントの前記伝達関数は、
EEE7.
前記第1のセグメントおよび/または前記第2のセグメントは、3次エルミートスプライン多項式に基づいて決定される、EEE1から6のいずれか1つに記載の方法。
EEE8.
前記第1のセグメントを決定することは、
EEE9.
前記第2のセグメントを決定することは、
EEE10.
前記出力中間トーン値を計算することは、
EEE11.
前記出力中間トーン値を計算することは、
前記第1の情報データおよび前記第1の出力黒色点に基づいて、前記第2のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第1の境界値および第2の境界値とを決定することと、
前記仮の出力中間トーン値、前記第1の境界値および第2の境界値、並びに1つ以上の入力コントラスト保持値に基づいて、前記第2のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
前記第1のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第2のダイナミックレンジにおける前記出力中間トーン値を計算することと、
を更に含む、EEE1から9のいずれか1つに記載の方法。
EEE12.
前記仮の出力中間トーン値と、前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値とを決定することは、
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;
を計算することを含み、ここで、
TDR = TmaxPQ-TminPQ
であり、midLocは前記仮の出力中間トーン値を表し、tailroomおよびheadroomは前記第1の出力中間トーン値の前記第1の境界値および前記第2の境界値を表し、SMin、SMidおよびSMaxは前記第1の情報データを表し、TminPQは前記第1の出力黒色点レベルを表す、EEE11に記載の方法。
EEE13.
少なくとも1つのコントラスト保持値は約50%である、EEE11またはEEE12に記載の方法。
EEE14.
前記出力中間トーン値(TMid)を計算することは、
TMid = SMid-offsetHead+offsetTail
を計算することを含み、ここで、SMidは前記第1のダイナミックレンジにおける前記入力中間トーンレベルを表し、offsetHeadおよびoffsetTailは、前記ヘッドオフセットおよび前記テールオフセットを表す、EEE11から13のいずれか1つに記載の方法。
EEE15.
前記第2のダイナミックレンジにおける前記第2の出力白色点および前記第2の出力黒色点を計算することは、
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ
を計算することを含み、ここで、TMinは前記第2の出力黒色点を表し、TMaxは前記第2の出力白色点を表し、SMinおよびSMaxは、前記第1のダイナミックレンジにおける前記入力黒色点および前記入力白色点を表し、TminPQおよびTmaxPQは、前記第2のダイナミックレンジにおける前記第1の出力黒色点および前記第1の出力白色点を表す、EEE14に記載の方法。
EEE16.
前記テール傾きの最大値(maxMinSlope)および/または前記ヘッド傾きの最大値(maxMaxSlope)を
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
として計算することを更に含む、EEE10またはEEE15に記載の方法。
EEE17.
前記テール傾き(slopeMin)、前記中間トーン傾き(slopeMid)および前記ヘッド傾き(slopeMax)を計算することは、
slopeMin = min([maxMinSlope,(( TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
を計算することを更に含み、ここで、contrastFactorはコントラストパラメータを表す、EEE16に記載の方法。
EEE18.
前記第2のダイナミックレンジから前記第1のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
前記決定された伝達関数に基づいて、前記第1のダイナミックレンジにおける複数のx(i)値を、前記第2のダイナミックレンジにおけるy(i)値にマッピングする順方向ルックアップテーブルを決定することと、
以下を設定することによって、前記第2のダイナミックレンジにおける複数のy’(k)値を前記第1のダイナミックレンジにおける対応するx’(k)値にマッピングする前記逆方向ルックアップテーブルを生成することと、
EEE19.
プロセッサを備える装置であって、EEE1から18に記載の方法のうちの任意の方法を実行するように構成される、装置。
EEE20.
EEE1から18のいずれか1つに従って、1つ以上のプロセッサを用いて、方法を実行するコンピュータ実行可能命令が記憶された非一時的コンピュータ可読ストレージ媒体。
Claims (19)
- プロセッサを用いて、第1のダイナミックレンジから第2のダイナミックレンジに画像をマッピングする方法であって、
前記第1のダイナミックレンジにおける入力画像の第1の情報データにアクセスすることであって、前記第1の情報データは、前記第1のダイナミックレンジにおける入力黒色点レベル(x1,SMin)、入力中間トーンレベル(x2,SMid)および入力白色点レベル(x3,SMax)を含むことと、
前記第2のダイナミックレンジにおける出力画像の第2の情報データにアクセスすることであって、前記第2の情報データは、前記第2のダイナミックレンジにおける第1の出力黒色点レベル(TminPQ)および第1の出力白色点レベル(TmaxPQ)を含むことと、
前記第1の情報データおよび前記第2の情報データに基づいて、前記第2のダイナミックレンジにおける出力中間トーン値を決定することと、
前記第2の情報データおよび前記出力中間トーン値に基づいて、前記第2のダイナミックレンジにおける第2の出力黒色点および第2の出力白色点を計算することと、
前記第1の情報データ、前記第2の情報データおよび前記出力中間トーン値に基づいて、テール傾き、ヘッド傾きおよび中間トーン傾きを計算することと、
前記第1のダイナミックレンジにおける前記入力画像の画素値を、前記第2のダイナミックレンジにおける前記出力画像の対応する画素値にマッピングする伝達関数を決定することであって、前記伝達関数は2つのセグメントを含み、第1のセグメントは、前記テール傾き、前記中間トーン傾き、前記入力黒色点レベル、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づいて決定され、第2のセグメントは、前記中間トーン傾き、前記ヘッド傾き、前記入力中間トーンレベル、前記入力白色点レベル、前記出力中間トーン値および前記第2の出力白色点に基づいて決定されることと、
前記決定された伝達関数を用いて、前記入力画像を前記出力画像にマッピングすることと、
を含む、方法。 - 前記第2のダイナミックレンジにおける前記第2の出力黒色点および前記第2の出力白色点を計算することは、前記第1の情報データに更に基づく、請求項1に記載の方法。
- 前記テール傾きを計算することは、前記入力黒色点レベル、前記入力中間トーンレベル、前記第2の出力黒色点および前記出力中間トーン値に基づき、
前記ヘッド傾きを計算することは、前記入力白色点レベル、前記入力中間トーンレベル、前記第2の出力白色点および前記出力中間トーン値に基づき、
前記中間トーン傾きは、前記第1の情報データ、前記第2の出力黒色点、前記第2の出力白色点および前記出力中間トーン値に基づく、請求項1または2に記載の方法。 - 前記第1のダイナミックレンジはハイダイナミックレンジを含み、前記第2のダイナミックレンジはスタンダードダイナミックレンジを含む、請求項1から3のいずれか一項に記載の方法。
- 前記第1のセグメントおよび/または前記第2のセグメントは、3次エルミートスプライン多項式に基づいて決定される、請求項1から6のいずれか一項に記載の方法。
- 前記出力中間トーン値を計算することは、
前記第1の情報データおよび前記第1の出力黒色点レベルに基づいて、前記第2のダイナミックレンジにおける仮の出力中間トーン値と、該仮の出力中間トーン値の第1の境界値および第2の境界値とを決定することと、
前記仮の出力中間トーン値、前記第1の境界値および第2の境界値、並びに1つ以上の入力コントラスト保持値に基づいて、前記第2のダイナミックレンジにおけるヘッドオフセットおよびテールオフセットを計算することと、
前記第1のダイナミックレンジにおける前記入力中間トーンレベル並びに前記ヘッドオフセットおよび前記テールオフセットに基づいて前記第2のダイナミックレンジにおける前記出力中間トーン値を計算することと、
を更に含む、請求項1から10のいずれか一項に記載の方法。 - 前記仮の出力中間トーン値と、前記仮の出力中間トーン値の前記第1の境界値および前記第2の境界値とを決定することは、
midLoc = (SMid-TminPQ)/TDR;
headroom = (SMax-SMid)/TDR;
tailroom = (SMid-SMin)/TDR;
を計算することを含み、ここで、
TDR = TmaxPQ-TminPQ
であり、midLocは前記仮の出力中間トーン値を表し、tailroomおよびheadroomは前記仮の出力中間トーン値の前記第1の境界値および前記第2の境界値を表し、SMin、SMidおよびSMaxは前記第1の情報データを表し、TminPQは前記第1の出力黒色点レベルを表す、請求項11に記載の方法。 - 少なくとも1つのコントラスト保持値は約50%である、請求項11または12に記載の方法。
- 前記出力中間トーン値(TMid)を計算することは、
TMid = SMid-offsetHead+offsetTail
を計算することを含み、ここで、SMidは前記第1のダイナミックレンジにおける前記入力中間トーンレベルを表し、offsetHeadおよびoffsetTailは、前記ヘッドオフセットおよび前記テールオフセットを表す、請求項11から13のいずれか一項に記載の方法。 - 前記第2のダイナミックレンジにおける前記第2の出力白色点および前記第2の出力黒色点を計算することは、
TMax = min(TMid+SMax-SMid,TmaxPQ),
TMin = max(TMid-SMid+SMin,TminPQ)
を計算することを含み、ここで、TMinは前記第2の出力黒色点を表し、TMaxは前記第2の出力白色点を表し、SMinおよびSMaxは、前記第1のダイナミックレンジにおける前記入力黒色点レベルおよび前記入力白色点レベルを表し、TminPQおよびTmaxPQは、前記第2のダイナミックレンジにおける前記第1の出力黒色点レベルおよび前記第1の出力白色点を表す、請求項14に記載の方法。 - 前記テール傾きの最大値(maxMinSlope)および/または前記ヘッド傾きの最大値(maxMaxSlope)を
maxMinSlope = 3*(TMid-TMin)/(SMid-SMin),
maxMaxSlope = 3*(TMax-TMid)/(SMax-SMid)
として計算することを更に含み、
ここで、任意選択により、
前記テール傾き(slopeMin)、前記中間トーン傾き(slopeMid)および前記ヘッド傾き(slopeMax)を計算することは、
slopeMin = min([maxMinSlope,((TMid - TMin)/(SMid - SMin))2]);
slopeMax = min([maxMaxSlope,1,((TMax - TMid)/(SMax - SMid))4]);
slopeMid = min([maxMinSlope,maxMaxSlope,contrastFactor*(1-SMid+TMid)]);
を計算することを更に含み、ここで、contrastFactorはコントラストパラメータを表す、請求項10または請求項15に記載の方法。 - 前記第2のダイナミックレンジから前記第1のダイナミックレンジに画像を戻してマッピングする逆方向ルックアップテーブルを決定することを更に含み、前記方法は、
前記決定された伝達関数に基づいて、前記第1のダイナミックレンジにおける複数のx(i)値を、前記第2のダイナミックレンジにおけるy(i)値にマッピングする順方向ルックアップテーブルを決定することと、
以下を設定することによって、前記第2のダイナミックレンジにおける複数のy’(k)値を前記第1のダイナミックレンジにおける対応するx’(k)値にマッピングする前記逆方向ルックアップテーブルを生成することと、
- プロセッサを備える装置であって、請求項1から17に記載のいずれか一項に記載の方法を実行するように構成される、装置。
- 1つ以上のプロセッサを用いて、請求項1から17のいずれか一項に記載の方法を実行するコンピュータ実行可能命令を含むコンピュータプログラム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762459141P | 2017-02-15 | 2017-02-15 | |
EP17156284.6 | 2017-02-15 | ||
US62/459,141 | 2017-02-15 | ||
EP17156284 | 2017-02-15 | ||
US201762465298P | 2017-03-01 | 2017-03-01 | |
US62/465,298 | 2017-03-01 | ||
PCT/US2018/017830 WO2018152063A1 (en) | 2017-02-15 | 2018-02-12 | Tone curve mapping for high dynamic range images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020510913A JP2020510913A (ja) | 2020-04-09 |
JP6738972B2 true JP6738972B2 (ja) | 2020-08-12 |
Family
ID=61244840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019543902A Active JP6738972B2 (ja) | 2017-02-15 | 2018-02-12 | ハイダイナミックレンジ画像のためのトーン曲線マッピング |
Country Status (11)
Country | Link |
---|---|
US (1) | US10600166B2 (ja) |
EP (1) | EP3559901B1 (ja) |
JP (1) | JP6738972B2 (ja) |
KR (1) | KR102122165B1 (ja) |
CN (1) | CN110337667B (ja) |
BR (1) | BR112019016825A2 (ja) |
DK (1) | DK3559901T3 (ja) |
ES (1) | ES2817852T3 (ja) |
HU (1) | HUE050807T2 (ja) |
PL (1) | PL3559901T3 (ja) |
RU (1) | RU2713869C1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6845946B2 (ja) * | 2016-12-12 | 2021-03-24 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法 |
US10917583B2 (en) | 2018-04-27 | 2021-02-09 | Apple Inc. | Standard and high dynamic range display systems and methods for high dynamic range displays |
US10863157B2 (en) * | 2018-07-06 | 2020-12-08 | Samsung Electronics Co., Ltd. | Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device |
EP3853809A1 (en) * | 2018-09-17 | 2021-07-28 | Dolby Laboratories Licensing Corporation | Display mapping for high dynamic range images on power-limiting displays |
CN112215760A (zh) * | 2019-07-11 | 2021-01-12 | 华为技术有限公司 | 一种图像处理的方法及装置 |
US11127124B2 (en) | 2019-10-28 | 2021-09-21 | Adobe Inc. | Evenly spaced curve sampling technique for digital visual content transformation |
WO2021212072A1 (en) | 2020-04-17 | 2021-10-21 | Dolby Laboratories Licensing Corporation | Chromatic ambient light correction |
WO2021222310A1 (en) | 2020-04-28 | 2021-11-04 | Dolby Laboratories Licensing Corporation | Image-dependent contrast and brightness control for hdr displays |
CN116132648A (zh) * | 2020-04-30 | 2023-05-16 | 华为技术有限公司 | 动态范围映射的方法和装置 |
WO2021223205A1 (en) * | 2020-05-08 | 2021-11-11 | Huawei Technologies Co., Ltd. | Encoder, decoder, system, and method for determining tone mapping curve parameters |
WO2021252697A1 (en) | 2020-06-11 | 2021-12-16 | Dolby Laboratories Licensing Corporation | Producing and adapting video images for presentation on displays with different aspect ratios |
JP2023532083A (ja) | 2020-06-30 | 2023-07-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Pqシフトを用いた周囲光補償のためのシステムおよび方法 |
WO2022120104A2 (en) | 2020-12-04 | 2022-06-09 | Dolby Laboratories Licensing Corporation | Processing of extended dimension light field images |
WO2022203826A1 (en) | 2021-03-22 | 2022-09-29 | Dolby Laboratories Licensing Corporation | Luminance adjustment based on viewer adaptation state |
JP2024527025A (ja) | 2021-07-29 | 2024-07-19 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 画像のダイナミックレンジ変換及び表示管理のためのニューラルネットワーク |
JP2024531432A (ja) | 2021-08-24 | 2024-08-29 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ディスプレイ管理における高精度レンダリングのためのニューラルネットワーク |
US11961206B2 (en) * | 2021-09-09 | 2024-04-16 | Samsung Electronics Co., Ltd. | Image generation using non-linear scaling and tone-mapping based on cubic spline curves |
MX2024003527A (es) | 2021-09-28 | 2024-05-10 | Dolby Laboratories Licensing Corp | Mapeo de pantalla en varios pasos y reconstruccion de metadatos para video hdr. |
WO2023055612A1 (en) | 2021-09-30 | 2023-04-06 | Dolby Laboratories Licensing Corporation | Dynamic spatial metadata for image and video processing |
WO2023224917A1 (en) | 2022-05-16 | 2023-11-23 | Dolby Laboratories Licensing Corporation | Trim pass metadata prediction in video sequences using neural networks |
WO2024107472A1 (en) | 2022-11-16 | 2024-05-23 | Dolby Laboratories Licensing Corporation | Estimating metadata for images having absent metadata or unusable form of metadata |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7058234B2 (en) * | 2002-10-25 | 2006-06-06 | Eastman Kodak Company | Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions |
US7298373B2 (en) | 2003-06-11 | 2007-11-20 | Agfa Healthcare | Method and user interface for modifying at least one of contrast and density of pixels of a processed image |
JP3949684B2 (ja) * | 2004-04-30 | 2007-07-25 | 三菱電機株式会社 | 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ |
US7508550B2 (en) * | 2004-06-17 | 2009-03-24 | Fujifilm Corporation | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program |
JP4277773B2 (ja) * | 2004-09-21 | 2009-06-10 | 株式会社日立製作所 | 映像表示装置 |
JP4372747B2 (ja) * | 2005-01-25 | 2009-11-25 | シャープ株式会社 | 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体 |
KR100707270B1 (ko) * | 2005-08-17 | 2007-04-16 | 삼성전자주식회사 | Rgb값을 이용한 영상 콘트라스트 개선 방법 및 장치 |
JP5299867B2 (ja) * | 2009-06-30 | 2013-09-25 | 日立コンシューマエレクトロニクス株式会社 | 画像信号処理装置 |
JP2011228807A (ja) * | 2010-04-15 | 2011-11-10 | Nikon Corp | 画像処理プログラム、画像処理装置、および画像処理方法 |
TWI538474B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
TWI624182B (zh) | 2011-04-15 | 2018-05-11 | 杜比實驗室特許公司 | 高動態範圍影像的編碼、解碼及表示 |
US9036042B2 (en) | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
WO2013002146A1 (ja) * | 2011-06-27 | 2013-01-03 | シャープ株式会社 | 液晶表示装置 |
US9024961B2 (en) * | 2011-12-19 | 2015-05-05 | Dolby Laboratories Licensing Corporation | Color grading apparatus and methods |
CN105787909B (zh) * | 2012-08-08 | 2018-07-20 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理 |
WO2014130343A2 (en) * | 2013-02-21 | 2014-08-28 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
MX350910B (es) * | 2013-02-21 | 2017-09-25 | Koninklijke Philips Nv | Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr). |
WO2015007510A1 (en) * | 2013-07-16 | 2015-01-22 | Koninklijke Philips N.V. | Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images |
WO2015007505A1 (en) * | 2013-07-18 | 2015-01-22 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images |
JP6543442B2 (ja) * | 2014-07-30 | 2019-07-10 | ルネサスエレクトロニクス株式会社 | 画像処理装置および画像処理方法 |
JP6619813B2 (ja) * | 2014-12-11 | 2019-12-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 特定のディスプレイに対する高ダイナミックレンジ画像の最適化 |
ES2825699T3 (es) * | 2014-12-11 | 2021-05-17 | Koninklijke Philips Nv | Optimización e imágenes de alto rango dinámico para pantallas particulares |
KR102317035B1 (ko) * | 2014-12-19 | 2021-10-25 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
US20180167597A1 (en) * | 2015-05-29 | 2018-06-14 | Thomson Licensing | Methods, apparatus, and systems for hdr tone mapping operator |
KR102486233B1 (ko) * | 2015-07-16 | 2023-01-06 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 파라메트릭 톤 - 조정 함수를 사용하여 영상을 톤 - 매핑하는 방법 및 장치 |
EP3131284A1 (en) * | 2015-08-13 | 2017-02-15 | Thomson Licensing | Methods, systems and aparatus for hdr to hdr inverse tone mapping |
US10902567B2 (en) * | 2015-11-24 | 2021-01-26 | Koninklijke Philips N.V. | Handling multiple HDR image sources |
JP2017098845A (ja) * | 2015-11-26 | 2017-06-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
PT3394850T (pt) * | 2015-12-21 | 2020-08-14 | Koninklijke Philips Nv | Otimização de imagens de alta gama dinâmica para monitores específicos |
EP3220349A1 (en) * | 2016-03-16 | 2017-09-20 | Thomson Licensing | Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping |
CN106023916B (zh) * | 2016-06-08 | 2018-08-31 | 深圳市华星光电技术有限公司 | 伽马修正系统和方法 |
US10242435B2 (en) * | 2016-09-07 | 2019-03-26 | Gvbb Holdings S.A.R.L. | High dynamic range processing |
-
2018
- 2018-02-12 DK DK18706171.8T patent/DK3559901T3/da active
- 2018-02-12 RU RU2019124451A patent/RU2713869C1/ru active
- 2018-02-12 ES ES18706171T patent/ES2817852T3/es active Active
- 2018-02-12 CN CN201880011955.3A patent/CN110337667B/zh active Active
- 2018-02-12 EP EP18706171.8A patent/EP3559901B1/en active Active
- 2018-02-12 KR KR1020197023862A patent/KR102122165B1/ko active IP Right Grant
- 2018-02-12 JP JP2019543902A patent/JP6738972B2/ja active Active
- 2018-02-12 BR BR112019016825A patent/BR112019016825A2/pt unknown
- 2018-02-12 PL PL18706171T patent/PL3559901T3/pl unknown
- 2018-02-12 US US16/486,392 patent/US10600166B2/en active Active
- 2018-02-12 HU HUE18706171A patent/HUE050807T2/hu unknown
Also Published As
Publication number | Publication date |
---|---|
HUE050807T2 (hu) | 2021-01-28 |
EP3559901A1 (en) | 2019-10-30 |
CN110337667A (zh) | 2019-10-15 |
US20200005441A1 (en) | 2020-01-02 |
DK3559901T3 (da) | 2020-08-31 |
KR102122165B1 (ko) | 2020-06-11 |
BR112019016825A2 (pt) | 2020-04-07 |
JP2020510913A (ja) | 2020-04-09 |
RU2713869C1 (ru) | 2020-02-07 |
PL3559901T3 (pl) | 2020-11-16 |
US10600166B2 (en) | 2020-03-24 |
ES2817852T3 (es) | 2021-04-08 |
EP3559901B1 (en) | 2020-08-05 |
CN110337667B (zh) | 2023-09-08 |
KR20190100416A (ko) | 2019-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6738972B2 (ja) | ハイダイナミックレンジ画像のためのトーン曲線マッピング | |
TWI671710B (zh) | 用於高動態範圍影像之色調曲線映射 | |
US9613407B2 (en) | Display management for high dynamic range video | |
JP6531218B2 (ja) | 高ダイナミックレンジ信号のための信号整形 | |
JP6362793B2 (ja) | ハイダイナミックレンジ映像のためのディスプレイマネジメント | |
CN107409213B (zh) | 用于高动态范围图像的内容自适应感知量化器 | |
CN110192223B (zh) | 高动态范围图像的显示映射 | |
WO2016172091A1 (en) | Signal reshaping and coding in the ipt-pq color space | |
JP7094451B2 (ja) | 再構成関数の補間 | |
JP6978634B1 (ja) | パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング | |
CN118020090A (zh) | 用于hdr视频的多步骤显示映射和元数据重建 | |
KR20240089140A (ko) | Hdr 비디오를 위한 다단계 디스플레이 매핑 및 메타데이터 재구성 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190814 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190814 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6738972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |