JP6978634B1 - パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング - Google Patents

パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング Download PDF

Info

Publication number
JP6978634B1
JP6978634B1 JP2021527100A JP2021527100A JP6978634B1 JP 6978634 B1 JP6978634 B1 JP 6978634B1 JP 2021527100 A JP2021527100 A JP 2021527100A JP 2021527100 A JP2021527100 A JP 2021527100A JP 6978634 B1 JP6978634 B1 JP 6978634B1
Authority
JP
Japan
Prior art keywords
target display
luminance
function
dynamic range
tmax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021527100A
Other languages
English (en)
Other versions
JP2022500969A (ja
Inventor
アン ピトラルツ,ジャクリーン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Application granted granted Critical
Publication of JP6978634B1 publication Critical patent/JP6978634B1/ja
Publication of JP2022500969A publication Critical patent/JP2022500969A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G06T5/92
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

パワー制限を有するターゲットディスプレイにおいて第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングするための、方法およびシステムを記載する。第1のダイナミックレンジにおける入力画像と、入力メタデータ(Smin、Smid、Smax)と、ターゲットディスプレイのパワー独立な輝度特性(Tmin、リファレンスTmax)と、ターゲットディスプレイのAPL関数(APL関数はターゲットディスプレイにおける平均画像レベル(APL)入力の関数としてのターゲットディスプレイの出力輝度を決定する)とを与えられると、プロセッサは、第1のダイナミックレンジから第2のダイナミックレンジへ当該画像をマッピングする際にトーンマッピング関数のアンカーポイントがターゲットディスプレイのAPL関数に従って調整されるように、ターゲットディスプレイの最大輝度レベルの適応的な出力(Tmax)を生成する。

Description

関連出願への相互参照
本願は、ともに2018年9月17日付けで出願された米国仮出願第62/732,123号および欧州特許出願第18194858.9号に基づく優先権を主張するものであり、各出願の開示内容を全て本願に援用する。
技術
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、パワー制限ディスプレイ(power−limiting displays)における、ハイダイナミックレンジ(HDR)画像および映像信号についての第1のダイナミックレンジから第2のダイナミックレンジへのディスプレイマッピングに関する。
背景
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(または明るさ:intensity)(例えば、輝度、ルマ)(例えば、最暗のグレー(黒)から最明の白(ハイライト)まで)を知覚する能力に関連し得る。この意味では、DRはシーン−リファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)において14〜15桁にわたるDR幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るDRは、HDRに対して幾分端折られ得る。
実際において、画像は1つ以上の色成分(例えばルマYおよびクロマCbおよびCr)を有しており、各色成分は、画素あたりnビットの精度(例えばn=8)で表される。線形輝度符号化(linear luminance coding)を用いた場合、n≦8の画像(例えばカラー24ビットJPEG画像)はスタンダードダイナミックレンジとされ、n>8の画像はエンハンストダイナミックレンジの画像とされる。HDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば16ビット)浮動小数点フォーマットを用いて、格納および配信され得る。
本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。
ほとんどのコンシューマー用デスクトップディスプレイは現在、200〜300cd/mまたはニトの輝度をサポートしている。ほとんどのコンシューマー用HDTVは300〜500ニトの範囲であるが、新しいモデルは1000ニト(cd/m)に達する。このような従来のディスプレイはしたがって、HDRに対し、より低いダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例となる。キャプチャ機器(例えばカメラ)およびHDRディスプレイ(例えばDolby LaboratoriesのPRM−4200プロフェッショナルリファレンスモニター)両方の進化によって、HDRコンテンツの普及率が高まるにつれ、HDRコンテンツはカラーグレーディングされてより高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上)をサポートするHDRディスプレイ上に表示されることがある。一般に、限定はしないが、本開示の方法は任意のダイナミックレンジに関する。
従来の画像パイプラインにおいて、キャプチャされた画像は、非線形の光学−電気関数(opto−electronic function)(OETF)を用いて量子化される。この関数は、線形のシーン光(scene light)を非線形の映像信号(例えば、ガンマ符号化されたRGBまたはYCbCr)に変換する。その後、受信器において、ディスプレイに表示される前に、当該信号は、映像信号値を出力スクリーン明度(screen color values)に変換する電気−光学伝達関数(electro−optical transfer function)(EOTF)によって処理される。このような非線形関数は、ITU−R Rec.BT.709やBT.2020に記載された従来の「ガンマ」曲線、SMPTE ST 2084に記載の「PQ」(知覚的量子化)(perceptual quantization)曲線、およびITU−R Rec.BT.2100に記載の「ハイブリッドログガンマ」または「HLG」曲線を含む。
ハイダイナミックレンジ(HDR)コンテンツ制作は、この技術によって旧来のフォーマットよりもリアルで真に迫った画像が得られるため、現在普及しつつある。しかし、何億ものコンシューマー用テレビディスプレイを含む多くのディスプレイシステムには、HDR画像を再現する能力が無い。市場全体を満足させるために用いられている一つのアプローチは、一方はHDR画像を使用し、もう一方はSDR(スタンダードダイナミックレンジ)画像を使用する、2つのバージョンの新しい映像コンテンツを作成することである。しかしこのためには、コンテンツ制作者が当該映像コンテンツを複数のフォーマットで作成することが必要であり、かつ、自分の特定のディスプレイにはいずれのフォーマットを購入すべきかを消費者が知っていることが必要とされ得る。潜在的により優れたアプローチとしては、リファレンスHDRディスプレイにおいて1バージョンのコンテンツを作成し、画像データ変換システム(例えばセットトップボックス機能の一部としての)を用いて、このHDRコンテンツをHDRまたはSDRコンテンツへ自動的に下方変換(down−convert)することにより、リファレンスディスプレイとは異なるダイナミックレンジを有したディスプレイとの互換性を得ることである。既存のディスプレイ方式、特にパワー制限ディスプレイに関する方式を改良するために、本発明者らの理解によると、画像を第1のダイナミックレンジから第2のダイナミックレンジの画像へマッピングする改良技術が構築される。
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
図1は、映像供給パイプラインのプロセスの一例を表す。
図2は、3つのアンカーポイントを用いて第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングするための、第1のマッピング関数例を表す。
図3は、3つのアンカーポイントを用いて第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングするための、第2のマッピング関数例を表す。
図4は、入力平均画像レベル(APL)に対する出力輝度のプロット例を表す。
図5は、ある実施形態による、パワー制限ディスプレイのための適応的な出力Tmax値を決定するプロセスの一例を表す。
図6は、図5に示したプロセス例によるデータ例を表す。
図7は、ある実施形態による、パワー制限ディスプレイにおいてディスプレイトーンマッピング曲線を事後調整するための、パワー調整値を決定するプロセスの一例を表す。
実施形態例の説明
パワー制限ディスプレイにおいてハイダイナミックレンジ(HDR)画像を第1のダイナミックレンジから第2のダイナミックレンジへマッピングする方法を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
概要
本明細書に記載の実施形態例は、画像を、あるダイナミックレンジから第2のダイナミックレンジの画像へマッピングするための方法に関する。第1の実施形態において、装置は、ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の入力メタデータと、ターゲットディスプレイのAPL関数(APL関数はターゲットディスプレイにおける平均画像レベル(APL)入力の関数としてのターゲットディスプレイにおける出力輝度を決定する)と、ターゲットディスプレイの最小輝度レベル(Tmin)と、ターゲットディスプレイのリファレンス最大輝度レベル(Tmax_ref)とを受信する。本装置は、ターゲットディスプレイの最小輝度レベルと、ターゲットディスプレイのリファレンス最大輝度レベルと、入力メタデータとに基づき(すなわち、APL関数を無視することにより)、ターゲットディスプレイのリファレンス中間輝度レベルを決定する。本装置はまた、入力メタデータと、ターゲットディスプレイのAPL関数とに基づき、ターゲットディスプレイの輝度値対最大輝度候補値(Tmax_c)関数(f(Tmax_c))を決定する。ここで輝度対Tmax_c関数は、トーンマッピングアルゴリズムにおける最大輝度レベル候補入力の関数としての、ターゲットディスプレイにおける出力中間輝度を決定する。ターゲットディスプレイの適応的な最大輝度レベル(Tmax_o)に基づくアンカーポイントを有するトーンマッピング曲線に対し、本装置は、f(Tmax_c)の出力がターゲットディスプレイのリファレンス中間輝度レベルに対してより近くなるときの最大輝度候補の値に基づき、Tmax_oを決定する。
第2の実施形態において、装置は、ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の入力メタデータと、ターゲットディスプレイのAPL関数(APL関数はターゲットディスプレイにおける平均画像レベル(APL)入力の関数としてのターゲットディスプレイにおける出力輝度を決定する)と、ターゲットディスプレイの最小輝度レベルと、ターゲットディスプレイのリファレンス最大輝度レベル(Tmax_ref)とを受信する。本装置は、ターゲットディスプレイの最小輝度レベルと、ターゲットディスプレイのリファレンス最大輝度レベルと、入力メタデータとに基づき、ターゲットディスプレイのリファレンス中間輝度レベルを決定する。本装置はまた、入力メタデータと、ターゲットディスプレイのAPL関数とに基づき、ターゲットディスプレイの輝度値対P候補値関数(f(P_c))を決定する。ここでf(P_c)関数は、パワーファクタ(power factor)候補(P_c)の関数としてのターゲットディスプレイにおける出力輝度を決定する。本装置は、f(P_c)関数の出力がターゲットディスプレイのリファレンス中間輝度レベルに対してより近くなるときのパワーファクタ候補の値に基づき、ターゲットディスプレイのトーンマッピング関数の出力パワーファクタを決定する。その後、この出力パワーファクタを、ターゲットディスプレイのAPL関数を考慮に入れずに設計されたトーンマッピング曲線に適用することにより、ターゲットディスプレイのパワー制限特性に従ってトーンマッピング曲線を適応化する。
ダイナミックレンジ変換
HDR信号の映像符号化
図1は、従来の映像供給パイプライン(100)のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック(105)を用い、映像フレームのシーケンス(102)をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか(例えばデジタルカメラにより)またはコンピュータによって生成(例えばコンピュータアニメーションを用いて)されることにより、映像データ(107)が得られる。あるいは映像フレーム(102)は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ(107)が得られる。プロダクションフェーズ(110)において、映像データ(107)は編集され、映像プロダクションストリーム(112)を得る。
プロダクションストリーム(112)の映像データは次に、ブロック(115)のプロセッサに与えられて、ポストプロダクション編集を受ける。ブロック(115)ポストプロダクション編集は、画像の特定の領域の色または明るさを調節または変更することにより、映像制作者の制作意図にしたがってその画像が特定の見え方をするようにしたり、画質を上げたりすることを含み得る。これは、「カラータイミング」あるいは「カラーグレーディング」と呼ばれることがある。ブロック(115)において、その他の編集(例えば、シーン選択およびシーケンシング、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など)を行うことにより、プロダクションの、配信用の最終バージョン(117)を作成してもよい。ポストプロダクション編集(115)において、映像イメージは、リファレンスディスプレイ(125)上で視聴される。
ポストプロダクション(115)の後、最終プロダクションとしての映像データ(117)は、下流のテレビ受像機、セットトップボックス、映画館などの復号化・再生機器まで供給されるために、符号化ブロック(120)に供給されてもよい。いくつかの実施形態において、符号化ブロック(120)は、符号化されたビットストリーム(122)を生成するための、ATSC、DVB、DVD、ブルーレイおよびその他の供給フォーマットに規定されるような音声および映像エンコーダを有していてもよい。受信機において、符号化されたビットストリーム(122)は、復号化ユニット(130)により復号化されることにより、信号(117)と同一またはこれに近い近似を表す、復号化された信号(132)を生成し得る。受信機は、リファレンスディスプレイ(125)と全く異なる特性を有し得るターゲットディスプレイ(140)に取り付けられていてもよい。その場合、ディスプレイマネジメントブロック(135)を用いてディスプレイマッピング化信号(137)を生成することで、復号化された信号(132)のダイナミックレンジを、ターゲットディスプレイ(140)の特性にマッピングしてもよい。
シグモイドマッピングを用いる画像変換
その開示内容が全て本願に援用される、A.BallestadおよびA.Kostinによる米国特許第8,593,480号「Method and apparatus for image data transformation」(本明細書中で‘480特許と呼ぶ)において、発明者らは、ミッドトーンの自由パラメータと3つのアンカーポイントとを用いて一意に決定されることが可能なパラメータ化シグモイド関数を使用する、画像変換マッピングを提案した。このような関数の一例を、図2に示す。
図2に示すように、マッピング関数(220)は3つのアンカーポイント(205、210、215)、すなわち、黒色点(x1,y1)、ミッドトーン点(x2,y2)、および白色点(x3,y3)により規定される。本変換は、以下の特性を有する。
・x1からx3までの値は、入力画像の構成画素を記述する可能性がある値の範囲を表す。これらの値は、特定の原色(R、G、もしくはB)の明度レベルであってもよいし、または、当該画素の全体的な輝度レベル(例えばYCbCr表現におけるY成分)であってもよい。典型的には、これらの値は、コンテンツを制作するために用いられるディスプレイがサポートする最暗(黒色点)および最明(白色点)のレベル(「マスタリングディスプレイ」(125)の限界点)に対応する。しかし、いくつかの実施形態において、リファレンスディスプレイの特性が未知の場合、これらの値は、入力画像における最小値および最大値(例えばR、G、またはB、輝度などの)を表してもよく、画像メタデータを介して受信されるか、または受信器において算出されることが可能である。
・y1からy3までの値は、出力画像の構成画素を記述する可能性がある値の範囲を表す(再び、原色の明度レベルまたは全体的な輝度レベルのいずれか)。典型的には、これらの値は、目当ての出力ディスプレイがサポートする最暗(黒色点)および最明(白色点)のレベル(「ターゲットディスプレイ」(140)の限界点)に対応する。
・値x1を有する任意の入力画素は、値y1を有する出力画素へマッピングされるように制約され、値x3を有する任意の入力画素は、値y3を有する出力画素へマッピングされるように制約される。
・x2およびy2の値は、画像のある「ミッドレンジ」(平均またはミッドトーンレベルの)要素のためのアンカーポイントとして用いられる、入力から出力への特定のマッピングを表す。例えば、このミッドレンジは、算術平均(arithmetic mean or average)を表してもよいし、幾何平均を表してもよいし、または関心のある何らかの他の値(例えば皮膚の色)を表してもよい。x2およびy2の具体的な選択に際しては幅広い範囲が可能であり、‘480特許は、これらのパラメータをどのように選択し得るかについて、いくつかの代替法を教示している。
これらの3つのアンカーポイントを選択し終えると、伝達関数(220)は、
Figure 0006978634
として記述され得る。ここでC、C、およびCは定数であり、xはカラーチャネルまたは輝度の入力値を表し、yはこれに対応する出力値を表し、nは、ミッドトーンのコントラストを調整するために使用される自由パラメータであって、一般性を失うことなく本明細書中では1に設定される(n=1)ものと考えられる。
‘480特許に記載のように、C、C、およびC値は、
Figure 0006978634
を解くことによって決定できる。
その開示内容が本願に援用される2018年2月12日付け出願のPCT特許出願第PCT/US2018/017830号「Tone curve mapping for HDR images」に記載のように、図3は、第1のダイナミックレンジ[x,x]から第2のダイナミックレンジ[y,y]へ画像をマッピングする、トーンマッピング曲線の別の一例300のグラフ表示である。ここで[x,x]は入力チャネル値であり、[y,y]は出力チャネル値である。トーンマッピング曲線300は、(x,y)から(x,y)までのスプライン312と、(x,y)から(x,y)までのスプライン323とを有する。トーンマッピング曲線300はまた、(x,y)よりも低い値における第1の線形セグメントS1と、(x,y)よりも大きい値における第2の線形セグメントS2とのうち、少なくとも1つを有し得る。最小ダイナミックレンジ値xは負でもよく、最大ダイナミックレンジ値xは1を超えてもよい。セグメントS1およびS2は非線形でもよく、本開示の範囲からは逸脱しない。スプライン312および323の各々は、3次などの任意の次数の、エルミート多項式などの多項式であり得る。
トーンマッピング曲線300は、3つのアンカーポイント301、302、および303に交差し、これらの位置によってトーンマッピング曲線300の形状が部分的に決定される。アンカーポイント301、302、および303は、それぞれの座標(x,y)、(x,y)、および(x,y)に位置する。これらは、チャネル値xが入力輝度値であり、かつ、Tmin、Tmid、およびTmaxがターゲットディスプレイ(例えば140)における最小、中間(または平均)、および最大の輝度値を表し得る場合には、黒色点(例えば、xmin,Tmin)、ミッドトーン値点(例えば、xmid,Tmid)、および白色点(例えば、xmax,Tmax)にそれぞれ対応する。
加えて、これらのスプラインセグメントの各々は、両端点における2つの傾きにより、さらに制約を受けることができる。従って、トーンマッピング曲線300は、3つのアンカーポイント(301、302、および303)と、3つの傾き、すなわち、(x,y)における尾部の傾きと、(x,y)におけるミッドトーン部の傾きと、(x,y)における頭部の傾きとにより、制御される。
一例として、点(x,y)および(x,y)の間で決定され、(x,y)における傾きmと(x,y)における傾きmとを有するスプラインを考える。このとき、入力xに対し、この3次のエルミートスプラインについての伝達関数は、以下の等式(3)において規定され得る。ここで、

T=(x-x1)/(x2-x1)
である。
y=(2T3-3T2+1)y1+(T3-2T2+T)(x2-x1)m1+
+(-2T3+3T2)y2+(T3-T2)(x2-x1)m2. (3)
パワー制限ディスプレイ
入力信号の平均画像レベル(APL)が増加するに連れて、今日の市場におけるディスプレイの大半は薄暗くなっていく。これは殆どの場合、パワー制限または寿命の問題に起因している。多数の明るい画素が存在する場合、当該画像を表示するために必要とされるパワーの総量は増大するので、典型的には画像に亘っての平均輝度を低減することにより、画素群にパワーを分配しなければならない。従来のディスプレイマネジメントプロセス(135)において、典型的には、一定のターゲット最大輝度レベル(Tmax)が想定されている。このようなマッピングは、制作意図を正確には表現しないことがある。なぜならば、画像が過度に明るい場合、当該ディスプレイによってサポートされる実際のTmax値はより低くなると言え、それゆえに、表示される画像はより暗くなるからである。本発明において、TVのパワー制限特性をもまた考慮に入れることによってTmaxを決定するための、新しい方法を提案する。提案される方式は、通常はパワー制限の無いリファレンスディスプレイ(125)において生成された画像によってキャプチャされる制作意図に、より忠実にマッチするピクチャを与える。
平均画像レベル(APL)の関数としてのディスプレイ輝度
各ディスプレイモデルは、各自のパワー制限特性を有する。あるディスプレイのパワー制限特性を特徴付けるために、APL入力毎の当該ディスプレイの輝度を測定し得る。これは、画像全体が一つの符号値へ設定された、一組のテストパターンを用いて求められる。例えば、完全なる赤表示、緑表示、または青表示は、33%APLと考えられる。これらのテストパターンは、0〜100%の範囲に在ることができる。APL百分率入力の関数としてのディスプレイ輝度(単位ニト)の測定値の一例を、図4に与える。
このようなプロットは、当該パネルの物理的特性を与えており、より正確なTmaxの値を規定するために使用され得る。実際において、プロットデータは、ディスプレイ設定ファイル中に保存(他の典型的なパネル特性とともに)することが可能である。アプリケーション次第では、より優れた演算効率のために、Y軸(例えば輝度)は、線形輝度の代わりにガンマ輝度またはPQ輝度値で表されてもよい。
適応的Tmax値の生成
図5は、ある実施形態による、適応的な出力Tmax値を生成するためのプロセスの一例を表している。ステップ505において、入力メタデータSmin、Smid、およびSmaxと、ターゲットディスプレイ特性とにアクセスすることにより、本プロセスは開始される。ターゲットディスプレイ特性は、入力APLの関数(例えば図4に示したAPL関数)としてのディスプレイの輝度と、パワー制限を想定しないTminおよびリファレンスTmax値(Tmin_refおよびTmax_refと表記する)とを含み得る。本プロセスの目標は、Tmaxを設定するための最良値を特定することであり、これにより、入力データ(例えば132)をターゲットディスプレイ(140)へマッピングする際に制作意図が維持されるように、ディスプレイマネジメントマッピング関数(例えば220または300)が導出されることになる。
ステップ510において、本プロセスにより、一組のTmax候補値(Tmax_c(i)と表記する)が選択される。例えば、限定はしないが、Tmax_ref=650ニトに対し、Tmax_c(i)値の組は{300,500,650,1200,1900}であり得る。1,200および1,900は、Tmax_ref=650よりも実は高いことに留意されたい。このことに問題は無い。なぜならば、このような値は、実はより正確なマッピング曲線を与えるからであり、これこそが実は究極の目標だからである。その後、これらのTmax_c(i)候補値の各々につき、Smin、Smid、Smax、およびTminを所与のものとして、ステップ510にて、Tmid候補値(Tmid_c(i)と表記)が算出される。すなわち、本プロセスは、図2および図3に示した中間アンカーポイントのy2値を選択する。当該入力の特性とあるターゲットディスプレイの特性とを与えられたときにTmid値を生成する工程の例は、2018年1月8日付け出願のPCT出願シリアル番号第PCT/US2018/012780号「Display Mapping for High Dynamic Range Images」の中に見つけることができ、この出願の開示内容を全て本願に援用する。一例として、限定はしないが、Matlab風のコードを用いると、Tmid_c(i)値は以下のように算出され得る。すなわち、
cutoff(i) = DM_CalcCuttoff(Smin,Smid,Smax,TminPQ,TmaxPQ_c(i));
Tmid_c(i) = Smid - (Smid-min(Smid, TmaxPQ_c(i)-min((Smax-Smid),TmaxPQ_c(i)-cutoff(i)))) + (max(Smid, TminPQ+min((Smid-Smin), cutoff(i)-TminPQ))-Smid) (4)
である。TmaxPQ、TminPQ、およびTmaxPQ_c(i)は、線形輝度値Tmax、Tmin、およびTmax_c(i)に対応するPQ符号化輝度値を表しており、SMPTE ST 2084を用いてPQ輝度へ変換されたものである。関数min()およびmax()は、それぞれ、その引数のうちの最小値および最大値を出力する。例えば、b>aならばmin(a,b)=aであり、a<bならばmax(a,b)=bである。
ある実施形態において、関数DM_CalcCuttoff()は、以下のように定義される。

cutoff = DM_CalcCuttoff(SMin,SMid,SMax,TminPQ,TmaxPQ)

% Set the offset curve parameters
preservationHead = 0.1;
preservationTail = 0.02;
rollStart = 0.1;

% Calculate the offset curve parameters
converge = TminPQ + rollStart;
minPt = min(TminPQ,SMin);
maxPt = max(TmaxPQ,SMax);
tgtMax = max(converge,TmaxPQ-preservationHead);
tgtMin = min(converge,TminPQ + preservationTail);
STC = maxPt - converge;
TTC = tgtMax - converge;
SBC = converge - minPt;
TBC = converge - tgtMin;
maxMinSlope = max(0,3*(converge-tgtMin)./(converge-minPt));
maxMaxSlope = max(0,3*(tgtMax-converge)/(maxPt-converge));
slopeMid = min([maxMinSlope,maxMaxSlope,(TmaxPQ-TminPQ)./0.5,1]);
slopeMin = min([maxMinSlope,1,(TBC/SBC)^2]);
slopeMax = min([maxMaxSlope,1,(TTC/STC)^2]);

%Top Rolloff
slope = [slopeMid,slopeMax];
points = [converge,converge;maxPt,tgtMax];
T = (SMid-points(1,1)) / (points(2,1)-points(1,1));
cutoff = (SMid>converge) .* ((2*T.^3 - 3*T.^2 + 1)*points(1,2) + (T.^3 - 2*T.^2 + T)*(points(2,1)-points(1,1))*slope(1) + (-2*T.^3 + 3*T.^2)*points(2,2) + (T.^3 - T.^2)*(points(2,1)-points(1,1))*slope(2));

%Bottom Rolloff
slope = [slopeMin,slopeMid];
points = [minPt,tgtMin;converge,converge];
T = (SMid-points(1,1)) / (points(2,1)-points(1,1));
cutoff = cutoff + (SMid<=converge) .* ((2*T.^3 - 3*T.^2 + 1)*points(1,2) + (T.^3 - 2*T.^2 + T)*(points(2,1)-points(1,1))*slope(1) + (-2*T.^3 + 3*T.^2)*points(2,2) + (T.^3 - T.^2)*(points(2,1)-points(1,1))*slope(2));

end
ステップ515において、Tmid_c(i)候補値を、APL候補値(APL_c(i)と表記する)に変換する。一例において、限定はしないが、本変換は、線形輝度からBT.1886への変換を用いて行われることが可能である。例えば、

APL_c(i) = L2BT1886(PQ2L(Tmid_c(i)), PQ2L(TmaxPQ_c(i)), (5)
PQ2L(TminPQ), 2.2, 1);
である。ここで関数PQ2L(x)は、xをPQ輝度から線形輝度へ変換する。関数L2BT1886()は、線形輝度をガンマへ変換するものであり、以下のように表現され得る。

function V = L2BT1886(L,a,b,g,computeab)
% Converts luminance to BT1886

if exist('computeab') && computeab
% Consider that a and b are actually tmax and tmin
assert(g>1,'Invalid Gamma');

Tmax = a; Tmin = b;
a = (Tmax.^(1/g)-Tmin.^(1/g)).^g;
b = Tmin.^(1/g) / (Tmax.^(1/g) - Tmin.^(1/g));
end

% SMPTE definition
V = power(max(0,L / a), 1/g) - b;
end
注記:式(5)を用いることは、ターゲットディスプレイのAPL応答を算出するために入力パッチ(input patches)はディスプレイによってBT.1886(ガンマ)へ変換されたものと、想定している。そうでない場合の実施形態においては、本ステップを、ターゲットディスプレイのAPL応答を算出するために用いられている適切なEOTF関数によって置き換えることができる。
これらのAPL_c(i)値とターゲットディスプレイのAPL関数(例えばL=f(APL))とを与えられると、Tmax候補値の各々に対する輝度値のプロットを算出できる。要約すると、
Tmax_c(i) → Tmid_c(i) → APL_c(i) → L(i)=fA(APL_c(i)) (6)
というマッピングがあり、これを用いることにより、輝度値対Tmax候補値関数(またはルックアップテーブルなど)L(i)=f(Tmax_c(i))を生成する。このようなマッピングの一例を、図6にプロット610として示す。
ステップ520はステップ510および515の繰り返しだが、今回は、Tmax_ref値についてのみ、かつ、パワー制限無しで行われる。つまり、f()を用いるのではなく、ディスプレイのEOTFを用いて(例えばPQ符号化画像にPQ2L()関数を用いることにより)、ルマ(例えばPQ符号化輝度)値を線形輝度へ直接に変換する。例えば、式(4)と同様に、リファレンス中間輝度値Tmid_refの値は、
cutoff = DM_CalcCuttoff(Smin,Smid,Smax,TminPQ,TmaxPQ);
Tmid_ref = Smid - (Smid-min(Smid, TmaxPQ-min((Smax-Smid), TmaxPQ -cutoff))) + (max(Smid, TminPQ+min((Smid-Smin), cutoff-TminPQ))- Smid); (7)
として算出され得る。ある実施形態において、ステップ520は、ステップ510および515における演算の一部であってもよい。
従って、式(6)と同様に、Tmax_refの関数としてのL_refの直接的な対応付け
Tmax_ref → Tmid_ref → L_ref=PQ2L(Tmid_ref) (8)
がある。このようなマッピングの一例を、直線620として図6に示す。
L_refとL=f(Tmax_c)とを与えられたとき、ある実施形態において、トーンマッピング曲線を生成する際に用いられる出力Tmax(例えばTmax_o)値は、
Figure 0006978634
となる値である。ステップ525に記したように、これは、f(Tmax_c)がリファレンス中間輝度レベル値L=L_refと交差するときのTmax_c値に相当する。例えば、図6(650ニトTVについて生成されている)において、交点(625)は、Tmax_o=600ニトという出力Tmax値に対応する。実装の観点からは、f(Tmax_c)が典型的にはTmax_c(i)点の有限集合を用いて決定されるものとすると、欠けているf()値は、既知の補間手法を用いて導出され得る。
後処理による最適化
ある実施形態において、ターゲットディスプレイのAPL特性に基づき最適な出力TmidおよびTmax値を解き求める代わりに、あたかもパワー制限が無いかのように(例えばリファレンスTmid_refおよびTmax_ref値を用いることにより)トーンマッピング曲線を算出しておき、それから後処理ステップを適用することにより、APL特性に基づいて曲線を調整してもよい。例えば、ある実施形態において、パワー調整Pファクタを所与のものとして、Tmidは以下のように調整され得る。すなわち、
X=(Tmid_ref-TminPQ)/(TmaxPQ-TminPQ),
Y= XP, (9)
Tmid=Y*(TmaxPQ-TminPQ)+TminPQ
であり、ここで、先述のようにTminPQおよびTmaxPQは、PQドメインにおいて表現された、ターゲットディスプレイのリファレンス最小輝度値およびリファレンス最大輝度値を表す。
図7は、ある実施形態による、最適なパワー調整値Pを算出するプロセスの一例を示している。ステップ705は、ステップ505と全く同じである。入力データの特性とターゲットディスプレイの特性とを所与のものとして、ステップ710もまた、パワー制限が無い場合のリファレンス中間輝度値L_ref=f(Tmax_ref)を生成する先述のステップ520と全く同じである。
ステップ720は、先述のステップ510に取って代わる。Tmax_c(i)候補値を用いるのではなく、ステップ720において、a)一組のパワーファクタ候補値P_c(i)を規定し、b)各P_c(i)値につき、式(9)を適用することにより、Tmid_c(i)候補値を算出する。例えば、限定はしないが、P_c(i)値は、0.1刻みで0.75から1.25までの範囲に亘り得る。
ステップ720にて算出されたTmid_c(i)候補値に対し、ステップ515と同様に、ステップ725において、Tmid_c(i)値をAPL候補値APL_c(i)へ変換することにより、輝度値対P候補値関数(例えばL=f(P_c))を生成する。従って、式(6)におけるマッピングプロセスは、今やマッピングプロセス
P_c(i) → Tmid_c(i) → APL_c(i) → L(i)=fA(APL_c(i)) (10)
で置き換えられた。
最後に、ステップ730において、所与のL=L_refおよびL=f(P_c)に対し、ある実施形態において、使用される出力P値(例えばP_o)は、
Figure 0006978634
となるP_c値である。これは、f(P_c)がL=L_ref値と交差するときのP_c値に相当する。
Tmin_ref、Tmax_ref、Smin、Smid、Smaxに基づき設計されたトーンマッピング曲線Y=fTmax_ref(x)と、P_oとを与えられたとき、この曲線を、ターゲットディスプレイのパワー制限APL関数を考慮に入れるように
Figure 0006978634

(11)
として調整し得る。必要ならば、冪関数(power function)を適用する前に、式(9)と同様に、入力xが[0,1]に収まるようにトーンマッピング曲線を先ず正規化するべきである。
コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなマッピング方法に関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のバンディングアーチファクトを低減することに関する様々なパラメータまたは値のいずれを演算してもよい。これらの画像および映像ダイナミックレンジ拡張実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の1つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなマッピング方法を実装し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む1セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的かつ有形な媒体を含み得る。本発明によるプログラム製品は、様々な非一時的かつ有形の形態をとり得る。例えば、このプログラム製品は、フロッピーディスク、ハードディスクドライブを含む磁気データ記憶媒体、CD ROM、DVDを含む光学データ記憶媒体、ROM、フラッシュRAMなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。
上記においてあるコンポーネント(例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など)に言及している場合、そのコンポーネントへの言及(「手段」への言及を含む)は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす(例えば、機能的に均等である)あらゆるコンポーネント(上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む)を、当該コンポーネントの均等物として、含むものと解釈されるべきである。
均等物、拡張物、代替物、その他
パワー制限ディスプレイにおいて第1のダイナミックレンジから第2のダイナミックレンジへ画像をマッピングすることに関する実施形態例を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
本発明の様々な態様を、以下に続く列挙実施形態例(enumerated example embodiments)(EEE)から理解することができる。
1. 1つ以上のプロセッサを備える装置において、パワー制限ディスプレイのトーンマッピング曲線に対するアンカーポイントを決定するための方法であって、
ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程と、
前記ターゲットディスプレイのAPL関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおける平均画像レベル(APL)入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルと、前記ターゲットディスプレイのリファレンス最大輝度レベルとを、受信する工程と、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記ターゲットディスプレイのリファレンス中間輝度レベルを決定する工程と、
前記入力メタデータと、前記ターゲットディスプレイの前記APL関数とに基づき、前記ターゲットディスプレイの輝度値対最大輝度候補値(Tmax_c)関数を決定する工程であって、前記輝度値対Tmax_c値関数は、前記ターゲットディスプレイにおける最大輝度候補レベル入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記輝度値対Tmax_c値関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルに対してより近くなるときのTmax_c値に基づき、前記ターゲットディスプレイの出力最大輝度レベルを決定する工程と、
を包含する方法。
2. 前記入力メタデータは、Smin、Smid、およびSmax値を含み、ここでSminは、前記入力画像の最小輝度画素値を表し、Smidは、前記入力画像の中間または平均輝度画素値を表し、Smaxは、前記入力画像の最大輝度画素値を表す、EEE1に記載の方法。
3. 前記入力画像を前記ターゲットディスプレイへマッピングするトーンマッピング曲線において、前記トーンマッピング曲線の第1のアンカーポイントは、前記Smin値と、前記ターゲットディスプレイの前記最小輝度レベルとを含み、前記トーンマッピング曲線の第2のアンカーポイントは、前記Smax値と、前記ターゲットディスプレイの前記出力最大輝度レベルとを含む、EEE2に記載の方法。
4. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、EEE1〜3のいずれかに記載の方法。
5. 前記ターゲットディスプレイの前記輝度値対Tmax_c値関数を決定する工程は、
一組の、2つ以上の最大輝度候補値を決定する工程と、
前記一組の最大輝度候補値の中の最大輝度候補値(Tmax_c(i))につき、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度候補レベルとに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記Tmax_c(i)値に対する出力輝度レベルを生成する工程と、
を含む、EEE1〜4のいずれかに記載の方法。
6. 1つ以上のプロセッサを備える装置において、ターゲットディスプレイのパワー制限特性に応じてトーンマッピング曲線を適応させるパワーファクタを決定するための方法であって、
ターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程と、
前記ターゲットディスプレイのAPL関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおける平均画像レベル(APL)入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記ターゲットディスプレイの最小輝度レベルと、前記ターゲットディスプレイのリファレンス最大輝度レベルとを、受信する工程と、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記ターゲットディスプレイのリファレンス中間輝度レベルを決定する工程と、
前記入力メタデータと、前記ターゲットディスプレイの前記APL関数とに基づき、前記ターゲットディスプレイの輝度値対Pファクタ候補値(P_c)関数を決定する工程であって、前記輝度値対P_c値関数は、パワーファクタ候補の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
前記輝度値対P_c値関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルに対してより近くなるときのパワーファクタ候補の値に基づき、前記ターゲットディスプレイの出力パワーファクタを決定する工程と、
を包含する方法。
7. 前記入力メタデータは、Smin、Smid、およびSmax値を含み、ここでSminは、前記入力画像の最小輝度画素値を表し、Smidは、前記入力画像の中間または平均輝度画素値を表し、Smaxは、前記入力画像の最大輝度画素値を表す、EEE6に記載の方法。
8. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
を含む、EEE6またはEEE7に記載の方法。
9. 前記ターゲットディスプレイの前記輝度値対P_c値関数を決定する工程は、
一組の、2つ以上のパワーファクタ候補値を決定する工程と、
前記一組のパワーファクタ候補値の中のパワーファクタ候補値(P_c(i))につき、
前記入力メタデータと、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度レベルと、前記パワーファクタ候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記P_c(i)値に対する出力輝度レベルを生成する工程と、
を含む、EEE6〜8のいずれかに記載の方法。
10. さらに、
前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記入力画像を前記ターゲットディスプレイへマッピングする第1のトーンマッピング曲線を決定する工程と、
前記出力パワーファクタに基づき、前記第1のトーンマッピング曲線を調整する工程と、
を含む、EEE6〜9のいずれかに記載の方法。
11. 前記第1のトーンマッピング曲線を調整する工程は、前記第1のトーンマッピング曲線に対する全ての入力値につき、前記第1のトーンマッピング曲線の出力を、前記出力パワーファクタ乗にする工程を含む、EEE10に記載の方法。
12. EEE1〜11のいずれかに記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
13. プロセッサを備えており、かつ、EEE1〜11のいずれかに記載の方法を実行するように構成された装置。

Claims (10)

  1. 第1のアンカーポイントと第2のアンカーポイントとを有するトーンマッピング曲線を用いて、ディスプレイマッピングされた画像を生成するための方法であって、
    前記トーンマッピング曲線を用いてターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程であって、前記入力メタデータは、前記入力画像の最小輝度画素値Sminと、前記入力画像の中間または平均輝度画素値Smidと、前記入力画像の最大輝度画素値Smaxとを含む、工程と、
    前記ターゲットディスプレイの平均画像レベル(APL)関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおけるAPL入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
    前記ターゲットディスプレイの最小輝度レベルTminと、前記ターゲットディスプレイのリファレンス最大輝度レベルTmax_refとを、受信する工程と、
    Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより、前記ターゲットディスプレイのリファレンス中間輝度レベルTmid_refを決定する工程と、
    Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_cを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより決定された前記ターゲットディスプレイの中間輝度レベルTmidに対応するAPL入力における前記APL関数の出力として、前記ターゲットディスプレイの輝度対最大輝度候補レベル(Tmax_c)関数を決定する工程と、
    前記輝度対Tmax_c関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルTmid_refに対してより近くなるときのTmax_c値に基づき、前記ターゲットディスプレイの出力最大輝度レベルTmaxを決定する工程と、
    Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmaxを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへ前記入力画像をマッピングする工程と、
    を包含する方法。
  2. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
    前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
    PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
    を含む、請求項1に記載の方法。
  3. 前記ターゲットディスプレイの前記輝度対Tmax_c関数を決定する工程は、
    一組の、2つ以上の最大輝度候補値を決定する工程と、
    前記一組の最大輝度候補値の中の最大輝度候補値(Tmax_c(i))につき、
    前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
    前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記Tmax_c(i)値に対する輝度を生成する工程と、
    を含む、請求項1または2に記載の方法。
  4. 第1のアンカーポイントと第2のアンカーポイントとを有するトーンマッピング曲線を用いて、ディスプレイマッピングされた画像を生成するための方法であって、
    前記トーンマッピング曲線を用いてターゲットディスプレイにて第1のダイナミックレンジから第2のダイナミックレンジへマッピングされる入力画像の、入力メタデータを受信する工程であって、前記入力メタデータは、前記入力画像の最小輝度画素値Sminと、前記入力画像の中間または平均輝度画素値Smidと、前記入力画像の最大輝度画素値Smaxとを含む、工程と、
    前記ターゲットディスプレイの平均画像レベル(APL)関数を受信する工程であって、前記APL関数は、前記ターゲットディスプレイにおけるAPL入力の関数としての前記ターゲットディスプレイにおける出力輝度を決定する、工程と、
    前記ターゲットディスプレイの最小輝度レベルTminと、前記ターゲットディスプレイのリファレンス最大輝度レベルTmax_refとを、受信する工程と、
    Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより、前記ターゲットディスプレイのリファレンス中間輝度レベルTmid_refを決定する工程と、
    Smin,Tminを前記第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへSmidをマッピングすることにより決定された前記ターゲットディスプレイの中間輝度レベルTmidに対応するAPL入力における前記APL関数の出力として、前記ターゲットディスプレイの輝度対パワーファクタ候補(P_c)関数を決定する工程であって、Tmidは前記パワーファクタ候補P_cを用いて調整される、工程と
    前記輝度対P_c関数の出力が前記ターゲットディスプレイの前記リファレンス中間輝度レベルTmid_refに対してより近くなるときのP_c値に基づき、前記ターゲットディスプレイの出力パワーファクタPを決定する工程と、
    Smin,Tminを第1のアンカーポイントとし、かつ、Smax,Tmax_refを前記第2のアンカーポイントとする前記トーンマッピング曲線を用いて、前記第1のダイナミックレンジから前記第2のダイナミックレンジへ前記入力画像をマッピングする工程であって、前記トーンマッピング曲線は前記出力パワーファクタPを用いて調整される、工程と、
    を包含する方法。
  5. 前記ターゲットディスプレイの前記リファレンス中間輝度レベルを決定する工程は、
    前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルとに基づき、前記ターゲットディスプレイの中間リファレンスPQ輝度値を生成する工程と、
    PQ輝度から線形輝度へのマッピング関数を用いることにより、前記中間リファレンスPQ輝度を線形中間輝度レベルへ変換する工程と、
    を含む、請求項4に記載の方法。
  6. 前記ターゲットディスプレイの前記輝度対P_c関数を決定する工程は、
    一組の、2つ以上のパワーファクタ候補値を決定する工程と、
    前記一組のパワーファクタ候補値の中のパワーファクタ候補値(P_c(i))につき、
    前記入力画像の前記中間または平均輝度画素値と、前記ターゲットディスプレイの前記最小輝度レベルと、前記最大輝度レベルと、前記パワーファクタ候補値とに基づき、前記ターゲットディスプレイの中間輝度候補値を生成する工程と、
    前記ターゲットディスプレイの前記中間輝度候補値と前記APL関数とに基づき、前記P_c(i)値に対する輝度を生成する工程と、
    を含む、請求項4または5に記載の方法。
  7. さらに、
    前記ターゲットディスプレイの前記最小輝度レベルと、前記ターゲットディスプレイの前記リファレンス最大輝度レベルと、前記入力メタデータとに基づき、前記入力画像を前記ターゲットディスプレイへマッピングする第1のトーンマッピング曲線を決定する工程と、
    前記出力パワーファクタに基づき、前記第1のトーンマッピング曲線を調整する工程と、
    を含む、請求項4から6のいずれかに記載の方法
  8. 前記第1のトーンマッピング曲線を調整する工程は、前記第1のトーンマッピング曲線の出力を、前記出力パワーファクタ乗にする工程を含む、請求項7に記載の方法。
  9. 請求項1から8のいずれかに記載の方法を1つ以上のプロセッサで実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
  10. プロセッサを備えており、かつ、請求項1から8のいずれかに記載の方法を実行するように構成された装置。
JP2021527100A 2018-09-17 2019-09-17 パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング Active JP6978634B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862732123P 2018-09-17 2018-09-17
US62/732,123 2018-09-17
EP18194858 2018-09-17
EP18194858.9 2018-09-17
PCT/US2019/051419 WO2020060980A1 (en) 2018-09-17 2019-09-17 Display mapping for high dynamic range images on power-limiting displays

Publications (2)

Publication Number Publication Date
JP6978634B1 true JP6978634B1 (ja) 2021-12-08
JP2022500969A JP2022500969A (ja) 2022-01-04

Family

ID=68063081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021527100A Active JP6978634B1 (ja) 2018-09-17 2019-09-17 パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング

Country Status (6)

Country Link
US (1) US11361699B2 (ja)
EP (1) EP3853809A1 (ja)
JP (1) JP6978634B1 (ja)
KR (1) KR102287095B1 (ja)
CN (1) CN112703529B (ja)
WO (1) WO2020060980A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4028987A4 (en) * 2020-05-08 2022-10-12 Huawei Technologies Co., Ltd. ENCODER, DECODER, SYSTEM AND METHOD FOR DETERMINING TONE MAPPING CURVE PARAMETERS
JP7218339B2 (ja) * 2020-10-29 2023-02-06 レノボ・シンガポール・プライベート・リミテッド 画素駆動制御装置及び画素駆動制御方法
US11348470B1 (en) 2021-01-07 2022-05-31 Rockwell Collins, Inc. Apparent video brightness control and metric

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293265A (ja) 2004-03-31 2005-10-20 Canon Inc 画像処理装置及び方法
US7782405B2 (en) * 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
US8179363B2 (en) 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
US8223113B2 (en) 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
US8416179B2 (en) 2008-07-10 2013-04-09 Sharp Laboratories Of America, Inc. Methods and systems for color preservation with a color-modulated backlight
US9330630B2 (en) 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
TWI538474B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
WO2013086107A1 (en) 2011-12-08 2013-06-13 Dolby Laboratories Licensing Corporation Mapping for display emulation based on image characteristics
IN2015KN02510A (ja) * 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
KR102317035B1 (ko) 2014-12-19 2021-10-25 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN107211076B (zh) 2015-01-19 2018-10-30 杜比实验室特许公司 用于高动态范围视频的显示管理的方法、装置和存储介质
CN105989169B (zh) 2015-03-05 2020-01-31 联想(北京)有限公司 图像显示方法和图像显示装置
US10708564B2 (en) * 2015-05-11 2020-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method based on metadata
US10140694B2 (en) 2015-08-31 2018-11-27 Lg Electronics Inc. Image display apparatus
AU2017339463B2 (en) * 2016-10-05 2020-09-03 Dolby Laboratories Licensing Corporation Source color volume information messaging
CN107995497B (zh) 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
EP3568829B1 (en) 2017-01-10 2020-06-24 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images
WO2018152063A1 (en) * 2017-02-15 2018-08-23 Dolby Laboratories Licensing Corporation Tone curve mapping for high dynamic range images
CN110337667B (zh) * 2017-02-15 2023-09-08 杜比实验室特许公司 高动态范围图像的色调曲线映射

Also Published As

Publication number Publication date
EP3853809A1 (en) 2021-07-28
KR20210046832A (ko) 2021-04-28
CN112703529B (zh) 2022-05-31
US11361699B2 (en) 2022-06-14
WO2020060980A1 (en) 2020-03-26
KR102287095B1 (ko) 2021-08-06
US20220044615A1 (en) 2022-02-10
CN112703529A (zh) 2021-04-23
JP2022500969A (ja) 2022-01-04

Similar Documents

Publication Publication Date Title
JP6738972B2 (ja) ハイダイナミックレンジ画像のためのトーン曲線マッピング
CN107925770B (zh) 用于高动态范围信号的信号整形
US10140953B2 (en) Ambient-light-corrected display management for high dynamic range images
JP6085011B2 (ja) 画像データ変換のための方法及び装置
TWI671710B (zh) 用於高動態範圍影像之色調曲線映射
US20190320191A1 (en) Chroma Reshaping for High Dynamic Range Images
JP6978634B1 (ja) パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング
JP6845946B2 (ja) ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
CN110192223B (zh) 高动态范围图像的显示映射
US11792532B2 (en) Picture metadata for high dynamic range video
CA3233103A1 (en) Multi-step display mapping and metadata reconstruction for hdr video
CN118020090A (en) Multi-step display mapping and metadata reconstruction for HDR video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210517

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R150 Certificate of patent or registration of utility model

Ref document number: 6978634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150