JP6845946B2 - ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法 - Google Patents

ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法 Download PDF

Info

Publication number
JP6845946B2
JP6845946B2 JP2019551501A JP2019551501A JP6845946B2 JP 6845946 B2 JP6845946 B2 JP 6845946B2 JP 2019551501 A JP2019551501 A JP 2019551501A JP 2019551501 A JP2019551501 A JP 2019551501A JP 6845946 B2 JP6845946 B2 JP 6845946B2
Authority
JP
Japan
Prior art keywords
curve
initial
adjustment
mapping curve
resulting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551501A
Other languages
English (en)
Other versions
JP2020502707A (ja
Inventor
アン ピトラルツ，ジャクリーン
アン ピトラルツ，ジャクリーン
アトキンス，ロビン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority claimed from PCT/US2017/065114 external-priority patent/WO2018111682A1/en
Publication of JP2020502707A publication Critical patent/JP2020502707A/ja
Application granted granted Critical
Publication of JP6845946B2 publication Critical patent/JP6845946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

関連出願への参照
本願は、２０１７年１月２０日に出願された欧州特許出願第１７１５２４１９．２号および２０１６年１２月１２日に出願された米国仮特許出願第６２／４３２，９１２号に基づく優先権を主張するものであり、両出願の開示内容の全体を全て本願に援用する。
技術分野
本発明は、ハイダイナミックレンジディスプレイ（ＨＤＲ）に関し、より詳細には、２重変調を用いるＨＤＲディスプレイに関する。
背景技術
本明細書において、用語「ダイナミックレンジ」（ＤＲ）は、人間の視覚系（ＨＶＳ）が画像においてある範囲の強度（例えば、輝度、ルマ）（例えば、最も暗いグレー（黒）から最も明るい白（ハイライト）まで）を知覚する能力に関し得る。この意味では、ＤＲは、「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」な強度に関する。ＤＲはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、ＤＲは、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）な強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。
本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際において、人間が広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別にまたは区別なく、人間の視覚システム（ＨＶＳ）（眼球運動を含み、シーンまたは画像にわたってある程度の明順応変化を可能にする）が、あるシーンまたは画像中において知覚可能なＤＲに関する。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対しては幾分狭いものの、ＥＤＲは広いＤＲ幅を表し、ＨＤＲとも呼ばれ得る。
ＨＤＲディスプレイおよびそれらの背景にある技術は、本発明の譲受人に関連するＤｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ Ｌｉｃｅｎｓｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎによって、ＤＯＬＢＹ ＶＩＳＩＯＮ（商標）として市販されている。現在作製中のＨＤＲディスプレイは、変調ＬＥＤなどの変調光源を備えるバックライトを使用し得る。そのようなバックライトは、ＩＭＬＥＤ（Ｉｎｄｉｖｉｄｕａｌｌｙ Ｍｏｄｕｌａｔｅｄ Ａｒｒａｙ ｏｆ ＬＥＤ：個別変調ＬＥＤアレイ）バックライトと呼ばれることがある。１つのバージョンにおいて、各ＬＥＤの明るさは、８ビット信号によって制御されるので、各ＬＥＤは、２５６段階の明るさを有する。ＬＣＤスクリーンの裏側に１つの光源を有するのではなく、表示中のシーンにおける局所的な明るさおよびコントラストに応じて、複数の小さな領域が変調方式でバックライト照射される。
実際において、画像は、１つ以上の色成分（例えば、ルマＹならびにクロマＣｂおよびＣｒ）を有しており、各色成分は、１画素あたりｎビットの精度（例えば、ｎ＝８）で表される。線形輝度符号化（ｌｉｎｅａｒ ｌｕｍｉｎａｎｃｅ ｃｏｄｉｎｇ）を使用する場合、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジの画像とされ、ｎ＞８の画像は、エンハンストダイナミックレンジの画像とされる。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃが開発したＯｐｅｎＥＸＲファイルフォーマットなどの高精度の（例えば、１６ビット）浮動小数点フォーマットを使用して、記憶および配信され得る。
あるディスプレイについての参照（ｒｅｆｅｒｅｎｃｅ）電気光学伝達関数（ＥＯＴＦ）は、入力映像信号の明度（ｃｏｌｏｒ ｖａｌｕｅｓ）（例えば輝度）からそのディスプレイによって生成される出力スクリーン明度（例えばスクリーン輝度）への関係を特徴づける。例えば、その開示内容を全て本願に援用するＩＴＵ Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ． １８８６、「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ−ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（０３／２０１１）では、陰極線管（ＣＲＴ）の測定された特性に基づいて、フラットパネルディスプレイについての参照ＥＯＴＦを定義している。ある映像ストリームが与えられたとき、そのＥＯＴＦに関する情報は、典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、「メタデータ」の語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画することを助ける、任意の補助的情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助的な信号パラメータなどを含むが、これらに限定されない。
ほとんどのコンシューマー用デスクトップディスプレイは現在、２００〜３００ｃｄ／ｍ２またはニトの輝度をサポートしている。ほとんどのコンシューマー用ＨＤＴＶは３００〜５００ニトの範囲であるが、新しいモデルは１０００ニト（ｃｄ／ｍ２）に達する。このような従来のディスプレイはしたがって、ＨＤＲやＥＤＲに対し、より低いダイナミックレンジ（ＬＤＲ）（またはスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型例となる。キャプチャ機器（例えばカメラ）およびＨＤＲディスプレイ（例えばＤｏｌｂｙ ＬａｂｏｒａｔｏｒｉｅｓのＰＲＭ−４２００プロフェッショナルリファレンスモニター）両方の進化によって、ＨＤＲコンテンツの普及率が高まるにつれ、ＨＤＲコンテンツはカラーグレーディングされてより高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上）をサポートするＨＤＲディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力（例えば０から１０，０００ニトなど）をサポートする代替的なＥＯＴＦを用いて定義され得る。そのようなＥＯＴＦの一例が、その開示内容を全て本願に援用するＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」に定義されている。一般的に、限定しないが、本開示の方法はＳＤＲよりも高い任意のダイナミックレンジに関連する。
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
概要
本明細書において、映像処理曲線を調整するためのシステムおよび方法を開示する。一実施形態において、一式の入力画像データから導出される初期曲線に対して調整を適用するための方法を開示する。この方法は、調整対象の一式の入力画像データを受け取る工程と、前記一式の入力画像データから初期曲線を算出する工程と、調整曲線（ａｄｊｕｓｔｍｅｎｔ ｃｕｒｖｅ）を受け取る工程であって、前記調整曲線は所望の画像パラメータに基づく、工程と、前記調整曲線を前記初期曲線に適用して、結果としての(ｒｅｓｕｌｔｉｎｇ)曲線を生成する工程とを包含する。
別の実施形態において、プロセッサを備えるディスプレイマネジメントユニット（ＤＭＵ）を開示する。このＤＭＵは、一式の入力画像データを受け取ったとき、前記一式の入力画像データから初期曲線を算出する工程と、調整曲線を受け取る工程であって、前記調整曲線は所望の画像パラメータに基づく、工程と、前記調整曲線を前記初期曲線に適用して、結果としての曲線を生成する工程とに従って、前記初期曲線を処理する。
前記初期曲線は、輝度マッピング曲線または色差マッピング曲線、すなわち、前記画像データを、最終の画像をディスプレイデバイス上に描画するためのルマ値またはクロマ値にマッピングするための命令であり得る。前記調整曲線（複数の値を擁するルックアップテーブルによって表され得る）は、視聴環境の環境照明および／またはユーザ選択（ｕｓｅｒ ｐｒｅｆｅｒｅｎｃｅｓ）を表すスケーリングファクタに基づき得て、その結果、前記初期曲線は、環境照明およびユーザ選択のいずれも利用可能でなかった場合に適用されるためのデフォルトのマッピングパラメータを表し得る。
図面の簡単な説明
本発明およびそれに伴う利点のうちの多くは、以下の詳細な説明を参照し、かつ添付の図面とともに考慮することによってより良く理解され、それらのより完全な理解が容易に得られるであろう。
図１は、映像供給パイプラインの処理例を示す。 図２は、調整曲線を初期曲線に適用することの一実施形態を示す。 図３は、図２の調整モジュールの適用の一例を示す。 図４は、明るさ調整曲線を初期曲線に適用することの本実施形態を示す。 図５は、コントラスト調整曲線を初期曲線に適用することの一実施形態を示す。 図６は、例示的な初期曲線に適用され得る、調整処理例を示す。 図７は、例示的な初期曲線に適用され得る、調整処理例を示す。 図８は、例示的な初期曲線に適用され得る、調整処理例を示す。 図９は、例示的な初期曲線に適用され得る、調整処理例を示す。 図１０は、例示的な初期曲線に適用され得る、調整処理例を示す。 図１１は、例示的な初期曲線に適用され得る、調整処理例を示す。
実施形態例の説明
本明細書において、様々な映像処理調整を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
映像供給処理パイプライン例
本明細書に記載の多くの実施形態例は、いくつかの条件に応じて映像曲線を調整することに関する。条件は、例えば、環境補正（ａｍｂｉｅｎｔ ｃｏｒｒｅｃｔｉｏｎ）、ユーザ選択設定などを含むが、これらに限定されない。そのような調整は、特に以下のパラメータの１つ以上に対して行われ得る。すなわち、トーン、彩度、明るさである。これらの調整は、画像パイプライン供給の様々な箇所、例えば、ディスプレイマネジメント中などにおいて行われ得る。
図１は、映像供給パイプライン（１００）の処理例を示しており、映像のキャプチャから映像コンテンツの表示までの種々の段を示している。画像生成ブロック（１０５）を使用して、１シーケンスの映像フレーム（１０２）がキャプチャまたは生成される。映像フレーム（１０２）は、デジタル的に（例えば、デジタルカメラによって）キャプチャされるか、またはコンピュータによって（例えば、コンピュータアニメーションを使用して）生成され、映像データ（１０７）が得られる。あるいは、映像フレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされ得る。フィルムは、デジタルフォーマットに変換され、映像データ（１０７）が得られる。プロダクションフェーズ（１１０）において、映像データ（１０７）は編集され、映像プロダクションストリーム（１１２）が得られる。
次いで、プロダクションストリーム（１１２）の映像データは、ポストプロダクション編集のためのブロック（１１５）においてプロセッサに与えられる。ブロック（１１５）ポストプロダクション編集は、映像制作者の制作意図にしたがって、画像について画質を上げるか、または特定の見え方を達成するために、その画像の特定の領域における色または明るさを調整または変更することを含み得る。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。他の編集（例えば、シーン選択および順番付け、画像クロッピング、コンピュータ生成された視覚特殊効果の付加など）がブロック（１１５）において行われ、配信用の最終バージョン（１１７）の制作物が生み出され得る。ポストプロダクション編集（１１５）中に、映像イメージは、リファレンスディスプレイ（１２５）上で視聴される。
ポストプロダクション（１１５）に続き、最終生成の映像データ（１１７）は、テレビ受像機、セットトップボックス、映画館などの復号化・再生機器にダウンストリームを供給するための符号化ブロック（１２０）に供給され得る。いくつかの実施形態において、符号化ブロック（１２０）は、符号化されたビットストリーム（１２２）を生成するための、音声エンコーダおよび映像エンコーダ（ＡＴＳＣ、ＤＶＢ、ＤＶＤ、ブルーレイおよび他の供給フォーマットによって規定される音声および映像エンコーダなど）を含み得る。受信器において、符号化されたビットストリーム（１２２）は、復号化ユニット（１３０）によって復号化され、信号（１１７）と同一の信号または近似の信号を表す復号信号（１３２）が生成される。受信器は、リファレンスディスプレイ（１２５）の特性とは全く異なる特性を有し得るターゲットディスプレイ（１４０）に接続され得る。その場合、ディスプレイマネジメントユニット（ＤＭＵ）（１３５）を使用して、ディスプレイマッピング化信号（１３７）を生成することによって、復号信号（１３２）のダイナミックレンジをターゲットディスプレイ（１４０）の特性にマッピングし得る。
上記のように、この映像パイプラインにおいて、調整曲線が映像データに適用される箇所がいくつか（ディスプレイマネジメントユニット（１３５）など）存在し得る。ディスプレイマネジメントユニットは、ディスプレイの外部に、またはディスプレイシステムの内部に実装され得て、本出願の範囲は、これらの様々な実施形態を包含することが理解されるであろう。一実施形態において、ＤＭＵは、プロセッサおよびコンピュータ読み取り可能なメモリを備え、本明細書に記載するような画像処理アルゴリズムを実行し得る。ＤＭＵは、例えば、当該分野で周知のようなセットトップボックス、コーデックなどの形態であり得る。
映像調整の概要
本出願の多くの実施形態において、トーン、彩度、明るさなどに応じて、種々の映像曲線を調整するためのシステムおよび方法の両方を開示する。調整は、自動的に、またはユーザ選択および入力に応じて、のいずれによっても達成され得る。例をいくつか挙げれば、映像曲線に対する環境補正は、部屋の照明、スクリーン反射率の増加に起因してなされ得るし、また例えば、画像の平均ピクセル輝度を変更するか、または彩度を変更するためのユーザ選択調整としてなされ得る。
図２は、ある調整パラメータに応じて初期の画像曲線を調整するアプリケーションの一実施形態である。一実施形態において、この調整方法は、映像パイプラインのある箇所において、ＤＭＵ内の調整モジュールとして実行され得る。方法（２００）は、１つ以上の調整曲線を算出し（２０２）、初期曲線を算出し（２０４）、調整曲線を初期曲線に適用する（２０６）。いくつかの実施形態において、初期曲線は、いくつかのソース、例えば、画像、１フレームの映像データ、映像における１シーン（例えば、複数の連続したフレームの映像データ）などから導出され得る。また、初期曲線は、いずれの調整曲線にも関係なく起こり得る処理であり得る。一実施形態において、この初期曲線は、あるディスプレイから別のディスプレイに画像をトーンマッピングするように設計されたディスプレイ曲線であり得る。この初期曲線は、映像パイプラインにおける適切なモジュールおよび／または処理コンポーネントによって入力され、かつ／または他の様態で受け取られ得る。また、本出願では「初期曲線」と記載するが、「初期曲線」は、さらなる処理のための適切なモジュールに対して数列として与えられてもよく、文字通り曲線であってもよいし、あるいはそうでなくてもよいことが理解されるであろう。
図３は、図２の調整モジュールの適用の一例を示す。図３に示すように、初期のデータは、曲線３０２として算出され、調整曲線は、曲線３０４として算出される。その結果としての組合せ曲線が、曲線３０６として示される。初期曲線は、１つ以上のパラメータ、例えば、彩度、トーンマッピング、１：１マッピングなどに応じて算出され得る。上記の「初期曲線」と同様に、調整曲線は、受け取られるか、１つ以上の画像パラメータ（例えば、明るさ、彩度、またはコントラストなど）から導出されるか、および／または算出され得て、文字通り曲線として与えられてもよいし、そうでなくてもよい（例えば、調整曲線は、導出された数列として、適切なモジュールに与えられ得る）。調整曲線を適用することにより、「初期曲線」において指定されているパラメータの域を超えて画像をさらに処理してもよい。一実施形態において、この曲線によって、彩度の増加などのユーザ選択を、トーンマッピング中において適用させる（トーンマッピングが「初期曲線」である）ことが可能となる。これにより、効率およびカラーの正確さが向上する傾向がある。調整曲線を初期曲線に適用することは、線形または非線形演算（例えば、加算、引算、乗算、除算、畳み込みなど）のうちの１つ以上によって行われ得る。一実施形態において、結果としての組合せ曲線３０６は実質的に単調な関数とすることが望ましい。そうでなければ、何らかの不自然な視覚効果が生み出される可能性があり得る。結果としての曲線は、ＤＭＵなどの適切なモジュールによって、画像を最終的に描画するためのディスプレイに与えられ得ることが理解されるであろう。上記の「初期曲線」および「調整曲線」と同様に、最終の結果としての曲線は、文字通り曲線であってもよいし、またはそうでなく、導出された数列としてＤＭＵなどの適切なモジュール、または最終的に描画するためのディスプレイに与えられてもよい。
１個の結果としての曲線を実装することの１つの主な利点は、調整の効率および容易さであることが理解されるはずである。一実施形態において、トーンマッピング曲線または彩度マッピング曲線に対して付加される互換機能（ｉｎｔｅｒｃｈａｎｇｅａｂｌｅ ｆｕｎｃｔｉｏｎ）を採用することが可能であり、これにより変更が簡単になる。別の実施形態において、曲線はまた、高速化および効率化のため、１次元のルックアップテーブルとして実装され得る。そのような実装は、効率的であり得る。なぜなら、全体のアルゴリズムに対する大きな変更を必要とすることなく、コンシューマーの要求を満たすように調整曲線が調整／微調整（ｔｕｎｅｄ／ｔｗｅａｋｅｄ）され得るからである。
また、調整の適用は、システムおよび方法の様々な箇所において起こり得るのであり、方法の一工程としていかなる順序にも従う必要は必ずしもないことが、理解されるはずである。いくつかの例に過ぎないが、調整曲線は、以下のように入力画像に適用され得る。
― 調整曲線は、入力パラメータに適用されてもよい。
― 調整された入力パラメータを使用して、調整された初期曲線を算出し得る。
― 調整された初期曲線を、調整曲線に適用し得る。
― 調整された調整曲線を、入力画像に適用し得る。
これら種々の調整は、本出願の範囲を逸脱せずに、任意の適切な順序で生じ得る。さらに、調整はまた、処理中のある箇所においてメタデータに対してなされ得る。
環境補正を適用するための実施形態
以下に、環境補正／調整を初期曲線に適用するいくつかの実施形態を説明する。一実施形態において、ディスプレイの周辺輝度が増加する場合に、相対的な見え方を一定に維持したいならば、画像は調整されるべきである。本実施形態において、画像調整は、１次元関数、例えば、その１つの変数がディスプレイの周辺輝度である１次元関数を使用して、適用される。そのような１次元関数は、最初に算出されてもよく、スカラーが適用される。テーブル１は、一実施形態である。

テーブル１−環境補正方法
工程１：調整曲線を算出する
Ａ＝０〜１の範囲の入力画素値（ＳＴ２０８４非線形性を用いて符号化されている）
Ｌ＝仮定された初期の適応輝度
ｆ（ｘ）＝ＳＴ２０８４ ＥＯＴＦ（または所定の他のＥＯＴＦ）
Ｓ＝環境照明に基づくスケーリングファクタ
Ｃ＝初期曲線に付加される調整曲線
とする。
次いで、以下のようにＢおよびＣを算出する。
Figure 0006845946
Figure 0006845946
 Ｌ（初期の適応輝度）の典型的な値は、５ｃｄ／ｍ２であり得る。典型的なスケーリングファクタ値の範囲は、０〜１０であり、センサーデータから導出され得る環境照明に関連付けられるべきであり、または理論的にユーザ選択に基づくべきである。Ｂはまた、いくつかの実施形態において、バートン（Ｂａｒｔｏｎ）コントラスト感度関数を備え得る。

工程２：初期曲線を算出する
初期曲線は、画像に適用された以前のマッピングまたはトーン曲線によって規定され得る。以前のマッピングまたは曲線が利用可能でないか、または所望されるものが無ければ、１：１曲線が初期曲線として使用され得る。
Ａ＝０〜１の範囲の入力画素値（ＳＴ２０８４非線形性を用いて符号化されている）、
Ｄ＝初期曲線とすれば、
Ｄ＝Ａ
である。

工程３：調整曲線を初期曲線に適用（付加）する
Ａ＝０〜１の範囲の入力画素値（ＳＴ２０８４非線形性を用いて符号化されている）、
Ｅ＝０〜１の範囲の出力画素値（ＳＴ２０８４非線形性を用いて符号化されている）、とすれば、
Ｅ＝Ｄ＋Ｃ
である。

ＬおよびＳについて使用される実際の値は、ユーザ選択、ディスプレイ能力、または環境照明に基づいて変化し得る。これらの等式はまた、種々の環境補正ルックアップテーブルを同様のやり方で適用するために変更され得る。
様々な調整曲線実施形態
以下に、あるパラメータに応じて様々な調整曲線を実装する、いくつかの実施形態を説明する。多くの実施形態は、図２の一般的な実施形態の変形例であり得る。例えば、調整曲線は、環境補正調整曲線と比べて、変更されている。
例えば、彩度調整曲線の一実施形態が、ユーザ選択に基づいて適用／変更され得る。その調整曲線は、任意な形式の彩度成分（例えば、互いに独立したＲＧＢ、またはＩＣＴＣＰのクロマ成分ＣＴＣＰ）に適用され得る。例えば、ディスプレイマネジメントアルゴリズムにおいて、各画素の彩度は、以下の等式（例えば、図２における方法と同様であり、上記テーブル１において置き換えられ得る等式）を使用して、その強度に応じて変更され得る。
fs(x)=彩度スケール関数(SaturationScaleFunction)
Figure 0006845946
ここで、Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．２１００、「Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」、２０１６年７月（当該文献を本願に援用する）に記載されているように、ＣＴおよびＣＰは、ＩＣＴＣＰまたはＩＰＴカラー空間におけるソース画像のクロマ成分であり、Ｃ’ＴおよびＣ’Ｐは、ＩＣＴＣＰまたはＩＰＴカラー空間におけるターゲット画像のクロマ成分である。
本実施形態において、SaturationScaleFunction(I)(fs(x))
は、ユーザ選択または環境調整関数によって、以下のようにさらに変更され得る。
NewSaturationScaleFunction(I,j,k)=SaturationScaleFunction(I)+j*AmbientScaleFunction+k*PreferenceScaleFunction
ここで、ｊおよびｋはそれぞれ、周囲環境およびユーザ選択の尺度に基づくスケーリング値であり、AmbientScaleFunctionおよびPreferenceScaleFunctionは、本明細書に記載のような所定の曲線または調整された（ｔｕｎｅｄ）曲線である。
明るさ調整曲線実施形態
調整曲線を適用することのさらに別の実施形態について、初期曲線の明るさを調整するための方法およびシステムを以下に開示する。
一実施形態において、所与の画像、シーンまたはプログラムの平均画素輝度を変更することが望まれ得る。そのような場合、明るさ調整曲線が採用され得る。そのような曲線は、画像の明るさを変化させるように変更され、任意な形式の明るさ成分（例えば、ＲＧＢに対して互いに独立に、またはＩＣＴＣＰのＩなどの輝度成分）に適用され得る。
一実施形態において、調整曲線は、ＤＭＵがディスプレイトーンマッピングを適用している期間中に適用され得、かつ初期のトーンマッピング曲線に直接に適用され得る。さらに、画像データが利用可能ならば、画像の最小、平均および最大を使用してガウシアン的関数を規定し得る。１つのそのような実施形態は、以下のように行われ得る。
ｘ＝０〜１の範囲の入力画素値（ＳＴ２０８４非線形性を用いて符号化されている）
ａ＝選択に基づいて要求される明るさの変化量
ｂ＝平均
ｃ＝ｍｉｎ（最大−平均、平均−最小）とすれば、
Figure 0006845946
 である。
ここで、最小値、平均値および最大値は、フレームまたはシーンにおける最小輝度値、平均輝度値および最大輝度値を表し、ｍｉｎ（ｄ１，ｄ２）関数は、変数ｄ１およびｄ２のうち最小のほうを出力する。
一実施形態において、変数ａ、ｂおよびｃは、ユーザ選択に基づいて互いに独立して変更され得る。ガウシアン曲線はまた、画像におけるノイズの際立ちを回避するために、画像の平均に基づいて歪められ得る（ｓｋｅｗｅｄ）。
図４は、本実施形態を示す。初期曲線４０２が曲線４０４によって調整され、結果としての組合せ曲線４０６が生成される。なお、最小値、平均値および最大値は、曲線４０４において示されるとおりであり、結果として得られる値は、曲線４０６にマッピングされたとおりである。
コントラスト調整曲線の実施形態
上記の明るさおよび彩度選択調整と同じく、コントラスト調整曲線を検討することも可能である。
他の調整と同様に、同じ処理概念を適用し得る。例えば、ある初期のトーンマッピングが存在し、あるコントラスト調整曲線が適用され得る。適切なコントラスト調整曲線は、自動的に導出され得るか（例えば、センサーによって記録され得る環境データを用いる）、またはユーザによって与えられ得ることが理解され得る。
図５は、初期曲線５０２に適用されているコントラスト調整曲線の一実施形態を示す。明るさ曲線とコントラスト曲線５０４との１つの相違は、コントラスト曲線が明るさ曲線の微分（例えば、ガウシアンの微分）の負の値（ｎｅｇａｔｉｖｅ）のように見え得ることであることが理解されるはずである。一実施形態において、これにより、中点の周辺で曲線の傾きが大きくなる（図示のように）が、結果としての曲線５０６における中点での明るさは変化しない。傾きを大きくすることは、明るさに影響を与えずにコントラストを増大させ得る。調整曲線の幅および中心を選択することによって、画像に対する効果を最適化することができる。
いくつかの処理例
図６〜図１１は、例示的な初期曲線６０２に適用され得るいくつかの調整処理例を示す。初期曲線６０２（および本明細書に示される他の初期曲線）は、１：１マッピングとして示され得るが、初期曲線は、その他の形態および／またはマッピングであるとしてもよいことが理解され得る。
曲線７０２および８０２はそれぞれ、例示的な明るさ調整曲線およびコントラスト調整曲線を示す。曲線９０２、１００２および１１０２はそれぞれ、明るさ調整、コントラスト調整、ならびに明るさおよびコントラストの両方の組み合わせから得られる最終の曲線を示す。
コンピュータ分野の当業者にとって明らかなように、本発明の一部は、本開示の教示に従ってプログラムされた従来の汎用または専用デジタルコンピュータまたはマイクロプロセッサを使用して簡便に実装され得る。
ソフトウェア分野の当業者にとって明らかなように、適切なソフトウェアコーディングが、熟練のプログラマによって本開示の教示に基づいて容易に行われ得る。本開示に基づいて当業者にとって明らかなように、本発明はまた、特定用途向け集積回路を用意することによって、または従来のコンポーネント回路群の適切なネットワークを相互接続することによって実装され得る。
本発明は、コンピュータに本発明の処理のいずれかを行わせるように制御するか、またはコンピュータにそうさせるために使用され得る命令が記憶された記憶媒体であるコンピュータプログラム製品を含む。その記憶媒体は、フロッピーディスク、ミニディスク（ＭＤ）、光学ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ、ＣＤもしくはＤＶＤＲＷ＋／−、マイクロドライブおよび光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス（フラッシュカード、メモリスティックを含む）、磁気または光学カード、ＳＩＭカード、ＭＥＭＳ、ナノシステム（分子メモリＩＣを含む）、ＲＡＩＤデバイス、リモートデータストレージ／アーカイブ／ウェアハウジング、または命令および／もしくはデータを記憶するのに適切な任意のタイプの媒体もしくはデバイスを含み得るが、それらに限定されない。
本発明は、汎用／専用のコンピュータまたはマイクロプロセッサのハードウェアの両方を制御し、かつそのコンピュータまたはマイクロプロセッサが人間のユーザ、または本発明の結果を利用する他の機構と対話できるようにするためのソフトウェアを含み、そのソフトウェアは、コンピュータ読み取り可能な媒体のうちいずれかに記憶される。そのようなソフトウェアは、デバイスドライバ、オペレーティングシステムおよびユーザアプリケーションを含み得るが、それらに限定されない。究極的に、そのようなコンピュータ読み取り可能な媒体は、上記のように、本発明を行うためのソフトウェアをさらに含む。
汎用／専用のコンピュータまたはマイクロプロセッサのプログラミング（ソフトウェア）には、本発明の教示を実装するためのソフトウェアモジュールが含まれる。そのソフトウェアモジュールは、ローカルディミングパネルの画素／サブ画素ぼけを算出すること、カラー補正または特徴付けを算出すること、画像信号を生成し、それらをドライバおよび／または他の電子機器に印加してバックライト、パネル、またはディスプレイにおける他のデバイスを作動させること、輝度値を算出すること、本明細書に記載のファクタのいずれかに基づいて輝度（表示対象の画像のピクセルまたは領域のついての所望の輝度など）を補間、平均化または調整すること、および本発明の処理にしたがって結果を表示、記憶または通信することを含むが、それらに限定されない。
本発明は、本明細書に記載された任意の要素（本発明の様々な部分または特徴）およびその均等物を適切に備え得るか、それらからなり得るか、または本質的にそれらからなり得る。さらに、本明細書に例示的に開示される本発明は、本明細書に具体的に記載されているかどうかにかかわらず、いずれかの要素がなくても実施され得る。本発明に対して、上記教示を考慮して多くの変更および変化がなされ得ることが明らかである。したがって、添付の特許請求の範囲内で、本発明が本明細書の具体的な記載とは別の態様で実施され得ることが理解される。
以下に列挙される実施形態例（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔ：ＥＥＥ）から本発明の様々な局面が理解され得る。
ＥＥＥ１．
一式の入力画像データから導出される初期曲線に対して調整を適用するための方法であって、
調整対象の一式の入力画像データを受け取る工程と、
前記一式の入力画像データから初期曲線を算出する工程と、
調整曲線を受け取る工程であって、前記調整曲線は所望の画像パラメータに基づく、工程と、
前記調整曲線を前記初期曲線に適用して、結果としての曲線を生成する工程と、
を包含する方法。

ＥＥＥ２．
前記一式の入力画像データは、画像、１フレームの映像データ、および映像における１シーンのうちの１つを包含する、ＥＥＥ１に記載の方法。

ＥＥＥ３．
前記一式の入力画像データから初期曲線を算出する工程は、１つ以上の画像パラメータから初期曲線を算出する工程をさらに包含する、ＥＥＥ１または２に記載の方法。

ＥＥＥ４．
初期曲線を算出するための１つ以上の画像パラメータは、彩度パラメータ、トーンマッピングパラメータ、および１：１マッピングパラメータのうちの１つを包含する、ＥＥＥ３に記載の方法。

ＥＥＥ５．
前記調整曲線が基づく前記所望の画像パラメータは、環境パラメータ、彩度パラメータ、明るさパラメータ、およびコントラストパラメータのうちの１つを包含する、ＥＥＥ１から４のいずれかに記載の方法。

ＥＥＥ６．
前記調整曲線を前記初期曲線に適用する工程は、前記調整曲線を使用して演算を前記初期曲線に適用する工程を包含する、ＥＥＥ５に記載の方法。

ＥＥＥ７．
前記演算は、加算、引算、乗算、除算、および畳み込みのうちの１つを包含する、ＥＥＥ６に記載の方法。

ＥＥＥ８．
前記所望の画像パラメータは、環境パラメータを包含し、前記調整曲線は、
Figure 0006845946
 として算出され、
ここで、Ｓは、環境照明に基づくスケーリングファクタを包含し、Ｂは、入力画素値、仮定された初期の適応輝度およびＥＯＴＦに基づく関数に依存する関数である、ＥＥＥ５から７のいずれかに記載の方法。

ＥＥＥ９．
前記所望の画像パラメータは、彩度パラメータを包含し、前記調整曲線は、
fs(x)=何らかの彩度スケール関数(some Saturation Scale Function)
Figure 0006845946
 として算出され、
ここで、ＣＴおよびＣＰは、前記ソース画像のクロマ成分であり、Ｃ’ＴおよびＣ’Ｐは、前記ターゲット画像のクロマ成分であり、Ｉは、前記輝度成分である、ＥＥＥ５から７のいずれかに記載の方法。

ＥＥＥ１０．
前記彩度スケール関数は、環境条件およびユーザ選択のうちの１つの関数であり得る、ＥＥＥ９に記載の方法。

ＥＥＥ１１．
前記所望の画像パラメータは、明るさパラメータを包含し、前記調整曲線は、
Figure 0006845946
 として算出され、
ここで、ｘは、入力画素値を包含し、ａは、選択に基づいて要求される明るさの変化量を包含し、ｂは、平均を包含し、ｃは、ｍｉｎ（最大−平均、平均−最小）を包含する、ＥＥＥ５から７のいずれかに記載の方法。

ＥＥＥ１２．
前記所望の画像パラメータは、コントラストパラメータを包含し、前記調整曲線は、前記明るさ曲線の微分の負の値として算出される、ＥＥＥ５から７のいずれかに記載の方法。

ＥＥＥ１３．
前記方法は、
前記結果としての曲線を、前記結果としての曲線に基づいて最終の画像を描画するためにディスプレイに送信する工程
をさらに備える、ＥＥＥ１から１２のいずれかに記載の方法。

ＥＥＥ１４．
プロセッサを備えるディスプレイマネジメントユニット（ＤＭＵ）であって、前記プロセッサは、一式の入力画像データを受け取ったとき、
前記一式の入力画像データから前記初期曲線を算出する工程と、
調整曲線を受け取る工程であって、前記調整曲線は所望の画像パラメータに基づく、工程と、
前記調整曲線を前記初期曲線に適用して、結果としての曲線を生成する工程と、
に従って、前記初期曲線を処理する、ディスプレイマネジメントユニット。

ＥＥＥ１５．
前記調整曲線が基づく前記所望の画像パラメータは、環境パラメータ、彩度パラメータ、明るさパラメータ、およびコントラストパラメータのうちの１つを包含する、ＥＥＥ１４に記載のＤＭＵ。

ＥＥＥ１６．
前記調整曲線を前記初期曲線に適用する工程は、前記調整曲線を使用して演算を前記初期曲線に適用する工程を包含する、ＥＥＥ１５に記載のＤＭＵ。

ＥＥＥ１７．
前記演算は、加算、引算、乗算、除算、および畳み込みのうちの１つを包含する、ＥＥＥ１６に記載のＤＭＵ。

ＥＥＥ１８．
前記ＤＭＵは、前記結果としての曲線を、前記結果としての曲線に基づいて最終の画像を描画するためにディスプレイに送信する、ＥＥＥ１４から１７のいずれかに記載のＤＭＵ。

ＥＥＥ１９．
前記ＤＭＵは、前記ディスプレイの外部にある、ＥＥＥ１８に記載のＤＭＵ。

ＥＥＥ２０．
前記ディスプレイは、前記ＤＭＵを備える、ＥＥＥ１８に記載のＤＭＵ。

Claims (19)

  1. 一式の入力画像データから導出される初期の輝度マッピング曲線または初期の色差マッピング曲線に対して調整を適用するための方法であって、
    調整対象の一式の入力画像データを受け取る工程と、
    前記一式の入力画像データから初期の輝度マッピング曲線および／または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよびユーザ選択に基づく、工程と、
    前記調整曲線を１つの初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するために使用される、工程と、
    を包含する方法。
  2. 前記一式の入力画像データは、前記視聴環境において表示装置によって表示されることとなる、画像、１フレームの映像データ、および映像における１シーンのうちの１つを包含し、前記映像における１シーンは、複数の連続したフレームの映像データを包含する、請求項１に記載の方法。
  3. 前記一式の入力画像データから前記初期の輝度マッピング曲線を算出する工程は、１つ以上のトーンマッピングパラメータから前記初期の輝度マッピング曲線を算出する工程をさらに包含する、請求項１または２に記載の方法。
  4. 前記一式の入力画像データから前記初期の色差マッピング曲線を算出する工程は、１つ以上の彩度マッピングパラメータから前記初期の色差マッピング曲線を算出する工程をさらに包含する、請求項１から３のいずれかに記載の方法。
  5. 前記ユーザ選択は、前記最終の画像の彩度、明るさ、およびコントラストのうちの１つに関するユーザ選択を包含する、請求項１から４のいずれかに記載の方法。
  6. 前記調整曲線を１つの初期曲線に適用する工程は、前記調整曲線を使用して演算を当該初期曲線に適用する工程を包含し、ここで、オプションとして、前記演算は、加算、引算、乗算、除算、および畳み込みのうちの１つを包含する、請求項１から５のいずれかに記載の方法。
  7. 前記調整曲線は、
    Figure 0006845946
     として算出され、
    ここで、Ｓは、環境照明を表すスケーリングファクタであり、Ｂは、入力画素値、仮定された初期の適応輝度および電気−光伝達関数（ＥＯＴＦ）に基づく関数に依存する関数である、請求項５または請求項６に記載の方法。
  8. 前記調整曲線は、
    fs(x)=何らかの彩度スケール関数(some SaturationScaleFunction)
    Figure 0006845946
     として算出され、
    ここで、ＣＴおよびＣＰは、ソース画像のクロマ成分であり、Ｃ’ＴおよびＣ’Ｐは、ターゲット画像のクロマ成分であり、Ｉは、前記輝度成分であり、ここで、オプションとして、前記彩度スケール関数は、環境条件およびユーザ選択のうちの１つの関数であり得る、請求項５または請求項６に記載の方法。
  9. 前記調整曲線は、
    Figure 0006845946
     として算出され、
    ここで、ｘは、入力画素値を包含し、ａは、ユーザ選択に基づいて要求される明るさの変化量を包含し、ｂは、画像、１フレームの映像データまたは映像における１シーンにおける輝度値の平均を包含し、ｃは、画像、１フレームの映像データまたは映像における１シーンにおける輝度値のｍｉｎ（最大−平均、平均−最小）を包含し、ここで、前記映像における１シーンは、複数の連続したフレームの映像データを包含する、請求項５または請求項６に記載の方法。
  10. 前記調整曲線は、
    Figure 0006845946
     の微分の負の値として算出され、ここで、ｘは、入力画素値を包含し、ａは、ユーザ選択に基づいて要求される明るさの変化量を包含し、画像、１フレームの映像データまたは映像におけるシーンにおける、ｂは、平均輝度値を包含し、ｃは、ｍｉｎ輝度値（最大−平均、平均−最小）を包含し、ここで、前記映像におけるシーンは、複数の連続したフレームの映像データを包含する、請求項５または請求項６に記載の方法。
  11. 前記方法は、
    前記結果としての曲線を、前記結果としての曲線に基づいて最終の画像を描画するためにディスプレイに送信する工程
    をさらに備える、請求項１から１０のいずれかに記載の方法。
  12. 一式の入力画像データから導出される初期の輝度マッピング曲線または初期の色差マッピング曲線に対して調整を適用するための方法であって、
    調整対象の一式の入力画像データを受け取る工程と、
    前記一式の入力画像データから初期の輝度マッピング曲線および／または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよび／またはユーザ選択に基づく、工程と、
    前記調整曲線を１つの初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するために使用される、工程と、
    を包含し、
    前記調整曲線は、
    Figure 0006845946
     として算出され、
    ここで、Ｓは、環境照明を表すスケーリングファクタであり、Ｂは、入力画素値、仮定された初期の適応輝度および電気−光伝達関数（ＥＯＴＦ）に基づく関数に依存する関数である、方法。
  13. 一式の入力画像データから導出される初期の輝度マッピング曲線または初期の色差マッピング曲線に対して調整を適用するための方法であって、
    調整対象の一式の入力画像データを受け取る工程と、
    前記一式の入力画像データから初期の輝度マッピング曲線および／または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよび／またはユーザ選択に基づく、工程と、
    前記調整曲線を１つの初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するために使用される、工程と、
    を包含し、
    前記調整曲線は、
    fs(x)=何らかの彩度スケール関数(some SaturationScaleFunction)
    Figure 0006845946
     として算出され、
    ここで、ＣＴおよびＣＰは、ソース画像のクロマ成分であり、Ｃ’ＴおよびＣ’Ｐは、ターゲット画像のクロマ成分であり、Ｉは、前記輝度成分であり、ここで、オプションとして、前記彩度スケール関数は、環境条件およびユーザ選択のうちの１つの関数であり得る、方法。
  14. 一式の入力画像データから導出される初期の輝度マッピング曲線または初期の色差マッピング曲線に対して調整を適用するための方法であって、
    調整対象の一式の入力画像データを受け取る工程と、
    前記一式の入力画像データから初期の輝度マッピング曲線および／または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよび／またはユーザ選択に基づく、工程と、
    前記調整曲線を１つの初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するために使用される、工程と、
    を包含し、
    前記調整曲線は、
    Figure 0006845946
     として算出され、
    ここで、ｘは、入力画素値を包含し、ａは、ユーザ選択に基づいて要求される明るさの変化量を包含し、ｂは、画像、１フレームの映像データまたは映像における１シーンにおける輝度値の平均を包含し、ｃは、画像、１フレームの映像データまたは映像における１シーンにおける輝度値のｍｉｎ（最大−平均、平均−最小）を包含し、ここで、前記映像における１シーンは、複数の連続したフレームの映像データを包含する、方法。
  15. 一式の入力画像データから導出される初期の輝度マッピング曲線または初期の色差マッピング曲線に対して調整を適用するための方法であって、
    調整対象の一式の入力画像データを受け取る工程と、
    前記一式の入力画像データから初期の輝度マッピング曲線および／または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよび／またはユーザ選択に基づく、工程と、
    前記調整曲線を１つの初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するために使用される、工程と、
    を包含し、
    前記調整曲線は、
    Figure 0006845946
     の微分の負の値として算出され、ここで、ｘは、入力画素値を包含し、ａは、ユーザ選択に基づいて要求される明るさの変化量を包含し、画像、１フレームの映像データまたは映像におけるシーンにおける、ｂは、平均輝度値を包含し、ｃは、ｍｉｎ輝度値（最大−平均、平均−最小）を包含し、ここで、前記映像におけるシーンは、複数の連続したフレームの映像データを包含する、方法。
  16. プロセッサを備えるディスプレイマネジメントユニットであって、前記プロセッサは、一式の入力画像データを受け取ったとき、
    前記一式の入力画像データから初期の輝度マッピング曲線または初期の色差マッピング曲線を算出する工程と、
    調整曲線を受け取る工程であって、前記調整曲線は、視聴環境の環境照明を表すスケーリングファクタおよびユーザ選択に基づく、工程と、
    前記調整曲線を前記初期のマッピング曲線に適用して、結果としてのマッピング曲線を生成する工程であって、前記結果としてのマッピング曲線は、前記結果としての曲線に基づいて最終の画像を描画するためのものである、工程と、
    に従って、前記初期の輝度マッピング曲線または初期の色差マッピング曲線を処理する、ディスプレイマネジメントユニット。
  17. 前記ユーザ選択は、前記最終の画像の彩度、明るさ、およびコントラストのうちの１つ
    に関するユーザ選択を包含する、請求項１６に記載のディスプレイマネジメントユニット。
  18. 前記調整曲線を前記初期曲線に適用する工程は、前記調整曲線を使用して演算を前記初期曲線に適用する工程を包含し、ここで、オプションとして、前記演算は、加算、引算、乗算、除算、および畳み込みのうちの１つを包含する、請求項１７に記載のディスプレイマネジメントユニット。
  19. 前記ディスプレイマネジメントユニットは、前記結果としての曲線を、前記結果としての曲線に基づいて最終の画像を描画するためにディスプレイに送信する、請求項１６から１８のいずれかに記載のディスプレイマネジメントユニット。
JP2019551501A 2016-12-12 2017-12-07 ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法 Active JP6845946B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662432912P 2016-12-12 2016-12-12
US62/432,912 2016-12-12
EP17152419 2017-01-20
EP17152419.2 2017-01-20
PCT/US2017/065114 WO2018111682A1 (en) 2016-12-12 2017-12-07 Systems and methods for adjusting video processing curves for high dynamic range images

Publications (2)

Publication Number Publication Date
JP2020502707A JP2020502707A (ja) 2020-01-23
JP6845946B2 true JP6845946B2 (ja) 2021-03-24

Family

ID=60788721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551501A Active JP6845946B2 (ja) 2016-12-12 2017-12-07 ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法

Country Status (4)

Country Link
US (1) US11468547B2 (ja)
EP (1) EP3552178B1 (ja)
JP (1) JP6845946B2 (ja)
CN (1) CN110050292B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
CN112686810A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 一种图像处理的方法及装置
CN111698442B (zh) * 2020-06-16 2022-10-04 深圳康佳电子科技有限公司 一种图像对比度调整方法、显示装置及存储介质
CN115803802A (zh) * 2020-06-30 2023-03-14 杜比实验室特许公司 用于使用pq偏移进行环境光补偿的系统和方法
CN114640799A (zh) * 2020-12-15 2022-06-17 深圳Tcl数字技术有限公司 一种亮度调节方法、装置、存储介质及终端设备
WO2022203258A1 (ko) * 2021-03-25 2022-09-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
JPH0997319A (ja) 1995-09-28 1997-04-08 Fujitsu Ltd 色空間画像を補正する画像処理装置および方法
JP3894302B2 (ja) 2002-03-25 2007-03-22 セイコーエプソン株式会社 画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
JP3956887B2 (ja) 2003-04-10 2007-08-08 セイコーエプソン株式会社 画像処理装置および画像処理方法並びに画像処理プログラム
CN1781319A (zh) * 2003-05-01 2006-05-31 精工爱普生株式会社 权衡特定颜色的颜色再现后的彩色平衡调整
US7532234B2 (en) * 2003-06-19 2009-05-12 Microsoft Corporation Automatic analysis and adjustment of digital images upon acquisition
KR100592385B1 (ko) * 2003-11-17 2006-06-22 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100555755B1 (ko) * 2004-05-04 2006-03-03 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
US7894000B2 (en) 2004-06-30 2011-02-22 Koninklijke Philips Electronics N.V. Dominant color extraction using perceptual rules to produce ambient light derived from video content
US7982707B2 (en) * 2004-12-02 2011-07-19 Sharp Laboratories Of America, Inc. Methods and systems for generating and applying image tone scale adjustments
US7372507B2 (en) * 2005-02-08 2008-05-13 Texas Instruments Incorporated Real-time content based gamma adjustment for digital video display
US7352410B2 (en) 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
US7783105B2 (en) * 2006-06-07 2010-08-24 National Semiconductor Corporation Method and system for digitally scaling a gamma curve
KR101248872B1 (ko) * 2006-08-09 2013-03-28 삼성전자주식회사 영상표시장치 및 그의 고화질 제공방법
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US8718333B2 (en) * 2007-04-23 2014-05-06 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
JP2008286832A (ja) * 2007-05-15 2008-11-27 Funai Electric Co Ltd 液晶表示装置及び液晶テレビジョン
US8593476B2 (en) 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
US8154753B2 (en) 2008-10-29 2012-04-10 Thx, Ltd. Method and system for providing access to image system services
US8462171B2 (en) * 2009-02-06 2013-06-11 Micrososft Corporation Saturation contrast image enhancement
JP5509729B2 (ja) 2009-08-24 2014-06-04 ソニー株式会社 画像表示装置、画像表示方法及び画像処理装置
US20120075353A1 (en) * 2010-09-27 2012-03-29 Ati Technologies Ulc System and Method for Providing Control Data for Dynamically Adjusting Lighting and Adjusting Video Pixel Data for a Display to Substantially Maintain Image Display Quality While Reducing Power Consumption
US8704859B2 (en) 2010-09-30 2014-04-22 Apple Inc. Dynamic display adjustment based on ambient conditions
EP2769376A4 (en) 2011-09-23 2015-07-22 Mri Inc SYSTEM AND METHOD FOR ENVIRONMENTALLY ADAPTING DISPLAY CHARACTERISTICS
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
US9472163B2 (en) 2012-02-17 2016-10-18 Monotype Imaging Inc. Adjusting content rendering for environmental conditions
JP5968070B2 (ja) 2012-05-16 2016-08-10 キヤノン株式会社 色処理装置および色調整方法
US8958638B2 (en) * 2012-06-10 2015-02-17 Apple Inc. Method and system for multi-stage auto-enhancement of photographs
US9208749B2 (en) * 2012-11-13 2015-12-08 Htc Corporation Electronic device and method for enhancing readability of an image thereof
IN2015KN02510A (ja) * 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
US20150070402A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Real-time color calibration of displays
KR101509712B1 (ko) 2013-09-13 2015-04-07 현대자동차 주식회사 디스플레이 장치에서의 빛 반사 방지 방법 및 시스템
CN106030503B (zh) 2014-02-25 2020-04-17 苹果公司 自适应视频处理
JP6525543B2 (ja) 2014-10-21 2019-06-05 キヤノン株式会社 画像処装置および画像処理方法、並びにプログラム
US9478157B2 (en) 2014-11-17 2016-10-25 Apple Inc. Ambient light adaptive displays
US20180108169A1 (en) * 2016-10-14 2018-04-19 Toshiba Medical Systems Corporation Image rendering apparatus and method
HUE050807T2 (hu) * 2017-02-15 2021-01-28 Dolby Laboratories Licensing Corp Árnyalatgörbe-leképezés nagy dinamikus tartományú képek számára
US11803947B2 (en) * 2020-03-18 2023-10-31 Intel Corporation Brightness and contrast enhancement for video

Also Published As

Publication number Publication date
US11468547B2 (en) 2022-10-11
EP3552178B1 (en) 2022-06-01
CN110050292B (zh) 2023-08-01
US20190362476A1 (en) 2019-11-28
EP3552178A1 (en) 2019-10-16
CN110050292A (zh) 2019-07-23
JP2020502707A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
JP6845946B2 (ja) ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
JP7101288B2 (ja) Ｈｄｒ信号の変換用の方法及び装置
JP6042583B2 (ja) Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
RU2713869C1 (ru) Преобразование тоновой кривой для изображений с расширенным динамическим диапазоном
JP7084984B2 (ja) トーンカーブ最適化方法および関連するビデオエンコーダとビデオデコーダ
CN110192223B (zh) 高动态范围图像的显示映射
US11935492B2 (en) Image-dependent contrast and brightness control for HDR displays
JP2022540067A (ja) ハイダイナミックレンジ用映像コンテンツタイプメタデータ
JP6978634B1 (ja) パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング
WO2018111682A1 (en) Systems and methods for adjusting video processing curves for high dynamic range images
US11837140B2 (en) Chromatic ambient light correction
US11792532B2 (en) Picture metadata for high dynamic range video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210226

R150 Certificate of patent or registration of utility model

Ref document number: 6845946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250