JP6362793B2 - ハイダイナミックレンジ映像のためのディスプレイマネジメント - Google Patents

Description

関連出願への相互参照
本願は、２０１５年１月１９日付け出願の米国仮特許出願第６２／１０５，１３９号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。

技術
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、ハイダイナミックレンジまたはエンハンストダイナミックレンジを備える画像のディスプレイマネジメント処理に関する。

背景
本明細書で用いるとき、「ダイナミックレンジ」（ＤＲ）という用語は、画像においてある範囲（例えば最暗部（黒）から最明部（白）まで）の強度（例えば、輝度、ルマ）を知覚する人間の視覚システム（ＨＶＳ）の能力に関し得る。この意味で、ＤＲは、「シーン−リファード」（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の強度に関する。ＤＲはまた、ディスプレイデバイスがある特定の幅の強度範囲を妥当にまたは近似的に描画する能力にも関し得る。この意味で、ＤＲは、「ディスプレイ−リファード」（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に重要であると明示的に指定しない限り、この用語をどちらの意味でも（例えば区別なく）用い得ると理解されたい。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。実際には、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ（ＥＤＲ）あるいは視覚的ダイナミックレンジ（ＶＤＲ）という用語は、個々にまたは区別なく、人間の視覚システム（ＨＶＳ）によって同時に感知可能なＤＲに関し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関し得る。従って、真のシーンリファードのＨＤＲに対して幾分狭いものの、ＥＤＲは、広いＤＲ幅を示しており、ＨＤＲと呼ばれることもある。

実際において、画像は１つ以上の色成分（例えば、輝度Ｙ、ならびに色差ＣｂおよびＣｒ）を含み、各色成分は、ｎビット／ピクセル（例えばｎ＝８）の精度で表現される。線形輝度符号化を用いると、ｎ≦８であるような画像（例えばカラー２４ビットＪＰＥＧ画像）はスタンダードダイナミックレンジの画像と考えられる一方で、ｎ＞８であるような画像はエンハンストダイナミックレンジの画像と考えてよい。ＥＤＲおよびＨＤＲ画像はまた、Ｉｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃ社が開発したＯｐｅｎＥＸＲファイルフォーマットのような高精度（例えば１６ビット）浮動小数点フォーマットを用いても、格納および配信することが可能である。

殆どの民生用デスクトップディスプレイは、２００から３００ｃｄ／ｍ²すなわちニトまでの輝度をサポートする。殆どの民生用ＨＤＴＶは、３００から１０００ｃｄ／ｍ²までの範囲に亘る。このような従来のディスプレイは、ゆえに、ローダイナミックレンジ（ＬＤＲ）（ＨＤＲまたはＥＤＲに対してスタンダードダイナミックレンジ（ＳＤＲ）とも呼ばれる）の典型である。撮影機器（例えばカメラ）とＥＤＲディスプレイ（例えばＤｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ製のＰＲＭ−４２００プロフェッショナルリファレンスモニタ）の両方における進歩によるＥＤＲコンテンツの利用可能性の増大にともない、より高いダイナミックレンジ（例えば１，０００ニトから５，０００ニト以上まで）をサポートするＥＤＲディスプレイ上において、ＥＤＲコンテンツをカラーグレーディングし、表示し得る。一般に、本開示の方法は、ＳＤＲよりも高い任意のダイナミックレンジに関する。本発明者らの理解によれば、後方互換性と、より優れた没入体験との両方のために、ハイダイナミックレンジ画像のＨＤＲおよびＳＤＲディスプレイ上へのディスプレイマネジメントを行なうための、改良技術が望まれる。

本明細書で用いるとき、「ディスプレイマネジメント」という用語は、第１のダイナミックレンジ（例えば１０００ニト）の入力映像信号を第２のダイナミックレンジ（例えば５００ニト）のディスプレイにマッピングするために必要とされる処理（例えば、トーンおよび色域のマッピング）を指す。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

図面の簡単な説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

図１は、本発明のある実施形態による、ＥＤＲ画像のディスプレイマネジメント処理の一例を表す。 図２は、本発明のある実施形態による、入力ＥＤＲデータを入力色空間から知覚的量子化空間へと変換する処理の一例を表す。 図３は、本発明のある実施形態による、ＥＤＲ画像をカラーボリューム（ｃｏｌｏｒ ｖｏｌｕｍｅ）マッピングする処理の一例を表す。 図４は、本発明のある実施形態による、ディテール保存処理の一例を表す。 図５は、本発明のある実施形態による、出力色変換処理の一例を表す。

実施形態例の説明
エンハンストダイナミックレンジ（ＥＤＲ）画像の効率的なディスプレイマネジメント（例えばトーンおよび色域のマッピング）を、本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項抜きでも本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書に記載の実施形態例は、ＥＤＲ画像の効率的なディスプレイマネジメントに関する。ディスプレイマネジメントプロセッサが、ソースリファレンスディスプレイとは異なるダイナミックレンジを有したターゲットディスプレイに表示されることになる、エンハンストダイナミックレンジを備えた入力画像を受信する。この入力画像を、まず、入力色空間（例えば、ＲＧＢまたはＹＣｂＣｒ）から知覚的量子化（ＰＱ）色空間、好ましくはＩＰＴ−ＰＱ色空間へと変換する。適応的トーンマッピング関数と適応的色域マッピング関数とを含むカラーボリュームマッピング関数により、第１のマッピング画像を生成する。ディテール保存ステップを、第１のマッピング画像の明度（ｉｎｔｅｎｓｉｔｙ）成分に適用して、トーンマッピングされフィルタリングされた明度（ｆｉｌｔｅｒｅｄ ｔｏｎｅ−ｍａｐｐｅｄ ｉｎｔｅｎｓｉｔｙ）の画像を有する最終的なマッピング画像を生成する。最終的なマッピング画像を、その後、ディスプレイの好適な色空間へと変換し戻す。適応的なトーンマッピング関数および色域マッピング関数の例を提供する。

ディスプレイマネジメント処理パイプラインの例
図１は、本発明のある実施形態による、ＥＤＲ画像（また、ＨＤＲ画像と呼ぶこともある）のディスプレイマネジメント処理の一例を表す。本処理は、２０１４年２月１３日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１４／０１６３０４号（以下、「‘３０４出願」と呼ぶ）に記載されたディスプレイマネジメント処理と多くの類似点を共有しており、この出願の開示内容を全て本願に援用する。但し、提案される実施形態は複数の改良点を含み、これにより、演算的な複雑さを低減しつつも、全体的な画質を向上させることが可能となる。

図１に表わすように、ビデオプロセッサ（例えば、メディアサーバー、セットトップボックス、画像ディスプレイ、またはその他の適切な画像プロセッサ）は、ＥＤＲ入力Ｖ_I（１０２）ならびにオプションとして、付随するソースとコンテンツとのメタデータ（１０４）、およびターゲットメタデータ（１０６）を受信する。ＥＤＲ入力（１０２）は、画像シーケンスが有するあるフレームの一部またはあるフレーム全体を含むことができ、例えばＥＤＲ映像信号などである。本明細書で用いるとき、「メタデータ」という用語は、符号化ビットストリームの一部として送信され、デコーダが復号化画像を描画するのに役立つ、任意の補助的情報に関する。このようなメタデータは、本明細書に記載の、色空間または色域の情報、リファレンスディスプレイパラメータ、および補助的信号パラメータを含み得るが、これらのみに限定はされない。

受信されたＥＤＲ入力（１０２）は、ＲＧＢ色形式で表現されていてもよいし、あるいはＹＣｂＣｒやＸＹＺなどの、その他任意の色空間にあってもよい。受信画像は、ターゲットディスプレイモニタとは異なったダイナミックレンジおよび色域上の特性を有し得るリファレンスＥＤＲモニタにおいて、カラーグレーディングを施されていてもよい。本明細書で用いるとき、「カラーグレーディング」という用語は、「色のアーチファクトを補正するように、かつ／または制作意図に調和するように、画像または映像の色を調整する処理」を指す。

ＥＤＲ入力（１０２）はまた、プログラム制作中に画像をカラーグレーディングするために使用されたディスプレイに関する、ソースディスプレイメタデータ（１０４）をも含み得る。例えば、このようなメタデータは、リファレンス電気−光学伝達関数（ＥＯＴＦ）（例えば、Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．１８６６（０３／２０１１）またはＳＭＰＴＥ ＳＴ ２０８４：２０１４）を含むことができる。ＥＤＲ入力はまた、ソースディスプレイまたはリファレンスディスプレイの最大および最小輝度、データの最大、最小、および平均的ミッドトーン、ならびにカラーグレーディング時の周囲光強度などの、追加的なソースディスプレイとコンテンツとのメタデータ（１０４）を含んでいてもよい。例えば、リファレンスモニタについてのメタデータは、制作に使用された以下のようなパラメータ例を含み得る。すなわち、
ソースモニタ最小輝度、Ｓｍｉｎ＝０．００５ニト
ソースモニタ最大輝度、Ｓｍａｘ＝４０００ニト
周囲光、Ｓａｍｂ＝１０ニト
ガンマ、Ｓｇａｍｍａ＝２．４
色空間＝ＤＣＩ Ｐ３、白色点＝Ｄ６５
である。

リファレンスモニタについてのメタデータは、典型的には一度のみ送信すればよい。しかし、映像データについてのメタデータは、フレーム毎に、シーン毎に、あるいは変化がある度に、送信することができる。もしもソースコンテンツに関するメタデータが無いならば、いくつかの実施形態において、このようなデータは、ソース映像コンテンツを解析することによって抽出できる。ターゲットメタデータ（１０６）は、ターゲットディスプレイによって供給され、ターゲットディスプレイ特性（例えば、最大輝度、色域など）を表現し得る。

ＩＰＴ−ＰＱ色空間
ある好適な実施形態において、処理パイプライン（１００）は、知覚的量子化ＩＰＴまたはＩＰＴ−ＰＱ色空間と呼ぶことにする色空間において実行する。但し、同様な処理ステップを、線形ＲＧＢ、ガンマＲＧＢ、ＹＣｂＣｒ、ＸＹＺ、ＣＩＥ−Ｌａｂなどの、他の色空間において実行してもよい。本発明者の理解によると、ＩＰＴ−ＰＱ色空間において演算処理を行なえば、ディスプレイマネジメントパイプラインを固定小数点で、かつより低いビット深度において実行することや、トーンマッピングおよび色域マッピングの演算による色のアーチファクトを低減することなどの、数々の利点が提供される。本願にその全文が援用される、Ｆ．ＥｂｎｅｒおよびＭ．Ｄ．Ｆａｉｒｃｈｉｌｄによる「Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｔｅｓｔｉｎｇ ｏｆ ａ ｃｏｌｏｒ ｓｐａｃｅ （ｉｐｔ） ｗｉｔｈ ｉｍｐｒｏｖｅｄ ｈｕｅ ｕｎｉｆｏｒｍｉｔｙ」、Ｐｒｏｃ．６ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ： Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ， Ｓｙｓｔｅｍｓ， ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ＩＳ＆Ｔ， Ｓｃｏｔｔｓｄａｌｅ， Ａｒｉｚｏｎａ、１９９８年１１月、８〜１３ページ（以下、「Ｅｂｎｅｒ論文」と呼ぶ）に記載のＩＰＴは、人間の視覚システムにおける錐体間の色差のモデルである。その意味ではＹＣｂＣｒまたはＣＩＥ−Ｌａｂ色空間のようであるが、いくつかの科学的研究において、これらの空間よりも人間の視覚処理をより良く模擬することが分かっている。ＣＩＥ−Ｌａｂと同様に、ＩＰＴは、何らかの参照輝度に対する正規化された空間である。ある実施形態において、正規化は、ターゲットディスプレイの最大輝度に基づく。

本明細書において、用語「ＰＱ」は知覚的量子化を指す。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を視る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数、および、その刺激を見ている瞬間までに目が適応した輝度レベルに影響される。好適な実施形態において、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。ＰＱマッピング関数の一例は、Ｊ．Ｓ．Ｍｉｌｌｅｒらによる２０１２年１２月０６日出願の「Ｐｅｒｃｅｐｔｕａｌ ｌｕｍｉｎａｎｃｅ ｎｏｎｌｉｎｅａｒｉｔｙ−ｂａｓｅｄ ｉｍａｇｅ ｄａｔａ ｅｘｃｈａｎｇｅ ａｃｒｏｓｓ ｄｉｆｆｅｒｅｎｔ ｄｉｓｐｌａｙ ｃａｐａｂｉｌｉｔｉｅｓ」という表題のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１２／０６８２１２号（以下、「‘２１２出願」と呼ぶ）に記載されており、この出願の開示内容を全て本願に援用する。ある固定刺激サイズに対し、それぞれの輝度レベル（即ち、刺激レベル）について、最高感度の適応レベルおよび最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップを選択する。物理的な陰極線管（ＣＲＴ）装置の応答曲線を表しており、人間の視覚システムの応答の仕方に対して非常に大まかな意味での類似性を偶然有し得る従来のガンマ曲線と比較すると、‘２１２出願において決定されているＰＱ曲線は、比較的シンプルな関数モデルを用いながら人間の視覚システムの真の視覚応答を模擬している。

ＰＱ曲線に基づくＥＯＴＦの一例が、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」において規定されており、この文献の開示内容を全て本願に援用する。知覚的量子化ＥＯＴＦのもう一つの例が、Ｊ．Ｓｔｅｓｓｅｎ他による「Ｃｈｒｏｍａｔｉｃｉｔｙ ｂａｓｅｄ ｃｏｌｏｒ ｓｉｇｎａｌｓ ｆｏｒ ｗｉｄｅ ｃｏｌｏｒ ｇａｍｕｔ ａｎｄ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ」、２０１４年１０月、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ２０１４／Ｍ３５０６５において提示されており、この文献の開示内容を全て本願に援用する。

表１は、表示時点においてデジタルビデオ符号値を絶対線形輝度レベルに変換するための知覚的曲線ＥＯＴＦの計算を示している。絶対線形輝度をデジタル符号値に変換するための逆ＥＯＴＦ（ＯＥＴＦ）の計算も含まれている。
(表１)
例示的な等式定義：
Ｄ＝知覚的曲線デジタル符号値、ＳＤＩ−ｌｅｇａｌ符号無し整数、１０または１２ビット
ｂ＝デジタル信号表現における成分毎のビット数、１０または１２
Ｖ＝正規化された知覚的曲線信号値、０≦Ｖ≦１
Ｙ＝正規化された輝度値、０≦Ｙ≦１
Ｌ＝絶対輝度値、０≦Ｌ≦１０，０００ｃｄ／ｍ²

例示的なＥＯＴＦ復号化等式：

例示的な逆ＥＯＴＦ符号化等式：

例示的な定数：

備考：
１．演算子ＩＮＴは、０〜０．４９９９．．．の範囲の小数部に対しては値０を返し、０．５〜０．９９９９．．．の範囲の小数部に対しては＋１を返す（即ち、０．５以上の小数部は切り上げ）。
２．丸めの問題を回避するために、定数は全て１２ビット有理数の正確な倍数として定義する。
３．Ｒ、ＧまたはＢ信号成分は、上記のＹ信号成分と同じ方法で算出する。

図２は、ある実施形態による色変換ステップ（１１０）の処理例を、より詳細に表わしている。図２に示すように、第１の色形式（例えば、ＹＣｂＣｒ４：２：０またはＲＧＢガンマ４：４：４）で表現された入力ＥＤＲ信号Ｖ_I（１０２）が与えられると、これを、色空間変換ステップ（１１０）において、知覚的に補正されたＩＰＴ色空間（ＩＰＴ−ＰＱ）における信号Ｖ_IL（１１２）へと変換する。この色変換は、以下のステップを含み得る。すなわち、
ａ）ステップ（２１５）において、必要ならば、クロマ（色度）アップサンプリングその他の前処理演算（例えば、範囲（０，１）に納まるように入力をスケーリングする）を実行して、出力（２１７）を生成し得る。
ｂ）入力ＥＤＲ信号（１０２）は、ガンマ符号化またはＰＱ符号化されている可能性があり、そのいずれであるかは、典型的にはソースメタデータ（１０４）を使用して示される（ｓｉｇｎａｌｅｄ）。ステップ（２２０）において、ＥＯＴＦ（メタデータ（１０４）によって提供される）を使用して、ソースディスプレイによる符号化値から輝度への変換を、逆転あるいは元に戻すことができる。例えば、もしも入力信号がガンマ符号化されているならば、本ステップは、逆ガンマ関数を適用する。もしも入力信号がＰＱ符号化（例えば、ＳＭＰＴＥ ＳＴ ２０８４に従って）されているのならば、本ステップは、逆ＰＱ関数を適用する。実際には、３つの予め算出された１−Ｄルックアップテーブル（ＬＵＴ）を用いて、この線形化ステップ（２２０）を実行し得る。
ｃ）ステップ（２２５）において、線形化信号（２２２）をＬＭＳ色空間における信号（２２７）へと変換する。典型的には、本ステップは、ａ）標準的な変換を用いて、入力をＸＹＺ色空間へと変換し、その後に３×３行列を適用してＸＹＺからＬＭＳへと信号を変換することによって、実行される。
ｄ）（ステップ２３０）。Ｅｂｎｅｒ論文によると、従来のＬＭＳからＩＰＴへの色空間変換は、ＬＭＳデータに対し先ず非線形べき関数を適用することと、その後に線形変換行列を適用することとを含む。データをＬＭＳからＩＰＴへと変換し、その後にＰＱ関数を適用してＩＰＴ−ＰＱ領域に置いてもよいのだが、ある好適な実施形態では、ステップ（２３０）において、ＬＭＳからＩＰＴへの非線形符号化用の従来のべき関数を、ＰＱ非線形符号化で代替する。例えば、非線形のＬ、Ｍ、およびＳ値は、等式（ｔ２）におけるＶ信号と同様に算出される。但し、Ｙ信号は、線形のＬ、Ｍ、またはＳ成分値で置き換える。いくつかの実施形態において、ＰＱ符号化の正規化バージョンを用いてもよく、このとき等式（ｔ３）のステップを省略でき、出力ＰＱ値の範囲は０と１の間である。いくつかの実施形態において、別のＰＱ符号化（例えば、Ｓｔｅｓｓｅｎによって提案されたものなど）を適用することも、また可能である。
ｅ）標準的なＬＭＳからＩＰＴへの３×３線形変換を用いて、ステップ（２３５）が、信号（１０２）に対するＩＰＴ−ＰＱ色空間への変換を完成する。

いくつかの実施形態において、完全な色変換パイプライン（例えば、１１０）を、３ＤのＬＵＴを使用して算出し得る。さらに、入力信号が既にＩＰＴ−ＰＱ空間にある実施形態において、入力色空間変換（１１０）は、スキップされ得る。

カラーボリュームマッピング
色変換ステップ（１１０）の後で、信号Ｖ_IL（１１２）の明度（Ｉ_O）およびクロマ（Ｐ／Ｔ）をマッピングして、ターゲットディスプレイの制約内に納める必要がある。図３は、ある実施形態による、カラーボリュームマッピング処理（１１５）の実装例を表している。カラーボリュームマッピング処理（１１５）の最初の部分において、色を暗くする量を、その彩度（ｓａｔｕｒａｔｉｏｎ）と明度の両方に基づいて決定する。ある実施形態において、限定することなく、彩度のメトリックＳは、クロマ成分の２乗和すなわち、

として算出できる。

トーンマッピング関数（３１０）は、入力データＶ_IL（１１２）の明度Ｉ_O（３０２）に非線形マッピングを適用して、トーンマッピングされた明度データＩ_m（３１４）（例えば、Ｉ_m＝ｆ_T（Ｉ_O））を生成する。非線形マッピング変換の一例が、Ａ．Ｂａｌｌｅｓｔａｄ他による「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｉｍａｇｅ ｄａｔａ ｔｒａｎｓｆｏｒｍａｔｉｏｎ」という表題の米国特許第８，５９３，４８０号（以下、「‘４８０特許」と呼ぶ）に記載されており、この特許の開示内容を全て本願に援用する。

‘４８０特許によると、非線形マッピングのための伝達関数の一例は、

と表し得る。但し、Ｃ₁、Ｃ₂およびＣ₃は定数であり、Ｙ_inは、あるカラーチャネルへの入力値（例えばＩ_O）であり、Ｙ_outは、このカラーチャネルへの出力値であり、ＳｌｏｐｅおよびＲｏｌｌｏｆｆはパラメータである。この伝達関数は、パラメータ化されたＳ字形トーン曲線関数の一例である。指数Ｓｌｏｐｅは、ミッドポイント（ｍｉｄｐｏｉｎｔ）における所望のコントラストを規定する。これをソースおよびターゲットディスプレイ間の比率から導出することによって、より暗い画像について、わずかにより高いコントラストを可能とし得る。指数Ｒｏｌｌｏｆｆは、曲線の最高部および最低部において、曲線がどの程度急峻なロールオフであるかを決定する。値が小さいほど、シャープロールオフとなる。パラメータＣ₁、Ｃ₂、およびＣ₃は、３つのアンカーポイントを何処に定めるかに基づいて決定され、これらのアンカーポイントはさらに、リファレンス（またはソース）ディスプレイの輝度特性（典型的には、入力メタデータ（１０４）から抽出される）と、ターゲットディスプレイの輝度特性（典型的には、ターゲットメタデータ（１０６）を介し、ディスプレイマネジメント処理を行なうプロセッサに既知である）と、に基づいて規定される。

トーンマッピングにおけるキー概念は、ミッドポイントの明度およびコントラストに対して可能な限りほとんど変化を加えないことにより、全体的な画像の外観を保存することである。シャドーおよびハイライトは、このとき、ターゲットディスプレイの輝度範囲へと滑らかにマッピングされる。ある実施形態例において、ステップ（３１０）により、等式（２）のトーン曲線パラメータを以下のように算出し得る。すなわち、ＴｍｉｎおよびＴｍａｘは、ＰＱ符号化で表現された、ターゲットディスプレイの最小および最大輝度を表すものとする。また、ＳｍｉｎおよびＳｍａｘは、やはりＰＱ符号化された、ソースディスプレイの最小および最大輝度を表すものとする。このとき、ある実施形態において、Ｓ２Ｔｒａｔｉｏは、

と規定できる。

Ｓ２Ｔｒａｔｉｏが与えられると、ある実施形態において、

である。Ｓｈｉｆｔの値は、マッピング曲線のミッドポイントを、あるいはターゲットディスプレイの性能に適合させるために入力画像を暗くする量を、表している。一般にそうだというわけではないが、ある実施形態において、この値をソースディスプレイのミッドポイントとターゲットディスプレイのミッドポイントとの中間となるように選択することにより、当該画像についての制作意図のうちいくらかを失わないようにする。

ある実施形態において、Ｒｏｌｌｏｆｆ＝１／３という値が主観的に決定されており、広範な画像について良好な画質を提供できる。

等式（２〜４）が与えられると、パラメータＣ₁、Ｃ₂、およびＣ₃は、特定の最小、最大、および中間の制御点を通るようなトーンマッピング曲線を決定する連立方程式を解くことにより、導出できる。

いくつかの実施形態において、例えばより明るい、またはより暗い視聴環境へとマッピングするときに、上記のトーン曲線に対する変更が望まれることがある。これについては、主観的に調整することが可能な２つの追加的なパラメータを介して対処し得る。すなわち、ＣｏｎｔｒａｓｔとＢｒｉｇｈｔｎｅｓｓである。ＣｏｎｔｒａｓｔおよびＢｒｉｇｈｔｎｅｓｓが与えられると、等式（４）における当初のＳｈｉｆｔおよびＳｌｏｐｅパラメータは、

と調整できる。

Ｂｒｉｇｈｔｎｅｓｓ制御は、ターゲットディスプレイのダイナミックレンジ次第ではミッドポイントのみにしか影響を与えないこともあるが、当該画像全体の輝度をグローバルに上げたり下げたりする効果を有する。Ｃｏｎｔｒａｓｔ制御は、ターゲットディスプレイのダイナミックレンジ次第ではシャドーまたはハイライトにおけるコントラストを減少させることもあるが、ミッドポイントの周囲のコントラストを上げたり下げたりする効果を有する。

ＢｒｉｇｈｔｎｅｓｓおよびＣｏｎｔｒａｓｔ制御を変更することにより、２つの目的を達成することが可能である。第１に、これらをエンドディスプレイにおいて調整することにより、異なる視聴環境に対する補償を行なえる。このことは、ＰＬＵＧＥタイプの演算を介して行なわれ、ユーザーは、黒と白とのディテールが画像において主観的に可視となるまで、輝度および／またはコントラストを調整する。これらのパラメータの第２の用途は、ある特定の場面（ｓｈｏｔ）につき、デフォルトのマッピングを微調整するメタデータの一部としてであり、これにより、ある特定の主観的印象が達成される。

上記のＣ₁、Ｃ₂、およびＣ₃パラメータが与えられると、ある実施形態において、マッピングされた明度は、

として、算出し得る。

実際において、トーンマッピングされた画像（３１４）を算出することは、典型的には、ルックアップテーブルを用いて実施する。

図３に表わすように、カラーボリュームマッピング（１１５）は彩度マッピング関数（３２０）を含み、これを使用することにより、明度の変化に基づいてクロマ値（Ｐ／Ｔ）（３０４）を調整する。色の明度を低減させるとき、その彩度をもまた、外観やバランスを維持するように減少させる。ある実施形態において、彩度マッピング（３２０）は、

と表し得る。

トーンマッピング曲線および彩度曲線は、特定のソースディスプレイ性能およびターゲットディスプレイ性能につき、ならびにオプションとして任意のユーザー調整につき、算出される。ひとたび算出し終えると、これらを各画素に個別に適用することにより、ソースカラーボリュームからターゲットカラーボリュームへとマッピングを行なうことが可能である。手順の中核となるのは、まず、トーン曲線を入力明度に適用し、次に、彩度曲線によって各クロマチャネルをスケーリングすることである。同一のスケーリング係数を両クロマチャネルに適用することにより、色相を保存する（色相はＩＰＴにおいてＰとＴとの間の角度として規定される）。従って、ある実施形態において、

となる。

このことは一般に、ターゲットディスプレイのカラーボリュームに最終的に納まる色については、良好な結果を生む。しかし、ターゲットディスプレイは明るい飽和色を生成し得ないこともあるという事実には対処していない。この場合、本発明者の理解によると、何らかのさらなるクロマ調整が必要となり得る。

カラーボリュームマッピングの後で、ターゲットディスプレイのカラーボリュームの外側に取り残される任意の色は、ＲＧＢ空間においてクリッピングされることになり、これによってアーチファクトが発生し得る。外側に取り残される色を低減するために、ある実施形態において、色をターゲットディスプレイのカラーボリューム中へとさらにマッピングする２つの手段が提供される。第１の手段は、明るい飽和色を暗くすることであり、第２の手段は、飽和度が高い色の飽和度を下げることである。このとき、等式（９）のカラーボリュームマッピング手順は、以下に示すように変更できる。すなわち、

であって、但し、αおよびβは重みであり、典型的にはメタデータを介して受信される。

等式（１０）において、まず、画素彩度Ｓを算出し、適応的色域マッピングのためのマスクとして使用する。これにより、飽和度の高い色は最も大きく影響を受けつつも無彩に近い色は影響を受けないことになる。色の明度は、その彩度と明度の両方に従って、ある量αによって調整される。同様に、彩度は、彩度および別の量βに従って調整される。これらの２方向間の重みを指定することにより、カラーボリュームマッピング方針を制御して、出力画像において色の精度を改善し、かつ色のアーチファクトを低減することが可能である。最大の調整は、明るい飽和色に対して適用される。ある実施形態において、これらの重みの典型的な値は、５から１５までの範囲に亘る。ある実施形態において、等式（１０）はまた、（１−Ｓ＊α）および（１−Ｓ＊ｂ）の値がマイナスにもゼロにも決してならないように、クリッピング演算を含んでもよい。

もう一つの実施形態において、等式（１０）は、

と一般化できる。但し、ｆ_TS（Ｓ）およびｆ_SS（Ｓ）は、非常に一般的な、Ｓの線形または非線形関数を表す。例えば、ｆ_TS（Ｓ）＝（１−Ｓ＊α）かつｆ_SS（Ｓ）＝（１−Ｓ＊β）のとき、等式（１０ａ）は等式（１０）になる。等式（１０ａ）もまた、今度は、ジョイントマッピング（ｊｏｉｎｔ−ｍａｐｐｉｎｇ）関数の観点から、

として、さらに一般化し得る。（１０ｂ）の一般化アプローチに対する等式（１０）および（１０ａ）の利点は、分離可能な等式としてマッピングが表現されていることであって、これにより、処理要件が単純になる。

ディテールの保存
等式（４）のトーンマッピング作用素（ｏｐｅｒａｔｏｒ）は、画像またはフレームの全体に同一の等式を適用するので、典型的には、グローバルトーンマッピング作用素と呼ばれる。ある実施形態において、グローバルトーンマッピングの後には、ディテール保存作用素（１２５）が続くことができ、ローカルなコントラストを改善する。このステップはまた、トーンマッピング演算のせいで失われた、明度チャネルにおける高周波数のディテールを復元する。このようなローカルトーンマッピング作用素の例が、‘４８０特許および‘３０４出願に記載されている。図４は、ある実施形態による、ディテール保存のもう一つの例を表す。入力Ｉ_o（３０２）およびＩ_m（３１４）、ならびにソースメタデータ（１０４）が与えられると、処理（１２５）において、フィルタリングされた明度の画像Ｉ_mf（１２７）を、以下のステップに従って生成する。

Ｗ_MSEおよびＷ_MSは、調整可能な重み（例えば、Ｗ_MS＝１，Ｗ_MSE＝４）を表すものとする。これらはソースメタデータから抽出し得る。これらの重みによって、適用されるべきディテール保存の量を制御する。図４に表わすように、

と定める。但し、Ｆ（Ｄ，Ｈ）は、画像Ｄに、カーネルＨを有するフィルタを適用することを表す。ある実施形態例において、Ｈは、分離可能なσ＝２の５×１１ガウシアンフィルタを含む。しかし、別のフィルタを適用してもよい。

フィルタＨｘおよびＨｙは、１−Ｄのエッジ検出フィルタである。ある実施形態において、ＨｘおよびＨｙのフィルタカーネルは、それぞれ、［−１ ０ １］および［−１ ０ １］^Tに対応する。ゆえに、

となる。いくつかの実施形態において、また、クランプ関数（４２０）をＥに適用して、その値が必ず０と１の間の範囲に納まることを保証してもよい。例えば、

となる。すると、

となる。

出力色変換
図５は、マッピングされたＥＤＲ信号Ｖ_M（Ｉ_m，Ｐ_m，Ｔ_mまたはＩ_mf，Ｐ_m，Ｔ_m成分を含む）を、知覚的量子化色空間（例えば、ＩＰＴ−ＰＱ）から所望の色空間（例えば、ＲＧＢまたはＹＣｂＣｒ）へと変換し戻す色変換処理（１３５）の一例を表している。本処理は、入力色変換器（１１０）における処理ステップを反映しており、今度は逆順で実行される。図５に表わすように、色変換は、以下のステップを含み得る。すなわち、
ａ）ステップ（５０５）：３×３のＩＰＴからＬＭＳへの変換を使用して、マッピング信号Ｖ_Mを、ＩＰＴ−ＰＱ空間からＬＭＳ−ＰＱ空間へと変換する。
ｂ）ステップ（５１０）：ＬＭＳ−ＰＱ信号（５０７）を、ＬＭＳ−ＰＱ空間からＬＭＳ空間へと変換する。本ステップは、表１の等式を使用して算出される。ある実施形態において、本ステップは、３つの１−ＤのＬＵＴを使用して実行できる。
ｃ）ステップ（５１５）：ＬＭＳ信号（５１２）を、ターゲットディスプレイ色（例えば、ＲＧＢ）（５１７）へと変換する。典型的には、ターゲットディスプレイの特性（ｐｒｏｆｉｌｅ）に基づき、３×３行列を使用して実行される。
ｄ）ステップ（５２０）：信号（５１７）にディスプレイのＥＯＴＦ（例えば、ガンマまたはＰＱ符号化）を適用して、出力信号（５２２）を生成する。
ｅ）ステップ（５２５）：必要ならば、追加的な後処理（例えば、色変換および色サブサンプリング）を適用する。

本ステップは、純粋に測色学的（ｃｏｌｏｒｉｍｅｔｒｉｃ）である。すなわち、諸パラメータは、測定または既知のディスプレイ仕様から導出され、チューニングも主観的補正も、典型的には全く不要である。段（５２０）の後で、ターゲットディスプレイ性能の外側に、値がいくつか残っていることがある。この場合、推奨される習慣としては、ディスプレイ性能に合わせてクリッピングを行なう。但し、カラーボリュームマッピングの重み（例えば、αおよびβ）を調整することにより、所望の出力を達成しようと試みることもまた可能である。

発明者の理解によると、提案されたディスプレイマネジメントパイプライン（１００）において、先行するソリューションに勝る、以下を含む数々の別個の利点が提供される。
・適応的なトーンマッピング
・適応的な色域マッピング
・調整可能なクロマ関連の重みによる、より優れた出力色精度
・演算的により単純な、しかし改良された、ディテール保存
・ターゲットディスプレイの視聴環境（周囲光特性や視聴者の嗜好など）に基づいた、適応的調整（例えば、輝度およびコントラストについての）

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のエンハンストダイナミックレンジを備える画像のディスプレイマネジメントおよび表示に関する命令を実施し、制御し、または実行し得る。コンピュータおよび／またはＩＣは、本明細書に記載のディスプレイマネジメントプロセスに関係する様々なパラメータや値の内のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＥＤＲ画像のディスプレイマネジメントに関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットのコンピュータ可読信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、別途示唆のない限り、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
ＥＤＲ画像の効率的なディスプレイマネジメントに関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

Claims (17)

1. 以下の工程を包含する方法：
   第１のダイナミックレンジを備えた第１の色空間における入力画像にアクセスする工程と、
   前記入力画像に色変換ステップを適用して、知覚的量子化ＩＰＴ（ＩＰＴ−ＰＱ）色空間における第１の出力画像を決定する工程であって、前記第１の出力画像は、明度画素値およびクロマ成分画素値を有しており、前記色変換ステップは、前記入力画像の関数に非線形な知覚的量子化器関数を適用する工程を含む、工程と、
   前記第１の出力画像にカラーボリュームマッピング関数を適用して、トーンマッピングされた出力画像を生成する工程であって、前記トーンマッピングされた出力画像は、明度画素値およびクロマ成分画素値を有しており、
   前記カラーボリュームマッピング関数は、トーンマッピング関数、彩度マッピング関数、および画素彩度推測関数を含み、
   前記トーンマッピング関数は、前記第１の出力画像の前記明度画素値に非線形マッピングを適用することにより、前記トーンマッピングされた出力画像の前記明度画素値を生成し、
   前記彩度マッピング関数は、明度の変化に基づいて前記第１の出力画像の前記クロマ成分画素値を調整することにより、前記トーンマッピングされた出力画像の前記クロマ成分画素値を生成し、
   前記画素彩度推測関数は、前記第１の出力画像の前記クロマ成分画素値の２乗和として彩度メトリック（Ｓ）を算出し、前記彩度メトリックは、前記トーンマッピングされた出力画像に適用されて、明るい飽和色を暗くし、かつ、飽和度が高い色の飽和度を下げ、これにより、前記明度画素値および前記クロマ成分画素値を変更する、工程と
   前記トーンマッピングされた出力画像の前記変更された明度画素値にディテール保存関数を適用して、トーンマッピングされフィルタリングされた出力画像の明度画素値を生成する工程であって、前記トーンマッピングされフィルタリングされた出力画像は、前記トーンマッピングされた出力画像の前記変更されたクロマ成分画素値を有する、工程。
2. 前記色変換ステップを適用する工程はさらに、
   前記入力画像から非線形符号化を除去して、線形画像を生成する工程と、
   前記線形画像をＬＭＳ色画像に変換する工程と、
   前記ＬＭＳ色画像に前記非線形な知覚的量子化器（ＰＱ）関数を適用して、前記第１の出力画像を生成する工程と、
   を含む、請求項１に記載の方法。
3. 前記非線形な知覚的量子化器関数は、ＳＭＰＴＥ ＳＴ ２０８４のマッピング関数を含む、請求項２に記載の方法。
4. 前記トーンマッピング関数は、パラメータ化されたＳ字形トーン曲線関数として表現され、前記関数のパラメータは、ソースディスプレイおよびターゲットディスプレイの特性に基づいて決定される、請求項１〜３のいずれかに記載の方法。
5. 前記ソースディスプレイの前記特性は、前記ソースディスプレイの最小輝度値および最大輝度値を含む、請求項４に記載の方法。
6. 前記ターゲットディスプレイの前記特性は、前記ターゲットディスプレイの最小輝度値および最大輝度値を含む、請求項４または請求項５に記載の方法。
7. 前記ソースディスプレイの前記特性は、受信されたソースディスプレイメタデータを介してアクセスされる、請求項４〜６のいずれかに記載の方法。
8. 前記Ｓ字形トーン曲線関数は、
   

   

   と表され、ここで、Ｃ_１，Ｃ_２，Ｃ_３，Ｓｌｏｐｅ，およびＲｏｌｌｏｆｆは、前記トーンマッピング関数の前記パラメータを規定する定数であり、前記第１の出力画像の明度画素値によって表される入力Ｉ_ｏに対し、Ｉ_ｍは、前記トーンマッピングされた出力画像の対応明度画素値によって表される対応出力値である、請求項４〜７のいずれかに記載の方法。
9. 前記トーンマッピング関数のパラメータはさらに、前記トーンマッピングされた出力画像の全体的な輝度とコントラストとを調整するように、Ｂｒｉｇｈｔｎｅｓｓ値とＣｏｎｔｒａｓｔ値とに基づいて決定される、請求項４〜８のいずれかに記載の方法。
10. 前記彩度マッピング関数は、
    

    

    と表され、ここで、Ｉ_ｍは前記トーンマッピング関数の出力を表しており、Ｉ_ｏは前記第１の出力画像の前記明度画素値を表し、
    前記カラーボリュームマッピング関数を適用する工程は、
    

    

    を算出する工程を含み、ここで、Ｓは、前記画素彩度推測関数により生成された前記彩度メトリックを表しており、αおよびβは入力の重みを表し、ｆ_Ｔ（Ｉ_ｏ）は前記トーンマッピング関数を表し、ｆ_ＳＭ（Ｉ_ｏ）は前記彩度マッピング関数を表し、Ｉ_ｏは、前記第１の出力画像の前記明度画素値を表し、ＰおよびＴは、前記第１の出力画像の前記クロマ成分画素値を表し、Ｉ_ｍは、前記トーンマッピングされた出力画像の前記明度画素値を表し、Ｐ_ｍおよびＴ_ｍは、前記トーンマッピングされた出力画像の前記クロマ成分画素値を表す、請求項１〜９のいずれかに記載の方法。
11. 前記（１−Ｓ＊α）および（１−Ｓ＊β）の値は、ゼロより常に大きくなるようにクランプされる、請求項１０に記載の方法。
12. 前記ディテール保存関数を適用する工程は、
    

    

    を算出する工程をさらに含み、ここで、Ｆ（Ｄ，Ｈ）は、カーネルＨを有するフィルタを画像Ｄに適用することを表しており、Ｉ_ｏは、前記第１の出力画像の明度画素値を表し、
    Ｉ_ｍは、前記トーンマッピングされた出力画像の前記明度画素値を表し、Ｉ_ｍｆは、前記トーンマッピングされフィルタリングされた出力画像の前記明度画素値を表し、Ｂはブラーフィルタの出力を表し、Ｅｘは水平エッジ検出フィルタの出力を表し、Ｅｙは鉛直エッジ検出フィルタの出力を表し、Ｗ_ＭＳＥおよびＷ_ＭＳは重みである、請求項１〜１１のいずれかに記載の方法。
13. 前記出力Ｅｘ、前記出力Ｅｙ、前記重みＷ _ＭＳＥ および前記重みＷ _ＭＳ で表される前記Ｅの出力値はさらに、０と１の間に納まるようにクランプされる、請求項１２に記載の方法。
14. 前記カーネルＨは、２に等しい標準偏差による５×１１ガウシアンフィルタを含む、請求項１２または請求項１３に記載の方法。
15. 前記カーネルＨはローパスフィルタを含む、請求項１２〜１４のいずれかに記載の方法。
16. プロセッサを含んでおり、かつ請求項１〜１５に記載の方法のいずれかを実行するように構成された装置。
17. 請求項１〜１５のいずれかによる方法を実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。

Images