JP6009539B2 - Ｈｄｒ画像を符号化及び復号化するための装置及び方法 - Google Patents

Description

本発明は、とりわけＨＤＲシーンの改善された画像の符号化を得るための装置、方法、及びデータ記憶製品又は符号化信号などの結果として生じる製品に関する。

最近（捕捉シーン又はコンピュータグラフィックスの）画像／映像の符号化に関して新たな進歩が生じており、即ち、例えば屋外の日当たりの良い環境や強い人工光の近くで生じ得る２５０００ニットのような大きい輝度値、更に多くの場合、０．０１ニットのような低値まで、自然の中で生じる物体の輝度及び色の全範囲をより良く捕捉することが望ましく、これはＨＤＲ（high dynamic range:高ダイナミックレンジ）符号化と呼ばれる。コンテンツ作成側、例えばカメラ（携帯電話のカメラなどのモバイル機器のカメラでさえ、とりわけあらゆる種類の環境内で自由に且つ非常に単純化して使用される場合に捕捉画像が後で、どのレンダリングシステム上でレンダリングされるかに関係なく、及びどのレンダリングシステム上でレンダリングされるかから切り離して、実際のシーンをより良く捕捉することを求める）、又はレンダリング側のコンピュータゲーム若しくは特殊効果の人工的なコンピュータ色空間の両方で前進がある。今後、ますます高いピーク輝度のディスプレイが登場し、かかるディスプレイはそれ自体ではＨＤＲレンダリングチェーンに必要なことを規定しないが、ＨＤＲレンダリングチェーンの導入を促進する。現時点での典型的なＨＤＲディスプレイはＬＥＤバックライトＬＣＤだが、例えば彩度の条件を緩めた場合、例えばＯＬＥＤの背後にモノクロバックライトを置く場合もある（漏れる光がＲＧＢＷレンダリングを作り出す）。幾つかの理由から、少なくとも将来数年にわたり何らかの形の後方互換性が求められる可能性があり、つまり例えばアップグレードされた映像処理ボックスがより低いダイナミックレンジのディスプレイにＬＤＲ信号を与えることができるように、所謂低ダイナミックレンジ（ＬＤＲ:low dynamic range）符号化のデータが入手可能であり又は少なくとも容易に特定できる必要がある。更に、本文でも示すように、良好なＬＤＲ表現を入手できるようにすることは、長期的にも有用であり得ることが分かる。本発明者は、ＬＤＲ符号化を有する１つの論理的根拠が、たとえますます高まるダイナミックレンジの（ハイエンド）ディスプレイが登場しても、同様にかなりの低ダイナミックレンジのディスプレイの区分（例えば外部環境における携帯機器、プロジェクション等）があることだと認識した。実際に、幾つかの可能な画像化又はレンダリングのシナリオについて、ちょうどピクチャを異なる解像度のディスプレイ上に表示するために幾何学的に拡大縮小するように、画像信号内に捕捉されるグレイ値を自動で再決定する必要があり得る。

ＨＤＲ捕捉チェーンは、単に最も暗い物体と最も明るい物体との間の大きい輝度コントラスト比を有するシーンにカメラを向け、そこにあるものを線形に記録する（例えば一般に部分的に（ほぼ）線形なＣＣＤなどの捕捉ＩＣ）以上の代物である。ＨＤＲ画像技術は、全ての物体の中間グレイ値が厳密に何であるのかに関係し、それは中間グレイ値が例えば映画の雰囲気を伝えるからである（シーン内の物体の一部を前に暗くすることで暗い雰囲気を伝えることができる）。そしてこれは複雑な心理作用である。シーンの輝度がシーンの物体の残りの輝度に対してそうであったように、例えば明るい光が、レンダリングされる残りのグレイ値に対する比率でディスプレイ上に厳密にレンダリングされるかどうかは心理的にそれ程重要でないと想像することができる。むしろ、画素が「幾らかの」高ディスプレイ出力輝度でレンダリングされる場合、それが残りのピクチャよりも十分高い限り、人は実際のランプの忠実な印象を受ける。幾らかの「ランプライト」のホワイトレベルがあり得るが、それらが十分に離れ離れになり次第、それらの厳密なコードレベル又は最終的にディスプレイにレンダリングされる出力輝度は気に掛けなくても良い場合がしばしばある。（シーンの様々な照明領域における）自己発光体と反射物体との間のグレイ値の割り当ても、ディスプレイの色域及び典型的な鑑賞状況に応じた極めて重要な作業である。更に、より暗い領域の符号化は、様々な平均周辺照明水準など、好ましくはそれらが異なるレンダリングシナリオで容易に使用され得るように行われる（即ちそれらが局所的に明るくされても良い）ことを想像することができる。一般にこれは困難な心理的作業であるため、表現者はカラーグレーディングと呼ばれる最適な画像を作成することに関与する。とりわけ、表現者が個別のＬＤＲグレーディングを作成する場合、たとえそれが「純粋なＨＤＲ符号化戦略」で行われても非常に便利である。言い換えれば、単一のＨＤＲカメラのＲＡＷ信号を符号化するシナリオではＬＤＲ画像も生成し、それは必ずしも映像消費市場の大きなＬＤＲの部分に使用するためではなく、それがシーンに関する重要な情報を伝えるからである。つまり、シーン内には常により重要な領域及び物体があり、それらを（自動露出アルゴリズムの美術的な対応物として概念的に見做すことができる）ＬＤＲ下部構造内に置くことにより、特定のレンダリング特性及び鑑賞特性を有するディスプレイを駆動するのに適した中間的表現（ＭＤＲ:intermediate range representations）へのあらゆる種類の変換をより行い易くする。とりわけこのＬＤＲ部分は、例えば標準的な参照ＬＤＲディスプレイ上で良い品質でレンダリングする、又は全捕捉情報の一定割合を伝える等の幾つかの基準に従って調整しても良い。

ＨＤＲ信号を符号化する方法はそれ程多くない。通常、従来技術では単にＨＤＲ信号をネイティブに符号化し、即ち画素を例えば１６ビットワードに（線形に）マップし、捕捉される最大輝度値はＬＤＲ符号化と同様の原理でＨＤＲホワイトである（視覚心理的にこれはシーン内の反射ホワイトでは通常なく、ランプの明るい色である）。典型的にはガンマ関数又は類似物である何らかの「最適な」ルーマ変換関数により、フルレンジのＨＤＲ信号を８ビットのＬＤＲ範囲にマップすることもできる。このマッピングは、とりわけ受信側で局所的に明るくすることなどの画像処理が予期できる場合、対応するレンダリング品質の問題とともに色精度を失うことを伴い得るが、画像の物体の最も有力なグレイ値のグレーディング（即ち画像の物体の相対的／パーセンテージ的なルーマ関係）はおおよそ保たれる。

従来の技術は、典型的には一種のスケーラブルコード化の概念に基づく、ＨＤＲのための２つのピクチャデータセットを用いる幾つかのＨＤＲ符号化技法も教示しており、幾らかの予測により、「ＬＤＲ」符号化局所的テクスチャの精度が洗練され又はより正確に示され、典型的にはＬＤＲ輝度をスケールすることによりそのテクスチャのＨＤＲバージョンに投影される（それらの技術におけるＬＤＲは通常は見た目の良いＬＤＲグレードではなく、典型的にはＨＤＲ入力に対する単純な処理である）。次いで、予測に対する元のＨＤＲ画像の差が、エンハンスピクチャとして所望の程度まで共同符号化される。例えば、１１６８のＨＤＲグレイ値は８による除算により値１４６で表すことができる。このＨＤＲ値は再度８を掛けることによって再現できるが、値１１６９も同じベースレイヤ値１４６に量子化されるので、高品質のＨＤＲ信号を再現するには１に等しいエンハンス値が必要になる。そのような技術の一例が、欧州特許第２００９９２１号［Liu Shanら、三菱電機：（スケーリング及びオフセットによる）逆トーンマッピングの方法］の中で説明されている。これらの符復号化の理論上、（標準的なマルチプライヤのよりスマートな等価物である）逆トーンマッピング予測モデルは、軽微な訂正が施される適度に厳密なＨＤＲの見た目を既に与えるのに十分正確である（実際に、非線形関数を使うことにより一連の可能な値を別の範囲に投影する場合、精度の問題は別にして、元の範囲値は回復可能であるべきである）。

参照によりその全ての教示を本明細書に援用する、現在まだ公開されていない米国仮特許出願第６１／５５７４６１号の中で別の２ピクチャ符号化が説明されている。

そのシステムはＬＤＲ及びＨＤＲ画像でも機能し、本発明にとっても有用である幾らかの同様の認識を有し、即ち例えばＨＤＲ信号内で主として重要であるＬＤＲ副領域を常に見つけることができ、そのＬＤＲをＬＤＲレンダリング（例えば専用のＬＤＲグレード）に実際に使用可能な信号にすることが興味深い場合があるという認識を有する。ＨＤＲ情報は、典型的には輝度軸上で非線形に分離する（即ち例えばシーン内のホワイトよりもはるかに高い輝度を有するランプ）だけでなく、異なる意味も有する。しばしば、例えばＨＤＲ効果について論じられることがあり、即ち必ずしもシーンの主たるコンテンツ、即ちそのＬＤＲ部分のように物体のテクスチャを厳密にコード化する必要はなく、それがどのＨＤＲ領域／効果なのかに応じて精度を落とすことや全てそのままにすることなど、様々な基準でそれを符号化することができる。そうすることにより、しばしばシーンのＨＤＲ部分のために多くのビット配分が節約され得ることになる。更に、そのようなＬＤＲ＋ＨＤＲ効果部分の２ピクチャ形式（LDR+HDR effects part two-picture format）の符号化には、どちらも非常に容易に分離され得るという利点がある。ＬＤＲしか必要としないレガシシステム又はより低機能のシステムは、残りを無視してＬＤＲを直接抽出することができる。しかし、別々にコード化されたピクチャとしてＨＤＲも有することは、例えば輝度が変換されたＬＤＲ部分上にスケールされたＨＤＲ効果を加えることにより、実際のレンダリングディスプレイの実際の色域の能力に応じて調整された方法でそれらを適用することを非常に容易にする。

しかし、例えば３Ｄコード化に通常使用可能な構造を再利用することにより、二重ピクチャ符号化用に既に構成されているシステムではその形式が完璧に機能するのに対し、本発明者らは、単一ピクチャコード化プレースホルダしか利用できない場合にも同様の機能を望む。例えばビデオオンデマンドの分野が成長するにつれ、それらのシステムの少なくとも一部は単一のピクチャ信号内に全てが符号化されるのを好むと想像することができる。

更に、２つのピクチャを１つにコード化するのは奇妙に思えるにもかかわらず、そのような最適なＨＤＲ内ＬＤＲフレームワークを単一ピクチャ内に符号化する利益を依然として有することが、本実施形態の少なくとも一部の目的である。上記の他の方法の種類は、（プレースホルダとして）データの一部を数学的／技術的にＬＤＲピクチャ形式に強制するが、（共同）符号化される実のＬＤＲ画像、即ちＬＤＲの見た目を得るために注意深くグレーディングされている（少なくとも選択されており、多くの場合更にカラーグレーディング変換されている）のでＬＤＲ視聴システム上で優れて見える画像を有さないことに留意されたい（むしろ、正しい物体のジオメトリを有するが、直接レンダリングされる場合に著しく変更された物体テクスチャグレイ値、例えば間違ったコントラスト又は平均輝度を示す「ＬＤＲ」ピクチャを有し得る）。

ＨＤＲ画像の単純且つ容易に使用可能な符号化が、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）を符号化するように構成される画像符号化ユニット（３０１）に関する原理に従う本明細書に示す実施形態の概念によって実現されても良く、画像符号化ユニット（３０１）は、
−高ダイナミックレンジ画像の範囲に含まれる全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）又は対応するルーマコード値の範囲（Ｒ＿ＬＤＲ）を識別するためのＬＤＲセレクタ（３１１）と、
−全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）の範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）を選択するためのＨＤＲセレクタと、
−少なくともＮビットコードワードを含むルーマ成分を有する第１の画像（Ｉｍ＿１^＊）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）に含まれる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画素輝度を第１のマッピング（ＣＭＡＰ＿Ｌ）によるコード値（Ｙ＿ｏｕｔ）に符号化し、少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）に含まれる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画素輝度を第２のマッピング（ＣＭＡＰ＿Ｈ）によるコード値（Ｙ＿ｏｕｔ）に符号化するように構成されるコードマッピングユニット（３１５）であって、第１のマッピング及び第２のマッピングは第１の画像のルーマコード値の範囲（ＲｃＴｏｔ＿Ｉｍ１）の離れた部分範囲にマップする、コードマッピングユニット（３１５）と
を含む。

時として、（例えば典型的なＬＤＲディスプレイ上で画像のより暗い部分内の依然として十分な詳細を表示する）最適なＬＤＲ信号を作成することは、典型的にはカラーグレーダと呼ばれる人間の表現者（又は例えばそこから様々なコントラスト測度が導き出される部分的なヒストグラムの特性など、画像の様々な特性を解析するスマートアルゴリズム）によって行われる、画素輝度の幾らかの再マッピングを伴う場合がある。しかし多くの場合、優れたＬＤＲの改変形態が、より大きい輝度のＨＤＲ範囲のピクチャ内から回復され得る。すると、最良のＬＤＲピクチャを選択することだけが必要だが、それは通常困難な作業である場合があり、そのため人間の表現者による介入が必要とされ得る。表現者は、適当にコード化され、従って標準的なＬＤＲディスプレイ上で上手くレンダリングされるべき、関心のある物体の画素輝度の部分範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲを選択することができる。簡潔にするために、例えばＬＤＲ範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ内の元の輝度をＬＤＲディスプレイに完全に又は適度にレンダリングさせるのに必要な任意のハードウェア較正変換を適用することにより、ＬＤＲコード化が、多かれ少なかれＬＤＲディスプレイ用の駆動信号として直接機能し得ると仮定する。しかし、理論的にＬＤＲは必ずしもディスプレイがレンダリングする輝度の直接のコード化である必要はなく、捕捉シーン内の或る輝度の任意の単独の表現であり得るので、当然ながらより複雑な関係が含まれても良い。しかし、ＬＤＲ信号が非常に調整されているので、良質のＬＤＲ信号がそこから（容易に）得られる（例えば目に見える或る部分がクリップされ、その結果たとえディスプレイが高度な画像処理機能を有しても見た目の良い領域に二度と変換できないのではない）と依然として仮定する。後で反転され得る例えば単純な線形コントラスト圧縮が使用されても良いが、その自動再フォーマットは、局所領域の復色等を使用する場合がある全ての又は一部の画素グレイ値の実際のグレーディング程まだ複雑ではない。選択は、典型的には（非常に）低品質の方法でコード化されている場合がある領域を選択することも含み、例えば一定の輝度を下回る全ての領域はどのみちＬＤＲ視聴システム（例えば光漏れ及び／又は屋外視聴状況での高輝度反射などの悪い視聴状況を理由に低コントラストのディスプレイを備えるシステム）上では非常に良くは表示されないので、それらの領域をゼロにクリップしても良い。これらの領域は（カプセル化された）ＬＤＲ符号化から単純に除外されても良く、よって何らかの方法でＨＤＲ部分内に符号化される。典型的には、その結果例えば光源（又はことによると屋外の日当たりの良い環境の或る部分）を含む少なくとも１つの補完的範囲があることになり、グレーダはそれらをどのように表現するのかを一般に決定する。即ちグレーダは、光源にはそれ程多くのグレイ値は必要ないが、少なくとも一部のＨＤＲディスプレイは光源の内部構造をレンダリングしたい場合があるので、依然として複数のグレイ値が必要だと考え得る。グレーダは、これらの色のマッピングＣＭＡＰ＿Ｈを設計する際に慨してこれらの考えを用いることができる。通常、ソフトウェアは大部分が自動であり、グレーダが最小限の労力で対話することを可能にする。例えばグレーダは、ランプをおおよそ囲むために楕円を使用することができ、ピクチャ内の残りの物体を符号化するのに必要なデータ量に応じて、ソフトウェアは（対応するＣＭＡＰ＿Ｈを設計することにより）例えば最も高い２つのコード値をそのランプに自動で割り当てることができる。しかしこれらのコード値は、グレーダが自らのＨＤＲ標準モニタ上で見る内部の十分な詳細を伝えない可能性がある。グレーダは、例えばその領域の平均明度を下げて更に明るいＨＤＲディスプレイ上でどのように物が見え得るのかを大まかにエミュレートすることにより、更なる状況を確認することもできる。グレーダが、光源（平均的視聴者がその構成を検討するために一般に長い間吟味しなくても良いものであり、むしろ話についていくとき視聴者は役者やニュースキャスタ等の顔を見る）だけの物体にこの表現が十分だと考える場合、グレーダはマッピングＣＭＡＰ＿Ｈの少なくともその部分を承認する。さもなければグレーダは、更なる対話により、例えばその領域を十分正確に表現するために出力画像Ｉｍ＿１^＊内に５つのルーマコード値Ｙ＿ｏｕｔが必要だと指定することができる。多くの場合、そのようなコード化の正確な局所的微調整を下回るものが必要とされ、実際には例えばガンマ関数などの関数が入手可能な画像物体画素をサンプリングする（即ち多かれ少なかれ正確に表現する）ために使用されても良い（少なくとも入力ピクチャの総範囲の或る区間を標準区間［０，１］にマッピングし、所望の任意の非線形割当関数に従ってその中に幾つかのデジタル輝度サンプリング点を入れることとして各変換を表すことができる）。

同様に、ＬＤＲ副選択ＣＭＡＰ＿Ｌに適したマッピングを選択することにより多くのことを行えるが、ガンマ２．２関数などの既存の技法に従ってその部分を表しても良く、それ以降はどの特定のマッピング（コード定義）が使われたのかに関する追加情報が転送される必要はなく、よってこれを確認し更新しないレガシシステムは、単にそのまま符号化を使用することができる。しかし、符号化を出力画像内に規定するマッピング（ＣＭＡＰ＿Ｌ、ＣＭＡＰ＿Ｈ）は別にして、トーンマッピングなどの更なるカラーマッピング変換（ＴＲＦ＿ＬＤＲ、ＴＲＦ＿ＨＤＲ）は、更なるグレイ値効果を作り出す（例えば既に高品質のグレード済みＨＤＲ入力画像の代わりに、カメラのＲＡＷ捕捉が入力されても良く、その場合グレーダは符号化するのと同時にグレーディングを行う）。こうすることは、（例えばコード化可能な様々な値の間でＪＮＤなどの視覚的原理に従ってコードを割り当てる）圧縮効率などの技術的理由から純粋に行われるグレイ値の修正と、例えば雷雨の雲をより不穏に見せる芸術上の修正との間のより容易な分離を可能にする。補完的範囲はＲ＿Ｎｏｒｍｌ＿ＬＤＲの範囲にまだ含まれていない大部分の又は全ての画素ルーマを通常含むが、幾らかの重複があっても良いことに留意されたい。例えばグレーダは、とりわけマッピングＣＭＡＰ＿Ｌが（疑似）線形マッピングではないが、自身が特定のソフトクリップグレーディング戦略を設計する場合、ＬＤＲ表現内に一部の明るい（ＨＤＲ）輝度を含めることに決めても良い。こうすることは、例えば（我々がＬＤＲで慣れているだけでなく、しばしばより高いダイナミックレンジのための優れたマッピング戦略でもある）薄暗い日当たりの良い屋外風景をもたらす場合があり、但しこれは高品質のＨＤＲレンダリングに使用可能であるために十分正確に表現されることからは程遠い。補完的範囲についてのＨＤＲ部分の符号化は、これらの値の少なくとも一部を再びより正確に再コード化する（例えば光源に使用可能なコードの量を減らす一方で、日なたの反射物に更に多くの値を割り当てる）ことができる。これは通常の単一ピクチャ符号化に対して反直感的であり、（コードと捕捉シーンの輝度との間の関係を定める単純なトーンマッピング変換関数でさえ）連続的ではないにせよ確実に非単調でない単純なコード化が規定される。しかし本実施形態では、それを容易に実行できるだけでなく、自由度が高まることはディスプレイ及び視聴環境の実際の物理的特性に合わせるための再グレーディングなど（例えばＩＴＵ−Ｒ．６０１又は７０９などの厳密に定義された単一チェーン終端間ディスプレイに関連するコード化には無い特性である同調性要件と呼ぶ）、符号化データの有利で単純な用途を提供する。有利には、ピクチャの符号化は、ルーマサンプル用の１０ビットコードワードなどの既にある技術を使用しても良いが、当然ながら本発明は他の値を扱うこともできる。本文及び特許請求の範囲を簡単にしておくために、特定の実現が輝度を対象にするのか、ルーマを対象にするのかについて常に深く掘り下げてはおらず、それは変換定義を知る場合これらが互いに容易に変換され得るからであることに留意されたい。そのため、例えば或る範囲が輝度表現内で選択されると述べる場合、（例えばＹＵＶ符号化が、実際のシーンの輝度の線形ＸＹＺなどの元のシーン表現又はカメラによって捕捉される画像など、その任意の近似に再変換された場合など）その範囲は対応するルーマ（Ｙ）表現内又はどんな相関物内でも選択され得る。また、あたかもユニバーサルリンクカラースペースに向けた中間ステップとともに概念的に説明されることがある変換は、実際の実現では（非線形カラースペースでのようにたとえ近似でも）全ステップを組み合わせる１つの操作として直ちに実現されても良い。当業者ならこれを理解するのに困難を感じることはなく、同様にあたかも画素が自然色表現を有したかのように本発明者らが何かを非常に単純化して説明する場合、当業者なら実際はＭＰＥＧ規格又は同様の圧縮画像若しくは映像の符号化におけるＤＣＴ変換など、更なるサブステップが含まれている場合があることを理解する。

単純な変形実施形態も等価物として特許請求の範囲に含まれることが理解される。ＹＣｒＣｂなどのルーマベースのカラースペース内で符号化する代わりに、等価のカラースペース内のＬＤＲ及びＨＤＲ部分範囲内で同様の分割を当然行うことができる。例えば、３つの等しくない又は等しい領域を例えばＲ’Ｇ’Ｂ’カラースペース内のコード４０とコード７５０との間に確保することができ（典型的にはルーマに対するそれらのパーセンテージ的な寄与度、及びチャネルごとの所望の精度等を考慮に入れても良い）、２つのカラースペース間の線形行列関係のために、そのように確保することはこの場合容易である。その場合、特徴的なグレイ値の代わりに、典型的には例えばＲｔ１、Ｇｔ３などの特徴的な色値がある。

より高度な実施形態は、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）に含まれる輝度を有する高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）の画素色に比色変換を施し、それらの画素色について修正済みの画素輝度（Ｙ^＊＿Ｌ）を得るように構成される変換ユニット（３１２）を更に含むことができる。

この実施形態は、単にこれを行えるようにするためだけでなく、以下の技術的原理によれば非常に有利である。ＨＤＲ入力信号内で、良くグレーディングされた（即ち優れて見える）或る範囲を選択することができる。しかし、その範囲は（とりわけ当然、非常に単純化して、或る範囲内の輝度を有する全ての画素を選択する圧縮因子１だけを用いるような単純なマッピングが使用される場合）必ずしもＬＤＲシステム上で最良の見た目を有する必要はない。例えばＬＤＲ部分内で暗色が選択され、それにより符号化画像の数学的なコード内で十分に表現されるが、それらを如何なるＬＤＲシステム上でも良くレンダリングされる表現に変換することは非常に簡単ではないと想像し得る（レンダリングとコード化は混同されるべきでない２つの異なる状態であり、どちらも非常に重要であり、そのため理想的にはどんな（コード化）システムもエレガントに両方に対処できるようにすべきである）。この例では、暗色がＬＤＲディスプレイ上で良く見えるようにグレーダが任意の複雑なグレーディング変換（典型的にはＬＤＲルーマ範囲の過大な部分を割り当てることを含み得る明るい色に変えること）を適用することに決めることができる。しかしその場合、ＨＤＲレンダリングのためにそれらを良い表現へと容易に変換し直せることが興味深い。従って、典型的には画像のその下位部分に対して使用される変換をメタデータＭＥＴ内に共同符号化し、それにより受信側でそれを反転させることができる。前に述べたように、何らかの情報がＩｍ＿１^＊のＨＤＲ範囲部分内に（ことによると部分的に冗長に）符号化され、例えば逆変換済みのＬＤＲコード化領域と異なる暗い部分の見た目を可能にしても良い。

ＬＤＲセレクタ（３１１）が、入力されるＬＤＲグレーデッド画像（ＧＲＤ＿ＬＤＲ＿ｉｎ）及び／又はそのＬＤＲグレーデッド画像を特徴付けるメタデータ（ＴＭ＿Ｇ１（ｇｌ，ｇｈ））に基づき、全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）のうちの低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）を識別する識別ユニットを含む場合は有利であり得る。

本実施形態のシステムは、（事前グレーディングされ、又は未処理の）ＨＤＲ画像ＩＭ＿ＨＤＲ＿ｉｎしかない場合、又は同じ捕捉シーン（例えば既に事前グレーディングされた画像、コンピュータグラフィックスによってレンダリングされた画像、別のカメラからの画像等）についてＬＤＲバージョンＧＲＤ＿ＬＤＲ＿ｉｎも既にある場合の両方で使用され得る。その場合、通常そのＬＤＲバージョン内で最も良く表現されるどのシーンの物体がＨＤＲ画像内に（異なる様に表現されて）あるのかについての識別情報がなければならない。とりわけ複雑な冗長コード化又はグレーディングの場合、複雑なアルゴリズムが（対応する二重にコード化された部分を識別すること、及びシーンデータの両方のコード化を混合してＩｍ＿１^＊の最終的な表現を得ることの両方のために）使用されても良い（同様だが例えばＬＤＲ対ＨＤＲグレーダの異なるグレーディング原理によるシーンの物体に関する情報を使用できることが調整可能性の点で有利であり得ることに留意されたい）が、より単純な改変形態は、単にＬＤＲグレーディングの境界ｇｌ及びｇｈを定めても良い。その場合、ＬＤＲ範囲（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）を示す輝度を有するＩＭ＿ＨＤＲ−ｉｎ内の画素色値が何であろうと、それらはＬＤＲバージョン入力ＧＲＤ＿ＬＤＲ＿ｉｎ内の色値によって（ことによるとその置換されるＬＤＲ範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲに対応するコード区間Ｒ＿ＬＤＲ内の、共同符号化された更なる非線形マッピングに従って、又はローカルグレーダによって現在定められた更なる非線形マッピングによって）今度は置換される。即ち、ＬＤＲグレーデッド画像（ＧＲＤ＿ＬＤＲ＿ｉｎ）内に符号化される画素色値に応じて低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）に含まれる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）の画素輝度をマップするようにコードマッピングユニット（３１５）が構成される、画像符号化ユニットを使用することなどにより、ＬＤＲバージョンＧＲＤ＿ＬＤＲ＿ｉｎに基づいて、そのＬＤＲ範囲内の画素についてＩｍ＿１^＊内にコード化される最終的な色値を決定するためのより複雑な戦略が概してあり得る。

本発明による任意の実施形態で非常に有用なのは、第１の画像（Ｉｍ＿１^＊）に加え、特徴的輝度レベル（ｇｔ４）又は特徴的ルーマコード値（ｇＣ４）の少なくとも１つを出力するように構成される画像信号フォーマッタ（３２０）を含む画像符号化ユニットである。

やはり先に述べたように、特徴的グレイ値を（元の）輝度領域内、ルーマコード値領域内、又は同様のコード領域内で定めたいのかについて数学的な対応関係がある。これらの特徴的グレイ値の１つ又は複数を定めることは、幾つかの応用例について幾つかの利点がある。前に述べたように、例えばより明るい輝度のＨＤＲ効果領域などの領域を区別する場合、或る表現から例えばＩｍ＿１^＊などの他の表現にカットアンドペーストするためにそれらの領域が使用されても良い。こうすることにより、コードの意味の定義が可能になる。それらを省いて単にマッピング関数を定めても良い（このマッピング関数は存在しないコードに及んでも良く、それは、それらのコードが補完的範囲Ｒ＿ａｂｏｖｅを下回りＬＤＲ範囲内にあるので、ＣＭＡＰ＿ＨによるＨＤＲ部分のマッピング内で選択されないからである（又は境界グレイレベルがそのマッピング関数の中に暗にコード化されても良い）。但し単純な（例えば線形）マッピングを使用し、その専用のグレイ値（例えば輝度ｇ１）から明確にマッピングを開始しても良い。こうすることは、汎用線形マッピング戦略を特定のものに変換できるようにし、即ち（それにより画像内に存在しない輝度領域を飛ばし、不連続だが効率的に入手可能な物体の輝度の極大部分についてコード化を（再び）開始できるので）現在の画像への最適な調整を可能にする。しかし更に、そのような幾つかの特徴的グレイ値を定めることは、幾つかのＨＤＲ極大部分を定めることを可能にする（現実には極端に単純化した図２にあるように常にそれ程見事に分けられないこともあるが、それでも分けることができ、但し典型的には人間のカラーグレーダの知性を必要とする）。こうすることで幾つかのＨＤＲ効果が定められるようになり、例えば使用可能なＬＥＤバックライトやハローを回避するためのその駆動制約のようなハードウェアの制限に依存し得る有効輝度範囲など、レンダリングディスプレイの物理的能力に応じてエクスプロージョンをより強くブーストし、屋外の日当たりの良い領域の輝度を減らせるようになる。しかし、Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ内のＬＤＲ部分などの単一の極大部分内でも、興味深いグレイ値、例えばストーリに関係する特定の意味で人間のグレーダによって選択される領域であるピクチャの暗い部分を定めても良い。例えばドア越しに見える暗い屋内など、多くの動作が行われていない領域があり得る。その領域は単一の（又は単一と認識される）黒の値に塗り潰すことができるが、代わりに、ストーリには重大でなくても少なくとも何らかの構造をその中に有することが望ましい場合がある。この暗い領域をより決定的にレンダリングされるべき領域と区別することにより、レンダリング側はその領域を実際にどのようにレンダリングするのかをより適切に決定することができる。例えばシーンが暗すぎ、或る部分（少なくとも最も暗い部分であるべきである）が良く見えないことをユーザが自らのリモコンの輝度ボタン上で示す場合、テレビはその部分を明るくすることに決めることができる。即ちテレビはそれらの全ての画素のルーマを高め、ルーマ領域の色を上にソフトシフトし、更にはそれと重複させることもできる。更なるメタデータが、これらの領域間の関係を説明し、受信側の処理を更に支援することができ、例えばコンテンツプロバイダは、その暗領域が上の領域よりも常に暗くあるべきことを（暗領域及び明領域の平均輝度、上の範囲の最低点を下回る最高輝度等として）強制することができる。

概して、そのような特徴的な値はあらゆる種類の応用例に有用であり得るが、とりわけＨＤＲシステムでは、受信側の（セットトップボックスやコンピュータなどの画像処理ボックス内又はディスプレイ内等の）画像処理操作、特に視覚的により優れたレンダリングを作成するための最適なトーンマッピングをより良く調整するために有用であり得る。ＬＤＲシステムでは、幾つかの特徴的な点が存在し得るが、それらの点は必要ない。ホワイトの点が、単に最大輝度／ルーマ値である。しかしＨＤＲでは、幾つかのホワイトが存在し得る（影の中又は屋外の日の当たる所にある白い紙であり、一層明るい光源色は実際には（反射色であるべき）ホワイトではなく「光輝」である）。当然ながら、非常に簡単な方法でシーンの意味論的定義を可能にする更に多くの興味深い黒及びグレイがあっても良い。これは受信側が全体画像の色／ルーマ変換を使用したい場合にとりわけ有用だが、典型的には実際の画像コンテンツ、とりわけ捕捉され符号化される物体のテクスチャ色分布に対応して変換を調節する必要がある。

そのため、これらの特徴的グレイ値は単一の（又は幾つかの関連する）ピクチャ内の如何なる、とりわけ最も優勢なＬＤＲ部分内の又はその周辺に配囲されるＨＤＲ定義にも有用である。より興味深いことに、「暗領域」、「より優れた物体の視認性を得るために明るくすることを認められているが、全体的なレンダリング画像内で心理的に薄暗くレンダリングされるままとする」のように、ネームコードや許可された操作などのより意味論的なデータをこれらの領域に与えても良い。後者は、視聴者が或る色を見ることにつながるレンダリング画像内にある他の色及び更なる視聴条件に依存するが、これは本発明の主な要素ではないのでここでは更に不必要に詳しく述べないことに留意されたい。

上記の符号化ユニット装置が実現可能な同様の技術的変換は、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画像符号化法を可能にする他の技術的方法で行われても良く、この方法は、
−高ダイナミックレンジ画像の範囲に含まれる全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）又は対応するルーマコード値の範囲（Ｒ＿ＬＤＲ）を選択するステップと、
−全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）の範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）を選択するステップと、
−少なくともＮビットコードワードを含むルーマ成分を有する第１の画像（Ｉｍ＿１^＊）のルーマコードに、第１のマッピング（ＣＭＡＰ＿Ｌ）によるコード値（Ｙ＿ｏｕｔ）のために低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）に含まれる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画素輝度及び、第２のマッピング（ＣＭＡＰ＿Ｈ）によるコード値（Ｙ＿ｏｕｔ）のために少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）に含まれる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画素輝度をマッピングするステップであって、第１のマッピング及び第２のマッピングは第１の画像のルーマコード値の範囲（ＲｃＴｏｔ＿Ｉｍ１）の離れた部分範囲にマップする、マッピングするステップと
を含む。

高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ−ｉｎ）の画像符号化法は、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）内の輝度を有する画素に対してカラーグレーディング等を行うステップを更に含むことができ、上記のサブテクノロジはどれも、とりわけ画像の符号化を製品として作り出すための技術的に具体化される方法において補足的事項を有する。

送信機側の鏡像技術が、例えば高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）を得るように構成される画像復号ユニット（６５１）など、（最終宛先であろうと中間物であろうと）任意の受信側上で構築されても良く、その画像復号ユニット（６５１）は、
−高ダイナミックレンジ画像の範囲に含まれる全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）又は対応するルーマコード値の範囲（Ｒ＿ＬＤＲ）を決定するように構成され、高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）を得るように構成されるＬＤＲリカバリーユニット（６５６）と、
−全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）の範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）を決定するように構成され、その少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）に対応する高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）を決定するように構成されるＨＤＲリカバリーユニット（６５５）と、
−低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）及び少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）から高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）を構成するようになされる画像構成ユニット（６５７）であって、低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）及び少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）は、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）の主として重複しない輝度の部分範囲を範囲に含む、画像構成ユニット（６５７）と
を含む。

Ｉｍ＿１^＊内の特定のコード化構造は、ＬＤＲ下位部分をＨＤＲ下位部分から分離し、例えばテレビや携帯型ディスプレイなどのディスプレイを直接駆動させるために、又はことによると更なる色画像処理を伴う記憶などの他の用途のために、最終的なＨＤＲ画像ＩＭ＿ＨＤＲ＿ｏｕｔを正しく再構築するのを支援することができる。

本発明者らは受信側を輝度領域内で規定したが、復号器の一実施形態は概してＬＤＲ及びＨＤＲ部分をルーマ領域内で識別することができ（その場合それらの部分は通常離れている）、但しそれらの部分は容易に輝度仕様に往復式に変換され得る（即ちとりわけ輝度形式がＨＤＲ画像の最終出力に使用される場合又は少なくともそのカラーマッピングによって相関する場合、復号器は輝度範囲にも通常マップする）ことを指摘しておきたい。

単純な技術上の改変形態では、ＬＤＲ副画像が、例えば常に０とＣＬＤＲｈ例えば８５０との間のどの下位部分内にあるのかを符号器及び復号器の両方が（組込みシステムにおいてだけでなく、例えばテレビ伝送基準においても）知ることができる。レガシディスプレイを駆動するために、画像受信ボックス（単純にするために換喩として、例えば最終ピクチャをレンダリングする無線リンクされた携帯電話のためにフォーマットを行うポータブルコンピュータのような画像処理能力を有するＩＣやボードなど、他の任意の中間又は最終の装置若しくはコンポーネントを同様に意味するセットトップボックスとも呼ぶことがある）は、単にＬＤＲ副画像を選択し、最終ディスプレイを駆動するために（ことによると更なるカラーマッピングとともに）それを用いることができる。全てのシステムによって認識され使用される必要はない基本信号の拡張版の中にＨＤＲ部分が符号化される場合、ＬＤＲ部分を直接使用する際に更に多くのレガシセットトップボックスがだまされ得る（例えば古いシステムは信号が０から８００までしか及ぶことができないと考え、他の全てのコードを誤り又は自らにとって少なくとも無関係のコードと見なして単にそれらを破棄するが、より新しい又はスマートなセットトップボックスは、（例えば完全な１０ビット範囲０〜１０２３内、又は更なる「ｏｔｈｅｒ＿ｒｅｌｅｖａｎｃｅ」コードを使用可能にする１０ビット範囲のより狭い部分範囲内にある）スマートに符号化されたその範囲外データをどのように使用するのかも分かっている）。

上記で既に述べたように、画像復号ユニット（６５１）が、特徴的輝度レベル（ｇｔ４）又は特徴的ルーマコード値（ｇＣ４）の少なくとも１つを入力メタデータ（ＭＥＴ:metadata）から抽出するように構成される特徴的グレイ値識別ユニット（６６１）を含む場合、画像復号ユニット（６５１）は、はるかにスマートな画像処理アプリケーションを復号画像に適用することができる。これらのグレイ値は、Ｉｍ＿１^＊内に符号化される画像を最適な出力ＨＤＲ画像ＩＭ＿ＨＤＲ＿ｏｕｔに変形するためだけでなく、（そのために必要でない場合、例えば）副領域や効果又はより容易に補間するコード化領域の例えば任意選択的なブースティング又は明るくすることなど、ディスプレイ環境の同調性を得るために更なる変換を可能にするためにも使用され得る。

更に興味深い修正形態は、例えばＬＤＲリカバリーユニット（６５６）が、特徴的輝度レベル（ｇｔ４）又は特徴的ルーマコード値（ｇＣ４）に基づき低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）を決定するように構成される画像復号ユニット（６５１）、少なくとも画素色の輝度又はルーマが、特徴的輝度レベル（ｇｔ４）又は特徴的ルーマコード値（ｇＣ４）のそれぞれによって定められる高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）の輝度又はルーマの部分範囲に含まれる場合、それらの画素色を変換するように構成されるトーンマッピングユニット（６５８）を含む画像復号ユニット（６５１）、又は好ましくは光センサー（６８８）からの周辺照明の測定（Ｓｕｒｒ＿ＩＬ）に応じて、少なくとも一定の閾値未満の輝度又はルーマを有する画素色を明るくする変換を施すようにトーンマッピングユニット（６５８）が構成される請求項１１に記載の画像復号ユニット（６５１）である。

上記で述べたように、より暗い領域を特徴付ける１つ又は複数の特徴的グレイ値を有することは、例えばディスプレイが或る視聴環境内で何を実際に見えるようにできるのかに応じて、その最終的なレンダリングをより良く調整することを可能にする。また、幾つかの暗領域がある場合、それらの暗領域は（例えば２つの領域間の重複が始まり得る）更なる特徴的グレイ値とともにそれらのカラーレンダリング特性に関してより良く調整され得る。

上記及び下記の全ての内容は、高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）を得るための画像復号法などの方法によって具体化することもでき、その方法は、
高ダイナミックレンジ画像の範囲に含まれる全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）又は対応するルーマコード値の範囲（Ｒ＿ＬＤＲ）を決定し、高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）を得るステップと、
全輝度範囲（Ｒａｎｇｅ＿ＨＤＲ）内で、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）の範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）を決定し、その少なくとも１つの補完的範囲（Ｒ＿ａｂｏｖｅ）に対応する高ダイナミックレンジ画像の符号化（Ｉｍ＿１^＊）から少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）を決定するステップと、
低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）及び少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）から高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）を構成するステップであって、低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）及び少なくとも１つの高ダイナミックレンジ副画像（ＩｍＰ＿ＨＤＲ＿ｏ）は、高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｏｕｔ）の主として重複しない輝度の部分範囲を範囲に含む、構成するステップと
を含む。

上記及び下記の内容は、例えばプロセッサーがそれを実施することを可能にする、６の方法を符号化するソフトウェアを含むコンピュータプログラム製品、プロセッサーがそれを実施することを可能にする、１３の方法を符号化するソフトウェアを含むコンピュータプログラム製品、又は高ダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）を符号化する画像信号であって、レンダリングされる輝度（Ｌｕｍ＿ｉｎ＿ｓｃｅｎｅ）上へのルーマコード値（Ｙ＿ｏｕｔ）のマッピング（ＣＭＡＰ）を有する二次元ルーマピクチャを体系化する符号化を少なくとも含み、低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）は、低ダイナミックレンジのディスプレイシステム上でレンダリングするためにその色特性に関して調整される低ダイナミックレンジ画像（Ｉｍ＿ＬＤＲ＿ｏ）の符号化を範囲に含み、重複しない補完的な部分範囲（Ｒ＿ａｂｏｖｅ＋Ｒ＿ｂｅｌｏｗ）は、高ダイナミックレンジのディスプレイシステム上でダイナミックレンジ画像（ＩＭ＿ＨＤＲ＿ｉｎ）をレンダリングするために使用可能な高ダイナミックレンジ画素色を範囲に含むことを特徴とする画像信号など、他の知られている技術的コンポーネントによっても具体化され得る。

又は、請求項１６に記載の画像信号は、例えばブルーレイディスクなどのリムーバブルデータキャリアなどの様々なメモリハードウェアコンポーネント内に含まれても良い、特徴的輝度レベル（ｇｔ４）又は特徴的ルーマコード値（ｇＣ４）の少なくとも１つを更に含む。

画像信号の定義の中で、二次元ルーマピクチャを体系化する符号化により、本発明者らはルーマピクチャが同じ位置における画素の輝度の直接の符号化である必要はなく、ＤＣＴ変換など、その典型的な変換でも良いことを意味する（但しその新たなピクチャは、基礎となる元の画素のルーマピクチャを依然として体系化する）。ＬＤＲ画像の色特性に応じた調整により、本発明者らは、ＬＤＲ（副）画像がＬＤＲディスプレイシステム上でレンダリングされるときに上手く見えるような方法（十分なコントラスト、異様な色が無く、エクスプロージョンが相変らず含まれるなどの十分なＨＤＲ効果等）で通常行われるグレーディングを一般に意味する。そのため本実施形態の技術上の新規性は、ＬＤＲ部分及びＨＤＲ部分がルーマ定義内で混ぜ合わせられる方法で様々な信号の実現内ですぐに見て取ることができる。そのルーマ範囲のＬＤＲ部分範囲は、標準信号内で（例えば１２から１４００の間で）事前合意されていても良く、又は特徴的グレイ値によって伝えられても良い。ＬＤＲ部分範囲は、各部分の汎用性のある更なるコード化／変換を可能にする。当然ながら、典型的には共同符号化されるマッピング関数ＣＭＡＰ＿Ｌ及びＣＭＡＰ＿Ｈも下位部分を識別することができる。

以下に説明される実施形態の多くの更なる改変形態も当然可能であり、当業者は、それらが例えばその部分的機能を様々なときに又は互いに後で何度か適用するなどし、世界の様々な地域における様々な装置で実現されても良いことを理解する。

本発明による方法及び装置のこれらの及び他の態様が、以下に記載する実装形態及び実施形態から明らかになり、かかる実装形態及び実施形態並びに添付図面に関して明瞭にされ、その添付図面はより全体的な概念を例示する非限定的な具体的説明図としての役割を果たすに過ぎず、図面内ではコンポーネントが任意選択的であることを示すために破線が使われ、破線が使われていないコンポーネントは必ずしも必須ではない。破線は、必須であると説明される要素が物体の内部に隠れていることを示すために、又は例えば物体／領域の選択（及びそれらがディスプレイ上でどのように表示され得るのか）などの無形の物のために使われても良い。

高ダイナミックレンジの輝度を有するシーンを概略的に示す。 表現されるそのシーンがシーン領域の線形輝度の観点からどのように見えるのかを概略的に示す。 本発明の原理に従ってＨＤＲ画像を符号化することができる符号器の実施形態を概略的に示す。 本発明の一部の原理を明らかにする、単一ピクチャルーマ構造内でＬＤＲ表現及びＨＤＲ表現の少なくともＨＤＲ情報部分の両方を符号化することを可能にする、輝度−ルーマの関係を概略的に示す。 色評価者によって操作され得る、符号化側システムを概略的に示す。 復号化側システムを概略的に示し、このシステムは、例えばかかる装置をメインテレビとして含む消費者ホームディスプレイシステム及び携帯型画像ビューアーとすることができる。 本発明による、１つの信号（例えば１０ビット）内に符号化される将来の映画の符号化に重要な３つのグレーディング（映画館用のマスタグレード、ＬＤＲディスプレイホームグレード、及びＨＤＲホームグレード）を可能にする一実施形態を概略的に示す。

図１は、シーンを適度にレンダリングできるように、高ダイナミックレンジ（ＨＤＲ）画像を良好な表現として符号化する需要を引き起こす典型的なシーンを示す。たとえ典型的にはシーンの色を厳密に再現できなくても（これにはディスプレイの制限だけでなく人間の視聴者の視覚系の適合も伴う）、レンダラーは元のシーンに関する可能な限り正確な情報を依然として必要とする。

十分な精度（例えば輝度のストレッチなどの予期されるディスプレイ側の変換であるように選択されてもよく、発明者は余裕を持ち、即ちバンディングなどの顕著なアーティファクトが生じないように十分なコードがある）でシーンの輝度／色を符号化する問題だけでなく、むしろ一定の品質の達成可能範囲を有する一種の表現階層がある。映画監督又は写真家が焦点の合った物体を選択し、残りの全てをぼかすことができるのと同様に、物理的限界又は美術的領域を理由に（例えば主たる役者１０１を含むので）完全に再現され又は少なくとも符号化される必要がある輝度の範囲、及び一部のレンダリングでは削除するが、他のレンダリングでは特定の方法で表現される更なる領域を選択できるように、これは一種の「露光焦点」と見做すことができる。

この例では、幾らかの物がある店があり、それらの物の一部は主な動作が生じるテーブル上にある。これらの主な領域の物体１１１は十分に、即ちＬＤＲ画像のような任意の低品質の符号化であろうと、ＨＤＲ画像のような別の符号化であろうと表現されるべきである。

テレビ番組の制作では、これらの主な物体は照明デザイナによって典型的には十分に照らされる。オンザフライのレポートでは、主たる物体がＬＤＲ範囲のおおよそ中央付近に入るようにカメラマンが自身のカメラの絞りを調節する。

図２では、このシーンに関するカウントｎ（Ｌ＿Ｓｃ）対輝度Ｌ＿ｓｃの等価輝度ヒストグラム（又は少なくとも高品質カメラがどのようにそれらを概算で測定するのか）を示す。主たる物体（輝度は概略的に主たる極大部分２１１で示されている）は全て、輝度のＬＤＲ範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ内にほぼ上手く入るべきである（即ち実際のシーンのコントラストにもよるが、これは主たる物体がその低コントラスト物体のための範囲のサブセット内に入ることを意味することができ、通常適度に均等な輝度とともに１％から１００％の間の反射率を有する物体も範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ内に適合すべきであり、例えばＪＰＥＧ又はＭＰＥＧ符号化のためのカメラのソフトクリップが不十分という条件で、より高い範囲では主たる物体の少量の画素がＬＤＲコード、即ち例えば０及び２５５の外側の値にクリップし得る）。典型的には、ＬＤＲ領域は、８ビットＬＤＲ表現において２５５にマップされる何らかのホワイトＷ^＊で終わる（典型的にはホワイトは捕捉されるものとして画像内に提示されてもよく、例えばカメラの自動露出機能は、グレイワールド仮説などの包括的計算を行うのとは別に最も明るい物体を見つけ、それらの物体を２５５ホワイトにマップすることができる）。その中で、極めて重要なグレイ値ｘ％Ｇを有する領域があってもよく、例えば主たる役者の極大部分２０１は暗過ぎるべきではない（青ざめ過ぎてもいけない）。

図１で例示したようなシーンでは、主たる領域よりも著しく高い輝度の領域、例えば窓の外側の太陽に見られる明領域１０２もある。この領域の物体の反射率を示すこの領域のヒストグラムは、輝度の全ＨＤＲ範囲Ｒａｎｇｅ＿ＨＤＲ（光度計を用いて又は高ダイナミックレンジカメラによる捕捉若しくはコンピュータグラフィックス表現等からの概算を用いてシーン内で測定することができる）の別の領域、即ち明領域Ｒ＿ａｂｏｖｅに含まれる。シーン内に明るい物体しかない場合、その範囲Ｒ＿ａｂｏｖｅは、必ずしも連続的／隣接した方法ではないが、シーン内にある物体の他の全ての画素の輝度を含むという点でＲ＿Ｎｏｒｍｌ＿ＬＤＲを補完する。この例では、Ｒ＿ａｂｏｖｅが一層明るい領域、即ち光ヒストグラム２０３を伴う店内のランプの光領域１０３の輝度を含む。低い品質は、そのような高輝度領域をしばしばクリップし、又は少なくともそれらを間違って、例えば薄く飽和度が低下した彩度で表す。

この場合ではテーブルの下の影の中の物体の暗領域１０４など、多くの場合非常に暗い領域もある。この領域は、暗領域Ｒ＿Ｂｅｌｏｗ内に含まれる暗いヒストグラムの極大部分２０４を有する。この場合もやはり、画像のより粗いバージョンでは、それらの領域はそれ程関係がない場合がある。例えば、外側から撮影する別のＨＤＲシーンでは、（例えば半開きのドアを通して見られる）家の中にあるものは（ほぼ）黒としてレンダリングされる可能性があり、視聴者はそれを見ることができないことがある。しかし、家の中のものを下手に符号化するよりましに、（とりわけカメラがそのデータを良く捕捉できる場合）十分な量の割当コードを用いてそれらの暗い内部の物体の画素も良く表せると想像することができる。より明るい領域に対してそれらの暗領域を忠実にレンダリングできないＬＤＲシステム上のＬＤＲレンダリングは、暗い見た目を十分に保ちながら明るくすることにより、家のドアの背後にある暗い室内の物体の構造の幾分かを示す色変換を、その（追加の）データから施すことに決めることができる。これがＨＤＲ符号化で行えることであり、原則的にシーン内の如何なる極端な輝度の画素も、それが後で使われようが使われまいが又はどのように使われようが、符号化することができる。

図２は、本発明の概念が、かかる符号化にどのように適合できるのかも示し、これについては図４で更に明らかにされている。例えば、データ構造として既に定義済みの１０ビットデータワードを使用する場合、ＨＤＲ範囲［０〜１０２３］内のどこかに直接使用可能な（！）ＬＤＲ信号を包含することができ、その信号はＨＤＲ範囲のその部分を（それがどのように、例えば非線形に、コントラストが修正されて符号化されるのか及びＨＤＲ範囲の残りの部分でまさに何が行われるのかに関係なく）最適に符号化する。現在反直感的なものは、ＨＤＲ範囲の残りの部分で行われているものである。通常のセンスは、１０ビットの「プレースホルダ」ルーマデータ構造の範囲が認める限り、ＬＤＲ下位部分を超えて同じ方法のコード化をただ継続することを命令する。即ち、コードを定義するマッピング伝達関数は、（一部のシナリオで本発明が非常に有用である単調でない割り当てはおろか）不連続ではなく、（通常はガンマ関数などの簡単な関数の）単純な継続になる。本概念は、対応するシーンの輝度（隣接するコードの意味）の僅かな差によって何らかの誤差（幾らかの丸め誤差、又は何らかの画像処理によるルーマ値の下方シフト）が作り出される場合、著しい視覚的変更が発生しないことである。本発明者らは、現在のデジタル時代において、或る部分範囲を別の部分範囲と正確に区別できるべきであり、従ってたとえ隣接するルーマコード（例えば９５１と９５０）が非常に異なる意味のデータ、即ち非常に異なるシーン物体輝度を含んでも、全体としてそのような任意の問題を回避できるべきだと考える。更に、ＨＤＲのカラー符号化の特異性により、たとえ問題が起きてもその問題は通常それ程深刻でない。一部のＨＤＲの明るい輝度のデータをＬＤＲ範囲の高いコードＲ＿Ｎｏｒｍｌ＿ＬＤＲ内に間違って（又は意図的に）入れても、高輝度の物体についてＬＤＲ画像がいずれにせよクリップされるのでそれ程問題にはならない（更にルーマ２５３と２５５との間の違いは殆ど認識できない）。たとえＨＤＲ部分内で間違いが生じても、通常そのデータを扱う装置は（例えばＬＤＲ符号化領域であるべきものにマップするため調和しないグラジェントを検出することにより）間違いを指摘して正すほど能力がある。

いずれにせよその原理は、まさにＨＤＲの見た目を得るために依然として必要とされ又は望ましい画素の輝度の、スマートな非線形コード化を可能にする。即ち、例えば暗領域のために少量のルーマ値０〜１１を確保しても良い。このルーマ値は、複雑な非線形マッピング関数が１つ又は複数の適切な暗領域のレンダリングを作成できるようにする十分な情報のはずである。暗領域は決して最も重要なものにはならないので、例えば暗い輝度が単に顕著な差異となるようにレンダリングを適用しても良く、又は他の（例えばより明るくする）事例では、幾らかのポスタリゼーションをもたらすより多くのステップがあっても良いが、それは通常そのような重要ではない影の領域に対してまだ許容可能である。この例では特別な意義を持つ更なるシーンの輝度がないので（このことはより高い平均輝度を有する或る暗い部屋が画像化される場合に該当する可能性があり、そのレンダリングに照らして、より多くのルーマコードのサブヒストグラムコード化を必要とし得る）、大きな意味を持つＬＤＲ範囲の定義のちょうど上のルーマコード（１２）から始めることができる。それは暗領域との輝度のギャップがあるかどうか、又は重複があるかどうかに関係ない（重複がある場合、画素の一部が更にＬＤＲ部分内にも冗長にコード化されても良く、例えばＲ＿ｂｅｌｏｗに対応するＨＤＲコード化のためのルーマ内の最も明るい画素１１が、それらのシーンの輝度のより厳密な定量化に応じて、最も低い３つのＬＤＲコードのうちの１つの記録を得ることができ、即ち画素値１２、１３、及び１４を用いて物体の更なるテクスチャ定義を作成する）。同様に、ルーマ９５１に対応するシーンの輝度は、シーンの内容にもよるが、ルーマ９５０に対応する輝度の２倍の高さ（例えば２％高いのではなく）又は３倍等であり得る。

概して、そのような領域を区別する独特のグレイ値を共同符号化することが有用であり得る。即ち、ＬＤＲ部分の固定副領域を調整するよりも汎用性があり、そこから符号化の（最初の）ＨＤＲ部分が始まることを特徴的グレイ値（この場合ルーマ値）ｇ１＝９５１に伝えることができ、好ましくは、このルーマ値９５１が例えば２０００ニットのシーン輝度に対応することを典型的にはピクチャ符号化に関連するメタデータＭＥＴ内で更に共同符号化する。ディスプレイ側は、例えば３０００ニットの局所的ピーク輝度を有するディスプレイ上でそれをどのように最適に視覚的にレンダリングするのかを決定することができ、即ち一層高輝度の画像領域のために十分な空間を更に確保する。ことによると、利用者が自身の眼にとって明る過ぎない画像を好むユーザ設定、又はエネルギーの節約目的で３０００ニット未満を使用するユーザ設定などを考慮に入れる。

図３は、符号器の中にあり得る一部の実施形態を概略的に示す。ＬＤＲ範囲を識別することを可能にし、典型的にはそれを特徴付ける何らかのＬＤＲセレクタが常にある。ＬＤＲ範囲がまだ別々にグレーディングされていない、即ち例えばＨＤＲカメラからの生のカメラ画像、又は監督若しくはＤＯＰの好みによる最適なＨＤＲマスタグレーディングしかないと仮定する。これを、入力される高ダイナミックレンジ画像ＩＭ＿ＨＤＲ＿ｉｎで示す。最低でも、一般に人間（又はスマートなアルゴリズム）は、どれがその画像内のＬＤＲ部分か、即ち良好なコントラストとともに、構造の可視性が一部のより暗い部分内でも可能であり、人間の顔用の適切な色等とともに、即ち標準的なＬＤＲ閲覧システム上で最適にレンダリングされるべきシーン領域を識別する。典型的には、ＬＤＲ符号化／下位部分によって十分に覆われていない領域を少なくとも暗に識別するのに犠牲を払う必要もある。即ち例えば一部のより明るい領域は、有害に（deleteriously）ソフトクリップされ、物体のテクスチャをそこで依然として特徴付けるルーマコードの量を減らしても良く、更にはハードクリップ、即ち全く表現されなくても良い。しかし、例えば暗い影の領域又は明るい街灯について人間がそれを合理的に検討しても良い。符号化ユニット３０１の多くの実施形態において任意選択的に、グレーダが影の領域の一部をＬＤＲ下位部分の最も低いルーマ内に詰め込む前に依然として例えば非線形に明るくすることを可能にする、色／輝度変換ユニット３１２があっても良い。即ち、コード化を作成する時点でそのような別々のカラーグレーディング用のユニットを有することは、出力される単一の（単一のビューが必要とされる限り少なくとも単一だが、当然、例えば各時点について複数の３Ｄビューがあっても良く、更には代替的ＨＤＲ符号化又は中間ダイナミックレンジ（ＭＤＲ）グレーディング等とすることができる更なる画像があっても良い）画像Ｉｍ＿１^＊内の最終的なルーマコードに対する、捕捉物体の未処理の輝度の最終的な技術的マッピングからの分離を上手く可能にする。このようにして、ＬＤＲ部分についてＣＭＡＰ＿Ｌをマップする標準のガンマ２．２を例えば用いることができる。この場合、どんなレガシＬＤＲシステムも、（単なる閾値操作によってそれを隔離する）ＬＤＲ部分範囲を直接使用することができ、ＨＤＲシーン符号化のスマートさの一部が、ＬＤＲ範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲへの適切なグレーディングによってこうして実現される。

いずれにせよグレーダは、ＨＤＲ部分を範囲内に残るものへと符号化するために、典型的にはスマートＨＤＲマッピング（第２のマッピングＣＭＡＰ＿Ｈ）を選択する。例えば１０ビット画像では、１０２４−２５６の７６８ルーマコードが依然として残り、この量はかなりのＨＤＲシナリオにとって十分なはずである。しかし、（更にスマートマッピングすることにより、又はスケーリングにより１ビットの精度を犠牲にすることにより）８ビットの総ルーマ範囲のほぼ７ビット内でＬＤＲ画像を符号化する場合、残りのコード量は２５６−１２８＝１２８になる。この量は、主領域と同じ精度の日当たりの良い屋外の領域を生成するのに依然として十分なはずだが、減らされたコード量は、ＨＤＲ効果のよりスマートな管理を行うことを既に要求し得る。例えば、日当たりの良い領域（１０２）のためにそれらのコードのうち１２０を確保し、ランプ（１０３）のために２ルーマコードしか確保せず、暗領域（１０４）のために６しか確保しないことに決めることができ、ランプは粗く表現され、暗領域ももはや高精度では表現されない。しかし利点は、全ＨＤＲ信号が８ビット形式に適合でき、どんな復号器もレガシシステム向けだろうとＨＤＲシステム向けだろうと容易に（例えばルーマ７で始まる）１２８コードの最適なＬＤＲ（７ビット）範囲を隔離し、直接レンダリングするためにそれを８ビットにスケールし、必要な場合は様々なＨＤＲ領域のコード化を容易に切り離し、例えば明るいランプ領域のレンダリング等を作成するための輝度を上昇させるシナリオにおいてそれらをマップし、最終的なＨＤＲ画像Ｉｍ＿ＨＤＲ＿ｏｕｔを得られることである（簡潔にするためにこの画像は直接駆動画像を考えるが、当業者なら別のディスプレイガンマ、ディスプレイ較正等を考慮に入れることなど更なる修正形態を理解する）。

同様に、グレーダがユーザインターフェイスユニット３３０（典型的には専用のグレーディングボード及びソフトウェア）によって例えば（符号化するのにそれ程重要ではない）一部のＨＤＲ領域を選択解除できるようにし得る、又は専用の意味論上の意味等の別個の部分にそれらを分離できるようにし得る、ＨＤＲセレクタ３１３が含まれる場合は有用であり得る。このようにしてグレーダは、例えば明るいモード２０２対光モード２０３をルーマの点で最適に符号化するために、ＨＤＲの第２のマッピングＣＭＡＰ＿Ｈを調整することができる。ＬＤＲ色変換ユニット３１２によるＬＤＲトーンマッピングＴＭ＿Ｌによるトーンマッピングに必要な変更を加えて、１つ又は複数のトーンマッピング（又は一般にカラーマッピング）ＴＭ＿Ｈを様々なＨＤＲ領域の画素色／輝度値に適用するために、任意選択的なＨＤＲ色変換ユニット３１４を有することが有用であり得る。

コードマッピングユニット３１５は、予め定められても良い（例えば特定の技術分野で合意されている）、又はグレーダによって最適に設計され、出力される画像信号Ｓのメタデータ内に共同符号化されても良いマッピングＣＭＡＰ＿Ｌ及びＣＭＡＰ＿Ｈにより符号化を施す。この画像信号は、特徴的輝度値（例えばｇｔ４）及び／又は特徴的ルーマ値（ｇＣ４）として符号化されても良く、先に述べたように例えば出力輝度ルーマコード９５１が、ことによると例えばユーザが調整可能な方法で最終的にレンダリングされるべき復号を支援する、１つ又は幾つかの興味深いグレイ値も含むことができる。フォーマッタ３２０は信号Ｓ内の画像Ｉｍ＿１^＊をフォーマットし、このフォーマットが、互換性により、ＭＰＥＧに準拠するストリーム、パケット化、ブルーレイ規格による構造化等、本発明の概念を実施する技術が要求するものは何でも得るための、ＤＣＴ変換などの共通技術を含み得ることを当業者なら理解する。

ＬＤＲグレーディングＧＲＤ＿ＬＤＲ＿ｉｎが既にある場合、ＧＲＤ＿ＬＤＲ＿ｉｎは典型的には共同入力される。更に入力されるメタデータは、ＨＤＲ範囲Ｒａｎｇｅ＿ＨＤＲ内の特定の範囲、例えばＬＤＲグレーディングに達する際に使用されるマッピングＴＭ＿Ｇ１の仕様とともにそれを識別することを支援することができる。典型的にはＬＤＲセレクタ３１１は、入力ＬＤＲグレードと入力ＨＤＲ画像との間のマッピングを行うように構成されるＬＤＲ識別ユニット３４０を含む。最も複雑な実施形態は、例えば類似の物体を（例えば境界検出及び突合せにより）識別し、両方の画像内でグレーディングがどのようなものかを解析し、（例えば入力されるＬＤＲグレード及びＨＤＲグレードの中間改変形態に符号化される最終的なＬＤＲグレードを作成する）自動の更なる色／輝度マッピング変換等を提案し又は実施する、完全な空間色画像解析を行うことができる。一部の実施形態では、自身のディスプレイ上の画像を見ているグレーダへのフィードバックが、例えばＨＤＲレンダリング内のどの物体がＬＤＲ入力（又は出力される電流）の符号化に対応するのかを示す疑似カラーの形で与えられても良く、ことによると誇張され、別個に比較される等して色変換を表示できるようにする。

ＬＤＲ符号化がＨＤＲ画像にどれ位正確に関係するのか（例えば日当たりの良い屋外の明るい領域２０２の大部分を前々から組み入れるためにスマートトーンマッピングが使われたか）に応じて様々な先進概念が想像され得るが、単純なシステムは、ＨＤＲ画像内で切り取り置換する場所である、ルーマ（又は互いから計算可能な輝度）の２つの閾値ｇｌ及びｇｈを単に定めることができる。このシナリオでは、ＬＤＲグレーディングがＬＤＲ色変換ユニット３１２を処理することなく直接バイパスし又は通過することができ、その代わりに、ＨＤＲ領域内の輝度は不変だがＬＤＲ領域内の異なる輝度Ｌ^＊を有する修正済みのＨＤＲ画像ＩＭ＿ＨＤＲ＿ｉｎ^＊を計算する例えばユニット３１２によって具体化される、修正済みの低ダイナミックレンジ領域がＩＭ＿ＨＤＲ＿ｉｎから生成される。

ＨＤＲ画像の符号化、とりわけ本実施形態は、例えば異なる雰囲気を伝える視覚的に完全に異なるシーンを作成できるようにする。自然なパラダイムは、シーン内の少なくとも主たる動作を常に良くレンダリングする（即ち最適に見ることができる）ことであり、このことは典型的には主たる物体を「注目させる」ことにつながる。しかし、ルネサンス時代には既に、人は宇宙の中の軽微な立場に気付くことにより、薄暗いヴァニタス画などの新たな種類の画像に至った。１９世紀における人工照明の発見は、芸術家にこの不思議と遊ぶことをもたらした。日光の世界とは別に、今度は夜の良さも見出された。そのような夜の画像内のグレイ値は、シーンがどのように照らされるのかに依存する。例えば蝋燭などの小さく弱い点光源は、全体的なレンダリングにおいて物体領域の幾らかが照らされる効果を有し得る。単に一部の物体又は画像の一部を暗くする一方で残りの部分をより明るく保つことにより、暗い経験が心理的に既に作成され得ることに留意されたい。そのため、光源上では非常に明るく、理論的なゼロ値に弱まっていく一連の輝度がある。ここで問題は、動作がどこで生じるのかである。蝋燭により１人の役者を適度に良く照らすことができるが、（とりわけホラー映画での）第２の動作はより暗い領域内で生じる場合がある。本発明では、第２の役者の顔の中の全ての色に上手く集中するＬＤＲ範囲を選択せず、第２の役者の画素色をＬＤＲ範囲の下部に置くこと、更には例えばより暗く照らされていない顔半分をゼロ（ＬＤＲ値、即ち例えば単一の画像Ｉｍ＿１^＊のＨＤＲ符号化では１２）にクリップすることに決めることができる。その場合、その役者の顔はＬＤＲレンダリング内で非常に曖昧に正しくレンダリングする。次いで、これらの暗い顔の半分の画素をＨＤＲ部分（Ｒ＿ｂｅｌｏｗ）内に符号化することができ、これによりＨＤＲシステムは、それらをより多くのテクスチャとともにどのように表示するのか決めることができる（例えばＨＤＲディスプレイは、たとえ一定の照明の下ではそれらが人間の視聴者にとって見分けがつかないように思われても、はるかに暗い画素輝度を正確に生成できる場合があり、従ってことによると遠くからはＬＤＲディスプレイ上と同じ曖昧な見た目を実現する一方で、より近くで見るとテクスチャが見え始める）。

図４は、１０２４の値から成る総ＨＤＲルーマ範囲ＲｃＴｏｔ＿Ｉｍ１に及ぶ１０ビットの例において、この場合も線形シーン輝度と仮定する（そのため例えばコンピュータグラフィックス装置から来る、例えば非線形ルーマ又は数学的に定義される如何なる色空間内のグレイ相関などによる特定の符号化も、そのような等価の輝度（Ｌｕｍ＿ｉｎ＿ｓｃｅｎｅ）表現に常に変換され得る）「グレイ関連値」の入力範囲を、本実施形態を用いて出力画像Ｉｍ＿１^＊のルーマＹ＿ｏｕｔ内にどのように符号化できるのかについての概略的な一例を示す（本発明者らは画像の符号化において現在最も人気のあるグレイ相関であるルーマを用いて概念を単に説明するが、例えば線形輝度測度により色を定める符号化により我々の発明を容易に理解することもできる）。このコード定義の例では負のルーマ値を認める。ＬＤＲ部分は、特徴的輝度ｇｔ２とｇｔ３との間のシーン輝度にも対応するＬＤＲコード部分範囲Ｒ＿ＬＤＲ内の、標準の２．２ガンママッピングＣＭＡＰ＿Ｌによって見つけることができる。メタデータはこれらの特徴的輝度ｇｔ２及びｇｔ３を単純に伝送することができ、それにより、ＬＤＲレガシディスプレイ用の駆動値を生成するために画像の符号化を必要とするシステムはその範囲内の値を選択するだけでよく、ルーマＹ＿ｏｕｔゼロで始まり、ルーマ２５５で終わる場合、それらの値は既に正しく正規化されている（即ち、ＬＤＲ範囲ｃＬＤＲｌ及びｃＬＤＲｈを区別する特徴的なルーマにこれらの値が使用される場合、これらの値は原則的に伝送され又は共に記憶される必要さえない）。ここでは、暗いモード２０４の暗領域を（全ＨＤＲマッピングのうちの）第１のＨＤＲマッピングＣＭＡＰ＿Ｈ１で表すために負の値が使用されても良い。第２のＨＤＲ（サブ）マッピングはより明るいＨＤＲ／シーン画像画素をマップすることができ、このマッピングは、例えば幾つかの領域の内部テクスチャを独自の最適精度で表すのに最適な量のルーマコードを割り当てることによって決定される、又はこれらの副領域について受信側のレンダリングが典型的にはどのように見えるのかを考慮に入れ、それらをほぼ正しいルーマ部分範囲内に既に入れること等によって決定される、（出力画像ルーマの使用可能なＨＤＲ副領域、即ちＨＤＲ範囲Ｒ＿ＬＥｆｆｓ＿ＨＤＲに適切にマッピングする）任意の有用な機能的形状を伴っても良く、ｇｔ４は何か重要なことが始まる特徴的な輝度であり、例えばｇｔ４は、日当たりの良い屋外の画素輝度が終り、光源の輝度が始まるような単純なものであり得る（例えばＨＤＲグレーディングは、これらの領域が重複せず、符号化される色変換済みのＨＤＲピクチャＩＭ＿ＨＤＲ＿ｉｎ^＊内で隣接するような方法で行われても良い）。受信側にとってこの特徴的な輝度は非常に有用であり、それはこの特徴的な輝度が今やその明るい領域のレンダリングを最適に調整することができる、例えばディスプレイの輝度範囲が認める場合にランプを極端に高出力の輝度でレンダリングし又は逆の場合も同様であり、ＬＤＲ部分のレンダリングより上で多くの明るい色が使用可能でない場合、日当たりの良い屋外の画素及びランプの両方にディスプレイ輝度を最適に割り当てることができるからである。このｇｔ４は、（人間によって決められた意味のある値なので）受信側における画像解析方法を支援することができるが、ストレッチやオフセットなどの受信側での単純な色変換関数をパラメーター化することもできる。符号化の単純な連続性の特性が無効にされるので、（ｇｔ１とｇｔ２との間の）あらゆる種類のギャップ及び重複又は他の多重冗長コード化等を符号化できることにも気付く。

更なる有用な特徴的グレイ値の注釈が出力信号Ｓの中に含められても良く、例えば特徴的ルーマｇＣｄｋは、ＬＤＲ部分とともに符号化される２つの意味論的画像副領域間の境界を形成しても良い。これは、例えば視聴者による制御の下、例えばより暗い領域の明るさを改善するためのアルゴリズム内で使用され得る。

例えばやはりトーン又はカラーマッピングユニットを典型的には有するトランスコーダにより、別のＬＤＲ範囲Ｒ＿ＯＴＨＳＥＬ＿ＬＤＲを選択する可能性も図示されている。その例では、例えばソフトクリッピング戦略を適用することにより、幾分多くの暗領域及び明領域を含めている。このことは暗領域のより多くが見えるようになることを最終的な心理視覚効果として有し、何らかの更なる明るいＨＤＲ効果が可能な限り上手く含まれる（例えば多くの場合、屋外の日当たりの良い領域がＬＤＲ画像内で強くクリップされるのに対し、飽和度が低下し過ぎる場合はより多くの色を含めるように注意深く選択することができる）。

図５は、映画製作システムにおいて本発明の概念の一部を具体化する例示的システムを示す。ＨＤＲ範囲Ｒａｎｇｅ＿ＨＤＲを捕捉可能な広ダイナミックレンジカメラ５０１を使ってＨＤＲシーンが捕捉され、捕捉された画像はカメラディスプレイ５０３上で見ることができる（好ましくは同じくＨＤＲでだが、カメラは例えばスライディングスケール、何らかのトーンマッピング、又は擬似カラー等を使用することによりＨＤＲをエミュレートすることができる）。それから、その画像が信号接続５０５（ネットワーク又は無線（衛星）等）を介して画像処理装置５１０に送られる。使用シナリオにもよるが、実際のブロードキャストでは、画像処理装置５１０は監督のブース又はトラック内の装置とすることができる。この場合、グレーディングは最低限まで減らすことができ、マッピングは単純であり、時々しか適用されなくても良く、時々とはつまり例えば番組の開始前にＣＭＡＰ＿Ｌ及びＣＭＡＰ＿Ｈを生成する単一の較正ステップと、現実とのずれが強くなり過ぎ、レンダリングされる評価中の画像が望ましくなく見え始める場合、コマーシャル中のアップグレードとである。映画製作シナリオでは、画像処理装置５１０は、（カラーグレーディングスタジオ内の後の時点ではオフラインでも良く）グレーダ５２０のグレーディング装置とすることができる。前者の場合、純粋に自動的な画像解析が行われ得る。後者のシナリオでは、人間によるグレーディングの出発点として画像解析が適用されても良く、即ちこの例ではグレーダ５２０によって仕上げられるということで、半自動の処理が行われると仮定する。任意の中間ステップ又は更なるステップ（例えば前にグレーディングされた信号を新たな用途のためにリマスタするステップ）にも同じ原理が適用され得ることに留意されたい。例えば、捕捉側では、ＤＯＰが結果として生じる画像Ｉｍ＿ＬＤＲ及びＩｍ＿ＨＤＲ内のシーンのＬＤＲ／ＨＤＲ構成を既に（事前）指定している場合があるが、グレーダ５２０はそれを指定し直すことができる。例えばグレーダは、中間３２ビット線形表現に対する適切なトーンマッピングにより、例えばＬＤＲ画像からＨＤＲ画像に光輝部の符号化データの幾らかの輝度水準をシフト（又はコピー）し、又はその逆を行い、それにより修正済みのＬＤＲ及び／又はＨＤＲ符号化画像を得ることができる。グレーダは、例えばＨＤＲ基準ディスプレイ５３１上のＨＤＲバージョンと、ＬＤＲ基準ディスプレイ５３０上のＬＤＲバージョンとを切り替え又は並べて見ることにより、典型的には同じシーンの幾つかのグレーディング及び／又は符号化を見ている可能性がある。それによりグレーダは、例えば出力Ｉｍ＿１^＊の部分範囲を変更することにより、典型的な最終的な視聴者群のそれぞれが見ることになるものを最適化し、これらの信号のそれぞれの符号化の品質を平衡させることができる。グレーダは、最終的なグレーデッド画像Ｉｍ＿１^＊をデータキャリア５１１上に記憶することができる。ことによるとグレーダは、マッピング関数Ｔｒｆの数学形式又はＬＵＴ等を指定することなどによりＹコードの意味を記述する、更なるメタデータも記憶することができる。

画像処理装置５１０内には、画素ごとの実際の計算作業を行い最終的な出力を作成し、グレーダを導き助ける画像処理サブユニットがある。当然ながら、カメラの入力信号ＣＳＩ及びグレーダの好み（一般にＵＩモジュールによって処理される）に基づきコード化画像Ｉｍ＿１^＊を導き出すように構成される画像符号化ユニット５５１がある。

更に、典型的には画像を解析してコード化を支援する画像解析ユニット５５０もある。このユニットは、ヒストグラムモードの特性及びＨＤＲ入力画像などの入力画像の一定の副領域にわたる色の分布を見ることができ、ことによるとテクスチャ解析やモーション解析、パラメーター化された幾何学的物体モデル推定などの他の画像解析コンポーネントによって更に支援される。このユニットは、ＨＤＲ信号内のＬＤＲの寄与がどのようなものであるかユニットが考える内容を特徴付けるデータ構造ＳＥＬ＿ＬＤＲを出力することができ（この場合もやはり典型的には人間の介入によって支援される）、その出力は単純な実施形態では範囲のように単純なもの、及びことによるとその範囲内でグレイ値がどのように分布するのかについての更なる何らかの情報（例えばＬＤＲ範囲内に含まれるＨＤＲ画像領域内の画素色の出現統計に依存する関数）とすることができる。より複雑な実施形態では、その出力は顔がどこにあるのか（これはその色にリンク可能又はリンクされる）など、ＬＤＲ領域の意味情報も含む非常に複雑な記述データ構造とすることができる。

この例の画像処理装置５１０（及びグレーダ）は、例えば古い映画などのレガシコンテンツ５８０へのアクセスリンク５８１も有する（当然ながら、当業者はこの機能が別の装置によって具体化され、画像化チェーンの別の段階で行われても良く、別のグレーダ又はコンピュータグラフィックスアーチストによって行われても良いことを理解する）。本実施形態では、グレーダがＨＤＲ効果を古いＬＤＲ映画に加えることができ、本実施形態は、ＬＤＲ符号化が変更される（「損害を受ける」）必要がない点で非常に有用であり、それはＬＤＲ符号化が、Ｉｍ＿１^＊又はＩｍ＿１^＊の少なくとも非常に単純で軽微且つ大いに可逆的な変換のＬＤＲ部分として符号化され得るからである。次いで、全てのＨＤＲ領域又は効果がＩｍ＿１^＊の残りの範囲内に符号化され得る。更に、例えばより低品質の符号化であり得る別の符号化Ｉｍ＿２^＊、例えば別の通信経路用の別の符号化を、インターネット５８４を介して携帯型ディスプレイに与えるための別の出力５８２が図示されており、携帯型ディスプレイは、一方ではＬＤＲ部分の品質の需要を低減している場合があり、他方ではＨＤＲ部分に対して重大な変換を施し、大いに歪められるが（それでも高品質システムが、本発明の符号化の実施形態に基づいて自らの必要とする最終的な符号化を得ることができるのと同じ位容易に）依然としてある程度レンダリングする。

チェーンの更に下方には、例えば特定のレンダリング環境向けに画像を調整するための加入時に、Ｉｍ＿１^＊内の符号化データを（例えば再マッピングによりＬＤＲ及び／又はＨＤＲ部分を適合することにより）改善できる映像改善サービスが（例えば遠隔サーバ上に）あっても良い。例えば携帯電話のようにいずれにせよ殆どＬＤＲであるディスプレイシステムのために、ＨＤＲ領域を犠牲にして範囲Ｒ＿Ｎｏｒｍｌ＿ＬＤＲを増やすことを考えることができる。

アンテナ５１２は、任意のデータ、例えば画像、動作命令等を受信し、又はそれを更に伝送することができる。

図６は、受信側のレンダリングシステムの一例を示す。このレンダリングシステムは、例えば映像処理ボックス６５１（例えばセットトップボックス又は汎用ＰＣコンピュータとすることができ、ボックスはＢＤ読取ユニット等を含んでも良い）、及びこの例ではＬＥＤバックライトＬＣＤテレビ６０２だが、ＯＬＥＤ、プロジェクター、簡単なＬＤＲディスプレイ等でも良いディスプレイから成ることができる。

映像処理ボックス６５１は、システムにもよるが、例えばディスク読取器、メモリカード及び接続されるメモリ管理ユニット用のスロット、外部装置を接続するためのバス、復調器を有するアンテナ及び受信機、ケーブル又は無線のネットワーク接続等とすることができる入力を有する。典型的には受信機が（記述及び必要な如何なるものも含め）全ての信号のデフォーマット化を行うが、このことは別の技術分野で広く知られていることになりつつあり、ここでは単純に符号化画像Ｉｍ＿１^＊が、たとえ専用のルーマコードマッピング定義とともにであろうがＲＡＷ画像として入って来ると仮定する。上記に記載したように、メタデータＭＥＴは非常に複雑な場合があり、どれ位正確にコード化が生じたのか、従ってどのように復号が行われるべきかを更に定めることができるが、画像が復号されたらその画像で何ができるのかを更に定めることも可能である（簡潔にするために線形輝度表現と見なされても良いが、他の何らかのマスタコード／色空間の定義が使われても良い、Ｉｍ＿ＨＤＲ＿ｏｕｔによって概略的に示す）。

特徴的グレイ値識別ユニット６６１は、メタデータＭＥＴからそれらの特定コードを抽出する（更にはそれらの特定コードを画像解析に基づいて得る）ために含まれても良く、その後、その情報は例えばトーン再マッピングに使用されても良い。

ＬＤＲリカバリーユニット６５６は、符号化画像Ｉｍ＿１^＊内のＬＤＲ部分を突き止めるために必要な全ての関数を適用するように構成され、そのため典型的には低ダイナミックレンジの輝度（Ｒ＿Ｎｏｒｍｌ＿ＬＤＲ）を突き止め、これはその後Ｉｍ＿１^＊からＬＤＲ画像を切り抜く際に使用されても良い。典型的には、画像構成ユニット６５７がＨＤＲリカバリーユニット６５５からＨＤＲ部分も受け取るので、画像構成ユニット６５７は最終的なＨＤＲ画像Ｉｍ＿ＨＤＲ＿ｏｕｔを生成し、これらの部分（例えばＬＤＲ画像Ｉｍ＿ＬＤＲ＿ｏ＋ＨＤＲ部分的画像ＩｍＰ＿ＨＤＲ＿ｏとして具体化される）は、例えば適切な逆マッピング（ＣＭＡＰ＿Ｌ^−１及びＣＭＡＰ＿Ｈ^−１）を適用した後、線形輝度領域へと全て一緒に構成されても良い。ＨＤＲ画像を（直接駆動信号として、又はディスプレイによる更なる変換を必要とする符号化として）ディスプレイに送る前に、トーンマッピングユニット６５８によって行われる更なるトーンマッピングが含まれても良い。このトーンマッピングユニットは、より優れた視聴品質を得るために信号を調整する、例えばｇＣｄｋ（又は実際はユニット６５７によるＩｍ＿ＨＤＲ＿ｏｕｔに対するマッピング後の対応する輝度）未満のルーマを有する画素に対し、変換関数ＴＭ＿ｄｋを用いてより明るくする変換を施すことができる。マッピングは、例えばボックス、テレビ、又は視聴者等の位置（例えばリモコン上）において輝度メーター６８８によって記録される視聴環境の特性の測定Ｓｕｒｒ＿ＩＬに依存しても良い。当然ながら、例えばＨＤＭＩ（登録商標）規格（接続の一例、例えばケーブル６５０）などの接続仕様に従って信号を調整する最終フォーマッタ６５９があっても良い。更に、ディスプレイに独自のインテリジェント変換を行わせるために、このフォーマッタは、線形ＨＤＲ画像ＩＭ＿ＨＤＲ＿ｏｕｔ内でもはや容易に認識できないＬＤＲ信号の改変形態Ｉｍ＿ＬＤＲなどの更なる画像の符号化を送っても良い。こうすることは、例えばユーザコントロールの下、ディスプレイが（含まれる画像処理ユニット６２０により）独自のカラーマッピングを行うことを可能にする。例えば伝送されたＨＤＲ信号がユニット６５８によりどのように再調整されたのかなど、少なくとも伝送されたＨＤＲ信号について記述する更なるメタデータＭＥＴ＿２（ＨＤＲ）が伝送されても良い。テレビは、例えばこの情報がメイン画像か又は小さいＰＩＰかに応じてこの情報を異なる様に使用することができる。

復号ユニット６５１は、アンテナ６９９を含み又はアンテナ６９９に接続され、同じ又は別のＨＤＲ出力画像を例えば携帯型表示装置６３０に伝送することができる。

本実施形態及び容易な再レンダリングがユーザインターフェイスとどのように連携するのかについての一例が、「情報認識輝度コントロール」、例えばリモコン上の改善された輝度のボタン６４１によって示され得る。Ｉｍ＿ＨＤＲ＿ｏｕｔの全ての画素の輝度にむやみにオフセットを加えるのではなく、このボタンを押すと、例えば暗い極大部分２０４の情報を残りの画素と異なるように再マップし、そのようにして暗い物体のはるかに優れた視認性を得る、新たなトーンマッピング戦略を映像処理ボックス６５１又はテレビが適用することができる。様々な特徴的グレイレベルは、様々な部分範囲に対して何が行われなければならないのか（より強く明るくすること、調和された量のより少なく明るくすること、識別情報の変換）を定めることによってそのような動作をパラメーター化することにより、強力に支援することができる。

本実施形態は、レンダリング側における改善されたユーザインターフェイスコマンドを可能にする。よりインテリジェントに適合する再び明るくするボタン６４２、又はよりインテリジェントなコントラスト改善ボタン６４３は、全てのメタデータだけでなく符号化部分範囲も利用することができる。例えば、コントラストボタンを暗部にあり不十分に照らされている顔の部位に適用することができる。正しく照らしているときでさえ、特徴的グレイ値によってその範囲を区別することは、その範囲を異なるように処理することを可能にし得る。例えば、顔の部位に適用されるガンマ修正関数はメタデータに依存しても良い。

本発明は、１つのＬＤＲ範囲（更にことによると原則として幾つかのＬＤＲ範囲又は部分範囲）に加え、複数のＨＤＲ範囲又は部分範囲を有することを排除せず、図７の例を用いて説明するように、特にこの自由を使用して幾つかのグレードを併合できることに留意されたい。とりわけ、範囲に沿ったグレイ値間又はその任意の変換の間で、単純な連続非線形関係をもはや有さない自由は大きな利点である。あらゆる古典的トーンマッピング変換は、望ましい場合も望ましくない場合もあるグレイ値領域の一部をどこかに押す、一種の「スプリング」と見做すことができる。例えば、ガンマ関数はそのような単純化した変換の一例である。ガンマ関数は事実上ホワイトを固定したままにし、輝度スケールのより暗い領域に主に作用する。ガンマ関数は、一部の中間グレイを暗くし過ぎ、又はより暗い領域用に多過ぎるコードを確保する場合がある。連続割当関数によって定められる単一の輝度範囲を有し、更なる厳密なサブコントロールを有さないことは、クリップするホワイト又は黒を正確に平衡させることを常に含む。（異なる表示色系に変換するときに行われるものなどの単純な連続「スプリング型」変換でさえ）色／輝度のコード化とレンダリングとを区別しなければならないことに留意されたい。ディスプレイ及び／又は視聴環境の特性などのレンダリング要件を実施する中間変換が常にあり得るので、ルーマコード値は、ＰＡＬやＭＰＥＧ２などの古典的テレビチェーンにおいて起こるようにディスプレイに直接適用されない限り、画像領域のレンダリングされる輝度に正確に直接対応する必要はないが、存在する物体を適度に特徴付けるのに十分なコード値があるべきである。即ち、捕捉シーンの物体のテクスチャのコード化から、画像内に符号化されるシーンの照明ベースの「見た目」を切り離すことができるとき。即ち、本発明は例えば幾つかの照明領域（幾らかの照らされている領域、中間領域、暗領域）を識別し、更に（カメラによる捕捉中はそうでなかった場合でも）あたかもそれらが全て完全に照らされているかのように、即ち最適で十分な範囲／量のコード値を用いてそれらを符号化することができる。その後、所要のレンダリングの見た目を施すことができる。例えば、ＬＤＲディスプレイ又は装置は、暗い画素輝度の暗領域を幾分明るくして表示したいのか、又は見分けがつかない黒として表示したいのかを決めることができる。例えば映画がテレシネでスキャンされるとき、映画のつま先及び特に肩の目立たない勾配は多くの情報を含み得る。即ち例えば暗領域が多くのノイズを含むときでも、スキャンされる暗領域は、例えばインテリジェントなノイズ除去又は一般的な物体改善アルゴリズム（例えば暗い物体上の数学的テクスチャを修復するコンピュータグラフィックス特殊効果などの複雑な演算を伴い得る）の後、その暗領域用の多くのコード値を用いて最終的なデジタルＨＤＲ符号化内でこの暗領域を符号化することができる。又は、そのような暗領域に関して用途面で（例えばレンダリング面で）依然として行われ得る予想に基づき最適な量のコード値が決定されても良く、このことはそれ程重要ではない場合がある。次いでＬＤＲシステムは、例えばこの領域がそのルーマコード範囲の中央に入るまで、ごく少数の最も暗いコード値を用いて単純に符号化される場合よりもはるかに少ないアーティファクトとともにこの領域を明るくすることができる。

次に図７は、本発明の実施形態の一例として、単一のＨＤＲ画像符号化構造において、映画製作者にとって重要な３つのグレーディングをどのように統合できるのかを概略的に示す（当然ながら、例えばテレビ報道やゲーム制作のための同様の方式が構築されても良い）。（当然ながら映画は古典的なセルロイドで撮影されている可能性もあるが）映画のＲＡＷ信号が、ＡＲＲＩやＲＥＤなどのデジタルカメラで撮影されると仮定する。第１のグレードは、映画館向けの（古典的なフィルム上にプリントされ又はデジタル式に投影される）マスタグレードである。第１に製作者がこのグレードを高品質グレードと見なし、第２に映画館が妥当で優れたレンダリング特性を有するので、このグレードはＨＤＲグレードと見做すことができる。レンダリングは暗闇の中で行われても良いが、そのための視覚適応は単純な数学的マッピング関数によって大部分は行われ得る。投影装置（及び当然、安全光などの映画館内の光）などの要素によりピクチャ内のコントラストは低減され得るが、ピクチャ間のダイナミックコントラストは良い場合があり、典型的には暗くて恐怖を感じさせる環境及び日当たりの良い屋外の両方を納得のいく方法でレンダリングすることができる。符号化は、典型的には例えばセルロイド映画のグレイ値の挙動を考慮に入れる。そのためこのマスタグレードでは、暗い環境内の黒い物体（暗い環境に適合される場合に区別され得るが、最も重要なことは実際の輝度又はその任意のコード表現ではなく、むしろその心理的影響、即ち黒い領域が暗いレンダリング内で見える程明るいレンダリング内で決して暗く見えることがない心理的影響である）から、見る人に向かって光る閃光などの明るい光（映画館では大抵高度な輝きの心理的解釈だが、一部のＨＤＲディスプレイ上では非常に明るい領域を本当に作成することができる）に至るまで、良い精度で符号化したい場合がある。第２のグレーディングは、ＨＤＲテレビのペイチャンネルなどによって提供され得る、家庭環境内の電子ディスプレイ用のＨＤＲグレーディングとすることができる（「ホームＨＤＲグレーディング」と呼ぶものとする）。この第２のグレーディングは、マスタグレードと大部分は一致し得る（異なるレンダリング環境内で見た目をほぼ維持するために、それらが典型的には単純なマッピング関数によって関係付けられ得るため）が、例えばより少ない暗いコード及びより多い明るいコードを含む場合がある。一部の領域のどんな微調整もメタデータ変換関数を用いて符号化されても良いが、とりわけ画素値の再符号化を用いて符号化されても良く、その場合、本発明では例えば一部の明るい画素領域のＨＤＲ信号内の二重符号化があり得ることに留意されたい。例えば、そのルーマがマスタグレード内で和らげられている場合があるランプの画素値の範囲は、映画館グレードのためにＣＭＡＰ＿Ｈ２＿ＣＩＮ範囲内で符号化されても良く、ＣＭＡＰ＿Ｈ２＿ＤＩＳＰＬ範囲内で異なる方法で再度符号化されても良く、その符号化は例えば画素がインタレースされる方法（即ちレンダリング前にフィルターされ得るチェッカーボードパターン）で行われ得る。

しかし典型的には、第１のカテゴリのランプは、映画館用のマスタグレードの明るい領域に割り当てられる範囲、即ちＣＭＡＰ＿Ｈ２＿ＣＩＮに含まれ、他の非常に明るいランプは、ホームＨＤＲグレーディング用の最終的なＨＤＲ信号内に割り当てられる、より高い別の範囲内で符号化されても良い。典型的な実現は、例えば（シーンで想定される任意の表現、例えば最終的なＨＤＲ信号表現も作成するグレーディング装置内の中間線形輝度色空間内の）これらの非常に明るい領域を専らホームＨＤＲ部分範囲ＣＭＡＰ＿Ｈ２＿ＤＩＳＰＬ内で符号化することができる。次いで映画館内の電子映写機は、あたかも画像領域がＣＭＡＰ＿Ｈ２＿ＩＮの上部で符号化されたのと同じことに事実上相当する使用可能な値にそのコードを変更する、最終的なレンダリング変換を適用する。この範囲ＣＭＡＰ＿Ｈ２＿ＤＩＳＰＬは、例えば非常に明るい光領域を可能にする非常に急な勾配を有するが、より少ないディテールを伴うように定められても良い。つまり、例えば近未来ディスプレイのいずれでも実際には忠実にレンダリングすることができない超新星でさえ符号化することができるが、ディスプレイは、レンダリング可能な適切な表示空間駆動値に変換するために、これらの様々な物体コード値を使用することができる。

ＣＭＡＰ＿Ｈ１、ＣＭＡＰ＿Ｈ２のそれぞれを用いて、暗領域の符号化の２つの例も示している。最初のものは、例えば（典型的にはより明るい視聴環境内にある）電子ホームディスプレイ用のレンダリング可能な値のために必要とし得る、より暗くない領域に対応することができる。それらを典型的なＬＤＲ照度範囲に含める必要はないが、実際のところそれらはもはや実際にはＬＤＲではないので、それらはより低い部分範囲内で符号化することができる。しかし、レガシＬＤＲイメージングシステムは、ＬＤＲ部分を切り出す場合に妥当に動作し（この場合これらの値は最も暗い黒としてレンダリングされる）、その上更にスマートなＬＤＲシステム（少なくともＬＤＲ表示能力を備える）は、例えば（典型的には全体的な画像の見た目に必要なテクスチャの変化対暗さの区別可能性を平衡させるアルゴリズムを用いて）それらのより暗くないコード値をより明るく表示可能な駆動値に局所的にマッピングすることにより、新たなＬＤＲ駆動信号を構築することができる。ＣＭＡＰ＿Ｈ２領域は、主に映画投影にとって関心のあるより暗い領域を含むことができる。従って本発明者らは、このシステムがディスプレイ／復号化側及び作成／符号化側の両方で非常に容易な信号の使用を可能にするのが分かる。復号化側では、ＬＤＲディスプレイグレードである第３のグレード（例えば今やＤＶＤ又はＢＤを作成するために典型的に行われる）がＣＭＡＰ＿Ｌ部分内にある限り、ＬＤＲシステムは、ＨＤＲ信号内の残りの情報で何かを依然としてしたい場合でも、無視する（即ちより低い全ての値を例えば０として扱う）場合でも容易にそれを抽出することができる。ＨＤＲホームディスプレイは、ＣＭＡＰ＿Ｈ２領域を除く全てを解釈し使用することができる。また、コンテンツ製作者は、単純化されたワークフロー及び全て一緒に調整し節約する可能性の点でこのシステムから非常に恩恵を受ける（システムは後の時点でのトランスコーディングも当然可能にするが、とりわけ選択及び変換に関する更なるメタデータがシステムによって共同符号化される場合、後の最適化のために少なくとも全てのグレーディング専門知識が既に信号内にある）。例えば、ＬＤＲ部分に達するためにどんな戦略を使用しても良い。品質基準にもよるが、単に例えばＬＤＲ部分の一部のマッピング戦略を直し、ＬＤＲグレードが妥当に見えるかどうかを何らかのＬＤＲディスプレイ上で同時に見ることができる（又はそれに例えば「改善されたホームＬＤＲグレードに後で最適化される、マスタグレードに良い」と注釈を付け、次いで我々のシステムはＢＤ上に記憶される第２の別個のＨＤＲ信号を生成できるが、単に即ち単一のＨＤＲ画像内に符号化される（回復可能な）グレードの歪みを最小限にするための品質基準を定めることにより、元のマスタグレードを微調整し、それにより３つのグレードが１つのＨＤＲコード化内に依然として適当に含まれるようにすることもできる）。マスタグレードがどのように見えるのかを同僚が映写室内で見ても良く、ＬＤＲグレードも確認するグレーダは、例えばＳＩＭ２などのＨＤＲ参照モニタを同時に見ることができる。全ての副領域、その定義及び埋込みにわたり完全且つ複雑な制御を有することは、品質基準を緩和しようと厳しくしようと、これらの３つのグレード全ての優れたコード化を一緒に可能にする。例えば、ＬＤＲ部分は「普通に明るくされた環境」（Ｒ＿Ｎｏｒｍｌ＿Ｌｉｔ＿Ｅｎｖ）としてスマートに定義されても良く、グレーダは、ＨＤＲ品質に関して上手く逃れることができることに比べ、ＬＤＲ範囲に何がマップされ得るのかに応じてそれを選択することができる。しかし、（共同符号化される）マッピングは非常に複雑であり得ることに留意されたい。そのため、単に光輝部がＬＤＲ部分範囲内でクリップされるべきということではなく、そうすることはＨＤＲ信号を回復する際にアーティファクトを生じさせる場合がある。いずれにせよ、それらはＬＤＲレンダリングのために輝度の点で低減される必要があるので、とりわけ例えば上記の範囲ＣＭＡＰ＿Ｈ２＿ＣＩＮ内に符号化されるＨＤＲ物体と適切に協調するマッピングの後、それらの輝きのＨＤＲ復号が正しい輝きとして引き続き回復可能であるようなマッピングで行われ得る。そのためグレーダは、その部分範囲内に符号化されるメインＬＤＲストーリを選択する多くの自由を有する。即ちそのグレーダは、例えば最適化されていない照明下の顔を厳密にレンダリングするためのコードの量や、（セマンティックステートメント共同符号化である、クリップされる一部の物体、例えば暗領域を明確に除外することによる）後の信号の使用し易さなど、情報理論的原理等に純粋に基づいて例えばそのマッピングＣＭＡＰ＿Ｌを選択することができる。例えばシーンのある副領域にどれ位のコード値が望ましいかを計算し（例えばシーンが暗く、それ程多くない非常に複雑な空間物体テクスチャを有する場合）、例えば［０〜２５５］のある領域をインテリジェントに割り当てることができる。どんな信号定義でもメモリ割当てを必要とするビット数としてのコードワード長及び意味（任意の「シーン表現」、例えば｛１６ビット定義＿ガンマ＿１、０．１〜５０００ニット｝の参照ディスプレイ空間内の輝度）が、今では最適に分離され、制御可能である。

本明細書で開示したアルゴリズムコンポーネントは、実際にはハードウェア（例えば特定用途向けＩＣの一部）として、又は専用のデジタル信号プロセッサー若しくは汎用プロセッサー上で実行されるソフトウェア等として（完全に又は部分的に）実現されても良い。それらは、少なくとも何らかのユーザ入力（例えば工場内、消費者による入力、又は他の人間による入力）があっても良いという意味で半自動とすることができる。

本発明者の解説から、どのコンポーネントが任意選択的な改善であり得るのか及び他のコンポーネントと組み合わせて実現可能なのか、並びに方法の（任意選択的な）ステップがどのように装置のそれぞれの手段に対応し、その逆もどのように対応するのか当業者にとって理解可能であろう。一部のコンポーネントが本発明では特定の関係（例えば単一図面内の特定の構成）で開示されていることは、特許を取得するために本明細書で開示するのと同じ発明的思考に基づく実施形態として他の構成が可能でないことを意味するものではない。また、実利的理由から限られた範囲の例しか説明していないことは、他の改変形態が特許請求の範囲に該当し得ないことを意味するものではない。事実、本発明のコンポーネントは、任意の使用チェーンに沿って様々な改変形態で実施されても良く、例えば符号器などの作成側装置のあらゆる改変形態は、分解されたシステムの消費側の対応する装置、例えば復号器と同様又はかかる装置に対応することができ、逆の場合も同様である。実施形態の幾つかのコンポーネントが、例えば処理チェーン全体の中にある本発明の様々なコンポーネント間の技術的な機能の調整などの用途で、符号器と復号器との間の任意の伝送技術等で、伝送用信号内の特定の信号データとして符号化されても良い。本願の中の「装置」という用語はその最も広い意味、即ち特定の目的を実現できるようにする手段群として使われ、従って例えばＩＣ（のごく一部）、専用機器（ディスプレイを有する機器など）、又はネットワーク化されたシステムの一部等とすることができる。「構成」又は「システム」も最も広い意味で使われることを意図し、そのため、この用語はとりわけ単一の物理的な購入可能な装置、装置の一部、共働する装置の集まり（又は一部）等を含むことができる。

コンピュータプログラム製品の明示的意味は、汎用プロセッサー又は専用プロセッサーが一連のローディングステップ（中間言語及び最終的なプロセッサー言語への翻訳などの中間変換ステップを含んでも良い）の後、プロセッサー内にコマンドを入力して発明の特徴的機能のいずれかを実行できるようにする、コマンド群の任意の物理的実現を包含すると理解すべきである。とりわけ、コンピュータプログラム製品は、例えばディスクやテープ、メモリ内にあるデータ、（有線又は無線）ネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードなど、キャリア上のデータとして実現され得る。プログラムコードは別にして、プログラムに必要な特徴的なデータもコンピュータプログラム製品として具体化され得る。そのようなデータは任意の方法で（部分的に）供給され得る。

本発明の任意の実施形態、又は本発明の実施形態の任意の原理に従って使用可能な映像データなどの如何なるデータも、光学ディスク、フラッシュメモリ、着脱式ハードディスク、無線手段によって書込み可能な携帯装置などの取外し可能なメモリとすることができるデータキャリア上の信号として具体化され得る。

データの入出力ステップ、標準的なディスプレイの駆動などのよく知られている典型的には組み込まれる処理ステップなど、提示した任意の方法の実施に必要なステップの一部は、（本発明の実施形態の詳細とともに）本明細書に記載したコンピュータプログラム製品内の記述、任意のユニット、装置、又は方法ではなく、プロセッサーの機能又は本発明の任意の装置の実施形態の中に既にある場合がある。本発明者らは、例えば方法の任意のステップ又は装置の任意の下位部分に関与する特定の新規の信号、並びにかかる信号の何らかの新規用途又は関係する任意の方法など、結果として生じる製品及び同様の結果の保護も要求する。

上記の実施形態は、本発明を限定するのではなく例示することに留意すべきである。特許請求の範囲の対象である他の範囲に対する提示した例の対応付けを当業者なら容易に認識できるので、簡潔にするためにそれらの全ての任意選択事項を詳しくは言及していない。特許請求の範囲の中で組み合わせられる本発明の要素の組合せは別として、それらの要素の他の組合せも可能である。要素のどんな組合せも、単一の専用要素内で実現され得る。

請求項における括弧の間の如何なる参照符号も請求項を限定することは意図せず、図面内の或る特定の記号でもない。「含む」という用語は、請求項の中に挙げられていない要素又は側面の存在を排除しない。要素の前にくる語「ａ」又は「ａｎ」は、その要素が複数存在することを排除しない。

Claims (16)

1. 高ダイナミックレンジ画像を符号化する画像符号化ユニットであって、
   −前記高ダイナミックレンジ画像の範囲に含まれる全輝度範囲内で、輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲を識別するためのＬＤＲセレクタであって、前記輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲は、その中に符号化される画像情報がＬＤＲレンダリングのために使用可能である程度に大きい、ＬＤＲセレクタと、
   −前記全輝度範囲内で、前記輝度の低ダイナミックレンジの範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲を選択するためのＨＤＲセレクタと、
   −Ｎビットコードワードを少なくとも含むルーマ成分を有する第１の画像内で、前記輝度の低ダイナミックレンジに含まれる前記高ダイナミックレンジ画像の画素輝度を第１のマッピングによってルーマコード値に符号化し、前記少なくとも１つの補完的範囲に含まれる前記高ダイナミックレンジ画像の画素輝度を第２のマッピングによってルーマコード値に符号化するコードマッピングユニットであって、前記第１のマッピング及び前記第２のマッピングは前記第１の画像のルーマコード値の範囲の離れた部分範囲にマップする、コードマッピングユニットと
   を含む、画像符号化ユニット。
2. 前記輝度の低ダイナミックレンジに含まれる輝度を有する前記高ダイナミックレンジ画像の画素色に比色変換を施し、それらの画素色について修正済みの画素輝度を得る変換ユニットを含む、請求項１に記載の画像符号化ユニット。
3. 前記ＬＤＲセレクタが、入力されるＬＤＲグレーデッド画像及び／又はそのＬＤＲグレーデッド画像を特徴付けるメタデータに基づき、前記全輝度範囲のうちの前記輝度の低ダイナミックレンジを識別する識別ユニットを含む、請求項１又は２に記載の画像符号化ユニット。
4. 前記コードマッピングユニットが、前記ＬＤＲグレーデッド画像内に符号化される前記画素色値に従って前記輝度の低ダイナミックレンジに含まれる前記高ダイナミックレンジ画像の画素輝度をマップする、請求項３に記載の画像符号化ユニット。
5. 前記第１の画像に加え、特徴的輝度レベル又は特徴的ルーマコード値の少なくとも１つを出力する画像信号フォーマッタを含む、請求項１乃至４の何れか１項に記載の画像符号化ユニット。
6. −高ダイナミックレンジ画像の範囲に含まれる全輝度範囲内で、輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲を選択するステップであって、前記輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲は、その中に符号化される画像情報がＬＤＲレンダリングのために使用可能である程度に大きい、選択するステップと、
   −前記全輝度範囲内で、前記輝度の低ダイナミックレンジの範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲を選択するステップと、
   −Ｎビットコードワードを少なくとも含むルーマ成分を有する第１の画像のルーマコードに、第１のマッピングによってルーマコード値のために前記輝度の低ダイナミックレンジに含まれる前記高ダイナミックレンジ画像の画素輝度及び、第２のマッピングによってルーマコード値のために前記少なくとも１つの補完的範囲に含まれる前記高ダイナミックレンジ画像の画素輝度をマッピングするステップであって、前記第１のマッピング及び前記第２のマッピングは前記第１の画像のルーマコード値の範囲の離れた部分範囲にマップする、マッピングするステップと
   を含む、高ダイナミックレンジ画像の画像符号化方法。
7. 前記輝度の低ダイナミックレンジ内の輝度を有する画素に対してカラーグレーディングを行うステップを含む、請求項６に記載の高ダイナミックレンジ画像の画像符号化方法。
8. 高ダイナミックレンジ画像の符号化から高ダイナミックレンジ画像を得る画像復号ユニットであって、
   −前記高ダイナミックレンジ画像の範囲に含まれる全輝度範囲内で、輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲を決定し、前記高ダイナミックレンジ画像の符号化から低ダイナミックレンジ画像を得るＬＤＲリカバリーユニットであって、前記輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲は、その中に符号化される画像情報がＬＤＲレンダリングのために使用可能である程度に大きい、ＬＤＲリカバリーユニットと、
   −前記全輝度範囲内で、前記輝度の低ダイナミックレンジの範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲を決定し、その少なくとも１つの補完的範囲に対応する前記高ダイナミックレンジ画像の符号化から少なくとも１つの高ダイナミックレンジ副画像を決定するＨＤＲリカバリーユニットと、
   −前記低ダイナミックレンジ画像及び前記少なくとも１つの高ダイナミックレンジ副画像から前記高ダイナミックレンジ画像を構成する画像構成ユニットであって、前記低ダイナミックレンジ画像及び前記少なくとも１つの高ダイナミックレンジ副画像は、前記高ダイナミックレンジ画像の主として重複しない輝度の部分範囲を範囲に含む、当該画像構成ユニットと
   を含む、画像復号ユニット。
9. 特徴的輝度レベル又は特徴的ルーマコード値の少なくとも１つを入力メタデータから抽出する特徴的グレイ値識別ユニットを含む、請求項８に記載の画像復号ユニット。
10. 前記ＬＤＲリカバリーユニットが、前記特徴的輝度レベル又は前記特徴的ルーマコード値に基づき前記輝度の低ダイナミックレンジを決定する、請求項９に記載の画像復号ユニット。
11. 少なくとも画素色の輝度又はルーマが、前記特徴的輝度レベル又は前記特徴的ルーマコード値のそれぞれによって定められる前記高ダイナミックレンジ画像の輝度又はルーマの部分範囲に含まれる場合、前記画素色を変換するトーンマッピングユニットを含む、請求項９に記載の画像復号ユニット。
12. 前記トーンマッピングユニットが、少なくとも一定の閾値未満の輝度又はルーマを有する画素色の明るくする変換を施す、請求項１１に記載の画像復号ユニット。
13. 前記トーンマッピングユニットが、光センサーからの周辺照明の測定に応じて、少なくとも一定の閾値未満の輝度又はルーマを有する画素色の明るくする変換を施す、請求項１１に記載の画像復号ユニット。
14. 高ダイナミックレンジ画像の符号化から高ダイナミックレンジ画像を得るための画像復号化方法であって、
    前記高ダイナミックレンジ画像の範囲に含まれる全輝度範囲内で、輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲を決定し、前記高ダイナミックレンジ画像の符号化から低ダイナミックレンジ画像を得るステップであって、前記輝度の低ダイナミックレンジ又は対応するルーマコード値の範囲は、その中に符号化される画像情報がＬＤＲレンダリングのために使用可能である程度に大きい、ステップと、
    前記全輝度範囲内で、前記輝度の低ダイナミックレンジの範囲に含まれない輝度を主に含む少なくとも１つの補完的範囲を決定し、その少なくとも１つの補完的範囲に対応する前記高ダイナミックレンジ画像の符号化から少なくとも１つの高ダイナミックレンジ副画像を決定するステップと、
    前記低ダイナミックレンジ画像及び前記少なくとも１つの高ダイナミックレンジ副画像から前記高ダイナミックレンジ画像を構成するステップであって、前記低ダイナミックレンジ画像及び前記少なくとも１つの高ダイナミックレンジ副画像は、前記高ダイナミックレンジ画像の主として重複しない輝度の部分範囲を範囲に含む、当該構成するステップと
    を含む、方法。
15. プロセッサーが実施することを可能にする、請求項６に記載の符号化方法のソフトウェアを含む、コンピュータプログラム。
16. プロセッサーが実施することを可能にする、請求項１４に記載の復号化方法のソフトウェアを含む、コンピュータプログラム。

Images