JP5899120B2 - カラーレジームを定義する装置及び方法 - Google Patents

Description

本発明は、入力画像信号に画像定義情報を追加する方法、入力画像信号の画像ピクセル情報に画像定義情報を追加する画像分析装置、これらの方法及び装置が画像作成側で行うことに同様に対応して、レンダリングされるべき入力画像信号を該入力画像信号に関連する画像定期情報に基づいて処理する方法、レンダリングされるべき入力画像信号を該入力画像信号に関連する画像定期情報に基づいて処理すると共に、上記画像作成側における所望のレンダリング及びディスプレイ側における実際のレンダリングを協調（調和）させる方法、及び典型的には例えばＭＰＥＧ規格において規格化されるであろうカラーレジーム記述を含む画像信号に関する。

例えばテレビジョン番組表示のための初期のカラーレンダリングにおいて、コンテンツ作成側（例えばカメラ操作者）とカラーレンダリング側（例えば、テレビジョン又はコンピュータディスプレイ上の表示）との間の関係は、単純であり、強固な技術的原理により固定されていた。所謂、標準のＣＲＴディスプレイが定義され、斯かるＣＲＴディスプレイは特定の蛍光体、２５６の大凡視覚的に等距離の駆動ステップによる特定のガンマ２.２色調再生曲線を有していた。このような方法で対処された多数の基本的カラー再生問題が存在する。即ち、カラーレンダリングシステムは（最良の）視聴者に対して最適化されるべきであり、もっと重要なことに、カラーレンダリング能力（及び、特にカラー記述／通信規格）はカラー捕捉側（カメラ）又はカラーレンダリング（ディスプレイ）側により（大部分）規定／決定されるべきである。その時点で、来る数十年のためのテレビジョン色彩測定に関する基礎的規則として多数の近似が導入された。最初のカラーテレビジョンの時代の物理的表示制約を考慮に入れ、最初のディスプレイ及び表示される信号は、その時点で得られたＣＲＴの視聴者、所与のサイズ、輝度等に対して理想的な画像を生じるように最適化された（ＮＴＳＣ、１９４０年代後期、１９５０年代初期、その時点で、典型的な視聴距離に対して解像度は十分精細であり、最小可知差異（ＪＮＤ）に対する十分な駆動ステップは知覚的に良好なものに達し、白輝度から開始する弁別不能な黒等）。次いで、小さく暗いＣＲＴであったその時点での標準的ディスプレイに対して、殆どのシーンに対して捕捉（キャプチャ）されたシーンをディスプレイ上で合理的に見える画像へ変換するための、コンテンツ作成側に対する規則が規定された（シーンが、決して１００：１以上のコントラストを有さず、不完全な色である等の低品質写真印刷でレンダリングされねばならなかったアナログ写真の分野でも同様の配慮がなされた）。例えば、実生活のカラーシーンを測定するためには理論的にはスペクトルカメラが必要であるとしても、近似として、カラーがどの様な装置上で表示されねばならないかが分かるなら、カメラ感度曲線を決定することができる。この場合、斯様なカメラ感度曲線でキャプチャされた画像は、少なくとも同時にキャプチャ側でのシーンの照明をエミュレートすれば、実際には誤差が存在するものの、ディスプレイ上では同様に見える画像を再生するはずである。更に、これらのカメラ曲線は負のローブを有する一方、これらの理論的最適曲線を光学フィルタの組み合わせで正確に再生するよう試みることはできるが、実際には（視聴者が、当該シーンにおいてどのようなカラーが正確に生じているかも知らないとして）当該カラーが合理的に見えるようにさせるにはマトリクス処理で十分である。カメラ操作者及びカラー評価者（グレーダ）／補正者等の幾人かのコンテンツ作成側専門家は、表示された場合に、最終的に符号化された画像が最適に見えるようにするためにパラメトリック変換により手品を行わなければならない。例えば、カラー補正者により通常になされることは（異なるビデオ材料が組み合わされるビデオ分野において）、異なる入力の白色点（ホワイトポイント）に注視し（１つの全体的な、むしろ、厳しいタイプの比色的画像エラー）、これらを、顔等の重要な色も注視しながら、例えばピクセルの青貢献度を僅かに増加させることにより合致させる。映画題材では、更なる芸術的配慮が含まれ得、例えば、夜のシーンに対しては僅かに青みがかった見え方が付与されるが、これは、フィルム特性に合致するカラーフィルタにより殆どが作成されていない場合、典型的にはカラー評価者により後編集でなされる。これも典型的に色調再生曲線の微調整に関わる他の例は、荒れ果てた見え方を付与するために、映画を彩度が減じられたように見せることである。

色調再生曲線ガンマ挙動の管理を行うことが更に一層重要である。キャプチャされた線形センサデータを符号化するために０.４５の逆ガンマ補正を適用するだけで十分であろうと感じるかも知れないが、それとは別にして、典型的なシーンの一層大きなダイナミックレンジは、常に、なんとかして［０−２５５］間隔にマッピングされねばならない。色調再生曲線の微調整も、結果として、例えば一層粗い高いコントラストの見え方、より暗い又は一層目立つ陰等を生じさせる。カメラ操作者は、典型的には、利用できる同調可能な逆ガンマ曲線を有し、その場合に該操作者はキャプチャされたシーンが良好な見え方を有するように膝（ニー）及び肩（ショルダ）点等を設定することができる（典型的には、誰かが当該シーンを、かつてはＣＲＴであり、現在ではＬＣＤである基準モニタ上で注視する）。湿式写真では、同じことを、例えば顔をアダムスゾーンシステムのゾーンＶＩにマッピングするための、例えばプリント及び現像条件等の"ハードウェア"処理により実現することができるが、最近では、検討されているデジタル中間物が時には存在する。古典的なフィルムストックに撮影することを愛する映画撮影者にでさえ、最近では、デジタルビデオ補助ストリーム（多くのアクションが例えばグリーンスクリーンの前であり得る技術的なフィルム撮影の増加傾向において非常に有用であり得る）が利用可能である。従って、要約すると、視聴者の側における実際の部屋の条件は無視されるべきものあるとするのは別として、全カラーキャプチャシステムは、コンテンツ作成車両が画像を作成する際に定められた既定事実として考慮に入れられる"校正された理想ディスプレイ"の周りに設計される。

問題は、これが、その頃には既に非常に近似的なものであったということである。その理由付けは、"例えば、なんとかして写真用紙上にシーンを再生する駄目な仕事をした場合、精度に関する全ての要件を緩和して、画像化されるシーンの合理的な認識可能性、消費者に賞賛される生き生きとしたカラーレンダリング等の原理を考慮に入れて、シーンからレンダリングへの技術的マッピングの一層主観的な定義を適用することができる"というようなものであった。しかしながら、この画像符号化技術（例えば、ＰＡＬ又はＭＰＥＧ２に規定されているような）は、"キャプチャされるシーンの照明を変更した場合、それが照度又はホワイト点又は空間分布又は特別な特性であるか"、"特にシーン対視聴環境等に適合された視聴者に照らして見た場合に、視聴環境及びシーンの照明の相違により生じる誤差に関してはどうか"等の多数の重要な問題と共存するものと理解されるべきである。

これらの問題及び結果的誤差は、標準的居間における標準的ＣＲＴから、一連の異なるディスプレイ及び視聴環境（例えば、ディスプレイのピーク白輝度が増加される）へ変化し始めた場合、悪化した。

下記の技術的解決策は、画像／ビデオ／フィルム製造の現在及び将来の進化、及び特には将来のディスプレイを考慮に入れるために、画像作成（特には、最近に撮影されたもの又は古い題材の再マスタリングに拘わらず、デジタル化されたフィルム在庫材料でもあり得るデジタルビデオ）を一層万能にする目的により着想された。映画館における進化は、何となく、遅かったが、視聴者の居間における実際のディスプレイがＬＣＤになり、色の原色、色調再生等の斯かるディスプレイの特性が変化したという問題が既に発生し始めていた。しかしながら、解決策は厳格な規格に固執するというものであり、色調再生曲線変換ルックアップテーブル等を用いることによりＬＣＤを再び標準のＣＲＴのように振る舞うようにさせるというものであった。しかしながら、高ダイナミックレンジ（ＨＤＲ）ディスプレイの出現により、斯様な解決策は実行不可能となった。即ち、他の第2のディスプレイとは非常に物理的に（黒レベル、グレイレベルの制御可能性、ピークホワイトの輝度等）異なる第１のディスプレイを、該第２の（理想的）ディスプレイと正確に同様に振る舞うようにさせ得ることを装うことはできない。これは、５０年代の低品質ディスプレイの挙動を、現在の高品質高ダイナミックレンジディスプレイ上で正確に模擬（エミュレート）したいと実際に欲する場合にはうまくいくかも知れないが、このことは、人々が新しい高品質ディスプレイを使用したいと欲している仕方ではない（低品質の出力を見せるだけなら、何故高品質ディスプレイを購入するかである）。典型的に、ＴＶの画像最適化アルゴリズムにより自動的になされるか、又は視聴者がリモコンで画像視聴特性又は嗜好を変化させることによるかに拘わらず、これらのテレビジョンは、画像の輝度及び彩度の増加のような事項を含み得る見事な見え方を欲するものである。しかしながら、このことは、画像／ビデオ信号で利用可能な少ないコードが過度に伸張される等の事実により、例えば不正確な暗さ又は黒領域、彩度の過度の増加によるコンテンツの漫画風化、空等の階調の段差パターン等の、最終的にレンダリングされる画像の実際の見え方に関して幾つかの視覚的欠点を有し得る。

単一のＨＤＲディスプレイの問題であるだけではなく、テレビジョン（映画）の世界が変化している（より多くの消費者が、例えば低品質ＬＣＤラップトップ上のみならず、携帯電話等の小型携帯ディスプレイ上で映画を見る）ことであると理解するならば、実際のコンテンツが見えるはずであったもの（特に、当該シーンがどのような見え方［薄暗い、神秘的、…］を有すべきかについて、オリジナルのシーンのみならず、撮影アーチスト／ディレクタの意図を利用可能にするコンテンツ作成者側で決定可能なように）と、正しい処理がなされなかったか又は結果的見え方を悪化し得るような"誤った"表示処理がなされた場合に、受信者側のディスプレイ７３０上で実際に見えるであろうものとの間の、もっと制御可能なリンクを有することが有利であることが分かる。

過去において、このような問題は、常に、何らかの固定された校正チェーン（即ち、ピクセルデータに対して新たな、より良い値を作成する）、即ち"１回限りの"解決策を用いて解決しようと欲した。その結果、誰にとっても実際には真に良好でない"並の"見え方となり得、特に、今やディスプレイは如何なるアーチファクトも不快に感じるようになり得るほど良好になっている。他の傾向は、映画の必要以上の部分がカスタマイズ可能となってきており（例えば、サイエンスフィクション映画の半分はコンピュータグラフィックで発生することができ、他の半分は特別な効果を追加していることもある）、このことは、キャプチャ側で実際の周囲場面がキャプチャされることを左右する。この点は、発想として特に興味深い。即ち、現在の映像化は、上述したカラー符号化の近似を無視したとしても、実際のシーンの僅かしかキャプチャしていない。十分なものは、綺麗にレンダリング可能な画像のためではなく（評価基準が、写実さ、カラーの影響等に関するかに拘わらず）、認識可能なオブジェクトのためにキャプチャされる（殆どが、二進のライン描画で既に実現されるが）。最後に、技術的規格は、正当な理由で（例えば、高度に専門化されたカメラ操作者を維持する）、変わることに対し抵抗的であるので、消滅しつつあるＰＡＬ規格は、最早、更新されることはないが、変化された画像再生環境を考慮して、常に上昇するカメラの品質（勿論、レンズにも依存するが、現在では±１４ビット）及びディスプレイの品質等の将来を視野に入れた場合の規格の有効性を考慮して新たな規格が出現するであろう（更に、ただの消費者さえ常に上昇する品質のカメラを使用しており、斯かるカメラは、将来の自動最適化アルゴリズムにより、芸術的入力は別として、平均的な昔のカメラ操作者が作成していたものより良好な結果を生じさせることができる一方、これら消費者はモニュメントバレーの画像を、あたかも其処に居たかのようにＨＤＲディスプレイ上で見たいと欲し得るものである）。

従って、本発明及び本発明の実施例は、アーチストが人々に何を見てほしいか、対、例えば家庭のテレビジョン上に何が表示されるかについての制御可能性を更に改善するための解決策を丁度よい時に提供するものである（そして、これは、制御オプションの範囲の一方の側における"何もしたくなく、視聴者又はテレビジョン製造者にビューの制御をさせる"というもので、ディスプレイにより最終的にレンダリングされるコンテンツの重大な変更は禁止されるというものから、上記範囲の他方の側におけるもので、レンダリング側の制限が与えられとして、レンダリングを当該アーチストが意図した理想的再生に可能な限り近づける試みまで、アーチスト及びその好みの種類に依存して幾つかの形態をとり得る）。

この目的のために、当該画像の通常のピクセルに基づく符号化（"線形な、１対１の"符号化と概念化することができるようなもので、これらは、例えば特定の感度に設定されたＣＣＤセンサが実際に行うことである）に加えて、当該ピクセルデータが実際に何を意味するか、及びこれにより受信側が、例えばレンダリング前画像処理に関して、何をしなければならないかを示す追加のメタデータを有することが望ましい。線形ピクセル符号化は、全てのシーンを符号化する汎用性の点で非常に強力であるが、"盲目的に"符号化されたピクセルに関して、より多くを語ることができるという点で相対的に愚かである（コインの裏側）と、理解されるべきである。このことは、"色体制（カラーレジーム：color regime）"を導入することにより果たすことができる。従って、当該レジームは必ずしも特定の領域における実際の"オブジェクトのシェーディング"の（盲的）数値表現ではなく、当該シーンに関する付加的な何かであり、これは、当該シーンに異なる種類の物（オブジェクト、空間領域、照明分類等）が存在するか、又はアーチストが実際にキャプチャされた若しくは芸術的に改善されたシーンをどの様に見るであろうかにさせ依存し得るということを理解することが重要である。そのような意味で、全ての作成者、即ちカメラマン（その時点でキャプチャされたシーンの特性を実際に注釈する）及び後のカラーグレーダ等の後処理者（例えば、キャプチャされたシーンを芸術的に再解釈したいと欲し得る）の両者が本発明を利用することができると理解されるべきである。斯かる概念は、幾つかの解説的例により説明されれば、一層容易に把握されるものである。実際のピクセル符号化（特には、［０，２５５］の場合であるが、恐らくはＨＤＲ符号化においてさえ）が、基となるシーンオブジェクト及び該オブジェクトのカラー特性［カラーなる用語は、輝度／照度のみも含むように、緩やかに使用されるであろう］（例えば、２５５の白は、画像の幾らか暗い領域における白壁、及び目への光の反射、及び非常に明るい光の内部、又はクリップされた青い空さえ表すことができる）を正確には反映しないピクセル値を含み得るような例を常に有するとしても、オブジェクト又はピクセルの領域を、特定のディスプレイ側のレンダリング動作が対応すべき特定のタイプの画像情報として示すことを欲し得るものである。例えば、コンテンツ作成者により記述される新たな符号化体系によれば、特定の暗い領域は、或る時点より前は恐ろしい怪物が暗闇に（略）隠されているが、或る時点より後では該怪物が或る程度見えるようになるように表示されるべきであり、該レジームは"隠れた暗闇dark_hidden"と示すことができる。例えば暗闇に隠された人のどの程度が（例えば、体の２５％又は該人の顔の部分が正確に）出現するかを一層正確に指定することもできる。これを盲目的に行った場合、コンテンツ作成者により望まれたものと同程度のものを、バックライトの支援、表示面プレートから反射する光等により、レンダリング側で実際に見えるようにすることができると想像することができる。意図されたことを同時符号化することにより知る場合にのみ、レンダリング側は、そのローカルな制限を知りつつ、意図されたレンダリングを実際に達成し又は近似させるよう処理することができる（これは、単にピクセル符号化又は同様のものを有するのみでは実施することはできない）。他の例は、何のカラーが当該シーンで符号化された典型的な平均照度で反射されるカラーであるかを知っているなら、これらカラーを、視聴者の居間環境における実際の平均照度反射カラーと協調された輝度のものとなるようにレンダリングすることができる。本発明の実施例の目的は、入力画像信号に画像定義情報を追加する方法であって、
− 入力画像（Ｉ）を操作者に見せるステップと、
− ユーザインターフェースを介して上記操作者から、一方における輝度値及び／又は幾何学形状情報と他方におけるレジーム記述子（rd）とを少なくとも含む記述的データ（Ｄ）を入力するステップと、
− 前記記述的データ（Ｄ）を、受信側ディスプレイのレンダリングされた画像のカラー特性を変更するよう該ディスプレイの画像処理を制御するために該受信側ディスプレイにより使用することを意図して規格化された技術的フォーマットで、前記入力画像信号（Ｉ）に基づいて出力画像信号（Ｏ）に関連付けることが可能な出力記述データ信号（ＤＤＯ）に符号化するステップと、
を有する方法を有することにより達成することができる。また、上記目的は、画像作成側における対応する装置、並びにディスプレイ側における対応する方法及び装置により達成することができる。また、上記目的は、特に、上記レジーム、及び意図された望ましい最終的レンダリング（これは、例えばオリジナルのシーンの可能な限り近い近似とすることができるが、部屋の電灯の白色点等のローカルな視聴現場環境を考慮に入れる）を近似するためにディスプレイ側システムが何をすべきかを記述するための幾つかの可能な調整信号により達成される。

従って、カラーグレーダはディレクタの指示によりシーンを見、例えば壁上のコマーシャル・ライトボックスの一部を識別する（例えば、その上に大まかな楕円を描き、更に更に区分化することにより、近似位置及びカラー値として指定することができる）と共に、これが特別領域であると指定するが、ここでは、これを何の特別領域であるか、即ち何のレンダリングレジームが適用されるべきかとしても符号化する（例えば、ライトボックス上の人に対して"燃える目"（rd）を作成し、レンダリングするディスプレイの詳細が与えられたとして、最良に見えるように周囲光を協調させる）。カラーグレーダは、次いで、当該入力画像を符号化された出力画像Ｏへ処理することができるが、これは、上述した考え方によれば、平均的見え方のようなものであろう（これは、キャプチャされた画像における殆どのオブジェクトの良好な認識が得られるようなラチチュードと比較することができるが、ここでは、次いでレジームを指定する追加の記述データと比較することができ、この平均的符号化を全ての異なる視聴現場において一層良好に見える画像に変換することができる）。次いで、ディスプレイ側の画像処理アルゴリズムは、色調マッピング又はローカル領域の見え方を特別に変更するための他の画像処理演算を、上記レジーム記述に従って特別領域に適用することができる。

本発明による方法及び装置の上記及び他の態様は、後述する構成例及び実施例並びに添付図面から明らかとなり、これらを参照して解説されるであろう。尚、添付図面は、より一般的な概念を例示する、限定するものではない特定の図解としてのみ示したものである一方、これら図においてダッシュは当該構成要素がオプションであり、ダッシュが付されていない構成要素は必ずしも必須ではない。また、ダッシュは、必須であると説明された構成要素がオブジェクトの内部に隠されていることを示すために使用することができるか、又は例えばオブジェクト／領域の選択（及びこれらをディスプレイ上にどのように示すことができるか）等の無形の事項のために使用することができる。

図１は、例示的な映画シーン上で本発明の原理を用いて望まれ且つ達成可能な幾つかの典型的なレジームを概念的に示す。 図２は、協調されるべき（互いに及び画像の他の領域と）幾つかの光反射領域を伴う複雑な幾何学的外観（プロファイル）を如何にして指定することができるかを概念的に示す。 図３は、環境及び画像／映画作成者がキャプチャされたシーン画像にカラーレジームを追加することを可能にする装置を概念的に示す。 図４は、キャプチャされた画像の構成、これら画像において識別することができるレジーム、これら画像に適用することができる変換、及びデータと容易に対話すると共にレジーム記述を作成するために使用することが可能な仕掛けの幾つかの概略例に関して、作成側における芸術的カラー専門家が見るであろうユーザインターフェースの表示を概念的に示す。 図５は、レジームの明細の作成及び検査を可能にする装置及びサブユニットを備える他の環境を概念的に示す。 図６は、カラーレジームの明細により作成側からディスプレイ側にレンダリングの望みを通知するために使用することが可能な画像信号を概念的に示す。 図７は、受信／レンダリング側におけるディスプレイシステム、並びにレジームの明細を抽出すると共に該明細に基づいて最終的なレンダリングのための画像処理を制御する装置及び構成部品を概念的に示す。

図１は、映画バットマンの一例及び本発明によりＨＤＲディスプレイ上で実現可能な幾つかの効果を示す。この時点では、ＨＤＲディスプレイは、内部処理が当該画像を"最適化"しなければならない如何なるものをも使用することができるが、これは、しばしば光出力の最大化（又は彩度の増強）を対象とするようなものである。従って、該画像は全く最適に示され得るものではなく、恐らくは、醜い非現実的な態様（例えば、蛍光バナナ：fluorescent bananas）でさえレンダリングされ、少なくともアーチストが元々意図したものではないであろう。典型的に、上記増強（ブースト）は、パラメータ的であり、ヒストグラム等の画像特性に依存したものだとしても、全ピクセルを同様に増強する"全伸張"型のものである（しかしながら、例えば幾つかの道路照明を増強した場合、該照明の周囲のグレイの道路も同様に益々明るくなることを単純には望まないかも知れない。即ち、より現実的なレンダリングは、道路上のカラー値の分布、又はテクスチャ等の空間的／特性分析にさえも依存し得るものであり、例えば道路上の水滴を当該画像内の光と共に益々明るくさせるが、該道路の拡散的に反射する部分はそれ程でもないようにするものであり得る）。または、暗い地下室を示すコンピュータゲームでは、例えば幾つかの電灯（ライト）のパワーを上昇させようと欲し得るが、暗いグレイの柱等の領域を陰にするために全く異なる何かを行い得る（事実、斯かる領域の最適処理は、全体的処理又はディスプレイ／受信者側でのみ導出される如何なる関数も良好な仕事を果たさないほど、非線形的であり得る）。このような難題から抜け出すために、作成側のアーチストは"カラーレジーム"を指定することができ、斯かるカラーレジームは僅かで且つ単純であるか、又は複雑詳細を伴う多くのものとすることができるが、当該作成者が最終的な見え方に何が起こり得る、起こるであろう又は代わりに起こってはならないかに関しての発言を有することを可能にする（即ち、典型的には、受信された入力信号に対して、それらの異なる領域のピクセルに関して当該ディスプレイにより適用される処理を意味する）。

単純な変形例において、アーチストは画像ヒストグラムの領域（時には、画像の空間的サブ領域のものであるが、例えば連続した画像の場面に対する輝度又はカラー値のみでもあり得る）に注釈を付して、これら領域が何のレジームに属するかを示すコードを付与する（これは、これら領域が意味するかの単純な指示であり得る）。領域内における多様な空間的ヒストグラム分布の複雑な記述子を採用することもできるが、ここでは、アーチストが当該領域に対して輝度範囲を付与するだけの単純なケースを説明する。先ず最初に、当該符号化された画像（これは、受信側に送信され［テレビジョンケーブル上で、ブルーレイディスク上で等に拘わらす］、該受信側で入力画像として働く［作成側の出力画像Ｏは、典型的には、受信側における入力画像であることに注意］）には典型的に或る範囲の輝度（又はカラー）が存在し、これは、例えば当該入力画像に対してアーチストにより選択された（任意の形状の）領域１０１内の最小輝度と最大輝度との間であろう。当該画像内の上記区間に対応して、再生側においても、少なくとも１つの出力輝度区間、例えば当該ディスプレイのレンダリングされた出力光又はＬＣＤピクセルのための画像処理により修正された駆動画像、が存在する。例えば、最小輝度は追加されたオフセットを有し得、当該範囲は倍数２により伸張され得る。しかしながら、（好ましい）再生シナリオは、もっと複雑であり得る（例えば、２モード型ヒストグラムの場合、領域１０１は主に２つの"種類の"オブジェクト、即ち幾らか暗いもの及び通常の輝度のもの、を含んでいるので、例えば、これらの比が視覚的に非現実的なものとならないようにサブヒストグラムの平均輝度の間の関係を維持する非線形マッピング関数を規定したいであろう）。事実、輝度範囲マッピングは、通常、全入力範囲ピクセルを出力範囲に詰め込む課題と考えられており、通常、これにはクリッピングの技術的制限が伴う（又は、同様に、暗値に対する可視性強制を行わず、これらを、スクリーン反射以下に低下する故に視聴者に対して実効的に見えないようにする）。上記マッピングは、多くの発見的な知的色調マッピングアルゴリズムの１つにより実行される。しかしながら、オブジェクトに対応するヒストグラムの全サブ領域に対して（当該ピクセルが何を符号化するかに関しての事実上の又は芸術的）意味を有する場合、ピクセル領域に対して、より大幅に賢明な最適出力輝度の割り当てを行うことができ、画像全体にバランスのとれた見え方を付与するのみならず、賢明に重畳されたオブジェクト関連範囲の（パラメータ的な）協調された階層とすることができ、更に、特定の意味を持つ単一の選択されたオブジェクト内でピクセル領域カラー値の最適な配置を行うことができる。例えば、このような協調関係が視覚的効果を調和させるということを知って、店内の電灯に対応する第１ピクセルのレンダリング及び特には輝度範囲の割り当てを、一方における該商店の窓を介して見える他のピクセル及び他方における該商店の外の電灯と協調させたいと欲することを想像することができる。領域１０１は、（受信器に全ての同様の領域を如何にして区分化することができるかを教示するためのカラー／テクスチャ特性領域として機能することもできるが、好ましくは全ての）ピクセルが"中間グレイ"として符号化されるべきことを決定し、これは、この場合には、単なるグレイの道路である。この明細書では、簡潔化のために、レンダリング処理を実行する受信側ディスプレイ７３０について言及するが、当業者であれば、今やブルーレイディスク読取器、セットトップボックス、パーソナルコンピュータ又は携帯装置等の他の装置も、表示されるべき最終画像ＩＲを生じさせる信号処理の全て又は幾らかを実施することができることが分かるであろう。テレビジョンも依然として自身の追加の処理を実行することができるので、例えばブルーレイプレーヤの出力信号ＩＲと、モニタ、ＴＶ、プロジェクタ等に最終的に表示される出力信号ＩＲとの間の区別がなされる（以下を参照）。画像に関連する物理的特性及び測定された視聴環境特性を通知するための２つの装置間の通信は、好ましくは、利用可能であり得るものとする。この中間グレイ領域を特定のタイプのものであるとして符号化することが、最適にレンダリングすることができるという利点を有するのみならず（即ち、端的には、過度に高い輝度のものでなく、例えば視聴者の部屋の平均的グレイ輝度に関係づけられ、低彩度を有し、これは、当該ディスプレイの増強アルゴリズムのパラメータに制限を設けることを含み得、又は彩度低減処理さえも行い得る［全てのシナリオに対して当該映画に一層淡い見え方を付与する代わりに、このことは、この様にして、ディスプレイ／視聴者毎に調和されて、即ち視聴者の視覚的順応状態等を（部分的に）考慮に入れて、実行することができる］）、受信側において全てのシーン分析／理解アルゴリズムも補助することができる。例えば、シーン照明をシーンのオブジェクトの反射率から分離することは常に手強い作業であったが、このグレイ領域の選択は、特にキャプチャ側からの出力画像信号に、例えば、投影後に、上記の選択された領域内に入るキャプチャされた画像位置に対応する当該シーンの部分の実際の輝度、色かぶりの不均衡（恐らくは、簡単な分光計で測定された）等の、シーン内で測定された光特性と共に記憶される場合、助けとなり得る（帰納型マクベスチェッカの等価物と見ることができる）。この場合、グレイがオリジナルのシーンにおいてどのようであったか、及び／又は該グレイが最終的レンダリングにおいて好ましくはどのように見えるべきかの数量化は、例えば他の色を一層最適にレンダリングするため、又は周囲光（これは、当該ディスプレイを直接囲むアンビライト（ambilight）型のもの、又は当該部屋の幾つかの位置で、表示される画像と同期して照明を発生する光スピーカとすることができる）を変化させる等のために使用することができる。

他の重要なタイプは、暗いカラーレジームの難しい成分である（これらは、今までは殆ど無視されていた）。これらは、図１におけるような通常の光のシナリオ［通常の照明の下ではあるが、黒いオートバイのタイヤ及びバットマンのマント］、又は暗いシーン（シーン全体が最適には全体的に暗い見え方を与えるように処理され、殆どを視認性の特性を強調し（後の、通路の例を参照）、好ましくは、光スピーカを低下させる等のように当該部屋の照明と協調させ、これらを画像コンテンツと共に駆動する）の何れにも存在し得る（そして、異なるように振る舞うべきである。即ち、異なる表示処理及びレンダリングとなるべきである）。この例では、アーチストの便宜のため、及びカラーグレーディングの費用を低く維持するために、暗いレジームのための単一のレジームコード、即ち"深い黒：DeepBlack"が使用される。ディスプレイの特性に（及び、好ましくは測定される視聴環境にも（後述を参照））依存して、ディスプレイは、これをバランスのとれた態様で処理するように制御され、かくして、一方において当該領域は非常に暗く見えるが、他方では可能な場合に依然としてテクスチャを示すようにする。映画的に照明された居間におけるハイエンドのＨＤＲディスプレイの場合、これは、現在における典型的なテレビジョン／居間又は屋外の携帯ディスプレイ（これは、全体の領域を最小の黒にクリップし、従って少なくとも幾らかの暗さの意図が示唆される）におけるのとは異なる処理となるであろう（即ち、暗い領域への輝度のマッピングであり、依然として多数の実際に見える最小可知差異（ＪＮＤ）が存在する）。

輝度（又はカラー）を少なくとも非常に明るく及び、多分、素敵に暗くまで"伸張"し始める場合、幾つかの基準（又は少なくとも過度に変化されない領域）を有することが重要である。この目的のため、アーチストは"平均的シーン：AverageScene"コードを使用することができ、これらのうちのデフォルトのものを使用することができるか（これに対して、ディスプレイは例えばアダムスＶ値であったかのように反応し、これは、例えばディスプレイ上に５００nitである典型的な低ダイナミックレンジの最大白色の１８％、又は視聴環境の平均輝度の倍数に等しい近辺でマッピングすることができる）、又は幾つかの変形を使用することができる（より暗いグレイの複雑な割り当てを行うことができることに対して、より明るいグレイは、より明るい白色ディスプレイに適合するように。この場合、ＨＤＲディスプレイは、これらの幾つかのグレイを使用することができる一方、より劣る品質のディスプレイは、１つのグレイ基準のみが存在したかのようにレンダリングすることができる）。図１では、"町の平均的シーン：AverageScene_city"が用いられ、これには、当該アーチストは典型的な町の実際の知識（これら町は、特定の反射率の煉瓦からなる）又は該アーチストのレンダリングの意図（各家は明るいペンキを有し得、カラーグレーダは、これがディスプレイ上にＬminとＬMaxとの間の出力輝度及びＳminとＳMaxとの間の彩度でレンダリングされることを指定することを欲し得る）を含めることができる。アーチスは、これら家が十分に明るく見えることを欲し得るが、これら家は依然として背景の一部であることに注意されたい。即ち、これらは、映画を美化はするが、主要なオブジェクトではなく、従って、これらはレンダリングされるカラー（例えば、輝度）に関して過度に支配的になってはならず、アーチストは、当該ディスプレイが如何なるアルゴリズムを使用したいと欲しても、これらが最大値（ＬMax、ＳMax）を越えてはならないことを指定することにより制御することができる。勿論、もっと複雑なレンダリング仕様を付与することができ、その場合、アーチストは、"当該領域の平均に値ＬＡoptを、最大ピクセルにＬＭoptを付与するように最適に近似せよ"、"増強の場合に、当該領域に対する意図する平均輝度ＬＡint及びそれ以下又は周辺に留まるよう試みよ"、"いずれの場合でも、ＬＡforbより下に留まれ"等の値を指定することができる。このことは、ディスプレイ製造者のカラー処理に関して、より多くの自由度を可能にする（進んだシステムでは、アーチストは"意図されたレンダリング"モードを可能にするために特定のディスプレイがどのような処理を実行するかを正確に規定することさえ欲し得るが、一般的には、ディスプレイは極めて単純であり得るような自身の処理を実行するであろう（多くの調和を可能にすることはない））。例えば、この場合"意図された最大カラーＬＭintの周辺に留まるよう試みよ"が、作成者及びディスプレイ製造者の両方の側にとり十分であり、当該ディスプレイは、自身のレンダリングが当該領域に十分に近い輝度／カラーを付与したかを、例えば予測的に又は反復的に測定することができる。

ＨＤＲにおいては、より明るい領域も重要であり、特に、これら領域を他の領域に対して相対的に協調させることができる（全てが同程度に輝いて見えるのではない。即ち、区別するための指針として、アーチストは、局部的クロマ、当該領域の表示の時間的長さ［例えば、当該領域が火の玉である場合、特別な輝くフラッシュ効果を生成するために］等の特性を用いることができる）、即ち、これらを区別するための正しいレジームコードを利用可能にすることが重要である。領域は第１の時点又は期間に対して第１レジームコードを有することができ、例えば"火の玉"対"火の玉を消す"等の第２のものを有することができる。図１の例においては、"明るい光：BrightLights"コードを指定して区別がなされており、該コードは、バットマンのレーザ光線のために使用することができ、意図はディスプレイが斯かるレーザ光線を達成可能な最大輝度（その青色のための）の約９８％でレンダリングすることであるということを示す追加のパラメータを有している。場面では常にオンである街路灯は、気を逸らすような効果を与えてはならず（実際のシーンでは、視聴者はこれら街路灯を小さな対角線のディスプレイ上とは異なって見回し得るものでありことに注意すべきであり、上記対角線は、もし望むならアーチストの制御の下で最終的輝度を決定するためにディスプレイが使用することができる係数である）、従って、これらには他のレジームコード"電灯（ライト）：Light"が付与され、これら電灯は或る係数、例えばｋ＝４（ディスプレイがどのくらい明るくなり得るかに依存し、反射するシーンオブジェクトのピクセル対、これらから大きくオフセットされた、光源ピクセルに対して大まかに保存したいと欲するものである）で除算された最大達成可能輝度である輝度でレンダリングされる。

他の光コードは、例えば冬のシーンにおいて窓を介して輝く光等の、情景的照明を与える光ピクセル領域に対して使用することができる。アーチストは、照明されている窓のうちの、例えば通常の白熱光の代わりに不気味な青みがかった光を有するもの等の幾つかのみに"情景的照明：Scenic_Illum"コードを付与することを欲し得る。この場合、これらは例えば周囲照明を駆動するために再使用され得るが、ここでは、当該シーンで生じているものの発見的平均と協調されるのではなく、当該シーンにおける実際の光と協調される。例えば、周囲照明の計算部は、入力として、暖かい白熱領域のみを使用することができる。このレジーム仕様は、窓の光の色のスポット（及び、可能なら、幾何学的分布も）を作成し、これをディスプレイの外側で当該ビデオの速度で移動し続けることにより、例えば国際特許出願公開第WO2007/113754号のパターン化されたアンビライト投影の発明に従って再使用することができる。これら光は実際には当該ビデオ内にあるものとは正確には一致しないが、アーチストが典型的な部屋の窓を選択すれば、これは周囲環境のシミュレーションにとっては十分であろう。また、BrightLightsレジームは、視聴者の居間の壁上の反射をシミュレーションする等のために、放光する（例えば、視聴者の９０度横にある光スピーカ）ために使用することができる。

最後に、レジーム符号化は相乗型マッピング（一連のカラーをオフセット及びスケーリングする等）をパラメータ化することのみを意図するものではなく、より一層複雑な空間的プロファイル制御が望ましく且つ現在のカラーグレーダが望むものと適合すべきであろうことを示すために一例が示された。

オートバイのハンドルの金属製部品には"金属製"コードが付与され、これらが相対的に容易なランバート散乱オブジェクトとは実際の環境では非常に異なって振る舞うことを示す。特に、パラメータ的修正はアーチファクトを生じ得るので、これらは好ましくは異なる方法で処理されるべきであり、これは図２を用いて説明する。

図２は、キャプチャされたビデオを改善すると共にカラーレジーム指定を行うためのソフトウェアツールを実行するカラーグレーダのスクリーン上で見られるもの、及び該カラーグレーダがバットマンのオートバイの金属製ハンドルに対してどのようにして一層複雑なカラーレンダリング処理を指定することができるかを概念的に示している。図２０１は断面的輝度プロファイルを示すと共に、当該ハンドル（図２２０に部分図として幾何学的に示されている）が主に平均的周囲光（余り重要ではない）を反射するのみならず、街路灯の１つを鏡面反射してプロファイルの隆起２０５（ピクセルの鏡面反射性パッチ２２４）を生じると共に青レーザの閃光を反射して隆起２０３（パッチ２２３）を生じることを示している。当該プロファイルが、街灯光と協調するであろう全体のシーンと協調して更新されるが、レーザが近くで放光しているのに他の鏡面反射性主要部が鈍いままであれば奇妙であろう。好ましくは、鏡面反射性オブジェクトをディスプレイシーンの異なるレンダリングと芸術的に最適に協調させる（例えば、ユーザが輝度を増加させる）ことを可能にするために、カラーグレーダ（典型的には、ソフトウェアモジュール）に対して、ピクセル領域の輝度（及び、恐らくは、色度を含むフルカラー）プロファイルを生成及び修正するように構成された装置が設けられる。これは、例えば、プロファイルの一部をモデル化し（隣接するピクセル値として明示的に、又は例えば多重ガウス分解等のパラメータ関数を適用することにより）、これにカラーグレーダを同調させる（例えば、当該隆起の振幅を変化させる）ことにより実行することができる。ソフトウェア動作の一例は、前記隆起が視覚的に優勢となり、且つ、変更することを要する範囲２０７をグレーダが示すことができ、該範囲は選択カーソル２０９により描くことができるというものである。この場合、グレーダは元の隆起プロファイルを、選択カーソル２１３をクリックすることにより新たな伸張されたプロファイル２１１へと段階的に拡縮することができ、かくして、この新たな見え方が、変更された全体的又はハイライトの又はシーン光の輝度と調和されたものとする。グレーダは、例えば、高品質ＨＤＲディスプレイ上の効果を注視し、これを低品質ディスプレイのための幾つかのエミュレーションモードに切り換えることができる。異なるオプションも利用可能である。調整可能な関数（典型的には、調整パラメータとして、街灯光領域の１つの平均輝度を少なくとも有する）を、使用（例えば、ブルーレイディスク上での）のために出力されるべきビデオ信号（メタデータ）に記憶することができるか、又は独自のカラーアルゴリズムを適用する場合に当該ディスプレイが指針として使用するための1以上の基準モデル（例えば、結果的なピクセルプロファイル）が記憶される。例えば、3種類のディスプレイの空間的（時間的）プロファイル及びハイエンドディスプレイのための４つの照度レベルを出発点として符号化することができ、ＨＤＲディスプレイは最も高い輝度の（最も伸張された隆起）プロファイルを開始信号としてコピーすることができ、これに対して該ディスプレイは、次いで、限られた量の更なる処理を使用することができる。これは、金属製領域の１００％正確なレンダリングではないが、事を盲目的に実行するより、一層良好な結果を制御可能に生じる。他の例として、前記ハンドルに対する全ての照明効果のパラメータ的符号化の場合、レンダリング側は、その視聴環境（ディスプレイ特性、周囲環境等）に対して最適な隆起形状を計算することができる。空間的カラーレンダリング制御の本発明の方法／装置を必要とする／可能にする他の例は、電灯の周囲の（例えば、煉瓦壁上での）反射である。典型的に、制御されないＬＤＲシステムにおいては、［０，２５５］における有効コード（時には、２５５）に大凡マッピングする。この場合、ディスプレイにおいてＨＤＲを発生するための後処理は、これらを特定の領域（潜在的に、過露出を伴っても）として認識することができず、これらを、電灯の増加された輝度のレンダリングと協調スケーリングする代わりに、平均的背景の残部と同様にスケーリングする。このことは、前記"電灯：Light"プロファイル自身において空間的サブプロファイルレンダリング意図明細を可能にするか（例えば、ランプの平均輝度及びアルベド等の反射パラメータと協調マッピングするか、又は指数関数的降下のようなパラメータ化された関数を適用する）、又は特性が上記"電灯"プロファイルのものと協調調整されるような追加のプロファイル、例えば"光反射：Light_Reflection"が作成される（当該システムはアーチストに対して反射プロファイルに関するレンダリングを既に提案しており、アーチストは制御パラメータにより容易に微調整することができる）。

これらの例は、アーチスト／キャプチャ側とディスプレイの処理及びレンダリングとの間でのどのような種類の制御が望ましいかを説明するための純粋に解説的なものであり、もっと多くの変形例が含まれ得るものであることに注意されたい。簡単なシステムでは、二三のしばしば使用されるシナリオは規格で固定符号化されるが（各シナリオに関して何が起きるかを正確に知って）、勿論、画像特性通信規格は、アーチストが新たなクラス（例えば、"HamsterFur"又は"RailingWood"等）を符号化すると共に、その比色特性、恐らくはテクスチャ特性、適用され得る修正の量（例えば、見え方が非現実的なものになるまで：暗い木材を明るくすると、木目模様が漫画的になる）、及び、もし望むなら、特定のタイプの処理アルゴリズム、パラメータ、方程式、…（例えば、彩度アルゴリズム、微分に基づくローカル輝度伸張、又は異なる視覚的な色の豊富さにもつながるアップスケーリング、ノイズ処理等の他の画像処理アルゴリズム等）を指定することによりアップグレードすることができる。即ち、レジーム記述は、如何にして当該領域をレンダリング、処理、修正、改善、符号化する等に関する全ての種類の更なる情報により補足することができる。興味あるレジームコードの他の例は、例えば、"パステル：Pastel"（しばしば、ディスプレイにおける過度な彩度の上昇は、淡い色合いを消滅させ、例えば、日没が不自然に見えるようになり得る：このコードは最終的レンダリングにおいて淡い色合いに留ませることができる）、"コマーシャル増強：CommercialBoost"（これは、例えばコマーシャルの間に特定のオブジェクトを増強させ又はディスプレイに応じて異なるようにレンダリングすることさえ可能にする：例えば、高度に飽和されたオレンジ色を作成することができる多原色ディスプレイは、初期的には一層黄色がかったオブジェクトを明るいオレンジに着色することができる）である。

図３は、作成（送信）側に存在する、良好なカラーレジーム記述信号を作成するのに有効な装置の幾つかを概念的に示す。当該装置がクラシックな映画フィルムカメラと統合される一層難しいシナリオを説明する（シーンのデジタル支援表現は、映画題材校正モデルが両者をマッピングするために組み込まれている場合にのみ、［アナログ対デジタルレコーディングのピクセル値に関して］実際にキャプチャされた映画画像に対して完全にリンク可能であるが（しかしながら、現像は依然として補足的に扱うことが可能な未知の変数である）、これら無しでも、デジタルレコーディングは非常に価値のあるサイド情報を依然として発生することができる。例えば、フィルムでキャプチャされたビューウインドウと幾何学的に位置合わせされた場合に、領域を定めることができ、フィルムでキャプチャされ現像されたグレイン値は別として、デジタルキャプチャにより線形な実際のシーンビューの値を符号化することができる）。何故なら、当業者であれば、これらの成分を完全なデジタルキャプチャへ又はカラーグレーダの余地に如何にして置き換えるかを理解するか、又はトランスコーダが例えば古いローレル及びハーディの画像に対して同様のことを行うからである。

カメラに付属してデジタルディスプレイ３０３（例えば、カメラのレンズに位置合わせされたＣＣＤから供給される）を示すが、接続部３０４は固定される必要はなく、複数の別個のディスプレイ（例えば、カメラ操作者に対するもの及びディレクタの総覧書架におけるもの）に対する送信器とすることもできる。該ディスプレイ上で、カメラ操作者又は撮影にディレクタは、例えば当該画像の暗い部分としてステージ照明により校正されていることを知っている領域３５０を描くことができ、これは例えばライトペン３０８又は他のユーザインターフェース入力手段により実行することができる［一例のみを示す。何故なら、当業者であれば、どのようなタイプのシステムが、表示された画像上にユーザがフィードバックを与えることができるかを良く理解しているからである］。該ディスプレイは、追加の情報（例えば、レジームの明細）をメモリ３０６（例えば、着脱可能なメモリスティック）に記憶し、又は伝送システム３０５を介して通信することができる。該ディスプレイは、撮影中シーン分析装置３２０（単に照度計とすることができるか、又は空間サンプリング分光計とさえすることができる）から他の情報を受信することができ、最終データ蓄積位置（即ち、３４０）に送信することもできる。更に、シーン内メータ３３０（例えば、特に高度に変化する照明により役者の顔がどのように照明されるかを測定する局部照明メータ、周囲の照明分布を注視する球形システム等）は、そのデータを、送信システム３３１を介して当該システムの如何なる部分にも送信することができる。この場合、受信側のディスプレイは、当該光を、典型的には同様な見え方を形成するための何らかの心理視覚的モデルに従って、元の輝度で又は少なくとも該輝度の或る割合（又は関数）で再生しようと試みることができる（典型的には、当該画像における異なるカラーに加えて、異なるレジームの見え方を協調させる）。全てのデータは、オンボードメモリを備えたデータ蓄積装置３４０、典型的にはコンピュータ（伝送システム３４１を備える）に蓄積される。

全ての構成部品が存在する必要はなく、単一のデジタル複製品（ディレクタにより僅かなレジームコードのみのための幾つかの簡単な注釈を作成するために所望される全てが、ディスプレイ３０３上にあることもできる）でよいが、当業者なら理解するように、当該システムは全体の環境を詳細に分析する装置により拡張することもでき（カラー値、光の方向又はスペクトル等の光の特性、オブジェクトの双方向的反射関数又はテクスチャ等）、これは、同時的コンピュータグラフィック効果挿入にとり有用であるのみならず、最終的居間ディスプレイレンダリング及び周囲照明の両方も、反射する又は一般的には光と相互作用し合うオブジェクト及び実際の照明の両方に関する当該シーンの一層の詳細が、最終的画像信号と共に記録されれば（これは、一層良好な再照明が視聴者の環境と一層調和するのを可能にする）、利益を受ける。

図４は、レジーム注釈装置（又は、典型的にはソフトウェア）がカラーグレーダ又は撮影のディレクタに対して、例えば何らかのカメラからの無線で通信される供給情報から何を示すと共に、彼らが注釈することを可能にし、且つ、出力される画像信号にメタデータとして記憶するように構成されているかの一例を示す。画像観察領域４０１示されているものは、撮影された兵士の居る廊下及び怪物（これは、後に追加されるべきコンピュータグラフィックエレメントの簡略化されたレンダリングであり得る）である。右側には、例えば"暗いレジーム：DarkRegimes"釦４１０、"明るいレジーム：BrightRegimes"釦４１２、"平均的シーンのレジーム：AverageSceneRegimes"釦４１４及び"重要なカラーのレジーム：CriticalColorRegimes"釦４１６等の有用なレジームを即座に選択することを可能にするレジームクラスタ釦がある（勿論、もっと多くが存在し得、これは本発明の思想及び請求項を解説するための概念的図示にすぎない）。斯かるレジームクラスタ釦をクリックすると、階層的メニュが現れ、当該クラスタに対して選択可能なレジームを伴う更なる釦（"陰１レジーム（Shadow_1Regime）"釦４２２、４２４、４２６）を表示する。例えば、"DarkRegimes"クラスタの場合、操作者は、"Shadow_1"であることを欲する領域４４０を識別しており（即ち、記述的データＤのレジーム記述子rdは"Shadow_1"であり、このコード又は該コードから導出される他の符号が、出力となる記述データ信号ＤＤＯに追加される）、典型的には後に該領域に対して何らかの特徴的レンダリング及び、恐らくは、更なる識別特性を指定し（他のシナリオは、一連の輝度として又はピクセルの領域としてに拘わらず、レジーム自体のみが指定され、ディスプレイは、自身により、陰に関して何を実行すべきかを知る、例えば如何なる更なる輝度又はカラー特性の指定を要せずに、これらを可能な限り暗くレンダリングするというものである）、従って受信側のディスプレイは、これを、好ましくは画像処理／レンダリング的にどのように処理すべきかを知るであろう（例えば、当該領域における如何なるピクセルも視聴者の部屋における又は映画館におけるＬmaxよりも明るく見せてはならないという指定であり、後者は記述データ信号ＤＤＯにおける単一の基準符号化された数上で再校正可能であり、これが、その場で使用可能な値に更に変換されるか（例えば、１００Cd／ｍ^２は実際の映画測定値に変更することができ、他の値についても同様である）、又は実際の正確な数が、例えば劇場又は視聴者の部屋のタイプ毎に符号化される）。暗いレジーム及び斯かるレジームの最終的レンダリングを定義する幾つかの明細があり得る。例えば、暗いピクセルのヒストグラムの位置を考慮に入れると共に、上部が例えば当該画像における平均グレイピクセルのレンダリングされる輝度と比較して或る位置を得る一方、過度に多くのピクセルが前側スクリーン反射のグレア等により悪く見えないことを保証することができ、従って、例えば暗い領域を粗階調化する等の何らかの色調マッピングが含まれ得る。当該システムは、典型的には、最小のユーザ対話を可能にするモードを有し（アーチストの時間は高価であるので）、自動画像分析アルゴリズムが微調整を補助することができる（図５参照）。ユーザは、処理したい画像上の空間領域を、例えば陰になった領域が描かれ得る場所の正確な境界上で電子ペン３０８を移動させることにより、非常に精密に描くことができるが、楕円又は長方形４４２等の大まかな指示を示すこともできる。選択されたオブジェクト又は領域に対してレジームを指定するための最大等級の制御は、ユーザがカラー／輝度特性（典型的にはヒストグラム）及び画像領域の両方に影響を及ぼすことができる場合に、提供されるので、画像情報を単に表示するだけでなく、ユーザにより更なる選択を実現することができる道具ともなる追加の情報パネル４５０、４６０、４７０が存在する（勿論、注釈装置／ソフトウェアの多くの変形例の場合、これら構成部分のうちの幾つか又はより僅かなものが、例えば輝度範囲のみを設定する、又は空間領域のみを描く等の仕事を実現するために存在し得る）。例えば、カラリストが当該画像におけるキャプチャライトの周辺の強調レジーム明細のために領域４４２を選択する場合、ヒストグラム表示パネル４５０は、当該ライトの明るいピクセル及び暗い周囲壁の暗いピクセルを含む２つの様式のヒストグラムを示す。進んだシステムは、これに対して関数４９０をモデル化し、この複雑な情報に基づいて、カラリストが当該選択された領域及びそれらのピクセル内容を分析し、選択し及び／又は修正するのを可能にする。より簡単なシステム（ローカルな画像構造／カラー特性についてのカラリストの理解を助けるので、モデルは依然として存在するが、これらは修正可能ではない）では、カラリストは例えばカーソル４８５を使用して、例えば輝度の範囲４８３、４８４を選択し、何のカラーが例えば明るいライトのレジーム（レジーム記述子"Light_1"により符号化される）に属するか、全画像において全体的的か（いずれにせよ、他のオブジェクトにおいては問題として生じない）、又は当該共同符号化された空間領域に対してローカル的かを指定することができる。選択された画像領域のヒストグラムの表示に必要に応じて変更を加えて、（例えば、ローカルな）ヒストグラムにおいて一連のピクセルを選択する場合、当該システムは対応する領域４８１をカラリストに対して示すことができる。局部測定カーソル（画像対話ヘルパのツールは、例えば小型望遠鏡型カーソル４０２を含むことができる）を用いて作業することもでき、これは、例えば十字線４０４を設定することができ、該十字線から輝度パネル４７０に値を表示することができる。このパネルは、符号化された入力画像輝度又は実際に測定されたシーン輝度を含むことができ、これらは、例えば、ライトの中心Ｌｃ＝５０００の、特定のアルゴリズム変換等が望まれる場合に当該レジームを最適に指定するために重要な、ライトが余り明るくない（Ｌ１）の選択の、周囲（Ｌ２）等のものである。輝度パネル４７０は、カラリストが何のオリジナルのシーン測定値を同時保存されることを望むかを該カラリストが指定することを可能にするような、対応するパネルも有することができる。例えば、ライトはキャプチャされた入力画像Ｉにおいてコード５０００を有し得るが、該ライトはカメラのその場でキャプチャされた実際のシーンでは９０００Cd／ｍ^２の輝度を有しえるので、この値は領域４４２に関する他の記述的データＤと共に記憶し、又は比若しくは他の導出された特性を記憶することができる。逆に、特性表現におけるサンプリングカーソル４８０は、例えば十字線４０４を配置することにより、幾何学的画像にマッピングすることができる。これは、単純な例示的な概念的記述に過ぎず、当業者であれば、例えばカラリストの多くの対話により、サブヒストグラム及び修正、画像レンダリングとして何が生じるかの追跡、又は選択されたピクセルの数若しくはレジームの形を示すために、複雑なツールを発生することもできることが理解される。例えば、カラリストは強調レンダリングのために、より滑らかな勾配を持つもの及び二三の異なる輝度値のみを持つもの（これは、携帯屋外ディスプレイではなく、高品質ディスプレイ上で高度にバンド化されて示し得る）の、２種類のレジームを指定したいかも知れず、これらは映画画像上に空間的なクリック可能な指示子でマッピングすることができるので、カラリストは、これらの間を即座に切り換えることができる（この場合、吟味するための高品質ディスプレイは、例えば画像品質を低下させる典型的な屋外日光をエミュレーションすることができる。シミュレーションにより、例えば第１領域（例えば、ライト）の平均輝度の、第２領域（例えば該ライトの周辺の壁）に対する比等の何の輝度配置が、特定の状況の下で最良に作用するかを、これの幾つか又は全てを符号化する前に即座に概観することができる）。レジーム符号化は、時には、実際に指定されたレジームであるか又はそうでないピクセル領域／オブジェクトに対応する範囲のレンダリングにリンクされ得るので、これは、これらのレジームの変換にも関係する。典型的に、ＬＤＲ画像表現に対する変換か又はＨＤＲ画像表現に対する変換であるかに拘わらず、ピクセル領域に対して色調マッピング曲線を適用することを欲し得る。４４２で選択されたライトの例の場合、必ずしも４４２におけるライトを囲むもののみでなく、典型的には全体画像における多量の良好に照らされたピクセルに対して、壁値に関する色調マッピングを既に規定しているかも知れない。色調再生修正パネル４６０は、このような変更（評価ディスプレイ５４０上で効果を判断することができるが）を行うことを可能にすると共に、（例えば、ライト）レジーム（特に、例えば、これらが受信側のディスプレイの再生可能な色域の何の範囲にマッピングすべきか）を当該画像の他の領域／エレメントの見え方に対応させて、賢く選択することを可能にする。

従って、この簡単な例において、グレーダは記述的データＤにおける更なる画像領域識別データとして長方形４４２のデータ（左上の座標及び大きさ）及び／又は当該グレーダにより識別されたサブヒストグラムＣ１の範囲（Ｌmin1、Ｌmax1）を指定したいと欲し得る。作成側における画像分析装置／ソフトウェア５００及び受信側ディスプレイの両者、又は何らかの中間の装置は、この領域識別情報を、例えばセグメント化モジュール（Segm）５２２により更に微調整することができ、実際のライトの楕円形状を決定することができる（賢いアルゴリズムは輝度ヒストグラムにおける範囲の正確な指定は必要としないであろう。何故なら、斯かるアルゴリズムは、これらを、画像オブジェクトの境界上の優勢な画像エッジを考慮にいれてセグメント化するモードにおいて案内の種として使用することができるからである）。更に、識別されたレジームを用いて受信側ディスプレイが何をすべきかに関しては、前述してように、グレーダは少ない所定の規格化されたレジームのみに基づいてデフォルトの独自の変換を用いることもできるが（例えば、ライトを可能な限り明るくする）、該アーチストが、その見え方があまりに醜いと思って、受信側ディスプレイの実際の処理でないとしても、当該処理が少なくともどのような最終的なレンダリングの見え方（出力カラー）となるかを、もっと厳しく指定することができる。例えば、釦４３４により、アーチストは乗数４３５を指定することができ、該乗数は、例えば当該ライトが好ましくは平均輝度画像領域（当該シーンをキャプチャする際に典型的に最適に照明され、且つ、ＬＤＲ色域の大部分が割り当てられる領域）の輝度の１０倍よりも明るくてはならないことを示す。アーチストは、例えば影響性又は不快さ等の新たな物理量で決定される、互いと比較して異なる領域の輝度を指定することができる（例えば、ディスプレイの白色輝度に依存して、或る大きさ及び輝度のパッチは当該映画の実際のアクションから過度に気を散らし得るので、アーチストは、パラメータ的方程式により、不快さ等のこれら量を考慮に入れるために、これらパッチの絶対又は相対（例えば、周囲の画像領域、又はディスプレイの周囲、及び／又はローカルな平均輝度等と比較した）輝度レベルを指定することができる）。従って、受信側ディスプレイ上のレンダリング（即ち、典型的には該ディスプレイが実行するであろう画像処理アルゴリズム）を指定するパラメータは、数学的画像処理関数のための実際のパラメータのみならず、例えば図２における反射プロファイル等の曲線が入る線分２５０により特定される粗近似形状を符号化するパラメータをも含み、種々のタイプのものであり得る（受信側ディスプレイに対して異なる処理のための幾らかの余裕を残すが、余り多くではない）。

もっと複雑な例は、識別された怪物領域４４１（これをグレーダは中間の、即ち楕円だけではないがピクセル精度でもない、精度で輪郭を描いているかも知れず、次いで、区分化モジュールは該領域４４１をオブジェクト境界でもって配置し、動き追跡器（MotTrack）５２４は該領域を連続する画像において追跡することができる）に適用される"暴露：Unhide"レジーム４２６である。しかしながら、ここでは、受信側ディスプレイがレンダリングすることに困難さがある。目的は、怪物のレンダリングが暗闇では丁度見えるか又は見えないかであり（カラリストは、例えば怪物の顔は辛うじて見えるが、身体はまだ見えないことを指定することができる）、これは、正確な周囲ピクセルに依存する（従って、空間プロファイルが適用される必要があるかも知れず、これは、空間プロファイル割当パネル４９０／モジュール５９０により微調整されねばならないかも知れない）。意図するレンダリングを変更する際のユーザの便宜のために、プロファイル形状は、輝度においてのみならず、ＪＮＤ等の他の校正単位においても指定することができる（１つの又は数個の典型的な表示シナリオに対して）。最適な効果のために、これは、受信側ディスプレイの環境における該ディスプレイに対する画像／ビデオの校正にも依存する。例えば、光ディスク映画の開始の際に、ＢＤライブアプリケーションは、視聴者に最適な体験を欲するかを尋ねると共に、該視聴者に部屋の照明と区別しなければならない二三の暗いパッチを見せることができるか、又は、例えば映画館を、映画の背後における表示されたコンテンツのためのカメラ又は他の測定装置により数回又は二三回校正することができる。このような問題は、カメラマン及び照明ディレクタによるよりもグレーダにより大幅に良好に制御される（特に、コンピュータグラフィックの操作が含まれる場合）［古いカメラキャプチャリングが特にＨＤＲに対して非実用的になった場合に、このシステムにより達成され得るものの幾つかの更なる例に関して、後述も参照されたい］。他の例として、レンダリングの差を指定するためにサブタイプを用いて、及びレンダリングを異なる類のディスプレイに合致させるために、レジームをどのようにして使用することができるかを示す。爆発があったと仮定すると、該爆発は画像領域の大きなパーセンテージを幾何学的に覆う。このような爆発を過度に増強すると、ストーリから気を逸らすことに、又はいらつかせることにさえなり得る。従って、斯かる火の増強の量は、面積、提示の期間、カラー、周囲のカラー等のパラメータに依存し得るが（例えば、太陽に向かって飛行するサイエンスフィクション映画においては太陽を非常に明るくレンダリングすることを欲し得るが、太陽を砂漠のシーンにおける空にレンダリングする場合は余り明るくなく、一層熱いカラーに頼るようにレンダリングすることを欲し得るものであり、これは、高輝度レンダリング範囲の異なるレジームであるBrightlight_1対Brightlight_2により符号化することができる）、火の玉のテクスチャ構造、例えば該火の玉をどれだけ多く暗い煙が覆っているか、にも依存し得る（より多くの煙が存在する場合、それの間の熱光を一層明るくするか、又は少なくとも、これら２つのサブ領域の比色及び特には輝度関係を心理視覚的に協調させることができる）。従って、火の玉レジームのサブクラスは、例えば１００〜８０％の被覆率に対する"殆ど覆われていない火：Fire_Hardly_Covered",７９〜４０％の被覆率に対する"部分的に覆われた火：Fire_Partly_Covered",及び 暗いサブ領域による３９〜１０％の被覆率に対する"大きく覆われた火：Fire_Largely_Covered"であり得る。このような追加のレジーム特徴付け情報（空間特性、テクスチャ特性、オブジェクトの等級、アーチストの意図等）により、符号化された画像を用いる異なるディスプレイ又は装置は、最終的なレンダリング又はレンダリングのための変換を一層良好に調整することができる。また、レジームを、異なるディスプレイの賢く割り当てられた輝度サブレンジにマッピングするために使用することができる（例えば、幾つかの"ライト"及び"白色"、幾つかの"暗闇"、幾つかの特徴的／制御"グレイ"等）。例えば、２つのＨＤＲディスプレイ、即ち１５００nitのホワイト輝度を持つ中間の近未来のもの、４０００nitホワイトの一層高品質のＨＤＲディスプレイ、及び５００nitホワイトのデフォルトの"ＬＤＲ／標準"ディスプレイ上におけるシーンのレンダリングを例にする。これらのディスプレイは、より劣る品質のものの能力を超える追加の"効果／増強"輝度範囲が存在することにより、アップグレードと見ることができる。単純には、例えば前述した火の玉、又は太陽のような光、又は街路灯の全ての明るい領域を、盲目的に増強することができる。ところが、当該効果は強力であり得、上記１５００nitディスプレイ上では依然として許容可能であるが、４０００nitディスプレイ上では、この領域のレンダリングは、あまりに過度の輝度を有し得る。従って、該４０００nitディスプレイの輝度範囲の高い側を、他の種類の光源のレンダリング（例えば、発射されたレーザビーム）のために使用すると共に、上記火の玉を、より低い輝度のサブレンジに制限することができる。５００nitディスプレイの色域には、これら全ての異なるタイプの光レジームに対する余裕はないので、これらは全て、該ディスプレイの色域の高輝度側におけるサブレンジでレンダリングされる。該レジーム符号化は、異なる種類のディスプレイ上でのレンダリングの仕方について更なる明細を与える、例えば異なる輝度を他の光特性を用いてシミュレーションするよう命令する、例えば当該光を僅かに一層黄色っぽく又は青みがかるようにさせる等、ことができる。

図５は、ユーザ（カラーグレーダ、カラリスト、撮影のディレクタ、（コンピュータグラフィック）アーチスト等）がカラーレジーム明細を作成するのを可能にするための画像分析装置５００の一例を示す。該装置は専用のカラーグレーディング装置とすることができ、又は画像処理ユニット５０１はカラーグレーディング及びレジーム作成ソフトウェアを実行する通常のコンピュータの汎用プロセッサ（ＧＰＵ）とすることもできる。典型的に、画像処理ユニット５０１は多数の画像分析ユニット（又は例えばエッジ検出器、テクスチャ特徴付け部、人識別器等のソフトウェアツール、又はプラグイン）を有し、これら画像分析ユニットは、入力画像の知的事前分析を可能にし、高速なユーザ対話道具（例えば、再整形可能なスプライン等高線）の作成を可能にして、アーチストがレジーム、それらの意味、恐らくは幾らかの言語的説明（例えば、アーチストの意図を知ることにより、当該映画が後に再マスタリングされねばならない場合に使用することができる）及び受信側ディスプレイが何をすべきか等を定義するのに最小の努力を果たせばよいようにする。受信側ディスプレイに送られるべき出力画像Ｏは、主カメラ５４２からの入力画像Ｉのコピーとすることもできるが、画像修正ユニット（ImMod）５３０により修正されたものとすることもでき（例えば、選択された領域に色調再生修正曲線を適用することにより）、その場合、結果としての画像は、アーチストが校正ディスプレイ５４０上で見たいと欲したものである。図３の例とは対照的に、作成後（postproduction）カラーグレーダは、ユーザ対話手段として複雑な制御パネル５４１を有している。データ処理器（valHndlr）５０５は、例えばカーソルを動かすための釦のクリック等のユーザ入力を取り込み、該入力を選択された領域のテンプレートカラー等の使用可能な記述的データＤに変換する。該データ処理器は他のモジュール、例えばヒストグラムプロセッサ(HistProc)５２０と通信し、該ヒストグラムプロセッサは、例えば、新たな長方形が選択されたなら、内部の全ピクセルのヒストグラムを再計算し、当該データに一連のガウス分布をマッピングする等を行うことができる。従って、データ処理器５０５は典型的には全てのユーザインターフェースの対話を実行するように校正され、画像分析からの結果をユーザに対して、理解可能な（例えば、より進んだ実施例では輝度に基づくのみでなくコンテンツ認識に基づいた画像特性の自動的画像分析により特別な領域を強調又は事前提示する）方法（例えば、キャプチャされた画像の幾何学形状を疑似着色することにより、又は、ヒストグラム若しくは例えば数値的テクスチャ特性で領域の広がりを示す二次元チャート等の分類特性グラフのような特性表現を疑似着色することにより、領域及び該領域の複数様式のコンテンツを事前に見せる）によってのみならず、これらとの容易な対話を可能にするような方法（例えば、ユーザがヒストグラムを操作した場合、どの余分なピクセルが選択されるか又はこれらがどのように異なる比色的見え方を得るかを示す）で示すと共に、全てのユーザ対話をフィードバックする（レジームパラメータを抽出するためのみならず、例えば画像区分器等の画像分析アルゴリズムを、当該画像のコンテンツ及び構造に関するユーザの新たな意味的指定入力及び該画像が芸術的にどのように見えるべきかに基づいて再プログラミングするために）。

空間修正モジュール（SpatM）５９０は、全ての種類の空間的作用を行うのを可能にする。例えば、該モジュールは、選択された領域にパラメータ的（アーチストにより調整された）再陰付けプロファイルを適用することができる。

データエンコーダ（DatFRM）５１０は、一連の記述的データＤを最終的出力記述データ信号ＤＤＯにフォーマッティングする。即ち、複雑な符号化変換を使用することもできるが、該エンコーダは、選択されたヒストグラム／範囲／カラー特性パラメータ（例えば、最小及び最大輝度、例えば2組のピクセルに関して数式により決定された第１及び第２輝度の関係を指定する乗数等）、選択された空間情報（例えば、選択された領域の線形チェーン符号化のためのパラメータ等）、処理アルゴリズム（例えば、選択された領域に適用する数学的色調再生曲線）等を、信号ＤＤＯに直接的に単にコピーすることもできる。

典型的に、信号フォーマッタ（SignFRM）５５２は、信号ＤＤＯを含むレジームデータを（潜在的に処理された出力）画像信号データＯに追加して最終画像信号Ｓ'を生成し、該最終画像信号はブルーレイディスク又は他の記憶媒体５５０等に記憶することができる。しかしながら、勿論、上記信号が直接的に送信／放送（比色レジームの干渉が単純であるが殆どリアルタイムに生じ得るテレビジョンスタジオの処理ブースから）されるなら、信号ＤＤＯは、例えば視聴者の選択集合に対してインターネットを介して、例えば出力画像Ｏとは別のチャンネル上で送信することもでき、これは下位互換性と合致する（例えば、不払い顧客は、より低い品質の信号Ｏを得ることしかできないが、支払い顧客は追加のデータＤＤＯを得て、高品質ディスプレイ上で一層大幅に完全なアーチストが意図したレンダリングを得ることを可能にすることができ、又は、同様に、幾つかの品質の画像ストリームが可能であるようなスケーラブルなシナリオでは、携帯の視聴者は、低価格の低ビットレートのストリームのみならず、最適なレンダリングを生成するのを可能にするためのレジーム群も選択することができる）。第２カメラ（又は、例えば分光カメラ等の光学測定装置）５４３は、オブジェクト５４４の詳細（例えば、光の事柄の相互作用特性又は他のオブジェクト特性）を分析するために存在し得る。大きなダイナミックのシーンをキャプチャする場合、一方においては過度に多量の画像符号化データを必要とし得、他方においては当該シーンの望ましいものより多くをキャプチャし得る（例えば、アーチストがレンダリングされることを好まない舞台装置の汚れがキャプチャされ得、又はレンダリングが、必ずしも非常に重大／重要ではないか、若しくは幾つかのディスプレイ上では例えば暗い領域で不可能である）。当該レジームは、基となるピクセル画像の符号化又は一層複雑な比色的修正符号化を変更するために使用することもできる。例えば"悪い"カメラ（例えば、以前から存在する６０年代映画）は、壁上の暗い陰の領域を、殆どテクスチャの詳細なしに（実際には、殆どノイズ）キャプチャしている可能性がある。しかしながら、高品質ディスプレイ上では、当該領域に何らかのテクスチャを示すことを欲し／必要とし得る。これらの最後の幾つかのビットは、異なる符号化により追加することができる。例えば、壁の汚れのコンピュータグラフィックパターンを、基となる壁画像の最後の幾つかのビットに追加されるように符号化することができる（可能性としては、アーチストにより最適化されたノイズ除去を考慮に入れるが、これは、ＤＤＯ信号内において、恐らくは残留プロファイルを用いた数学的ノイズ除去アルゴリズム、又はピクセル値の幾何学的プロファイル自体として定量化することができ、受信側ディスプレイは、これを、自身のノイズ除去又は他の画像改善アルゴリズムを調整するために考慮に入れることができる）。そして、このコンピュータグラフィック又は他の符号化は、例えば細かなテクスチャ及び反射率の細かな変化を精細に測定する第２カメラ／光学測定器５４３による当該シーンオブジェクトの実際の測定値に基づいて決定することができる。この場合、レジームコード"Shadow_1"は、受信側ディスプレイがレンダリングするために、この追加のデータに即座にリンクされ得る。データ処理器５０５は、当該アーチスト又は何らかの後操作者（postoperator）にユーザインターフェースを提供することもでき、例えば受信するディスプレイ側で特定の見え方を可能にするために壁上の傷又は何らかの構造的符号化を如何にして符号化することができるかのように、当該画像（及び、可能性として追加のデータ）の最終的画像符号化に影響を与えるようにする。この目的のために、当該装置５００は上記データ処理器が画像修正ユニット５３０と対話することができるように構成され、カラリストの各再指定（例えば、暗い領域の重要性、及び該領域の概ね現実的に／高品質で／視覚的に素晴らしく／等でレンダリングされる必要性に関する）が、出力画像Ｏの少なくとも幾つかの領域の記録に直接変換され得るようにすると共に、その逆に、如何なる記録（例えば、領域を符号化するためのビットの量を低下させる、可能性として精細なテクスチャ符号化の幾らかを第２の符号化に置く等）も、上記データ処理器及び他の画像分析モジュール（これらの幾つかは、例えば典型的なディスプレイのレンダリング特性をモデル化することができる）を介して、アーチストに対し注釈Ａ（例えば、画像Ｏ上へのレジームの空間的オーバーレイであり、異なるモデル化された典型的な受信側ディスプレイに関して実際の比色的見え方を示すために、切り換え消去することができる）を伴う出力画像として示すことができる。

図６は、画像／ビデオ信号（例えば、ＭＰＥＧ4.10（ＡＶＣ）のようなＭＰＥＧ規格又はＶＣ１等に従って圧縮された）をカラーレンダリングレジーム記述により如何にして改善することができるかの可能性のある一例を概略図示している。当業者であれば、これを例えば無線又は有線通信ネットワークを介して如何に伝送することができるかを想像することができるので、本例は、メモリ媒体（例えば、光ディスク、ハードディスク、（消費者用）ビデオカメラから取り外すことが可能なメモリカード等）に記憶することに照らして説明する。典型的に、キャプチャされたビデオ自体（生でキャプチャされたもの、例えば色調再生曲線により変換されたもの等によらず）は、例えば、少なくとも１つの画像の第１領域に関する（例えば、ＤＣＴ変換されたピクセル値のブロック）画像信号６１０として、第２画像領域（これは、例えば底部ティッカテープ等のオーバーレイとすることができるが、上記第１部分が上側値LCmaxより低いキャプチャされたピクセル輝度のみを符号化する場合は当該画像の一層明るい領域でもあり得る）に関する画像信号６１１として記憶され、補助信号６１２（例えば、或る領域（例えば、一層高い関心度の）を一層高い精度のビットで更新するための）が存在し得る。

追加されたレジーム明細（これは、ディスク上の予備のトラック群上に、例えばディスク管理データとして書き込むことができる）には、少なくとも１つの（第１の）（例えば、画像の現場面又はシーン内のネオンライトのために）指定されたレジーム６２０が、その記述データ（その特性が受信側の入力画像Ｏにおいてどのようであるか、及び、これによりカラーレンダリング的に何をすべきか、更に、例えば鮮鋭さ処理がカラーの見え方に対して影響を有し得るか）と一緒に存在する。

簡単な信号例では、第１領域識別情報６２１が存在し得、該情報は、例えば第１ネオンライトを囲む長方形（左上及び右下座標（x1,y1）及び（x2,y2）による）であり得ると共に、例えば該長方形におけるネオンランプの斜めの縞のみを更に選択するために、輝度の範囲（Ｌmin，Ｌmax）の選択を可能にする情報でもある。連結データ６２８により、当該符号化されたビデオ内の部分に、例えば一群のＤＣＴブロックの始点及び終点に対するポインタpo1、po2を用いることにより、直接リンクすることもできる。当該場面における連続する画像の各々に対して斯様な長方形を有することができ、これは、移動するオブジェクトを明示的に追跡するのを可能にする。もっと複雑な符号化は、1以上の連続する画像における当該領域を選択するためのF_sel_1()に対する選択アルゴリズムを含むことができる（これは、領域拡張、スネークス・フィッティング（snakes fitting）、符号化動きパラメータによる動き追跡等の画像分析を含むことができる）。第２に、第１レジームレンダリングパラメータ６２２が存在する。これらは、簡単な変形例では、当該ライトを特徴付ける、所望の平均色相Ｈ１及び彩度ｓ１（及び、典型的には、輝度又は照度Ｌｄも）を有することができる。そして、許容される偏差ｄ(H1,s1,Ld)に対する明細が存在することができ、該偏差は、例えば、視聴室環境等を考慮に入れるために空間的偏差、レンダリングするディスプレイ毎の偏差とすることができる。

他の例として、複雑なモデルは、当該ディスプレイが例えば該受信側ディスプレイの最大達成可能輝度、消費者の好み設定等の種々のパラメータを考慮に入れて、好ましくは又は常に行うべきことに対して符号化することができる（例えば、消費者はホラー映画の非常に暗いレンダリングを好み得るものであり、その場合、"陰レジーム"は強調し又は異なってレンダリングすることができるが、当該画像の陰でない残部も暗くすることができ、又は消費者は余り怖くしないために上記陰レジームを明るくすることを望み得る［例えば、廊下の怪物が見えるようになる瞬間又は段階的移行を、例えば怖い音楽とずれて見えるように保つ］）。第２レジームレンダリングパラメータ６２３は、前記第１ネオンライトを異なる態様で、例えば異なるディスプレイ上で又は異なる設定で、レンダリングするために使用することができる。第２領域識別情報６２４及び第３レジームレンダリングパラメータ６２５を可能にすることにより、同一レジームの下で当該画像の異なる部分の符号化を多彩に可能にすることは、例えば赤及び緑のネオンライトに対して、行くからの協調は依然として保持しながら、何か異なることを実行するのを可能にする（例えば、これらネオンライトの色度又は空間プロファイルは異なるように処理することができるが、これらネオンライトが同じように知覚される明るさでレンダリングされるようにすることができる）。

更に、彩度増大器等の調整可能なアルゴリズムのためのパラメータｐ１、ｐ２、ｐ３、…又は処理関数fl()等の、符号化されたレンダリング調整データ６２６も存在し得る。

また、例えば前述した黒い壁の例におけるようなグラフィックパターン（又は復号された局部画像に追加するための何らかの追加の符号化）を追加し、又は例えば専用のアーチファクト処理等の見え方を変化させる何らかのフィルタ処理を実行することにより、復号された画像領域を改善するために符号化される追加の改善データ６２７ ｄ１、ｄ２、…が存在し得る。また、同一の画像に対して指定される、例えば一層暗い領域を如何に処理するかの第２レジーム６３０が存在し得る。これも、例えばチェーンコード若しくはスプラインのための制御点又は他のパラメータ化された輪郭コード（x13,y13）［例えば長方形の階層により覆う等の、他の幾何学的明細を使用することもできる］、上述したレジームに対応する画像Ｏ内のピクセル領域の特徴的特性データ（例えば、優勢に生じるカラー等の特定のカラーに対応し得るカラーＣ１、Ｃ２、…、又はヒストグラム、又はテクスチャ値Ｔ１、…）等の第３領域識別情報６３１を追加することにより実行することができ、これは、規定された方法でレンダリングされるべき領域を抽出するために、受信側で実行することが可能なセグメント化において種として、さもなければ補助として使用することができる。更に、レジーム指定関数６３２も存在し得、これは、特定の領域を抽出するF_sel_1()と共に、これを処理して例えば主ディスプレイ上にレンダリングするため（F_proc_1()）又はこれから補助ディスプレイのためのレンダリングを導出するためである（F_proc_2()）。平均の意図したカラー及び偏差（６２２、６２３）、有界関数（bounding functions）、目標関数（goal functions）、処理関数（F_proc_1()）等に関係するパラメータは、全て、レンダリング明細データ６５０の例である。送信側及び受信側のアルゴリズム的アイデンティティーが如何に緊密に協調されているかに依存して、識別子Alg_IDにより何の受信側アルゴリズム又はアルゴリズムのタイプが含まれるか、及びアクション識別子ACTを介して、意図するレンダリングのために如何にアクションを協調させねばならないかを述べるアルゴリズム識別コード６４０が含まれ得る（例えば、これは、アーチストが特定のレジームに対してノイズ除去がオフされ、又は特定の強度に対して適用されるべきと要求するのと同程度に簡単であり得る。勿論、もしブルーレイプレーヤが新しい世代のディスクが望むものと対応するように構成され、全ての処理を扱うなら、より容易であるが、追加の表示処理に関して何かを依然として制御することが好ましいであろう）。また、記述フィールド６３３も存在し得、該記述フィールドは、アーチストが、何が当該レジームをレンダリングする場合の意図であったか（"暗く且つ魅力的でないように見えるべきである"）、これを基となる画像シーンエレメントに対して如何にして心理視覚的に、数学的に実際に実現することができるか（"柱は目立って見えなければならないが、該柱の背後の地下室の奥の部分は怪奇で、区別が困難な態様でレンダリングされるべきである"）等を特定するのを可能にする。この記述的データは、後の機会に、トランスコーダにより使用することができるか、又は最終視聴者に対してユーザインターフェースを介してアーチストの意図のテキスト的記述として伝えることができる。勿論、この単なる概念的な解説的な例に、より多くの符号化を追加することもできる。

図７は、受信側における例えば消費者の居間内の例示的な画像復号及び表示システムを示す（当業者であれば、本発明の原理による同様のシステムが例えばデジタル映画館においてどのように見えるかは理解するであろう）。カラーレンダリング画像処理装置７０１の一実施例は、内蔵ブルーレイ読取器を備えるセットトップボックスであり（しかしながら、この装置は例えばラップトップコンピュータ又は携帯電話等の携帯装置とすることもできる。即ち、装置７０１はプラグインカードのように小さくすることができるか［レジーム明細を読み取ることができると共に、該明細によるカラー処理を可能にすることができる限り］、又は業務用映画トランスコーディング・スタジオのように大きくすることもできる）、符号化された全レジーム付き画像信号、即ち画像信号Ｏ及び別々に発生するレジームの記述を含む記述データ信号ＤＤＯの両方（例えば、夜の恐怖のアクション、又は爆発する宇宙船の爆風、又は生き生きとカラフルな夢の連続等が生じる幾つかの芸術的に重要な場面のための）を有するブルーレイディスク７０２を受け入れることができる。しかしながら、同様にして、該装置は、（典型的には圧縮符号化された）入力画像Ｏを伝えるテレビジョン信号伝送ケーブル（又はアンテナ、又はメモリカード上のデジタル写真のための入力端子等。即ち、画像信号は、多様に、例えばテレビジョン標準符号化信号又は生の画像ファイル等を意味することもできる）７０４に対する第１の接続部７０３を有することができる。記述データＤＤＯは、例えばインターネット７０５及び画像改善サービスを提供するウエブページに接続された、第２コネクタ７０４を介して他の媒体上で到来することもできる。従って、Ｏに関連付けられたＤＤＯは、これらは典型的には同一の記憶部上に符号化され、又は同一の伝送を介して受信可能であるが、入力画像信号Ｏの何らかの画像の少なくとも何らかのピクセル領域に対応する当該追加のデータＤＤＯを取り出すための何からの手段が存在するということを意味する。装置７０１はＩＣ７１０を有し、該ＩＣは、少なくとも、ＤＤＯからレジーム符号化データを抽出し、該データを直接出力するか又は該データを画像処理ユニット７１２による制御された画像処理を実行するために一層適した新たな値に変換するように構成された抽出器７１１を有している。上記ユニットは、特別なレンダリングされるべきレジームに対応するピクセルに対して何らかの色調再生変換のみを適用するように簡単に実施化することができるか、又は例えばセグメント化及び／又は追跡アルゴリズム／ユニット等の作成側で適用することが可能なアルゴリズムの何れかに典型的に対応する複雑なアルゴリズムを有することができる。プレーヤ７０１は、改善された意図するレンダリング出力画像ＩＲ'を、ビデオケーブル７２０（例えば、ＨＤＭＩ）を介してディスプレイ／テレビジョンに出力することができるが、該テレビジョンは追加の処理（自身の画像分析及び／又は処理ＩＣ７３１上での）を実行することができる（又は実行するよう要求され得る）ので、第２接続部（ケーブル又は無線）７２１が制御信号ＣＳ（該信号は、信号ＤＤＯからの何らかのデータ及び／又はこれから導出される制御データを有し得る）のために存在し得る。典型的に、これらの追加の制御信号は、例えば（無線）ＨＤＭＩプロトコルを更新することにより、ビデオケーブル上で追加することができる。装置７０１は、更に、カラー信号を接続部７２３を介して第２の周囲カラーディスプレイ７４０に送信することができ、該ディスプレイ７４０は意図するレンダリングカラー入力信号を、ディスプレイ７３０を介して得ることができる。例示的ディスプレイは、ＬＥＤバックライトを備え、ＨＤＲレンダリングにとり理想的である。測定装置７８０等の環境測定装置、例えば当該テレビジョンの周囲、当該部屋内の光、テレビジョンの前面プレート上の反射、校正グレイメモリの視認性等をチェックすることが可能な安価なカメラ、が存在することができ、該装置は、この情報を装置７０１及び／又はディスプレイ７３０に通知することができる。事実、上記装置は、ディスプレイ、電灯（ライト）、シャッタガラス等の部屋内の幾つかの装置を測色的に（輝度及び／又は色度）制御するための入力を発生することができる。

本明細書で開示されたアルゴリズム構成要素は、実際には、ハードウェア（例えば、特定用途向けＩＣの部分）として、又は特別なデジタル信号プロセッサ若しくは汎用プロセッサ等上で動作するソフトウェアとして実現することができる（全体として又は部分的に）。

当業者であれば、本説明から、何の構成要素がオプション的改善であり、他の構成要素との組み合わせで実現することができるか、及び方法の（オプション的）ステップが装置の各手段にどのように対応するか、及びその逆を理解することができるであろう。尚、この出願における"装置"なる文言は、広い意味で、即ち特定の目的の実現を可能にする一群の意味で使用されており、従って、例えばＩＣ（の小部分）、又は専用の機器（例えば、ディスプレイを備える機器等）、又はネットワーク化されたシステムの一部等とすることができる。また、"装置（構成）"も、広い意味で使用されることを意図しており、従って、とりわけ、単一の装置、装置の一部、共動する装置（の部分）の集合等を有し得る。

また、コンピュータプログラム製品なる表記は、汎用又は専用プロセッサに、一連のローディングステップ（これは、中間言語及び最終的プロセッサ言語への翻訳等の中間変換ステップを含み得る）の後に、当該プロセッサに命令を入力させると共に発明の特徴的機能の何れかを実行させるのを可能にする命令の集合の如何なる物理的実現をも含むものと理解されるべきである。特に、コンピュータプログラム製品は、例えばディスク若しくはテープ等の担体上のデータ、メモリ内に存在するデータ、ネットワーク接続（有線若しくは無線）を介して移動するデータ、又は用紙上のプログラムコードとして実現することができる。プログラムコードは別として、当該プログラムのために必要とされる特徴的データは、コンピュータプログラム製品として実施化することができる。

本方法の動作のために必要とされるステップの幾つかは、データ入力及び出力ステップのように当該コンピュータプログラム製品において記述される代わりに、当該プロセッサの機能内に既に存在し得る。

尚、上述した実施例は本発明を制限するというよりは解説するものであることに注意されたい。当業者であれば、提示された例の、請求項の他の領域へのマッピングを容易に実現することができる場合は、簡潔さのために、これらのオプションの全てには言及していない。請求項において組み合わされた、本発明の構成要素の組み合わせは別として、斯かる構成要素の他の組み合わせも可能である。構成要素の如何なる組み合わせも、単一の専用構成要素において実現することができる。

また、請求項における括弧内の如何なる符号も、斯かる請求項を限定することを意図するものではない。また、"有する"なる文言は、請求項に記載されていない構成要素又は態様の存在を排除するものではない。また、単数形の構成要素は、複数の斯様な構成要素の存在を排除するものではない。

Claims (12)

1. 入力画像信号に画像定義情報を追加する方法であって、
   − 入力画像を操作者に見せるステップと、
   − ユーザインターフェースを介して前記操作者から、一方における輝度値及び／又は幾何学形状情報と他方におけるレジーム記述子とを少なくとも含む記述的データを入力するステップと、
   − 前記レジーム記述子を含む前記記述的データを、ビデオ伝送規格により符号化される出力画像に対するメタデータを構成する出力記述信号に符号化するステップとを有し、
   前記レジーム記述子は、前記出力画像の空間領域のために指定されるとともに、受信側ディスプレイのレンダリングされた画像の異なる領域の輝度のレンダリングを、レンダリング側の制限を考慮して調整するための画像処理を制御するために前記受信側ディスプレイによる使用のために指定される、方法。
2. 前記操作者から、前記受信側ディスプレイのレンダリングされた画像のカラー特性を変更するための前記画像処理を制御するためにパラメータ及び／又は関数を入力すると共に、これらパラメータ及び／又は関数を前記出力記述信号に符号化するステップを更に有する、請求項１に記載の方法。
3. 前記操作者からの前記記述的データが、前記入力画像の輝度及び／又は色度値の少なくとも１つの部分集合又は前記入力画像の少なくとも１つのサブ領域を、前記受信側ディスプレイの再生可能なカラー値の表示サブレンジにどのようにマッピングするかの明細を含む、請求項１又は請求項２に記載の方法。
4. 前記表示サブレンジは表示されるべき前記出力画像におけるピクセルの部分集合に対応し、前記表示サブレンジは、最大輝度に等しい最高輝度を持つピクセル輝度値を有するタイプのものであるか、又は最小輝度に等しい最低輝度を持つピクセル輝度値を有するタイプのものであるか、又は最大彩度より低い彩度値を有するタイプのものである、請求項３に記載の方法。
5. 入力画像信号の画像ピクセル情報に画像定義情報を追加する画像分析装置であって、
   − 操作者に画像を見せるための画像出力部と、
   − ユーザインターフェースコマンドを入力するためのデータ入力部、及び前記ユーザインターフェースコマンドを、一方における輝度値及び／又は幾何学形状情報と他方におけるレジーム記述子とを少なくとも含む前記入力画像信号に関する記述的データに変換するデータ処理器と、
   − 前記レジーム記述子を含む前記記述的データを、ビデオ伝送規格により符号化される出力画像に対するメタデータを構成する出力記述信号に符号化するように構成されたデータエンコーダとを有し、
   前記レジーム記述子は、前記出力画像の空間領域のために指定されるとともに、受信側ディスプレイのレンダリングされた画像の異なる領域の輝度のレンダリングを、レンダリング側の制限を考慮して調整するための画像処理を制御するために前記受信側ディスプレイによる使用のために指定される、画像分析装置。
6. − 画像のピクセルの部分集合のヒストグラムを発生するヒストグラム分析モジュールと、
   − 画像のピクセルの領域を、輝度範囲の基準に基づいてセグメント化するセグメント化モジュールと、
   − 連続する画像においてオブジェクトを追跡する動き追跡器と、
   のうちの少なくとも１つを更に有する、請求項５に記載の画像分析装置。
7. レンダリングされるべき入力画像信号を該入力画像信号に関係する画像定義情報に基づいて処理する方法であって、
   − 前記画像定義情報の符号化情報から、一方における輝度値及び／又は幾何学形状情報と他方におけるレジーム記述子とを少なくとも含むカラーレジームを指定する記述的データを抽出するステップと、
   − レンダリングされるべき出力画像を得るために前記入力画像信号を、前記レジーム記述子に基づいて画像処理するステップとを有し、
   前記レジーム記述子は、前記出力画像の空間領域のために指定され、
   前記画像処理するステップは、前記出力画像の異なる領域のピクセル輝度を調整するとともに、レンダリング側の制限を考慮する、方法。
8. 前記符号化情報からレンダリング明細データを抽出するステップと、入力画像の少なくとも第１領域に対する前記画像処理するステップを前記レンダリング明細データに基づいて実行するステップとを更に有する、請求項７に記載の方法。
9. 前記画像処理するステップが、出力画像輝度範囲を前記レジーム記述子に対応する前記入力画像信号の一部に割り当てるステップを有する、請求項７又は請求項８に記載の方法。
10. 前記画像処理するステップが、前記レジーム記述子に対応する前記入力画像信号の一部に色調再生曲線マッピング処理を適用するステップを有し、前記色調再生曲線マッピング処理は、前記入力画像信号の前記一部のピクセルの入力輝度を、これらピクセルの出力輝度にマッピングする、請求項７、８又は９に記載の方法。
11. レンダリングされるべき入力画像信号を該入力画像信号に関係する画像定義情報に基づいて処理する装置であって、
    − 前記画像定義情報の符号化情報から、一方における輝度値及び／又は幾何学形状情報と他方におけるレジーム記述子とを少なくとも含むカラーレジームを指定する記述的データを抽出する抽出器と、
    − レンダリングされるべき出力画像を得るために前記入力画像信号を、前記レジーム記述子に基づいて画像処理を施す画像処理ユニットとを有し、
    前記レジーム記述子は、前記出力画像の空間領域のために指定され、
    前記画像処理ユニットは、前記出力画像の異なる領域のピクセル輝度を調整するとともに、レンダリング側の制限を考慮する、装置。
12. 前記画像処理ユニットが、前記レジーム記述子に対応する前記入力画像信号の一部におけるピクセルの少なくとも輝度にカラー変換を施す、請求項１１に記載の装置。

Images