特に、乗算に基づく非常に有用な輝度マッピング技術(少なくとも、赤及び青の色のディメンジョンを当面の間無視する輝度マッピング)を開発した。線形のRGB色信号を処理する場合は、それぞれの色の輝度を増大するのと同様に(結果的に単一の乗数gtで成分を乗算することにより)色信号を増大するようにしてもよい。すなわち、コンテンツ作成者は、例えば一般的な輝度増大、任意形状の微調節関数(CC)等、様々なマッピング法で構成可能な輝度マッピング法として、自身の要求を特定可能である。言うまでもなく、現存の技術については確かに、入力画像の考え得るすべての輝度が対象ではない一部の実施形態において、このような関数指定が1つだけ必要であり、これをCCと称するが、これは何らかの別の関数であってもよい。
上記は一般的に知られていないため、図16において原理を説明する。ここで、任意の考え得る入力輝度Y_in(受信した処理対象の入力画像Im_inのルマ符号(例えば、950)に対応)を出力輝度値(簡素化のため、0.0〜1.0の正規化値と仮定)に変換するシグモイド関数を有するものと仮定する。この関数は、ユニタリ変換(すなわち、対角)との比較で導出可能な乗算としても記述可能である。例えばHDR Im_inをそれ自体に変換するのであれば、ユニタリ変換を適用することになる。HDR相対輝度をLDR相対輝度(又は、略して「輝度」)に変換したい場合は、シグモイド関数を適用可能である。ただし、右側の曲線の係数gでも同等に、Y_in値を乗算可能である。このような乗算法によって、HDR技術が比較的簡単になり、例えば、様々な望ましい変換が次々に生じるものの、本出願の主題であるディスプレイ調節シナリオと同様に、実際に接続された任意のディスプレイの場合は、マスターHDR効果に大きく対応して、画像が最適に見えるようになる。
したがって、実際のHDR(実際には、これと同時に、レガシーLDRディスプレイ上での直接表示に使用可能なLDR等級分け効果)画像符号化方法として、本出願人は、従来の圧縮技術に従って実際に符号化され、HDRシーンの捕捉オブジェクトのピクセル色テクスチャを含む主画像として、HDR及びLDR画像の一方のみを格納(又は、送信)するシステムを発明した。すなわち、これは、すべてのオブジェクト形状の幾何学的構成及びそれぞれのテクスチャの何らかの成文化を含み、任意所望のレンダリング又は対応する色調整によって、画像の幾何学的態様を再構成可能である。さらに、HDRシーン画像の成文化には、通常、第2の画像としてではなく、(復号化ICがすべての色変換を理解して実施している必要があることから、通常は限られた)主画像のピクセル色の一組の機能的変換として符号化された少なくとも1つの(通常は、厳密に1となる場合が多い等級分けコストを考慮した)他の等級分けを含む。このため、主画像(Im_in)が(例えば、5000nitのピーク明度を尺度とする)HDR画像となる場合、色変換関数(又は、アルゴリズム)は、その画像からLDR画像を(通常、100nitの標準化SDRとして)計算可能となる。また、当業者であれば、必要に応じた少ないビットでのこのような変換の容易な成文化法を把握することになる。例えば、第1の部分が直線状であり、その後(1.0、1.0)に向かって屈曲する関数は、傾斜(黒い傾斜)及び直線状部分の停止点を与える実数等のパラメータ並びに上側部分の形状の規定に必要な任意のパラメータによって符号化可能である。
図1は、このような色変換の考え得る一般的な例示的実施形態を与えているが、これには限定されず、熟練した読者が理解すべき(少なくとも1つの)別の等級分けの対応する変換ベースの符号化は、以下の新規な実施形態と併用可能な唯一のシステムではない。
この例では、HDR画像がテクスチャ画像として符号化され(Im_inとして受信され)、そのピクセル色に色変換を適用することにより、任意の動画受信側でLDR等級分けを構成可能であるものと仮定する。ただし、例えばLDR画像である主画像に基づいてHDR画像を再構成する場合、すなわちLDRディスプレイ上での直接レンダリングに適する場合、すなわちLDRディスプレイのピーク明度限界が与えられた画像の様々なオブジェクトについて、適当な光度及びコントラストを示すLDRディスプレイ上でのレンダリングの場合にも同じ技術的推論が当てはまる。この場合は、色変換によって、LDR画像からHDR画像が規定される。なお、いくつかの実施形態においては(必須ではないものの)、例えば符号化器がダイナミックレンジを縮小し、主画像をLDR画像として符号化する場合、符号化器及び復号化器において処理ユニットの順序が逆転されるようになっていてもよく、復号化器側で対応するLDR主画像からHDR等級分けを再構成する場合、すなわち、まずカスタム曲線を適用した後、ユニット110の露出調整を逆方向に適用した場合等に、輝度(又は、ルマ)処理の順序が逆転されるようになっていてもよい。
以下、説明を目的として、色変換装置201が任意の受信装置(テレビ、コンピュータ、携帯電話、映画館のデジタルシネマサーバ、セキュリティシステム制御室の視聴ブース等が考えられる)の一部であるものと仮定するが、任意の符号化又はコード変換装置の符号化側においては、実現可能なもの及び符号化して送信可能なものを確認するため、同じ技術的構成要素が存在していてもよい。例えば、BDリーダ、アンテナ、インターネット接続等の様々な画像源に接続可能な入力103を介して、画像信号、より一般的には動画信号S_imが受信される。動画信号S_imは、一方では入力色を伴うピクセルIm_inの画像(又は、異なる時点の複数の画像の動画)を含み、他方では、様々なデータとりわけ受信側で色マッピング関数を一意に構成するデータ、場合により入力画像が等級分けされるピーク明度に関連する何らかの説明データ、及び以下の種々実施形態を実現するのに必要な任意のデータを含み得るメタデータMETを含む。動画像の符号化は通常、例えば既存のMPEG−HEVCすなわちYCbCrピクセル色のDCTベースの符号化等、MPEG状の符号化法でなされるようになっていてもよい。色変換ベースの再等級分け技術によるダイナミックレンジ効果の符号化は本質的に、画像を適当にフォーマットして格納又は送信するように対処する圧縮の部分において実際に用いられる圧縮法に依存しないためである。したがって、本発明の種々実施形態は、例えばYuv等で好都合な種々入力色規定に作用し得るものの、この例では、第1の色変換器104がYCbCr表示を線形RGB表示へと変換するように構成されている。第2の色変換器105は、第1のRGB表示から第2のRGB表示へのマッピングを行うようにしてもよい。これは、カラーグレーダが等級分けを行い、第1の色空間で起こっていること(例えば、Rec.709)を観察するようにしてもよいためであるが、画像データは第2の色空間に従って符号化される。例えば、デジタルシネマイニシアティブの原色P3:赤=(0.68,0.32)、緑=(0.265,0.69)、青=(0.15,0.06)、白=(0.314,0.351)を使用可能である。或いは、最近のRec.2020色フォーマット等での符号化も可能である。例えば、Rec.2020色空間で規定された色表示にて画像が送信されるようになっていてもよいが、グレーダは、DCI−P3色空間にて色の等級分けを実行済みであり、これは、例えばHDR画像からのLDR等級分け又はその逆を行うため、受信装置がすべての色変換に先立って、P3色空間への変換を最初に行うことを意味する。計算が受信端で等級分けが再計算される前に、例えばRec.709等の等級分け色空間において、グレーダがHDR画像をLDR画像へと再等級分け済みであることから(すべての値が[0,1]に正規されているものと仮定)、第2の色変換器105は、このRec.709色空間への変換を行う(当業者は、例えば、相対的な比色分析マッピングを場合により使用可能であることや、反転可能な何らかの飽和圧縮法が用いられ得ることなど、様々な変換法を適用可能であることが分かっている)。そして、メタデータは通常、色最適化法を適用するが、この簡単な実際の実施形態では、色飽和プロセッサ106によって実行されるものと仮定する。グレーダが特定の飽和法を適用する(例えば、特定の様態で明るい色を不飽和にして、RGB全域のより高い輝度位置に適合させるか、又は、HDR−LDRマッピング等によって暗くなっている色の彩度を高くする)のには、様々な理由が考えられる。例えば、グレーダは、夜景シーン等の空の紺青がわずかに不飽和となっていることを見出し得るため、輝度最適化変換によってLDR効果を得る前に、線形HDR画像の飽和を予め上昇済みであってもよい(典型的な実施形態では、色の色度を不変のままとする輝度変換すなわち色の輝度の態様に関して純粋に影響を及ぼす輝度変換を実行するため、特に興味深い)。この簡素化された例示的な実施形態においては、飽和が色の単純なスケーリングであり(すなわち、色相、輝度、又は初期飽和に関わらず同じ)、伝達・受信されたメタデータMETから値が読まれるものと仮定する。より簡単な実施形態においては、色変換の輝度の態様に関してのみ注目し、色処理をこの単一の予備処理ステップとするが、当業者であれば、他の飽和法が可能であり、輝度処理とスマートに調和可能であることが了解される。ここで、各色は、純粋な輝度−方向処理を実行するための適正な(R,G,B)値を有する。
図1に示すような色変換実施形態の重要な特性として、色の純粋なスケーリングが可能であり(すなわち、当該色の輝度の相互関連すなわち色ベクトルの長さを測定する任意の尺度である色特性のみの変更が可能である一方、色の色度を決定する色成分の比の維持が可能であり、当然のことながら、色変換の計算を様々に(例えば、図示のように線形RGB成分上で)具現化可能である)、この色変換は、3つの色成分上で同様に、共通の多重スケーリング変換として(実数g(例えば、0.753)又は実数に変換可能な任意のその成文化(例えば、INT(1000*g))、説明したように再公式化可能である。これは、HDR−LDRマッピングを規定しており(又は、同様にLDR−HDRマッピング若しくは第1のダイナミックレンジの任意の第1の等級分け画像の大きく異なる第2のダイナミックレンジへのマッピングであり、これら2つは、関連する尺度ディスプレイの関連するピーク明度、すなわちNビット成文化の最大符号に対応する輝度として、通常少なくとも係数4すなわち2ストップ又は少なくとも係数1.5若しくは2及び場合によってはより多くの複数ストップが異なる)、少なくともこの場合は、ダイナミックレンジ変換において支配的に、画像オブジェクトの輝度の態様が関与する。
図1の説明例における処理は次の通りである。最大値計算器107は、ピクセル色ごとに、RGB成分のうちの1つである最も高いRGB成分を計算するが、例えば赤成分が0.7である(これをRmaxと称する)。これは、色ベクトルの長さの尺度すなわち輝度相互関連の一実施形態となる。輝度マッパ102は、一連の変換を当該最大成分に適用するが、これら変換の成文化は、最終的に総機能的輝度変換に達するメタデータMETに受け付けられる。この変換は、HDR画像の輝度(1に正規化)がすべて変化して、審美的に適正な等級分けLDR効果を有するLDR画像が如何に得られるかを成文化している。例えば、通常は、等級分けソフトウェア上での等級分けと、LDR効果を満たした場合の保存ボタンのクリックとによって、符号化/コンテンツ作成側のグレーダが良好なLDR効果を与えていることが特定されるような変換が適用される。まず、利得乗算器108は、受信した利得係数(gai)によって最大成分(例えば、Rmax)を乗算することにより、ピクセルごとの0〜1の異なる値であるRmax_1を生成する(例えば、いくつかの実施形態において、グレーダは、HDR輝度の70%レベルをLDR輝度の100%レベルに設定することも可能であるし、その他何らかの所望の等級分けも可能である)。なお、この処理は実際のところ、輝度変換挙動が伝達済みと考えられる事実にも関わらず、例えば当該色の輝度ではなく、3つの色成分の最大値に関して実行される。そして、パワー関数適用ユニット109は、現在の結果Rmax_1をパワーガムへと引き上げるが、この数のガムが再度、受信メタデータから読み出されて、結果的Rmax_2が生成される。その後、露出調整ユニット110は、例えば以下の式の適用によって、グローバル露出修正変換を適用する。
Rmax_3=ln((lg−1)*Rmax_2+1)/ln(lg)
ここで、lgは再び、受信したグレーダ最適化数、lnは2.71を底とする自然対数であって、Rmax_4を生じる。そして、カスタム曲線が輝度マッパ111により適用されて、Rmax_4=CC(Rmax_3)を生じる。すなわち、この曲線は、例えば複数(例えば、6つ)の特徴点(入力ルマ/出力ルマ座標対)として送信されるようになっていてもよく、その中間において、何らかの送信又は事前合意補間法(例えば、線形補間)により受信側で中間点を計算することができる。そして、この関数が適用され、例えばRmax_3=0.7の場合は、伝達される具体的な関数により、この値に対してRmax_4=0.78が生じる。最後に、典型的なLDRディスプレイの使用ガンマすなわち通常Rec.709の反転ガンマに従って、表示変換成形器112が変換を行う(線形座標にて入力されるディスプレイの場合、この最後の表示変換成形器は、任意選択であってもよい)。当業者であれば、例えば[0,1]のmax(R,G,B)の考え得るすべての入力値に当てはまる単一のLUTを形成することにより、等化法によってこれらの式を同等と見なし得ることが了解される。ユニットの一部を省略可能であり、例えば、利得gaiを1.0に設定して、結果的に同一性処理を有することから効果的に除去されることが了解されるものとする。当然のことながら、他の変換関数も使用可能であり、例えば、カスタム曲線を適用するだけでもよいが、研究の結果、この例は、グレーダが良好なLDR効果を効率的に得るのに実用的と考えられることが分かった。以下の実施形態においては、必要に応じて任意の輝度処理法を構築可能であり、本明細書に記載の処理法は、実用上非常に優れたものに過ぎない点が重要である。
そして最後に、入力RGB成分自体の最大値(すなわち、Rmax等)によって、これらすべての変換の結果(すなわちf(Rmax)等)を除算することにより、共通の乗算係数gが計算される。この係数gは、輝度変換を乗算法として提示可能となるように計算される。最後に、所望の出力色及びその所望のLDR光度を相対的に得るため、スケーリング乗算器114は、入力RGB値又はこの例における(任意選択としての)飽和処理(色飽和プロセッサ106)の結果的値に共通の乗算係数gを乗算することにより、すべての画像オブジェクト、又は実際のところ、これらオブジェクトのすべての画像ピクセルに対して、適正な輝度調整色を生じる。すなわち、この例においては、これにより、ピクセル色(R2,G2,B2)が画像出力115上で出力されるS_imに入力されたHDR画像から始めて線形RGB画像としてLDR等級分け効果が生成される。当然のことながら、当業者であれば、LDR画像の適正な比色分析効果を有することにより、画像自体と同様に、任意の原理に従ってその色を符号化することにより、依然として別途使用が可能であることが了解される(例えば、ある用途としては、計算ICからバスを介してLCDバルブドライバに信号を送信するが、別の用途では、直接又は別途ディスプレイベンダ固有の微調節処理を施して、HDMI(登録商標)接続を介して画像をテレビに送信してレンダリングすることも可能であり、このため、微調節を誘導する伝達ビデオ信号に何らかの別のメタデータが含まれる可能性がある)。
ここで、読者は、HDR符号化及び使用技術に関して、別の重要な原理を明確に理解すべきである。ここまでは、図1を用いて、HDRシーンの異なる(すなわち、すべてのオブジェクト光度が対応的に調和された)ダイナミックレンジの2つの効果を符号化可能な手段すなわちコンテンツ作成者により等級分けされた2つの元の画像を符号化する手段を説明してきたに過ぎない。このようにしたのは、LDRディスプレイが1つだけ(100nit)存在し、特に、様々なコンテンツ視聴者を前提として、それ以外にHDRディスプレイの種類が1つだけ(例えば、5000nit)の場合は、すべてが簡素化されるためである。そして、LDRディスプレイは、LDR等級を表示することになり、HDRディスプレイに関わらず、「HDR等級」を表示することになる。これは、受信してレンダリングする画像のピーク明度から適度に逸脱した表示ピーク明度の場合は功を奏するが、大きく逸脱する場合は良好な結果とならない可能性がある。特に、この画像は、1000nit、100nit、又は5000nitのディスプレイで表示する必要がある。ここで、図1と厳密に同じ技術によって、少なくとも1つ以上の画像を非常に上手く等級分けすることも可能であり、例えば、PB_Dが1000nit前後のディスプレイに関して、最も良く見える等級分けを実際に計算する色変換関数を決定可能である。少なくともいくつかの重要なHDRシーンについては、500nit又は2500nit前後でも、効果は依然として不適当と考えられる(例えば、暗闇のモンスターは、暗過ぎて見えなくなる可能性があり、逆に、非現実的に明るくなったり、濃霧中の別のモンスターのコントラストが見えなくなるほど低くなったりする可能性等もある)。多くのシナリオ(特に、生放送用途)において、グレーダは、MET_TR2の第2の色変換関数による第3の等級分けに配慮せず、また、等級分けされた第2の効果(例えば、マスターHDRからのLDR)を詳細に作成することに多くの時間を費やしたくない場合がある。したがって、一方では、ピーク明度スケールの通常考えられる使用に関する限り、通常は最端部における2つの等級分けの視認によるHDRシーンの実際のセマンティックが非常によく把握されるという原理を導入した。例えば、爆発は、LDRシーンと比較して、HDRシーンにおいて光度が増大されるが、シーンのその他の部分を十分にレンダリングするのに必要な符号を上回るほど多くの符号が利用可能なわけではないことが分かる(逆も同様で、爆発は、HDR画像における明るさ強調版と比較して、LDRにおいて暗くなることが分かる)。これにより、どれくらい特定のPB_Dに対して爆発を増大すべきかが必ずしも分かるわけではなく、例えば、この増大が積極的に即時開始すべきか、高品質HDRディスプレイ(例えば、およそ2000nitのPB)に対してのみ即時開始すべきかが分からない。ただし、少なくとも、中間等級(MDR)に関しては、爆発の火球の増大が必要になることが把握される。ここで、必要となる技術的手法は、HDRシーンの種類の複雑性等の状況と、特定のユーザの重要性とによって決まり、当該応用分野において共通の余裕時間及び費用等と均衡している。この原理では、受信側(例えば、セットトップボックス又はTV IC)自体が他方の必要な等級(受信した2つの等級間又はその範囲の外側)を導出可能であり、通常は、作成側からの何らかの別途誘導を伴って、色変換と本質的に異なるメタデータの使用により、実際の第2の元の等級すなわちグレーダにより指定・有効化された元の審美的材料が生成される。これは、このいわゆる表示調節段階の物理的及び技術的要件も異なることが原因である。なお、特定の要求に応じて現在のHDRシーンに最適なパラメータを作成者が実際に伝達するケースを説明することになるが、受信側においても、同じ原理を単独で適用可能であり、例えば、受信装置が画像解析によって、適当な(例えば、gpr又はgpm)表示調節パラメータ値に達することも教示する。いくつかのシーンにおいて、様々な画像オブジェクトの最終的なレンダリング輝度が如何ほどであるかは然程重要ではなく、例えば、室内の光は実生活においても、わずかに明るいだけであるため、窓から見られる外界の光も相対的に十分明るく又は暗くなり得る。このような場合、装置又はグレーダは、非常に単純な技術的ツールにより、少なくとも輝度範囲の一部に関して尺度アルゴリズムにより生じるものと比較して、効果をわずかに(例えば、ある範囲に関して、3つのユニタリステップだけ)明るく調節するようにしてもよい。その他いくつかの重要なシーンについて、グレーダ又はディスプレイ製造業者は、例えば画像の自動的な改善又は効果に影響を及ぼすよりスマートなユーザインターフェース制御のユーザへの付与のため、当然のことながら、この種の技術の典型的なハードウェア制約とすべてが調和した考え得る表示ピーク明度の範囲の様々な部分的範囲に関して、HDRシーンの様々な部分をより精密に制御したい場合がある(特に、特定の様々な光度範囲であるが、いくつかのシナリオにおいては、例えば特定のオブジェクトの識別を可能にする情報が存在する可能性があり、この場合は、オブジェクトに応じた表示調節を実行可能である)。
以下に説明する本発明は、少なくとも2つの等級分け画像の比色分析効果を規定する上記のような共通のスケーリング(乗算)処理に関して、接続されてレンダリング用の最適化画像が供給される実際のディスプレイの中間等級(中間ダイナミックレンジMDR(半)自動再等級分け効果)を色変換装置(201)により受信側で計算することにより、表示ピーク明度と異なる第1の画像ピーク明度(PB_IM1)に対応する最大ルマ符号を有する入力画像(Im_in)のピクセルの入力色(R,G,B)から始めて表示ピーク明度(PB_D)を持つディスプレイの出力画像(IM_MDR)のピクセルの結果的色(R2,G2,B2)を計算可能となる色変換装置であって、色変換装置は、
メタデータ入力部(116)を介して受信された少なくともピクセル輝度範囲に対する少なくとも1つのトーンマッピング関数(CC)を含む色処理仕様データ(MET_1)から色変換(TMF、g)を決定するように構成された色変換決定ユニット(102)であって、色変換が、その最大ルマ符号に対応して、表示ピーク明度(PB_D)及び第1の画像ピーク明度(PB_IM1)と異なる第2の画像ピーク明度(PB_IM2)を有する画像(IM_GRAD_LXDR)の少なくともいくつかのピクセル色の計算を指定することにより、第2の画像ピーク明度による第1の画像ピーク明度の除算が2より大きな値又は1/2より小さな値となる、色変換決定ユニット(102)と、
第1の画像ピーク明度(PB_IM1)と第2の画像ピーク明度(PB_IM2)との間の表示ピーク明度の位置及び当該範囲外の表示ピーク明度の位置を特定するための尺度を決定するように構成された可能尺度決定ユニット(1303)、及び、
表示ピーク明度(PB_D)、尺度、及び色変換から、結果的共通乗算係数(gt)を決定するように構成された結果的乗数決定ユニット(1310)、
を備えることにより、結果的共通乗算係数(gt)を決定するように構成された倍率決定ユニット(200)と、を備え、
色変換装置は、
入力色の線形RGB色表現に結果的共通乗算係数(gt)を乗算するように構成されたスケーリング乗算器(114)をさらに備えることを特徴とすることで課題を解決する。
出力画像の結果的色の計算に必要な結果的共通乗算係数(gt)の計算の例示的な一実施形態では、通常、HDRシーンの第2の受信等級である入力画像の輝度ダイナミックレンジと少なくとも1.5倍異なる輝度ダイナミックレンジの画像(Im_LDR)に対応する尺度ピーク明度(PB_H)とピーク明度(PB_IM2(例えば、LDR等級のPB_L))との比の対数によって除算したディスプレイ(PB_D)、特に画像をレンダリングする接続ディスプレイと入力画像に対応する尺度ピーク明度(PB_IM1(例えば、PB_H))との比の対数の比(gp)を最初に計算する。その後、色変換装置は、比(gp)のパワーまで引き上げられた(第1及び第2の等級分け間の変換に用いられるすべての部分的色変換の総量により決定され、通常はHDR及びLDR効果画像と考えられる)初期共通乗算係数gとして、結果的共通乗算係数(gt)を計算する。
このような他の尺度も可能であるが、何でも良いわけではなく、ディスプレイ(PB_D)の中間ピーク明度を厳密又は近似的に位置特定するのに用いる場合は、PB_HとPB_Lとの間となるようにすることで、MDR効果がPB_Dディスプレイへのレンダリング時に満たされる(特に、[PB_IM1,PB_IM2]範囲外で効果を外挿する際に尺度が良好な結果をもたらす場合にも有用である)。
したがって、この装置又は方法では、2つの符号化/受信効果画像(Im_in及びIM_GRAD_LXDRであり、IM_GRAD_LXDRがHDR又はLDR画像であってもよく、他方の画像が大幅に異なるダイナミックレンジを有する)間の色変換を最初に決定するが、この色変換は、種々実施形態において、実際には(正規化された入力及び出力輝度間の)関数又は1つ若しくは一組の乗算係数gとして表示され、計算を実行するユニットに伝達されるようになっていてもよい。
多くの実施形態においては、MDR出力画像のすべての色がこの方法により計算されるようになっていてもよいが、他の実施形態では、ピクセルの一部のみが再計算される。例えば、この方法では、LDR画像等からシーンの一部又はいくつかのテキスト若しくはグラフィック要素をコピーし、火球又は屋外に臨む窓等に対応するピクセルのみを増大するようにしてもよい。このような場合は、考え得る輝度等の範囲の一部のみに関数が規定されるようになっていてもよい。
最終的には、例えばHDR画像からのMDR画像の導出に必要な色処理の計算に関わらず、この装置は、これを入力色と乗算する一組の乗算値へと変換することになるが、これは通常、線形RGB色表示であってもよい(又は同様に、例えばu’及びv’をCIE1976色度座標とするLu’v’表示のL成分を乗算することも可能であるが、これらの詳細は、表示調節の種々の実施形態の理解に関係ない)。
したがって、この装置ではまず、可能尺度決定ユニット(1303)によって、どの尺度がPB_IM1値とPB_IM2値との間でのPB_D値の位置特定に必要かを決定する必要がある。この尺度は通常、非線形であり、調節パラメータの一部を用いて、この装置は、コンテンツグレーダの誘導下でのいくつかの有利なシナリオにおいて、非線形性の形態にさらに影響を及ぼし得る。これは特に、非線形な人間の視覚の存在下であっても、表示調節が単に表示物理学ベースの適応ではなく、特にHDR(特に、非常に高いDR)からLDRへの移行のため、複雑な最適化によってすべてのオブジェクト輝度を一体的に絞り込むとともに、依然として、優れた調和効果を得ることが必要となり得るためである(第2の画像もHDR画像又は少なくともPBが十分に高いMDR画像である場合は、事態が容易化される可能性がある)。それにも関わらず、理想的には、システムの実施形態を合理的に簡素化することにより、数個のパラメータによって、HDRコンテンツのクラスに要する効果調節制御の少なくとも大部分を迅速に得たい。
可能尺度決定ユニット(1303)は、(例えば、ICにおけるハード符号化である)所定の尺度を使用するだけの簡素化を図るようにしてもよいし、他の実施形態においては、事前合意メタデータフィールドにおける受信信号S_imを介してコンテンツ作成者から受信した尺度種別インジケータ(COD_METR)から必要な効果を決定するようにしてもよい。様々なHDRシーンが異なる取り扱いを受ける可能性があるため、グレーダは、例えば日当たりの良い屋外の行動の映画の第1のシーンについて、使用する尺度が対数比であること(及び、方向がおそらく、入力輝度の軸に直交する垂直方向であること(以下参照))を伝達するようにしてもよいが、次が夜のシーンになった場合は、いく分明るい効果を得るため、コンテンツ作成者は、OETFベースの尺度によって(例えば、同一性対角方向に直交して、言い換えると、入力輝度軸から135°にて)表示調節を行う旨を指示するようにしてもよい。或いは、コンテンツがMDR再等級分けリアルタイムである(或いは、例えば、後の視聴者に向けて処理され、視聴者の前提でHDDに格納される)べきかに応じて、例えばSTBの色変換装置は、何らかの計算を行い、画像統計データを見て、意図するディスプレイが少しだけ暗くなるように尺度を少し変更するか、又は、PB_Dを変更することにより、いく分明るい画像となるように検討してもよい。或いは、人間又は自動画像品質解析アルゴリズムのいずれに依らず、MDR効果が満足のいく判定を得るまで、パラメータに影響する表示調節を任意に変更するようにしてもよい。受信側装置の可能尺度決定ユニットは、例えば映画の画像集合の統計解析によって、それ自体の尺度を構築するようにしてもよいが、通常は、一組の予備プログラム選択肢から選定するのみである。
結果乗数決定ユニット(1310)は一般的に、以下の例で説明する通り、尺度を輝度変換マップ上に位置決めし(又は、実際のところ、同等の計算をし)、表示ピーク明度が符号化画像間となる位置(すなわち、少なくともピクセル色の何らかの部分的範囲又は入力画像Im_inの何らかのピクセル部分集合に関して、よりHDR性又はよりLDR性のMDR画像が必要であるか)を決定した後、輝度変換関数全体の形状を見て、考え得る入力輝度ごとに、MDR画像の対応するピクセルの対応する出力輝度又は係数内出力色の計算に必要な結果的共通乗算係数gtを決定することになる。
このため、2つのダイナミックレンジ効果の見方に関するグレーダの任意の審美的要求に応じて画像オブジェクトの輝度マッピングを成文化した初期共通乗算係数(g)を用いる代わりに、図1と併せて説明した捕捉シーンの第1のダイナミックレンジ効果(例えば、主画像としての5000nitのHDR)から(100nitレガシーディスプレイを駆動する)LDR等の第2の効果への変換によって、第1の尺度等級分けの画像から第2の審美的尺度等級分けを生成する技術的色変換関数パラメータを使用して、新たな結果的共通乗算係数(gt)が計算されるが、これは、MDR画像を与える再等級分けを適当に光度スケーリング又は表示調節したものを特徴とする。例えば、この装置又は方法では、(上述の通り、共通因数を有するRGBピクセル色上の単一の乗算行為として公式化可能な)HDR主画像からの格下げを行うようにしてもよい。これにより、中間ピーク明度(例えば、1250nit)の接続可能なディスプレイに適当な効果を有する中間等級分け画像(MDR)が生成される。すなわち、捕捉画像中のすべてのHDRシーンオブジェクトは、(冷陰領域であれ、空想の池であれ、警察に尋問されている犯罪者の明るく照らされた顔であれ等、コンテンツ作成者が望むとともに見て楽しい)輝度が合理的なディスプレイにレンダリングされるとともに、視聴環境等の他の要因を潜在的に考慮して任意所与のディスプレイにレンダリングされる。また、実施形態においては、画像オブジェクトのピクセル色の光度のほか、例えば必要な不飽和を適当にスケーリングして適用することにより、LDR等級の明るい色付きオブジェクトを生成することによって、ピクセル色の彩度も必要に応じて最適化されるようになっていてもよい。ピーク明度が大幅に異なるディスプレイに対して適正に等級分けされた画像を得るための主な要件として、少なくとも様々なオブジェクトの輝度がディスプレイごとに適正に最適化されているものとする。そうしなければ、視聴者には、例えば暗過ぎて十分に識別できない画像の一部が見える可能性がある。或いは、いくつかのオブジェクトのコントラストが適正でなくなる(例えば、低くなり過ぎる)可能性がある。ただし、g係数との乗算として、輝度変換を公式化する手法を見出しているため、色飽和処理にも同じ考え方を適用可能である。また、輝度ダイナミックレンジが大幅に異なるディスプレイの画像間での変換が必要な場合にも、色飽和変換は有用な処理である。その理由として、例えばグレーダは、低ピーク明度(例えば、100〜600nit)のディスプレイへのレンダリングに際して、シーンの最も暗い部分の彩度を高くしたい場合がある。
gtの計算は、受信側で行われるが、通常は、作成側での実行により、受信装置が行うことを確認するようにしてもよい。いくつかの実施形態においては、gt値の如何なる受信側計算も作成側が却下可能であり、例えば映画の1つ又は複数の場面について、直接指定することも可能であるが、以下の説明では、より簡単な計算の実施形態に着目する。
「ネイティブ」効果、より正確には、様々なピーク明度(及び/又はダイナミックレンジ)の関連するディスプレイの効果群といくつかの原理に従ってさらに調節された再調整効果とは、区別することができる。ディスプレイ、環境、視聴者適応等の視聴パラメータが最終的にあるべき効果を決定する受信側での再調節には、様々な理由があり得るものの、通常は、HDR画像又は動画取り扱い連鎖において、少なくとも画像をレンダリングするディスプレイのピーク明度が最も重要となる。一方、画像作成−消費連鎖の複数の当事者は、最適な効果について、発言権を有し得る(例えば、最終消費者は、問題又は要求に関して、特別な意見を持っている場合がある)。実施形態の説明に利用可能ないくつかのシステムにより、コンテンツ作成者が望む場合は、コンテンツが表示される受信端ディスプレイに関わらず、最終的に最適な「ネイティブ」効果があるべき姿について、何らかの発言を維持できるものと仮定するようにしてもよい。これは、最も単純な実施形態によって可能である。画像(例えば、同じ光ディスク若しくは画像包含媒体上又は同じ画像通信接続経由)と関連付けられた第1のメタデータMET_1にて伝達される色変換仕様中に効果の主要部分が符号化済みであり、受信ディスプレイの特定のピーク明度へと簡単に調整する場合、撮像シーンに対するグレーダの視聴の大部分が依然として、最終的にレンダリングされる効果に存在して確認できるためである。実際、色変換装置が尺度をそのまま(すなわち、gpr等の効果変動性規定パラメータによる別途微調節なく)適用した後、(TMFがHDRからLDR等へのマッピングを決定する)受信した色変換に基づいて、HDR−MDR色変換関数を決定する場合、MDRは、HDR−LDR変換関数に符号化された等級分けの差異によって単独で決定される。
ただし、他の当事者も効果に発言権を有することができ、これは、ネイティブ効果の再決定として典型的な種々実施形態の厳密に同じ技術的構成要素による決定も可能である。例えば、テレビ製造業者等の装置製造業者は、多くの知識及び/又はどの特定のタイプのHDRシーンのレンダリング(或いはそれに対して対応するMDRレンダリング)がどのように見るかについて好ましい視聴を有する場合がある。例えば、ディスプレイの平均を上回る暗色レンダリング能力を強調したいため、暗い基部を少し明るくするか、場合によりさらに暗くするかを望む場合がある。或いは、オン平均よりも飽和した効果又は逆に不飽和の効果を望む場合がある。或いは、他のディスプレイハードウェア特性又はベンダに典型の色効果等のベンダ選好のために色処理する場合がある。従来、これは、同じ撮像シーン上の効果の様々なレンダリングシナリオ間での変動の仕方に関して作成者が考えることに関わらず、テレビ又は高い飽和等の合理的な結果を常に与える固定関数により、解析後の受信画像に対して無分別に行われるものであった(このため、色が適度にパステルになる代わりに過飽和になる場合がある)。ただし、現在の手法では、(伝達された第1の効果画像(例えば、5000nitのHDR)から第2の尺度効果(例えば、100nitのレガシーLDR)へと向かうように色変換に符号化された)シーンについて審美的な作成者が考えることに対して、装置製造業者の別途処理を調和させることができる。特に、HDRシーンの少なくとも1つ以上のダイナミックレンジ等級分けのこの機能的な再指定により、装置製造業者(例えば、TVメーカ)は、関連性がはるかに高いセマンティック情報を有する。これは、受信装置がよりスマートな最適再等級分け計算を実行できる尺度となるシーン及びその画像のスマートな特異性に基づいて、人間のグレーダが選定を行っているためである。新たな効果再等級分け技術による画像の最終的な効果について発言権を一般的に付与し得る第三者も存在する。視聴者は、例えば妻が隣で読書しているために現時点で画像が部分的に暗過ぎると考えた場合、リモコン1122によって、例えば通常は少しだけ(おそらく、例えば最大3ストップ変化の大きなステップを伴うが、輝度範囲の一部だけ(例えば、10%最暗色))、効果を微調節するようにしてもよい。
このため、色変換装置は主として、グレーダが(メタデータMET、より正確には、伝達された画像Im_inと関連付けられたMET_1の)色変換関数として指定したものに依拠しており、ICでの実現が容易であるとともに、グレーダによる別の等級分け配慮が不要となる可能性がある。いくつかの実施形態において、グレーダの単独行為は、グレーダにより選定された中間ピーク明度のディスプレイ上で、例えば強い日差しに曝された輝く惑星を含む空想科学映画又は様々な照明効果を伴うTVショー等の表示調節MDR動画が良好に見えるか、例えば、5000の下側がおよそ2ストップであり、LDRの上側がおよそ3ストップであることから、5000HDR/100LDR符号化の場合、1000nitが良好な中間(MDR)ディスプレイであるかを(迅速に)確認することを越えている必要がないし、グレーダが純粋に、ネイティブ効果のさらなる調節に関して受信端に依拠している場合に確認が省略され得ることを越えている必要もない(すなわち、グレーダは、自身の色変換を指定するだけで、マスター主要効果(例えば、LDR100nit)のほか、別の尺度効果を1つだけ等級分けするが、その他すべての再等級分けは、例えばコンピュータ上で動作する色改善ソフトウェア等、家電製造業者が対処する)。
グレーダは、再等級分けが受信側で好適に起こるべき様子を確認又は多かれ少なかれ具体的に指定する場合、例えば、特定の接続可能なディスプレイに合わせて調節された等級分け最適化方法を受信側で適用するのに必要な任意の情報と併せて、色変換関数及び主画像をブルーレイディスク又は中間サーバに格納して後でユーザに供給することにより、現時点で自身(又は、自動提案)により選択され、楽しいMDR画像を与える別の等級分け最適化方法を受け入れる(より簡単な実施形態においては単に、主画像すなわち共通乗算係数(g)を計算するデータから第2の画像を等級分けする関数又はこれに対応する輝度マッピング関数TMFに過ぎないが、より先進的な実施形態においては、より正確な最適化法を指定する付加的なパラメータとなる)。そして、受信側では、例えば1250nitピーク明度に関する第3の等級分けを自律的に決定可能であり、例えば、色変換装置がインターネットを介して専門の動画供給サーバに組み込まれている場合は、ユーザ又はユーザの集団若しくはクラスによる必要に応じて、この第3の等級分け画像を格納する。
色変換装置は、最適化MDR画像が供給されるディスプレイのピーク明度PB_Dの値を取得する。例えば、接続されたディスプレイが1つだけの場合(例えば、装置がテレビに組み込まれている場合)、PB_Dは、何らかのICメモリ部に格納された固定数であってもよい。装置は、例えばSTBの場合、接続されたTVからPB_Dをポーリングするようにしてもよい。そして、色変換装置は、2つの等級分けHDR及びLDR画像に対応するピーク明度に対するこのPB_Dの関連性すなわちこれらの等級分けが最適に見えるように生成された対応する尺度ディスプレイのPBを評価する。この関係は、例えば対数比gp又は同等に相対的差異として計算されるようになっていてもよい。この比の使用により、良好に見える最適な中間(半)自動再等級分け法が得られる。したがって、本発明の原理はいずれも、輝度変換経路にのみ、色飽和処理経路にのみ、又は任意のHDR画像又は動画に対する状況又はグレーダの要件に応じて同じ適当なディスプレイ依存の調整原理を異なる色変換仕様で2回適用することにより、両者に適用可能である。
色変換装置(201)は、接続されたディスプレイからディスプレイのピーク明度(PB_D)を受信するように構成された表示データ入力(117)を備えるため、潜在的には、動画視聴時にオンザフライで計算を行うことにより、任意の利用可能なディスプレイ及び/又は接続されたディスプレイに関して、受信側で適正な等級分けを決定することができるため都合が良い。本実施形態は、テレビ等のディスプレイ自体に内在していてもよいため、このディスプレイは、HDR符号化のデータからそれ自体の最適化等級を決定することができる(例えば、PB_Dはメモリに格納されている)。このように、HDR符号化技術は実際のところ、効果の束をHDRシーン上で符号化するが、これは、例えばマルチビューシステムがシーン上の様々な異なる角度の視野を符号化できる手段になぞらえ得るものの、ここでは、色空間で非常に大きな差異が起こっている。例えば、ピーク明度が特定のPB_Dクラス値前後である様々な種類のディスプレイに関して、複数の等級を予備計算し、後で消費者に供給するか、又は、別のカラーグレーダにより効果に関して微調節を行う専門の動画サーバに対照的な実施形態が内在していてもよい。
実施形態では、表示調節の別の変数を決定するようにしてもよい。例えば、色変換装置(201)は、入力色の輝度軸に対する方向(DIR)を決定するように構成された方向決定ユニット(1304)をさらに備えるとともに、倍率決定ユニット(200)は、方向(DIR)に沿って尺度を位置決めすることにより、入力画像(Im_in)のピクセルの輝度から出力画像(IM_MDR)のピクセルの輝度を決定するように構成された方向性補間ユニット(1312)を備える。有用な一例として、本技術では、水平方向の補間すなわちx軸上の入力輝度に対応する出力輝度の輝度変換マップ上での決定が可能である。さらに、別の研究によって、補間方向の回転により、PB_Dに対応する中間MDRがあるべき位置及びその色処理法を決定するのが有用となり得ることが分かっている。様々な輝度変換は様々な規定及び挙動を有し、このような異なる調節によって、例えば輝度の少なくとも何らかの部分的範囲でより明るい効果が生成され得るためである(例えば、入力輝度位置を固定として、暗灰色の伸張等の様々な輝度変換挙動を有するセグメント間のノードによりいくつかの関数が規定されるようになっていてもよく、その後、方向性補間によってこれを変更可能である)。特に、入力輝度軸から135°の位置が興味深い位置であることを発見した。同一性変換と比較して、直交方向に調節されるためであり、例えばその後、この対角との比較として、外挿の大部分が鏡面対象として最初に規定されるようになっていてもよい。この方向DIRに沿った尺度の展開法を以下に示すとともに、当業者であれば、ここからどのように幾何学によって数式を導出可能であるかが了解されるものとする。
この方向についても、例えばHDR画像の種類の分類に基づいて、例えば受信側装置により自律的に決定されるようになっていてもよい。或いは、コンテンツ作成側から、方向インジケータCOD_DIRとして伝達されるようになっていてもよい。以下に、輝度変換関数を含むマップの回転を適用することによって、方向性補間ユニット1312により行われる計算を実行できる有利な一実施形態を示す。
そして、共通乗数決定ユニット(1311)が所要の色変換を変換して、入力色の乗算に用いられる様々な所要gt係数のMDR効果を取得する。
色変換装置(201)は、第2の色処理仕様データ(MET_2)から調節パラメータ(gpr、gpm)を取得するように倍率決定ユニット(200)をさらに構成するのが好都合であり、表示ピーク明度(PB_D)の位置と異なる尺度上の位置に対応する結果的共通乗算係数(gt)を計算するように構成されており、この位置の違いは、調節パラメータの値に基づく。上述の通り、尺度は、大いに合理的なMDR効果となるべきものを決定するが、例えばコンテンツ作成者から何も受信しておらず、画像解析も一般的なベンダ固有のHDRノウハウも受信していない場合は、多くの種類のHDRシーンに関して、すなわち、MDR効果が既に著しく良好である。正確には、受信した色変換関数(例えば、カスタム曲線CC)に基づいて最適に決定済みだからであり、これにより、少なくとも第1のPB範囲端点(例えば、PB_H)から第2の端点(例えば、PB_IM2がPB_Lである)まで、HDRシーンの様々な等級が変化すべき様子が決定される。ただし、いくつかの画像或いは暗い基部等のある種の領域若しくはオブジェクトに対応するいくつかの画像の一部について、LDR効果のより高速且つ積極的な変化が必要となる場合があるとともに、他の状況について、PB_IM1からのPB_Dの逸脱に応じて、(尺度及び方向のみを用いて決定される)「平均」未満の積極性を有する変化が必要となる場合もある。これは、可能な限り簡単に、グレーダによって指定されるものとする。本技術の最も簡単な実施形態において、グレーダは、単一のパラメータ(gpr)を用いることにより、PB_Dを尺度上に配置して受信側装置により「無分別に」計算される場合よりも、MDR計算点に対応する使用対象のM_PB_U点が尺度上でPB_H等に如何に近づくべきかを示すことができる。
例えば、いくつかの実施形態において、倍率決定ユニット(200)は、最小値(例えば、外挿の場合の負のmn_gpr又は0)と最大値(mx_gpr)との間の少なくとも1つの入力パラメータ(gpr)の関数としての尺度上の正規化位置を出力として与える単調関数を適用するとともに、当然のことながら、表示状況と相関する何らかの入力値すなわちPB_Dにも応じて、異なる位置を決定するように構成されている(gprは、例えば図15等の直線周りに屈曲する曲線の曲率の尺度となり得る)。尺度上の位置を直接決定する場合、入力値は、PB_D自体であってもよいし、このPB_Dの何らかの関数(例えば、使用する尺度)であってもよい。このgpr値は、受信端において、グレーダ(例えば、ノブ1510)による設定又は人工知能画像解析による計算が可能である。HDR等級分け又は一般的に受信した主要な等級分けをそれ自体から理論的に計算する場合の同一性である色変換として、MDR効果の取得に必要な変化を公式化可能であり(少なくとも補間の場合であり、外挿が必要な場合は対応的にこれを適応可能である)、範囲の他端部すなわち100nitのLDR効果等は、伝達された輝度変換の適用により取得可能である(すなわち、「完全」)であることから、等倍すなわち1.0による乗算と最大範囲すなわち受信HDR画像からLDR効果を計算するための受信メタデータに対応するgによる乗算との間の乗算変化の適用としてこれを見ることができる。これにより、様々な入力輝度の実際の乗算値に関わらず、図15に例示するように、連続関数を規定可能であり、表示シナリオを特徴付ける入力及び所望の再等級分けの種類を特徴付ける少なくとも1つのgpr値に応じて、最大範囲(m_MT_norm=1)、等倍、又はその両者間に色変換が適用される。
倍率決定ユニット(200)が対数ベースの尺度を使用し、計算した修正比までg値を引き上げてgt係数を計算する色変換装置(201)の一実施形態の場合、熟練した読者であれば、この比を修正するのが好都合となり得ることを理解可能である。これは、例えば色処理仕様データ(MET)から調節パラメータ(gpm)を取得した後、調節パラメータ(gpm)であるパワーまで引き上げられたPB_Dが対応する対数尺度計算による比(gp)である調節パワー値(gpp)を計算することによって実際に可能となるが、その後、調節パワー値(gpp)と等しいパワーまで引き上げられた初期共通乗算係数(g)である共通乗算係数(gtu)をさらに調節したものが計算され、このgtuをスケーリング乗算器(114)が通常通りに使用することで、線形RGB入力色が乗算される。言うまでもないが、当業者に対して完全に明確となるように言うなら、このパワー値gpmは、ガンマ値に見えるものの、ディスプレイ又は一般的な画像増光から把握されるガンマとは全く無関係である。ここでは、HDRシーンの特異性及び合理的なLDR等級を取得するのに必要となる審美的最適化の種類等に応じて、何らかのPB_Dに対応する何らかの所要MDR画像色のその他等級分け効果に向かう所要調節の積極性の制御パラメータとなっているためである。事実としては、パワー関数によって、図15に説明するような種類の挙動が実際に設計されており、いくつかの数学関数が広く展開可能であるという事実は、数学的一致に過ぎない。
また、中間等級の見え方についてもコンテンツ作成者が発言権を有し得る技術的解決手段を提供するのが好ましい。一方においては、等級分け時間にコストが掛かることから、この解決手段に対して、グレーダが付加的な等級分けによって悩まされ過ぎることのないようにする制約を導入しており、例えば、一部の生産は既に、生産が終わる前に予算を超えてしまっており、グレーダは既に、マスターHDR等級(ただし、実際のディスプレイでほとんど見られない場合は、最終的なレンダリング問題を完全に無視しないのが合理的である)及びその後の関連するLDR効果の生成(すなわち、例えば映画版からのLDR効果及びその後のHDRテレビ視聴用の対応するHDR効果又は他のワークフロー代替オプション)にかなり長い時間を費やしてしまっている。他方においては、様々なPB_D値の広範な所要中間等級の両側に等級の複雑性の一部を配置済みであり(なお、格下げ及び適当な変更のための同じ関数から始まって、例えば5000nitのマスター等級から20,000nitまで格上げされるような作用又はメタデータ等で送信された格上げのための付加的な関数との作用を技術が伴う場合があることから、本発明及びその実施形態は、上記説明の典型的なシナリオに限定されない)、すなわち、HDR及びLDR等級分けを既に有するものの、中間等級の決定は、より簡単であってもよい。ただし、明確且つ一般的に、中間等級の決定は依然として、特にMDR等級のピーク明度と両端(LDR及びHDR)における元の等級との間に多数のストップが存在する場合、比較的複雑になり得る。したがって、グレーダは理想的に、第3のMDR等級を徹底的又は少なくとも十分徹底的に生成するものとし、これは、より先進的な実施形態によって実現可能である。ただし、代用、単独使用、又は必要に応じて、例えば中間等級分け画像生成のための(又は、別の関数による上記最適化方法の結果的画像上の後修正としての)グローバル輝度マッピングの一部のわずかな追加微調節若しくは重要であって、簡単な実施形態等による適正な等級分けという単純な結果になっていない何らかのオブジェクトのローカル微調節を行う複数の簡単な解決手段を提供する。
本実施形態において、グレーダは、メタデータMETにて伝達された別の唯一の調節パラメータgpm又はgprを指定することにより、中間MDRを迅速に生成可能であり、中間等級が如何にLDR又はHDR等級に見えるか、言い換えると、意図する接続ディスプレイの様々な中間ピーク明度を通過する場合に、中間MDR等級が如何に迅速にHDR効果からLDR効果へと変化し、又はその逆方向に変化するか(例えば、ディスプレイのピーク明度が高くなり続ける場合に特定の暗いオブジェクトが如何に明るくあり続けるか)を指定する。
当然のことながら、(開始点(例えば、PB_H)からPB_Dを除去する場合にその他の等級へと迅速又は緩慢に移行するための)1パラメータの微調節関数のほか、例えば図15のgpttと同様に、シーンに応じて多かれ少なかれ積極的な表示調節が如何に正確に生じるかを指定する別のパラメータを規定可能である。原理上、本技術的フレームワークにおいては、純粋な尺度ベースの手法から逸脱する場合に、様々な中間PB_D位置に関して、HDR効果とLDR効果との間で効果が如何に移行すべきかの任意に複雑な使用を規定可能である。
色変換装置(201)の別の実施形態では、入力画像のピクセル色(又は、対応するルマ)の第1の輝度範囲の境界を第2の輝度範囲から画定する少なくとも1つの輝度値(Lt)を取得するように倍率決定ユニット(200)がさらに構成されているのが好都合であり、倍率決定ユニット(200)は、第1及び第2の輝度範囲の少なくとも一方について、調節された共通乗算係数(gtu)すなわち結果的共通乗算係数gtのより具体的に決定された実施形態を計算するように構成されている。ルマの言及は、輝度又はその他任意のピクセル明度尺度(色ベクトルの長さと相関)の任意の体系用語を意味しており、この値は、互いに同等に計算可能である。例えば、いくつかの実用的な実施形態においては、このLt値を値の境界指定子とするのが好都合な場合があり、この値は、max(R,G,B)すなわち最も高い入力色の色成分のうちの1つとして規定される。すなわち、例えば最も高い色成分(例えば、赤色)が0.3よりも高い場合、この色は、第1の型に分類され、それ以外の場合は第2の型に分類される。
本実施形態により、グレーダは、主画像(及び結果として、色変換を介して導出可能な画像(例えば、LDR画像))の輝度範囲の特定の興味深い部分的範囲を選択可能であり、それらは異なって取り扱われる。上の説明においては、主として、HDR等級からLDR等級へと(主画像Im_inがLDR画像の場合はその逆へと)移行すべき速さと、いくつかの実用的な実施形態において、単一の制御パラメータgpr又はgpmで如何にこれを技術的に実現可能かに注目している。そして、この適応は通常、入力画像のすべてのピクセル色について行われる。すなわち、元の光度に関わらず、これらを同様に表示調節可能と仮定している。元のHDRとグレーダのLDR効果とを等級分けする輝度変換の形状に、手法の差異が既に符号化されているためである。ただし、例えば青空市場の比較的暗いエリアにおけるカラフルな衣服及び青空市場の入口から見える明るい外界等、HDRシーンには様々なセマンティック部分が存在している場合があり、通常は、例えば比較的小さなLDR輝度範囲における様々な部分のマッピングに伴う様々な最適化が存在する一方、依然として、審美的に説得力のある画像が作成される場合がある。或いは、暗い領域は、夜景シーンにおいて非常に重要となる可能性があり、グレーダは、LDRルックアップに近い輝度の上記部分的範囲を比較的高いピーク明度(例えば、800nit)に保つ一方、例えば照明灯に近い家屋の部分、天井の亀裂から差し込む太陽光により照らされた洞窟の部分、又は後ろから光で照らされたカラフルな市販の箱等、上側領域において優れたHDRコントラストを保つことによって、暗い領域をより明るく保ちたい場合がある。このため、より先進的な実施形態において、グレーダは、シーンの異なる部分、特に、ピクセル輝度が異なる画像の部分ごとに異なる様態で、連続するPB_Dステップに関する調節、特に、MDR等級が如何に積極的に第2の画像等級へと移行するかを指定したい場合がある。したがって、グレーダがその態様について所望の制御がさらに指定可能である仕組みを有することは好都合である。
グレーダは通常、ルマ値(Lt)の境界を定める少なくとも1つの領域の両側に異なるgpm値を指定するとともに、この範囲に沿って別の領域が指定された場合は、より多くの値を指定する(例えば、暗部、中間部、明部、及び超明部)。2つの領域の一方では、デフォルト値(例えば、gpm=1)を使用するようにしてもよく、これは、第1の実施形態の方策の使用を意味しており、いくつかの実施形態においては、Ltの両側に輝度を有する2つの領域の一方にグレーダが特定のgpm値を1つだけ指定する必要があることを意味する。ただし、グレーダは、両側に専用のgpm値(gpm_1及びgpm_2)を指定して送信するようにしてもよい。
色変換装置(201)の別の実施形態においては、少なくとも1つのルマ値(Lt)の周りに配置されたルマ平滑化範囲を決定するように倍率決定ユニット(200)がさらに構成されており、この少なくとも1つのルマ値(Lt)の両側で決定された値の間で調節された共通乗算係数(gtu)を補間するように構成されている。すべてのHDRシーン及びMDR計算シナリオに必要とは考えられない平滑遷移挙動を保証するとともに、(特に、空等における特定の勾配又は光で照らされた球体に重要となり得る)中間等級の任意のオブジェクトに関して不適当なピクセル輝度がないようにするため、本実施形態では、グレーダによる遷移領域の指定を可能とする。グレーダは、Ltの両側での補間法の違いすなわち低輝度用gpm_1の高輝度用gpm_2との違い(両者の通常の良好な値は、1.5〜1/1.5と考えられる)に応じて補間を指定可能であり、特に、別のパラメータI_Wとして補間領域の幅を決定可能であり、また、例えばLt周りの対称性又はLtを上回る輝度のみに当てはまる非対称性を指定可能である(或いは、受信装置は、単調増加又は特定の瞬間若しくは特定の間隔の導関数に関する所望の制約等、結果的曲線に関する仕様を用いて、補間法を自律的に決定することも可能である。すなわち、制約が満たされるまで、少なくとも1つの方策を提案することになる)。また、グレーダは、いくつかの実施形態において、メタデータ中の主画像の考え得る各輝度の所要gpm値を計算する関数を送信することにより、何らかの所望の補間法を指定するようにしてもよいが、デフォルトでは、補間領域の両側に送信されたgpp値間の線形補間となる。
本発明の原理により設計可能な色変換装置のいくつかの説明用実施形態を示してきたが、以下では、例えば消費者の動画、結婚、又は休日動画を再等級分けするインターネットベースのサービスによるケーブルヘッドエンド又は衛星における消費者側、コンテンツ作成者側、コンテンツ送信会社側の装置等、様々な応用シナリオにおいてこの基本的な色変換装置を含み得るいくつかの別の装置変形を説明する。
符号化器側では、高ダイナミックレンジ画像(Im_src)の符号化を生成するシステムであって、
高ダイナミックレンジ画像(Im_src)を受信する入力と、
高ダイナミックレンジ画像(Im_src)を当該高ダイナミックレンジ画像(Im_src)のマスター等級(M_XDR)に変換するように構成された画像変換器(303)と、
上記色変換装置であって、マスター等級(M_XDR)である入力画像(Im_in)のピクセルの入力色から始めて、色変換(TMF、g)を適用することにより、第2の等級分けされた画像(M_X2DR)のピクセルの結果的色を計算するように構成された色変換装置(201)であり、少なくとも1つのパラメータ(gpm)を取得し、当該パラメータ及び色変換を用いて、マスター等級(M_XDR)に対応するピーク明度及び第2の等級分けされた画像(M_X2DR)に対応するピーク明度と異なるピーク明度に対応する第2の画像(IM_MDR)を計算するように構成された、色変換装置(201)と、
マスター等級(M_XDR)と併せて第2の等級分け画像(M_X2DR)を、画像蓄積及び/又は送信に適し、マスター等級(M_XDR)のピクセル色データ、色変換を符号化するメタデータ、及び少なくとも1つのパラメータ(gpm)を含むフォーマット済高ダイナミックレンジ画像(SF_X2DR)へと変換するように構成された信号フォーマットユニット(310)と、
フォーマット済高ダイナミックレンジ画像(SF_X2DR)を出力する画像出力(320)と、
を備えた、システムにおいて本実施形態を使用可能である。
通常、これらの構成要素は、受信側にも反映されるが、ここでは人間のグレーダ(又は、自動再等級分け人工知能システム)が、受信装置が行うべきことを決定する別の技術的構成要素を有することにより、グレーダの要求に応じた最も完璧な中間等級を生成する。
ここで、グレーダは通常、元のHDR材料(Im_src)から例えば、REDカメラ等のHDRカメラから真っ直ぐに開始する。或いは、ビームスプリッタを介して同じシーン画像により供給された2つの異なる露出のカメラから成るシステムであってもよい。グレーダは通常、図14の例で説明する通り、このマスターHDR等級を作成したいわけであり、様々な画像オブジェクトの輝度及びそれぞれの対応するルマ符号を図14の左側の5000nit輝度軸上に位置決めしたい。また、グレーダは、上記同じマスターHDR画像効果に対応するLDR等級を作成したい。実際のところ、HDR画像である通常圧縮されたDCT又は圧縮されていないDCTとして伝達される主画像(Im_in)の特定の例を続けると、このシナリオでは、第1の等級分けにより出力されている等級分け画像M_XDRがHDR画像となり、このHDR画像は、色処理関数メタデータと併せて画像信号に付加されるとともに、例えばBD若しくは別の物理メモリ(321)又はその他任意の画像通信手段に書き込まれることになる。このシナリオにおいて、グレーダは、マスターHDR等級から、少なくとも1つの輝度マッピング関数(例えば、CC)を生成して、M_X2DR(この場合は、LDR画像)すなわち100nitのPB_Lに対して符号がマッピングされる画像を取得することになる。
ただし、別の形態及び対応する表示調節実施形態もあり、モード2と称するが、この場合は、HDRシーンの「HDR画像」が実際に、100nitのLDR画像として符号化される。この場合は、主画像を決定する初期等級によるM_XDRがLDR画像であってもよい。また、このモードにおいて、グレーダが指定する関数(CC等)は、このLDR画像をHDR画像にマッピングするが、これは通常、所望のマスターHDR効果画像の非常に近い同一の近似である。このモード2においては、画像又は動画信号S_imに格納されているIm_inがLDR画像となり、輝度変換(及び、飽和変換)関数が格上げ関数となって、受信側でHDR画像を導出するとともに、M_X2DRがHDR画像となる。いずれの場合も、グレーダは通常、3つの画像に対応して表示ピーク明度が適当に選定された3つの一般的なディスプレイ上で、当該3つの画像の効果、元のLDR及びHDR効果画像、並びにMDR画像を確認する。
このため、本HDR技術に係るフォーマット済高ダイナミックレンジ画像(SF_X2DR)は実際のところ、HDR又はLDR主画像を実際に含むか否かに関わらず、シーン上のHDR効果を符号化する。
また、このシステムは通常、少なくとも1つの調節パラメータ(gpm)を出力する。
グレーダが費やす時間を増やしたいか減らしたいかに応じて、様々な反復のうちの1つが関与するようになっていてもよい。リアルタイム送信の場合、グレーダは、例えば3つの尺度ディスプレイ上で(例えば、ショー開始直前のシーンの特性に基づいて設定された単一の対数状又はS曲線変換等、HDR及びLDR等級分けが通常、複数の動作を含むことによりマスター等級を生成し、HDRマスター等級からのLDR等、第2の等級分けによって第2の従属等級が得られる)効果が十分に合理的な品質であるかのみを監視するようにしてもよく、時折、例えばgpmパラメータを変更する単純なダイヤルを粗調節するようにしてもよい。ただし、オフラインの再マスタリングを伴う場合、グレーダは、相当の時間をつぎ込んで、複数の等級(例えば、HDRとLDR間の2つの別のMDR等級)について、各側に1つずつ(超HDR(UHDR)及び副LDR(SLDR))等、いずれかを表示調節実施形態又はいずれかを元のダイナミックレンジ効果画像共符号化実施形態により、メタデータのフルカラー変換によって符号化した後、3つ以上の元々伝達された等級間の中間PB_D位置で表示調節を行うようにしてもよい。特に、いくつかの人気が高い番組の場合、画像伝達連鎖の中間の会社(例えば、既存のコンテンツの別途販売、送信、最適化等の事業を有する会社)では、様々なカテゴリの受信装置に対する再マスタリング行為において、複数のより先進的な再等級分けシナリオ及びこれら様々な色変換の数学的パラメータの作成に人間のグレーダがより多くの時間をつぎ込むための追加等級分け予算が存在していてもよい。
入力画像(Im_in)のピクセルの入力色から始めてピクセルの結果的色を計算する方法も有用であり、この方法は、
メタデータ入力(116)を介して受信した色処理仕様データ(MET)に基づいて初期共通乗算係数(g)を決定するステップと、
第1に入力画像に対応するディスプレイのピーク明度(PB_D)と尺度ピーク明度(PB_H)との比、第2に尺度ピーク明度(PB_H)と色処理仕様データ(MET)から求められ、入力画像のピクセル色に色処理仕様データを適用した結果的画像(Im_LDR)に対応するピーク明度(PB_L)との比の対数の比(gp)をまず計算した後、比(gp)であるパワーまで引き上げられた初期共通乗算係数(g)として結果的共通乗算係数(gt)を計算することによって結果的共通乗算係数(g)を決定するステップと、
入力色の線形RGB色表示に結果的共通乗算係数(gt)である乗算係数を乗算するステップと、
を含むことを特徴とする。
また、請求項7に記載のピクセルの結果的色を計算する方法であって、接続されたディスプレイから、ディスプレイ(PB_D)のピーク明度を受信するステップを含む、方法も有用である。
また、ピクセルの結果的色を計算する方法であって、色処理仕様データ(MET)から調節パラメータ(gpm)を求めるステップと、調節パラメータ(gpm)であるパワーまで引き上げられた比(gp)である調節パワー値(gpp)を計算するステップと、調節パワー値(gpp)に等しいパワーまで引き上げられた初期共通乗算係数(g)である調節された共通乗算係数(gtu)を決定するステップと、入力色の線形RGB色表示に調節された共通乗算係数(gtu)である乗算係数を乗算するステップとを含む、方法も有用である。
また、ピクセルの結果的色を計算する方法であって、入力画像のピクセル色の第2のルマ範囲に対して、第1のルマ範囲の境界を定める少なくとも1つのルマ値(Lt)を求めるステップと、第1及び第2のルマ範囲の少なくとも一方について、調節された共通乗算係数(gtu)を計算するステップとを含む、方法も有用である。そして、その他の部分的範囲では、例えば最も広い実施形態に関して上述したPB_D、PB_H、及びPB_Lの輝度関係を指定する対数の比から決定されたデフォルトのgtパラメータを使用するようにしてもよい。この方法又は装置のいくつかの実施形態では、間近の状況に応じて、所定の実施形態又は選択可能なこれらのいずれかを使用するようにしてもよく、通常、メタデータ中の別の特性化符号によって符号化されることになる。
また、ピクセルの結果的色を計算する方法であって、少なくとも1つのルマ値(Lt)の周りに配置された過渡的なルマ範囲を決定するステップと、当該少なくとも1つのルマ値(Lt)の両側で決定された値の間で調節された共通乗算係数(gtu)を補間するステップとを含む、方法も有用である。
熟練した読者なら気付くであろうが、すべての実施形態は、その他多くの変形、方法、信号(ネットワーク接続上の送信又は何らかのメモリ製品への格納に関わらず)、コンピュータプログラム、並びに様々な組み合わせ及び改良にて実現可能である。
例えば、いくつかの実施形態において、コンテンツ作成側は、様々なダイナミックレンジ等級の見え方についてグレーダが決定することに基づいて、
マスター等級(M_XDR)である主画像を符号化するピクセル色データと、
色変換を指定してマスター等級(M_XDR)から第2の等級分け画像(M_X2DR)を計算するパラメータを含むメタデータ(MET)であり、マスター等級(M_XDR)のピクセルの入力色から始めてピクセルの結果的色の計算に用いられる調節パラメータ(gpm)を符号化された高ダイナミックレンジ画像信号(S_im)がさらに含むことを特徴とする、メタデータ(MET)と、
を含む符号化された高ダイナミックレンジ画像信号(S_im)として伝達することにより、
色変換に基づいて初期共通乗算係数(g)を決定し、
第1に入力画像に対応するディスプレイのピーク明度(PB_D)と尺度ピーク明度(PB_H)との比、第2に尺度ピーク明度(PB_H)とメタデータ(MET)から求められ、入力画像のピクセル色に色処理仕様データを適用した結果的画像(Im_LDR)に対応するピーク明度(PB_L)との比の対数の比(gp)を計算し、
調節パラメータ(gpm)であるパワーまで引き上げられた比(gp)である調節パワー値(gpp)を計算し、
調節パワー値(gpp)に等しいパワーまで引き上げられた初期共通乗算係数(g)である調節された共通乗算係数(gtu)を決定し、
マスター等級(M_XDR)の入力色の線形RGB色表示に調節された共通乗算係数(gtu)である乗算係数を乗算すること
によって、任意の受信側ディスプレイによる(中間)効果のレンダリング法を制御可能である。この信号には、メタデータを指定して、例えば1つ又は複数の輝度の境界指定子Lt等、任意の受信側装置が実施形態のいずれかを適用できるようにすることを含んでいてもよい。
また、高ダイナミックレンジ画像の符号化を生成するシステムであって、人間のグレーダが少なくとも1つのパラメータ(gpm)を指定することを可能にするユーザインターフェース(330)と、表示ピーク明度(PB_D)を有するディスプレイ(313)を接続するための画像出力部(311)とを備えた、システムも有用である。
また、レンダリングする色を決定するシステム(1130)であって、色変換装置(201)と、当該色変換装置により使用される尺度、調節パラメータ(gpr、gpm)、又は表示ピーク明度(PB_D)のうちの少なくとも1つを変更する少なくとも1つのユーザ指定パラメータを入力するユーザインターフェース(1120)とを備えた、システム(1130)も有用である。
また、表示ピーク明度と異なる第1の画像ピーク明度(PB_IM1)に対応する最大ルマ符号を有する入力画像(Im_in)のピクセルの線形3成分入力色(R,G,B)から始めて表示ピーク明度(PB_D)を持つディスプレイに対する出力画像(IM_MDR)のピクセルの結果的色(R2,G2,B2)を計算する方法であって、
少なくともピクセル輝度範囲に対する少なくとも1つのトーンマッピング関数(CC)を含む色処理仕様データ(MET_1)から色変換(TMF、g)を決定するステップであって、色変換が、その最大ルマ符号に対応して、表示ピーク明度(PB_D)及び第1の画像ピーク明度(PB_IM1)と異なる第2の画像ピーク明度(PB_IM2)を有する画像(IM_GRAD_LXDR)の少なくともいくつかのピクセル色の計算を指定することにより、第2の画像ピーク明度による第1の画像ピーク明度の除算が2より大きな値又は1/2より小さな値のいずれかとなる、ステップと、
第1の画像ピーク明度(PB_IM1)と第2の画像ピーク明度(PB_IM2)との間の表示ピーク明度の位置及び当該範囲外の表示ピーク明度の位置を特定する尺度を決定し、
表示ピーク明度(PB_D)、尺度、及び色変換から、結果的共通乗算係数(gt)を決定することによって、
結果的共通乗算係数(gt)を決定するステップと、を含み、方法は、
線形3成分入力色(R,G,B)に結果的共通乗算係数(gt)を乗算して結果としての色(R2,G2,B2)を求めるステップをさらに含む、
方法も有用である。
また、入力色(R,G,B)の輝度軸に対する方向(DIR)を決定するステップをさらに含み、結果的共通乗算係数(gt)を決定するステップが、方向(DIR)に沿って尺度を位置決めすることにより、入力画像(Im_in)のピクセルの輝度から出力画像(IM_MDR)のピクセルの輝度を決定するステップを含む、方法も有用である。
第2の色処理仕様データ(MET_2)から調節パラメータ(gpr、gpm)を取得するステップと、表示ピーク明度(PB_D)の位置と異なる尺度上の位置に対応する結果的共通乗算係数(gt)を計算するステップをさらに含み、この位置の違いが調節パラメータの値に基づく、方法も有用である。
また、入力画像のピクセル色の第1の輝度範囲の境界を第2の輝度範囲から画定する少なくとも1つの輝度値(Lt、Ltr1)を求めるステップと、第1及び第2の輝度範囲の少なくとも一方について、結果的共通乗算係数(gt)を計算するステップと、を含む方法も有用である。
審美的に適当な効果が生成される作成側からこれら画像の任意の使用側まで所要の情報を伝達できるように、
高ダイナミックレンジシーンのマスター等級(M_XDR)である主画像を符号化するピクセル色データと、
マスター等級(M_XDR)から第2の等級分け画像(M_X2DR)を計算するための色変換を指定するパラメータを含むメタデータ(MET)とを含む符号化された高ダイナミックレンジ画像信号(S_im)であって、高ダイナミックレンジ画像信号(S_im)は、色変換及び調節パラメータに基づいて決定される結果的共通乗算係数(gt)と、結果としての色を有するピクセルを含む画像が供給されるディスプレイの表示ピーク明度(PB_D)を決定することによって、マスター等級(M_XDR)のピクセルの入力色から始めてピクセルの結果的色を計算するために用いられる調節パラメータ(gpm)をさらに含むことを特徴とする、高ダイナミックレンジ画像信号(S_im)の技術的仕様を有するのが有用である。
この信号は、任意の信号伝達技術で進むようになっていてもよいし、ピクセル色データ、メタデータ(MET)、及び調節パラメータ(gpm)を含む任意のメモリ製品に存在していてもよい。
いくつかの実施形態によれば、グレーダは、伝達画像と関連付けられた尺度ディスプレイと少なくとも1つの特定の表示ピーク明度が通常等しくない任意のレンダリング状況について、任意の再等級分けに対する制御の拡大又は縮小が可能であるものの、他の実施形態によれば(グレーダが任意の再等級分け仕様すなわち色変換に対する何らかの追加を伝達して、(例えば、LDRからHDRへと)パラメトリックにのみ伝達された別のダイナミックレンジ効果へと伝達画像を再等級分けしたいか否かに関わらず)、受信装置自体は、特に、入力画像(Im_in)のオブジェクトの色を解析した後、最終的な乗算パラメータg_finを指定可能とする実施形態のいずれかに係る調節パラメータ(gpm又はgpr等)、結果的共通乗算係数(gt)の計算に用いられるディスプレイのピーク明度(PB_D)、尺度、方向、又は任意のパラメータ若しくはパラメータの組み合わせのうちの少なくとも1つの値を決定して、最終的な再等級分け画像の色(R,G,B)_radjを求めるように構成された画像解析ユニット(1110)を含む色変換装置(201)の実施形態によって、1500nitのMDRディスプレイ等の意図するレンダリング特性に対して効果を再等級分けすることができる。
特に、例えばgpr_v=gpr+k*0.1(kは{−3、−2、・・・、3}から選択)又は一般的にgpr+k*N(Nは微小ステップサイズ)等、いずれかの方向に微小なオフセットを与えて最終視聴者(例えば、居宅のテレビ視聴者)が自身でgprパラメータを再指定することにより、最終視聴者が効果に影響を及ぼし得る手段を装置が有すれば有用となり得る。これにより、効果をいく分変更可能ではあるものの、再等級分けに際してコンテンツグレーダがシーンに関連すると特定したものとの協調は図られる。すなわち、(動画)画像に対応するメタデータにてグレーダが伝達したHDR−LDR色変換関数に従う。
本発明に係る方法及び装置の上記及び他の態様は、以下に記載の実施態様及び実施形態並びに添付の図面から明らかとなるものであり、これらを参照して説明する。読者は、他の様態で実現できるより一般的な考え方を示した非限定的且つ具体的な例示に過ぎないものと図面を理解する。図中、破線は、構成要素が任意選択であることを示すのに用いており、破線以外の構成要素についても、必ずしも必須ではない。また、必須と説明された要素がオブジェクトの内部に隠れていることを示す場合又はオブジェクト/領域の選択(及び、ディスプレイ上での見せ方)等の無形物の場合にも破線を使用可能である。問題の複雑性及び考え得る様々な代替実現を前提として、いくつかの構成要素は、教示の簡素化のため一部の画像のみで示しているものの、変更すべきところを変更して、その他様々な実施形態にも追加可能であることが熟練した読者には明確であるものとする。また、いくつかの図面は、例えば技術的フレームワークのレベル等、任意の高い抽象性レベルで実施形態の態様を記載していることも明確であるものとする。
図2は、次にいくつかの受信側装置(例えば、テレビ又はコンピュータ等)に備わっていると仮定する新規の色変換装置の考え得る一実施形態の例示的な説明を示している。輝度マッピング部は、図1と同じであると仮定するが、ここでは、様々な空間的局所化マッピングを実行する潜在的な実施形態の選択肢も開示している。セグメント化ユニット222による第1の種類のピクセルの第2の種類のピクセルからの識別を可能にする別のメタデータが伝達・受信されるようになっていてもよい。例えば、小さな横窓から見た空の一部は、大きな主窓から見た同じ空と輝度マッピングがいく分異なる場合がある。すなわち、色(Y_sky,u’_sky,v’_sky)すなわち特に、例えば閾値輝度よりも明るい範囲内の輝度がY_sky値である空間位置(x,y)_1のピクセル又はその近傍において、x及びyが空間ピクセル座標、Yが輝度、u’及びv’が青空ピクセルのCIE1976uv座標である場合、入力色が同じ(Y_sky,u_sky,v_sky)であるものの、異なる空間位置(x,y)_2に存在するピクセルとは別のY_sky_out_2への別の変換が行われる。セグメント化ユニットがピクセルの分類のみを行っており、ピクセルが分類された第1対第2識別領域であるかに応じて、初期共通利得係数となる異なるマッピングパラメータを読み込む場合、その他の処理は、図1で説明したものと同じになり得る(例えば、2つの並列計算経路を予備計算LUT等と併用可能である)。読者は、伝達された画像(例えば、HDR)から第2の元の等級分け画像(例えば、LDR)を求める処理が、表示調節MDR画像を決定する局所的な処理と同じである必要はなく、これにより、関数及びパラメータの正確な値だけが当然異なっていてもよいわけではなく、影響を及ぼす高レベル変換形状に通じる論拠が異なっていてもよいが、少なくとも通常、意味論的に特殊な画像オブジェクトにおいて、特定のピクセル集合のセグメント化を可能にするメタデータ中の情報を受信している場合は、これらの領域又はオブジェクトに対して別個に適応された表示調節(例えば、HDR効果に向けた火球の迅速な増大)を行うようにしてもよい。ディスプレイのPB_Dによって何らかのHDR効果レンダリングが既に可能となっている場合は、考え得る様々な中間PB_D値全体で徐々に調節可能なシーンの他の部分よりも迅速に行うようにしてもよい。この場合も、様々なパラメータgai、cc等がメタデータから読み出され、色計算(特に、輝度変更計算)を行う様々なユニットに送信されるものの、ここでは例えば、第2の領域がそれ自体の一般的な形状の輝度マッピング曲線cc_2を得る一方、主領域(窓から見た空のより大きな部分であり、例えば室内のすべてのピクセル)は、曲線ccによって変換される。PB_H及びPB_Lは、2つの等級(特に、等級の符号が厳密に意味するもの、又は言い換えると、尺度レンダリング条件が作成された等級)を指定するメタデータとして好都合に格納されるとともに、メタデータから読み出され、PB_L、PB_H、及びPB_D(由来する場合)の値に基づいて結果的共通乗算係数(gt)を計算するように構成された倍率決定ユニット200に送信される(例えば、接続されたディスプレイは通常、データ入力117を介して、そのピーク明度を伝達する)。
先進的な実施形態によれば、コンテンツ作成者は、通常、実数(例えば、1.253)となる等級最適化を決定する別のパラメータすなわち調節パラメータ(gpm)(又は、その成文化(例えば、1000を乗算して最も近い整数に四捨五入したもの等))を指定して送信することができる。通常、以下に示すようなgt値を決定するパワーを変更することによって対数尺度の修正に作用する実施形態に対しては、最大1.5、最小0.6の値で十分である。ただし、一般的に、カラーグレーダのソフトウェアは、合理的な限界を有することになり、それを超えると、再等級分け挙動が極端になり過ぎる(300nitのディスプレイに関しては、高品質のHDR画像の効果を即座に実現すべきことすなわち当該効果の正規化輝度で駆動すべきことが期待されない。このようなディスプレイでは、これを忠実にレンダリングできず、例えばグレーダがこれを暗過ぎるエリアと見なすため、実際の限界に関わらず、あまり高い値の選定は望まない)。
図4は、HDR画像のディスプレイ最適化の非常に簡単な一実施形態の一例を示している。HDR画像(すなわち、主画像は1600nit等級)の入力輝度Y_HDRを入力としてマッピングすることにより、任意の望ましい等級に対して、輝度(このグラフではY_Lと称する)を出力する必要があるものと仮定する。例えば、曲線405は、輝度マッピングによって100nitディスプレイ用の楽しい画像を作成する全面方策を示している(これは、輝度変換を実行する図1のすべてのユニット、すなわち連鎖の始まりで入力輝度から始まった結果的輝度に対応する。なお、様々なシナリオの種々実施形態のいずれかにおいて、このような連鎖を有する理由として、HDR画像の取り扱いでは実際のところ、実行できる様々な成分変換を有するのが有用であると調べられており、表示調節においては、上記のような任意特定の部分的再等級分け情報を具体的に利用することも可能である)。
この例では、(相対的に、正規化されたスケール上で)より低い輝度が増大される考え得る方策のうちの通常の方策を示しているため、暗い100nitのディスプレイでは、これらの領域が十分に見えることがわかる。これらの領域は、例えば1600nitの明るいディスプレイに対して等級分けされていることから、HDR原理の等級において、超暗色に等級分けされているためである。そして、残りの高い輝度は、依然として利用可能な上側範囲に分散しており(この例では、レンダリング出力ピーク明度の50%を上回るが、人間の視覚の非線形性のためにあまり高くないものの、これは説明に過ぎないことに留意されたい)、この例の場合は線形であるものの、当然のことながら、グレーダは、より高い入力輝度に対して、例えばS曲線又はソフトクリップ曲線を使用することにより、画像のいくつかの領域等において、より高いコントラストを生成することも可能である。HDR画像は、それ自体に変換された場合(実際に行う必要はないものの、PB_Hピーク明度を持たない画像への実際のすべての色変換の理論的な端点である)、傾斜45°の同一性変換と同等であるため、HDR効果の近くに留まる等級を示すことができるように、マップ中にこれを描写している。各入力輝度Y_HDRの共通乗算係数は、曲線から読み出せる。例えば、増大b(0.2)は、値Y_HDR=0.2から所望のY_LDR=0.6への乗数gとしてマッピングされており、この入力輝度の場合は、共通乗算係数g=3に相当する。ここで、ピーク明度が800nitのモニタに関して、その心理視覚的特性が(この例において、受信したHDR等級が最適に見える)1600nitのモニタに比較的近く、比較的高いダイナミックレンジのコンテンツを表示可能でもあることから、最適な等級を求めたい場合(曲線402)は、同一性変換に比較的近い800nitの再等級分け(MDR_800)を計算することになる。すなわち、この結果的共通乗算係数gt、ここではb800(0.2)は、1に近く、その他すべての入力輝度についても同様であるものとする。400nit(曲線403)及び200nit(曲線404)の意図又は接続された表示ピーク明度PB_Dの最適な再等級分けは、漸進的にLDRマッピング(曲線405)により近づく曲線及び共通乗算係数を有するものとする。
実施形態において任意の中間等級を導出するために用いる式は、以下の通りである。
gp=LOG(PB_H/PB_D;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g,gp) [式1]
これにより、熟練した読者であれば確認できるように、任意の入力Y_HDRに対して所要出力Y_Lを計算することができる。一方では、(当面、消費者を前提として通常は単一になると仮定するレンダリングが必要なディスプレイによって決まる)固定比gpを用いた受信側又は画像に基づき、他方では、入力Y_HDR及び色変換関数のメタデータから計算可能すなわち受信時のLDR対HDR効果において計算可能な初期のgに基づいて、結果的共通乗算係数を決定可能なためである。値を書き込むことで確認できるように、gpは、PB_D=PB_Hの場合のlog(1)=0とPB_D=PB_Lの場合の1との間で変動する。すなわち、PB_D=PB_Lの場合にg値全体を使用するとともに、RGB値にPB_D=PB_Lの場合の1を乗算して、同一性変換を実行することになる。
この第1の簡単な実施形態により、読者が現在の一般状況を考えて理解し得るとともに、全く異なる事態と混同することのないように、ここでしばらく立ち止まりたい。一方では、ピクセルの入力輝度を出力輝度に対して(乗算的に)マッピングする挙動を有する。この挙動は、コンテンツ作成者、特に、そのカラーグレーダから受信されたものである。通常、如何なる受信装置も、必要なすべての情報を受信して、2つの等級分け画像(通常、同じHDRシーンにおけるHDR及びLDR効果)を決定することになる。このため、受信装置は、これらの画像間の変換を把握可能である。これは、如何なる形態であってもよいが、特に、色の色度を一定に保ちつつ、入力輝度を乗算する形態である(実際には、通常、これらの関数を取得済みであることから、その他任意の用途に関して、任意の受信装置にこれらを使用するのは容易である)。他方では、2つの等級と関連付けられたPBとピーク明度が同じでないディスプレイ上でのレンダリングに対して、これらの等級が少なくとも完全には最適化されていない場合があるため、受信装置は、上記すべての情報から、新しい最適なMDR中間再等級分けを計算する必要もあり得る。これには、乗算係数を決定可能な尺度及び同様に乗算値gtに変換可能な輝度変換関数等を伴う場合もあるが、元の等級符号化対表示調節MDR画像の計算というこれら2つの係数は通常、場合によりわずかに関連してはいるものの、全く同じではないため、技術的設計理念が大きく異なると、(いくつかの実施形態におけるガンマ値等、いくつかの構成要素が同じ名称であっても)解決手段も大きく異なる可能性がある。如何に繊細且つ容易に再等級分けを状況に応じて決める必要があるとはいえ、表示調節を等級分けした対上の何らかの微調節と見なすことも可能であるが、その背後の設計観点の1つとして、同じHDRシーンについて無限量の元等級を実際に生成することでグレーダを悩ませることがないものとする(すなわち、最も審美的で美しい調整画像をオンザフライで作成するため、コンテンツ作成者が消費者のありとあらゆるTVに存在していればよいが、グレーダに関して可能な限り少ない追加作業で可能な限り自動化された問題では、シナリオ及びその要求によって決まる。すなわち、一方では、少なくとも適正な効果となるのに必要な制御の一部を提供する種々実施形態により、非常に複雑な画像処理分野においては、これら画像の消費者の高度に非線形な視覚システムによって決まる)。
実際には当然のことながら、これらgp及びgtの値を常に計算する必要はないものの、通常は、例えばN個の画像の場面ごとに等級が変化し得ることから、入力画像の再等級分けに必要となる直前にLUTを構成するようにしてもよく、例えば接続された400nitのディスプレイについて、図4のように所要マッピング関数を適用する(メタデータは、例えば5つの画像だけ先行して、少なくとも時間通りに受信される)。
上記の場合、ユニット200は、必要な結果的共通乗算係数gtすなわち例えばb800(0.75)を探索することになる。
主画像が、例えば6000nitHDRへの格上げが必要なLDR画像又は中間ピーク明度について再等級分けされた任意の画像である場合、本実施形態においては、わずかに異なる同様の式が用いられる。
gp=LOG(PB_D/PB_L;2.71)/LOG(PB_H/PB_L;2.71)
gt=POWER(g,gp) [式2]
ここで、スケーリング乗算器114は、図1と同様に作用するものの、gの代わりとして、3つのRGB色成分にgtを乗算することにより、所望の色効果を生じる。
ただし、グレーダは、動画のシーン又は場面が複雑な場合、例えばLDR関数の形状に近い長続きするもの(すなわち、LDRが100nitを上回る表示ピーク明度の場合)等、異なる再等級分け法を望むこともある。グレーダは、非常に簡単にこれを指定する必要があり、高価な等級分け時間を使い過ぎないようにするため、理想的には、例えば1つの単一のパラメータのみ、すなわち調節パラメータgpmのみを決定する。
したがって、倍率決定ユニット200のより先進的な実施形態では、以下の式を適用する。
gpp=POWER(gp,gpm)
gtu=POWER(g,gpp) [式3]
gpmが1を下回る場合、下側ピーク明度の再等級分けは、その効果(及び、マッピング曲線)がよりLDRのような挙動になり、逆に、gpmが1を上回る場合は、よりHDRのような挙動となる。これが顕著になると、コンテンツ作成者又はグレーダによって、より高いgpmが選定される。
この挙動を図5に示す。ここでも、gpmは、(従来の)x軸に沿ったパワーの意味的方向で作用するのではなく(等級分けすなわちシーンのすべてのオブジェクト輝度間の関係を表す曲線の形状は、大幅に変化しないものとするが、一部のわずかな増加等の微小な変化は心理視覚的に許可されている。これらは、脳内の視覚的解釈の適応により受け入れられているその他の微小な変化についての主要な所望輝度/コントラスト効果修正に対応するためである)、Y_HDR値を通じて作用するため、いわばY_L軸の方向で作用する。実際のところ、gpmが行う内容は、LDR等級分け関数又は逆にHDR単一性マッピング関数に向けての曲線群の伸張又は圧縮すなわち「必要な再等級分け効果変更の積極性」の決定である。
図5においては、gpmの値を1.3に等しく選定しており、輝度マッピング又は共通乗算係数(ここでは、調節された共通乗算係数gtu)の結果的な曲線(503)がHDR同一性変換曲線により類似していることが分かる。同様に、例えば0.8という係数については、結果的な曲線が曲線403を上回り、すなわちLDR効果の曲線405に近づくことになる。これは、例えば長時間すなわちレンダリングディスプレイが800nit等を上回る十分な明るさとなるまで、十分に明るく保つのが賢明な顔等の重要な暗色オブジェクトがこのシーンに存在する場合に有用となり得る。
ただし、これは依然として、(すべての輝度Y_HDRが簡素な関係で取り扱われ、HDR−LDR輝度変換関数の形状及びgpmパラメータのみによって決まる意味において)グローバル調節である。本方策のより大きな影響は、入力輝度の異なる部分的領域に異なる調節を(結果的には、マッピングによって出力輝度も)許可する実施形態に由来し得る。例えば、より低い輝度に対して明るく(よりLDR状に)なるように曲線403を調節する場合は、必然的に、(効果を保つため、如何なる再等級分けに関しても、画像の暗い領域を上回る輝度を出力していることから)高い輝度についても明るくなるため、不適切に明るくなる可能性がある。例えば、明るい外側領域は、コントラストを過度に失っている可能性があり、グレーダは、いくつかの重要なシーンに関して、これらを悩ましいほどに色褪せたものと把握する場合がある。すなわち、グレーダは、シーンの暗い部分をより明るく、結果的に高コントラスト且つ視覚可能にしたい一方、上側領域をHDR効果等に近く保つ。
所望の挙動を図7によって別様に示す。ここでは、PB_LとPB_H間の任意の意図する表示ピーク明度に対応する任意の中間MDR等級の効果に対して、LDR等級分け画像が如何に寄与するかを示している。式1のデフォルトの挙動がグラフ701である。MDR等級の様々な中間ピーク明度の変化経路に沿って、いずれかの等級により大きな重みを加え得ることが分かる。例えば、曲線702は、比較的明るい中間ピーク明度PB_Dまで、MDR等級がLDR等級の近くに留まり、最も明るいディスプレイについてのみ、HDR効果が見え始める状況を示している(これは、使用尺度に基づく以下の説明において、タグマークが様々なPB_D値につられる場合、すなわち、例えば(PB_H+PB_L)/2までのタグマークがすべて相互すなわちLDR等級位置PB_Lに近づくことに対応する)。このような曲線が選定される可能性及び程度は、HDR等級とLDR等級との関係すなわち両者間の色変換の関数によって決まる。グレーダは、例えばLDR等級の暗部の増光、明部のソフトクリップ、どこかの中間部のコントラスト増大、カラフルなステンドガラス窓に対する何らかの特定の飽和処理等、様々なことを実行している可能性があるものの、例えば、重要な暗部領域が存在する場合は、702のような曲線がグレーダによって選定され、そのgpm値がS_im中又はS_imとの関連で様々な受信装置に送信されるようになっていてもよい。一方、曲線703では、比較的暗い接続ディスプレイであっても、HDR効果の大部分が迅速に導入される。
図6の例において、グレーダは、0.43に等しい例における(ルマ又は)輝度値(Lt)の境界を定める最適化形態を示している。グレーダは、この値Ltの下側に(すなわち、輝度Y_HDR≦Ltのすべての入力色について)、第1のgpm値(例えば、gpm_1=0.3)を指定しており、このgpm_1値によって、図5で説明した通り、結果的な曲線が計算される。グレーダは、Ltの上側において、新たな再等級分け形態への移行を望んでおり、より明るい色の場合のこの例においては、HDR効果を有することを望む。グレーダは、1より大きな値(この例では、gpm_2=2.0)を決定して、通例必要となるものよりもさらに強い(ただし、この例に応じた)HDR性効果を明るいピクセルが得るようにする。この例では、Ltを上回るY_HDR値に対してgpm_2=2.0を直ちに使用する代わりに、滑らかな過渡領域を生成する補間をグレーダが指定する。これは、様々に指定可能であり、説明例においては、過渡形態の上側輝度Lt2=0.72を指定することによって簡単に指定する。0.72の上側では、この例のgpm_2=2.0又はgpp_R=0.25を用いることにより、例えば曲線のLUTの作成に用いられる調節された共通乗算係数gtuが決定されることになる。過渡領域においては、例えば高低の入力輝度についての共通乗算係数gtuの決定に役立つことになる遷移の両側でパワー値を計算した後、例えば以下の計算により過渡領域においてこれらを補間することにより具現化された補間法が用いられることになる。
gpp_L=POWER(gp,gpm_1)
gpp_R=POWER(gp,gpm_2)
gpp_i=gpp_L+(Y_HDR−Lt)*(gpp_R−gpp_L)/(Lt2−Lt) [式4]
当然のことながら、グレーダが望む場合は、他の補間法を使用することも可能である。
そして、このgpp_i値の使用により、図3で説明したのと同様に、過渡範囲の各入力輝度のgtu値を決定する(すなわち、gtu=POWER(g,gpp_i))一方、過渡の両側では、gに関するパワー関数にgpp_L又はgpp_R値が用いられ、この公式化により、図4で説明した方法に由来する曲線403から603のような結果的曲線を計算可能である。或いは、実際のところ、結果的曲線が直接計算されることになる。800nitのディスプレイに対応して、ここでは、より単純な曲線402の同等物が曲線602であり、実際には、より暗いピクセルに関して、はるかにLDR類似の挙動を示す一方、より明るいピクセルに関しては、強いHDR類似性を示す。このような実施形態の場合、ユニット200は、gtのgtu同等物を生成するが、それ以外の場合は、種々実施形態の可能性にすべてが類似し得る。この例では、規定元のgpp値を実際に補間して、共通乗算に用いられるgtu値を補間したが、別の実施形態では、過渡自体の両側で得られるgtu値を補間することも可能である。通常、符号化器は、使用する方法を指定する。例えば、復号化器が[Lt1,Lt2]間隔の両側でgtu値を計算した後、間隔中の消失点で曲線を線形補間し、画像の現在の場面の輝度処理のための最終的なLUTとしてこれを格納することを示し得る。
これらの実施形態により、グレーダは、如何に複雑なHDRシーン符号化の分野においても、考え得る様々なディスプレイについて、非常に先進的な効果再等級分け法を簡単に規定可能である。簡単な場合には、例えば、このようなシナリオの任意の受信装置によって、上側値gpm_2がデフォルトで1.0固定と理解される場合があることから、gpm値を1つだけ符号化すればよい。或いは、グレーダを悩ませることはないものの、柔軟性の低い受信装置がグレーダの意図を誤解することのないように、例えばグレーダが下側値gpm_1及び閾値Ltのみを設定する場合は、符号化器がデフォルトでgpm_2=1.0を書き込む。LTを上回る輝度に対してグレーダがgpm_2パワー値のみを指定する場合、符号化器は、gpm_1に対してデフォルトで1.0を書き込む。通常、符号化器は、良好(少なくとも単調増加するMDR等級曲線を生じる)と思われる補間法を自動で決定する場合もあり、グレーダは、何もせずにこの方策の符号化を(例えば、Lt2値として)メタデータに受け入れるか、代替として、より美しく見える補間法を再指定する場合がある(グレーダは、必要に応じて、Ltの両側でgpm値を微調節するようにしてもよい)。一般的に、新たな本原理によれば、HDR等級とLDR等級との間の等級差を成文化する各共通乗算係数gの使用により、メタデータとして任意に成文化された任意の曲線(例えば、画像の現在の場面における興味深い光度形態について3つのLt点を有する曲線)によって指定できる適当なパワー値GPを入力Y_HDRごとに規定するとともに、例えば両側のgpm又はgpp固定値に代えて、例えばLt2とLt3間等の入力輝度の部分的範囲にわたる線形又は放物線発展を規定することにより、最適化された再等級分けを決定するようにしてもよく、再等級分け画像は、任意のY_HDRのgtu=POWER(g,GT)を入力として使用するとともに、現在処理中のピクセル色の任意の線形色符号化に対してこのgtuを適用することにより計算される。
したがって、図2で説明した通り、様々なメタデータを取得する如何なる受信装置も、コンテンツ作成側により指定された表示調節最適化の所望の実施形態を実施可能である。要約すると、実際に符号化・送信される画像及び開始点(例えば、2000nit等級)として、ピクセル色を有する少なくとも1つの等級分け画像が必要である(これが実際に送受信(通常、MPEG圧縮)されて、主画像が呼び出される)。そして、考え得る様々なグローバル又はローカル関数を用いてグレーダが規定したのと同じ精度で、少なくとも1つの別の等級(主画像がHDR2000又は5000nitの場合はLDR)を決定する関数が規定される(主として、輝度ダイナミックレンジ再等級分けの主要な態様である輝度処理態様(すなわち、少なくともピーク明度を含む異なるダイナミックレンジ能力のディスプレイに関するシーン上の別の効果の決定)を説明したが、通常は、少なくともいくつかの画像オブジェクト及び場合によっては色相変化の飽和処理等、色変換を伴っていてもよい)。この変換は、例えば少なくとも1つの任意のY_HDRを介して、例えば500又は10000nitピーク明度の(尺度又は目標)ディスプレイ又はその周辺の値に理論上最適な等級への2000nit等級の変換法を規定するカスタム曲線ccとして規定されたY_Lマッピングに伝達されるようになっていてもよい。そして、例えばいく分異なるピーク明度のディスプレイが受信側に存在すること又はユーザがリモコンを使用して10000nitの理論的最大値を下回るように最大光度を制御する(一種の新しいディスプレイを作成することに類似)ことから、受信HDR画像上での変換が必要な場合は、新たな再等級分け(例えば、8000nit)の生成法を洗練する複数の実施形態が存在していてもよい。より簡単なものは、大幅に自動化されており、ある程度まで、HDRシーンの画像の場面の比色分析及びセマンティックの詳細を無視可能である。より正確には、グレーダが言及する必要があるものすなわち利用可能なピーク明度まで輝度軸に沿って様々なオブジェクトの相対光度の分布上で起こる低輝度等への変化の確認法を無視可能である。この様々な画像オブジェクト輝度の分布により、特にオブジェクト間コントラストの影響(例えば、ステンドガラス窓はカラフルであるが、教会内部よりも十分に明るい)によって、シーンのいわゆる効果(例えば、憂鬱で大部分が暗い夜景シーンである一方、家屋の形状の気配を依然として十分に伝えているか)が決まる。通常は、特定の撮像シーンをレンダリングするディスプレイ上に十分なダイナミックレンジがあっても、元の捕捉シーン自体のように、輝度軸に沿ったオブジェクト輝度の正確な分布ではなく、効果群の審美的決定に対応するため、いくつかの所要最適化を伴うことになる(すなわち、グレーダは例えば、日当たりの良い屋外を5ストップではなく、2〜3ストップだけ屋内より明るくして、屋外の影響を十分に模擬できるように選定してもよい)。なお、本技術は適当な見掛けを生成することであり、人間の視覚は非常に複雑であることから、一方では同時にかなり単純であり(そうでなければ採用されない)、他方では少なくともほとんどのシナリオを十分に扱えるように十分強力である(そうでなければ、コンテンツ作成者が満足に使用できない)技術を有することが望まれ、本発明者らはこれに専念すべきである。上記教示の通り、グレーダは、異なるパラメータを用いて、意図するディスプレイのピーク明度が存在する間隔の少なくとも一方側の等級に応じた再等級分けの決まり方すなわち等級曲線の相互変換の様子を教示することができる。グレーダは、1つ又は複数のパラメータにより、潜在的に必要とされる様々な再等級分けの受信装置による計算法について、迅速且つ強力に制御する。受信装置は、主画像の入力色に計算を適用するのみである。線形RGBピクセルに作用する実用上簡単な実施形態を教示したが、当業者であれば、例えばYu’v’色表示にも同等に本原理を適用可能であり、例えばuv成分が一定に保たれ、必要に応じたYの変換又は値V=max(R,G,B)等のY相関を用いたYの変換が行われ、両者が、同様に乗算的にスケーリング可能な線形色係数の線形組み合わせであることが了解される。なお、意図するディスプレイのPB_Dに基づく実施形態の基礎を説明したが、例えば局所的なコントラスト増大等、HDR効果の注目度の改善のため、例えばTVベンダがより複雑な処理を考慮する場合は、変更すべきところを変更して、コンテンツ作成者からの情報(例えば、輝度マッピング関数の局所的勾配)、オブジェクトセグメント情報等により、この処理を結果的な表示調節に統合可能である。
図3は、例えば映画スタジオの撮影後編集室、放送局の編集室、或いは世間のテレビ編集交渉における最も単純な形態等において、画像又は動画作成及び符号化側に適用された本技術の一例を示している。データサーバ301は、入力302を介して、開始画像Im_src(通常はHDR画像であり、少なくとも高光度(例えば、1000nitを上回るレンダリング輝度)のオブジェクトを含み、暗いオブジェクトを含むことも多いが、いくつかの実施形態においては、元の画像が低ダイナミックレンジの画像であってもよく、グレーダは依然として、例えば1つ又は複数の微小画像として表示可能な火球をコンピュータグラフィックス演算で計算することにより、HDR効果を生成する必要がある)又は動画列を供給するストレージを有する。これは、制限なく、例えば生のカメラ映像と仮定することができる。画像変換器303は、この生データを5000nitのHDR主画像等に変換するように構成されており、そのレンダリング可能な輝度と色符号(ルマ及び色の色相を成文化する2つの他成分を含む)との間の関係は、予備選択され、通常は固定されているものの、潜在的に可変な電気光伝達関数(EOTF)により決定される。通常、コンテンツ作成者は、ディスプレイを尺度として画像を規定するようにしてもよい。すなわち、5000nitの尺度ディスプレイへの表示法を規定するようにしてもよい。また、カメラのシーン輝度又は同等の色座標からの変換には通常、マスター等級M_XDRと称する審美的な等級を伴う(例えば、EOTF適用後に5000nitをレンダリングする符号として20000nitのランプが符号化されるようになっていてもよく、カメラの相対露出設定等の係数はもはや、必ずしも重要ではない)。このため、画像変換器303は、優れたマスター等級の生成に望ましい任意の色変換集合を実行するように構成された色変換ユニット304を備える。これらの変換のパラメータは、それ以降のシステムすなわち受信側での復号化がこのマスター等級から純粋に開始となり得ることから、格納される必要はない(通常は、例えばMPEG_HEVC等の従来の動画符号化技術に従ってフォーマット可能な画像信号S_imに格納されることになる。すなわち、マスター等級は、DCT変換YCbCr成分画像集合として格納された主画像及びSEIメッセージ等として格納されたメタデータである)。ただし、いくつかの実施形態では、このマスター等級の一部のメタデータを格納することも可能である。次に、本発明によれば、グレーダは、後々の実際のディスプレイ最適化に必要な情報であることから、第2のダイナミックレンジ効果IM_GRAD_LDR(例えば、100nitディスプレイのLDR)も等級分けすることになる。このマッピングの関数は、格納が必要である。すなわち、色変換ユニット304は、対応するパラメータ(例えば、gai、cc)をS_imのメタデータに書き込む。グレーダが必要とする入力は、例えば色等級分け等の専用コンソールとも考えられるキーボード等、色仕様ユーザインターフェース手段330に接続されたデータ入力331を介して入力可能である。例示的な実施形態においては、受信側でLDR等級を計算可能な格下げ関数と併せて、HDRマスター等級M_XDRが主画像として格納又は送信されるものと仮定しているが、この代替として、受信側で少なくともHDRマスター等級の十分な近似を再構成する格上げ関数と併せて、2次的に等級分けされたLDR等級を主画像として格納/送信することも可能であるし、符号化側で生成されたLDR等級及びHDR等級を求める関数等により、中間等級を主画像として使用することも可能である。
復号化側で実際に起こることをグレーダに関して符号化器が模擬する必要があることから、ユニット104、105、106、102等における主画像の処理についても、図2で説明した内容に類似する。ただし、ここでは通常、人間のグレーダによる適当な調節によって、様々な色処理ユニットのパラメータ(gai、cc等)の値が入力されるものの、例えば場合により別の時間に、一部のグレーダが別の色変換ユニットによって格下げを実施済みである場合、他の実施形態では、図1においてそれがどのように起きるかと同様にメタデータから読み出すことも可能である。例えば、グレーダは、第2の等級を規定する他の数学的変換を伴う色変換プログラムを使用している可能性があり、中間変換ユニットは、いずれかの実施形態の組み合わせ色処理サブユニットのいずれかにより、上記色処理を略等しい効果結果処理に変換して、HDR−LDR変換等のダイナミックレンジ変換を実行するようにしてもよい。倍率決定ユニット200には通常、1に等しい単一のgpmが最初にプレロードされるようになっていてもよい。この場合、シミュレーションでは式1又は2を適用して、MDR等級を生成する。グレーダは、例えば表示出力311、すなわち、この場合はマスター等級とも称する主画像であったHDR等級を示すHDRディスプレイ312、100nitのLDR等級を示すとともに通常は100nitの尺度モニタであるLDRディスプレイ314、及び実施形態から選択されたいずれか1つに係る最適な再等級分け中間等級を示す適当に選定されたMDRディスプレイ313の全体で関連画像を出力することにより、3つのディスプレイを並列に(又は、視覚の異なる適応のため等、直列に)注目するようにしてもよい。このMDRディスプレイ313は、例えば利用できる典型的な2つの等級LDR及びHDRの中間近くで対数的に選定されるようになっていてもよい。例えば、グレーダは通常、2000nitのピーク明度をHDR等級に対して標準的に使用する形式で作用する場合、ピーク明度が400nit(4×1000且つ略2000/4)であるMDRディスプレイを選定するようにしてもよい。最適化が2次効果調整として見積もられることから、例えば500又は600nitのMDRディスプレイに関する確認は重要でない。また、グレーダは、例えばコンテンツ作成時に人気のディスプレイを使用することを選定するようにしてもよい。フィールドのディスプレイの大部分のピーク明度が約800nitである場合、グレーダは、このような800nitのMDRディスプレイを選択しるようにしてもよい(より優れたディスプレイが存在する将来に向けて5000nitのマスターを等級分けしているとしても、当然のことながら、当分の間は、現行の800nitディスプレイ上で映画が良く見えるようにしたい)。通例、MDRディスプレイに対する中点の近くでは、必要な再等級分けの量が最も大きくなるものと予想されるため、都合が良い。ただし、グレーダは、いく分高コントラストの効果が期待できるディスプレイ上でも、任意のLDR性効果の臨界の確認のため、例えば第2のLDRディスプレイを選定するようにしてもよく、この場合、MDRディスプレイは、例えば100nitの上側で1又は1.5ストップのみであってもよい。グレーダは、効果に満足したら、「終了」ボタンを押すようにしてもよい。この例では、画像出力320を介して、例えばブルーレイディスク(BD)等のメモリ製品321に、例えば信号S_im(すなわち、格下げの主画像及びメタデータ)を格納するようにしてもよく、先の例では、gpm値として1.0を格納するようにしてもよいが、より先進的な実施形態では、より先進的なMDR等級最適化データを格納するようにしてもよい。当業者であれば、例えば同様にデータをサーバに格納して、例えばインターネットを介した供給又はリアルタイム放送等を後で行えるようにしてもよいことが了解されるものとする。より先進的な実施形態において、グレーダは、MDR等級の計算を使用して、例えば関数503から始めて適用するようにしてもよい。その後、さらに等級分けを行って、正確な第3効果を得ることにより、この単純な再等級分け原理を改善するようにしてもよい(すなわち、元の等級符号化技術の少なくともいくつかのツールを再び用いることになるが、マスター等級の代わりに表示調節MDR再等級分けから開始して、第3の元の等級及び一部の受信装置に伝達される一組の色変換関数へと至るようにしてもよい)。例えば、グレーダは、画像の場面の領域を決定し、別のカスタム曲線を適用して、これらの部分的領域/オブジェクトを具体的に取り扱うようにしてもよい。例えば、暗闇における顔が重要であり、単純な再等級分け関数によって合理的となる場合には、これを使用可能であるため、目や顔の印象等はすべて、十分に認識可能ではあるものの、この場合のかなり重要なグレーダは満足が得られない(あらゆる努力傾注分野においては、一部の人間の重要度が低く、他の人間が非常に重要となり得る)。環境(例えば、暗い街路)に関する限り、選定された単純な再等級分け関数が500nit等の優れたMDR等級となる可能性がある。これらは、それほど重要とは見なされないものの、グレーダが顔をより健康的にして、何らかの別の関数を適用したい場合があるからである。また、この第3の(部分的な)等級のメタデータは、1つ又は複数の関数としてブルーレイディスクに格納することも可能であるし、別のメタデータ等として送信することも可能である。所要フォーマットのすべてのデータのフォーマットには、1つ又は複数の信号フォーマットユニット310が関与するようになっていてもよい。例えば、ディスプレイの駆動のため、例えばBDへの格納ではなく、ディスプレイ接続の制限帯域に準じる別の符号化が用いられるようになっていてもよい。この場合は、任意のHDR符号化方式によって、フォーマットされた高ダイナミックレンジ画像SF_X2DRが符号化されるようになっていてもよいが、主画像から第2のダイナミックレンジ画像を計算する色変換を成文化したメタデータにより主画像が補完される方式が好ましく、2つの画像は、ダイナミックレンジが大幅に異なるディスプレイ用である(すなわち、通常は少なくとも係数2)。この例においては、(102として具現化された)輝度処理パイプラインが(ユニット112により行われる反転709のような)通常のLDRフォーマットへのマッピングを含むものと仮定済みであるものの、MDRディスプレイは、フォーマットユニット310が対処可能な別のソースフォーマット等を有していてもよい。これは、新たな教示の主要部分ではなく、当業者には明らかなはずであるため、これ以上詳しくは説明しない。
図8は、上述の輝度処理と同様に、最適化原理の作用によって、中間ピーク明度のMDRディスプレイを駆動するピクセル色の適正な色飽和が得られる様子を示している。いくつかの実施形態においては、最適化された輝度及び飽和スケーリングの両者を行いたい場合があるものの、他の実施形態では、輝度スケーリングのみを使用するようにしてもよい。入力色は、入力飽和、又はより正確には色度C_inを有し、ゼロ値が白色を表す。飽和の定義には、例えばHVCのように[0,1]に正規化された飽和又はCIE1976uvのような他の飽和等、複数存在するが、これらはすべて、D65等の所定の白色を始点とし、ある距離にわたって延びたベクトルにより色の飽和が規定されるという特性がある。HDR入力画像において、飽和Csを有し、値Cfまで上昇するピクセルを有するものと考える。これは、上述の初期共通乗算係数gと類似の係数である乗算係数sによって規定可能である。LDRがHDR画像よりも飽和している場合(例えば、グレーダ固有の飽和処理による逆修正の必要がある彩度の低下に対応するディスプレイの低いピーク明度能力によって、それぞれのレンダリング画像領域の輝度が低下することが理由と考えられる)、MDR等級の飽和も高くするのが有用であるものの、gtの一実施形態である係数stについては程度を抑える。飽和処理能力を有する装置は通常、固定飽和乗数sを用いた単純なプロセッサではなく、むしろ適当にスケーリングされた飽和を与えるように構成された色飽和プロセッサ106を有する。飽和処理は、すべての輝度にわたって固定されていてもよく、単一の乗算値sで実行されるようになっていてもよいが、接続されたMDRディスプレイごとに最適値へのディスプレイ最適化が必要である一方、通常は、ダイナミックレンジ変換のため、より洗練された飽和処理を望む場合がある。例えば、飽和は、輝度、輝度を減算した値、及び/又は入力飽和等によって決まる可能性がある。各入力ピクセルに必要な飽和再等級分け(すなわち、HDR画像とLDR画像との間)は、グレーダによって指定され、メタデータMETにて伝達されるものの、受信装置で決定した後、適当にスケーリング可能なことが重要である。通常、色飽和プロセッサ106は、sを決定する何らかのルックアップテーブルメカニズムを有することになる。例えば、入力色が(Ri,Gi,Bi)=(0.2,0.3,0.7)である場合、LUTは、例えばs=1.1を生じ、不飽和の場合はs=0.5を生じる。別の入力色の場合は、sの値が同じであってもよいし、異なっていてもよい。そして、色飽和プロセッサ106は、結果的共通乗算係数gtの一実施形態である結果的飽和乗算係数(st)を計算するユニットを備えるが、これはユニット200に類似しており、st=POWER(s,sp)を計算する。比spは、飽和の場合に輝度処理の場合とはいく分異なっていてもよいが、通常は依然として、PB_D、PB_H、及びPB_L間の関係によって決まり、gpの計算法と異ならせることが不要となる場合が多い(ただし、当然のことながら、飽和及び輝度処理に異なるgpm値を使用することも可能であり、MDR効果の輝度をLDR効果により類似させる一方、飽和効果をHDR画像の飽和等により類似させる)。図8に見られるように、例えば低ピーク明度の再等級分けにおいて高い光度を取り扱う不飽和領域及びより暗い色の彩度を増大する領域等を指定する飽和境界指定子Lts(実際のところは、異なる飽和処理の2つ以上の異なる分類にピクセル色を分けることができる任意の境界指定情報であってもよい)により規定された異なる飽和形態を使用することが意味をなす場合がある。
通常は、以下のように飽和処理を実行するのが好都合である。
Ro=st*(Rin−Y)+Y
Go=st*(Gin−Y)+Y
Bo=st*(Bin−Y)+Y [式5]
ここで、Ri、Gi、Biは線形入力色成分、Ro、Go、Boは飽和処理後の結果的出力色成分、Yは線形輝度すなわち所定の定数a、b、及びcを有する線形結合a*Ri+b*Gi+c*Biであるが、他の同等の処理も使用可能である。
図9は、最も簡単な実施形態であっても、受信装置の単純な再等級分け計算に唯一存在し、グレーダがそれ以上確認したいと思わないグレーダの要求に関する時に複雑なシーンに依存して最適化された特異性に準じ得る様子について、別の例を示している。この例では、式1の対数的に意図するレンダリング表示ピーク明度に依存したスケーリングを使用する。この方法では、シーンで求められた場合に必要な輝度及び制約を十分に設定可能であることが分かる。例えば、この例において、最大値(すなわち、白色)のおよそ60%の領域(線形)は、HDR画像上に規定されるものと仮定するが、通常、このレンダリングでは何らかの増光を要する場合がある。一方、この例においては、50%前後の重要な画像領域も存在しており、例えば、比較的明るく光で照らされたシーンの一部における俳優の顔であってもよい。一方、画像のより暗い領域において、この例では、LDR効果によってこれら暗い領域を強くソフトクリップ可能であることから、関心の高いオブジェクトが多過ぎるようには見えない。これは、例えば太陽に照らされた景観中の屋外に多くの出来事等が存在し、いく分暗くすることを審美的に決定し得る内部(例えば、小さな扉から見える納屋又は寺院の内部が挙げられる)に一部が存在するシーンであってもよいため、内部のものとはあまり関連性がなく(HDRディスプレイ上のHDRレンダリングにおいても、この領域のサイズが小さいことから、視覚系では、「興味の湧かない黒色」としてこれを迅速に破棄してもよい)、同じ等級分け理念により、グレーダは、黒色と見られるものも略LDRとするように決定してもよい(なお、これらの方法は、より正確且つ重要でない等級変形にて、通常はより簡単且つ困難なHDRシーンで作用し得るものとする。前者は、例えば如何なるMDRレンダリングにおいても正確な平均輝度がそれほど重要ではない画像の2つの空間的領域であり、後者は、例えば霧に一部が隠れたモンスター等、例えば非常に精密なレンダリング要件を有する)。重要な特性として、最も簡単な実施形態においても、すべての中間ダイナミックレンジ(MDR)について、略良好な光度の見掛け及びすべての対応する決定可能な制約(すなわち、選択された興味深いピクセル1及び2の輝度又は興味深い領域1及び2(例えば、暗い隅部)の平均輝度と部屋の窓から見える屋外の一部との間)を上手く取得可能である。この図9において、曲線909は、5000nitのHDR効果から100nitのLDR効果への変換に当てはまる輝度変換であり、不変のそれ自体に変換されたHDRは当然のことながら、対角に相当する。その他の曲線は、様々なMDR等級への再等級分けに必要な変換であり、最適化された効果画像が供給される5000〜100nitの様々なピーク明度のディスプレイ用である。
図10は、(コンテンツ作成側で人間のグレーダにより(部分的に)制御されるか、又は、例えばHDRテレビ等の特定の受信装置により自動再等級分けがなされるかに関わらず)実施形態により可能な別のより先進的な例を示している。この例は、単一の輝度(又は、ルマ)境界指定子Lrcとして(例えば、グレーダにより決定されて伝達されるか、又は、受信装置に唯一存在する画像解析ユニットによって)簡単に決定された様々な画像領域に関するセマンティック情報をより多く有する場合にスマートに再等級分け可能な手段を示している。この例においては、より明るい領域が非常に重要と考えられ、暗い領域は、同時に最適化するのが難しいと考えられる(すなわち、例えば画像の場面の考え得るピクセル輝度の暗い範囲全体に十分なコントラストを維持すると同時に、下側のMDR画像については、十分な視覚品質で明るい画像領域をレンダリングする輝度範囲の十分大きな部分を必要とする)。すなわち、品質を特定の様態で迅速に低減するように決定してもよい。迅速とは、HDRのPBに近いMDRのピーク明度(PB)の場合(例えば、PB_H=2800nit、PB_MDRが2500nit)であっても、LDR100nit効果を模した方策に従って下側範囲の全部又は大部分がマッピングされることを意味する。ただし、明るい領域は、2800nitと100nit間の様々なMDR PBにわたって、LDR効果へと徐々に調節される可能性がある。この方策は、グレーダによる少なくとも部分的な決定又は初期の誘導法としての決定が可能であるものの、受信装置自体によっても決定可能である(例えば、グレーダは、指定したものすべての却下により、画像の場面の明暗両領域について、LDR効果への滑らかな再等級分けを指定している可能性がある)。
人間のグレーダによる関与すなわちHDR画像伝達システムの実施形態による画像の最終レンダリングにおける発言の許可がある実施形態のシナリオを用いた上記例を説明したが、この代替として、コンピュータアルゴリズムを自動グレーダとして使用することも可能である。これは、作成側で起こる可能性があり、アルゴリズムは、例えば領域、特定種類のテクスチャ、或いは人間等のオブジェクトのクラス、特定の動物、太陽の光が金属で鏡面反射した自動車等の識別、及び統計学的情報に基づいて、グレーダによるこの種のシーン及びオブジェクトの等級分けの望み方等、非常にスマートな画像解析を非リアルタイムで実行可能である。ただし、自動等級分けユニットは、受信装置に存在するとともに、例えば何十年にもわたってテレビ製造業者により開発された(おそらくは、署名効果を構成する)画像品質情報を成文化した画像増強処理を適用することも可能である。この新たな解決手段では、本HDR再等級分け技術に上記を組み込むことになる。図11は、例えばスーパーマーケット又は屋外イベント等において市販のディスプレイを供給するテレビ、セットトップボックス、又はコンピュータに組み込まれた受信装置の色変換ユニット1130の例示的な一実施形態によってこれを説明している。
この例において、(作成側の人間のグレーダによってこのシーンに最適と選定されたパラメータlg及びカスタムトーンマッピング曲線の多重線形形状等を規定するパラメータP_CCを含む図1で説明した対数スケーリングによって、入力画像Im_inとしての5000nitHDRから100nitLDRまで)ネイティブの色再等級分けを行う動画の画像及びメタデータは、画像通信ネットワーク1101(例えば、インターネットを介して接続された動画サーバ又は携帯電話ネットワーク上で放送又はマルチキャストされるテレビサービス等)を介して受信される。そして、倍率決定ユニット1102は、(原理上、範囲境界の外側にいくらか進む場合にも同じ原理を使用可能ではあるものの)意図する範囲の一端の効果(例えば、HDR)をその他の範囲端の尺度効果(例えば、100nitLDR)へとマッピングするのに最適なものとして指定されたトーンマッピング仕様を適用して、初期倍率g_natを決定することにより、線形(或いは、潜在的に非線形)のRGBスケーリングを実行する。第2の倍率決定ユニット1103は、現在の状況に使用する最終的な倍率g_finを決定するが、本実施形態においては、受信装置の画像処理情報によってこの倍率が決定されるようになっていてもよい。このため、画像解析ユニット1110が備わっており、様々な画像解析ユニットを備えていてもよい(通常、例えば様々な画像解析ソフトウェアコンポーネント又はそのハードウェア実装であってもよい)。この簡単な説明例においては、ヒストグラム解析ユニット1112及びオブジェクト認識ユニット1112を説明する。ヒストグラム解析ユニット1112は、画像の輝度分布を解析するとともに、例えば暗いピクセルが多く存在すること、(ユニットが一体的に作用し得るため)おそらくは意味論的に重要なピクセルが暗いことを判定するように構成されていてもよい。その後、暗い領域の境界指定子及び意図する増光法を決定するようにしてもよい。オブジェクト認識ユニット1112は、例えばシーンの様々に異なる照明部に俳優が位置することから様々な光度を有する顔を検出可能な顔検出器を備えていてもよい。これらすべての情報から、方策パラメータ決定ユニット1113は、対応するパラメータを決定するが、開示の種々実施形態によれば、第2の倍率決定ユニット1103に存在する(なお、この機能の一部は、いくつかの装置又はシステムの他の構成要素に存在することも可能であるが、これを機能的に説明する)。例えば、(人間のグレーダからの如何なる具体的な再等級分け情報も、部分的に準拠又は大幅に却下され得るより先進的な方策もなく、式1を適用するとの同様に簡単化し得る)グレーダのネイティブ方法を超えてシーン、特に暗色を明るくしたい旨を伝達する方策パラメータ決定ユニット1113の論理的様態は、新しいgpm値を指定することによって可能である(当然のことながら、いくつかの実施形態において、この装置は、元のHDR及びLDR等級間のマッピングを規定する関数の新たな値(例えば、底部傾斜)を規定することも可能であるが、いくつかの実施形態では、後処理として専用の効果を実現可能であることから、修正の必要がないコンテンツ提供者からの不可侵の情報を考慮することも可能である。任意の関数形状適応が必要な場合は、例えば図19に示す純粋な乗算スケーリングの代わりに、MDR計算部のみに対して、少なくともこれを実施可能である。テレビは、最も暗い値について、結果的MDR輝度マッピング関数を曲げることも可能であり、或いは、TVによって決定された特定の固定又は画像依存関数の修正値の乗算等、その他任意の関数再規定も可能である)。例えば、最も暗い領域の俳優のヒストグラム解析及び識別によって、受信装置製造業者により、例えば接続された1100nitディスプレイ上でのレンダリングに対して、最も暗い部分が元来暗過ぎる旨が画像解析ユニット1110により判定された場合は、LDR効果に向けて、gpmをわずかに引き上げることができる(LDRへの移動は通常、増光に概ね(ここでは、シーンに依存して)対応する挙動を有する場合がある)。輝度境界指定子Ltr1は、HDR輝度の最も暗い部分的範囲にのみ、上記方策を実行することを伝達されるようになっていてもよい。第2のメタデータMET_2のように、画像解析ユニット1110が所要の再等級分けに関するその要求を伝達可能な別の態様が存在する。例えば、接続されたディスプレイが1100nitではなく、例えば1300又は900のPBF値を伝達するとともに、対数比計算においてPB_Dと同様に用いられるものと見せ掛けることも可能である。或いは、対数比を伝達し、ユニット1103によって、これにgpm値を適用すること等も可能である。或いは、PB_H及びPB_L値を調整することも可能である。したがって、適正な値が画像解析ユニット1110により決定された状態で、最終的なg_finを計算する値の如何なる所要の組み合わせも、MET_2においてユニット1103に伝達可能である。画像Im_inを純粋に解析するほか、グレーダが色変換関数の形状に取り入れたスマートさに着目するのが非常に好都合となり得る。このため、いくつかの実施形態においては、トーンマッピング解析ユニット1114が備えられ、第1及び第2の尺度効果(すなわち、通常はHDR及びLDR)間の全トーンマッピングの関数形状を解析するように構成されていてもよい。例えば、このユニットは、3つの領域を有して、明色に施された処理(例えば、ソフトクリップ)、中間色に施された処理(例えば、コントラスト増大)、暗部に施された処理を確認するようにしてもよい。例えば、図9の例における50%前後の強い傾斜部のように、トーンマッピングに急峻な屈曲が見られる場合、トーンマッピング解析ユニット1114は、そこに境界指定点Ltr1を決定するようにしてもよい。そして、ユニット1113がこの情報を使用することにより、グレーダの等級分け仕様に存在するシーンに関するセマンティック情報を考慮するとともに、種々実施形態において、グレーダの再等級分け意図に少なくともいくらか合わせつつ、受信装置製造業者の選好によりコントラストを最適化するこれら中間トーンのスマートな再等級分けを決定することができる。これらの実施形態では、g_natに成文化された元の再等級分け意図に対して、上記再等級分けを適用するためである。
なお、この簡単な例においては、グレーダから再等級分けの具体的な要求を示す別のメタデータパラメータ(例えば、gpm値)が存在しないものと仮定しているが、グレーダが入力信号S_imにおいてこのようなメタデータを指定した場合は、これもユニット1110に伝達されるようになっていてもよい。そして、このユニットは、例えば小さな許容範囲(例えば、5%又は10%)内又は輝度範囲の制限された部分的範囲上のみでgpm値を変更することにより、この要求に十分対処するか、例えば明色に関するコンテンツ作成グレーダの元の要求を保持しつつ、10%の最も暗い色の効果のみを変更するか、或いはグレーダのgpm値を完全に無視し、ユニット1103に対してそれ自体のgpm値を決定するようにしてもよい。
また、いくつかのより先進的な実施形態では、視聴者が最終的な効果に発言権を有し得るようにしてもよい。通常、グレーダは、リモコン1122への入力接続1121及びユーザインターフェース1120を介して、いくつかの簡単な再等級分けコマンドを与えるようにしてもよい。例えば、グレーダは、画像を明るくする5点スケールを有していてもよい。これは、ユニット1113により、例えば10%の最も暗い色上の複数のストップの輝度増大へと変換され、最終的に1つ又は複数のgpm値へと変換可能な信号b_rel={−2,−1,0,1,2}並びにおそらくは対応する増光によって視聴者に対する適当な効果を生成する1つ又は複数の境界指定子(Ltr1、Ltr2)として伝達されるようになっていてもよい。このような任意のリンクは、受信装置の種々実施形態により可能であってもよく、例えば、−1はPB_Dの10%増加に対応していてもよく、PBF値等として送信される。
以上、本実施形態によって、光度の重要な視覚的パラメータに相関する再等級分けを決定可能な手段を説明したが、図12では、種々実施形態により最終的なMDRレンダリング効果の様々なコントラスト変化を画像の意味論的に決定可能な手段の一例を簡潔に説明する。ダイナミックレンジさらにコントラスト比は、画像中の最も暗い色対最も明るい色という単純な考え方である。心理視覚的に関連するコントラストは、より複雑なパラメータである。それでも、上述の画像適応実施形態によって、比較的容易に決定可能である。通常、シーン中の最終的なコントラストは、特に高コントラスト比の画像が含まれる場合に、オブジェクトのテクスチャ(例えば、顔の表情、顔の粗さ、又は木肌の木目)が如何によく見えるかを判定するオブジェクト内コントラスト及びオブジェクト間コントラストという2つの係数から概算可能である。多くのHDRシーンにおいて、光による照らされ方が異なる領域は、ごくわずか(2つだけの場合が多い)にしか存在しない可能性がある。例えば、屋外に対する屋内の平均輝度である。或いは、2〜3個のランプに対する平均的な夜間の街路の輝度である。HDRにおいては、例えば5000nitのディスプレイの輝度範囲が十分な大きさであるため、上記のように様々な平均輝度の部分的範囲が存在する可能性がある。例えば、複数の異なる白色が存在する可能性があり、例えば屋内の紙の白色、ランプ近傍の白色、及びランプ自体のさらに明るい白色、そしておそらくは、さらに明るいランプが挙げられる。LDRにおいては、これらすべての異なる光度領域が忠実にマッピング可能なわけではない。実際、レガシーLDR符号化は、白色又は同様に関連する18%の中灰色に対してすべての色を符号化するのに十分適している(最終的に、一方ではノイズ及び/又は符号の量子化において達し得る任意の深さとなるが、他方では、適応視覚系が黒色と見なすもの(例えば、白色の線形5%未満)となる)。ただし、上記のように照らされ方が異なる領域が多い場合は除く。いくつかの画像について、グレーダは、いくつかのランプが灰色に見えるようなリスクを冒す代わりに、LDR効果に関して、すべての異なる白色領域を同じLDR白色(R=G−B=255)にクリップすることを選定する必要がある。したがって、例えば処理画像に依っては、100nitのLDRモニタ上の屋内ピクセルの平均輝度見掛けと屋外の考え得る明るさ(この屋外は、明るい一方でパステル化する代わりに、高く飽和することが必要となり得る)すなわち上記2つの領域に関するオブジェクト内コントラストとのバランスが重要となり得る。
図12は、上記のような領域における様々なコントラストひいてはレンダリング画像の総合的なコントラスト見掛けの受信装置によるバランス法を説明している。曲線1201は、グレーダがトーンマッピングを指定して100nitのLDR画像を得ている様子を表す。最も明るい色をソフトクリップした領域と、多くが発生しているように見える中間範囲領域すなわちトーンマッピング曲線の当該部分に複数の重要な屈曲点が存在するため、複数の重要なオブジェクトが存在し得る(例えば、3人の俳優の光による照らされ方が異なる)中間範囲領域と、暗色の好適なマッピングとが見られる。画像解析ユニット1110は、これら重要な部分的領域の2つの境界指定子Ltr1及びLtr2を決定した場合、様々なコントラストバランス方法を提案可能である。例えば、明色について、曲線1210がより最適なコントラストを与えるものと判定可能である。これにより、例えば日当たりの良い屋外領域の効果が変化する場合がある。例えば1200nitのMDR画像について、1200nitのMDRへのネイティブ再等級分けの提案よりも、この部分的領域の最も暗いピクセルの方が暗くなる可能性があるものの、受信装置製造業者にはこれが望ましいと考えられるためである。この例において、受信装置は、中間範囲の等級分けの詳細の大部分を無視するように選定しているものの(最終的なレンダリング効果の品質にとっては賢明とも考えられるし、賢明でないとも考えられるが、応用シナリオが実行されるか否かによって決まる)、受信装置が提案するトーンマッピング曲線の傾斜が中間範囲部1211の途中で変化することから、依然として何らかの適応性が存在する。この例において、最も暗いピクセルのコントラスト比は、グレーダ提案のLDR効果に関して、受信装置提案のMDR効果と同じであるが、(この例では、受信装置が理想として、元の形状の少なくとも大部分に準じたいと考えられることから)下側部分1212の曲線形状がグレーダの意図と大きく異なるため、コントラストが異なる分布となっている。これらの技術により、入力画像Im_inの解析後に受信装置が望むものに従って、様々なオブジェクト間及びオブジェクト内コントラストを最適化可能である。例えば、曲線1210の上側部分は(グレーダが提案する1200nitのMDRの結果であれ、ユニット1110の第1の決定によるものであれ)、十分なコントラストではない場合がある。すなわち、屋外があまりに淡泊に見える。そして、コントラスト比及びコントラストがより高い別の明部の部分的曲線1220が決定されるようになっていてもよい。これは、当然のことながら、同じY_L値に対して異なるY_HDR値をマッピングする方策の提案も可能であるが、中間部の低コントラスト化が必要となり得ることを意味する場合がある。このように、第2のオブジェクト内コントラストC_intR2及び第3のオブジェクト内コントラストC_intR3の両者を最適化可能である。ただし、これによって、何らかのオブジェクト内コントラスト(例えば、C_intR3)の潜在的な犠牲により、逆に、主としてそれ自体により最適化可能な(例えば、明るい部分的領域及び暗い部分的領域の中点輝度間での規定又はピクセル発生による重み付け等が規定された)第1のオブジェクト間コントラストC_glのようなオブジェクト間コントラストが決まることになる。
図13は、トーンマッピングを計算する一般的な一実施形態を示している。信号変形器1301は、すべての必要な情報を取得する。COD_DIR及びCOD_METRは、(例えば、コンテンツ作成側でグレーダが指定の)使用する中間表示ピーク明度の位置を計算する補間方向(DIR)及び尺度を指定しており、それぞれ、135°及び以下により詳しく説明するOETFベースの尺度であるものと仮定する。トーンマッピング決定ユニット1302は、メタデータ入力116を介して、すべての情報を取得することにより、入力画像(例えば、HDR画像)の輝度と対応する第2の等級(LDR)との間の最終的なトーンマッピングを構成する。この方法の第2の部分では、HDRシーン上の2つの典型的な効果(通常、HDR及び100nitのLDR効果等)の間の色変換関数の確立が必要なためである。出力1308を介して、この適当な形態の輝度マッピング関数(TMF)、他の実施形態では、一組のg乗数を供給可能であるが、ここでは、入力HDR輝度と等級分けLDR出力輝度との間の関数形状が伝達されるものと仮定する。すなわち、これが関数に過ぎないと仮定することになる。これは、輝度間のグラフィカルなマップとして説明するが、技術的には、例えばLUTとして伝達可能である。このTMFが倍率決定ユニット(200)に入力され、MDR画像を得るのに必要な変換の計算が行われるとともに、各ピクセル色に提示されて、乗算に適したgt係数(例えば、1.53又は0.872等)として処理される。
詳細説明の前に、まず、読者が現状をさらに理解できるようにする。
図17は、かなり単純化した等級分けの例によって、表示調節により実現したいことを示している。絶対(尺度5000nit)輝度軸上の絶対表示として計算を示したが、なお、これらは、光電伝達関数(P−OETF)に従って知覚的に均一化されている。したがって、他のグラフ等の相対輝度空間ではなく、この表示の符号空間で線形である。読者は、軸が対数であるかのように近似的な捉え方ができるものの、この例では5000nitの尺度ディスプレイの相対[0.0,1.0]ルマ座標間の正確なマッピング及び実際に対応する出力が(Philips EOTF)によって決定される。
Y=Lm*power((rho^v−1)/(rho−1);gam) [式6]
この式において、vは相対ルマであり(読者は、LDR信号のルマすなわち255で除算した[0,255]画像値等に対してこれを比較するようにしてもよい)、実数値と仮定する。rhoは定数(例えば、33)、gamは定数(2.4)、Lmは、このシナリオでは画像符号化のPBすなわち5000である。^及びpowerは、パワー関数を示す。なお、他の(例えば、より高い)PH_H値(又は、この式ではより高いLm(例えば、10000))で終了となるEOTFを規定したい場合は、以下によって、別のrho値を計算する必要がある。
rho_2=(33−1)*(PB_H/5000)^(1/gam)+1 [式7]
したがって、例えば図17のx軸上の[0.0,1.0]における等距離値は、上記式を用いた計算によって、実際の輝度に変換される。この関数の特性として、v値は、通常のHDR表示輝度の範囲にわたって非線形な人間の目により均一である。すなわち、概念上は、心理的な明るさの近似と見なし得る。
Philips HDR OETF(P−OETF)は、この関数の逆数として規定される。
v=1/log(rho)*log(1+(rho−1)*(Y/Lm)^1/gam) [式8]
ここで、例えば100nitディスプレイの等級分けを行いたい場合、読者はこれを概念上、5000nitディスプレイへの表示であるが、100nitを上回る輝度は一切生成されないものと見なし得る(これは、5000nitディスプレイ上では可能であるが、100nitディスプレイ上では不可能である)。LDR効果(元々等級分けされた)画像を実現するための考え得る輝度変換(かなり低品質であるが、説明の目的に適う)は、曲線1702である。基本的には、等級分けの対象であり、通常は等級分けがなされた対応する尺度ディスプレイすなわち5000nitディスプレイ上で入力画像をレンダリングしている場合のレンダリングと厳密に同じく、100nitまで、この曲線で(Im_inとしての受信HDR画像の)すべてのピクセル輝度をレンダリングする。ただし、より高い輝度もすべて、100にクリップする。
輝度変換を(理論的に)適用して、厳密にはカラーグレーダから受信済みの5000nitのIm_inから、5000nitの再等級分けを得る場合は、当然のことながら、通常は同一性変換1701を適用することになる。ここで、例えば500nitのMDRディスプレイの中間再等級分けを決定したい場合に起こることを考える。
当然のことながら、500を上回るすべての輝度をクリップすることも可能であるが、コンテンツ作成者がこのような良くないクリップのHDR−LDR輝度変換を規定している場合であっても、当該ディスプレイに対して行い得る最良の再等級分けとはならない可能性がある。最も明るい全オブジェクトのテクスチャの情報は、HDRのIm_inにあるため、PB_Dが高いディスプレイの場合すなわち可能である場合、5000nitのレンダリングと比較して品質を落とした状態(すなわち、HDRシーン及び画像に応じて、低光度増大、低コントラスト、低光彩且つ光輝)で、当該情報の一部を表示したくなる。100nitまでのすべてのオブジェクトが完全にレンダリングされるものと考える場合、1つの選択肢として、曲線1711を計算する(この「偶発性」は、興味深い境界指定点であり、これを下回ると、すべての実ディスプレイ上において同じ輝度でオブジェクトがレンダリングされる)。ただし、同等の輝度マッピングを中止し、最も明るいHDRオブジェクトへの絞り込みを開始する点をL_knにシフトする別の方策(再等級分けの積極性(gpm、gpr)に関して、別の尺度、補間方向、及び/又は微調節関数で計算することに相当)を適用することも可能である。これによって、PB_D=500nitの実ディスプレイのMDR等級を生成するMDR輝度マッピング曲線1703が生じる。
読者は、実行したいシナリオ及び100nitの上側でL_knをシフトする量が、画像中にあるものによって決まることを理解するであろう。屋外にあまり関心がないことは、放送で頻繁に起こり、窓から見えるものは通常、現時点で強くクリップ又はソフトクリップ済みであるが、この場合は、これらの屋外オブジェクトについて、レンダリング可能な輝度(範囲R_sm)が少ないことに耐えるようにしてもよい。これは特に、屋内オブジェクトの輝度が厳密に100nitで終わりとならないものの(当然のことながら、グレーダによる入念な等級分けによって決まる可能性もある)、例えばグレーダがテーブル上のいくつかの反射オブジェクトの明部の一部をクリップ(この極端な例では、ハードクリップ)する必要がある場合に当てはまる可能性がある。これは、視聴者が注意深く見ているシーンの主要部の可能性があるため、実際には、図14に見られるように、窓から見える太陽に照らされた家屋の色の品質を犠牲にして、最大輝度又は少なくともその近くまで、オブジェクトを等輝度(対角)部に含めることで美しい輝度及びテクスチャコントラストを与えることが意味をなす場合がある。これは特に、画像に関するその他の情報がない場合にも当てはまる可能性がある(当然のことながら、グレーダがCOD_METR及びCOD_DIRの使用を指定している場合は、状況をいく分は伝達済みであるものの、グレーダがTMFのみを生成するものと仮定する。受信装置は、より簡単な表示調節法にて、その他すべてを自律的に決定する必要がある一方、依然として、MDR画像の可能な限り合理的な視覚品質を与えるものとする)。その後は、低品質の100nit値を上回る2〜3の興味深い輝度が存在する可能性があるものと仮定するが、これがHDRシーンであることから、偶発的な100nitよりも少し高くにL_kn点を配置して誤差を分割した方が良い(グレーダは、そのHDRマスター等級に存在する屋内輝度に対処済みすなわち満足に明るくしており、これらを厳密にLDR/HDRフレームワークに適合させ、屋内を適当な輝度に等級分けするのがそれほど容易ではないことから、常に確実に、マスターHDR等級において、屋内オブジェクトを正確にLDR部分的範囲に配置することにはならない)。
ただし、暗いピクセル領域がすべて100nit部になるとともに、この100nit部のどこかに重要なテクスチャが存在しており、(任意の輝度マッピング関数について)最大コントラスト又は最大量の考え得る使用可能なルマ符号及び輝度が必要であることをグレーダが把握している別のシナリオにおいて、グレーダは、すべてのMDR再等級分けに関して、L_kn点を100nitに保ちたい場合がある。このため、読者は、必要に応じて表示調節(同調性とも称する)を簡素化可能であるものの、より困難な場合にも、HDRシーン及び画像を複雑化可能な何らかの付加的な技術的手段を好む場合がある一方、すべての係数及びパラメータの決定が必要となり得るグレーダについては、可能な限り簡単に済ませ得ることを理解している。
ここで、特定のディスプレイ(例えば、PB_D=500nitのディスプレイ)の尺度フレームで起こっていることを確認したい場合は、図17のマップから、Y_out=500nitまで延びた部分のみを切り出すことができる。この表示の最大値は、500nitディスプレイ上でレンダリング可能な最大値すなわち最大ルマ符号v=1.0の提示によってなすべき最大値を超えている。したがって、明瞭化のためマップに配置したnitラベルを無視することにより、(入力軸上で等距離ルマ符号を上手く読めるものの、当然のことながら、この表示のy軸上では、PB_Dが異なる別個のディスプレイについて、v=1.0が異なる高さとなる場合)図17の再等級分け仕様をルマ符号空間の仕様と見なすことができる(読者は、自身の理解のため、これらの異なるディスプレイがすべて5000nitディスプレイ上で模倣されることから、模倣ディスプレイのPB_D能力に応じて、特定ルマvxでのレンダリングを中止する必要があるものと仮定することができる)。
図18は、同じ例示的な変換であるが、動画信号S_imと関連付けられたメタデータにて受信されたHDR−LDR色変換仕様から始めて必要なHDR−MDR輝度変換関数の導出に向けて開始可能な軸システム上の変換を示している。5000nitのIm_inの考え得るピクセル輝度であるため、水平軸は同じである。垂直軸は、この場合もP−OETFにより知覚的に均一化されたスケール上すなわちゼロと値L1(又は、言い換えると、その対応するルマ符号)との間で再等級分けMDRピクセル色の相対輝度を決定するものとする。100nit等級分けの場合、このL1値は、最大ルマ符号(例えば、10ビットの1023又は12ビットの4095)に対応し、これが100nitとなる。ここでも、100nitまでのHDR輝度の場合、グレーダによって、5000nitの画像の規定と厳密に同じ輝度の100nit LDRディスプレイ上でレンダリングされるものとし、それを上回る場合は、LDR等級分けにより、すべてがPB_L=100nitにクリップされることが分かる。
また、例えばこの表示において、LDRディスプレイ上の濃い灰色について、HDRディスプレイ上と同じレンダリング輝度を取得するには、LDR画像のルマを高くする必要があることが分かる(この図においても、v=1.0に対応するL1と0との間で均一に読み取れる)。すなわち、相対的なHDR値と比較して、暗色の傾斜又は利得を角度bだけ大きくする必要がある(入力画像又は同一性変換によって理論的に計算された出力画像のうち、最大ルマに対応するものを把握するため、5000nitで終了となる軸が必要となることから、ここでは、対角として示す「誤った」100nit軸上とする)。ここで、最小と最大との間の相対駆動(最小及び最大ルマは、このPB_D=500nitのディスプレイの場合、0及び500nitに相当し、グラフの右側にY_out_MDRとして示している)すなわちIm_inの任意のY_inに対するこのY_out_MDRに必要なMDRマッピング曲線1803の導出法について考える。対角(HDR5000−HDR5000マッピング1701)に直交する線を引いて、その上に尺度(1850)を配置する。この尺度は、無輝度変化すなわち「0」と「完全」変化(すなわち「1」)との間の値を有して、LDR等級分けを生じる。ここでは、任意のPB_Dに対応する位置M_PB_Dをこの尺度上に位置付けることができる(以下の計算例参照)。よりLDRに類似して見える効果としたい場合(このPB_Dを伴う実ディスプレイであるが、PB_L=100nitから上方にPB_Dを移動させる場合の長時間にわたってよりLDR性に見えるようにする必要がある特定の重要なシーン)は、例えば後述の実施形態によって、別の点M_PB_Uを決定することができる。この「途中」点は、そのPB_D(非線形)について、PB_HとPB_Lの尺度ディスプレイ間でその効果すなわちそのHDR能力について途中であるディスプレイに対応するものと見なすことができる。ここで、屈曲点PBEは実際のところ、この例においては単に、PB_L=100nit値の制限によりクリップが開始となる位置ではなく、等級分けにおける特殊な重要点であるものと考える(例えば0.0と1.0との間のY_in軸上の相対位置及びY_out_LDR軸上の高さ等、少なくとも1つのパラメータ(グレーダからの元のLDR及びHDR等級の色変換関係を指定するメタデータ中のパラメータ)によって伝達されている可能性がある)。この回転補間版において、この意味論的に重要な点は、垂直補間の実施形態と同じY_in位置に留まる必要なないものの、いくつかのシナリオに関して、この特定の表示調節様態を洗練するオフセットdpにわたってシフト可能である(例えば、HDR輝度L_Hbを下回る黒色をLDR等級の0にクリップするHDR−LDR関数にも有用と考えられる)。
図19には、LDR等級(1802)を規定する関数から始めてMDR画像を求める完全MDR輝度変換関数1803を導出可能な手段を回転フレームワークで示している。当業者には、Y_in座標に対応して延びる新たなx座標rcを方向性補間ユニット(1312)が計算可能である手段とともに、関数を回転可能な手段が明確なはずである。この関数は、例えば一時的メモリに保持されていてもよい。ここでは、例えば0.63等の乗算スケーリング値S(定義は以下)を決定する必要があり、これによって、MDR曲線の所要点が与えられることになる。一例として、屈曲点が新たな位置(尺度を置くならM_PB_D)に移動する様子を示しているが、関数の形状に関わらず、同じ乗算原理によって、その他すべての点が変化する。このため、延伸する座標rcを採用するとともに対応するLDR輝度マッピング関数がFR_L(rc)である場合、HDR−MDR色変換関数の所要値は、FR_M(rc)=S*FR_L(rc)と決まる。その後、図18のフレームワークの値が得られるように曲線を再度回転可能であり、これらの値を再度メモリに格納可能である。ピクセルごとの処理に実際上必要なものは利得値であるため、倍率決定ユニット(200)の実施形態では通常、すべての考え得るY_in値について、gt値のLUTを格納することになる(実際、好適な実施形態においては、RGBmax値を使用するが、これらは同様に0.0と1.0との間で変動する)。
これらのgt値の計算は、図16に示すように、すべての入力値の対角の高さに対して、サービス対象のPB_Dディスプレイに関して計算したMDR輝度変換関数の高さを比較した後、これら2つの除算により乗算値を求めることによって可能である。
ここで、図20は、上手く作用する尺度を規定して倍率Sを求める手段を示している。
例えばPB_D=500nitのディスプレイについて、MDR画像(及び、入力画像輝度又はルマ値を有する場合に必要となるルマ値を決定する関数)を導出したいものと考える。LDRの駆動曲線に関連して適正なすべてのオブジェクト輝度を取得するには、駆動値をスケーリングする必要がある。このため、SDR輝度マッピング関数2002の通常いつも100nit(これはレガシー標準化値であるが、事態は未来に変化するものであり、技術原理は同じ状態を保つことになる)のフレームワークにおいてすべてを表す。ここで、例えばより低い光度が3つの全ディスプレイ(HDR、LDR、及びMDR)について同じに見えるように保ちたいとものと考える。MDR曲線上の適正な点P3を取得するため、点P1又はP2を下方に移動させた後、HDR等級分けに対応する対角又は水平入力軸へと移動させる量について考える。
このMDR曲線は、右側の500軸上で読む必要があることから、以下の数式を導入する。
A=P_OETF(Lm/PB_L,PB_L)
B=P_OETF(Lm/PB_D,PB_D) [式9]
これらは、上記規定のログガンマHDR OETF関数であるが、この場合、5000nitではなく、休止後の第2の値(例えば、PB_L=100nit(通常))で終了となる。
すなわち、これによって、例えば100nitの場合に1.0で停止する延伸座標を伴う知覚的な軸が生成され、このマップのy軸である。このシナリオにおいて、Lmは、Im_inの5000nit値であるが、他のマスターHDR符号化においては、異なる値も可能である。
図23は、基本的な変換の倍率(A、B)の物理的な意味を別の様態で示している。また、1で終了とならず、例えば5.0まで進む再正規化関数としてP−OETFを見なすことができる(その後、これが最大値の乗算に過ぎないことから、比が必要な場合は、1に正規化したもので実現可能である)。したがって、HDR−LDR等級輝度マッピング曲線2303の変換により、適当なMDR曲線を取得する必要がある。これは、曲線2304ではないものとする。LDR等級をPB_Dが高いディスプレイに適用したに過ぎず、効果が明るくなり過ぎるためである。等効果(すなわち、任意のMDRディスプレイ並びにHDR及びLDR尺度ディスプレイにおいて、例えば10%の最も暗い色に同じレンダリング輝度を有する)の場合の画像において低い輝度をスケーリングすると、白色(1.0)からこの値を決定する際に新たに正規化したもの(すなわち、1.0が500nit等に相当)に対して、知覚軸の同じ伸張係数が生じることになる。ここでは、1.0に正規化された相対軸システムではなく、5000nit尺度輝度軸上の絶対軸システムにおける色変換の挙動を示している。100nit輝度(例えば、白色)をネイティブに変換するため(高いPB_Dを考慮していないLDR曲線を適用するのみ)(純粋には、軸の再正規化に関連するため、グレーダにより指定された輝度変換曲線の如何なる仕様も、gpr等の輝度の補間に関する如何なる制御パラメータも考慮していない)、色2301をその5000nit同等物に増強する必要がある(すなわち、スマートな再等級分けの適当な反作用を考慮していない)。
すなわち、ベクトル伸張の量となるP−OETF知覚化y軸上で決定を行う必要がある。100nitが1.0に相当する場合は、例えば1.7を乗算して値2302を見出す。曲線の500nit参照表示すなわち500nitが考え得る最大ルマ(1.0)に対応する表示上で点を読み出す場合は、同じことをできる。この輝度を5000nit表示版に変換する場合は、例えば1.3の係数Bを取得する。ここで、実際に関心があるのは、LDR等級分けすなわち100nitシステムにおいて決定された色2305から500nitディスプレイの尺度システムへの変換法である(例えば、500nitの入力HDR輝度は、30nitとしてLDRレンダリングされるものとする)。例えば、変換による値を変更しない場合は、500nitの新たな参照(図18の右側の軸Y_out_MDRである)においてこれらが意味することを考える。
y値2305にs^−1を乗算して値2306を求めることは、A/Bによる乗算に対応することが分かる。ただし、すべてが線形スケール上で5倍の明るさ、知覚化スケール上でX倍の明るさとなるだけであるから、これが等効果を与えることはない。このため、等効果制約を保つため、値2305にS=B/Aを乗算するものとする(これにより、LDRから始める場合に、適正にスケーリングされたMDR駆動曲線を有するが、ここでは、500nitが1.0の最大ルマ又は相対輝度である軸システムが尺度となる。これにより点線曲線2304が生じるのではなく、所望のMDR等級曲線となる曲線2303が生じる。ただし、元の100nitのy軸ではなく、500軸で解釈される)。これはすべて相対的な乗算であるため、1.0が100nitに相当する軸システムですべてが起こるものとして実行可能であるものの、実際のレンダリング輝度が必要な場合は、Y_out_MDR軸上で読み出すことになる。
したがって、x軸に向かって垂直にスケーリングする場合は、S=B/Aの倍率が求められる。
重要なのは、PB_Dの値に関わらず、倍率を規定可能であり(必要に応じて外挿も可能であり)、これにより尺度を作成可能な点である。
目標とするディスプレイがPB_D=PB_H=5000(=Lm)である場合は、HDR等級のP4点に達する必要がある(同一性変換)。すなわち、乗算の視点で見ると、スケールS=C/Aにより、この入力(x軸上のHDR Im−in輝度50)及びこの等級(左側のLDR y軸上のA=50nit)について、LDR値をスケーリングする必要があり、C=P_OETF(Lm/PB_H,5000)である。これにより、(正規化)1.0の光学的輝度入力のv値が生じるため、この対角HDR等級によってすべての輝度が等しい輝度出力を与えるものと仮定する(すなわち、HDR等級に関して、5000nit入出力時のルマ1.0の場合は、ライン上のその他すべての点について、適正な値を対応的に取得する。すなわち、例えば50nitの場合は、色変換する入力点におけるHDR_5000nitスケール(図示せず)のベクトルサイズとなる)。
ここで、対角的に(より具体的には、135°で)補完したい場合は、スケーリング関数がSS=[(B−1)/(B+1)/(A−1)/(A+1)]になることを数学的に証明することができる。
また、図18で行ったように、HDR輝度点P4とLDR輝度点P1との間のライン上の尺度位置に上記を関連付けることができる。これは、尺度オフセット、又は一般的に、延伸座標MSに対応しており、垂直の実施形態では、Y_MDR=Y_HDR+MS*(Y_LDR−Y_HDR)と記述することができる。また、一般的な状況においても、このような座標MSは、PB_D=PB_HすなわちHDR等級と同じMDR等級が必要な場合のMS=0とLDR等級が必要な場合の1.0との間で延伸することになる。
この簡単な説明と同様に、読者は、入力としてのHDR等級からLDR等級を規定する一般的なTMF関数2001を有する場合に、同じ変換方式が当てはまることを理解可能である。
このため、図13の構成模式図において、方向性補間ユニット(1312)は、受信した関数を回転させ(例えば、図19の入力軸に関する回転値LUTの取得等、対応する計算を行う)、適当な倍率SSを決定し、上述のような回転フレームワークにおいてMDR再等級分けに対応する関数を計算し、Y_in軸が水平となるフレームワークに合わせて再度回転させる。したがって、例えばLUTにおいては、入力値Y_inに対する関数値Y_out_MDRが存在する。その後、共通乗数決定ユニット(1311)は、この関数を対応する一組のgt乗数(のLUT)へと変換する。上述の通り、典型的な色変換フレームワークがこれらと作用するためである。
以上、色変換関数の規定、特に、パラメータ化の方法に依存しない実施形態を説明した。上記処理は、任意の関数値に作用するため、これらが純粋なLUTであるかのように説明した。
ただし、グレーダが関数を規定する様態には、興味深いセマンティック情報が存在する場合がある。例えば、グレーダは、暗色(例えば、屋内の色)を処理する下側セグメント及び明るいセグメント(例えば、屋外の色)に施すべきことを指定する第2の上側セグメントを含むマルチセグメントの輝度処理関数を規定するようにしてもよい。この輝度変換挙動は、例えば屋外輝度と屋内輝度との間の境界指定子でもあるパラメータLtによって、受信装置に伝達されるようになっていてもよい。また、その他多くのパラメータ化理念も可能である。少なくともいくつかの種類のHDR画像について、少なくともいくつかのMDR等級でこの閾値の輝度位置をシフトさせることが必要となり得る(例えば、グレーダは、すべてのディスプレイ上で同じに見える屋内の色を保つ代わりに、例えば1500nitを上回るHDRディスプレイの高い能力を少し用いて、これら屋内の色をいく分明るくする決定を行ってもよい)。x軸に沿ったシフト及びy軸の沿ったシフトの両者が好都合と考えられる。すべては、画像中に存在する色及びグレーダが求める見掛けのコントラスト等によって決まる。
以下、考え得るパラメトリックな一実施形態を説明するための興味深い一例を示す。
図21は、HDR効果束符号化技術を規定する基本的なツールキットに導入した興味深いHDR−LDR輝度変換法の一例を示している(これは、ユニット111のカスタム曲線の特定の一実施形態に対応するが、LUTとして伝達される代わりに、5つのパラメータとしてこの関数を伝達する)。このグラフには、正規化(例えば、10ビット)ルマと、その反対の対応する輝度、上部に5000nitのHDR入力画像、すぐ右側にHDR入力画像から計算可能なMDR 500nit出力画像の輝度を示しており、ここでは、(考え方を簡単に説明するために上で使用した)100nitの詳細を削除している。
この場合も、グレーダは、HDR−LDR(すなわち、100nit)曲線2100を指定するが、ここでは、特定の関数公式化を用いる。これは、最も暗い色がLDR等級分け画像において如何に明るく見えるかを決定する暗部利得(傾斜dg)を含む。これが重要なのは、HDRシーンにおいて、HDRルマで忠実に捕捉されているランプのような非常に明るいオブジェクトが存在する場合、同じシーンの陰になる領域が正規化軸上の非常に深い位置となるため、起こっていることを依然として見られるようにするには、LDR等級において大幅に増大することが必要になり得るためである。暗部形態は、点2101で終了となる。最も明るい色の場合は、ハイライト利得hgを有する類似の線形セグメントが存在する。中間には、線形部の端点に対応する幅の放物線セグメントが存在する。これは、中間の灰色オブジェクトのコントラストを制御することができる。
ここで、パラメトリックに伝達された特殊点の位置がMDR輝度変換曲線2103上で変化していることが分かる。これらの変化位置は、方向DIR及び、特に尺度を用いて計算することができる。
midx=(1−hg)/(dg−hg)
そして、座標newMidx及びnewMidYによって、新たな中点Pm2を計算する。
x0=midx;x1=dg*midx;y0=dg*midx;y1=midx
m=(y1−y0)/(x1−x0)
b=(x1*y0−x0*y1)/(x1−x0)
newMidx=((x1−x0)/2)*(1−SS)+x0
newMidy=m*newMidx+b
これより、放物線領域の新たな幅ひいては線形セグメントの2つの終端点を計算することができる。
newWidth=(1−P−OETF(SS,PB_H))*old_width
ここで、old_widthは、グレーダにより決定されたこの曲線のパラメータすなわち放物線セグメントの幅すなわち非対称的又は対称的に両側へと突出した幅であり、線形セグメントの延長部がいわゆる中点で会合する。そして、当然のことながら、新たな暗部利得及びハイライト利得も再計算することができる。
newGg=newMidy/newMidx
nwHg=max((newMidy−1)/(newMidx−1),0)
読者は、興味深い点の再計算法又は他のシナリオの場合の輝度変換関数の他のパラメータを設計できることを理解可能である。
基本的な計算法(簡単な実施形態が適用可能であり、画像詳細及びグレーダの要求の大部分は見えないが、依然として、利用可能なディスプレイの合理的なMDR再等級分け画像を生成する必要がある)を把握することにより、現在のHDRシーンの特異性に適応したさらにいくつかの技術的制御パラメータを組み込むことによって、グレーダの変動し得る様子に関する2〜3のより説明的な実施形態を示す。
図22は、特定のHDRシーン又は画像の場面について、利用可能なPB_Dに対応するMS値を直ちに符号化し得る手段を示している。上記から了解されるように、MDR輝度マッピング(又は一般的に、色変換)の導出について、まず、点M_PB_Uを尺度上(すなわち、0.0と1.0との間或いはその範囲外で外挿)に位置決めする手段が必要であり、これは、正規化座標MSによって実現可能である。そして、この値から、HDR−LDR(又は、モード2のような他のシナリオにおけるLDR−HDR)色変換を実行する任意形状の輝度マッピング関数をMDR画像の計算に必要な関数へと変換することができる。ここで、例えばLUT又は簡単な式として伝達される明示的な尺度位置決定関数(2201)が存在する場合は、原理上、基本的な尺度の規定が不要となる。グレーダがこのような関数を簡単に決定可能であり、例えば、ノブの回転によってグレーダがパワーを変更し得るパワー法則を使用可能な場合は、好都合となり得る。その後、グレーダは、画像の総合効果の変化具合をMDRディスプレイ上で直ちに確認するか、又は、例えばある程度まで見えるようにしたい暗闇のモンスター等、重要なエリアに着目して、視聴者を前提とするその他すべての実ディスプレイ上で同様にある程度見えるようにする。
ただし、良好な尺度を有する場合は、図15に示すように、微調節の変形例を設計することも可能である。ここで、m_MT_norm_inは、特定の選定尺度に対するMS値であり、この場合も0.0と1.0との間で延伸する。したがって、PB_Dピーク明度の特定のディスプレイの値を計算することができる。グレーダが何も指定していない場合は、出力となる結果的m_MT_normが同じになり、上記説明した実施形態のいずれかと同様の標準的な自動表示調節が当てはまる。ただし、グレーダは、好ましくは滑らかにこの形状から逸脱し、0.0及び1.0の座標で終了となる関数を指定することができる。例えば、グレーダは、パワー関数、PB_Dが非常に高いディスプレイであっても、例えば図示のLDR等級のように、MDR再等級分けが如何に強く見えるかを決定するパワーパラメータgpr(すなわち、0に近づくm_MT_norm_in)、又は(dgrだけオフセットした結果的M_PB_U点の位置で見られる)その他の回避法を設計するようにしてもよい。グレーダは、例えば特定のピーク明度を上回るディスプレイに異なる挙動を有し得る複雑な関数を公式化することも可能であり、この挙動は、第2のパラメータgptt又は曲線の線形の下側部等を規定するさらに多くのパラメータによって成文化されるようになっていてもよい。
したがって、読者は、本技術が複数の尺度(例えば、同等の明るさ段階に概ね対応する複数の相対的に類似のOETF規定又は各等級のこのような明るさ挙動をモデル化した他の関数)、複数の補間方向、及びこれらを決定する複数の手段を利用できることを理解可能である。例えば、簡単な装置においては、ハードウェアに固定され、例えばプロセッサ上での計算実行によって同様に決定されるようになっていてもよい。より複雑な実施形態では、通常、MDR画像の効果に大きな影響を及ぼす1つ又は2〜3つの簡単なパラメータとして、例えばコンテンツ作成側から受信した人間のグレーダによる伝達制御原理の下、例えば映画の画像の場面ごとに(或いは、画像の部分を対象とし、例えば、低い光度が1つの尺度或いは1つの方向で補間され、高い光度が別の尺度或いは方向で補間されるようになっていてもよく、シーンに応じて、すべての補間色が投影される場所では、それほど重要ではない場合がある)、MDR計算法の切り替えが行われるようになっていてもよい。
本明細書に開示のアルゴリズムの構成要素は、実用上、(全部又は一部が)ハードウェア(例えば、特定用途向けICの部品)又は特殊なデジタルシグナルプロセッサ若しくは一般的なプロセッサ等で動作するソフトウェアとして実現されるようになっていてもよい。メモリ製品は、例えばブルーレイディスク又は固体メモリスティック等の携帯型メモリであってもよいし、例えば動画又は画像を使用する遠隔地に動画又は画像をダウンロード可能なオフサイトサーバ中のメモリであってもよい。
当業者であれば、本提示により、任意選択として改良し、他の構成要素と組み合わせて実現可能な構成要素及び方法の(任意選択としての)ステップが装置の各手段に対応する具合及びその逆を理解可能であるものとする。本出願において、単語「装置(apparatus)」は、その最も広い意味すなわち特定の目的の実現を可能にする手段群で使用しているため、例えばIC(の微小な回路部)、専用電化製品(ディスプレイを備えた電化製品等)、又はネットワーク化システムの一部等が可能である。また、「装置(arrangement)」は、最も広い意味での使用を意図するため、特に、単一の装置、装置の一部、協働する装置(の一部)の一群等を含んでいてもよい。
コンピュータプログラム製品の意味としては、(中間言語及び最終的なプロセッサ言語への翻訳等の中間変換段階を含み得る)一連のロード段階後に汎用又は専用プロセッサを有効にするコマンドの一群の任意の物理的実現を明示的に含むことにより、コマンドをプロセッサに入力して、発明の特徴的機能のいずれかを実行することが了解されるものとする。特に、コンピュータプログラム製品は、例えばディスク若しくはテープ等の担体上のデータ、メモリ中に存在するデータ、ネットワーク接続(有線若しくは無線)を介して伝搬するデータ、又は紙面上のプログラムコードとして実現されていてもよい。また、プログラムコードのほか、プログラムに必要な特徴的データがコンピュータプログラム製品として具現化されていてもよい。
この方法の動作に必要なステップの一部は、データ入力及び出力ステップ等、コンピュータプログラム製品における記述の代わりに、プロセッサの機能として既に存在していてもよい。
上述の実施形態は、本発明の制限ではなく、説明を行っていることに留意するものとする。当業者であれば、特許請求の範囲の他の領域への提示例のマッピングを容易に実現可能であるが、簡素化のため、これらすべての選択肢については詳しく説明していない。特許請求の範囲における組み合わせのような本発明の要素の組み合わせのほか、要素の他の組み合わせも可能である。要素の如何なる組み合わせも、単一の専用要素で実現可能である。
特許請求の範囲における括弧内の如何なる参照記号も、特許請求の範囲の制限を意図していない。単語「備える(comprising)」は、特許請求の範囲に挙げられていない要素又は態様の存在を除外するものではない。要素の前の単語「a」又は「an」は、複数の当該要素の存在を除外するものではない。