JP5589006B2 - 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮 - Google Patents

Description

この出願は、2009年3月13日に出願された米国仮出願第61/159,964号の優先権を主張し、この全ての内容を援用する。

この開示は、概してビデオ技術に関し、特に、ビデオ符号化、処理及び／又は圧縮に関する。

CRT、LCD及びプラズマディスプレイのような今日のビデオディスプレイに描写される画像は、所定の色域と、低ダイナミックレンジ（LDR：low dynamic range）の領域内のダイナミックレンジとを有する傾向にある。

画像の“ダイナミックレンジ（dynamic range）”という用語は、画像特性（例えば、明度、輝度）の範囲、又は、その画像特性の最も弱い尺度（measure）若しくは強度（intensity）に対するその画像特性の最も強い尺度若しくは強度の比を示してもよい。或る場合には、その画像特性の最も弱い尺度又は強度は、雑音でもよい。或る場合には、画像特性は、輝度、色調、輝度と色調との組み合わせ、又は輝度及び／又は色調の関数でもよい。ダイナミックレンジはまた、画像における最も明るくなる可能性がある画素と、黒ではない最も暗くなる可能性がある画素との間の比として表されてもよい。これはコントラスト比とは微妙に異なり得る。コントラスト比は、最も明るい画素と黒（例えば、画素なし）との間の比として表されてもよい。人間視覚システムは、全体のダイナミックレンジで数十オーダ以上の大きさの能力があり、同時に約5〜6オーダの大きさの視覚可能なダイナミックレンジを有することができる。ビデオディスプレイは、ダイナミックレンジで2〜3オーダの大きさを有することができる。

色域は、特定のデバイスのために取得又は表示可能な全ての色の空間を示してもよい。ビデオ及びコンピュータディスプレイは、頂点がCIE色相図のいずれかにおける赤、緑及び青の原色の色度である三角形内で色を表すことができる。

高ダイナミックレンジ（HDR）、低ダイナミックレンジ（LDR）及び視覚ダイナミックレンジ（VDR）を区別する例を有する図 映画の例についての制作及び配布段階の図 ガンマ補正R’G’B’からVDRフォーマットへの変換の例の図 グローバルトーンマッピングの例の図 HDRからLDRのトーンマッピングにおける高輝度及び低輝度における詳細の喪失を示すための画像の例を示す図 トーンマッピング演算子のパラメータ化された一群の例を示す図 互換性のあるコーデックの例を示す図 互換性のあるコーデックの例を示すブロック図 グローバルトーンマッピングのアーキテクチャの例を示す図 ローカルトーンマッピングのアーキテクチャの例を示す図 二次パラメータ化された逆トーンマッピングの例を示す図 残差処理の例を示す図 トーンマッピングされたHDR画像の例を示す図 開示された技術での残差画像の例を示す図 システムの例を示す図

様々な図面における同様の参照符号及び名称は、同様の要素を示す。

ビデオ圧縮及びビデオ符号化に関する例示的な実施例が、ここで説明される。以下の説明では、説明の目的で、様々な実施例の完全な理解を提供するために、複数の特定の詳細が示されている。しかし、これらの実施例は、これらの特定の詳細なしに実施されてもよいことが明らかである。他にも、他の特徴を不要にあいまいにすることを回避するため、構成及びデバイスはブロック図形式で示されている。１つ以上の実施例の詳細は、添付図面及び以下の説明に示されている。他の特徴、目的及び態様は、説明及び図面並びに特許請求の範囲から明らかになる。

＜概要＞
開示された技術のいくつかの実施例は、ビデオを符号化する方法を含む。方法は、ビデオ符号化器で符号化されたビデオストリームを生成することを含む。符号化されたビデオストリームは、輝度について5〜6オーダの大きさ（10⁵〜10⁶）のダイナミックレンジを有する。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。符号化されたビデオストリームの生成は、ビデオの視覚ダイナミックレンジ（VDR：visual dynamic range）フォーマットで符号化されたビデオストリームを生成することを含んでもよく、VDRフォーマットは、人間視覚システムが同時に認識することができる輝度及び視覚色域（VCG：visual color gamut）の範囲を含んでもよい。VCGは、人間視覚システムが同時に認識することができる全ての色を含んでもよく、輝度の範囲は、輝度について人間の目で認識するダイナミックレンジを含んでもよく、VCGは、広色域（WCG：Wide Color Gamut）を含んでもよい。ビデオのVDRフォーマットは、画素毎に32ビットを有してもよく、画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを含んでもよい。

他の一般的な態様では、技術は、画素毎に32ビットを使用してビデオ符号化器でビデオストリームを符号化する方法を含み、画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを含んでもよい。VDRのダイナミックレンジは、輝度について5〜6オーダの大きさを有してもよい。VDRのダイナミックレンジは、輝度について人間の目で認識するダイナミックレンジを含んでもよい。VDRは、取得、配布、消費（使用）を含むビデオフォーマット用に構成されてもよく、広色域（WCG）フォーマット用に構成されてもよい。VDRは、CIE XYZ三刺激値、ガンマ符号化、対数符号化（log encoding）又は１未満の最小可知差異（JND：Just Noticeable Difference）により表されてもよい。この方法は、スケールパラメータS及びバイアスパラメータBを使用して、cd/m²の物理的輝度Yから固定小数点の対数輝度（fixed point log-liminance）L_Dを計算することを含んでもよい。この方法では、固定小数点の対数輝度L_Dの計算は、

を計算することを含んでもよい。この方法は、cd/m²で全体の輝度の範囲を判定するために、バイアスパラメータBを使用することを含んでもよい。この方法は、スケールパラメータSとビット数Nとを使用して、ダイナミックレンジDRを判定することを含んでもよい。ダイナミックレンジDRは、

を判定することを含んでもよい。この方法は、XYZ三刺激値での射影変換を規定することにより、カラーチャンネルの(u’,v’)座標を計算することを有してもよい。この方法は、ガンマ補正R’G’B’値をVDRに変換することを含んでもよい。ガンマ補正R’G’B’値の変換処理は、ガンマ補正を取り消すことにより、ガンマ補正R’G’B’値を変換し、RGB値を生成し、RGB値で行列変換を実行し、XYZ三刺激値を生成し、対数（log）関数及び第１の量子化を使用して、Y三刺激値を固定小数点の対数輝度L_Dに変換し、射影変換及び第２の量子化からX及びY三刺激値をu_D’及びv_D’の色座標に変換することを含んでもよい。この方法は、人間視覚システムが同時に認識できる輝度及び色の範囲に基づいてダイナミックレンジを選択することを含んでもよい。符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを含んでもよく、VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する。

他の態様では、技術は、視覚ダイナミックレンジ（VDR）ビデオの圧縮方法を含む。この方法は、階層化コーデックで低ダイナミックレンジ（LDR）ビットストリーム及びVDRビットストリームを受信することを含み、階層化コーデックは、少なくとも１つの符号化器と、第１の復号化器と、第２の復号化器とを含む。この方法は、基本レイヤ（下位レイヤ）でLDRビットストリームを処理することを含み、LDRビットストリームの処理は、第１の復号化器での少なくとも１つの動作を含む。この方法は、拡張レイヤ（上位レイヤ）でVDRビットストリームを処理することを含み、VDRビットストリームの処理は、第２の復号化器での少なくとも１つの動作を含み、VDRビットストリームは、第１の復号化器により無視される情報を含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。VDRビデオは、画素毎に32ビットを有してもよく、画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを含んでもよい。VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさでもよく、VDRビデオのダイナミックレンジはLDRビデオのダイナミックレンジより大きく、VDRビデオのダイナミックレンジは高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい。階層化コーデックは、H.264フォーマット又はAVCフォーマットに準拠した種類の符号化器を含んでもよい。コーデックはドリフトのない（drift-free）コーデックでもよい。この方法は、元の画像からLDRビットストリームを生成した結果として失われた元の画像から１つ以上の詳細のデータをVDRビットストリームに挿入することを含んでもよい。

この方法は、少なくとも１つの輪郭除去（de-contouring）動作を低ダイナミックレンジのデータに適用し、輪郭除去された低ダイナミックレンジのデータを逆トーンマッピング（inverse tone mapping）し、高ダイナミックレンジのデータ又は視覚ダイナミックレンジのデータとの残差（residual）を生成し、残差を処理することを含んでもよい。残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差を含んでもよい。

他の態様では、技術は、コーデックで符号化及び復号化する方法を含む。この方法は、コーデックの符号化器で圧縮ビットストリームを生成することを含み、圧縮ビデオストリームの生成は、符号化器で入力低ダイナミックレンジ（LDR）画像ストリームを受信し、入力LDR画像ストリームを符号化及び復号化し、第１の内部LDRビットストリーム及び復号化されたLDR画像ストリームを生成し、符号化器内で変換ブロックを使用することにより、復号化されたLDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換することを含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。圧縮ビットストリームは、圧縮ビットストリームの基本レイヤ内に低ダイナミックレンジ（LDR）情報を含み、圧縮ビットストリーム内の拡張レイヤ内に視覚ダイナミックレンジ（VDR）情報を含んでもよい。VDRビデオは、画素毎に32ビットを含んでもよく、画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを含んでもよい。VDRビデオのダイナミックレンジは、輝度について5〜６オーダの大きさを含んでもよい。VDRビデオのダイナミックレンジはLDRビデオのダイナミックレンジより大きくてもよく、VDRビデオのダイナミックレンジは高ダイナミックレンジ（HDR）ビデオより小さくてもよい。変換は、固定小数点の対数輝度L_D及び色座標(u_D’,v_D’)を生成することを含んでもよい。符号化器での圧縮ビットストリームの生成は、輪郭除去ブロックで変換されたLDRの量子化アーティファクト（quantization artifact）を軽減し、第１の輪郭除去されたLDRビットストリームを生成することを更に含んでもよい。符号化器内での変換ブロックを使用することによる復号化されたLDR画像ストリームの視覚ダイナミックレンジ（VDR）空間への変換は、第１の輪郭除去されたLDRビットストリームでトーンマッピング（TM：tone mapping）分析を実行し、トーンマッピングパラメータを生成し、第１の輪郭除去されたLDRビットストリームで逆トーンマッピング（ITM：inverse tone mapping）を実行し、逆トーンマッピングの結果と入力視覚ダイナミックレンジ（VDR）ビットストリームとの関数である残差を生成することを含んでもよい。この方法はまた、残差を処理し、処理された残差を符号化し、第１の残差ビットストリームを生成し、フォーマット器ブロックで第１の残差ビットストリームと第１の内部LDRビットストリームとトーンマッピングパラメータとを受信し、符号化器の出力で圧縮ビットストリームを生成することを含んでもよい。この方法は、トーンマッピング符号化ブロックでトーンマッピングパラメータを符号化することを含んでもよい。この方法は、圧縮ビットストリームを復号化するコーデックの復号化器で出力VDRビットストリームを生成することを含んでもよい。復号化器からの出力VDRビットストリームの生成は、復号化器で圧縮ビットストリームを受信し、圧縮ビットストリームを第２のLDRビットストリームとトーンマッピングビットストリームと第２の内部残差ビットストリームとに解析し、第２の内部LDRビットストリームを復号化し、復号化器内で変換ブロックを使用することにより、復号化器において復号化された第２の内部LDRビットストリームを視覚ダイナミックレンジ（VDR）空間に変換することを含んでもよい。復号化器からの出力VDRビットストリームの生成は、輪郭除去ブロックで変換された復号化後の他のLDRにおける量子化アーティファクトを軽減し、第２の輪郭除去されたLDRビットストリームを生成し、第２の輪郭除去されたLDRビットストリーム及びトーンマッピングビットストリームで逆トーンマッピング分析を実行し、他の残差ビットストリームを復号化及び処理し、復号化及び処理された他の残差ビットストリームと逆トーンマッピング分析の結果との関数である復号化器の出力VDRビットストリームを生成することを含んでもよい。逆トーンマッピング分析は、トーンマッピングパラメータでの計算を含んでもよい。コーデックで実行されるいずれかのトーンマッピング及び逆トーンマッピングは、パラメータ化されたグローバルトーンマッピング演算子の関数、パラメータ化されたローカルトーンマッピング演算子の関数、パラメータ化された逆グローバルトーンマッピング演算子の関数、又はパラメータ化された逆ローカルトーンマッピング演算子の関数を含んでもよい。パラメータ化されたローカルトーンマッピング演算子又はパラメータ化された逆ローカルトーンマッピング演算子のいずれかは、複数の二次曲線の関数を含んでもよい。残差は、視覚可能でない残差画像になるサイズを含んでもよい。符号化器での圧縮ビットストリームの生成は、残差をダウンサンプリングし、ダウンサンプリングされた残差を圧縮することを更に含んでもよい。コーデックはドリフトのないコーデックでもよい。ビデオのDVRは、ビデオの輝度について5〜6オーダの大きさの範囲のダイナミックレンジを含んでもよい。

他の態様では、技術は、ビデオ符号化装置で、第１のダイナミックレンジを有する第１のビデオストリームを復号化し、第１の復号化されたストリームを生成することを含むビデオ処理方法を含む。この方法は、第１のダイナミックレンジより高い第２のダイナミックレンジを有する第２のビデオストリームを予測する際に、逆トーンマッピング演算子を復号化された第１のストリームに適用し、第２のビデオストリームから出力ビデオストリームを生成することを含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。第１のダイナミックレンジは、低ダイナミックレンジ（LDR）ビデオでもよく、第２のダイナミックレンジは、視覚ダイナミックレンジ（VDR）ビデオでもよい。逆トーンマッピング演算子は、グローバルトーンマッピング演算子を含んでもよい。逆グローバルトーンマッピングは、画像のビデオデータの複数の画素で共通の変換を含むLDR輝度からVDR輝度への変換を含んでもよい。この方法は、逆グローバルトーンマッピングのパラメータベクトルを計算することを含んでもよい。パラメータベクトルの計算は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算することを含んでもよい。逆トーンマッピング演算子は単調（monotonic）でもよい。逆トーンマッピング演算子は、逆ローカルトーンマッピング演算子を含んでもよく、逆ローカルトーンマッピング演算子は、LDR輝度からVDR輝度へのマッピングを含む変換を含んでもよく、この変換は、画像のビデオデータの複数の画素で可変でもよい。逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを含んでもよい。逆ローカルトーンマッピング演算子は、複数の二次曲線を有する関数を含んでもよい。逆トーンマッピング演算子は、覆い焼き（dodging）又は焼き込み（burning）動作に対応するパラメータ又は類似するパラメータを含んでもよい。VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度でもよく、LDRのダイナミックレンジは、2〜3オーダの大きさの輝度でもよい。VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい。高ダイナミックレンジ（HDR）ビデオのダイナミックレンジは、10〜14オーダの大きさの輝度でもよい。この方法は、残差を計算することを含んでもよい。残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差でもよく、視覚ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差でもよい。残差のサイズは、残差から生成された画像が視覚可能でない画像になるように、ゼロでもよい。残差のサイズは、残差から生成された画像が視覚可能でない画像又は実質的に視覚可能でない画像になるように、ほぼゼロでもよい。この方法は、VDRビデオの拡張レイヤでデータを処理し、VDRビデオの基本レイヤでデータを処理することを含んでもよい。

他の態様では、技術は、ビデオのダイナミックレンジを予測する方法を含む。この方法は、ビデオ処理装置で、逆グローバルトーンマッピング演算子を第２のダイナミックレンジを有する画像に適用することにより、ビデオの第１のダイナミックレンジを予測すること、又は逆グローバルトーンマッピング演算子を第２のダイナミックレンジを有する画像に適用することにより、ビデオの第３のダイナミックレンジを予測することを含む。この方法は、第１のダイナミックレンジ又は第３のダイナミックレンジを有する出力ビデオを生成することを含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。ビデオの第１のダイナミックレンジは、高ダイナミックレンジ（HDR）でもよく、ビデオの第２のダイナミックレンジは、低ダイナミックレンジ（LDR）でもよく、ビデオの第３のダイナミックレンジは、視覚ダイナミックレンジ（VDR）でもよい。HDRビデオのダイナミックレンジは、10〜14オーダの大きさの輝度でもよく、VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度でもよく、LDRビデオのダイナミックレンジは、2〜3オーダの大きさの輝度でもよい。逆グローバルトーンマッピングは、画像の複数の画素で共通の変換を含んでもよいLDR輝度からHDR輝度への変換でもよい。この方法は、逆グローバルトーンマッピングのパラメータベクトルを計算することを含んでもよく、パラメータベクトルの計算は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算することを含んでもよい。逆トーンマッピング演算子は、LDR輝度からHDR輝度へのマッピングを含む変換を有してもよい逆ローカルトーンマッピング演算子でもよい。この変換は、画像の複数の画素で可変でもよい。この方法は、画素のそれぞれのパラメータを判定することを含んでもよい。この方法は、画素のそれぞれのパラメータを使用してパラメータ画像を生成することを含んでもよい。逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを含んでもよい。逆ローカルトーンマッピング演算子は、複数の二次曲線を有する少なくとも１つの関数を含む逆パラメータ化されたローカルトーンマッピング演算子を含んでもよい。逆ローカルトーンマッピング演算子又は逆グローバルトーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータ又は類似するパラメータを含んでもよい。この方法は、残差を生成することを含んでもよい。残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差でもよく、視覚ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差でもよい。残差のサイズは、残差から生成された画像が視覚可能でない画像になるように、ゼロでもよい。残差のサイズは、残差から生成された画像が視覚可能でない画像又は実質的に視覚可能でない画像になるように、ほぼゼロでもよい。逆ローカルトーンマッピング演算子又は逆グローバルトーンマッピング演算子に対応するトーンマッピング演算子は単調でもよく、逆ローカルトーンマッピング演算子又は逆グローバルトーンマッピング演算子はパラメータ化されてもよい。ビデオの第３のダイナミックレンジは、ビデオの視覚ダイナミックレンジ（VDR）でもよく、VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度でもよい。

他の態様では、技術は、符号化器と復号化器とを含むコーデックにおいてビデオデータの残差処理を実行する方法を含む。符号化器では、この方法は、入力残差を低域フィルタリングし、フィルタリングされた残差をダウンサンプリングし、ダウンサンプリングされた残差を符号化し、出力残差ビットストリームを生成することを含む。復号化器では、この方法は、出力残差ビットストリームを復号化し、復号化された残差ビットストリームをアップサンプリングし、アップサンプリングされた残差ビットストリームの周波数範囲を再構成し、出力残差を生成することを含む。

前記及び他の実施例は、任意選択で１つ以上の以下の特徴を含んでもよい。ビデオデータは、VDRビデオを含んでもよく、VDRビデオは、画素毎に32ビットを有してもよく、画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを含んでもよい。VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさでもよく、VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい。この方法は、ビデオビットストリームの拡張レイヤ内で、入力残差を受信すること又は出力残差を送信することを含んでもよい。コーデックは、ドリフトのないコーデックでもよい。残差は、パラメータ化された逆トーンマッピング演算子の結果（product）でもよい。パラメータ化された逆トーンマッピング演算子は、高輝度の第１の非線形領域と、低輝度の第２の非線形領域と、第１及び第２の非線形領域の間の線形領域とを含んでもよい。

ここに記載の方法及び技術のいずれかは、１つ以上の構成要素を有するシステム、装置又はデバイス、機械、コンピュータプログラムプロダクトに実装されてもよく、ソフトウェアに実装されてもよく、ハードウェアに実装されてもよく、これらのいずれかの組み合わせに実装されてもよい。例えば、コンピュータプログラムプロダクトは、コンピュータ可読媒体に符号化されてもよく、データ処理装置（例えば、データプロセッサ）に対してここに記載の方法のいずれかの１つ以上の動作を実行させる命令を含んでもよい。

あまり視覚可能でない残差画像を用いた技術は、より良い符号化効率及び圧縮を有する技術を表してもよい。これらの技術がどのように実装可能であるかを示すために、複数の例示的な実施例が記載及び図示される。

＜高ダイナミックレンジ（HDR）、低ダイナミックレンジ（LDR）及び視覚ダイナミックレンジ（VDR）＞
画像及びビデオの取得、表示及び提示に使用される様々な方法は、異なるダイナミックレンジを有する可能性がある。例えば、写真のネガは、写真の印刷のダイナミックレンジに比べて比較的大きいダイナミックレンジを有する可能性がある。同様に、テレビ及びコンピュータモニタは、写真のネガに比べて比較的低いダイナミックレンジを有する可能性がある。高ダイナミックレンジの画像化は、向上した画像品質及び忠実度を提供することができる。

高ダイナミックレンジ（HDR）画像（例えば、シーン基準（scene-referred）画像）は、元のシーンの全てのダイナミックレンジを含もうとする。他方、低ダイナミックレンジ（LDR）画像（例えば、出力基準（output-referred）又は表示基準（display-referred）画像）は、かなり低いダイナミックレンジを有し、例えば8ビットディスプレイ（例えば、LDRディスプレイ）により例示されてもよい。

HDRとLDRとの間にあるダイナミックレンジに最も適する可能性がある複数のアプリケーション（特に分布及び表示のための圧縮）が存在する。このようなアプリケーションは、視覚ダイナミックレンジ（VDR）を使用してもよい。VDRは、人間視覚システムが同時に認識することができる輝度及び色を含んでもよい。VDRシステムは、人間視覚認識の視覚的限界で動作する画像化システムを含んでもよく、或る場合には、人間視覚システムが同時に認識することができる全ての輝度及び色を含んでもよい。VDRは、動画イメージの配布及び消費にとって理想的なダイナミックレンジのターゲットになり得る。

図１Ａは、高ダイナミックレンジ（HDR）103、低ダイナミックレンジ（LDR）101及び視覚ダイナミックレンジ（VDR）102についてダイナミックレンジを区別する例を有する図を示している。図１Ａの図は、視覚可能な輝度の全範囲を含む範囲100（例えば、HDR）と、同時に視覚可能な輝度の範囲と、8ビットのガンマ・マップ・ディスプレイ（例えば、LDR）の範囲とを比較している。同時に視覚可能なダイナミックレンジは、VDRのダイナミックレンジでもよい。VDRのダイナミックレンジは、HDRのダイナミックレンジより小さくてもよいが、LDRのダイナミックレンジより大きくてもよい。或る場合には、VDRは、HDRの範囲から適応からの範囲を引いたものを有してもよい。

定量的には、HDRのダイナミックレンジは、約10〜14オーダの大きさでもよく、VDRのダイナミックレンジは、約5〜6オーダの大きさでもよく、LDRのダイナミックレンジは、約2〜3オーダの大きさでもよい。典型的には、人間の目は、約5オーダの大きさ（10⁵）までの輝度のダイナミックレンジを認識することができる。これは、VDRの範囲に類似する。HDRは、人間の目が単一の時点に認識することができるものの外側のダイナミックレンジを有してもよい。

取得、配布及び消費フォーマットのためのダイナミックレンジの要件は、HDRとVDRとの間で異なってもよい。VDR画像化は、人間の目に視覚可能な全ダイナミックレンジ及び色スペクトルでの画像の取得及び提示を含んでもよい。HDRは、主に取得フォーマットでもよい。潜在的な取得フォーマットであることに加えて、VDRはまた、配布及び消費フォーマットにも適する可能性がある。例えば、VDRフォーマットは、放送（例えば、無線、ケーブル及び衛星）、パッケージ化された媒体（例えば、DVD、Blue-Rayディスク、記憶媒体）、及び／又はインターネットダウンロードを介した高ダイナミックレンジ画像の圧縮及び広範囲の配布を可能にし得る。VDRフォーマットはまた、高ダイナミックレンジ及び広色域の画像が現在及び将来のディスプレイ及びその画像フォーマットにスムーズに遷移することを可能にし得る。

VDRに関連する圧縮のいくつかの実施例は、互換性のある圧縮（compatible compression）を含んでもよい。互換性のある圧縮は、既存のデバイスに対して従来のMPEG-2又はMPEG-4/AVC（H.264）のように見える（例えば、従来のMPEG形式のフォーマットのように見える）が、その能力を有するデバイスで高ダイナミックレンジ及び広色域の画像を生成するための情報をも伝達する圧縮デジタルストリームを生成することを含んでもよい。圧縮は、人間視覚システムが認識することができる如何なるものをも含んでもよく、或る実施例では、ダイナミックレンジ及び可能な色に関してこれらの結果を実現するために必要な最後の遷移でもよい。

図１Ｂは、映画の例についての制作及び配布段階105の図を示している。HDR画像データの制作段階106では、元のシーン110は、HDRデジタルシネマ120又はフィルムカメラにより取得され、デジタル的にスキャンされてもよい130。ポストプロダクション処理において、リアルタイムのイベントの生の取得は、コンピュータ生成画像（CGI：computer generated imagery）と合成されてもよい140。生の取得及びポストプロダクションは、HDRドメインで生じてもよい。ポストプロダクションが終了した後に、出力は、VDR画像ストリームとして完全に表されてもよい160。これからLDRストリームの画像ストリーム165が導かれてもよい。配布段階108において、VDR画像ストリーム160又はLDR画像ストリーム165は、デジタルシネマ170、光ディスク180のようなデジタル媒体に配布されてもよく、放送されてもよい190（例えば、無線とインターネット配信との双方での放送）。

VDRの外側のいずれかのダイナミックレンジは、更なる処理（例えば、トーンマッピング）なしでは視覚可能ではない。VDRは、人間の網膜の反応のダイナミックレンジを含んでもよい。VDRは、表示のための合理的なダイナミックレンジのターゲットを提供してもよい。

VDRは、全体の視覚色域を含んでもよい。VDRは、広色域（WCG）フォーマットであると考えられてもよい。或る実施例では、WCGフォーマットは、デジタルテレビのカラー標準より大きい色域であると考えられてもよい。デジタルテレビのカラー標準は、ITU Rec. 709（International elecommunication UnionのRecommendation 709）の標準に実質的に準拠してもよい。VDRの一例では、VDRは、画素毎に32ビットで輝度及び色についてほとんど1/4の最小可知差異（JND）まで、非常に効率的に表示されてもよい。VDRは、12ビットの輝度と２つのカラーチャンネルのそれぞれについて10ビットとに対応するために、画素毎に32ビットを使用してもよい。輝度に使用されるビット数は、各カラーチャンネルに使用されるビット数より大きくてもよい。この理由は、人間の目は、色より輝度の認識に敏感である可能性があるためである。画素毎に32ビットは、コンピュータにおいて情報を処理及び送信するのに有用になり得る（例えば、32ビットマシン、64ビットマシン）。効率性に関して、VDRの画素毎のビット数は、デジタルシネマで使用されるビット数より小さくてもよい。デジタルシネマでは、画素毎に36ビットが使用されてもよい。

或る実施例では、VDRデータは、デジタル値への量子化の前にかなり知覚的に均一のドメインに変換されるCIE XYZ三刺激値（例えば、テストカラーに合致する３成分の加色モデルにおける基本の刺激の比を表し得る色空間（XYZ）における値）で表されてもよい。この変換処理は、ガンマ補正R’G’B’データで始まってもよい。R’G’B’データは、ガンマ補正を反転／取り消すことにより、まず線光ドメインRGBに変換されてもよい。結果のRGB値は、行列変換によりXYZ三刺激値に変換されてもよい。XYZ値に適用される変換は、LogLuv符号化フォーマットに使用されるもののパラメータ化された生成でもよい。XYZ値は、色では(u’,v’)座標を用い、輝度ではlog(Y)表現に変換されてもよい。対数輝度データは、高適応レベルでは知覚的に均一でもよく、ガンマ符号化された輝度は、低適応レベルではほぼ知覚的に均一でもよい。従って、ガンマ符号化は、劇場のような暗い視聴環境でより効率的になり得る。しかし、ほとんどのアプリケーションの輝度の範囲では、対数符号化は、ガンマ符号化より良い結果を提供することができる可能性がある。対数符号化は、低い光レベルではガンマ符号化より効率的でない可能性があるが、これは、ガンマ符号化された画像が使用された場合に生じるバンディング（banding）（例えば、スムーズな勾配における区別できるステップ）を導入することなく、全体の画像の明度の増加又は減少を可能にする対数符号化の機能により補われ得る。或る実施例では、全体の画像の明度の増加又は減少を可能にする対数符号化の機能は、異なる視聴環境での表示管理にとって重要になり得る。VDRでは、固定小数点の対数輝度L_Dは、式(1)及び(2)に表されるように、スケールパラメータS及びバイアスBを使用して、cd/m²の物理的輝度Yから計算されてもよい。

式(2)では、ゼロの輝度にゼロのデジタル値を関連付けた結果は、LogLuv符号化と同様になってもよい。スケールパラメータSは、式(3)に表されるように、輝度の相対解像度を判定してもよい。

或る実施例では、LogLuvで使用されるスケールファクタがS=256である場合、解像度は0.27でもよく、これは、一般的な1%のJNDの1/4に近い。スケールパラメータSと共に、対数輝度のビット数Nは、以下のダイナミックレンジDRを判定してもよい。

S=256である場合、結果のダイナミックレンジは、表１の例示的なダイナミックレンジの通り、対数輝度ではビット数Nの関数になってもよい。

スケールファクタSは、異なる要件に合致するためにこのフォーマットを調整することを可能にしてもよい。例えば、10⁶のダイナミックレンジの要件が存在してもよい。256から205にSを低減することにより、N=12のダイナミックレンジは、0.33%の解像度又はほぼ1/3のJNDで、1.03×10⁶になってもよい。

バイアスパラメータBは、cd/m²での全体の輝度の範囲を判定するために使用されてもよい。例えば、N=12、S=256及びB=6である場合、最小輝度Y_min及び最大輝度Y_maxは、それぞれ0.0157及び1022.6になる。

1.5/Sは小さい値になり得るため、最小輝度Y_minの近似値はY_min≒2^-Bになってもよい。

VDRの色部分は、XYZ三刺激値で射影変換（例えば、射影幾何学で使用される変換）により規定された(u’,v’)座標を使用してもよい。

ただし、逆変換は以下のように表されてもよい。

Mビット（ただし、M≧8）を使用した色の固定小数点の表現は、以下のように表されてもよい。

式(7)の410の係数は、約[0,0.62]になり得る(u’,v’)の範囲を[0,255]にマッピングするために使用されてもよく、8ビットの整数の範囲を完全に利用してもよい。成分毎に8ビットで、色の解像度は1JNDより小さくなる。

図２は、ガンマ補正R’B’G’値205からVDRフォーマットへの変換200の例の図を示している。図示の例では、変換200は、ガンマ補正R’B’G’値205をXYZ三刺激値225に変換し、次にVDRフォーマットの値に変換するために使用される。ガンマ補正R’B’G’値205は、まず線光に変換され、ガンマ補正を取り消す／反転することにより（210）RGB値215を生成する。行列変換（220）は、XYZ三刺激値225を生成するために、RGB値215で実行される。Y刺激値は、対数関数及び量子化（230）を使用して、固定小数点の対数輝度L_D235に変換される。XYZ三刺激値の色は、投影変換及び量子化（240）を使用して、u_D’245及びv_D’255に変換される。

一例では、画素毎にちょうど32ビットで、L_DについてN=12であり、(u_D’,v_D’)座標についてM=10である場合、VDRの全範囲は、JNDの約1/4〜1/3に変換されてもよい。HDRフォーマットは、対数輝度の２つの追加ビットで実現されてもよい。

VDR表現の効率は、XYZ又はYCrCb色空間より完全に輝度及び色を分離した結果でもよい。Cr（例えば、青−ルーマ（luma）（B-Y）及びCb（例えば、赤−ルーマ（R-Y））並びにX及びZ三刺激値は、輝度で相互に関連してもよく、HDRとしての表示とちょうど同じビットを必要としてもよい。

以下の１つ以上の実施例は、場合によっては１つのみのシステム（HDR又はVDR）が例で言及されていても、HDR及び／又はVDRシステムに適用可能になり得る。例えば、“VDR/HDR”という用語は、高ダイナミックレンジのコンテンツがVDRでもよくHDRでもよいことを示し得る。或る実施例では、HDRビデオ又はVDRビデオの符号化は、LDRビデオから得られた情報を使用してもよい。例えば、高ダイナミックレンジ画像は、低ダイナミックレンジ画像から予測されてもよい。或る場合には、残差（例えば、予測された高ダイナミックレンジ画像と低ダイナミックレンジ画像との間の差）は、かなり低減され、向上した符号化効率を生じてもよい。

＜トーンマッピング：HDR及びVDRのダイナミックレンジの低減＞
“トーンマッピング（tone mapping）”は、他の色セットへの１つの色セットのマッピングを示し、HDR又はVDR画像のダイナミックレンジを低減するために使用されてもよい。或る場合には、トーンマッピングは、輝度のダイナミックレンジを低減するが、各画素の色度を変更しないままにしてもよい。このような状況では、トーンマッピングはL_Dを変更するが、(u_D’,v_D’)を変更しないままにしてもよい。

少なくとも２つの種類のトーンマッピング演算子が存在する。すなわち、グローバルトーンマッピング演算子及びローカルトーンマッピング演算子である。グローバルトーンマッピングは、全ての画素について同じ変換を含む変換を示してもよい。グローバルトーンマッピングは、HDR又はVDR輝度からLDR輝度への変換を含んでもよい。ローカルトーンマッピングは、異なる画素について変化し得る変換を含む変換を有してもよい。ローカルトーンマッピングもまた、HDR又はVDR輝度からLDR輝度への変換を有してもよい。グローバルトーンマッピング、ローカルトーンマッピング又はこの２つの組み合わせは、HDR又はVDR輝度からVDR輝度にマッピングするために使用されてもよい。

例えば、グローバルトーンマッピングの一実施例では、特定の輝度（例えば、L1）を有する全てのHDR（又はVDR）の種類の画素は、同じLDR輝度（例えば、L2）にマッピングされてもよい。他の例として、ローカルトーンマッピングの一実施例では、これらのHDR（又はVDR）の種類の画素の輝度は、輝度L1でもよいが、マッピングされたLDR輝度は必ずしも同じであるとは限らない（例えば、マッピングされたLDR輝度は全てが輝度L2でなくてもよい）。

グローバルトーンマッピング演算子は、ローカルトーンマッピング演算子より簡単になり得る。例えば、グローバルトーンマッピングでは、全ての画素について、HDR又はVDR輝度をLDR輝度にマッピングする単一の関数が存在してもよい。

ただし、TM[]は一対一の関数である。グローバルトーンマッピング演算子は、“S”型を有してもよい。

図３は、グローバルトーンマッピング300の例の図を示している。グローバルトーンマッピング演算子曲線320は、log(Y_LDR)305に対するlog(Y_HDR)310についてプロットされている。グローバルトーンマッピング演算子曲線320は、全体的に“S”型を有する。トーンマッピング演算子曲線は、同一型315（例えば、直線、斜線、線形）と比較可能である。トーンマッピング演算子曲線320はまた、３つの領域を有する。すなわち、輝度がLDRダイナミックレンジ内に十分に入る線形又はほぼ線形の領域335、及びそれぞれ非常に高い輝度及び非常に低い輝度での非線形変換の領域325、345である。図３に示すトーンマッピングは一例であり、いくつかの実際の（例えば、現実の）トーンマッピング演算子を簡略化したものでもよい。この理由は、少なくとも、いくつかの実際のトーンマッピング演算子は中間範囲の輝度値の近くで厳密な線形変換からわずかに異なる可能性があるからである。

領域325では、高輝度値は同一の勾配315から低減され、領域345では、低輝度値は同一の勾配315から増加する。同一の勾配315からのトーンマッピング演算子320のずれは、全体のダイナミックレンジを低減するように寄与し得る。その結果、輝度の非線形領域（領域325、345）での圧縮は、明るい領域及び／又は暗い領域での詳細を除去し得る。例えば、トーンマッピングから導かれたLDR画像が8ビットに量子化される場合、輝度の端でのこの圧縮は、非常に明るい領域及び非常に暗い領域で詳細を除去し得る。

図４は、HDRからLDRのトーンマッピングにおける高輝度及び低輝度における詳細の喪失を示すための画像400の例を示している。各行は、トーンマッピングされたLDR画像410、HDR画像のスケーリングされたバージョン420、スケーリングされたLDR画像にほぼ合致するようにスケーリングされたHDR画像430、及びLDR画像410からスケーリングされたLDR画像420に使用されるスケールファクタを有する。１行目450は、高輝度での詳細の喪失を示すために使用されており、２行目460は、低輝度での詳細の喪失を示すために使用される。１行目450では、LDR画像452は、画像の比較的明るい部分を示している。画像452が1/10のファクタでスケールダウンされ、画像454を生成すると、明るい空があまり詳細を有さなくなる。しかし、456により示すように、HDRバージョン430がスケーリングされたLDRバージョン420にほぼ合致するようにスケーリングされると、雲の詳細が見える。従って、第１行450は、画像の明るい領域の詳細がトーンマッピングにより失われ得ることを示している。

逆に、第２行460は、低輝度での詳細の喪失を示している。LDR画像462は、ボート及び岸の群衆の画像の比較的暗い領域を示している。LDR画像462が14のファクタでスケールアップされると、画像464が得られ、群衆を示す少しだけ見える詳細が存在する。しかし、対応するHDRバージョンがLDRスケーリングされたバージョン464にほぼ合致するようにスケーリングされると、結果の画像466は、群衆での詳細をより明らかにする。従って、トーンマッピングは、画像の高輝度領域及び低輝度領域の双方で詳細を除去し得る。

トーンマッピングの使用は、単に輝度又はRGBのためにより多くのビットを追加することを意味するとは限らなくてもよい。例えば、より多くのビットは、画像の暗い領域における詳細を明らかにし得るが、画像の明るい部分における詳細を明らかにしない可能性がある。例えば、図３を参照すると、より多くのビットを追加することは、同一関数であるトーンマッピング関数に固定のスケーリングファクタを加えたものに相当し得る。例えば、8ビットから12ビットにすることは、同一関数に16のスケーリングファクタを加えたものでもよい。しかし、単により多くのビットを追加することは、トーンマッピングを特徴付ける高輝度325又は低輝度345での圧縮を有さない。

高ダイナミックレンジから低ダイナミックレンジへのマッピングが全ての画素について同じであるグローバルトーンマッピング演算子に加えて、このマッピングが画素毎に変化してもよい多くのローカルトーンマッピング演算子が存在し得る。ローカルトーンマッピング演算子は、図５に示すトーンマッピング曲線の一群として見なされてもよい。

図５は、トーンマッピング演算子のパラメータ化された一群の例を示している。トーンマッピング演算子曲線565、575、580、585の一群は、パラメータμに関して、log(Y_LDR)305に対するlog(Y_HDR)310についてプロットされている。μ≠0である場合（例えば、パラメータμがトーンマッピング演算子の同一の勾配を生成しない場合）、トーンマッピング演算子曲線575、580、585は、“S”型を有する。図５では、μ=0.5、μ=1.0、μ=1.5である場合、トーンマッピング演算子曲線575、580、585は“S”型を有する。この一群のトーンマッピング演算子曲線の各メンバ（すなわち、μの単一の値）は、グローバルトーンマッピング演算子に対応してもよい。

図５はまた、写真の慣行からの“覆い焼き（dodging）”520及び“焼き込み（burning）”510の類似した概念を示している。写真では、“覆い焼き”及び“焼き込み”は、写真印刷の１つ以上の領域の露光を操作するために使用され得る。覆い焼きは、暗くする領域の露光を減少させ、焼き込みは明るくする領域への露光を増加させる。

或る実施例では、グローバルでないトーンマッピング演算子は、マッピングの詳細を表すために使用される数値演算の種類に拘らず、トーンマッピングが何らかの方法で画素毎に変化し得るという意味で、ローカル演算子と考えられてもよい。一般的に、ダイナミックレンジの必要な低減が大きい場合（例えば、10¹²のダイナミックレンジから10^2.5への低減）、複雑なトーンマッピング演算子（例えば、ローカルトーンマッピング演算子）が使用されてもよい。ダイナミックレンジが小さい場合（例えば、10⁶のVDRから10^2.5へ）、トーンマッピング演算子はグローバル演算子でもよい。グローバルトーンマッピング演算子が適切でない場合、ポストプロダクション及び通常の写真の慣行の覆い焼き及び焼き込みを模倣した比較的簡単なトーンマッピング演算子で十分になり得る。この簡単なトーンマッピング演算子の一例は、Reinhardトーンマッピング演算子を含んでもよい。

従って、LDR画像は、トーンマッピングされたHDR又はVDR画像であると考えられてもよい。この場合、HDR又はVDR画像は、LDRビデオ信号に利用可能なダイナミックレンジの上及び下の双方の詳細を保持してもよい。従って、VDR/HDRデータの互換性のある圧縮を提供する（例えば、LDR符号化器及び／又は復号化器と互換性のある圧縮ビットストリームを生成する）１つの方法は、LDRデータの生成で失われた詳細の再挿入を符号化及び復号化することを含んでもよい。従って、VDR/HDRデータの圧縮を提供する１つの方法は、LDRデータの逆トーンマッピングを通じてVDR/HDRデータを使用するために使用可能な情報を符号化することを含み、符号化されたLDRデータと共にこの符号化された情報を含めてもよい。

或る実施例では、VDR/HDRは、少なくとも主として、反転したグローバルトーンマッピングから生成されてもよい。VDR/HDRが反転したグローバルトーンマッピングから生成され得るような実施例では、トーンマッピング分析が実行されてもよい。或る実施例では、反転したグローバルトーンマッピングは、復号化及び変換されたLDRに適用され、VDR/HDRの予測を提供してもよい。VDR/HDRの或る実施例では、残差（例えば、訂正信号）が判定され、処理され、復号化されてもよい。VDR/HDRの情報は、拡張レイヤの情報を含んでもよい。

或る実施例では、LDR画像は、VDR/HDRに適用されるトーンマッピング演算子の一部でもよい。これらの実施例のいくつかでは、LDRからVDR/HDRにしようとするときに、ダイナミックレンジの大きな変化は、ローカルトーンマッピングが使用されるべきであることを必要としてもよい。或る実施例では、グローバルトーンマッピングは、全体の画像（例えば、“S”曲線）を含んでもよく、ローカルトーンマッピングは、パラメータ化され得るローカル変数を含んでもよい。これらの実施例で量子化及び符号化誤差訂正も考慮されてもよい。

＜予測のための逆トーンマッピング＞
LDRはHDR及び／又はVDRをトーンマッピングすることにより取得され得るため、逆トーンマッピング演算子をLDR画像に適用することは、ターゲットのHDR及び／又はVDR画像への近似を生成し得る。一例では、画像の画素

でのLDR輝度の関数

が以下のように表され、

ただし、

及び

はLDR及びVDRの輝度画像であり、TM[]は一般のトーンマッピング演算子である場合、

になる。ただし、TM^-1[]は一般の逆トーンマッピング演算子である。

LDR画像の粗い量子化と、逆トーンマッピングが正確に分からない可能性とのため、訂正が含まれてもよい。これは“残差（residual）”

と呼ばれる。残差

は、式(11)で表されるように、結果のHDR及び／又はVDR画像の精度を増加させるために、TM^-1[]に追加されてもよい。

或る実施例は、この逆トーンマッピング動作の精度を改善する方法を含む。逆トーンマッピングの精度を改善することにより、残差

のサイズが低減され得る。

或る実施例では、元のトーンマッピング演算子がグローバルで既知である場合、その逆が使用され、LDR輝度画像に直接適用されてもよい。グローバルトーンマッピング演算子が未知である場合、この演算子の推定は、逆トーンマッピングを記述する変数又は未知のパラメータの数とこれらの変数又は未知のパラメータが判定され得る精度とのバランスをとることにより、統計推定技術で解決されてもよい。

＜コーデックの例＞
図６は、互換性のあるコーデック600の例を示している。コーデック600は、VDR/HDR符号化器620と、LDR復号化器630と、VDR/HDR復号化器640とを含む。VDR/HDR符号化器620は、VDR/HDR画像ストリーム605及び対応するLDR画像ストリーム610を受信し、VDR/HDR画像ストリーム605及び対応するLDR画像ストリーム610から互換性のあるビットストリーム615を形成してもよい。ビットストリーム615は、２つの成分を有してもよい。１つの成分は、LDR復号化器630により解釈及び復号化され、入力LDR画像ストリーム610に対応する出力LDR画像ストリーム645を生成してもよい。２番目の成分は、VDR（又はHDR）画像ストリームが互換性のあるビットストリーム615から生成されることを可能にする情報を含んでもよい。２番目の成分は、VDR/HDR情報が標準的なLDR復号化器630により無視され得るようにパッケージ化される。このような符号化アーキテクチャは、“階層化コーデック”と呼ばれてもよい。この場合、１番目の成分からの符号化されたLDRは基本レイヤを形成してもよく、２番目の成分の符号化されたVDR/HDR追加情報は、拡張レイヤでもよい。１番目及び２番目の成分からの情報は、VDR/HDR復号化器640で復号化され、入力VDR/HDR605に対応する出力VDR（又はHDR）画像ストリーム650を生成してもよい。互換性のあるコーデックは、既存の標準的なLDR復号化器と互換性のある圧縮ビットストリームを生成し得るコーデックを示してもよい。いくつかの種類の互換性のあるコーデックは、静止画用のJPEG HDR形式の互換性のあるコーデックと、ビデオ又はデジタルシネマ等の画像系列用のMPEG HDR形式の互換性のあるコーデックとを含んでもよい。JPEG HDR形式及びMPEG HDR形式のコーデックでは、LDR及び残差は相互に関連する。この効果は、LDRと２つの残差とを視覚的に比較することにより分かる。残差の元の画像は様々な程度で見られ得る。LDR及び残差が相互に関連する場合、同じ情報が２回符号化されてもよい。すなわち、１つの符号化はLDRであり、他の符号化は（様々な程度の）HDR（又はVDR）拡張レイヤである。同じ情報を２回符号化することは、JPEG HDR及びMPEG HDRの双方の符号化に影響を与えてもよい。

＜VDR、HDR及びWCGビデオの向上した符号化効率＞
ここに記載及び図示するように、実施例は、低ダイナミックレンジビデオ（LDR圧縮ビットストリーム等）の符号化と共に、高ダイナミックレンジビデオ（VDR又はHDRビデオ等）を互換性のあるように符号化するための符号化効率を向上できる。HDR又はVDR画像の予測は、対応するLDR画像からHDR又はVDR画像を予測するために使用される逆トーンマッピングを変更することにより向上してもよい。

或る実施例は、HDR又はVDR画像の輝度の対数表現を使用するHDR又はVDRの表現を使用してもよい。対数輝度技術は、符号化効率を低減することなく、複雑性を低くすることができる。

或る実施例は、LDRの量子化アーティファクトを低減するために、逆トーンマッピングの前にLDRに輪郭除去動作を適用する技術を提供してもよい。

或る実施例は、LDRからHDR又はVDRを予測するためにグローバル逆トーンマッピング動作の一般的なパラメータ化された式を使用してもよい。これらの実施例は、トーンマッピングの推定における統計誤差を最小化しつつ、トーンマッピングのターゲットの特性（単調性等）の向上を可能にし得る。例えば、複数のパラメータ（例えば、255未満のパラメータ）でトーンマッピングのパラメータ化された形式を与えることにより、これらのパラメータの統計的信頼性がロバストになり、小さい残差（又は残差なし）が得られてもよい。

或る実施例は、パラメータ画像の圧縮を含んでもよいパラメータ化されたローカル逆トーンマッピングを使用してもよい。

或る実施例は、LDR及び残差についてドリフトのないコーデックを使用してもよい。

或る実施例は、残差の圧縮の前に残差をダウンサンプリングしてもよい。

或る実施例は、LDR及びHDRの色及び輝度の調節、トーンマッピング分析及び残差計算、並びに残差の圧縮のための動作を含んでもよい互換性のある符号化器を有してもよい。

＜コーデックの枠組み＞
図７は、例えばコーデック600を実装するために使用され得るコーデック700の例を用いたブロック図を示している。コーデック700は、符号化器744のための上部と、復号化器748のための下部とを有する。或る場合には、符号化器744及び復号化器748は多くの共通の機能を共有し、復号化器は複数の機能において符号化器を反映してもよい（対応する処理を行ってもよい）。以下では、符号化処理について説明し、次に復号化処理について説明する。

＜コーデック700の概要＞
符号化器744では、入力LDR画像ストリーム704は、符号化及び復号化ブロック708で符号化及び復号化され、復号化されたLDR画像ストリームである結果のLDR_D710は、変換ブロック712においてVDR/HDR空間に変換される。この変換において、LDR_Dの輝度L_D及び(u_D’,v_D’)座標表現が生成され、LDR_T714とラベル付けされる。“輪郭除去（de-contour）”ブロック718は、LDR_T720から量子化アーティファクトのいくつかを軽減し、トーンマッピング（TM）分析ブロック722及び逆トーンマッピング（ITM）ブロック728に送信するためのLDR*720（例えば、クリーニングされたLDR画像ストリーム）を生成するために使用される。トーンマッピング分析ブロック722は、LDR*及び入力VDR/HDR画像ストリーム702で分析を実行し、LDR*を逆トーンマッピングするためのトーンマッピングパラメータを判定する。TMパラメータ724は、ITMブロック728に送信され、ITMブロック728は、LDR*でTMパラメータ724を使用し、出力として予測画像部分726（例えば、マクロブロック又はフレーム）を生成する。入力VDR/HDR画像ストリーム702及びITMブロック728の出力は、減算器ブロック730に入り、残差732を生成する。残差ビットストリーム742は、残差732を処理及び符号化する残差処理及び符号化ブロック734から生成される。トーンマッピングビットストリーム740は、TM符号化ブロック736でトーンマッピングTMパラメータ724を符号化することにより生成される。フォーマット器ブロック745は、符号化及び復号化ブロック708から符号化されたLDRビットストリーム738を受信し、TM符号化ブロック736からTMビットストリーム740を受信し、残差処理及び符号化ブロック734から残差ビットストリーム742を受信する。フォーマット器ブロック745は、これらの様々なビットストリームを圧縮ビットストリーム750にフォーマットする。

復号化器では、解析ブロック752は、フォーマット器ブロック745から互換性のあるビットストリーム750を受信する。解析ブロック752は、復号化器において、LDRビットストリーム754をLDR復号化ブロック782に送信し、TMビットストリーム780をTM復号化ブロック756に送信し、残差ビットストリーム758を残差復号化及び処理ブロック798に送信する。LDR復号化ブロック782は、復号化されたLDR画像ストリームであるLDR_D784を生成する。LDR_D784は、変換ブロック788においてVDR/HDR色空間に変換される。この変換では、LDR_Dの輝度L_D及び(u_D’,v_D’)座標表現が生成され、LDR_T790としてラベル付けされる。“輪郭除去”ブロック791は、LDR_T790における量子化アーティファクトのいくつかを軽減し、逆トーンマッピング（ITM）ブロック793に送信するためのLDR*792を生成する。TM復号化ブロック756は、TMパラメータ724を逆トーンマッピング（ITM）ブロック793に出力する。ITMブロック793と残差復号化及び処理ブロック798との出力は、加算器ブロック794に送信され、VDR/HDR出力795が加算器ブロック794から生成される。コーデック700のいくつかの特徴について以下に説明する。

＜コーデック700の動作例＞
符号化器744のブロックのいくつかの特徴について、以下に説明する。復号化器748のブロックのいくつかの特徴は、符号化ビットストリームを適切に復号化するために、符号化器744の同様のブロックを反映してもよい。

符号化処理は、符号化されたLDRビットストリームを生成するために入力LDRビットストリーム704を符号化し、次にLDR_D710を生成するためにそのストリームを直ちに復号化することで始まってもよい。或る実施例では、“完全一致（exact match）”が符号化で実現されてもよい。“完全一致”は、全体の符号化器744内のLDR符号化器サブユニット（例えば、符号化及び復号化ブロック708）及び全体の復号化器748内のLDR復号化器サブユニット（例えば、LDR復号化ブロック782）が全く同じであることを意味してもよい。完全一致がなければ、符号化器の復号化された画像ストリームLDR_D710と、復号化器のLDR_D784の同様のストリームは同じでない可能性がある。完全一致の欠如は、最終的な画像結果に視覚可能な誤差を生じ得る。完全一致を有するコーデックは、“ドリフトのないコーデック（drift-free codec）”と呼ばれてもよい。しかし、他の実施例は、MPEG-2及びMPEG-4 part 2のような完全一致の要件のないコーデックを使用してもよい。例えば、MPEG-4 part 10（例えば、H.264/AVC）は、完全一致を実現してもよく、符号化及び復号化ブロック708及び／又はLDR復号化ブロック782に使用されてもよく、ビット精度まで復号化器を指定してもよい。或る実施例では、基本レイヤ（例えば、LDR情報を有する）と拡張レイヤ（例えば、VDR/HDRを表すための追加情報を有する）とを生成するシステムのために、H.264/AVCコーデックが使用されてもよい。

変換ブロック712の実施例において、LDR_D710画像ストリームは、VDR/HDRの色空間に変換されてもよい。或る実施例では、VDR/HDR画像は、図２を参照して説明するように、L_D及び(u_D’,v_D’)色空間を使用して表されてもよい。LDR画像がガンマ符号化R’G’B’である場合、図２の変換例は、図７の変換ブロック712の一部として使用されてもよい。変換ブロック712の実施例では、ガンマ補正は、線形RGB値を生成するために取り消されてもよい。これらのRGB値は、CIE XYZ三刺激値を生成するために、既知の行列により変換されてもよい。CIE XYZ三刺激値は、L_D及び(v_D’,v_D’)色空間に変換されてもよい。LDR_DのL_D及び(v_D’,v_D’)の表現は、LDR_T714として表されてもよい。

或る実施例では、輪郭除去ブロック718は、LDR_T714に存在し得る何らかの量子化アーティファクトを軽減するように設計されてもよい。これらの量子化アーティファクトは、VDRについてのL_Dの12ビット量子化又はHDRについての14ビット量子化に比較したときの、LDR_T714の8ビット量子化によるものでもよい。この軽減関数は、例えばバイラテラルフィルタリング（bilateral filtering）を使用して実行されてもよい。或る実施例では、量子化誤差が残差により訂正されてもよいため、輪郭除去ブロック718は任意選択である。輪郭除去ブロックを使用する何らかのコーデックでは、符号化効率は向上してもよい。輪郭除去ブロック720の出力、又は輪郭除去ブロックが存在しない場合には出力LDR_T714は、トーンマッピング分析ブロックに送信されてもよい。トーンマッピング分析ブロックは、LDRとVDR/HDRデータ702との間の逆トーンマッピングをモデル化するために、その入力とVDR/HDRデータ702とを使用する。

＜トーンマッピング＞
この分析には少なくとも２つの種類のモデルが存在してもよい。１つの種類はグローバルトーンマッピングであり、他の種類はローカルトーンマッピングである。或る実施例では、符号化器は、まずグローバルトーンマッピング分析を実行し、次に必要に応じてローカルトーンマッピング分析を実行してもよい。或る実施例では、いずれかの種類のトーンマッピングが使用されてもよく、TMビットストリーム740は、２つの種類のうちどちらが使用されているかを識別する信号を含んでもよい。

グローバルトーンマッピング分析では、まず、LDRとVDR/HDRとの間のマッピングの関数形式が選択されてもよい。この関数形式は如何なる数のパラメータを含んでもよい。

図８は、グローバルトーンマッピング800のアーキテクチャの例を示している。図８は、グローバル逆トーンマッピング分析の一般的な形式を含む。パラメータ推定ブロック820は、LDR*入力810とVDR/HDR入力805と関数形式815とを受信し、入力の特定の逆トーンマッピング関数のパラメータを表すパラメータベクトル

825を生成する。一例では、式(12)で表されるように、関数形式として多項式が使用される。

パラメータベクトル

は、所与の一式の入力についてのこの多項式形式の特定の係数を含む。L_D ^VDR/HDRはVDR/HDRのL_Dを表し、L_D ^LDRはLDRのL_Dを表す。或る実施例では、画像の全ての画素についてのLDR及びVDR/HDRのためにL_D値を使用することにより、所与の一式の入力の多項式形式の係数を判定するために、最小二乗法又は他の誤差メトリック推定が使用されてもよい（例えば、最も適した多項式のパラメータ推定820のための計算が存在してもよい）。

トーンマッピング及びその逆のためのパラメータ化された形式は、少なくとも雑音の低減及び単調性に関して、再構成関数（再現関数）での向上を提供してもよい。ほとんどのアプリケーションでは、トーンマッピング関数は、単調である場合に有用である。この理由は、L_D ^VDR/HDRが増加（又は減少）すると、L_D ^LDRも増加（又は減少）するからである。トーンマッピング関数はまた、ほとんどのアプリケーションで利用されるために、スムーズ（smooth）であるべきである。或いは、トーンマッピングは、残差に不要な歪みを取り入れてもよい。

図９は、ローカルトーンマッピングのアーキテクチャの例を示している。図９は、画素毎に少なくとも１つのパラメータを判定するブロック920を含む。ブロック920は、LDR*入力910とVDR/HDR入力905と関数形式915とを受信し、パラメータ画像

925を生成する。ただし、

は画像における画素の位置を表してもよい。或る実施例では、ローカルトーンマッピングの場合の分析は、グローバルトーンマッピングと同様でもよい。例えば、或る所定の関数形式915が存在してもよく、この関数形式の１つ以上のパラメータのための計算が存在してもよい。ローカルトーンマッピングとグローバルトーンマッピングとの１つの違いは、ローカルトーンマッピングでは、関数形式が、例えば単一のパラメータのみでパラメータ化された一群のトーンマッピング曲線を表し得る点である。例えば、図５に示すもののようなパラメータ化された一群は、式(13)で表されるように、一群の二次曲線により表されてもよい。これは、ローカルトーンマッピングの関数形式として使用されてもよい。

画素毎に、ブロック920は、μの近似値を判定し、画素の位置

のμの値を表す
パラメータ画像

を生成してもよい。

図１０は、二次パラメータ化された逆トーンマッピング1000の例を示している。二次パラメータ化された逆トーンマッピング1000は、関数形式に使用されてもよい。一群の二次曲線1015-1040は、L_D ^VDR/HDR1005に対するL_D ^LDR1010についてプロットされている。μ=0である場合、マッピングは単に同一であり、μが増加すると、マッピングはますますS型になる。従って、μは、特定の画素での覆い焼き又は焼き込みの程度を表してもよい。

或る実施例では、式(14)で表されるように、全体の逆トーンマッピングのより良い表現を実現するために、何らかの一般関数F[]及びG[]が使用されてもよい。

関数F[]及びG[]は、グローバルトーンマッピング全体の画像で実行されるものと同様の方法で、複数の小さい空間領域でトーンマッピングを分析することにより、LDR及びVDR/HDR画像から推定されてもよい。

前述のように、ブロック920は、画素の位置

の関数としてμについて解き、パラメータ画像

925を生成してもよい。パラメータ画像は、選択された関数画像に応じてスムーズ且つ高圧縮性でもよい。

或る実施例では、パラメータ画像は、一式の矩形ブロックで区分的に一定でもよい。ローカルトーンマッピングの効果は、しばしば画像の比較的小さい部分に限られるため、これは非常に効率の良いモデルになり得る。動きの場を圧縮するために、パラメータ画像を圧縮する様々なモデルが使用されてもよい。

或る実施例では、トーンマッピングパラメータが判定された後に、逆トーンマッピング（例えば、図７のITMブロック728）が実行される。逆トーンマッピングの或る実施例は、グローバル又はパラメータ化されたローカル逆トーンマッピングをLDR*に適用し、VDR/HDR画像の予測を生成してもよい。予測は、入力VDR/HDRから減算され（例えば、図７の減算器ブロック730）、残差732及び正確な予測を生成してもよい。

或る実施例では、再構成関数（再現関数）からの不正確性が回避されてもよい。また、或る実施例では、残差は非常に小さくてもよい（例えば、トーンマッピング効果が最も大きくなり得る非常に高輝度又は非常に低輝度の領域を除いて、通常ではゼロ）。これは、残差の低減した又は最小の処理及び／又は符号化を提供してもよい。残差がゼロになり得るため又はゼロに近くなり得るため、拡張レイヤに多くの情報が存在しなくてもよく、従って、これらの実施例ではオーバーヘッド量が低くなり得る。

カラーチャンネルでは、LDR及びVDRの(u_D’,v_D’)は、残差を生成するために減算されてもよい。VDR/HDRの色がLDRの色域の外側にある場合、この残差はゼロでなくてもよい。自然界にあるほとんどの色はLDR色域内又はLDR色域の近くにあるため、(u_D’,v_D’)残差は、大部分の画素ではゼロでもよい。或る場合には、対数輝度チャンネルは、逆トーンマッピングがHDR又はVDRの対数輝度の良好な推定を生成することを必要としてもよく、(u_D’,v_D’)カラーチャンネルはこの要件を有さなくてもよい。

図１１は、残差処理の例を示している。残差処理は、例えば残差処理ブロック734及び798を実装するために使用されてもよい。残差処理は、入力残差1103が或る処理1105、1110、1115を通過して残差ビットストリーム1120を出力する符号化器1130と、或る処理1140、1145、1150を通過して復号化された残差1104を生成する入力残差ビットストリーム1120を有する復号化器1135とを有するコーデックについて示されている。符号化器1130では、残差ビットストリーム1120を生成するため、入力残差1103が低域フィルタリングされ1105、ダウンサンプリングされ1110（例えば、水平及び垂直方向の双方に2だけダウンサンプリングされ）、符号化される1115。復号化器1135では、復号化された残差1104を生成する際に、残差ビットストリーム1120が復号化され1140、アップサンプリングされ1145、低域フィルタリング1105により除去された高周波数が再構成される1150。或る実施例では、残差ビットストリームは、符号化器及び復号化器の双方で同じ残差ビットストリーム1120でもよいが、復号化された残差1104は、符号化される元の入力残差1103と同じでなくてもよい。この理由は、この符号化が不可逆でもよいからである。これに対応して、図７の符号化器744の残差ビットストリーム742は、復号化器748の同じ残差ビットストリーム758でもよく、復号化器748の残差は、符号化器744の残差732と同じでなくてもよい。

必要に応じて、JPEG HDRで使用されるもののように残差における高周波数情報を再構成する方法が、図１１に示すように復号化器で使用されてもよい。或る実施例では、ダウンサンプリングされた残差は、LDR708で使用された同じ符号化器で符号化されてもよい1115。符号化器は、H.264/AVC（Advanced Video Codec）形式の符号化器（例えば、MPEG-4 Part 10, MPEG-4 AVC)又は同等のものでもよい。これらの実施例の或る符号化器は、“AVC VDR”の符号化器と呼ばれてもよい。

再び図７を参照すると、処理の出力は、３つのビットストリームを含んでもよい。１つのビットストリームはLDR符号化738のためであり、１つのビットストリームはトーンマッピング情報740のためであり、１つのビットストリームは圧縮された残差742のためである。図７に示すように、これらのビットストリームは、圧縮されたビットストリーム750を生成するために使用されるLDR符号化方法に特有の方法でフォーマットされてもよい。H.264/AVC及び同様に基本的には他のコーデックも、このような追加情報を送信する機構を提供してもよい。追加情報は、“メタデータ”と呼ばれてもよい。

図７及び１１に示すように、同じビットストリーム750が復号化器に提示される場合、復号化器は、トーンマッピング分析を必要とせずに、符号化処理を反映してもよい。この理由は、トーンマッピング分析が既に符号化器で実行されているからである。

＜画像例＞
提案された技術（例えば、図４〜１１及び関連する説明）を使用して得られた残差画像を有する例を用いて、開示された技術のいくつかの視覚結果が示され得る。この例では、トーンマッピングされた画像が図１２Ａに示されており、提案された技術を使用して得られた残差画像が示されている（図１２Ｂ）。あまり見えない残差画像を有する技術は、より良い符号化効率及び圧縮を有する技術を表し得る。

図１２Ａは、トーンマッピングされたHDR画像1205の例を示している。画像1205は、日没1207のHDR画像系列からのフレームを示している。画像のダイナミックレンジは、日没1207及び水面からの鏡面反射を除いて、LDR輝度の範囲内でもよい。この画像1205は10^6.5のダイナミックレンジを有しており、日没1207及び鏡面反射1208は、この画像1205についてトーンマッピングされる。

図１２Ｂは、残差画像1220の例を示している。残差画像1220は、コーデック700のようなコーデックに従って生成されてもよい。例えば、残差画像1220は、開示された技術（例えば、図４〜１１及び関連する説明）を用いて生成されてもよい。この例は、逆トーンマッピング関数の４次多項式形式を有するグローバルトーンマッピングを使用している。この残差画像1220では、日没は或る程度見ることができ、鏡面反射も或る程度見ることができるが、非常に暗く、画像の残りは見えない又はかなり不鮮明である（基本的にはLDRを符号化するために使用される量子化閾値より下）。開示された技術を使用して、図１２Ｂの残差画像1220で符号化する情報量の低減が存在し得る。従って、ビットストリームにおける図１２Ｂの残差画像1220のデータに必要なオーバーヘッドは低くなり得る。

＜システム例＞
図１３は、ここに記載の技術のいずれか（又はいずれかの組み合わせ）を使用し得るシステムの例を示している。これらの技術は、１つ以上のコンピュータ1305A、1305Bで使用されてもよい。ここでの１つ以上の方法（例えば、アルゴリズム及び／又は処理）は、コンピュータ及び／又はビデオディスプレイ1320、送信、処理装置並びに再生システムで実装されてもよく、これらに結びつけられてもよく、これらで使用されてもよく、及び／又はこれらで変換されたデータを有してもよい。ここに記載のコンピュータは、汎用目的であれ何らかの特殊用途コンピュータ（ワークステーション等）であれ、如何なる種類のコンピュータでもよい。コンピュータ1305Bは、例えば、Windows XP（登録商標）、Vista（登録商標）又はLinux（登録商標）が実行するIntel又はAMDに基づくコンピュータでもよく、Macintosh（登録商標）コンピュータでもよい。実施例は、例えばPDA1315、携帯電話1310又はラップトップ1305Aのようなハンドヘルド型コンピュータに関係してもよい。コンピュータはまた、画像記録又は受信1325、1330、1335、処理、記憶1340、及びデータ（特にビデオデータ）の配布のための機械又は機械の一部を示してもよい。

ここに記載の実施例のいずれかの組み合わせは、ビデオシステム及びその構成要素の一部でもよい。実施例のいずれかの組み合わせは、図７の例示的なビデオ符号化器及び／又はビデオ復号化器のように、ビデオ符号化器の一部でもよい。実施例のいずれかの組み合わせは、ハードウェア及び／又はソフトウェアで実装されてもよい。例えば、いずれかの実施例は、コンピュータプログラムで実装されてもよい。或る場合には、実施例は、ビデオデータのように特定の種類のデータを対象としてもよい。

コンピュータ及び／又はグラフィックプログラムは、C、Python、Java、Brew又は他のプログラミング言語で記述されてもよい。プログラムは、記憶媒体（例えば、磁気若しくは光媒体）、例えばコンピュータハードドライブ、取り外し可能ディスク若しくは媒体（メモリスティック又はSD媒体等）、有線若しくは無線ネットワークに基づくNAS（Network Attached Storage）或いはBluetoothに基づくNAS、又は他の固定若しくは取り外し可能媒体に存在してもよい。プログラムはまた、例えば、ローカル機械へ通信を送信するサーバ又は他の機械と共に、ネットワーク1350上で実行してもよい。このことにより、ローカル機械は、ここに記載の動作を実行してもよい。ネットワークは、SAN（storage area network）を含んでもよい。

数個の実施例が詳細に前述されているが、他の実施例も可能である。実施例は、ここに記載の例示的な技術の１つ以上の等価物及び代替物を含んでもよいことがわかる。この明細書は、他の方法でより一般的な目的を実現する特定の例を記載している。この説明は、例示的な実施例を表すことがわかり、特許請求の範囲は、いずれかの均等、変更又は代替をカバーすることを意図する。

この明細書に記載の対象物及び機能的動作の実施例は、デジタル電子回路に実装されてもよく、この明細書に開示の構成及びその構造的均等物を含み、コンピュータソフトウェア、ファームウェア又はハードウェアに実装されてもよく、又はこれらの１つ以上の組み合わせに実装されてもよい。この明細書に記載の対象物の実施例は、１つ以上のコンピュータプログラムプロダクト（例えば、データ処理装置により実行される又はデータ処理装置の動作を制御するためのコンピュータ可読媒体に符号化されたコンピュータプログラム命令の１つ以上のモジュール）として実装されてもよい。コンピュータ可読媒体は、機械可読記憶デバイス1340、機械可読記憶回路基板、メモリデバイス、機械可読の伝搬及び処理される通信に影響を与える物の構成、又はこれらの１つ以上の組み合わせでもよい。“データ処理装置”という用語は、一例としてプログラム可能プロセッサ、コンピュータ又は複数のプロセッサ若しくはコンピュータを含み、全ての装置、デバイス、データ処理機械を含む。装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード（例えば、プロセッサファームウェア、プロトコルスタック、グラフィカルシステム、データベース管理システム、オペレーティングシステム又はこれらの１つ以上の組み合わせを構成するコード）を含んでもよい。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとしても知られる）は、コンパイル言語又はインタープリタ言語を含み、如何なる種類のプログラミング言語で記述されてもよく、スタンドアローン型プログラムとして、又はモジュール、コンポーネント、サブルーチン若しくはコンピュータ環境での使用に適した他のユニットを含み、如何なる形式で配置されてもよい。コンピュータプログラムは、必ずしもファイルシステムのファイルに対応するとは限らない。プログラムは、他のプログラム又はデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに格納された１つ以上のスクリプト）に格納されてもよく、当該プログラムに専用の単一のファイルに格納されてもよく、複数の強調したファイル（例えば、１つ以上のモジュール、サブプログラム又はコードの一部を格納するファイル）に格納されてもよい。コンピュータプログラムは、１つのコンピュータで実行されるように配置されてもよく、１つのサイトに位置する複数のコンピュータ又は複数のサイトに分散されて通信ネットワークにより相互接続された複数のコンピュータで実行されるように配置されてもよい。

この明細書に記載の処理及び論理フロー並びに図面は、入力データで動作して出力を生成することにより機能を実行するように、１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能プロセッサにより実行されてもよい。処理及び論理フローはまた、特殊用途論理回路（例えば、FPGA（field programmable gate array）、又は例えばマイクロコントローラ等のような他のプログラム可能論理デバイス（PLD：programmable logic device）、或いはASIC（application specific integrated circuit））により実行されてもよく、装置もまた、特殊用途論理回路として実装されてもよい。

コンピュータプログラムの実行に適したプロセッサは、一例として、汎用及び特殊用途マイクロプロセッサと、いずれかの種類のデジタルコンピュータのいずれかの１つ以上のプロセッサとを含む。一般的に、プロセッサは、読み取り専用メモリ若しくはランダムアクセスメモリ又はこれらの双方から命令及びデータを受信してもよい。コンピュータの基本的な要素は、命令を実行するプロセッサと、命令及びデータを格納する１つ以上のメモリデバイスである。一般的に、コンピュータはまた、データを格納する１つ以上の大容量記憶デバイス（例えば、磁気ディスク、光磁気ディスク又は光ディスク）を含んでもよく、データを受信又はデータを送信するために１つ以上の大容量記憶デバイスに動作可能に結合されてもよく、これらの双方でもよい。しかし、コンピュータはこのようなデバイスを必要としなくてもよい。更に、コンピュータは、他のデバイス（例えば、数例を挙げると、携帯電話、パーソナルデジタルアシスタント（PDA）、移動オーディオプレイヤ、グローバルポジショニングシステム（GPS）受信機）に埋め込まれてもよい。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ可読媒体は、一例として半導体メモリデバイス（例えば、EPROM、EEPROM及びフラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスク又は取り外し可能ディスク）、光磁気ディスク、及びCD、DVD、Blue-ray（BD）用のディスクを含み、全ての種類の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、特殊用途論理回路により補われてもよく、特殊用途論理回路に組み込まれてもよい。

ユーザとの相互作用を提供するため、この明細書に記載の対象物のいくつかの実施例は、ユーザに情報を表示するための表示デバイス（例えば、CRT（cathode ray tube）、LCD（liquid crystal display）又はプラズマ表示モニタ）1320と、ユーザがコンピュータに入力を提供することができるキーボード及びセレクタ（例えば、ポインティングデバイス、マウス又はトラックボール）とを有するコンピュータに実装されてもよい。他の種類のデバイスも、ユーザとの相互作用を提供するために同様に使用されてもよい。例えば、ユーザに提供されるフィードバックは、如何なる種類の知覚フィードバック（例えば、視覚フィードバック、可聴フィードバック又は触覚フィードバック）でもよく、ユーザからの入力は、音響、音声又は触覚入力を含み、如何なる種類で受信されてもよい。

この明細書に記載の対象物のいくつかの実施例は、（例えば、データサーバとして）バックエンドコンポーネントを含むコンピュータシステムに実装されてもよく、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むコンピュータシステムに実装されてもよく、フロントエンドコンポーネント（例えば、ユーザがこの明細書に記載の対象物の実施例と相互作用できるグラフィカルユーザインタフェース又はウェブブラウザを有するクライアントコンピュータ）を含むコンピュータシステムに実装されてもよく、１つ以上のこのようなバックエンド、ミドルウェア又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピュータシステムに実装されてもよい。システムの構成要素は、如何なる形式或いはデジタル通信媒体（例えば、通信ネットワーク）により相互接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（LAN）と、広域ネットワーク（WAN）（例えば、インターネット）とを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアント及びサーバは、一般的に相互に離れており、典型的には通信ネットワークを通じて相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行して相互にクライアントサーバ関係を有するコンピュータプログラムにより発生する。

この開示は、多くの特定のものを含むが、これらは、特許請求の範囲の限定として考えられるべきではなく、特定の実施例に特有の特徴の説明として考えられるべきである。別々の実施例に関してこの明細書に記載される特定の特徴は、単一の実施例に組み合わせて実装されてもよい。逆に、単一の実施例に関して説明される様々な特徴もまた、複数の実施例に別々に又は如何なる適切なサブコンビネーションで実装されてもよい。更に、特徴は、特定の組み合わせで動作するものとして記載されており、場合によってはこのように最初に特許請求の範囲に記載されることがあるが、特許請求の範囲の組み合わせからの１つ以上の特徴は、或る場合には組み合わせから削除されてもよく、特許請求の範囲の組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象としてもよい。

同様に、動作は、特定の順序で図面に示されているが、これは、所望の結果を実現するために、このような動作が図示の特定の順序又は順番に実行されること又は全ての図示の動作が実行されることを必要とするものであると理解されるべきではない。或る場合には、マルチタスク及び並列処理が有利になり得る。更に、前述の実施例の様々なシステムコンポーネントの分離は、全ての実施例でこのような分離を必要とするものであると解釈されるべきではない。記載のプログラムコンポーネント及びシステムは、一般的に単一のソフトウェア又はハードウェアプロダクトに一緒に統合されてもよく、複数のソフトウェア又はハードウェアプロダクトにパッケージ化されてもよいことがわかる。

“アルゴリズム”という用語は、ここに記載の結果を実現するためのステップ、方法、処理、方式、手順、動作、プログラム、ガイドライン、技術、系列及び／又は一式のルール、又は命令を示してもよい。例えば、アルゴリズムは、ハードウェア及び／又はソフトウェアビデオプロセッサの一式のビデオ処理命令でもよい。開示のアルゴリズム（例えば、例示的な図面及び機能ブロック等）は、ビデオに関係してもよく、及び／又はビデオに結びつけられてもよく、いずれかの組み合わせでビデオデータの変換、処理、圧縮、記憶、送信、受信、テスト、較正、表示及び／又はいずれかの改善を行うためのビデオに関するシステム及び／又はいずれかのデバイス、機械、ハードウェア及び／又は製造物で生成、実装、関連付け及び／又は使用されてもよい。

ここに記載の技術及びシステムは、オーディオ、グラフィック、テキスト及び関連するデータのような他のマルチメディアアプリケーションと結合及び／又は連結されてもよい。この開示に提示される様々な種類の表現の１つ以上の実施例は、様々な表示、処理及び／又は歪み特性を考慮してもよい。或る態様では、符号化方法の選択は、複雑性及び／又はモードのチャンネル及び／又は歪みメトリックに基づいて部分的又は全体的に判定されてもよい。ここに記載の方法及びシステムは、複雑性に基づいて適応的に符号化を調整してもよい。ここでの様々な実施例は、H.264、AVC及び他のビデオ及び画像符号化方法に当てはまる。

＜例示的な実施例の列挙＞
本発明の実施例は、以下に列挙する例示的な実施例の１つ以上に関係してもよい。

１．ビデオを符号化する方法であって、
ビデオ符号化器で符号化されたビデオストリームを生成することを有し、
前記符号化されたビデオストリームは、輝度について5〜6オーダの大きさのダイナミックレンジを有する方法。

２．前記符号化されたビデオストリームを生成することは、ビデオの視覚ダイナミックレンジ（VDR）フォーマットで前記符号化されたビデオストリームを生成することを有し、
前記VDRフォーマットは、人間視覚システムが同時に認識することができる輝度及び視覚色域（VCG）の範囲を含む、上記の実施例に記載の方法。

３．前記VCGは、前記人間視覚システムが同時に認識することができる全ての色を有し、
前記輝度の範囲は、前記輝度について人間の目で認識するダイナミックレンジを有し、
VCGは、広色域（WCG）を有する、上記の実施例に記載の方法。

４．ビデオの前記VDRフォーマットは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有する、上記の実施例に記載の方法。

５．画素毎に32ビットを使用してビデオ符号化器でビデオストリームを符号化することを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有する方法。

６．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有する、上記の実施例に記載の方法。

７．VDRのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載の方法。

８．VDRのダイナミックレンジは、輝度について人間の目で認識するダイナミックレンジを有する、上記の実施例に記載の方法。

９．VDRは、取得、配布、消費を有するビデオフォーマット用又は広色域（WCG）用に構成される、上記の実施例に記載の方法。

１０．VDRは、１未満の最小可知差異（JND）、CIE XYZ三刺激値、ガンマ符号化又は対数符号化のいずれかにより表される、上記の実施例に記載の方法。

１１．スケールパラメータS及びバイアスパラメータBを使用して、cd/m²の物理的輝度Yから固定小数点の対数輝度L_Dを計算することを更に有する、上記の実施例に記載の方法。

１２．固定小数点の対数輝度L_Dの計算は、

を計算することを有する、上記の実施例に記載の方法。

１３．cd/m²で全体の輝度の範囲を判定するために、前記バイアスパラメータBを使用することを更に有する、上記の実施例に記載の方法。

１４．前記スケールパラメータSとビット数Nとを使用して、ダイナミックレンジDRを判定することを更に有する、上記の実施例に記載の方法。

１５．前記ダイナミックレンジDRは、

を判定することを有する、上記の実施例に記載の方法。

１６．XYZ三刺激値での射影変換を規定することにより、前記カラーチャンネルの(u’,v’)座標を計算することを更に有する、上記の実施例に記載の方法。

１７．ガンマ補正R’G’B’値を前記VDRに変換することを更に有し、
前記ガンマ補正R’G’B’値の変換は、
ガンマ補正を取り消すことにより、前記ガンマ補正R’G’B’値を変換し、RGB値を生成し、
前記RGB値で行列変換を実行し、XYZ三刺激値を生成し、
対数関数及び第１の量子化を使用して、Y三刺激値を固定小数点の対数輝度L_Dに変換し、
射影変換及び第２の量子化からX及びY三刺激値をu_D’及びv_D’の色座標に変換することを有する、上記の実施例に記載の方法。

１８．人間視覚システムが同時に認識できる輝度及び色の範囲に基づいてダイナミックレンジを選択することを更に有する、上記の実施例に記載の方法。

１９．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載の方法。

２０．視覚ダイナミックレンジ（VDR）ビデオの圧縮方法であって、
階層化コーデックで低ダイナミックレンジ（LDR）ビットストリーム及びVDRビットストリームを受信し、ただし、前記階層化コーデックは、少なくとも１つの符号化器と、第１の復号化器と、第２の復号化器とを有し、
基本レイヤで前記LDRビットストリームを処理し、ただし、前記LDRビットストリームを処理することは、前記第１の復号化器での少なくとも１つの動作を有し、
拡張レイヤで前記VDRビットストリームを処理し、ただし、前記VDRビットストリームを処理することは、前記第２の復号化器での少なくとも１つの動作を有し、前記VDRビットストリームは、前記第１の復号化器により無視される情報を有する方法。

２１．前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載の方法。

２２．前記階層化コーデックは、H.264フォーマット又はAVCフォーマットに準拠した種類の符号化器を有する、上記の実施例に記載の方法。

２３．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載の方法。

２４．元の画像から前記LDRビットストリームを生成した結果として失われた元の画像からの１つ以上の詳細のデータを前記VDRビットストリームに挿入することを更に有する、上記の実施例に記載の方法。

２５．前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載の方法。

２６．少なくとも１つの輪郭除去動作を低ダイナミックレンジのデータに適用し、
前記輪郭除去された低ダイナミックレンジのデータを逆トーンマッピングし、
高ダイナミックレンジのデータ又は視覚ダイナミックレンジのデータとの残差を生成し、
前記残差を処理することを更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載の方法。

２７．コーデックで符号化及び復号化することに関する上記の方法であって、
コーデックの符号化器で圧縮ビットストリームを生成することを有し、
前記圧縮ビデオストリームを生成することは、
前記符号化器で入力低ダイナミックレンジ（LDR）画像ストリームを受信し、
前記入力LDR画像ストリームを符号化及び復号化し、第１の内部LDRビットストリーム及び復号化されたLDR画像ストリームを生成し、
前記符号化器内で変換ブロックを使用することにより、前記復号化されたLDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換することを有する方法。

２８．前記圧縮ビットストリームは、前記圧縮ビットストリームの基本レイヤ内に低ダイナミックレンジ（LDR）情報を有し、前記圧縮ビットストリーム内の拡張レイヤ内に視覚ダイナミックレンジ（VDR）情報を有する、上記の実施例に記載の方法。

２９．VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜６オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオより小さい、上記の実施例に記載の方法。

３０．前記変換することは、固定小数点の対数輝度L_D及び色座標(u_D’,v_D’)を生成することを有する、上記の実施例に記載の方法。

３１．前記符号化器で前記圧縮ビットストリームを生成することは、輪郭除去ブロックで前記変換されたLDRの量子化アーティファクトを軽減し、第１の輪郭除去されたLDRビットストリームを生成することを更に有する、上記の実施例に記載の方法。

３２．前記符号化器内で前記変換ブロックを使用することにより、前記復号化されたLDR画像ストリームを前記視覚ダイナミックレンジ（VDR）空間に変換することは、
前記第１の輪郭除去されたLDRビットストリームでトーンマッピング（TM）分析を実行し、トーンマッピングパラメータを生成し、
前記第１の輪郭除去されたLDRビットストリームで逆トーンマッピング（ITM）を実行し、
前記逆トーンマッピングの結果と入力視覚ダイナミックレンジ（VDR）ビットストリームとの関数である残差を生成することを有する、上記の実施例に記載の方法。

３３．前記残差を処理し、
前記処理された残差を符号化し、
第１の残差ビットストリームを生成し、
フォーマット器ブロックで前記第１の残差ビットストリームと前記第１の内部LDRビットストリームとトーンマッピングパラメータとを受信し、
前記符号化器の出力で前記圧縮ビットストリームを生成することを更に有する、上記の実施例に記載の方法。

３４．トーンマッピング符号化ブロックでトーンマッピングパラメータを符号化することを更に有する、上記の実施例に記載の方法。

３５．前記圧縮ビットストリームを復号化する前記コーデックの復号化器で出力VDRビットストリームを生成することを更に有する、上記の実施例に記載の方法。

３６．前記復号化器から前記出力VDRビットストリームを生成することは、
前記復号化器で前記圧縮ビットストリームを受信し、
前記圧縮ビットストリームを第２のLDRビットストリームとトーンマッピングビットストリームと第２の内部残差ビットストリームとに解析し、
前記第２の内部LDRビットストリームを復号化し、
前記復号化器内で変換ブロックを使用することにより、前記復号化器において前記復号化された第２の内部LDRビットストリームを視覚ダイナミックレンジ（VDR）空間に変換することを有する、上記の実施例に記載の方法。

３７．前記復号化器から前記出力VDRビットストリームを生成することは、
輪郭除去ブロックで変換された復号化後のLDRにおける量子化アーティファクトを軽減し、第２の輪郭除去されたLDRビットストリームを生成し、
前記第２の輪郭除去されたLDRビットストリーム及び前記トーンマッピングビットストリームで逆トーンマッピング分析を実行し、ただし、前記逆トーンマッピング分析は、前記トーンマッピングパラメータでの計算を有し、
他の残差ビットストリームを復号化及び処理し、
前記復号化及び処理された他の残差ビットストリームと前記逆トーンマッピング分析の結果との関数である前記復号化器の前記出力VDRビットストリームを生成することを有する、上記の実施例に記載の方法。

３８．前記コーデックで実行されるいずれかのトーンマッピング及び逆トーンマッピングは、パラメータ化されたグローバルトーンマッピング演算子の関数、パラメータ化されたローカルトーンマッピング演算子の関数、パラメータ化された逆グローバルトーンマッピング演算子の関数、又はパラメータ化された逆ローカルトーンマッピング演算子の関数を有する、上記の実施例に記載の方法。

３９．前記パラメータ化されたローカルトーンマッピング演算子又は前記パラメータ化された逆ローカルトーンマッピング演算子のいずれかは、複数の二次曲線の関数を有する、上記の実施例に記載の方法。

４０．前記残差は、視覚可能でない残差画像になるサイズを有する、上記の実施例に記載の方法。

４１．前記符号化器で前記圧縮ビットストリームを生成することは、
前記残差をダウンサンプリングし、
前記ダウンサンプリングされた残差を圧縮することを更に有する、上記の実施例に記載の方法。

４２．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載の方法。

４３．ビデオのDVRは、前記ビデオの輝度について5〜6オーダの大きさの範囲のダイナミックレンジを有する、上記の実施例に記載の方法。

４４．ビデオ符号化装置で、第１のダイナミックレンジを有する第１のビデオストリームを復号化し、第１の復号化されたストリームを生成し、
前記第１のダイナミックレンジより高い第２のダイナミックレンジを有する第２のビデオストリームを予測する際に、逆トーンマッピング演算子を前記復号化された第１のストリームに適用し、
前記第２のビデオストリームから出力ビデオストリームを生成することを有するビデオ処理方法。

４５．前記第１のダイナミックレンジは、低ダイナミックレンジ（LDR）ビデオを有し、前記第２のダイナミックレンジは、視覚ダイナミックレンジ（VDR）ビデオを有する、上記の実施例に記載の方法。

４６．前記逆トーンマッピング演算子は、グローバルトーンマッピング演算子を有する、上記の実施例に記載の方法。

４７．逆グローバルトーンマッピングは、画像のビデオデータの複数の画素で共通の変換を有するLDR輝度からVDR輝度への変換を有する、上記の実施例に記載の方法。

４８．前記逆グローバルトーンマッピングのパラメータベクトルを計算することを更に有する、上記の実施例に記載の方法。

４９．前記パラメータベクトルを計算することは、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算することを有する、上記の実施例に記載の方法。

５０．前記逆トーンマッピング演算子は単調である、上記の実施例に記載の方法。

５１．前記逆トーンマッピング演算子は、逆ローカルトーンマッピング演算子を有し、
前記逆ローカルトーンマッピング演算子は、LDR輝度からVDR輝度へのマッピングを有する変換を有し、
前記変換は、画像のビデオデータの複数の画素で可変である、上記の実施例に記載の方法。

５２．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載の方法。

５３．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する関数を有する、上記の実施例に記載の方法。

５４．前記逆トーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載の方法。

５５．前記VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、LDRのダイナミックレンジは、2〜3オーダの大きさの輝度を有し、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さく、
前記高ダイナミックレンジ（HDR）ビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有する、上記の実施例に記載の方法。

５６．残差を計算することを更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載の方法。

５７．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載の方法。

５８．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載の方法。

５９．前記VDRビデオの拡張レイヤでデータを処理し、
前記VDRビデオの基本レイヤでデータを処理することを更に有する、上記の実施例に記載の方法。

６０．ビデオのダイナミックレンジを予測することに関する上記の方法であって、
ビデオ処理装置で、逆グローバルトーンマッピング演算子を第２のダイナミックレンジを有する画像に適用することにより、ビデオの第１のダイナミックレンジを予測すること、又は前記ビデオ処理装置で、逆グローバルトーンマッピング演算子を前記第２のダイナミックレンジを有する前記画像に適用することにより、前記ビデオの第３のダイナミックレンジを予測することを実施し、
前記第１のダイナミックレンジ又は前記第３のダイナミックレンジを有する出力ビデオを生成することを有する方法。

６１．前記ビデオの前記第１のダイナミックレンジは、高ダイナミックレンジ（HDR）を有し、
前記ビデオの前記第２のダイナミックレンジは、低ダイナミックレンジ（LDR）を有し、
前記ビデオの前記第３のダイナミックレンジは、視覚ダイナミックレンジ（VDR）を有する、上記の実施例に記載の方法。

６２．HDRビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、
LDRビデオのダイナミックレンジは、2〜3オーダの大きさの輝度を有する、上記の実施例に記載の方法。

６３．前記逆グローバルトーンマッピングは、前記画像の複数の画素で共通の変換を有するLDR輝度からHDR輝度への変換を有する、上記の実施例に記載の方法。

６４．前記逆グローバルトーンマッピングのパラメータベクトルを計算することを更に有し、
前記パラメータベクトルを計算することは、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算することを有する、上記の実施例に記載の方法。

６５．前記逆トーンマッピング演算子は、LDR輝度からHDR輝度へのマッピングを有する変換を有する逆ローカルトーンマッピング演算子を有し、
前記変換は、前記画像の複数の画素で可変である、上記の実施例に記載の方法。

６６．前記複数の画素のそれぞれのパラメータを判定することを更に有する、上記の実施例に記載の方法。

６７．前記複数の画素のそれぞれの前記パラメータを使用してパラメータ画像を生成することを更に有する、上記の実施例に記載の方法。

６８．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載の方法。

６９．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する少なくとも１つの関数を有する逆パラメータ化されたローカルトーンマッピング演算子を有する、上記の実施例に記載の方法。

７０．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載の方法。

７１．残差を生成することを更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載の方法。

７２．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載の方法。

７３．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載の方法。

７４．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子に対応するトーンマッピング演算子は単調であり、
前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子はパラメータ化される、上記の実施例に記載の方法。

７５．前記ビデオの前記第３のダイナミックレンジは、ビデオの視覚ダイナミックレンジ（VDR）を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有する、上記の実施例に記載の方法。

７６．符号化器と復号化器とを有するコーデックにおいてビデオデータの残差処理を実行する方法であって
前記符号化器において、
入力残差を低域フィルタリングし、
前記フィルタリングされた残差をダウンサンプリングし、
前記ダウンサンプリングされた残差を符号化し、
出力残差ビットストリームを生成し、
前記復号化器において、
前記出力残差ビットストリームを復号化し、
前記復号化された残差ビットストリームをアップサンプリングし、
前記アップサンプリングされた残差ビットストリームの周波数範囲を再構成し、
出力残差を生成することを有する方法。

７７．前記ビデオデータは、VDRビデオを有し、
前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載の方法。

７８．ビデオビットストリームの拡張レイヤ内で、前記入力残差を受信すること又は前記出力残差を送信することを更に有し、
前記コーデックは、ドリフトのないコーデックを有する、上記の実施例に記載の方法。

７９．前記残差は、パラメータ化された逆トーンマッピング演算子の結果である、上記の実施例に記載の方法。

８０．前記パラメータ化された逆トーンマッピング演算子は、高輝度の第１の非線形領域と、低輝度の第２の非線形領域と、前記第１及び第２の非線形領域の間の線形領域とを含む、上記の実施例に記載の方法。

８１．コンピュータ可読媒体に符号化され、データ処理装置に対してビデオ符号化動作を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
ビデオ符号化器で符号化されたビデオストリームを生成することを有し、
前記符号化されたビデオストリームは、輝度について5〜6オーダの大きさ（10⁵〜10⁶）のダイナミックレンジを有するコンピュータプログラムプロダクト。

８２．前記符号化されたビデオストリームを生成する命令は、ビデオの視覚ダイナミックレンジ（VDR）フォーマットで前記符号化されたビデオストリームを生成する動作を有し、
前記VDRフォーマットは、人間視覚システムが同時に認識することができる輝度及び視覚色域（VCG）の範囲を含む、上記の実施例に記載のコンピュータプログラムプロダクト。

８３．前記VCGは、前記人間視覚システムが同時に認識することができる全ての色を有し、
前記輝度の範囲は、前記輝度について人間の目で認識するダイナミックレンジを有し、
VCGは、広色域（WCG）を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

８４．ビデオの前記VDRフォーマットは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

８５．コンピュータ可読媒体に符号化され、データ処理装置に対してビデオ符号化動作を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
画素毎に32ビットを使用してビデオ符号化器でビデオストリームを符号化することを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有するコンピュータプログラムプロダクト。

８６．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

８７．VDRのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

８８．VDRのダイナミックレンジは、輝度について人間の目で認識するダイナミックレンジを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

８９．VDRは、取得、配布、消費を有するビデオフォーマット用又は広色域（WCG）用に構成される、上記の実施例に記載のコンピュータプログラムプロダクト。

９０．VDRは、１未満の最小可知差異（JND）、CIE XYZ三刺激値、ガンマ符号化又は対数符号化のいずれかにより表される、上記の実施例に記載のコンピュータプログラムプロダクト。

９１．スケールパラメータS及びバイアスパラメータBを使用して、cd/m²の物理的輝度Yから固定小数点の対数輝度L_Dを計算する命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９２．固定小数点の対数輝度L_Dの計算は、

を計算することを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９３．cd/m²で全体の輝度の範囲を判定するために、前記バイアスパラメータBを使用する命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９４．前記スケールパラメータSとビット数Nとを使用して、ダイナミックレンジDRを判定する命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９５．前記ダイナミックレンジDRは、

を判定することを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９６．XYZ三刺激値での射影変換を規定することにより、前記カラーチャンネルの(u’,v’)座標を計算する命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９７．ガンマ補正R’G’B’値を前記VDRに変換する動作の命令を更に有し、
前記ガンマ補正R’G’B’値の変換動作は、
ガンマ補正を取り消すことにより、前記ガンマ補正R’G’B’値を変換し、RGB値を生成し、
前記RGB値で行列変換を実行し、XYZ三刺激値を生成し、
対数関数及び第１の量子化を使用して、Y三刺激値を固定小数点の対数輝度L_Dに変換し、
射影変換及び第２の量子化からX及びY三刺激値をu_D’及びv_D’の色座標に変換することを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９８．人間視覚システムが同時に認識できる輝度及び色の範囲に基づいてダイナミックレンジを選択することを更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

９９．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１００．コンピュータ可読媒体に符号化され、データ処理装置に対して視覚ダイナミックレンジ（VDR）ビデオの圧縮動作を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
階層化コーデックで低ダイナミックレンジ（LDR）ビットストリーム及びVDRビットストリームを受信し、ただし、前記階層化コーデックは、少なくとも１つの符号化器と、第１の復号化器と、第２の復号化器とを有し、
基本レイヤで前記LDRビットストリームを処理し、ただし、前記LDRビットストリームを処理することは、前記第１の復号化器での少なくとも１つの動作を有し、
拡張レイヤで前記VDRビットストリームを処理し、ただし、前記VDRビットストリームを処理することは、前記第２の復号化器での少なくとも１つの動作を有し、前記VDRビットストリームは、前記第１の復号化器により無視される情報を有するコンピュータプログラムプロダクト。

１０１．前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載のコンピュータプログラムプロダクト。

１０２．前記階層化コーデックは、H.264フォーマット又はAVCフォーマットに準拠した種類の符号化器を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１０３．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１０４．元の画像から前記LDRビットストリームを生成した結果として失われた元の画像からの１つ以上の詳細のデータを前記VDRビットストリームに挿入する命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１０５．前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

２６．前記命令は、
少なくとも１つの輪郭除去動作を低ダイナミックレンジのデータに適用し、
前記輪郭除去された低ダイナミックレンジのデータを逆トーンマッピングし、
高ダイナミックレンジのデータ又は視覚ダイナミックレンジのデータとの残差を生成し、
前記残差を処理することを含む動作を有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１０７．コンピュータ可読媒体に符号化され、データ処理装置に対してコーデックにおいてビデオデータを符号化及び復号化させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
コーデックの符号化器で圧縮ビットストリームを生成することを有し、
前記圧縮ビデオストリームを生成することは、
前記符号化器で入力低ダイナミックレンジ（LDR）画像ストリームを受信し、
前記入力LDR画像ストリームを符号化及び復号化し、第１の内部LDRビットストリーム及び復号化されたLDR画像ストリームを生成し、
前記符号化器内で変換ブロックを使用することにより、前記復号化されたLDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換することを有するコンピュータプログラムプロダクト。

１０８．前記圧縮ビットストリームは、前記圧縮ビットストリームの基本レイヤ内に低ダイナミックレンジ（LDR）情報を有し、前記圧縮ビットストリーム内の拡張レイヤ内に視覚ダイナミックレンジ（VDR）情報を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１０９．VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜６オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオより小さい、上記の実施例に記載のコンピュータプログラムプロダクト。

１１０．前記変換する動作の命令は、固定小数点の対数輝度L_D及び色座標(u_D’,v_D’)を生成することを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１１．前記符号化器で前記圧縮ビットストリームを生成する命令は、輪郭除去ブロックで前記変換されたLDRの量子化アーティファクトを軽減し、第１の輪郭除去されたLDRビットストリームを生成する動作を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１２．前記符号化器内で前記変換ブロックを使用することにより、前記復号化されたLDR画像ストリームを前記視覚ダイナミックレンジ（VDR）空間に変換する命令は、
前記第１の輪郭除去されたLDRビットストリームでトーンマッピング（TM）分析を実行し、トーンマッピングパラメータを生成し、
前記第１の輪郭除去されたLDRビットストリームで逆トーンマッピング（ITM）を実行し、
前記逆トーンマッピングの結果と入力視覚ダイナミックレンジ（VDR）ビットストリームとの関数である残差を生成する動作を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１３．前記残差を処理し、
前記処理された残差を符号化し、
第１の残差ビットストリームを生成し、
フォーマット器ブロックで前記第１の残差ビットストリームと前記第１の内部LDRビットストリームとトーンマッピングパラメータとを受信し、
前記符号化器の出力で前記圧縮ビットストリームを生成することを含む動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１４．トーンマッピング符号化ブロックでトーンマッピングパラメータを符号化する動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１５．前記圧縮ビットストリームを復号化する前記コーデックの復号化器で出力VDRビットストリームを生成する動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１６．前記復号化器から前記出力VDRビットストリームを生成する命令は、
前記復号化器で前記圧縮ビットストリームを受信し、
前記圧縮ビットストリームを第２のLDRビットストリームとトーンマッピングビットストリームと第２の内部残差ビットストリームとに解析し、
前記第２の内部LDRビットストリームを復号化し、
前記復号化器内で変換ブロックを使用することにより、前記復号化器において前記復号化された第２の内部LDRビットストリームを視覚ダイナミックレンジ（VDR）空間に変換する動作を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１７．前記復号化器から前記出力VDRビットストリームを生成する命令は、
輪郭除去ブロックで変換された復号化後の他のLDRにおける量子化アーティファクトを軽減し、第２の輪郭除去されたLDRビットストリームを生成し、
前記第２の輪郭除去されたLDRビットストリーム及び前記トーンマッピングビットストリームで逆トーンマッピング分析を実行し、ただし、前記逆トーンマッピング分析は、前記トーンマッピングパラメータでの計算を有し、
他の残差ビットストリームを復号化及び処理し、
前記復号化及び処理された他の残差ビットストリームと前記逆トーンマッピング分析の結果との関数である前記復号化器の前記出力VDRビットストリームを生成することを含む動作を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１８．前記コーデックで実行されるいずれかのトーンマッピング及び逆トーンマッピングは、パラメータ化されたグローバルトーンマッピング演算子の関数、パラメータ化されたローカルトーンマッピング演算子の関数、パラメータ化された逆グローバルトーンマッピング演算子の関数、又はパラメータ化された逆ローカルトーンマッピング演算子の関数を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１１９．前記パラメータ化されたローカルトーンマッピング演算子又は前記パラメータ化された逆ローカルトーンマッピング演算子のいずれかは、複数の二次曲線の関数を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２０．前記残差は、視覚可能でない残差画像になるサイズを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２１．前記符号化器で前記圧縮ビットストリームを生成する命令は、
前記残差をダウンサンプリングし、
前記ダウンサンプリングされた残差を圧縮することを含む動作を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２２．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２３．ビデオのDVRは、前記ビデオの輝度について5〜6オーダの大きさの範囲のダイナミックレンジを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２４．コンピュータ可読媒体に具体的に符号化され、データ処理装置に対してビデオ処理動作を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
ビデオ符号化装置で、第１のダイナミックレンジを有する第１のビデオストリームを復号化し、第１の復号化されたストリームを生成し、
前記第１のダイナミックレンジより高い第２のダイナミックレンジを有する第２のビデオストリームを予測する際に、逆トーンマッピング演算子を前記復号化された第１のストリームに適用し、
前記第２のビデオストリームから出力ビデオストリームを生成することを有するコンピュータプログラムプロダクト。

１２５．前記第１のダイナミックレンジは、低ダイナミックレンジ（LDR）ビデオを有し、前記第２のダイナミックレンジは、視覚ダイナミックレンジ（VDR）ビデオを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２６．前記逆トーンマッピング演算子は、グローバルトーンマッピング演算子を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２７．逆グローバルトーンマッピングは、画像のビデオデータの複数の画素で共通の変換を有するLDR輝度からVDR輝度への変換を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２８．前記逆グローバルトーンマッピングのパラメータベクトルを計算することを有する動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１２９．前記パラメータベクトルを計算する命令は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算する動作を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３０．前記逆トーンマッピング演算子は単調である、上記の実施例に記載のコンピュータプログラムプロダクト。

１３１．前記逆トーンマッピング演算子は、逆ローカルトーンマッピング演算子を有し、
前記逆ローカルトーンマッピング演算子は、LDR輝度からVDR輝度へのマッピングを有する変換を有し、
前記変換は、画像のビデオデータの複数の画素で可変である、上記の実施例に記載のコンピュータプログラムプロダクト。

１３２．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３３．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する関数を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３４．前記逆トーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３５．前記VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、LDRのダイナミックレンジは、2〜3オーダの大きさの輝度を有し、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さく、
前記高ダイナミックレンジ（HDR）ビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３６．残差を計算する命令を更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１３７．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載のコンピュータプログラムプロダクト。

１３８．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載のコンピュータプログラムプロダクト。

１３９．前記VDRビデオの拡張レイヤでデータを処理し、
前記VDRビデオの基本レイヤでデータを処理することを有する動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４０．コンピュータ可読媒体に具体的に符号化され、データ処理装置に対してビデオのダイナミックレンジの１つ以上の予測を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
ビデオ処理装置で、逆グローバルトーンマッピング演算子を第２のダイナミックレンジを有する画像に適用することにより、ビデオの第１のダイナミックレンジを予測すること、又は前記ビデオ処理装置で、逆グローバルトーンマッピング演算子を前記第２のダイナミックレンジを有する前記画像に適用することにより、前記ビデオの第３のダイナミックレンジを予測することを実施し、
前記第１のダイナミックレンジ又は前記第３のダイナミックレンジを有する出力ビデオを生成することを有するコンピュータプログラムプロダクト。

１４１．前記ビデオの前記第１のダイナミックレンジは、高ダイナミックレンジ（HDR）を有し、
前記ビデオの前記第２のダイナミックレンジは、低ダイナミックレンジ（LDR）を有し、
前記ビデオの前記第３のダイナミックレンジは、視覚ダイナミックレンジ（VDR）を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４２．HDRビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、
LDRビデオのダイナミックレンジは、2〜3オーダの大きさの輝度を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４３．前記逆グローバルトーンマッピングは、前記画像の複数の画素で共通の変換を有するLDR輝度からHDR輝度への変換を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４４．前記逆グローバルトーンマッピングのパラメータベクトルを計算することを有する動作の命令を更に有し、
前記パラメータベクトルを計算する命令は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算することを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４５．前記逆トーンマッピング演算子は、LDR輝度からHDR輝度へのマッピングを有する変換を有する逆ローカルトーンマッピング演算子を有し、
前記変換は、前記画像の複数の画素で可変である、上記の実施例に記載のコンピュータプログラムプロダクト。

１４６．前記複数の画素のそれぞれのパラメータを判定することを含む動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４７．前記複数の画素のそれぞれの前記パラメータを使用してパラメータ画像を生成することを含む動作の命令を更に有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４８．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１４９．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する少なくとも１つの関数を有する逆パラメータ化されたローカルトーンマッピング演算子を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１５０．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１５１．残差を生成することを有する動作の命令を更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１５２．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載のコンピュータプログラムプロダクト。

１５３．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載のコンピュータプログラムプロダクト。

１５４．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子に対応するトーンマッピング演算子は単調であり、
前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子はパラメータ化される、上記の実施例に記載のコンピュータプログラムプロダクト。

１５５．前記ビデオの前記第３のダイナミックレンジは、ビデオの視覚ダイナミックレンジ（VDR）を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１５６．コンピュータ可読媒体に具体的に符号化され、データ処理装置に対して符号化器と復号化器とを有するコーデックにおいてビデオデータの残差処理を実行させる命令を有するコンピュータプログラムプロダクトであって、
前記動作は、
前記符号化器において、
入力残差を低域フィルタリングし、
前記フィルタリングされた残差をダウンサンプリングし、
前記ダウンサンプリングされた残差を符号化し、
出力残差ビットストリームを生成し、
前記復号化器において、
前記出力残差ビットストリームを復号化し、
前記復号化された残差ビットストリームをアップサンプリングし、
前記アップサンプリングされた残差ビットストリームの周波数範囲を再構成し、
出力残差を生成することを有するコンピュータプログラムプロダクト。

１５７．前記ビデオデータは、VDRビデオを有し、
前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載のコンピュータプログラムプロダクト。

１５８．前記命令は、ビデオビットストリームの拡張レイヤ内で、前記入力残差を受信すること又は前記出力残差を送信する動作を更に有し、
前記コーデックは、ドリフトのないコーデックを有する、上記の実施例に記載のコンピュータプログラムプロダクト。

１５９．前記残差は、パラメータ化された逆トーンマッピング演算子の結果である、上記の実施例に記載のコンピュータプログラムプロダクト。

１６０．前記パラメータ化された逆トーンマッピング演算子は、高輝度の第１の非線形領域と、低輝度の第２の非線形領域と、前記第１及び第２の非線形領域の間の線形領域とを含む、上記の実施例に記載のコンピュータプログラムプロダクト。

１６１．ビデオを符号化する方法であって、
符号化されたビデオストリームを生成するビデオ符号化器を有し、
前記符号化されたビデオストリームは、輝度について5〜6オーダの大きさ（10⁵〜10⁶）のダイナミックレンジを有するシステム。

１６２．前記符号化されたビデオストリームは、ビデオの視覚ダイナミックレンジ（VDR）フォーマットを有し、
前記VDRフォーマットは、人間視覚システムが同時に認識することができる輝度及び視覚色域（VCG）の範囲を含む、上記の実施例に記載のシステム。

１６３．前記VCGは、前記人間視覚システムが同時に認識することができる全ての色を有し、
前記輝度の範囲は、前記輝度について人間の目で認識するダイナミックレンジを有し、
VCGは、広色域（WCG）を有する、上記の実施例に記載のシステム。

１６４．ビデオの前記VDRフォーマットは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有する、上記の実施例に記載のシステム。

１６５．画素毎に32ビットを使用してビデオストリームを符号化するビデオコーデックを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有するシステム。

１６６．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有する、上記の実施例に記載のシステム。

１６７．VDRのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載のシステム。

１６８．VDRのダイナミックレンジは、輝度について人間の目で認識するダイナミックレンジを有する、上記の実施例に記載のシステム。

１６９．VDRは、取得、配布、消費を有するビデオフォーマット用又は広色域（WCG）用に構成される、上記の実施例に記載のシステム。

１７０．VDRは、１未満の最小可知差異（JND）、CIE XYZ三刺激値、ガンマ符号化又は対数符号化のいずれかにより表される、上記の実施例に記載のシステム。

１７１．前記ビデオコーデックは、スケールパラメータS及びバイアスパラメータBを使用して、cd/m²の物理的輝度Yから固定小数点の対数輝度L_Dを計算するように構成される、上記の実施例に記載のシステム。

１７２．前記ビデオコーデックは、

の計算を含む、固定小数点の対数輝度L_Dを計算するように構成される、上記の実施例に記載のシステム。

１７３．前記ビデオコーデックは、cd/m²で全体の輝度の範囲を判定するために、前記バイアスパラメータBを使用することを更に有する、上記の実施例に記載のシステム。

１７４．前記システムは、前記スケールパラメータSとビット数Nとを使用して、ダイナミックレンジDRを判定するように構成される、上記の実施例に記載のシステム。

１７５．前記ダイナミックレンジDRは、

を有する、上記の実施例に記載のシステム。

１７６．前記ビデオコーデックは、XYZ三刺激値での射影変換を規定することにより、前記カラーチャンネルの(u’,v’)座標を計算するように構成される、上記の実施例に記載のシステム。

１７７．前記ビデオコーデックは、ガンマ補正R’G’B’値を前記VDRに変換するように構成され、
前記ビデオコーデックでの前記ガンマ補正R’G’B’値の変換は、
ガンマ補正を取り消すことにより、前記ガンマ補正R’G’B’値を変換し、RGB値を生成し、
前記RGB値で行列変換を実行し、XYZ三刺激値を生成し、
対数関数及び第１の量子化を使用して、Y三刺激値を固定小数点の対数輝度L_Dに変換し、
射影変換及び第２の量子化からX及びY三刺激値をu_D’及びv_D’の色座標に変換することを含む処理を有する、上記の実施例に記載のシステム。

１７８．前記コーデックは、人間視覚システムが同時に認識できる輝度及び色の範囲に基づいてダイナミックレンジを選択するように構成される、上記の実施例に記載のシステム。

１７９．前記符号化されたビデオストリームは、視覚ダイナミックレンジ（VDR）を有するビデオのデータを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有する、上記の実施例に記載のシステム。

１８０．視覚ダイナミックレンジ（VDR）ビデオの圧縮システムであって、
低ダイナミックレンジ（LDR）ビットストリーム及びVDRビットストリームを受信する階層化コーデックを有し、
前記階層化コーデックは、少なくとも１つの符号化器と、第１の復号化器と、第２の復号化器とを有し、
前記階層化コーデックは、基本レイヤで前記LDRビットストリームを処理するように構成され、ただし、前記LDRビットストリームに関する処理は、前記第１の復号化器での少なくとも１つの動作を有し、
前記階層化コーデックは、拡張レイヤで前記VDRビットストリームを処理するように構成され、ただし、前記VDRビットストリームに関する処理は、前記第２の復号化器での少なくとも１つの動作を有し、
前記VDRビットストリームは、前記第１の復号化器により無視される情報を有するシステム。

１８１．前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載のシステム。

１８２．前記階層化コーデックは、H.264フォーマット又はAVCフォーマットに準拠した種類の符号化器を有する、上記の実施例に記載のシステム。

１８３．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載のシステム。

１８４．前記階層化コーデックは、元の画像から前記LDRビットストリームを生成した結果として失われた元の画像からの１つ以上の詳細のデータを前記VDRビットストリームに挿入するように構成される、上記の実施例に記載のシステム。

１８５．前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさ（10⁵〜10⁶）を有する、上記の実施例に記載のシステム。

１８６．前記階層化コーデックは、
少なくとも１つの輪郭除去動作を低ダイナミックレンジのデータに適用し、
前記輪郭除去された低ダイナミックレンジのデータを逆トーンマッピングし、
高ダイナミックレンジのデータ又は視覚ダイナミックレンジのデータとの残差を生成し、
前記残差を処理することを含む計算処理を実施するように構成され、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のシステム。

１８７．符号化器と復号化器とを有するコーデックでの符号化及び復号化システムであって、
前記コーデックの前記符号化器は、
前記符号化器で入力低ダイナミックレンジ（LDR）画像ストリームを受信し、
前記入力LDR画像ストリームを符号化及び復号化し、第１の内部LDRビットストリーム及び復号化されたLDR画像ストリームを生成し、
前記符号化器内で変換ブロックを使用することにより、前記復号化されたLDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換することを含むデータ処理により、
圧縮ビットストリームを生成するように構成されるシステム。

１８８．前記圧縮ビットストリームは、前記圧縮ビットストリームの基本レイヤ内に低ダイナミックレンジ（LDR）情報を有し、前記圧縮ビットストリーム内の拡張レイヤ内に視覚ダイナミックレンジ（VDR）情報を有する、上記の実施例に記載のシステム。

１８９．VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜６オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオより小さい、上記の実施例に記載のシステム。

１９０．前記変換は、固定小数点の対数輝度L_D及び色座標(u_D’,v_D’)を生成することを有する、上記の実施例に記載のシステム。

１９１．前記符号化器は、輪郭除去ブロックを有し、
前記符号化器は、前記輪郭除去ブロックで前記変換されたLDRの量子化アーティファクトを軽減し、第１の輪郭除去されたLDRビットストリームを生成するように構成される、上記の実施例に記載のシステム。

１９２．前記符号化器は、
前記第１の輪郭除去されたLDRビットストリームでトーンマッピング（TM）分析を実行し、トーンマッピングパラメータを生成し、
前記第１の輪郭除去されたLDRビットストリームで逆トーンマッピング（ITM）を実行し、
前記逆トーンマッピングの結果と入力視覚ダイナミックレンジ（VDR）ビットストリームとの関数である残差を生成するように構成される、上記の実施例に記載のシステム。

１９３．前記符号化器は、前記残差を処理し、前記処理された残差を符号化し、第１の残差ビットストリームを生成する残差処理及び符号化ブロックを有し、
前記符号化器は、前記第１の残差ビットストリームと前記第１の内部LDRビットストリームとトーンマッピングパラメータとを受信するフォーマット器ブロックを有し、
前記符号化器は、前記符号化器の出力で前記圧縮ビットストリームを生成するように構成される、上記の実施例に記載のシステム。

１９４．前記符号化器は、トーンマッピングパラメータを符号化するトーンマッピング符号化ブロックを有する、上記の実施例に記載のシステム。

１９５．前記コーデックの前記復号化器は、前記圧縮ビットストリームを復号化し、復号化器の出力で出力VDRビットストリームを生成する、上記の実施例に記載のシステム。

１９６．前記復号化器は、前記復号化器で前記圧縮ビットストリームを受信するように構成され、
前記復号化器は、前記圧縮ビットストリームを第２のLDRビットストリームとトーンマッピングビットストリームと第２の内部残差ビットストリームとに解析する解析ブロックを有し、
前記復号化器は、前記第２の内部LDRビットストリームを復号化するLDR復号化器を有し、
前記復号化器は、前記復号化器において前記復号化された第２の内部LDRビットストリームを視覚ダイナミックレンジ（VDR）空間に変換する変換ブロックを有する、上記の実施例に記載のシステム。

１９７．前記復号化器は、変換された復号化後の他のLDRにおける量子化アーティファクトを軽減し、第２の輪郭除去されたLDRビットストリームを生成する輪郭除去ブロックを有し、
前記復号化器は、前記第２の輪郭除去されたLDRビットストリーム及び前記トーンマッピングビットストリームで逆トーンマッピング分析を実行するように構成され、ただし、前記逆トーンマッピング分析は、前記トーンマッピングパラメータでの計算を有し、
前記復号化器は、他の残差ビットストリームを復号化及び処理するように構成され、
前記復号化器は、前記復号化及び処理された他の残差ビットストリームと前記逆トーンマッピング分析の結果との関数である前記出力VDRビットストリームを前記復号化器の出力で生成するように構成される、上記の実施例に記載のシステム。

１９８．前記コーデックで実行されるいずれかのトーンマッピング及び逆トーンマッピングは、パラメータ化されたグローバルトーンマッピング演算子の関数、パラメータ化されたローカルトーンマッピング演算子の関数、パラメータ化された逆グローバルトーンマッピング演算子の関数、又はパラメータ化された逆ローカルトーンマッピング演算子の関数を有する、上記の実施例に記載のシステム。

１９９．前記パラメータ化されたローカルトーンマッピング演算子又は前記パラメータ化された逆ローカルトーンマッピング演算子のいずれかは、複数の二次曲線の関数を有する、上記の実施例に記載のシステム。

２００．前記残差は、視覚可能でない残差画像になるサイズを有する、上記の実施例に記載のシステム。

２０１．前記符号化器は、前記残差をダウンサンプリングし、前記ダウンサンプリングされた残差を圧縮するように構成される、上記の実施例に記載のシステム。

２０２．前記コーデックはドリフトのないコーデックを有する、上記の実施例に記載のシステム。

２０３．ビデオのDVRは、前記ビデオの輝度について5〜6オーダの大きさの範囲のダイナミックレンジを有する、上記の実施例に記載のシステム。

４４．復号化器と符号化器とを有するビデオ処理装置を有するビデオ処理システムであって、
前記ビデオ符号化装置は、第１のダイナミックレンジを有する第１のビデオストリームを復号化し、第１の復号化されたストリームを生成するように構成され、
前記ビデオ処理装置は、前記第１のダイナミックレンジより高い第２のダイナミックレンジを有する第２のビデオストリームを予測するために、逆トーンマッピング演算子を前記復号化された第１のストリームに適用するように構成され、
前記ビデオ処理装置は、前記第２のビデオストリームから出力ビデオストリームを生成するように構成されるシステム。

２０５．前記第１のダイナミックレンジは、低ダイナミックレンジ（LDR）ビデオを有し、前記第２のダイナミックレンジは、視覚ダイナミックレンジ（VDR）ビデオを有する、上記の実施例に記載のシステム。

２０６．前記逆トーンマッピング演算子は、グローバルトーンマッピング演算子を有する、上記の実施例に記載のシステム。

２０７．前記ビデオ処理装置は、変換ブロックを有し、
逆グローバルトーンマッピングは、画像のビデオデータの複数の画素で共通の変換を有するLDR輝度からVDR輝度への変換を有する、上記の実施例に記載のシステム。

２０８．前記ビデオ処理装置は、前記逆グローバルトーンマッピングのパラメータベクトルを計算するパラメータ処理ブロックを有する、上記の実施例に記載のシステム。

２０９．前記ビデオ処理装置は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を計算するパラメータ処理ブロックを有する、上記の実施例に記載のシステム。

２１０．前記ビデオ処理装置で使用される前記逆トーンマッピング演算子は単調である、上記の実施例に記載のシステム。

２１１．前記逆トーンマッピング演算子は、逆ローカルトーンマッピング演算子を有し、
前記逆ローカルトーンマッピング演算子は、LDR輝度からVDR輝度へのマッピングを有する変換を有し、
前記変換は、画像のビデオデータの複数の画素で可変である、上記の実施例に記載のシステム。

２１２．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載のシステム。

２１３．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する関数を有する、上記の実施例に記載のシステム。

２１４．前記逆トーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載のシステム。

２１５．高ダイナミックレンジ（HDR）ビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有し、
前記VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、
LDRのダイナミックレンジは、2〜3オーダの大きさの輝度を有する、上記の実施例に記載の方法。

２１６．前記ビデオ処理装置は、前記VDRビデオの拡張レイヤでデータを処理するように構成され、
前記ビデオ処理装置は、前記LDRビデオの下位レイヤでデータを処理するように構成される、上記の実施例に記載の方法。

２１７．前記ビデオ処理装置は、残差を計算するように構成され、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のシステム。

２１８．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載のシステム。

２１９．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載のシステム。

２２０．ビデオのダイナミックレンジを予測するシステムであって、
画像のダイナミックレンジのマッピングのためのパラメータを利用するビデオパラメータユニットを有するビデオ処理装置を有し、
前記ビデオ処理装置は、逆グローバルトーンマッピング演算子を第２のダイナミックレンジを有する画像に適用することにより、前記ビデオの第１のダイナミックレンジを予測すること、又は逆グローバルトーンマッピング演算子を前記第２のダイナミックレンジを有する前記画像に適用することにより、前記ビデオの第３のダイナミックレンジを予測することを実施するように構成され、
前記ビデオ処理装置は、前記第１のダイナミックレンジ又は前記第３のダイナミックレンジのうち少なくとも１つを有する出力ビデオを生成するように構成されるシステム。

２２１．前記ビデオの前記第１のダイナミックレンジは、高ダイナミックレンジ（HDR）を有し、
前記ビデオの前記第２のダイナミックレンジは、低ダイナミックレンジ（LDR）を有し、
前記ビデオの前記第３のダイナミックレンジは、視覚ダイナミックレンジ（VDR）を有する、上記の実施例に記載のシステム。

２２２．HDRビデオのダイナミックレンジは、10〜14オーダの大きさの輝度を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさの輝度を有し、
LDRビデオのダイナミックレンジは、2〜3オーダの大きさの輝度を有する、上記の実施例に記載のシステム。

２２３．前記ビデオパラメータユニットは、前記ダイナミックレンジに関連する輝度を変換するように構成され、
前記逆トーンマッピング演算子は、LDR輝度からHDR輝度へのマッピングを有する変換を有する逆ローカルトーンマッピング演算子を有し、
前記変換は、前記画像の複数の画素で可変である、上記の実施例に記載のシステム。

２２４．前記ビデオパラメータユニットは、前記ダイナミックレンジに関連する輝度を変換するように構成され、
前記逆グローバルトーンマッピングは、前記画像の複数の画素で共通の変換を有するLDR輝度からHDR輝度への変換を有する、上記の実施例に記載のシステム。

２２５．前記ビデオパラメータユニットは、前記逆グローバルトーンマッピングのパラメータベクトルを計算するように構成され、
前記パラメータベクトルの計算は、多項式関数に適した最小二乗推定値又は誤差メトリック推定値を有する、上記の実施例に記載のシステム。

２２６．前記ビデオパラメータユニットは、前記複数の画素のそれぞれのパラメータを判定するように構成される、上記の実施例に記載のシステム。

２２７．前記ビデオパラメータユニットは、前記複数の画素のそれぞれの前記パラメータを使用してパラメータ画像を生成するように構成される、上記の実施例に記載のシステム。

２２８．前記逆ローカルトーンマッピング演算子は、ローカル変数のパラメータを有する、上記の実施例に記載のシステム。

２２９．前記逆ローカルトーンマッピング演算子は、複数の二次曲線を有する少なくとも１つの関数を有する逆パラメータ化されたローカルトーンマッピング演算子を有する、上記の実施例に記載のシステム。

２３０．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子は、覆い焼き又は焼き込み動作に対応するパラメータを有する、上記の実施例に記載のシステム。

２３１．前記ビデオ処理装置は、残差を生成するように構成され、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例に記載のシステム。

２３２．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ゼロである、上記の実施例に記載のシステム。

２３３．前記残差のサイズは、前記残差から生成された画像が視覚可能でない画像を有するように、ほぼゼロである、上記の実施例に記載のシステム。

２３４．前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子に対応するトーンマッピング演算子は単調であり、
前記逆ローカルトーンマッピング演算子又は前記逆グローバルトーンマッピング演算子はパラメータ化される、上記の実施例に記載のシステム。

２３５．前記ビデオの前記第３のダイナミックレンジは、ビデオの視覚ダイナミックレンジ（VDR）を有し、
VDRビデオのダイナミックレンジは、5〜6オーダの大きさ（10⁵〜10⁶）の輝度を有する、上記の実施例に記載のシステム。

２３６．符号化器と復号化器とを有するコーデックにおいてビデオデータの残差処理を実行するシステムであって
前記符号化器において、
入力残差を低域フィルタリングするフィルタと、
前記フィルタリングされた残差をダウンサンプリングするダウンサンプリングユニットと、
前記ダウンサンプリングされた残差を符号化する符号化ユニットと、
出力残差ビットストリームを前記復号化器に出力する符号化器出力と
を有し、
前記復号化器において、
前記出力残差ビットストリームを受信し、前記出力残差ビットストリームを復号化する復号化ユニットと、
前記復号化された残差ビットストリームをアップサンプリングするアップサンプリングユニットと、
前記アップサンプリングされた残差ビットストリームの周波数範囲を再構成する再構成ユニットと、
出力残差を生成する復号化器出力と
を有するシステム。

２３７．前記ビデオデータは、VDRビデオを有し、
前記VDRビデオは、画素毎に32ビットを有し、
前記画素毎の32ビットは、12ビットの輝度と、２つのカラーチャンネルのそれぞれについて10ビットとを有し、
前記VDRビデオのダイナミックレンジは、輝度について5〜6オーダの大きさを有し、
前記VDRビデオのダイナミックレンジは、LDRビデオのダイナミックレンジより大きく、
前記VDRビデオのダイナミックレンジは、高ダイナミックレンジ（HDR）ビデオのダイナミックレンジより小さい、上記の実施例に記載のシステム。

２３８．前記コーデックは、ビデオビットストリームの拡張レイヤ内で、前記入力残差を受信すること又は前記出力残差を送信することを実施するように構成され、
前記コーデックは、ドリフトのないコーデックを有する、上記の実施例に記載のシステム。

２３９．前記残差は、パラメータ化された逆トーンマッピング演算子の結果である、上記の実施例に記載のシステム。

２４０．前記パラメータ化された逆トーンマッピング演算子は、高輝度の第１の非線形領域と、低輝度の第２の非線形領域と、前記第１及び第２の非線形領域の間の線形領域とを含む、上記の実施例に記載のシステム。

以下の例示的な実施例は、英数字で記載されている。しかし、記載したシンボルのこのわずかな転換から、ここに記載された例のいずれかの重要性の相対的概念に関して区別することを示しておらず、また、暗示することを意味しない。例えば、前述の１〜２４０の例示的な実施例と、以下に英数字で記載する１Ａ〜２２Ａの例示的な実施例は、それぞれ本発明の１つ以上の例示的な実施例を示す。

１Ａ．ビデオ符号化器で符号化されたビデオストリームを生成することを有し、
前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有する方法。

２Ａ．前記符号化されたビデオストリームを生成することは、ビデオの視覚ダイナミックレンジ（VDR）フォーマットで前記符号化されたビデオストリームを生成することを有し、
前記VDRフォーマットは、人間視覚システムが同時に認識することができる輝度及び視覚色域（VCG）の範囲を含む、上記の実施例１Ａに記載の方法。

３Ａ．符号化されたビデオストリームを生成することは、視覚ダイナミックレンジ（VDR）ビデオを圧縮することを有し、
前記VDRビデオを圧縮することは、
階層化コーデックで低ダイナミックレンジ（LDR）画像ストリーム及びVDR画像ストリームを受信し、ただし、前記階層化コーデックは、少なくとも１つの復号化器と、第１の符号化器と、第２の符号化器とを有し、
基本レイヤで前記LDR画像ストリームを処理し、ただし、前記LDR画像ストリームを処理することは、前記第１の符号化器での少なくとも１つの動作を有し、
拡張レイヤで前記VDR画像ストリームを処理し、ただし、前記VDR画像ストリームを処理することは、前記第２の符号化器での少なくとも１つの動作を有する、上記の実施例２Ａに記載の方法。

４Ａ．元の画像から前記LDR画像ストリームを生成した結果として失われた元の画像からの１つ以上の詳細のデータを前記VDR画像ストリームに挿入することを更に有する、上記の実施例３Ａに記載の方法。

５Ａ．少なくとも１つの輪郭除去動作を低ダイナミックレンジのデータに適用し、
前記輪郭除去された低ダイナミックレンジのデータを逆トーンマッピングし、
高ダイナミックレンジのデータ又は視覚ダイナミックレンジのデータとの残差を生成し、
前記残差を処理することを更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差を有する、上記の実施例３Ａに記載の方法。

６Ａ．前記符号化されたビデオストリームを生成することは、コーデックでビデオ情報を符号化及び復号化することを有し、
前記コーデックでビデオ情報を符号化及び復号化することは、
前記符号化器で入力低ダイナミックレンジ（LDR）画像ストリームを受信し、
前記入力LDR画像ストリームを符号化及び復号化し、それぞれ圧縮符号化された第１の内部LDRビットストリーム及び復号化されたLDR画像ストリームを生成し、
前記符号化器の変換ブロックで、前記復号化されたLDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換することを有する、上記の実施例１Ａに記載の方法。

７Ａ．前記圧縮符号化されたLDRビットストリームは、前記圧縮符号化されたビットストリームの基本レイヤ内に低ダイナミックレンジ（LDR）情報を有し、前記圧縮符号化されたビットストリームの拡張レイヤ内に視覚ダイナミックレンジ（VDR）情報を有する、上記の実施例６Ａに記載の方法。

８Ａ．前記符号化器で前記圧縮ビットストリームを生成することは、前記符号化器の輪郭除去ブロックで前記変換されたLDRの量子化アーティファクトを軽減し、第１の輪郭除去されたLDR画像ストリームを生成することを更に有する、上記の実施例７Ａに記載の方法。

９Ａ．前記符号化器の前記変換ブロックで前記復号化されたLDR画像ストリームを前記視覚ダイナミックレンジ（VDR）空間に変換することは、
前記第１の輪郭除去されたLDR画像ストリームと前記VDR画像ストリームとの間でトーンマッピング（TM）分析を実行し、トーンマッピングパラメータを生成し、
前記第１の輪郭除去されたLDR画像ストリームで逆トーンマッピング（ITM）を実行し、
前記逆トーンマッピングの結果と入力視覚ダイナミックレンジ（VDR）画像ストリームとの関数である残差を生成することを有する、上記の実施例８Ａに記載の方法。

１０Ａ．前記圧縮符号化されたビットストリームを復号化する前記コーデックの復号化器から出力VDR画像ストリームを生成することを更に有し、
前記復号化器から前記出力VDRビットストリームを生成することは、
前記復号化器で前記圧縮符号化されたビットストリームを受信するステップと、
前記受信した圧縮符号化されたビットストリームを第２のLDR画像ストリームとトーンマッピング画像ストリームと第２の内部残差画像ストリームとに解析するステップと、
前記第２の内部LDR画像ストリームを復号化するステップと、
前記復号化器の変換ブロックで前記復号化器において前記復号化された第２の内部LDR画像ストリームを視覚ダイナミックレンジ（VDR）空間に変換するステップと
を有する、上記の実施例９Ａに記載の方法。

１１Ａ．前記復号化器から前記出力VDR画像ストリームを生成することは、復号化及び処理された残差画像ストリームと前記復号化されたLDR画像ストリームの逆トーンマッピングの結果との関数である前記復号化器の前記出力VDR画像ストリームを生成することを有し、
前記コーデックで実行されるトーンマッピング分析又は逆トーンマッピング動作のうち１つ以上は、
パラメータ化されたグローバルトーンマッピング演算子、
パラメータ化されたローカルトーンマッピング演算子の関数、
パラメータ化された逆グローバルトーンマッピング演算子、又は
パラメータ化された逆ローカルトーンマッピング演算子
のうち１つ以上の関数を有する、上記の実施例１０Ａに記載の方法。

１２Ａ．前記符号化されたビデオストリームを生成することは、ビデオ情報を処理することを有し、
前記ビデオ情報を処理することは、
ビデオ符号化装置で、第１のダイナミックレンジを有する第１の画像ストリームを復号化し、第１の復号化されたビットストリームを生成し、
前記第１のダイナミックレンジより高い第２のダイナミックレンジを有する第２の画像ストリームを予測するために、逆トーンマッピング演算子を前記復号化された第１のビットストリームに適用し、
前記第２の画像ストリームから出力画像ストリームを生成することを有する、上記の実施例１Ａに記載の方法。

１３Ａ．前記第１のダイナミックレンジは、低ダイナミックレンジ（LDR）を有し、前記第２のダイナミックレンジは、視覚ダイナミックレンジ（VDR）を有する、上記の実施例１２Ａに記載の方法。

１４Ａ．前記逆トーンマッピング演算子は、
単調逆トーンマッピング演算子、
逆ローカルトーンマッピング演算子、
複数の二次曲線を有する関数、又は
覆い焼き動作若しくは焼き込み動作の１つ以上に対応する１つ以上のパラメータ
のうち１つ以上を有する、上記の実施例１２Ａに記載の方法。

１５Ａ．残差を計算することを更に有し、
前記残差は、高ダイナミックレンジ画像と低ダイナミックレンジ画像からの予測との間の差、又は視覚ダイナミックレンジ画像と前記低ダイナミックレンジ画像からの予測との間の差のうち１つ以上を有する、上記の実施例１３Ａに記載の方法。

１６Ａ．ビデオ符号化器で符号化されたビデオストリームを生成する手段を有し、
前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有するシステム。

１７Ａ．ビデオ情報を符号化する装置であって、
１つ以上のプロセッサと、
命令を有するコンピュータ可読記憶媒体と
を有し、
前記命令は、前記プロセッサにより実行又は実施された場合、前記符号化装置に対して、符号化されたビデオストリームを生成するようにし、生成するように制御し、生成するようにプログラムし、又は生成するように構成し、
前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有する装置。

１８Ａ．ビデオ情報を復号化する装置であって、
１つ以上のプロセッサと、
命令を有するコンピュータ可読記憶媒体と
を有し、
前記命令は、前記プロセッサにより実行又は実施された場合、前記復号化装置に対して、ビデオ符号化器で符号化されたビデオストリームを処理するようにし、処理するように制御し、処理するようにプログラムし、又は処理するように構成し、
前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有する装置。

１９Ａ．１つ以上のプロセッサと、
命令を有するコンピュータ可読記憶媒体と
を有するコンピュータシステムであって、
前記命令は、前記プロセッサにより実行又は実施された場合、前記コンピュータシステムに対して、
符号化されたビデオストリームを生成するビデオ符号化器であり、前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有するビデオ符号化器、
輝度について３オーダより大きいダイナミックレンジを有する前記符号化されたビデオストリームを処理するビデオ復号化器、又は
ビデオ符号化器で符号化されたビデオストリームを生成する処理であり、前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有する処理
のうち１つ以上を実行若しくは実施するようにし、実行若しくは実施するように制御し、実行若しくは実施するようにプログラムし、又は実行若しくは実施するように構成するコンピュータシステム。

２０Ａ．ビデオ符号化器で符号化されたビデオストリームを生成することを有し、
前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有するコンピュータシステムの使用。

２１Ａ．符号化された命令を有するコンピュータ可読記憶媒体プロダクトであって、
前記命令は、１つ以上のプロセッサで実行又は実施された場合、前記プロセッサに対して、
ビデオ符号化器で符号化されたビデオストリームを生成する処理であり、前記符号化されたビデオストリームは、輝度について３オーダより大きいダイナミックレンジを有する処理、
上記の実施例１Ａ〜１５Ａ又は２２Ａの１つ以上に記載の方法、
上記の実施例２０Ａに記載のコンピュータシステムの使用、
上記の実施例１６Ａ又は１９Ａのうち１つ以上に記載のシステム、又は
上記の実施例１７Ａ又は１８Ａのうち１つ以上に記載の装置
のうち１つ以上を実施させ、制御し、実行し、実施し、プログラムし、又は構成するようにさせる、制御する又はプログラムするコンピュータ可読記憶媒体プロダクト。

２２Ａ．輝度についての前記ダイナミックレンジは、５〜６のオーダの大きさを有する、上記の実施例２Ａ又は１６Ａ〜２０Ａのうち１つ以上に記載の方法、システム、装置又はコンピュータ可読記憶媒体。

ここでの概念は、多次元ビデオ（3Dビデオ）にも拡張及び適用可能である。開示の特定の例示的な実施例について説明した。本発明のいくつかの実施例は、特許請求の範囲及びその均等の範囲内で定義、説明及び／又は記載される。

Claims (11)

1. 逆トーンマッピングパラメータを生成する方法であって、
   階層化コーデックで第１のダイナミックレンジ及び第１の色空間の第１の画像ストリーム及び第２のダイナミックレンジの第２の画像ストリームを受信し、ただし、前記第１の画像ストリームは、単一のパラメータによりパラメータ化された一群のトーンマッピング曲線を表す関数形式を使用して前記第２の画像ストリームでローカルトーンマッピングを実行することにより取得され、前記第１のダイナミックレンジは、前記第２のダイナミックレンジより低く、前記第１の画像ストリームは、基本レイヤであり、前記第２の画像ストリームは、拡張レイヤであり、前記階層化コーデックは、復号化器と符号化器とを有し、
   前記符号化器を使用して前記基本レイヤの前記第１の画像ストリームを符号化し、符号化された第１の画像ストリームを取得し、
   前記復号化器を使用して前記符号化された第１の画像ストリームを復号化し、復号化された第１の画像ストリームを取得し、
   前記復号化された第１の画像ストリームを、前記第１の色空間から前記第２の画像ストリームの第２の色空間に変換し、色変換された第１の画像ストリームを取得し、
   復号化されて色変換された画像ストリームの画像の画素毎に、前記復号化されて色変換された画像ストリームの画素の対数輝度のトーンマッピング関数をパラメータ化するそれぞれ単一の逆トーンマッピングパラメータを生成し、ただし、前記トーンマッピング関数は、前記復号化されて色変換された画像ストリームの画素の対数輝度の二次関数を有し、前記二次関数は、前記単一の逆トーンマッピングパラメータが増加すると次第にS型になるマッピングを提供し、前記それぞれ単一の逆トーンマッピングパラメータは、前記第２の画像ストリームの対応する画素の対数輝度の近似値を出力することを有する方法。
2. 少なくとも１つの輪郭除去動作を前記色変換された画像ストリームに適用し、輪郭除去された画像ストリームを取得することを更に有し、
   前記逆トーンマッピングパラメータを生成することは、前記輪郭除去された画像ストリームと前記第２の画像ストリームとに基づく、請求項１に記載の方法。
3. 前記逆トーンマッピングパラメータを生成することは、前記色変換された画像ストリームと前記第２の画像ストリームと関数形式とに基づき、
   前記関数形式は、前記逆トーンマッピングパラメータと前記色変換された画像ストリームと前記第２の画像ストリームとの間の関係を提供し、
   前記関数形式は、前記変換された画像ストリームの画素毎及び前記第２の画像ストリームの画素毎に最小二乗誤差を計算し、前記逆トーンマッピングパラメータを推定することを有する、請求項１に記載の方法。
4. ビデオデータを圧縮する方法であって、
   請求項１に記載の逆トーンマッピングパラメータを生成する方法を実行し、
   前記色変換された画像ストリームで逆トーンマッピングを実行し、前記第２の画像ストリームの近似値として、前記第２のダイナミックレンジを有する予測された画像ストリームを取得し、
   前記予測された画像ストリームと前記第２の画像ストリームとの間の残差を判定し、
   前記残差を処理し、残差ビットストリームを生成することを有し、
   前記残差は、前記予測された画像ストリームと前記第２の画像ストリームとの差を有し、コーデックの復号化器に伝達するように適合される方法。
5. 前記残差を処理することは、
   前記残差で低域フィルタリングを実行し、フィルタリングされた残差を取得し、
   前記フィルタリングされた残差でダウンサンプリングを実行し、ダウンサンプリングされた残差を取得し、
   前記ダウンサンプリングされた残差を符号化し、前記残差ビットストリームを取得することを有する、請求項４に記載の方法。
6. 前記残差を符号化し、残差ビットストリームを取得し、
   前記逆トーンマッピングパラメータを符号化し、逆トーンマッピングパラメータビットストリームを取得することを更に有し、
   前記符号化された第１の画像ストリーム、前記残差ビットストリーム及び前記逆トーンマッピングパラメータビットストリームは、コーデックの復号化器に伝達されるように適合される、請求項４に記載の方法。
7. 前記残差を符号化し、残差ビットストリームを取得し、
   前記逆トーンマッピングパラメータを符号化し、逆トーンマッピングパラメータビットストリームを取得し、
   フォーマット器ブロックで前記符号化された画像ストリームと前記残差ビットストリームと前記逆トーンマッピングパラメータビットストリームとをフォーマットし、圧縮ビットストリームを取得することを更に有し、
   前記圧縮ビットストリームは、コーデックの復号化器に伝達されるように適合される、請求項４に記載の方法。
8. 前記圧縮ビットストリームを復号化する前記コーデックの復号化器から前記第２のダイナミックレンジの出力画像ストリームを生成することを更に有し、
   前記出力画像ストリームを生成することは、
   前記圧縮ビットストリームを受信し、
   前記圧縮ビットストリームを前記第１のダイナミックレンジの第３の画像ストリームと第２のトーンマッピング画像ストリームと第２の内部残差画像ストリームとに解析し、
   前記第３の画像ストリームを復号化し、第２の復号化された内部画像ストリームを取得し、
   前記第２のトーンマッピング画像ストリームを復号化し、第２の復号化されたトーンマッピング画像ストリームを取得し、
   前記第２の内部残差画像ストリームを復号化し、第２の復号化された内部残差画像ストリームを取得し、
   第２の復号化された内部LDR画像ストリームを前記第１の色空間から前記第２の色空間に変換し、第２の復号化されて色変換されたLDR画像ストリームを取得し、
   前記第２の復号化されて色変換されたLDR画像ストリームを表すVDR画像を生成し、第２の変換された画像ストリームを取得し、
   前記第２の復号化されたトーンマッピング画像ストリームに基づいて前記第２の変換された画像ストリームで逆トーンマッピングを実行し、前記第２のダイナミックレンジの第２の予測された画像ストリームを取得し、
   前記第２の復号化された内部残差画像ストリームと前記第２の予測された画像ストリームとに基づいて前記出力画像ストリームを生成することを有する、請求項７に記載の方法。
9. 少なくとも１つの輪郭除去動作を前記第２の変換された画像ストリームに適用し、第２の輪郭除去された画像ストリームを取得することを更に有し、
   前記逆トーンマッピングを実行することは、前記第２の復号化されたトーンマッピング画像ストリームに基づいて前記第２の輪郭除去された画像ストリームで実行される、請求項８に記載の方法。
10. 入力ビットストリームから出力ビットストリームを生成する方法であって、
    第１のダイナミックレンジ及び第１の色空間の前記入力ビットストリームと逆トーンマッピングビットストリームと残差ビットストリームとを受信し、
    前記入力ビットストリームを復号化し、復号化されたビットストリームを取得し、
    前記逆トーンマッピングビットストリームを復号化し、復号化された逆トーンマッピングビットストリームを取得し、
    前記残差ビットストリームを復号化し、復号化された残差ビットストリームを取得し、
    前記復号化されたビットストリームを前記第１の色空間から前記出力ビットストリームの第２の色空間に変換し、復号化されて色変換された画像ストリームを取得し、
    前記復号化された逆トーンマッピングビットストリームの逆トーンマッピングパラメータに基づいて前記復号化されて色変換された画像ストリームで逆トーンマッピングを実行し、前記出力ビットストリームの第２のダイナミックレンジの予測されたビットストリームを取得し、
    前記復号化された残差ビットストリームと前記予測されたビットストリームとに基づいて、前記出力ビットストリームを生成することを有し、
    前記第１のダイナミックレンジは、前記第２のダイナミックレンジより低く、
    前記逆トーンマッピングは、前記復号化されて色変換された画像ストリームの画素毎に、前記復号化されて色変換された画像ストリームの画素の対数輝度のトーンマッピング関数に、前記逆トーンマッピングパラメータのそれぞれ単一の逆トーンマッピングパラメータを適用することを有し、前記トーンマッピング関数は、前記復号化されて色変換された画像ストリームの画素の対数輝度の二次関数を有し、前記二次関数は、前記単一の逆トーンマッピングパラメータが増加すると次第にS型になるマッピングを提供し、前記それぞれ単一の逆トーンマッピングパラメータは、前記トーンマッピング関数に対して、前記出力ビットストリームの前記第２のダイナミックレンジの前記予測されたビットストリームの対応する画素の対数輝度を出力させる方法。
11. 少なくとも１つの輪郭除去動作を前記復号化されて色変換された画像ストリームに適用し、輪郭除去された画像ストリームを取得することを更に有し、
    前記逆トーンマッピングを実行することは、前記復号化された逆トーンマッピングビットストリームに基づいて前記輪郭除去された画像ストリームで実行される、請求項１０に記載の方法。

Images