JP6926157B2 - 別トーンでの描画をサポートするための動的メタデータの変換 - Google Patents

Description

関連出願への相互参照
本願は、２０１７年５月２日に出願された米国特許出願第１５／５８４，３６８号（そしてこの出願は２０１６年６月２０日に出願された米国特許仮出願第６２／３６４，７８０に基づく優先権を主張する）に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。

技術
本発明は、メタデータの変換全般に関する。より詳細には、本発明のある実施形態は、あるカラーボリューム変換（ＣＶＴ）モデルに対して固有であるメタデータセットを、明らかに異なったＣＶＴモデルに対して固有である既存のメタデータセットを用いて算出することに関する。

背景
超高精細テレビ（ＵＨＤＴＶ）に対してマスタリングされたコンテンツが、ハイダイナミックレンジ（ＨＤＲ）システムの導入とともに広く利用可能になりつつある。これらのシステムは、映像コンテンツのより迫真的な再生によって、没入的体験を提供する。典型的なＨＤＲシステムは、以下を特徴とする。すなわち、
・高いピーク輝度（例えば少なくとも７００、１０００、２０００、または１００００ｃｄ／ｍ²）
・ＨＤＲ電気−光学伝達関数（ＥＯＴＦ）（例えばSMPTE ST 2084：2014, "High Dynamic
Range Electro-Optical Transfer Function of Mastering Reference Displays;" or Hybrid Log-Gamma, ITU-R Recommendation BT.2100-0 (07/2016)、ならびにBBC Research &
Development White Paper WHP 283, July 2014, "Non-linear Opto-Electrical Transfer Functions for High Dynamic Range Television"）
・広色域（例えばDCI-P3，ITU-R Recommendation BT. Rec.2020以上）
・より大きなコントラスト比（例えば少なくとも８００：１、５０００：１、または１００００：１）
・４Ｋ以上の画素解像度（例えば３８４０×２１６０画素、４０９６×２１６０画素、７６８０×４３２０画素など）

全く相異なるＵＨＤＴＶコンテンツフォーマット群が出現することが予測される。例えば、ＵＨＤＴＶフォーマット群は、パラメトリックなトーンマッピングメタデータ、コンテンツ依存の動的メタデータ、および／またはリファレンスディスプレイメタデータに基づいて、あるいはまったくいかなるメタデータにも基づかずに、異なるＣＶＴモデルに依拠し得る。理想的には、ＨＤＲコンテンツフォーマットによらず、あるＨＤＲシステムは表現意図（カラーおよび最高輝度（ｂｒｉｇｈｔｅｓｔ））を、少なくとも妥当なレベルで維持すべきである。妥当な描画は、サポートするべき各ＨＤＲフォーマットでマスタリングされたコンテンツを、アーカイブすることにより得られる。しかし、この単純なソリューションは、より大きなメモリ容量、より長いコンテンツ制作時間、そしてコンテンツ供給の複雑さが増大することを要する。

発明者らの理解によれば、ある１つのＨＤＲフォーマットから演算的に効率的に遷移することが好ましい。１つのＨＤＲデバイスが、別のフォーマット（例えば、明らかに異な
ったＣＶＴモデルに基づくフォーマット）でマスタリングされたコンテンツを、利用可能なメタデータに基づいて、正確に描画するかあるいは少なくとも知覚的に妥当な近似物を描画するべきである。

同様の部材に同様の参照符号を付した添付図面の各図において、本発明の実施形態を限定する事なく例示する。

図１Ａは、本発明の一実施形態を示す単純化したフローチャートを示している。 図１Ｂは、本発明の一実施形態を示す単純化したフローチャートを示している。 図２Ａは、異なるＣＶＴモデルの、２つの伝達曲線についての曲線フィッティングの例を示している。 図２Ｂは、異なるＣＶＴモデルの、２つの伝達曲線についての曲線フィッティングの例を示している。 図２Ｃは、異なるＣＶＴモデルの、２つの伝達曲線についての曲線フィッティングの例を示している。 図３は、本発明の一実施形態による単純化した方法を示している。 図４は、本明細書に記載のコンピュータまたはコンピューティングデバイスを実装可能な、ハードウェアプラットフォーム例の単純化したブロック図を示している。

概要
本発明は、特許請求の範囲に示した要素に均等ないかなる要素も妥当に考慮に入れた、独立請求項によって定義される。従属請求項は、本発明のいくつかの実施形態の選択的な特徴に関する。

第１の実施形態において、ソースコンテンツメタデータを異なるＣＶＴモデル用に変換する。この実施形態において、第１のＣＶＴモデルに対するソースコンテンツメタデータを受け取る。受け取られた前記ソースコンテンツメタデータに基づき、前記第１のＣＶＴモデルについての第１の伝達曲線（transfer curve）を算出し得る。前記第１のＣＶＴモデルの第１の伝達曲線を、第２のＣＶＴモデルの第２の伝達曲線へマッピング（例えばベストフィットまたは妥当な近似）し得る。前記マッピングは、前記第２のＣＶＴモデルに対するコンテンツメタデータを生成する。生成されたコンテンツメタデータは、前記第２のＣＶＴモデルで動作するデバイスによって、ソースコンテンツが描画されるために用いられ得る。

第２の実施形態において、ハイダイナミックレンジコンテンツの再生をエンハンスする装置は、第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを受け取る手段と、受け取られた前記ソースコンテンツメタデータに基づき、前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定する手段とを有する。装置はさらに、前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線へマッピングする手段を有しており、前記マッピングは、前記第２のカラーボリューム変換モデルに対するコンテンツメタデータを生成する。

第３の実施形態において、ハイダイナミックレンジコンテンツの再生をエンハンスする装置は、第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを受け取る少なくとも１つの電子デバイスと、受け取られた前記ソースコンテンツメタデータに基づき前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定する少な
くとも１つの二次的な電子デバイスとを有する。前記少なくとも１つの二次的な電子デバイスは、少なくとも１つの電子デバイスおよび別の電子デバイスのうち少なくとも一方である。前記装置はまた、前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線へマッピングする少なくとも１つの三次的なデバイスを有し、前記少なくとも１つの三次的なデバイスは、前記少なくとも１つの電子デバイス、少なくとも１つの二次的な電子デバイス、および別の電子デバイスのうち少なくとも１つであり、前記マッピングは、前記第２のカラーボリューム変換モデルに対するコンテンツメタデータを生成する。

第４の実施形態において、ソースコンテンツを受け取ることと、前記ソースコンテンツに関連付けられた第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを生成することとを包含する、動的メタデータを変換する方法。前記方法はさらに、前記生成されたソースコンテンツメタデータに基づき前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定することと、前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線にマッピングすることとを包含し、前記マッピングは、前記第２のカラーボリューム変換モデルに対するコンテンツメタデータを生成する。

例示的な実施形態の説明
本明細書において、異なるＣＶＴモデルにおける所与のメタデータの組み合わせから、ＣＶＴモデルパラメータを作成、抽出、および／または導出するための手法を提供する。これらの手法は、ＨＤＲ能力を有するデバイス（例えばテレビ、セットトップボックス、コンピュータタブレット、スマートフォン、またはスマートウォッチ）、エンコーダまたはデコーダ、あるいはカラーグレーディングツールによって用いられ得る。一つ以上の処理ステップ、または全てのステップの総体を、クラウドまたはオフラインにおいて、単一のデバイスまたは複数のデバイスにより、リアルタイム、非リアルタイム、または準リアルタイムで行うことができる。

ＣＶＴモデルパラメータを作成、抽出、および／または導出するための概略的アプローチは、第１のＣＶＴモデルおよびその対応するメタデータを用いて順方向マッピングを適用し、所望の第２のＣＶＴモデルのための、等価またはベストフィットなマッピングとなるようなパラメータを決定する。つまり、本明細書に記載する特定の手法群は、第２のＣＶＴモデルのパラメータを調節することによる、第１のＣＶＴモデルのデータ点にベストフィットする第２のＣＶＴモデルのための曲線または関数の最適化を教示する。

理想的には、ソースコンテンツメタデータは受け取られたものであり、ソースコンテンツのみが利用可能である場合には、ソースコンテンツメタデータはソースコンテンツから決定されてもよい。

以下の例においては、説明目的のため、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に難読化しないように、周知の構造およびデバイスの細かな詳細までは説明しない。

方法例
図１Ａは、本発明の一実施形態を示す単純化したフローチャートを示す。

ソースコンテンツ１００、すなわちＨＤＲマスターコンテンツを受け取る。ソースコン
テンツ１００は映像サンプルまたは画素の表現を含み、圧縮化（ロスレスまたはロス有り）であるか非圧縮であるかを問わない。例えば、ソースコンテンツ１００は、
（ｉ）JPEG 2000 (ISO/IEC 15444-1:2004)、
（ｉｉ）Recommendation ITU-T H.265 (04/ 2015), "High efficiency video coding,"
（Ｍａｉｎの１０プロファイルを含む）、
（ｉｉｉ）Recommendation ITU-T H.264 (02/16), "Advanced video coding for generic
audiovisual services"、または
（ｉｖ）ＶＰ９（例えば"VP9 Bitstream & Decoding Process Specification ‐ v0.6"
２０１６年３月３１日付け）
で圧縮され得る。
上記（ｉ）〜（ｉｖ）の各々を、本願においてあらゆる目的で援用する。

ソースコンテンツ１００は、ＨＤＲメタデータ、例えばソースコンテンツメタデータ１１０に対応付けられ得る。ＨＤＲメタデータ、例えばソースコンテンツメタデータ１１０は、静的メタデータ、動的メタデータ、またはその両方を含み得る。静的メタデータは、ソースコンテンツ１００をカラーグレーディングするために用いられる１つ以上のリファレンスマスタリングディスプレイ、例えばSMPTE ST 2086：2014 (October 13, 2014), "Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Image"（この規格書を本願においてあらゆる目的で援用する）を記述する。

一方、動的メタデータは、限定されないが、ピクチャまたは区切られたピクチャグループ（例えば１シーンなど）についての画像特性、例えば最小、最大、平均、中央値輝度を記述し、あるいはこれに関連する。動的メタデータはまた、ある領域の平均明度（ｉｎｔｅｎｓｉｔｙ）、あるシーンにおける最も明るい領域の中心画素、シーンピーク、カラー彩度マッピング重み、クロミナンス補償重み、彩度ゲイン、その他などをさらに含み得る。本明細書に記載する各実施形態において、動的メタデータは、部分的には、ＳＭＰＴＥ
ＳＴ ２０９４−１、−１０、−２０、−３０、または−４０によって定義されることができる。これらの規格書の全てを、あるゆる目的で援用する（特に、メタデータパラメータの定義および計算について、例えばサンプル間の線形または双線形補間など）。

１つのシーンは、タイムスタンプ（例えば開始時刻、終了時刻、および／または持続時間）、ピクチャ順カウント（ＰＯＣ）（開始ＰＯＣ、停止ＰＯＣ、および／またはＰＯＣ差）、フィルムトランジション（例えば、黒または任意の特定の色へのフェード、カット、Ｌカット、ディゾルブ、ワイプ、マッチカットなど）、ビットストリーム中のマーカ、１つ以上の符号化パラメータ（例えばフィルムグレイン特性（ｆｉｌｍ ｇｒａｉｎ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）のいずれかの持続性、フレーム格納配置（ｆｒａｍｅ ｐａｃｋｉｎｇ ａｒｒａｎｇｅｍｅｎｔ）、ポストフィルターヒント（ｐｏｓｔ−ｆｉｌｔｅｒ ｈｉｎｔ）、トーンマッピング情報、ディスプレイ方向（ｄｉｓｐｌａｙ ｏｒｉｅｎｔａｔｉｏｎ）、復号化ピクチャハッシュ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｈａｓｈ））の調整、または瞬時復号更新ピクチャ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ ｐｉｃｔｕｒｅ）の見え方によって、識別され得る。

本明細書の範疇において、動的メタデータはまた、ＣＶＴモデルを記述することができる。ＣＶＴモデルは、ソースコンテンツ１００がどのように異なるカラーボリュームに対してマッピングされるべきかを記述する。例えば、１つのＣＶＴモデルは、ＨＤＲから低減したスタンダードダイナミックレンジ（ＳＤＲ）への変換、あるいは、ターゲットディスプレイのカラーボリュームへのマスタリングカラーボリューム（これはより大きいか、より小さいか、またはその他異なり得る）からのマッピングを、決定付ける。

ソースコンテンツ１００およびソースコンテンツメタデータ１１０は、１つのビットス
トリーム中においてまとめて受け取られるか、あるいは別々に受け取られ得る。ビットストリームは、コンピュータメモリ、有形のコンピュータ可読媒体（例えば光ディスクまたは磁気ディスク）、または不揮発性メモリカードに記憶されているか、あるいは、テレコミュニケーションネットワーク（例えばインターネット、無線サービス、電話、短距離無線接続（例えばＢｌｕｅｔｏｏｔｈ）、ケーブル放送、衛星放送、および／または無線テレビ放送）を介して送信された電磁信号であってもよい。このようなビットストリームから、ソースコンテンツメタデータ１１０が抽出され得る。ソースコンテンツメタデータが利用可能でない場合には、ソースコンテンツから生成または決定されてもよい。

この特定の実施形態において、ソースコンテンツメタデータ１１０は、動的メタデータ（不図示）および静的メタデータの両方を包含する、メタデータセット１１２を含む。メタデータセット１１２の動的メタデータは、例えばシグモイド伝達曲線１１４などのシグモイド伝達関数によって特徴付けられる、ある特定のＣＶＴモデルに対応する。映像シーン（または１つのピクチャ）の最小、平均、最大色成分値は、ターゲットディスプレイの最小、平均、および最大値に対応し、シグモイド伝達曲線１１４を定義する。シグモイド伝達曲線１１４は、色成分値のターゲットディスプレイへのマッピングを決定付ける。シグモイド伝達関数のある特定の態様が、米国特許第８，５９３，４８０号に記載されている。この特許文献を本願においてあらゆる目的で援用する。メタデータセット１１２の動的メタデータはさらに、伝達関数を調節するためのパラメータ、例えばオフセット（最小、平均、および最大色成分値）、トーンマッピングゲイン、トーンマッピングオフセット、彩度ゲイン、補償重み、およびその他を含む。これらのパラメータは、１つ以上の固定点を設定することを可能にし、かつ／または１つ以上の領域における曲線の傾きを制御する。

ある特定の実施形態において、シーン単位（それぞれ時間間隔が特定されている）での動的メタデータは、以下のパラメトリック値のうち１つ以上によって、ＣＶＴモデルを記述する。すなわち、
ａ．そのシーン中における全画像を通じ選択された画素の、知覚的量子符号化された最大ＲＧＢ値のうち、最低、平均および最高のもの（［０，１］で正規化可能）、
ｂ．最大ＲＧＢ値の、最小、平均、最大オフセット、
ｃ．トーンマッピングオフセット、
ｄ．トーンマッピングゲイン、
ｅ．トーンマッピングガンマ（一例として、０．００１刻みで［０．５，１．５］の範囲を有し、１．０をデフォルトとする）、
ｇ．クロマ補償重み、これはクロマ調整対象の量である（一例として、［−０．５，０．５］の範囲を有する、および
ｈ．彩度ゲイン、これは彩度調整対象の量である（一例として、［−０．５，０．５］の範囲を有する）。

伝達関数、例えば伝達曲線１１６は、ターゲット再生デバイス１３０がサポートする、明らかに異なったＣＶＴモデルを表す。この実施形態例において、伝達曲線１１６は区分的関数によって定義され、線形部分１１８および非線形部分１２０を有する。非線形部分１２０は、任意の予め定められた曲線、例えばＮ次曲線であってもよい。図１において、非線形部分１２０をベジエ曲線として示している。ベジエ曲線は、二次、三次、あるいはそれより高次であってもよい。代替的に、非線形部分１２０は、１つ以上のＢ−スプライン、非一様有理Ｂ−スプライン、Ｍ−スプライン、Ｉ−スプライン、Ｔ−スプライン、ボックススプライン、および任意の多項式関数であり得る。さらに代替的には、伝達曲線１１６は、単一の関数により定義されていて、区分的でなくてもよい。

伝達関数、例えば伝達曲線１１６は、ＨＤＲメタデータ１２２により特徴付けられる。
ＨＤＲメタデータ１２２は、静的メタデータ（不図示）および動的メタデータからなるメタデータセット１２４を有する。メタデータセット１２４の動的メタデータは、ベジエ曲線トーンマッピング器に対し、１つ以上のアンカー（例えば１、２、３、４、５またはそれ以上）および１つ以上のニーポイント（例えば１、２、３、４、５またはそれ以上）を有し得る。これらのパラメータは、１つ以上の固定点を設定することを可能にし、かつ／または１つ以上の領域における曲線の傾きを制御する。メタデータセット１２４はさらに、画像特性（例えば色成分の平均最大、明画素の割合（ｆｒａｃｔｉｏｎ）、その他）ならびに、ターゲットディスプレイ特性（例えば最大輝度および実際のピーク輝度）を含む。

図１Ａに示すように、ソースコンテンツメタデータ１１０から決定されたシグモイド伝達関数、例えばシグモイド伝達曲線１１４を用い、メタデータ変換ユニット１２６によって、伝達関数、例えば伝達曲線１１６に対するベストフィット（または知覚的に妥当なフィット）を算出する。フィットは、例として、多変量線形回帰、単純線形回帰、平方和、オフセット絶対値、最小二乗（線形または非線形）、二乗平均平方根誤差、平均絶対偏差、または平均二乗誤差によって決定され得る。得られたフィットは、メタデータセット１２４の動的メタデータの少なくとも１つのメタデータパラメータを定義する。このフィットは、線形部分１１８、非線形部分１２０、またはその両方を特徴付ける。すなわち、適切なベジエ曲線に対する必要なアンカーおよびニーポイントが、算出され得る。

知覚的に妥当なフィットまたはマッチは、予め定められた条件を満たすソリューションたり得る。例えばある値の範囲にわたって伝達曲線間の誤差が所定の量またはパーセンテージ未満である（例えば５％未満）ことなどである。あるいは、シーン（またはピクチャ）の任意の画素の再生における算出上の最悪の場合の誤差が、ある特定の閾値を超えなければ（例えば約３、５、または８ｃｄ／ｍ²未満、あるいは約１〜４丁度可知差異（ｊｕ
ｓｔ ｎｏｔｉｃｅａｂｌｅ ｄｉｆｆｅｒｅｎｃｅ：ＪＮＤ）未満）、容認可能であり得る。本発明の特定の実施形態において、広い範囲の輝度についてウェーバーの法則（例えばΔＬ／Ｌはある定数（ウェーバー定数）に等しいなど）に基づいて客観的に決定されたＪＮＤ値を用いることができる。ウェーバー定数は、約０．０１、０．００５、または０．００１未満であり得る。ウェーバーの法則は、ＪＮＤ値の妥当な尺度を提供するが、人間の視覚システムの順応は個人間で異なり、また実は一個人についても、全ての輝度レベルまたは空間周波数において一定なわけではない。

ある特定の実施形態として、伝達曲線の１つ以上の特定の点における誤差を最小にする、あるいは無くすことが望ましくあり得る。つまり、他の場所で誤差が増大していようとも、フィットは、中心点、最大点、および最小点のうち少なくとも１つについて、伝達曲線に正確にマッチしていればよい。これは、制作意図をより良く保存するためとして容認可能である。例えば、もし中心点が正確にマッチするならば（あるいは中間トーンが曲線フィットについてより大きな重みを与えられるならば）、皮膚の色素沈着（ｓｋｉｎ ｐｉｇｍｅｎｔａｔｉｏｎ）その他の顕著な特徴の忠実な再生を、明るいハイライトに対して優先してもよい。このようにして、ＣＶＴモデルによることなく、中間トーン値が一貫してマッピングされる。中心点は、１つのシーンまたはピクチャにおける平均、中央値、または平均色成分値であり得る。これは、そのシーンまたはピクチャのヒストグラムによって算出あるいは決定されることができる。

さらに別の選択肢として、フィットは、ある点または所定の応答レンジ（例えばミッドレンジ値）内において、伝達曲線（例えば伝達曲線１１４および１１６）の傾きにベストマッチしていればよい。所定の範囲は、一例として、中心点の＋／−１０％またはそれ以下であり得る。もし伝達曲線が区分的曲線であれば、各傾きまたは曲線部分は、フィット決定について異なるように重み付けされ得る。例えば、メタデータ変換ユニット１２６は
、非線形部分に対し、計算上の重みをより大きく与えることによって、伝達曲線１１６の線形部分よりも強調し得る。

メタデータセット１２４の全てのパラメータがメタデータ変換ユニット１２６によって定義されていないのであれば、デフォルト値を適用してよい。例えば、メタデータ変換ユニット１２６によって解を得られない場合、カラー彩度重み付けパラメータは、約１／３、１／２、または１に設定されてよい。別の一例として、１つのシーンまたはピクチャにおける明画素の割合（ｆｒａｃｔｉｏｎ）についてのパラメータは、デフォルト値として約０、１／２（５０％）、または１（１００％）に設定され得る。

メタデータセット１２４の動的メタデータが算出されれば、ターゲット再生デバイス１３０は、ＨＤＲマスターコンテンツ、例えばソースコンテンツ１００（ＨＤＲメタデータ１２２によってガイドされる）を、制作意図を維持する範囲で最大性能まで描画し得る。前述したように、ターゲット再生デバイス１３０はＳＤＲデバイスであってもよく、その場合ソースコンテンツ１００はより低いダイナミックレンジおよび／またはより低い色域に下方トーンマッピングされる。一方、もしターゲット再生デバイス１３０がより上位のＨＤＲデバイスであれば、ソースコンテンツ１００はより高いダイナミックレンジおよび／またはより広い色域にマッピングされ得る。

図１Ｂは、本発明の別の実施形態を示す単純化したフローチャートを示す。この実施形態において、メタデータ変換ユニット１２６は、第１のＣＶＴモデルの伝達関数についてのパラメータを、少なくとも部分的には、別の伝達関数によって第２のＣＶＴモデルを記述するメタデータに基づいて決定する。具体的には、メタデータセット１２４から決定される区分的伝達関数、例えば伝達曲線１１６を用いて、伝達関数に対するベストフィット（または妥当なフィット）を算出する（伝達曲線１１４）。フィットは、例として、多変量線形回帰、単純線形回帰、平方和、オフセット絶対値、最小二乗（線形または非線形）、二乗平均平方根誤差、平均絶対偏差、または平均二乗誤差によって決定され得る。得られたフィットは、メタデータセット１１２の動的メタデータの少なくとも１つのメタデータパラメータを定義する。フィットは、そのパラメータ化されたメタデータ特性によって、得られる伝達関数を特徴付けている。

メタデータセット１１２の全てのパラメータがメタデータ変換ユニット１２６の結果として定義されていないのであれば、デフォルト値を適用してよい。例えば、メタデータ変換ユニット１２６によって解を得られない場合、色成分オフセット（例えば最小、最大、および平均成分オフセット）は０に設定されてよい。別の一例として、１つのシーンまたはピクチャ中のトーンマッピングゲインについてのパラメータは、デフォルト値として約１／２（５０％）または１（１００％）に設定され得る。

メタデータセット１１２の動的メタデータが算出されれば、ターゲット再生デバイス１３０は、ＨＤＲマスターコンテンツ、例えばソースコンテンツ１００（メタデータセット１１２のＨＤＲメタデータによってガイドされる）を、制作意図を維持する範囲で最大性能まで描画し得る。前述したように、ターゲット再生デバイス１３０はＳＤＲデバイスであってもよく、その場合ソースコンテンツ１００はより低いダイナミックレンジおよび／またはより低い色域に下方トーンマッピングされる。一方、もしターゲット再生デバイス１３０がより上位のＨＤＲデバイスであれば、ソースコンテンツ１００はより高いダイナミックレンジおよび／またはより広い色域にマッピングされ得る。

メタデータ変換ユニット１２６はリアルタイムに、ターゲット再生デバイス１３０を含むＨＤＲデバイス（例えばテレビ、携帯電話、セットトップボックス、ゲームコンソール機、ホームシアターメディアサーバ、シネマサーバ、ブルーレイプレーヤーなど）、によ
って現場で実行され得ることが理解される。または、メタデータ変換ユニット１２６はオフラインおよび／またはリモートで実行され得る。メタデータ変換ユニット１２６がリモートで実行される場合は、ターゲット再生デバイス１３０はリポジトリ（例えばデータベースネットワーク。中央集中型であっても、エンドユーザーに近くなるよう地理的に分布されていてもよい）からアクセスし、ＨＤＲコンテンツマスター、例えばソースコンテンツ１００のための予め算出されたメタデータセットをダウンロードし得る。この場合、メタデータセットは、もしソースコンテンツ１００が既にターゲット再生デバイス１３０上に在るならば、スタンドアローンのビットストリームとして送信されてよい。メタデータセットがリモートからアクセスされる場合、セキュリティ強化のため、暗号化および法的マーキングを用いることができる。

図２Ａ〜２Ｃは、２つの明らかに異なったＣＶＴモデルの曲線フィッティングの伝達曲線の、単なる例示である。図２Ａにおいて、伝達曲線１１４および１１６間の差または結果としての誤差は、ダイナミックレンジ全体にわたって、ベストフィットマッチとなるよう最小化されている。図２Ｂは、点２１０において伝達曲線１１４および１１６がマッチされている様子を示している。これにより、点２１０あるいはその付近において、色成分値の信頼性のある再生が得られる。最後に、図２Ｂは、飽和点２２０あるいはその付近において、伝達曲線１１４および１１６がマッチしていることを示している。

図３は、本発明の一実施形態における、単純化した方法３００を示している。以下では方法３００はシーケンシャルな数個の動作として説明しているが、説明する動作のうちのいくつかは異なる順序で行ってもよいことが理解される。また、いくつかの動作は、シーケンシャルではなく並列に、あるいはオプションとして行われてもよい。

まず、ステップ３１０において、ＨＤＲデバイスからソースコンテンツを受け取る。第１のＣＶＴモデルに対応するソースコンテンツメタデータを、ステップ３２０において受け取る。ソースコンテンツメタデータは、図１Ａ〜１Ｂに示した通りであってもよい。ステップ３３０および３４０において、第１のＣＶＴモデルにおける第１の伝達曲線が決定され、第２のＣＶＴモデルの第２の伝達曲線に曲線フィットされる。第１および第２のＣＶＴモデルは、明らかに異なったものであり得る。曲線フィットを定義するパラメータは、第２のＣＶＴモデルに対するメタデータとして、ステップ３５０で格納される。最後に、ステップ３６０において、生成されたパラメータに基づく第２のＣＶＴモデルに従って、ターゲットデバイスがソースコンテンツを描画し得る。ステップ３６０において、ターゲットデバイスは、その性能内でソースコンテンツを描画（さらなるカラーボリューム変換、画素サブサンプリング、アップサイジング、ダウンサイジング、リサイズ、アップスケーリング、ダウンスケーリング、回転、カラー彩度クリッピング、またはその他のディスプレイ描画動作の後でもよい）することができる。

別の手法においては、第１および第２のＣＶＴモデル由来のトーン伝達曲線および彩度伝達曲線を、独立してマッチングする。トーン曲線マッチングにおいては、第１のモデルからのメタデータを用いて第１のトーン曲線を生成する。第２のモデルについての第２のトーン曲線を用いて、第２のモデルに対するメタデータを計算するか、あるいは、第２のトーン曲線を第１のトーン曲線にマッチ（あるいは妥当に近似）させるためのメタデータを作成する。彩度曲線マッチングにおいては、第１のモデルからのメタデータを用いて、第１のカラー彩度曲線を作成する。第２のモデルについての第２の彩度曲線を用いて、第２のモデルに対するメタデータを計算するか、あるいは、第２の彩度曲線を第１の彩度曲線にマッチ（あるいは妥当に近似）させるための、第２のモデルに対するメタデータを作成する。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のようなハイダイナミックレンジを有する画像のカラーボリューム変換に関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載のカラーボリューム変換プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行する少なくとも１つのコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、ゲームコンソール機、ホームメディアサーバ、携帯電話、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なコンピュータ可読なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のようなＨＤＲ画像のカラーボリューム変換に関する方法を実装し得る。本発明は、コンピュータプログラムなどのプログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットの、コンピュータ読み取り可能な信号を格納する任意の非一時的媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

コンポーネントのそれぞれの機能は、例えば電子デバイスと、二次的な電子デバイスと、三次的な電子デバイスなどのような複数の電子デバイス、電子デバイスの組み合わせ、または単一の電子デバイスによって実行され得る。

一実施形態において、本明細書に記載の手法は、１つ以上の専用コンピューティングデバイスにより実装される。専用コンピューティングデバイスは、本手法を実行するようにハードワイヤードされていてもよく、あるいは、本手法を実行するように持続的にプログラムされた、１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子機器を含んでもよく、または、ファームウェア、メモリその他の記憶装置、あるいはその組み合わせ内におけるプログラム命令に従って本手法を実行するようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含み得る。そのような専用コンピューティングデバイスはまた、本手法を達成するためのカスタムプログラミングを備えたカスタムのハードワイヤード論理回路、ＡＳＩＣ、またはＦＰＧＡを組み合わせていてもよい。専用コンピューティングデバイスは、本手
法を実装するためのハードワイヤードおよび／またはプログラム論理回路を備えた、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイスまたはその他の任意のデバイスであってもよい。

例えば、図４は、本発明の一実施形態が実装され得るコンピュータシステム４００を示すブロック図である。コンピュータシステム４００は、情報を通信するためのバス４０２またはその他の通信機構と、バス４０２に結合されて情報を処理するハードウェアプロセッサ４０４とを有する。ハードウェアプロセッサ４０４は、例えば汎用マイクロプロセッサであってもよい。

コンピュータシステム４００はまた、バス４０２に結合されており情報やプロセッサ４０４によって実行される命令を格納する、ランダムアクセスメモリ（ＲＡＭ）その他の動的記憶装置などの、メインメモリ４０６を有する。メインメモリ４０６はまた、プロセッサ４０４によって実行される命令の実行中における一時変数またはその他の中間的情報を格納するためにも用いられ得る。そのような命令は、プロセッサ４０４がアクセス可能な非一時的記憶媒体に格納されたとき、コンピュータシステム４００を、命令によって指定された動作を実行するようにカスタマイズされた専用機器に変える。

コンピュータシステム４００はさらに、バス４０２に結合され、静的情報やプロセッサ４０４のための命令を格納する、リードオンリーメモリ（ＲＯＭ）４０８またはその他の静的記憶装置を有する。磁気ディスクまたは光学ディスクなどの記憶装置４１０が、情報および命令を格納するために設けられ、バス４０２に結合される。

コンピュータシステム４００は、バス４０２を介して、コンピュータユーザーに情報を表示するための、液晶ディスプレイなどのディスプレイ４１２に結合されていてもよい。英数字および他のキーを含む入力装置４１４が、バス４０２と結合され、情報およびコマンド選択をプロセッサ４０４に伝える。別のタイプのユーザー入力装置は、方向情報およびコマンド選択をプロセッサ４０４に伝え、ディスプレイ４１２上のカーソル移動を制御する、マウス、トラックボールまたはカーソル方向キーなどの、カーソルコントロール４１６である。この入力装置は、典型的には、２つの軸、第１の軸（例えばｘ）および第２の軸（例えばｙ）において、２つの自由度を有することにより、デバイスは平面内の位置を特定できる。

コンピュータシステム４００は、コンピュータシステムと協働してコンピュータシステム４００を専用機器にするか、専用機器になるようにプログラムする、カスタマイズされたハードワイヤード論理回路、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラム論理回路を用いて、本明細書に記載の手法を実装し得る。一実施形態において、本明細書に記載の手法は、メインメモリ４０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ４０４に応答して、コンピュータシステム４００により実行される。そのような命令は、記憶装置４１０のような別の記憶媒体から、メインメモリ４０６へと読み込まれ得る。メインメモリ４０６に含まれる命令のシーケンスの実行は、プロセッサ４０４に、本明細書に記載の処理ステップを実行させる。別の実施形態において、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を用い得る。

本明細書で用いられる用語「記憶媒体」は、機器を特定の形態で動作させるデータおよび／または命令を格納する、任意の非一時的な媒体をいう。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶装置４１０のような光学または磁気ディスクを含む。揮発性媒体は、メインメモリ４０６のような動的メモリを含む。記憶媒体の一般的な形態は、例えば、フロッピーディスク、フレキシ
ブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープまたは任意の他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学データ記憶媒体、穴のパターンを有する任意の物理的な媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

記憶媒体は、伝達媒体とは別個のものであるが、伝達媒体と併せて用いられ得る。伝達媒体は、記憶媒体間の情報転送に関与する。例えば、伝達媒体は、同軸ケーブル、銅線、光ファイバを含み、バス４０２を構成する配線を含む。伝達媒体はまた、ラジオ波または赤外データ通信時において生成されるような、音波または光波の形態を取り得る。

１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ４０４に送る際において、様々な形態の媒体が関与し得る。例えば、命令は、最初、リモートコンピュータの磁気ディスクまたはソリッドステートドライブ上に保持され得る。リモートコンピュータは、命令を自身の動的メモリに読み込み、モデムを用いて命令を電話線を介して送り得る。コンピュータシステム４００に対してローカルにあるモデムは、電話線上においてデータを受け取り、赤外線送信機を用いることにより、データを赤外線信号に変換し得る。赤外線検知器が、赤外線信号で送られたデータを受け取り得、そして適切な回路がデータをバス４０２上に配置し得る。バス４０２は、データをメインメモリ４０６に送り、プロセッサ４０４はメインメモリ４０６から命令を取り出し実行する。メインメモリ４０６により受け取られた命令は、オプションとして、プロセッサ４０４により実行される前または後において、記憶装置４１０に格納され得る。

コンピュータシステム４００はまた、バス４０２と結合される通信インターフェース４１８を含む。通信インターフェース４１８は、ローカルネットワーク４２２と接続されたネットワークリンク４２０との、双方向のデータ通信結合を提供する。例えば、通信インターフェース４１８は、サービス総合デジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話線にデータ通信接続を提供し得るモデムである。別の例として、通信インターフェース４１８は、ローカルエリアネットワーク（ＬＡＮ）カードであり、適合性のあるＬＡＮへのデータ通信接続を提供する。無線リンクを実装してもよい。任意のそのような実装において、通信インターフェース４１８は様々なタイプの情報を表すデジタルデータストリームを送る、電気的、電磁気的または光学的な信号を送受信する。

ネットワークリンク４２０は、典型的には、データ通信を１つ以上のネットワークを介して他のデータデバイスに提供する。例えば、ネットワークリンク４２０は、ローカルネットワーク４２２を介して、ホストコンピュータ４２４への接続、または、インターネットサービスプロバイダ（ＩＳＰ）４２６によって動作されるデータ装置への接続を提供する。そして、ＩＳＰ４２６は、現在一般に「インターネット」４２８と呼ばれている全世界的なパケットデータ通信ネットワークを介して、データ通信サービスを提供する。ローカルネットワーク４２２およびインターネット４２８の両方とも、デジタルデータストリームを搬送する、電気的、電磁気的、または光学的な信号を用いる。コンピュータシステム４００とやり取りされるデジタルデータを搬送する、様々なネットワークを介した信号、および、ネットワークリンク４２０上および通信インターフェース４１８を介した信号は、伝達媒体の形態例である。

コンピュータシステム４００は、ネットワーク（単数または複数）、ネットワークリンク４２０および通信インターフェース４１８を介して、メッセージを送り、プログラムコードを含むデータを受け取り得る。インターネットを例に挙げると、サーバ４３０は、インターネット４２８、ＩＳＰ４２６、ローカルネットワーク４２２および通信インターフェース４１８を介して、アプリケーションプログラムのために要求されるコードを伝達し
得る。

受け取られたコードは、受信されてそのままプロセッサ４０４により実行されてもよく、かつ／または、後で実行するために記憶装置４１０またはその他の不揮発性記憶装置に格納されてもよい。

均等物、拡張物、代替物、その他
この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる１組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。

Claims (19)

1. 動的メタデータを変換する方法であって、
   第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを受け取ることであって、コンテンツと関連する前記ソースコンテンツメタデータを受け取ることと、
   受け取られた前記ソースコンテンツメタデータに基づき、前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定することと、
   前記第１のカラーボリューム変換モデルの第１の伝達曲線を、第２のカラーボリューム変換モデルの第２の伝達曲線にマッピングすることであって、前記マッピングすることは、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線に曲線フィッティングすることを包含する、マッピングすることと、
   を包含し、
   前記マッピングすることは、前記第２のカラーボリューム変換モデルに対するコンテンツメタデータを生成することを含み、
   前記第２のカラーボリューム変換モデルに対する生成されたコンテンツメタデータに基づいて前記コンテンツを描画する、方法。
2. 前記マッピングすることは、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線にベストフィットマッチすることを包含し、前記第１の伝達曲線は第１のトーン伝達曲線であり、前記第２の伝達曲線は第２のトーン伝達曲線である、請求項１に記載の方法。
3. 前記マッピングすることは、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線に知覚的に妥当にマッチさせることを包含し、前記第１の伝達曲線は第１のトーン伝達曲線であり、前記第２の伝達曲線は第２のトーン伝達曲線である、請求項１に記載の方法。
4. 前記第２のカラーボリューム変換モデルの前記生成されたコンテンツメタデータは、ベジエ曲線に対する少なくともニーポイント、およびアンカーを含む、請求項１に記載の方法。
5. 前記第１のカラーボリューム変換モデルのソースコンテンツメタデータは、ピクチャおよび区切られたピクチャグループのうち少なくとも一方の、最小、平均、および最大の色成分値を含む、請求項４に記載の方法。
6. 前記第２のカラーボリューム変換モデルの前記生成されたコンテンツメタデータは、ピクチャおよび区切られたピクチャグループのうち少なくとも一方の、最小、平均、および最大の色成分値を含む、請求項１に記載の方法。
7. 前記第１のカラーボリューム変換モデルのソースコンテンツメタデータは、ベジエ曲線に対する少なくとも１つのニーポイント、およびアンカーを含む、請求項６に記載の方法。
8. 前記マッピングすることは、カラー彩度マッピングを行うことを包含する、請求項１に記載の方法。
9. 前記マッピングすることは、輝度マッピングを行うことを包含する、請求項１に記載の方法。
10. 前記マッピングすることは、トーンマッピングを行うことを包含する、請求項１に記載の方法。
11. 前記マッピングすることは、リアルタイムおよび準リアルタイムのうち少なくとも一方で行われる、請求項１に記載の方法。
12. 前記マッピングすることはネットワーク化クラウドにおいて行われる、請求項１に記載の方法。
13. 前記マッピングすることはオフラインで行われる、請求項１に記載の方法。
14. ハイダイナミックレンジコンテンツの再生をエンハンスする装置であって、
    第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを受け取る手段であって、前記ソースコンテンツメタデータはコンテンツと関連する、手段と、
    受け取られた前記ソースコンテンツメタデータに基づき、前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定する手段と、
    前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線にマッピングする手段であって、前記マッピングすることは、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線に曲線フィッティングすることを包含する、マッピングする手段と、
    前記第２のカラーボリューム変換モデルに従って前記コンテンツを描画することと
    を備える、装置。
15. ハイダイナミックレンジコンテンツの再生をエンハンスする装置であって、
    第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを受け取る、少なくとも１つの電子デバイスであって、前記ソースコンテンツメタデータはコンテンツと関連する、少なくとも１つの電子デバイスと、
    受け取られた前記ソースコンテンツメタデータに基づき、前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定する少なくとも１つの二次的な電子デバイスであって、前記少なくとも１つの二次的な電子デバイスは、前記少なくとも１つの電子デバイスおよび別の電子デバイスのうちの少なくとも一方である、二次的な電子デバイスと、
    前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線へ曲線フィッティングすることによって、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線にマッピングする少なくとも１つの三次的なデバイスであって、前記少なくとも１つの三次的なデバイスは、前記少なくとも１つの電子デバイス、少なくとも１つの二次的な電子デバイス、および別の電子デバイスのうち少なくとも１つである、三次的なデバイスと、
    前記第２のカラーボリューム変換モデルに従って前記コンテンツを描画することと
    を備える、装置。
16. 動的メタデータを変換する方法であって、
    ソースコンテンツを受け取ることと、
    前記ソースコンテンツに関連付けられた第１のカラーボリューム変換モデルに対するソースコンテンツメタデータを生成することであって、コンテンツと関連する前記ソースコンテンツメタデータを受け取ることと、
    前記生成されたソースコンテンツメタデータに基づき、前記第１のカラーボリューム変換モデルについての第１の伝達曲線を決定することと、
    前記第１のカラーボリューム変換モデルの第１の伝達曲線を第２のカラーボリューム変換モデルの第２の伝達曲線にマッピングすることであって、前記マッピングは、前記第１のカラーボリューム変換モデルの第１の伝達曲線を前記第２のカラーボリューム変換モデルの第２の伝達曲線に曲線フィッティングすることを包含する、マッピングすることと、
    を包含し、
    前記マッピングすることは、前記第２のカラーボリューム変換モデルに対するコンテンツメタデータを生成することを含み、
    前記第２のカラーボリューム変換モデルに対する生成されたコンテンツメタデータに基づいて前記コンテンツを描画する、方法。
17. 前記マッピングすることはカラー彩度マッピングを行うことをさらに包含する、請求項１６に記載の方法。
18. 前記マッピングすることは輝度マッピングを行うことをさらに包含する、請求項１６に記載の方法。
19. 前記マッピングすることはトーンマッピングを行うことをさらに包含する、請求項１６に記載の方法。

Images