JP6316910B2 - シーン基準のメタデータ捕捉のための基準カード - Google Patents

Description

関連出願への相互参照
本願は2012年4月30日に出願された米国仮特許出願第61/640,166号への優先権を主張するものである。同出願の内容はここに参照によりその全体において組み込まれる。

技術
本発明は概括的には撮像システムに、詳細にはシーン基準の（scene-referred）メタデータを用いて画像を処理する撮像システムに関する。

シーンからカメラによって捕捉された源画像に対してデジタルおよび／またはアナログ操作が実行されて、公開のための処理された画像を生成することがある。源画像は、種々のカメラ、種々のカメラ設定および種々のシーンで化学的なフィルムまたはデジタル媒体上に記録された色値またはグレーレベルを含む。種々の画像からの色値またはグレーレベルのいくつかは、現実における同じ人物またはオブジェクトに対応することがあるが、シーンから画像を捕捉する際に異なるカメラおよび／または異なる設定が使われうるので、異なることもある。

源画像に対して実行される画像処理動作は、いかなる特定の画像とも異なる値範囲をもつ動作パラメータとも独立な色値またはグレーレベルに基づいていてもよい。動作パラメータについての値を決定するために、源画像がサンプリングされてもよい；比較的限られた色または陰影を含みうる源画像からヒストグラムが構築されてもよい。こうして、画像サンプリングまたはヒストグラム構築から決定できなかった欠けている色または陰影についての知識の欠如を補償する推定がなされることがある。結果として、画像処理動作は、不正確さをもって実行されることがあり、生成される画像において望ましくない視覚的効果を生じる結果となる。

上記のセクションで記述されたアプローチは、追求されることができたアプローチであるが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明は、限定ではなく例として付属の図面に示される。図面において、同様の参照符号は同様の要素を指す。
複数の画像細部を含む例示的なシーンを示す。 ある実施形態に基づく例示的な基準カードを示す。 ある実施形態に基づく例示的な画像処理システムを示す。 ある実施形態に基づく例示的な画像処理ユニットを示す。 ある実施形態に基づく例示的なプロセス・フローを示す。 ある実施形態に基づく、本稿に記載されるようなコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す。

シーン基準のメタデータをもつ画像の処理に関係する例示的な可能な実施形態が本稿において記述される。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽し、埋没させ、曖昧にするのを避けるために、網羅的な詳細さでは記述されない。

本稿では例示的な実施形態は次のアウトラインに従って記述される（アウトラインの見出しは単に参照のためであり、いかなる仕方であれ本発明の範囲を制御することはない）：
１．全般的概観
２．基準および非基準源画像
３．シーン基準のメタデータの生成および更新
４．シーン基準のメタデータの例示的な応用
５．処理フロー
６．実装機構――ハードウェアの概観
７．等価物、拡張、代替その他。

〈１．全般的概観〉
この概観は、本発明の可能な実施形態のいくつかの側面の基本的な記述を提示する。この概観はその可能な実施形態の諸側面の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、その可能な実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特にその可能な実施形態の何らかの範囲を画定するものと理解されることも、意図されていない。この概観は単に、その例示的な可能な実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な可能な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。

本稿に記載される技法のもとでは、シーン基準のメタデータが画像処理動作からの出力画像のために生成されてもよい。まず、基準カードが出力画像のための源画像が撮影されるのと同じシーン内に置かれてもよい。シーン内に基準カードを含む画像が源画像を撮影するのと同じカメラによって撮影されてもよい。基準カードは、さまざまな基準色値または基準グレーレベルを表わすパターン化された空間的諸部分を有していてもよい。前記基準色値または基準グレーレベルを表わすパターン化された空間的諸部分を含む画像中の生のピクセル値が、前記基準値（基準色値または基準グレーレベル）と、同じシーンから撮影された源画像中の符号化された値（色値またはグレーレベル）との間の対応関係を導出するために使用されてもよい。前記基準値およびパターン化された空間的諸部分に表わされている符号化された値および両者の間の対応関係に基づいてシーン基準のメタデータが生成され、同じシーンの画像とともに、該画像の画像メタデータの一部として含められてもよい。本稿の用法では、「シーン基準のメタデータ」は、該シーン基準のメタデータが付随する画像とは別個で異なるデータをいう。たとえば、画像はシーン基準のメタデータを使うことなくレンダリングされてもよい。

符号化された値がその後の画像処理において源画像の派生画像における新しい符号化された値に変更または更新されるとき、シーン基準のメタデータはしかるべく更新されてもよい。派生画像とともに更新されるシーン基準のメタデータは、対応する派生画像についての画像メタデータの一部として、下流の画像処理装置または画像レンダリング装置に与えられる。

例解のため、シーン基準のメタデータを生成するために使われる画像（たとえば基準カードを含む画像）は基準源画像（reference source image）と称されてもよい。一方、前記シーン基準のメタデータをその画像メタデータとして用いて出力画像を導出するために使われる画像は非基準源画像（non-reference source image）と称されてもよい。いくつかの実施形態では、基準カードをもつ源画像を直接下流の画像処理に与える代わりに、シーン基準のメタデータだけが下流の画像処理に与えられる。

非基準源画像は、対応するシーン基準のメタデータにおけるよりも少数の符号化された色値またはグレーレベルを含むことがある。入力画像に付随するシーン基準のメタデータは、当該シーンからの広い範囲の色値およびグレーレベルについての情報を、たとえ該色値およびグレーレベルのいくつかが入力画像における符号化された値のうちに存在していなくても、その後の画像処理に与える。

本稿に記載されるシーン基準のメタデータは、多様な画像処理アプリケーションにおいて使用されうる。一例では、シーン基準のメタデータは、照明性オブジェクトを反射性オブジェクトから区別するためおよび／またはそれらのオブジェクトを照明性か反射性かに依存して異なる仕方で扱うためのアルゴリズムにおいて使用されてもよい。もう一つの例では、シーン基準のメタデータは、――たとえば種々のカメラ、種々のシャッター速度、種々の開口、種々の時刻、種々の設定などで撮影された――多様な画像を調和させて、一貫したテーマに関連する見え方をもつ統一された映画または画像のシーケンスにするために使用されてもよい。

いくつかの実施形態では、本稿に記載される機構は、サーバー、スタジオ・システム、アート・ディレクター・システム、画像エディタ、アニメーション・システム、映画スタジオ・システム、カメラ、ＴＶ、放送システム、メディア記録装置、メディア再生装置、テレビジョン、ラップトップ・コンピュータ、ネットブック・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスクおよび他のさまざまな種類の端末および表示ユニットを含むがそれに限られない画像処理システムの一部をなす。

本稿に記載される好ましい実施形態および一般的な原理および特徴へのさまざまな修正が当業者にはすぐに明白となるであろう。よって、本開示は示している実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるべきものである。

〈２．基準および非基準源画像〉
図１は、複数の画像細部を有する例示的なシーン１０８を示している。単に例解のため、シーン１０８は、照明性オブジェクト１０４および反射性オブジェクト１０６を含んでいてもよいが、それに限られない。カメラ１０２がシーン１０８から写真（または画像）を撮るために使用されてもよい。カメラ１０２は、シーンから写真を撮るよう構成されているいかなる画像取得装置であってもよく、デジタルでもアナログ（たとえば光感応性化学フィルム・ベースのもの）でもよい。シーン１０８は屋内、屋外、水中、宇宙空間、制御された環境内、自然の環境内、種々の環境要素の組み合わせと一緒などであってもよい。

図２は、例示的な基準カード（２０２）を示している。基準カード（２０２）は、複数のサイズのうちの任意のものおよび／または複数の形のうちの任意のものであってもよい。前記基準は、明確な幾何学的特徴または構成をもつ位置決め印（２０４）を有していてもよい。本稿に記載される画像処理システムは、これらの位置決め印（２０４）を検出し、基準カード（２０２）において表わされている基準グレーレベルおよび／または基準色値の配向または幾何学的な位置を決定するよう構成されていてもよい。基準グレーレベルおよび／または基準色値は、基準カード（２０２）上で一つまたは複数の基準空間的パターンにおいて配列されていてもよい。単に例解のために、基準グレーレベルおよび／または基準色値を含むために、複数の基準空間的パターン（２０６−１ないし２０６−４）が使用されてもよい。たとえば、基準空間的パターン（２０６−１）は複数のグレーレベルを含んでいてもよく、基準空間的パターン（２０６−２ないし２０６−４）はそれぞれ異なる色について複数の値を含んでいてもよい。これらの異なる色は、カメラ（たとえば１０２）によって捕捉された画像をデジタル的にエンコードするために使われる色空間の色成分を表わしていてもいなくてもよい。

本稿に記載される画像処理システムは、基準空間的パターン（２０６−１ないし２０６−４）以外の位置決め印（２０４）を使うことなく基準空間的パターン（２０６−１ないし２０６−４）を認識するよう構成されていてもよい。このように、２０４のような位置決め印は基準カード（２０２）に存在していてもいなくてもよい。

本稿に記載される基準カード（たとえば２０２）は、より少数またはより多数の基準空間的パターン、より少数のまたはより多数の基準グレーレベル、より少数またはより多数の基準色値などを含んでいてもよい。一例では、基準カード（２０２）はグレーレベルのみを含んでいてもよい。もう一つの例では、基準カード（２０２）は色値のみを含んでいてもよい。追加的、任意的または代替的に、他の色の基準値が基準カード（２０２）に含まれていてもいなくてもよい。

いくつかの実施形態では、一つまたは複数の基準カードについての一つまたは複数の基準源画像が、一つまたは複数の対応する（非基準）源画像がカメラ（たとえば１０２）によって撮影されるのと同じシーン内の同じカメラ（１０２）によって撮影されてもよい。いくつかの実施形態では、基準源画像は、対応する非基準源画像が撮影される前に、後にまたはそれと同時に撮影されてもよい。いくつかの実施形態では、基準源画像および対応する非基準源画像は、照明条件を含むがそれに限られない同じセッティングのもとで撮影されてもよい。一例では、基準源画像は、特定のカメラ設定において撮影された画像を含んでいてもよい。もう一つの例では、基準源画像は、複数のカメラ設定で撮影された画像を含んでいてもよい。各カメラ設定は、特定のメーカー、撮影角度、撮影距離、シャッター速度、開口、焦点距離、フラッシュ設定、センサー設定、記録媒体、フィルム種別、ISO設定などによって指定されてもよいが、それに限られない。

いくつかの実施形態では、一つまたは複数の対応する非基準源画像のための基準源画像は、同様のシーンおよび／または同様のカメラ設定から撮影された他の基準源画像を使って補外または補間によって生成または合成されてもよい。たとえば、非基準源画像が、同じシーンから撮影された基準源画像のどれともマッチしない特定のカメラ設定をもってあるシーンから撮影される場合、その特定のカメラ設定に最も近いカメラ設定をもつ諸基準源画像が見出されてもよい。最も近いカメラ設定をもつ諸基準源画像が補間および／または補外されて、非基準源画像についての基準源画像を生成してもよい。

〈３．シーン基準のメタデータの生成および更新〉
図３Ａは、ある実施形態に基づく、本稿に記載される技法の少なくともいくつかを実装する例示的な画像処理システム（３００）を示している。ある実施形態では、画像処理システム（３００）は一般に、単一の装置または複数の装置であって、共通の（またはいくつかの実施形態では類似の）シーンまたは設定に関連付けられている一つまたは複数の基準源画像（３０６−１）および一つまたは複数の対応する非基準源画像（３０６−２）を処理するよう構成されているものを表わす。いくつかの実施形態では、基準源画像（３０６−１）および対応する非基準源画像（３０６−２）は、そのシーンから同様のカメラ設定を用いて撮影されてもよい。基準源画像（３０６−１）および対応する非基準源画像（３０６−２）のそれぞれは、化学的なフィルムまたはデジタル媒体によって捕捉／記録された生の写真感知応答に基づいて生成されうるピクセル値を含んでいてもよい。

単に例解のために、画像処理システム（３００）は、基準カード処理ユニット（３０２）および画像処理ユニット（３０４）を有していてもよい。

ある実施形態では、画像処理システム（３００）は、一つまたは複数の基準源画像（３０６−１）を処理し、少なくとも部分的には前記一つまたは複数の基準源画像（３０６−１）に基づいて、前記一つまたは複数の対応する非基準源画像（３０６−２）についてシーン基準のメタデータ（３１０）を生成するよう構成された基準カード処理ユニット３０２を有していてもよい。基準源画像（３０６−１）は、シーン内に置かれた一つまたは複数の基準カードの画像を含んでいてもよい。一方、非基準源画像は、基準源画像に基づいて生成されるシーン基準のメタデータ（３１０）とともに処理されうる画像を含んでいてもよい。

ある例示的な実施形態では、基準色値またはグレーレベルは、いかなる特定の装置（たとえばカメラ）とも独立に定義される標準的なまたは独自の色値またはグレーレベルに対応してもよい。基準色値またはグレーレベルは、本稿に記載される基準カードにおいて表現されていてもよい。画像処理システム（たとえば３００）が、たとえば基準源画像に対して実行されるパターン認識および解析に基づいて、該基準カード上の基準色値またはグレーレベルを認識するよう構成されてもよい。画像処理システム（３００）はさらに、前記基準色値またはグレーレベルについて、基準源画像（３０６−１）中の対応する（たとえばシーン基準の）ピクセル値を決定するよう構成されていてもよい。該対応するピクセル値は、ある基準値（たとえば基準色値またはグレーレベル）について対応する符号化された値（たとえば符号化された色値またはグレーレベル）を導出するために使用されてもよい。基準値およびその対応する符号化された値の決定は、前記基準色値またはグレーレベルの一部または全部について繰り返されてもよく、それにより基準値（たとえば基準色値またはグレーレベル）とその対応する（シーン基準の）符号化された値との間の一つまたは複数のマッピングを確立してもよい。

シーン基準のメタデータ（３１０）は、基準色値および／または基準グレーレベルの一つまたは複数のセット、符号化された色値および／または符号化されたグレーレベルの一つまたは複数のセット、基準値（たとえば基準色値および／または基準グレーレベル）と符号化された値（符号化された色値および／または符号化されたグレーレベル）との間の一つまたは複数のマッピングを含んでいてもよいが、そのいずれにも限定されるだけではない。

いくつかの実施形態では、シーン基準のメタデータ（３１０）は、基準源画像（３０６−１）のピクセル値を記憶しない。本稿での用法では、ピクセル値は、画像（フレーム）中のピクセルを表わす一つまたは複数の色値またはグレーレベルを指す。いくつかの実施形態では、ピクセル値が属するピクセルは、画像フレームの列および行のインデックスによって指定されてもよい。対照的に、本稿の記述での符号化された値は、その符号化された値が導出されるもとになったピクセル値が基準源画像中のどこに位置されているかに関わりなく、対応する基準色値またはグレーレベルについて符号化される色値またはグレーレベルを指す。このように、ピクセル値から導出されるものの、符号化された値は、基準源画像（フレーム）におけるピクセル値についての情報またはインデックスを担持する必要はない。いくつかの実施形態では、大量のピクセル値をたとえば二次元配列において担持する代わりに、基準色値および／または基準グレーレベルの一つまたは複数のセット、符号化された色値および／または符号化されたグレーレベルの一つまたは複数のセット、基準値（たとえば基準色値および／または基準グレーレベル）と符号化された値（符号化された色値および／または符号化されたグレーレベル）との間の一つまたは複数のマッピングなどを記憶するために、ずっと小さなデータ・ボリュームが使用されてもよい。

いくつかの実施形態では、非基準源画像（３０６−２）は、非基準源画像（３０６−２）の内容に依存して、色値またはグレーレベルの限られたセットを含んでいてもよい。基準色値またはグレーレベルは、非基準源画像（３０６−２）における色値またはグレーレベルの前記限られたセットより大きな、符号化された色値またはグレーレベルのセットを含んでいてもよいが、それに限られない。このように、本稿に記載される技法のもとでは、シーン基準のメタデータ（３１０）は、非基準源画像（３０６−２）のピクセル値において存在しない基準色値またはグレーレベルに対応する符号化された色値を含んでいてもよい。

ある実施形態では、画像処理システム（３００）は、前記一つまたは複数の非基準源画像（３０６−２）を処理して、少なくとも部分的に前記一つまたは複数の非基準源画像（３０６−２）に基づいて一つまたは複数の出力画像（３０８）を生成するよう構成された画像処理ユニット３０４を有していてもよい。前記出力画像（３０８）を生成するために、一つまたは複数の画像処理動作が画像処理システム（３００）によって前記一つまたは複数の非基準源画像（３０６−２）に対して実行されてもよい。画像処理動作の例は、トーン・マッピング、逆トーン・マッピング、カラーグレーディング、色空間変換、量子化、逆量子化、圧縮、圧縮解除、データ符号化、データ復号、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコード、デコードなどの任意のものを含むがこれらのみに限定されるものではない。

画像処理システム（たとえば３００）は、シーン基準のメタデータにおける基準値およびその対応する符号化された値をその動作において利用するよう構成されていてもよい。追加的、任意的または代替的に、画像処理動作は、入力画像において記録されているピクセルのグレーレベルを、出力画像において出力されるピクセルの異なるグレーレベルに変えてもよい。追加的、任意的または代替的に、本稿に記述される画像処理動作は、入力画像において記録されているピクセルの（色空間の一つまたは複数の色成分における）色値を、出力画像において出力されるピクセルの（前記色空間の同じ色成分におけるまたさらには異なる色空間の色成分における）異なる色値に変えてもよい。

これらの変更は、線形または非線形量子化／量子化解除、ガンマ補正、S字曲線などの一つまたは複数に基づいていてもよいが、それに限定されるものではなく、装置固有および／または製造業者固有であってもなくてもよい。

いくつかの実施形態では、前記非基準源画像（３０６−１）の色値またはグレーレベルの、出力画像（３０８）において出力される異なる色値またはグレーレベルへの、画像処理動作によってなされる同じ変更が、シーン基準のメタデータ（３１０）における符号化された値（たとえば符号化された色値またはグレーレベル）に適用されて、新しいシーン基準の符号化された値（たとえば新たな符号化された色値またはグレーレベル）を生成してもよい。新しいシーン基準の符号化された値は、変更前のシーン基準の符号化された値が対応する同じ基準値（たとえば基準色値またはグレーレベル）に対する同じ対応関係を維持してもよい。新しいシーン基準の符号化された値および前記基準値とのその対応関係が、出力画像（３０８）に付随する出力シーン基準のメタデータとして含められてもよい。追加的、任意的または代替的に、基準値についての変更前の値のようなシーン基準のメタデータ（３１０）における既存の情報の一部または全部が、出力シーン基準のメタデータに含められてもよい。追加的、任意的または代替的に、出力シーン基準のメタデータは、基準色値についての変更前の符号値を、画像処理動作によって変更された基準色値またはグレーレベルについての新しい符号値で置き換えることによって、シーン基準のメタデータ（３１０）から生成されてもよい。

本稿での用法では、出力画像または入力画像は画像処理動作のチェーンにおける中間画像であってもよい。現在の画像処理動作への入力画像は、前の画像処理動作の出力画像であってもよい。同様に、現在の画像処理動作からの出力画像は後続の画像処理動作の入力画像のはたらきをしてもよい。

図３Ｂは、画像処理ユニット３０４に対して下流の画像処理ユニットであってもよい例示的な画像処理ユニット（３０４−１）を示している。画像処理ユニット（３０４−１）は、同じ画像処理システム（３００）内であってもよいし、あるいは画像処理システム（３００）とは異なる画像処理システム内であってもよい。図３Ｂに示されるように、例示的な画像処理ユニット（３０４−１）は、もはやシーンにおいて撮影された対応する源画像の生のピクセル値を含んでいなくてもよい処理された非基準画像（３１４）を受領するよう構成されていてもよい。処理された非基準画像は、図３Ａの出力画像（３０８）を有していてもよいが、これに限られない。出力画像（３０８）は、少なくとも部分的に非基準源画像（３０６−２）に基づいて生成され、少なくとも部分的に基準源画像（３０６−１）に基づいて生成されたシーン基準のメタデータを、出力画像（３０８）の画像メタデータの一部として含む。

図３Ａの画像処理ユニット（３０４）と同様に、図３Ｂの３０４−１のような下流の画像処理ユニットは、シーン基準のメタデータにおける基準値およびその対応する符号化された値をその動作において利用するよう構成されていてもよい。画像処理ユニット（３０４−１）は、入力（たとえばビットストリーム、画像ファイル、画像のシーケンスなど）における処理された非基準画像（３１４）に付随するシーン基準のメタデータを使って、処理された非基準画像（３１４）に対してその動作を実行してもよい。

追加的、任意的または代替的に、画像処理動作（３０４−１）は、入力の処理された非基準画像（３１４）において与えられるピクセルの色値またはグレーレベルを、新しい処理された非基準画像において出力されるピクセルの異なる色値またはグレーレベルに変更してもよい。これらの変更は、他の画像処理動作において実行される変更と異なっていてもいなくてもよい。

いくつかの実施形態では、処理された非基準画像（３１４）の色値またはグレーレベルを新しい処理された非基準画像（３１６）において出力される異なる色値またはグレーレベルにする画像処理動作（３０４−１）によってなされる同じ変更が、入力における処理された非基準画像（３１４）に付随するシーン基準のメタデータにおける符号化された値（たとえば符号化された色値またはグレーレベル）に適用されて、新しいシーン基準の符号化された値（たとえば新たな符号化された色値またはグレーレベル）を生成してもよい。新しいシーン基準の符号化された値は、変更前のシーン基準の符号化された値が対応する同じ基準値（たとえば基準色値またはグレーレベル）に対する同じ対応関係を維持してもよい。新しいシーン基準の符号化された値および前記基準値とのその対応関係が、新しい処理された非基準画像（３１６）に付随する出力シーン基準のメタデータとして含められてもよい。追加的、任意的または代替的に、基準値についての変更前の値のような入力におけるシーン基準のメタデータにおける既存の情報の一部または全部が、出力シーン基準のメタデータに含められてもよい。追加的、任意的または代替的に、新しい処理された非基準画像に付随する出力シーン基準のメタデータは、基準色値についての変更前の符号値を、画像処理動作（３０４−１）によって変更された基準色値またはグレーレベルについての新しい符号値で置き換えることによって、入力におけるシーン基準のメタデータ（３１０）から生成されてもよい。

このように、一つまたは複数の画像処理動作が、最終的なまたは中間的な非基準画像を生成するために非基準画像に適用されてもよい。本稿に記載される技法のもとでは、シーン基準のメタデータは、同じ画像処理動作によって変更されてもよいし、画像処理動作において使用されてもよいし、および／またはこれらの画像処理動作によって生成される、出力の処理された非基準画像とともに更新および出力されてもよい。

〈４．シーン基準のメタデータの例示的な応用〉
非基準源画像および／または非基準中間画像は、一つまたは複数の画像処理動作を通じてデジタル的に操作されてもよい。画像のデジタル操作は、画像に特殊効果を加えること、古典的な見かけをシミュレートすること、画像にコンピュータ生成されたグラフィックを加えること、（たとえば異なるカメラによって撮影、異なるカメラ設定を用いて、または異なるシーン／セッティングで撮影された）画像を調和させること、画像のダイナミックレンジを増すことなどの任意のものを含んでいてもよいが、それに限定されるものではない。

上記で論じたように、本稿に記載される技法のもとで生成されるシーン基準のメタデータは、画像のデジタル操作の一部であってもよい画像処理動作によって使用されてもよい。

一例では、非基準画像のルミナンスのダイナミックレンジを増大させるまたは減少させるために、前のダイナミックレンジにおけるグレーレベルを新しいダイナミックレンジにおける新しいグレーレベルにスケーリングするために、一つまたは複数の特定のS字曲線が使用されてもよい。これらの曲線の少なくとも一つは、特定の装置、特定の製造業者、カメラ設定、シーン・セッティングなどとは独立な基準グレーレベルを用いて定義されてもよい。他の技法のもとでは、S字曲線は、操作されるべき画像中のグレーレベルを、それらのグレーレベルがあたかもS字曲線が想定する基準グレーレベルと同じであるかのように変換するために適用される。しかしながら、操作されるべき画像中のグレーレベルは実際には特定の装置、特定の製造業者、カメラ設定、シーン・セッティングなどに依存することがあるので、これら他の技法のもとでのS字曲線の適用は、不正確につながり、結果として得られる画像に現実離れした見え方をさせることになりうる。

全く対照的に、本稿に記載される技法のもとでは、処理されるべき非基準画像とともにシーン基準のメタデータが利用可能であってもよい。よって、本稿に記載される画像処理ユニット（たとえば図３Ａの３０４、図３Ｂの３０４−１など）は、シーン基準のメタデータに基づいて、処理されるべき非基準画像における符号化されたグレーレベルに対応する基準グレーレベルを決定するよう構成されていてもよい。画像処理ユニットは、シーン基準のメタデータから決定される情報に基づいてダイナミックレンジ変更を適応させるよう構成されていてもよい。結果として、S字曲線は正しく適用されることができ、高品質で精確な出力画像が得られる。いくつかの実施形態では、シーン基準のメタデータは、処理されるべき画像中に実際に存在するより多くのグレーレベルを有し、よって動作パラメータおよびS字曲線は、本稿に記載される技法を実装しない他のアプローチよりも精確に適応されることができ、出力画像における一層よい品質および精度が得られる。

もう一つの例では、処理されるべき画像における色値が対応する出力画像に含められるべき新しい色値にマッピングされてもよい。たとえば、黄みがかった色相またはスキャン・トーンが色値変換によって出力画像中に導入されて、結果として、見る者にとって比較的快適な見え方を与えてもよい。色値変換は、特定の装置、特定の製造業者、カメラ設定、シーン・セッティングなどとは独立に基準色値を用いて定義されてもよい。他の技法のもとでは、色値変換は、操作されるべき画像中の色値を、それらの色値があたかも色値変換が想定する基準色値と同じであるかのように変換するために適用される。しかしながら、操作されるべき画像中の色値は実際には特定の装置、特定の製造業者、カメラ設定、シーン・セッティングなどに依存することがあるので、これら他の技法のもとでの色値の適用は、色値変換の不正確な適用につながる。

全く対照的に、本稿に記載される技法のもとでは、処理されるべき非基準画像とともにシーン基準のメタデータが利用可能であってもよい。よって、本稿に記載される画像処理ユニット（たとえば図３Ａの３０４、図３Ｂの３０４−１など）は、シーン基準のメタデータに基づいて、処理されるべき非基準画像における符号化された色値に対応する基準色値を決定するよう構成されていてもよい。画像処理ユニットは、シーン基準のメタデータから決定される情報に基づいて色値変換を適応させるよう構成されていてもよい。結果として、色値変換は正しく適用されることができ、高品質で精確な出力画像が得られる。いくつかの実施形態では、シーン基準のメタデータは、処理されるべき画像中に実際に存在するより多くの色値を有し、よって動作パラメータおよび色値変換は、本稿に記載される技法を実装しない他のアプローチよりも精確に適応されることができ、出力画像における一層よい品質および精度が得られる。

いくつかの実施形態では、シーン基準のメタデータは、対応する画像が大量の飽和された色を有するかどうかを決定するために画像処理システムによって使用される。シーン基準のメタデータは、符号化された値に基づいて検索されうる基準値を有するからである。よって、色の飽和レベルを変える画像処理動作は、他の場合よりも精確に前記変更を実行するために、シーン基準のメタデータから決定されるこの情報を使ってもよい。

本稿に記載されるシーン基準のメタデータは、上記で論じたようなシーン基準のメタデータを担持する対応する画像に固有の情報を処理するためにおよび／または画像中に新しい視覚的要素を追加／導入するために使われてもよい。たとえば、アニメのキャラクターのようなコンピュータ生成される（CG）視覚的要素が、映画または画像のシーケンスの一部をなす既存の画像に追加される必要があることがある。アニメのキャラクターは、種々の空間的位置における色値またはグレーレベルによって記述される。アニメのキャラクターを記述する色値またはグレーレベルは、基準色値またはグレーレベルを用いて指定されてもよい。他の技法のもとでは、アニメのキャラクターは、操作されるべき画像中に、あたかも操作されるべき画像中の既存の色値またはグレーレベルがアニメのキャラクターを記述する基準色値またはグレーレベルと同じであるかのように挿入される。しかしながら、操作されるべき画像中の色値は実際には、特定の装置、特定の製造業者、カメラ設定、シーン・セッティングなどに依存することがあり、アニメのキャラクターは基準色値またはグレーレベルによって記述されるので、これら他の技法のもとでのアニメのキャラクターの既存の画像中への追加または導入色は、アニメのキャラクターが画像中の画像細部の残りの部分に対して場違いに見える結果を与える。

全く対照的に、本稿に記載される技法のもとでは、処理されるべき非基準画像とともにシーン基準のメタデータが利用可能であってもよい。よって、本稿に記載される画像処理ユニット（たとえば図３Ａの３０４、図３Ｂの３０４−１など）は、シーン基準のメタデータに基づいて、処理されるべき非基準画像における符号化された値（たとえば符号化された色値または符号化されたグレーレベル）に対応する基準値（たとえば基準色値、グレーレベルなど）を決定するよう構成されていてもよい。画像処理ユニットは、シーン基準のメタデータから決定される情報に基づいてアニメのキャラクターを記述する基準色値またはグレーレベルについての対応する符号化された色値またはグレーレベルを決定するよう構成されていてもよい。結果として、アニメのキャラクターは既存の画像中に正しく追加または導入されることができ、既存の画像における（実写と一緒の）アニメのキャラクターの高品質で自然な融合が得られる。

本稿に記載されるシーン基準のメタデータは、異なるカメラまたは異なるカメラ設定または異なるシーン・セッティングによって撮影された画像を処理して互いに調和する画像にするために使用されてもよい。屋外のシーンおよび屋内のシーンにおいて異なるカメラが使用されることがある。映画スタジオのような同じシーン・セッティングにおいてさえ、アクション・シーンおよび比較的静的なシーンを捕捉するには、異なるカメラおよび／または異なるカメラ設定が使用されることがある。このように、カメラ、カメラ設定、シーンなどの相違のため、画像処理システムによって処理されるべき画像は全く異なるように見えることがある。他の技法のもとでは、調和させる画像処理動作が、比較的アドホックな仕方で幅広い多様な画像に適用されてもよい。たとえば、二つの異なる画像からの異なるピクセル値が同じ基準色値またはグレーレベルに対応することがある。しかしながら、他の技法のもとでの調和させる画像処理動作はこの事実を判別してしかるべく行動するためのシーン基準のメタデータを与えられていない。よって、これら他の技法のもとで調和された画像は相変わらず見る者にとって全く異なっているように見えることがある。調和させる画像処理動作が特定のカメラまたはカメラ設定またはシーン・セッティングに固有でありうるピクセル値に適用されるからである。

全く対照的に、本稿に記載される技法のもとでは、映画または画像のシーケンスにまとめられるべき幅広い多様な画像とともに、シーン基準のメタデータが利用可能であってもよい。本稿に記載される画像処理ユニット（たとえば図３Ａの３０４、図３Ｂの３０４−１など）は、処理されるべき画像についてのシーン基準のメタデータに基づいて、処理されるべき非基準画像における符号化された値（たとえば符号化された色値または符号化されたグレーレベル）に対応する基準値（たとえば基準色値、グレーレベルなど）を決定するよう構成されていてもよい。このようにして、調和させられるべき異なる画像の符号値が、それぞれのシーン基準のメタデータに基づいて基準値に正しくマッピングされることができる。画像処理ユニットは、シーン基準のメタデータから決定される情報に基づいて画像を調和させるよう構成されていてもよい。結果として、出力画像における高品質で、一貫した、調和された見え方が得られる。

本稿に記載されるシーン基準のメタデータは、画像の異なる部分を異なる仕方で処理するために使用されてもよい。たとえば、画像は照明性のオブジェクト（たとえば図１の１０４）および反射性のオブジェクト（たとえば図１の１０６）を含んでいてもよい。画像中の照明性のオブジェクトおよび／または反射性のオブジェクトを認識するために一つまたは複数のアルゴリズムが適用されてもよい。いくつかの実施形態では、そのようなアルゴリズムは画像フレームを複数のセグメントに分割し、それらのセグメントについての色温度をそれぞれ決定するよう構成されている。照明性のオブジェクトを反射性のオブジェクトから区別することは、少なくとも部分的には、それらのセグメントのそれぞれの温度に基づいていてもよい。この判別は、純粋にそれらの画像のグレーレベル情報に基づいていてもそうでなくてもよい。あるいはまた、解析対象の画像は等しいサイズに分割されてもされなくてもよい。追加的、任意的または代替的に、画像中の照明性のオブジェクトが、画像処理動作によって、画像中の反射性のオブジェクトとは異なる仕方で扱われてもよい。たとえば、反射性のオブジェクトにおける影が、照明性のオブジェクトの位置に基づいて暗くされてもよい。他の技法のもとでは、前記アルゴリズムは画像中の符号化された値に完全に依拠する。それらの値は正しい色温度のものではなく、可能性としては正しくない認識または画像中の照明性のオブジェクトおよび／または反射性のオブジェクトの混同につながる。カメラ、カメラ設定、シーン・セッティングなどに依存する符号化された値に影響されて、照明性のオブジェクトおよび／または反射性のオブジェクトの扱いは精確でないことがある。たとえば、反射性のドレスが照明性のオブジェクトとして誤って認識されることがあり、電球に対応するルミナンス・レベルにスケーリングされることがある。

全く対照的に、本稿に記載される技法のもとでは、画像中の符号化された値についての基準値は、その画像についてのシーン基準のメタデータに基づいて決定されてもよい。本稿に記載される画像処理ユニット（たとえば図３Ａの３０４、図３Ｂの３０４−１など）は、基準値に基づいてアルゴリズムを適用するよう構成されており、それは画像の種々の部分についての正しい色温度情報を与える。このようにして、画像中の照明性のオブジェクトおよび／または反射性の画像が比較的精確に判別されうる。結果として、画像処理ユニットは、同じ画像の異なる部分を、それらが照明性のオブジェクトを描いているか反射性のオブジェクトを描いているかに基づいて異なる仕方で扱うよう構成されていてもよく、結果として、出力画像において照明性のオブジェクトと反射性のオブジェクトとの間の高品質で正しい相関が得られる。

本稿に記載されるシーン基準のメタデータは、先に論じた以外のメタデータを含んでいてもよい。いくつかの実施形態では、シーン基準のメタデータは、カメラ型、カメラ設定、シーン・セッティングなどの任意のものを含んでいてもよいが、これに限られない。たとえば、シーン基準のメタデータは、基準源画像が撮影されたもとになったシーンに対するカメラの位置および撮影角度を含んでいてもよい。

いくつかの実施形態では、本稿に記載される画像処理システムは、既存の基準源画像または既存のシーン基準のメタデータを補間または補外して、建設的な基準源画像または建設的なシーン基準のメタデータを得るよう構成されていてもよい。たとえば、基準源画像があるシーンにおける30度の特定の撮影角度をもって撮影されてもよく、一方、別の基準源画像が前記シーンにおける45度の撮影角度をもって撮影されてもよい。40度の撮影角度をもって撮影された非基準源画像について、画像処理システムは最も近いものとして二つの基準源画像を決定してもよい。それらの非基準源画像についての建設的なシーン基準のメタデータが、それらの最も近い基準源画像またはそれから生成されるシーン基準のメタデータを補間または補外することによって得られてもよい。いくつかの実施形態では、異なる基準源画像またはシーン基準のデータに異なる重み因子値が割り当てられてもよい。たとえば、45度の基準源画像またはそれから生成されたシーン基準のメタデータが、30度の基準源画像またはシーン基準のメタデータに割り当てられるものより大きな重み因子値を与えられてもよい。

同様に、屋外のシーンについて、基準源画像またはシーン基準のメタデータは、非基準源画像の撮影時間に最も近いと判別される二つの特定の時刻について利用可能であってもよい。それら二つの特定の時刻からの基準源画像またはシーン基準のメタデータは画像処理システムによって補間または補外されて、前記非基準源画像についての建設的なシーン基準のメタデータを生成してもよい。

〈５．処理フロー〉
図４は、本発明のある例示的な実施形態に基づく例示的なプロセス・フローを示している。いくつかの例示的な実施形態において、一つまたは複数のコンピューティング装置またはコンポーネントがこのプロセス・フローを実行してもよい。ブロック４１０では、画像処理システム（たとえば図３Ａに示した３００）が一つまたは複数の基準源画像および一つまたは複数の対応する非基準源画像を受領する。前記一つまたは複数の基準源画像は、一つまたは複数の基準カードについての画像データを含んでいてもよい。

ブロック４２０では、画像処理システム（３００）は、前記一つまたは複数の対応する非基準源画像についての一つまたは複数の出力画像を生成する。

ブロック４３０では、画像処理システム（３００）は、前記一つまたは複数の基準カードについての画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含むシーン基準のメタデータを導出する。ここで、符号化された値の対応するセットは、前記一つまたは複数の出力画像における符号化された値を含む。

ブロック４４０では、画像処理システム（３００）は、前記一つまたは複数の出力画像を、シーン基準のメタデータを該一つまたは複数の出力画像についての画像メタデータの一部として、出力する。

ある実施形態では、基準値のセットは、基準色値または基準グレーレベルの少なくとも一方を含み、一方、符号化された値のセットは符号化された色値または符号化されたグレーレベルの少なくとも一方を含む。

ある実施形態では、シーン基準のメタデータは、シーン基準のメタデータの前のバージョンから導出され；シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含む。

ある実施形態では、前記一つまたは複数の出力画像は、一つまたは複数の前の出力画像から導出され；シーン基準のメタデータはシーン基準のメタデータの前のバージョンから導出され；シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含み；前に符号化された値の前記対応するセットは、前記一つまたは複数の非基準源画像から導出された前記一つまたは複数の前の出力画像における符号化された値を含む。

ある実施形態では、前記出力画像は、一つまたは複数の前の画像から一つまたは複数の画像処理動作によって生成され；前記一つまたは複数の画像処理動作は、（ａ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使わない画像処理動作または（ｂ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使う画像処理動作の少なくとも一方を含む。

ある実施形態では、前記一つまたは複数の画像処理動作は、シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、コンピュータ生成された画像部分を、前記一つまたは複数の出力画像の既存の画像内容とスーパーインポーズするよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される。

ある実施形態では、前記一つまたは複数の画像処理動作は、シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、一つまたは複数の出力画像のグレーレベルを符号化するよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される。

ある実施形態では、前記一つまたは複数の画像処理動作は、シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、一つまたは複数の出力画像の色値を符号化するよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される。

ある実施形態では、前記一つまたは複数の画像処理動作は、少なくとも部分的にシーン基準のメタデータに基づいて、前記一つまたは複数の非基準源画像における光源または照明性のオブジェクトを反射性のオブジェクトから区別するよう構成されている。

ある実施形態では、前記一つまたは複数の画像処理動作は、前記一つまたは複数の出力画像を一つまたは複数の他の出力画像と、前記一つまたは複数の他の出力画像についての他のシーン基準のメタデータおよび前記一つまたは複数の出力画像についてのシーン基準のメタデータを使って調和させるよう構成されている。

ある実施形態では、前記一つまたは複数の画像処理動作は、トーン・マッピング、逆トーン・マッピング、カラーグレーディング、色空間変換、量子化、逆量子化、圧縮、圧縮解除、データ符号化、データ復号、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコードまたはデコードのうちの少なくとも一つを含む。

ある実施形態では、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像は、同じカメラ、同じカメラ設定または同じシーン・セッティングの一つまたは複数に関係する。

ある実施形態では、前記シーン基準のメタデータはさらに、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像を撮影する一つまたは複数のカメラについての情報、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が撮影される一つまたは複数のカメラ設定についての情報、または前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が撮影される一つまたは複数のシーン・セッティングについての情報のうちの一つまたは複数を含む。

ある実施形態では、前記画像処理システム（３００）はさらに：一つまたは複数の他の基準源画像および一つまたは複数の他の対応する非基準源画像を受領する段階であって、一つまたは複数の他の基準源画像は一つまたは複数の基準カードについての画像データを含む、段階と；前記一つまたは複数の他の対応する非基準源画像について一つまたは複数の他の出力画像を生成する段階と；前記一つまたは複数の基準カードについての前記画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記対応するセットは前記一つまたは複数の他の出力画像における符号化された値を含む、段階と；前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とを実行するよう構成されている。

ある実施形態では、前記画像処理システム（３００）はさらに：一つまたは複数の他の非基準源画像を受領する段階と；前記一つまたは複数の他の非基準源画像について一つまたは複数の他の出力画像を生成する段階と；少なくとも部分的に前記シーン基準のメタデータに基づいて、基準値のセットおよび符号化された値の別のセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記別のセットは前記一つまたは複数の他の出力画像における符号化された値を表わす、段階と；前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とを実行するよう構成されている。

ある実施形態では、前記画像処理システム（３００）はさらに、前記一つまたは複数の基準源画像のいずれの中の前記基準カードの位置に関するユーザー入力も受け取ることなく、前記基準カード上の一つまたは複数の空間的パターンを自動的に認識するよう構成されており、前記一つまたは複数の空間的パターンの少なくとも一つは基準色値または基準グレーレベルの少なくとも一方を含む。

ある実施形態では、画像処理システム（３００）はさらに、一つまたは複数の入力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の入力画像を、一つまたは複数の出力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の出力画像に変換するよう構成される。

ある実施形態では、前記出力画像は、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS: Academy of Motion Picture Arts and Sciences）のアカデミー色エンコード規格（ACES: Academy Color Encoding Specification）に関連するRGB色空間、デジタル・シネマ・イニシアチブ（Digital Cinema Initiative）のP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric）規格、sRGB色空間、RGB色空間またはYCbCr色空間のうちの一つにおいてエンコードされた画像データを含む。

実施形態は、プロセッサを有し、上記で論じた以上の方法の任意のものを実行するよう構成されている装置を含む。

実施形態はソフトウェア命令を有するコンピュータ可読記憶媒体を含み、前記命令は、一つまたは複数のプロセッサによって実行されたときに、上記で論じた以上の方法の任意のものの実行を引き起こす。

〈６．実装機構――ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および／またはプログラム論理を組み込んでいる他の任意の装置であってもよい。

たとえば、図５は、本発明の実施形態が実装されうるコンピュータ・システム５００を示すブロック図である。コンピュータ・システム５００は、情報を通信するためのバス５０２または他の通信機構と、情報を処理するための、バス５０２に結合されたハードウェア・プロセッサ５０４とを含む。ハードウェア・プロセッサ５０４はたとえば汎用マイクロプロセッサであってもよい。

コンピュータ・システム５００は、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のような、情報およびプロセッサ５０４によって実行されるべき命令を記憶するための、バス５０２に結合されたメイン・メモリ５０６をも含む。メイン・メモリ５０６はまた、一時変数または他の中間的な情報を、プロセッサ５０４によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ５０４にとってアクセス可能な記憶媒体に記憶されたとき、コンピュータ・システム５００を、前記命令において指定されている処理を実行するようカスタマイズされた特殊目的機械にする。

コンピュータ・システム５００はさらに、バス５０２に結合された、静的な情報およびプロセッサ５０４のための命令を記憶するための読み出し専用メモリ（ROM）５０８または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置５１０が提供され、情報および命令を記憶するためにバス５０２に結合される。

コンピュータ・システム５００は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイ（LCD）のようなディスプレイ５１２にバス５０２を介して結合されていてもよい。英数字その他のキーを含む入力装置５１４が、情報およびコマンド選択をプロセッサ５０４に伝えるためにバス５０２に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ５０４に伝えるとともにディスプレイ５１２上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール５１６である。この入力装置は典型的には、第一軸（たとえばx）および第二軸（たとえばy）の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。

コンピュータ・システム５００は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム５００を特殊目的機械にするまたはプログラムするファームウェアおよび／またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ５０４がメイン・メモリ５０６に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム５００によって実行される。そのような命令は、記憶装置５１０のような別の記憶媒体からメイン・メモリ５０６に読み込まれてもよい。メイン・メモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。

本稿で用いられる用語「記憶媒体」は、データおよび／または機械に特定の仕方で動作させる命令を記憶する任意の媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置５１０のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ５０６のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。

記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス５０２をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。

さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ５０４に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム５００にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス５０２上に載せることができる。バス５０２はそのデータをメイン・メモリ５０６に搬送し、メイン・メモリ５０６から、プロセッサ５０４が命令を取り出し、実行する。メイン・メモリ５０６によって受信される命令は、任意的に、プロセッサ５０４による実行の前または後に記憶装置５１０上に記憶されてもよい。

コンピュータ・システム５００は、バス５０２に結合された通信インターフェース５１８をも含む。通信インターフェース５１８は、ローカル・ネットワーク５２２に接続されているネットワーク・リンク５２０への双方向データ通信結合を提供する。たとえば、通信インターフェース５１８は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網（ISDN）カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース５１８は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク（LAN）カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース５１８は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、電磁的または光学的信号を送受信する。

ネットワーク・リンク５２０は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク５２０は、ローカル・ネットワーク５２２を通じてホスト・コンピュータ５２４またはインターネット・サービス・プロバイダー（ISP）５２６によって運営されているデータ設備への接続を提供してもよい。ISP ５２６は、現在一般に「インターネット」５２８と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク５２２およびインターネット５２８はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム５００に／からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク５２０上および通信インターフェース５１８を通じた信号は、伝送媒体の例示的な形である。

コンピュータ・システム５００は、ネットワーク（単数または複数）、ネットワーク・リンク５２０および通信インターフェース５１８を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー５３０は、インターネット５２８、ISP ５２６、ローカル・ネットワーク５２２および通信インターフェース５１８を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。受信されたコードは、受信される際にプロセッサ５０４によって実行されても、および／または、のちの実行のために記憶装置５１０または他の不揮発性記憶に記憶されてもよい。

〈７．等価物、拡張、代替その他〉
明確な例を例解するため、現実から取られた画像が本発明のいくつかの側面を例解するために使われている。他の型の画像が本発明の実施形態において使用されてもよいことを注意しておくべきである。たとえば、画像は二つ以上の異なる画像源からの合成フレームであってもよい。さらに、画像の一部または全体が2D画像から入手されてもよく、一方、同じ画像上の別の部分が3Dまたはマルチビュー画像から入手されてもよい。本稿に記載される技法は、本発明の実施形態において、これら他の型の画像について提供されてもよい。

以上の明細書では、本発明の可能な諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。

いくつかの態様を記載しておく。
〔態様１〕
一つまたは複数の基準源画像および一つまたは複数の対応する非基準源画像を受領する段階であって、前記一つまたは複数の基準源画像は、一つまたは複数の基準カードについての画像データを含む、段階と；
前記一つまたは複数の対応する非基準源画像についての一つまたは複数の出力画像を生成する段階と；
前記一つまたは複数の基準カードについての前記画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含むシーン基準のメタデータを導出する段階であって、前記符号化された値の対応するセットは、前記一つまたは複数の出力画像における符号化された値を含む、段階と；
前記一つまたは複数の出力画像を、前記シーン基準のメタデータを該一つまたは複数の出力画像についての画像メタデータの一部として、出力する段階とを含む、
方法。
〔態様２〕
前記基準値のセットは、基準色値または基準グレーレベルの少なくとも一方を含み、前記符号化された値のセットは、符号化された色値または符号化されたグレーレベルの少なくとも一方を含む、態様１記載の方法。
〔態様３〕
前記シーン基準のメタデータは、シーン基準のメタデータの前のバージョンから導出され、シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含む、態様１記載の方法。
〔態様４〕
前記一つまたは複数の出力画像は、一つまたは複数の前の出力画像から導出され；前記シーン基準のメタデータは、シーン基準のメタデータの前のバージョンから導出され；シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含み；前に符号化された値の前記対応するセットは、前記一つまたは複数の非基準源画像から導出された前記一つまたは複数の前の出力画像における符号化された値を含む、態様１記載の方法。
〔態様５〕
前記出力画像は、一つまたは複数の前の画像から一つまたは複数の画像処理動作によって生成され；前記一つまたは複数の画像処理動作は、（ａ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使わない画像処理動作または（ｂ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使う画像処理動作の少なくとも一方を含む、態様１記載の方法。
〔態様６〕
前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、コンピュータ生成された画像部分を、前記一つまたは複数の出力画像の既存の画像内容にスーパーインポーズするよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、態様５記載の方法。
〔態様７〕
前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、前記一つまたは複数の出力画像のグレーレベルを符号化するよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、態様５記載の方法。
〔態様８〕
前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、前記一つまたは複数の出力画像の色値を符号化するよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、態様５記載の方法。
〔態様９〕
前記一つまたは複数の画像処理動作は、少なくとも部分的に前記シーン基準のメタデータに基づいて、前記一つまたは複数の非基準源画像における光源を反射性のオブジェクトから区別するよう構成されている、態様５記載の方法。
〔態様１０〕
前記一つまたは複数の画像処理動作は、前記一つまたは複数の出力画像を一つまたは複数の他の出力画像と、前記一つまたは複数の他の出力画像についての他のシーン基準のメタデータおよび前記一つまたは複数の出力画像についての前記シーン基準のメタデータを使って調和させるよう構成されている、態様５記載の方法。
〔態様１１〕
前記一つまたは複数の画像処理動作は、トーン・マッピング、逆トーン・マッピング、カラーグレーディング、色空間変換、量子化、逆量子化、圧縮、圧縮解除、データ符号化、データ復号、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコードまたはデコードのうちの少なくとも一つを含む、態様５記載の方法。
〔態様１２〕
前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像は、同じカメラ、同じカメラ設定または同じシーン・セッティングの一つまたは複数に関係する、態様１記載の方法。
〔態様１３〕
前記シーン基準のメタデータはさらに、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像を捕捉する一つまたは複数のカメラについての情報、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が捕捉される一つまたは複数のカメラ設定についての情報、または前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が捕捉される一つまたは複数のシーン・セッティングについての情報のうちの一つまたは複数を含む、態様１記載の方法。
〔態様１４〕
一つまたは複数の他の基準源画像および一つまたは複数の他の対応する非基準源画像を受領する段階であって、前記一つまたは複数の他の基準源画像は一つまたは複数の基準カードについての画像データを含む、段階と；
前記一つまたは複数の他の対応する非基準源画像について一つまたは複数の他の出力画像を生成する段階と；
前記一つまたは複数の基準カードについての前記画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記対応するセットは前記一つまたは複数の他の出力画像における符号化された値を含む、段階と；
前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを、前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とをさらに含む、
態様１記載の方法。
〔態様１５〕
一つまたは複数の他の非基準源画像を受領する段階と；
前記一つまたは複数の他の非基準源画像について一つまたは複数の他の出力画像を生成する段階と；
少なくとも部分的に前記シーン基準のメタデータに基づいて、基準値のセットおよび符号化された値の別のセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記別のセットは前記一つまたは複数の他の出力画像における符号化された値を表わす、段階と；
前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とを含む、
態様１記載の方法。
〔態様１６〕
前記一つまたは複数の基準源画像のいずれの中の前記基準カードの位置に関するユーザー入力も受け取ることなく、前記基準カード上の一つまたは複数の空間的パターンを自動的に認識する段階をさらに含み、前記一つまたは複数の空間的パターンの少なくとも一つは基準色値または基準グレーレベルの少なくとも一方を含む、態様１記載の方法。
〔態様１７〕
一つまたは複数の入力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の入力画像を、一つまたは複数の出力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の出力画像に変換する段階をさらに含む、態様１記載の方法。
〔態様１８〕
前記出力画像の少なくとも一つは、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間、RGB色空間またはYCbCr色空間のうちの少なくとも一つにおいてエンコードされた画像データを含む、態様１記載の方法。
〔態様１９〕
プロセッサを有し、態様１ないし１８のうちいずれか一項記載の方法を実行するよう構成されている装置。
〔態様２０〕
ソフトウェア命令を記憶しているコンピュータ可読記憶媒体であって、前記ソフトウェア命令は、一つまたは複数のプロセッサによって実行されたときに、態様１ないし１８のうちいずれか一項記載の方法の実行を引き起こすものである、コンピュータ可読記憶媒体。

Claims (20)

1. 一つまたは複数の基準源画像および一つまたは複数の対応する非基準源画像を受領する段階であって、前記一つまたは複数の基準源画像は、一つまたは複数の基準カードについての画像データを含む、段階と；
   前記一つまたは複数の対応する非基準源画像についての一つまたは複数の出力画像を生成する段階であって、前記出力画像は、一つまたは複数の前の画像から一つまたは複数の画像処理動作によって生成される、段階と；
   前記一つまたは複数の基準カードについての前記画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含むシーン基準のメタデータを導出する段階であって、前記符号化された値の対応するセットは、前記一つまたは複数の出力画像における符号化された値を含む、段階と；
   前記一つまたは複数の出力画像を、前記シーン基準のメタデータを該一つまたは複数の出力画像についての画像メタデータの一部として、出力する段階とを含み、
   前記非基準源画像は、対応するシーン基準のメタデータに含まれるより少数の符号化された値を含む、
   方法。
2. 前記基準値のセットは、基準色値または基準グレーレベルの少なくとも一方を含み、前記符号化された値のセットは、符号化された色値または符号化されたグレーレベルの少なくとも一方を含む、請求項１記載の方法。
3. 前記シーン基準のメタデータは、シーン基準のメタデータの前のバージョンから導出され、シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含む、請求項１記載の方法。
4. 前記シーン基準のメタデータは、シーン基準のメタデータの前のバージョンから導出され；シーン基準のメタデータの前記前のバージョンは、基準値の前記セットおよび前に符号化された値の対応するセットを含み；前に符号化された値の前記対応するセットは、前記一つまたは複数の非基準源画像から導出された前記一つまたは複数の前の出力画像における符号化された値を含む、請求項１記載の方法。
5. 前記一つまたは複数の画像処理動作は、（ａ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使わない画像処理動作または（ｂ）前記一つまたは複数の前の画像を符号化するために使われた符号化された値の前のバージョンとは異なる符号化された値の新しいセットを使う画像処理動作の少なくとも一方を含む、請求項１記載の方法。
6. 前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、コンピュータ生成された画像部分を、前記一つまたは複数の出力画像の既存の画像内容にスーパーインポーズするよう構成されており；前記既存の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、請求項５記載の方法。
7. 前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、前記一つまたは複数の出力画像のグレーレベルを符号化するよう構成されており；前記出力画像の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、請求項５記載の方法。
8. 前記一つまたは複数の画像処理動作は、前記シーン基準のメタデータにおける基準値の前記セットと符号化された値の前記セットとの間の一つまたは複数の対応関係に準拠して、前記一つまたは複数の出力画像の色値を符号化するよう構成されており；前記出力画像の画像内容は、前記一つまたは複数の非基準源画像の画像内容から導出される、請求項５記載の方法。
9. 前記一つまたは複数の画像処理動作は、少なくとも部分的に前記シーン基準のメタデータに基づいて、前記一つまたは複数の非基準源画像における光源を反射性のオブジェクトから区別するよう構成されている、請求項５記載の方法。
10. 前記一つまたは複数の画像処理動作は、前記一つまたは複数の出力画像を一つまたは複数の他の出力画像と、前記一つまたは複数の他の出力画像についての他のシーン基準のメタデータおよび前記一つまたは複数の出力画像についての前記シーン基準のメタデータを使って調和させるよう構成されている、請求項５記載の方法。
11. 前記一つまたは複数の画像処理動作は、トーン・マッピング、逆トーン・マッピング、カラーグレーディング、色空間変換、量子化、逆量子化、圧縮、圧縮解除、データ符号化、データ復号、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコードまたはデコードのうちの少なくとも一つを含む、請求項５記載の方法。
12. 前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像は、同じカメラ、同じカメラ設定または同じシーン・セッティングの一つまたは複数に関係する、請求項１記載の方法。
13. 前記シーン基準のメタデータはさらに、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像を捕捉する一つまたは複数のカメラについての情報、前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が捕捉される一つまたは複数のカメラ設定についての情報、または前記一つまたは複数の基準源画像および前記一つまたは複数の非基準源画像が捕捉される一つまたは複数のシーン・セッティングについての情報のうちの一つまたは複数を含む、請求項１記載の方法。
14. 一つまたは複数の他の基準源画像および一つまたは複数の他の対応する非基準源画像を受領する段階であって、前記一つまたは複数の他の基準源画像は一つまたは複数の基準カードについての画像データを含む、段階と；
    前記一つまたは複数の他の対応する非基準源画像について一つまたは複数の他の出力画像を生成する段階と；
    前記一つまたは複数の基準カードについての前記画像データに基づいて、基準値のセットおよび符号化された値の対応するセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記対応するセットは前記一つまたは複数の他の出力画像における符号化された値を含む、段階と；
    前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを、前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とをさらに含む、
    請求項１記載の方法。
15. 一つまたは複数の他の非基準源画像を受領する段階と；
    前記一つまたは複数の他の非基準源画像について一つまたは複数の他の出力画像を生成する段階と；
    少なくとも部分的に前記シーン基準のメタデータに基づいて、基準値のセットおよび符号化された値の別のセットを含む他のシーン基準のメタデータを導出する段階であって、符号化された値の前記別のセットは前記一つまたは複数の他の出力画像における符号化された値を表わす、段階と；
    前記一つまたは複数の他の出力画像を、前記他のシーン基準のメタデータを前記一つまたは複数の他の出力画像についての画像メタデータの一部として、出力する段階とを含む、
    請求項１記載の方法。
16. 前記一つまたは複数の基準源画像のいずれの中の前記基準カードの位置に関するユーザー入力も受け取ることなく、前記基準カード上の一つまたは複数の空間的パターンを自動的に認識する段階をさらに含み、前記一つまたは複数の空間的パターンの少なくとも一つは基準色値または基準グレーレベルの少なくとも一方を含む、請求項１記載の方法。
17. 一つまたは複数の入力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の入力画像を、一つまたは複数の出力ビデオ信号をもって表現される、受領される、送信されるまたは記憶される一つまたは複数の出力画像に変換する段階をさらに含む、請求項１記載の方法。
18. 前記出力画像の少なくとも一つは、高ダイナミックレンジ（HDR）画像フォーマット、映画芸術科学アカデミー（AMPAS）のアカデミー色エンコード規格（ACES）に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック／参照出力媒体メトリック（RIMM/ROMM）規格、sRGB色空間、RGB色空間またはYCbCr色空間のうちの少なくとも一つにおいてエンコードされた画像データを含む、請求項１記載の方法。
19. プロセッサを有し、請求項１ないし１８のうちいずれか一項記載の方法を実行するよう構成されている装置。
20. ソフトウェア命令を記憶しているコンピュータ可読記憶媒体であって、前記ソフトウェア命令は、一つまたは複数のプロセッサによって実行されたときに、請求項１ないし１８のうちいずれか一項記載の方法の実行を引き起こすものである、コンピュータ可読記憶媒体。

Images