JP6069593B2 - デジタル・カメラにおける広色域作業フローのための二次元色変換 - Google Patents

デジタル・カメラにおける広色域作業フローのための二次元色変換 Download PDF

Info

Publication number
JP6069593B2
JP6069593B2 JP2016526810A JP2016526810A JP6069593B2 JP 6069593 B2 JP6069593 B2 JP 6069593B2 JP 2016526810 A JP2016526810 A JP 2016526810A JP 2016526810 A JP2016526810 A JP 2016526810A JP 6069593 B2 JP6069593 B2 JP 6069593B2
Authority
JP
Japan
Prior art keywords
signal
output
input
color
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016526810A
Other languages
English (en)
Other versions
JP2016541167A (ja
Inventor
エス マクエルヴァイン,ジョン
エス マクエルヴァイン,ジョン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2016541167A publication Critical patent/JP2016541167A/ja
Application granted granted Critical
Publication of JP6069593B2 publication Critical patent/JP6069593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • G06T5/90
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Description

関連出願への相互参照
本願は2013年10月28日に出願された米国仮特許出願第61/896,595号の優先権を主張するものである。本願は、2013年9月27日に出願された「画像捕捉装置処理のためのスペクトル合成」という名称の米国特許出願第14/039,415号に関連する。同出願の内容はここに参照によってその全体において組み込まれる。
技術
本発明は、画像捕捉装置のための色処理に関する。より詳細には、本発明のある実施形態は、画像捕捉装置からの正確な色出力を達成するための処理方法に関する。
本稿での用法では、「スペクトル合成」および「画像捕捉装置処理のためのスペクトル合成」は、たとえば画像捕捉装置からの正確な色出力を達成するために実行またはコンピューティングされうる処理方法に関しうる。RGB(赤、緑、青)のような三刺激色処理モデルは一般的である。RGBおよび他の三刺激モデルは色同定、マッチングおよび分類のためには十分であるが、そのようなモデルは、色処理との関係では本来的に制限されうる。その性質上、光は電磁エネルギーのスペクトルを有し、これは一般に、たとえば赤、緑および青の色値によっては完全には表現できない。RGBベースの情報および短波長、中波長および長波長(たとえば青、緑および赤)に感受性のある錐体細胞に対応する三刺激値では、人間の視覚系(HVS: human visual system)はもとの、自然な刺激を推定しようとする。
画像捕捉装置内の処理は一般に、センサー出力を出力画像の色空間に変換する3×3行列に関わる。この行列変換を適用した結果は、画像捕捉装置のセンサーのスペクトル感度がHVS等色関数の線形結合として表現できるのでない限り、一般に、人間の目によって知覚されるものを再現しない。多くの場合、結果として生じる色におけるこれらの誤差の大きさは、些末なことではない。ここで発明者によって理解されるように、デジタル捕捉装置における入力色変換のための改善された技法が望ましい。
このセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、このセクションにおいて記述されるアプローチはいずれも、このセクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、このセクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
SMPTE ST 2065-1:2012およびSMPTE ST 2065-4:2013, Academy Color Encoding Specification (ACES) R. Luther, "Aus dem Gebiet der Farbreizmetrik," Zeitschrift fur technische Physik 8, 540 (1927) G. Finlayson, and M. Drew, White-Point Preserving Color Correction, Proc. IS&T Fifth Color Imaging Conference, pg. 258. (1997) P. Hubel, J. Holm, G. Finlayson, and M. Drew, Matrix Calculations for Digital Photography, Proc. IS&T Fifth Color Imaging Conference, pg. 105. (1997) Digital Negative (DNG) Specification, v. 1.3.0.0, June 2009, Adobe(https://www.adobe.com/content/dam/Adobe/en/products/photoshop/pdfs/dng_spec.pdfから入手可能)
本発明の実施形態は、限定ではなく例として、付属の図面において示される。図面において、同様の参照符号は同様の要素を指す。
デジタル・カメラ・システムのための例示的な信号処理パイプラインを描いている。 二次元演算を使う色変換パイプラインを描いている。 本発明のある実施形態に基づくデジタル・カメラのための赤チャネルのための例示的な2D LUTトレーニング表面を描いている。 本発明のある実施形態に基づくトレーニング・データから生成される例示的な2D LUTトレーニング表面を描いている。 本発明のある例示的実施形態に基づく、カメラのネイティブな値からCIE1931 XYZへの2D色変換を利用する方法を描いている。 本発明のある例示的実施形態に基づく、反対色インデックス付け(opponent color indexing)を使う2D色変換を描いている。 A〜Cは、本発明のある例示的実施形態に基づく、生のR、GおよびBからRGB ACESへの変換のための2D LUTを描いている。 本発明のある例示的実施形態に基づく、カメラのネイティブな値からRGBへの2D色変換を利用する方法を描いている。
カメラ色補正のための二次元変換を使う効率的な入力色変換が本稿で記載される。以下の記述では、説明の目的のため、本発明の十全な理解を提供するために、数多くの個別的詳細が記載される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、本発明を無用に隠蔽し、かすませ、あるいは埋没させるのを避けるために、よく知られた構造および装置は網羅的な詳細さでは記述されない。
〈概観〉
本稿に記載される例示的実施形態は、カメラ色補正のための二次元変換を使う色変換に関する。デジタル・カメラ・システムにおいて、3×3行列を使う生データの伝統的な入力色変換が、分光反射率(spectral reflectance)特性をよりよく近似し、色精度を改善する二次元ルックアップテーブル(2D LUT)によって置き換えられる。色度のような信号および入力スケール因子は生のセンサー出力値に応答して生成される。色度信号および入力スケール因子は2D LUTを介して予備的出力信号および出力スケーリング因子にマッピングされる。出力色信号の最終的な集合は、予備的出力信号および出力スケール因子に応答して生成される。2D LUTは、色変換の入力および出力側両方で生成されるスペクトル応答曲線を利用することによって設計される。
ある例示的実施形態では、2D入力色変換は、生のRGBカメラ・データに適用されて、CIE XYZデータを生成する。該CIE XYZデータにおいて、入力スケール因子は、生のセンサー・カメラ値の和を含み、予備的出力信号は出力スケール因子に加えてCIEのxおよびy信号を含む。
もう一つの実施形態では、2D入力色変換は入力RGBデータに適用されて、出力RGB値を生成する。ここで、入力スケール因子はHSV色空間における入力カメラ・データのV値を含み、色度信号はHSV色空間における入力データのHおよびS値を含む。
〈カメラ信号処理パイプライン〉

近年、たとえば映画制作およびエピソード制作における業務環境において、いくつかの要因が、デジタル捕捉システムのより幅広い採用に寄与している。そのうちには、改善されたノイズ性能、拡張されたダイナミックレンジ機能および重要なことにはコスト効率のよいデジタル作業フロー・エコシステムの生成が含まれる。制作がデジタルに移行し続けるにつれ、より低コストのカメラ・システムが導入され、高品質のコンテンツ生成を、多くの低予算ないし中予算制作にとってアクセス可能にした。たとえば、キャノンC500、RED Epic、ARRI AlexaおよびソニーF55/F65は、広範な使用を見出すとともに、現代の映画館映画のライバルとなる品質をもつ画像を作り出した。
典型的なデジタル・カメラ・システムでは、単一センサー設計では、シーンは光学系を通じてセンサー上にイメージングされる。色フィルタ・アレイ(CFA: color filter array)がセンサー上にパターン化され、ベイヤー・デザインの場合、CFAは赤、緑または青応答をもつ個々のピクセルを作り出す。このCFAデザインでは、緑ピクセルの空間的サンプリングが赤または青チャネルの2倍であり、フル・センサー・ピクセル・カウントをもつ別個の赤、緑および青の画像を生成するために、さまざまなデモザイキング・アルゴリズムが用いられる。(放送カメラ・システムにおいて典型的に見出される)三チップ・センサー構成については、赤、緑および青のトリミング・フィルタと関連したダイクロイック・ミラーが、デモザイキングの必要なしに、フル解像度のRGBチャネルを生成する。
初期には各ピクセルに関連付けられたフォトダイオードの井戸における電子の形のアナログRGB信号は、焦点面スペクトル・パワー分布L(λ)およびRGBスペクトル感度関数
Figure 0006069593
のすべての波長にわたる投影
Figure 0006069593
を取ることによって形成される。ここで、nR、nG、nBはフォトサイト井戸において生成される信号依存の電子ノイズを指す。これらの電子は、画像読み出しの間にアナログの電流または電圧信号に変換され、その後、アナログ‐デジタル変換段を介してデジタル化される。この時点で生成されるデジタル値は典型的には、RGB信号に対して何の色処理も適用されていないという事実を反映するよう、「ネイティブ生(native raw)」と記される。
図1は、これらのネイティブ生ピクセル値(105)を目的表示装置上での快い画像に変換することに関わる例示的な色信号処理パイプラインを描いている。パイプラインのさまざまな要素は、カメラ・ファームウェア内で、あるいはオフラインでカラリストによって操作されるカラーグレーディング・システムを使って生起してもよい。しばしば、パイプラインは二つの相異なる段に分けることができる:a)ネイティブRGB信号の、XYZのような定義された測色系(colorimetry)をもつ空間への変換(たとえば、一次元線形化(110)、黒レベル減算(120)および入力色変換(130));およびb)最終画像を結果的に生成するための、この色空間でのレンダリング(たとえば140および150)。
特に関心があるのは、入力色変換(130)のための処理である。この段での正確さは非常に重要である。ここで導入される色誤差は、補正されなければ、システム・パイプライン全体を通じて伝搬するからである。入力色変換の最も一般的な方法は、3×3行列の使用に関わる。そうした行列はハードウェアでもソフトウェアでも実装が簡単だからである。しかしながら、XYZまたは「SMPTE ST 2065-1、アカデミー色エンコード仕様(ACES: Academy Color Encoding Specification)」(2012)仕様への変換のためには、ルーテル・アイヴズ(Luther-Ives)条件(非特許文献2参照)を厳密に満たすカメラ・システムは存在しない。式(1)に描かれたように、源信号および目的信号は、ヒルベルト空間から二つの別個の投影を介して形成され、それらの関係は、最終的には、各ピクセルにおける入射光のパワースペクトル分布によって決定される。このように、3×3行列はよくても近似であり、典型的には回帰方法を使って決定される。
他の一般的なアプローチは、カメラ・スペクトル応答特性の知識との関連で分光反射率データベースを用いる(非特許文献3〜4)。これらのデータから、カメラのネイティブなR、G、B信号の集合が計算されることができる。目的空間(たとえばXYZまたはACES)についても同様である。行列係数を計算するために多様な回帰方法が使用できるが、大半の一般的なアプローチは、白色点保存を、回帰問題への制約条件として課す。
2D LUTに基づく色変換
先に論じたように、3×3行列はカメラ・ネイティブから作業空間への色変換のための複雑さの低い解決策を提供するが、特により飽和した色について、精度が低下してしまうことがありうる。代替的に、3Dルックアップテーブル(LUT)は非線形な仕方で入力と出力のヒルベルト空間投影の間でマッピングする能力を提供するが、より高い複雑さという代償を伴い、システム・メモリ制約のため量子化アーチファクトを導入する可能性がある。多項式方法は3×3行列に対する実質的な精度向上が可能であるが、ピクセル処理の間のより高い計算量という代償を伴う。
以下で'415出願と称する、ここに参照によってその全体において組み込まれる2013年9月27日に出願された「画像捕捉のためのスペクトル合成」という名称の米国特許出願第14/039,415号では、3D LUTに匹敵するメモリ・フットプリントを必要とするが、ピクセル処理の間の比較的低い複雑さをもつ代替的なアプローチが提案された。提案されたアーキテクチャの例示的実施形態が図2に描かれている。
図2に描かれるように、入力ネイティブ・カメラRGB信号(205)を与えられて、スケール因子(Σ)および色度様の信号(p,q)が計算される(たとえば210において)。(p,q)値は、2Dルックアップテーブル(LUT)(220)へのインデックスとするために使われる。該2D LUTから中間出力値
Figure 0006069593
(225)が補間を介して決定される。最終的な出力RGB値(230)は
Figure 0006069593
に入力スケール因子Σを乗算することによって決定される。いくつかの実施形態では、2D LUT(220)は三つの別個の2D LUTを使って実装されてもよい。
Figure 0006069593
出力それぞれについて一つである。
2D LUTノードは、適切なスケーリングをもって値を入れられる必要があり、以下の比を担持するべきである。
Figure 0006069593
ここで、(pi,qi)はLUTノード座標を表わす。LUTがよく構築されているとすると、LUT出力とΣとの間の乗算は実際の出力RGB値に対する合理的な近似を生じるはずである。
2Dルックアップテーブル(220)は、反射率データ、純粋な関数表現(functional representation)または両者の組み合わせを使って値を入れられることができる。一つの方法は、入力および出力RGB信号の測色系をつなぐための特定のスペクトル・モデルの使用に関わることができる。たとえば、'415出願に記載されるように、長方形のスペクトル表現を使うことができる。それにより、LUT座標(pi,qi)と長方形モデルの波長(λ01)の間のほぼ一対一のマッピングがある。帯域通過領域で動作しているとすると、RチャネルLUTノードは、積分の次の比を使って構築されることになる。
Figure 0006069593
ここで、バー付きのr(λ)、g(λ)、b(λ)はそれぞれR、G、Bチャネルについてのスペクトル感度関数を指し、I(λ)は等エネルギー(スペクトル的に平坦)であってもよい発光源(illuminant)である。(p,q)と(λ01)との間の関係は、非線形連立方程式を解くための標準的な方法を使って決定できる。
2D LUTに値を入れるためのもう一つのアプローチは、分光反射率データセットを使うことに関わる。この具体化では、変換の入力側および出力側両方でのスペクトル応答曲線の知識が必要とされる。RGB値は、次式を使って入力および出力チャネル両方について計算できる。
Figure 0006069593
ここで、インデックスiはi番目の反射率サンプルを指す。すると、式(2)における比は、各反射率サンプルについて計算されることができる。たとえば、Rチャネルについて、
Figure 0006069593
となる。また、各反射率サンプルiについて対応するp,q座標の計算:
Figure 0006069593
も重要である。(pi,qi)の関数としての
Figure 0006069593
の例示的な偽色彩プロットが図3に示されている。色スケールは、比Routinの大きさを指している。プロットから明らかなように、データは面によってよく近似できる。平均面からの逸脱を示す若干のサンプルがあるものの、入力および出力カメラ特性の間の異なる条件等色(metameric)挙動のため、これは基本的に避けられない。
明らかに、反射率データセットは、(p,q)空間にマッピングされたときのサンプルにおける不均一な間隔を作り出し、一部のエリアでは、高いレベルのまばらさをもってそうする。2D LUTを構築するという立場からは、この面を規則的な間隔のサンプリング格子で近似することが要求される。このタスクを達成するために利用可能な多様な異なる2D回帰方法がある。たとえば、面を表わすために(p,q)の二次元多項式関数を使うことができる。トレーニング面(図3)はどこでも完璧になめらかではないため、トレーニング・データに適合しすぎる傾向があるかもしれないので、回帰アルゴリズムにおいて平滑性制約条件を課すことが必要である。図4は、525×525のLUTサイズをもつ、図3から生成される2D LUTの例を示している。
上述した2D LUT構造は、米国特許出願第14/039,415号において記述される(p,q)の2D多項式関数によって置換されることができることも注意しておくべきである。この場合、各チャネルR、G、Bについて決定された係数の一つの集合があるであろう。しかしながら、図2に描かれたデータ処理の残りは同じままである。
代替的な2D LUTベースの実施形態
図5は、本発明の例示的実施形態に基づく、カメラのネイティブな(または生の)RGB値(205)からCIE1931 XYZ色値(512、522、532)への2D色変換を利用する代替的な方法を描いている。図5に描かれるように、プロセスは、図2に描かれたのと同様の前処理段階(210)をもつ。計算されたネイティブの色度座標(p,q)を与えられて、2D LUT(510)および(520)はCEI1931(x,y)色度座標を出力する。(p,q)値は第三の2D LUT(530)にも適用されて、比Σout/Σを表わす
Figure 0006069593
を生成する。出力スケール因子Σout
Figure 0006069593
から、入力スケール因子Σとの乗算によって計算される。ひとたび出力スケール因子が計算されたら、最終的な(X,Y)値は、Σoutの、それぞれxおよびyとの単純な乗算によって決定される。最後に、Z座標はXおよびYをΣoutから減算することによって計算される。開示される、以前の2D色補正方法に比して、このアプローチは、陰に入力スケール因子の関数である出力スケール因子を使って最終的な(X,Y,Z)を計算する。
図6は、反対色表現(たとえばHSV)を使っての、入力RGBデータ(205)の目標RGBデータ(たとえばACES RGB)(640)への色変換のもう一つの例示的実施形態を描いている。ここで、色ピクセルは、ルーマまたは強度様の色成分および二つのクロマまたは色差様の成分を使って表現されている。図2および図5に記述された方法とは異なり、2D LUTへのインデックス付け変数は反対色表現、たとえばHSV表現からの(H,S)である。RGBからHSVへの順変換および逆変換はよく知られており、円筒表現と考えることができる。ここでもまた、(Hin,Sin)座標は、出力(Hout,Sout)値を生成するために二つの別個の2D LUT(610、620)中へのインデックスとするために使われる。重要なことに、
Figure 0006069593
の比も、入力(Hin,Sin)をインデックスとして使う第三の2D LUT/関数から計算され、Vinを乗算したときに、Voutの推定値を与える。アドビ・システムズは、そのDNG仕様において色変換における2D LUTの使用を導入した(非特許文献5)が、重要な違いは、Vチャネル変換および補正のためには2D LUTが使われないということである。
シグマ(Σout)またはVチャネル(たとえば530および630)のためのLUTを構築するプロセスは、先に概説した手順と同様であってもよい。たとえば、反射率トレーニング集合を与えられると、スペクトル応答情報は両方について知られているので、ΣoutおよびΣ値は計算されうる。すると、Σout/Σの値およびその対応する(p,q)の値を計算しうる。これは、図3に示したものと同様の、いくつかのエリアにおいて疎であってもよい面を多少なりとも定義するはずである。LUTは、LUTの規則的な間隔のノード位置においてこの面を近似することによって形成される。これは図4と類似である。
Figure 0006069593
のためのLUT(630)を生成することにおいて、インデックス付け座標が(Hin,Sin)であるというほかは同様の手順が使用されうる。
先に示したように、図5および図6に示される2D LUTエンティティは、(p,q)または(H,S)の二次元多項式関数によって置き換えられることができる。
当業者は、図6に描かれた変換プロセスはHSI、YCbCrなどのような任意の反対色(opponent color)表現を利用しうることを理解するであろうことを注意しておく。
図5を参照するに、出力R、G、Bチャネルのそれぞれについて2D変換が指定される。しかしながら、場合によっては、出力チャネルの一つが入力スケール因子(Σ)とよく相関していることがありうる。例として、図7のA〜Cは、ACES RGBにネイティブなRGBからのカメラ変換のための2D LUT面を描いている。赤(710)および青チャネルLUT(730)はいくらか複雑な表面をもつことが明らかである。しかしながら、緑チャネルLUT(720)は、平面状の面によってよく近似される。これは、GoutがΣと高い相関をもつことを示す。この実現では、出力緑チャネルは、(そのチャネルについての2D LUTを使う代わりに)入力R、G、B信号の単純な線形結合:
Gout=a*Rin+b*Gin+c*Bin (5)
として計算されてもよい。ここで、a,b,cは平面上の表面を定義する係数である。式(5)に基づいて、ある実施形態では、図2の色変換プロセスは図8に描かれるように単純化されることができる。それにより、(p,q)およびスケール因子(Σ)を計算することに加えて、出力G信号(Gout)が805において計算される。この実施形態は、一つ少ないLUT(緑LUTをなくす)ために805におけるいくらかの追加的な前処理(式(5)の計算)をトレードオフする。2D色変換技法を他の色空間に適用するときにも同様のアプローチに従うことができる。
〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ(FPGA)または他の構成設定可能もしくはプログラム可能な論理デバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)のような集積回路(IC)装置および/またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび/またはICは、本稿に記載したようなカメラ色補正のための二次元変換を使う色変換に関係する命令を実行、制御または執行してもよい。コンピュータおよび/またはICは、本稿に記載したカメラ色補正のための二次元変換を使う色変換に関係する多様なパラメータまたは値の任意のものを計算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。
本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、カメラ、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにとってアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したようなカメラ色補正のための二次元変換を使う色変換に関係する方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。
上記でコンポーネント(たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など)が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及(「手段」への言及を含む)は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する(たとえば機能的に等価な)任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。
〈等価物、拡張、代替その他〉
このように、カメラ色補正のための二次元変換を使う色変換に関係する例示的な実施形態が記載されている。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様1〕
入力色信号に応答して色出力信号を生成する方法であって:
第一、第二および第三の入力信号を受領する段階と;
前記入力信号に応答して入力スケール因子を生成する段階と;
前記入力信号に応答して第一および第二の色度信号を生成する段階と;
前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階と;
前記第一および第二の色度信号を予備的スケール因子にマッピングする段階と;
前記予備的スケール因子に前記入力スケール因子を乗算することによって出力スケール因子を生成する段階と;
前記出力スケール因子および前記第一および第二の予備的色信号に応答して出力色信号の集合を生成する段階とを含む、
方法。
〔態様2〕
前記第一、第二および第三の入力信号は赤、緑および青の信号に対応する、態様1記載の方法。
〔態様3〕
前記入力スケール因子を生成する段階は前記第一、第二および第三の入力信号を足し合わせることを含む、態様1記載の方法。
〔態様4〕
前記第一および第二の色度信号を生成する段階は、
前記第一の入力信号を前記入力スケール因子で割って前記第一の色度信号を生成する段階と;
前記第二の入力信号を前記入力スケール因子で割って前記第二の色度信号を生成する段階とを含む、
態様1記載の方法。
〔態様5〕
前記第一および第二の予備的色信号がCIEのxおよびy信号に対応し、出力色信号の前記集合がCIEのX、YおよびZ信号に対応する、態様1記載の方法。
〔態様6〕
X出力色信号が、前記第一の(x)予備的色信号に前記出力スケール因子を乗算することによって生成され、Y出力色信号が、前記第二の(y)予備的色信号に前記出力スケール因子を乗算することによって生成される、態様5記載の方法。
〔態様7〕
Z出力信号を、前記出力スケール因子からX信号およびY信号を減算することによって生成することをさらに含む、態様6記載の方法。
〔態様8〕
前記第一および第二の色度信号が、反対色空間における前記第一、第二および第三の入力信号の第一および第二の色差値を含み、前記入力スケール因子が前記反対色空間における前記第一、第二および第三の生の出力信号のルーマ値を含む、態様1記載の方法。
〔態様9〕
前記第一および第二の色度信号が、HSV色空間における前記第一、第二および第三の入力信号のHおよびSの値を含み、前記入力スケール因子がHSV空間における前記第一、第二および第三の生の出力信号のVの値を含む、態様8記載の方法。
〔態様10〕
出力色信号の前記集合がR、GおよびB値を含み、RGB出力色値を生成する段階が、HSVからRGBへの色変換を使って前記出力スケーリング因子および前記第一および第二の予備的色信号を前記RGB出力値にマッピングすることを含む、態様9記載の方法。
〔態様11〕
RGB値がACES RGB値である、態様10記載の方法。
〔態様12〕
前記第一の予備的色信号は、前記第一および第二の色度信号をインデックスとする2Dルックアップテーブル(LUT)の出力に対応する、態様1記載の方法。
〔態様13〕
前記2D LUTは分光反射率データから導出される入力および出力信号を使って設計される、態様12記載の方法。
〔態様14〕
前記2Dルックアップテーブル(LUT)の生成はさらに:
反射率トレーニング・データセットに応答して前記LUTマッピング関数の出力値を生成し;
前記反射率トレーニング・データセットに応答して前記LUTマッピング関数についての入力インデックス値を生成し;
前記LUTマッピング関数の生成された入力インデックス値および出力値に基づいて面を生成し;
生成された面を、規則的にサンプリングされる格子において、ある近似基準に従って近似することによって、前記2D LUTの値を生成することを含む、
態様12記載の方法。
〔態様15〕
入力信号に応答して色出力信号を生成する方法であって、当該方法は:
第一、第二および第三の入力信号を受領する段階と;
前記入力信号に応答して入力スケール因子を生成する段階と;
前記入力信号に応答して第一および第二の色度信号を生成する段階と;
前記入力信号の線形結合として第一の出力色信号を生成する段階と;
前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階と;
前記第一の予備的色信号に前記入力スケール因子を乗算することによって第二の出力色信号を生成する段階と;
前記第二の予備的色信号に前記入力スケール因子を乗算することによって第三の出力色信号を生成する段階とを含む、
方法。
〔態様16〕
前記入力信号は赤(R)、緑(G)および青(B)信号に対応し、前記第一の出力色信号は緑の色出力信号に対応する、態様15記載の方法。
〔態様17〕
態様1ないし16のうちいずれか一項記載の方法を実行するよう構成されている、プロセッサを有する装置。
〔態様18〕
態様1ないし16のうちいずれか一項記載の方法をコンピュータで実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。

Claims (18)

  1. 画像捕捉装置からの入力信号に応答して色出力信号を生成する方法であって:
    前記画像捕捉装置から第一、第二および第三の入力信号を受領する段階と;
    前記入力信号に応答して入力スケール因子(Σ)を生成する段階と;
    前記入力信号に応答して第一および第二の色度信号を生成する段階と;
    前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階であって、該マッピングは、前記第一および第二の色度信号のそれぞれ前記第一および第二の予備的色信号への二次元変換を含む、段階と;
    前記第一および第二の色度信号を予備的スケール因子にマッピングする段階であって、該マッピングは、前記第一および第二の色度信号の前記予備的スケール因子への二次元変換を含む、段階と;
    前記予備的スケール因子に前記入力スケール因子を乗算することによって出力スケール因子を生成する段階と;
    前記出力スケール因子および前記第一および第二の予備的色信号に応答して出力色信号の集合を生成する段階とを含む、
    方法。
  2. 画像捕捉装置からの入力信号に応答して色出力信号を生成する方法であって、当該方法は:
    前記画像捕捉装置から第一、第二および第三の入力信号を受領する段階と;
    前記入力信号に応答して入力スケール因子(Σ)を生成する段階と;
    前記入力信号に応答して第一および第二の色度信号を生成する段階と;
    前記入力信号の線形結合として第一の出力色信号(Gout)を生成する段階と;
    前記第一および第二の色度信号を第一および第二の予備的色信号にマッピングする段階であって、該マッピングは、前記第一および第二の色度信号の前記第一および第二の予備的色信号への二次元変換を含む、段階と;
    前記第一の予備的色信号に前記入力スケール因子を乗算することによって第二の出力色信号を生成する段階と;
    前記第二の予備的色信号に前記入力スケール因子(Σ)を乗算することによって第三の出力色信号を生成する段階とを含む、
    方法。
  3. 前記第一および第二の予備的色信号(x,y)は、前記第一および第二の色度信号をインデックスとする2Dルックアップテーブル(2D LUT)の出力に対応する、請求項1または2記載の方法。
  4. 前記第一、第二および第三の入力信号は赤、緑および青の信号に対応する、請求項1ないし3のうちいずれか一項記載の方法。
  5. 前記入力スケール因子を生成する段階は前記第一、第二および第三の入力信号を足し合わせることを含む、請求項1ないし4のうちいずれか一項記載の方法。
  6. 前記第一および第二の色度信号を生成する段階は、
    前記第一の入力信号を前記入力スケール因子で割って前記第一の色度信号を生成する段階と;
    前記第二の入力信号を前記入力スケール因子で割って前記第二の色度信号を生成する段階とを含む、
    請求項1ないし5のうちいずれか一項記載の方法。
  7. 前記第一および第二の予備的色信号がCIEのxおよびy信号に対応し、出力色信号の前記集合がCIEのX、YおよびZ信号に対応する、請求項1記載の方法。
  8. X出力色信号が、前記第一の(x)予備的色信号に前記出力スケール因子を乗算することによって生成され、Y出力色信号が、前記第二の(y)予備的色信号に前記出力スケール因子を乗算することによって生成される、請求項7記載の方法。
  9. Z出力信号を、前記出力スケール因子からX信号およびY信号を減算することによって生成することをさらに含む、請求項8記載の方法。
  10. 前記第一および第二の色度信号が、反対色空間における前記第一、第二および第三の入力信号の第一および第二の色差値を含み、前記入力スケール因子が前記反対色空間における前記第一、第二および第三の生の出力信号のルーマ値を含む、請求項1記載の方法。
  11. 前記第一および第二の色度信号が、HSV色空間における前記第一、第二および第三の入力信号のHおよびSの値を含み、前記入力スケール因子がHSV空間における前記第一、第二および第三の生の出力信号のVの値を含む、請求項10記載の方法。
  12. 出力色信号の前記集合がRGB出力値を含み、出力色値の前記集合を生成する段階が、HSVからRGBへの色変換を使って前記出力スケー因子および前記第一および第二の予備的色信号を前記RGB出力値にマッピングすることを含む、請求項11記載の方法。
  13. RGB値がACES RGB値である、請求項11記載の方法。
  14. 前記2D LUTは分光反射率データから導出される入力および出力信号を使って設計される、請求項3記載の方法。
  15. 前記2D LUTの生成はさらに:
    反射率トレーニング・データセットに応答してマッピング関数の出力値を生成し;
    前記反射率トレーニング・データセットに応答して前記マッピング関数についての入力インデックス値を生成し;
    記マッピング関数の生成された入力インデックス値および出力値に基づいて面を生成し;
    生成された面を、規則的にサンプリングされる格子において、ある近似基準に従って近似することによって、前記2D LUTの値を生成することを含む、
    請求項3記載の方法。
  16. 前記入力信号は赤(R)、緑(G)および青(B)信号に対応し、前記第一の出力色信号は緑の色出力信号に対応する、請求項記載の方法。
  17. 請求項1ないし16のうちいずれか一項記載の方法を実行するよう構成されている、プロセッサを有する装置。
  18. 請求項1ないし16のうちいずれか一項記載の方法をコンピュータで実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
JP2016526810A 2013-10-28 2014-10-27 デジタル・カメラにおける広色域作業フローのための二次元色変換 Active JP6069593B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361896595P 2013-10-28 2013-10-28
US61/896,595 2013-10-28
PCT/US2014/062366 WO2015065890A1 (en) 2013-10-28 2014-10-27 Two-dimensional color transformations for wide gamut workflows in digital cameras

Publications (2)

Publication Number Publication Date
JP2016541167A JP2016541167A (ja) 2016-12-28
JP6069593B2 true JP6069593B2 (ja) 2017-02-01

Family

ID=51868356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016526810A Active JP6069593B2 (ja) 2013-10-28 2014-10-27 デジタル・カメラにおける広色域作業フローのための二次元色変換

Country Status (5)

Country Link
US (1) US9479680B2 (ja)
EP (1) EP3063931B1 (ja)
JP (1) JP6069593B2 (ja)
HK (1) HK1222754A1 (ja)
WO (1) WO2015065890A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017059043A1 (en) * 2015-09-30 2017-04-06 Dolby Laboratories Licensing Corporation 2d lut color transforms with reduced memory footprint
US11158286B2 (en) * 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
US10992902B2 (en) 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
US11326951B2 (en) * 2019-12-06 2022-05-10 Columbia Insurance Company System for colorimetry and a transformation from a non-uniform color space to a substantially uniform color space
US11516429B2 (en) 2020-04-22 2022-11-29 Grass Valley Limited System and method for image format conversion using 3D lookup table approximation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5149960B1 (en) * 1991-07-03 1994-08-30 Donnelly R R & Sons Method of converting scanner signals into colorimetric signals
JP3105633B2 (ja) * 1992-04-15 2000-11-06 京セラ株式会社 色変換装置及び電子カメラ
US5668596A (en) 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
JP2002109523A (ja) 2000-09-28 2002-04-12 Minolta Co Ltd 撮像装置、光学フィルタ群および画像データ変換装置
EP1407445B1 (en) * 2001-06-07 2010-07-21 Genoa Color Technologies Ltd. System and method of data conversion for wide gamut displays
MX2009003695A (es) * 2006-10-12 2009-04-23 Koninkl Philips Electronics Nv Metodo de mapeo de color.
US8466936B2 (en) * 2008-10-21 2013-06-18 Hisense Beijing Electric Co., Ltd. Color gamut mapping method for multimedia equipment, a television and a color processing apparatus
JP5676906B2 (ja) 2010-04-13 2015-02-25 日本放送協会 色補正装置
US8947549B2 (en) * 2011-12-28 2015-02-03 Dolby Laboratories Licensing Corporation Spectral synthesis for image capturing device processing

Also Published As

Publication number Publication date
EP3063931B1 (en) 2017-08-09
EP3063931A1 (en) 2016-09-07
WO2015065890A1 (en) 2015-05-07
US20160261772A1 (en) 2016-09-08
HK1222754A1 (zh) 2017-07-07
JP2016541167A (ja) 2016-12-28
US9479680B2 (en) 2016-10-25

Similar Documents

Publication Publication Date Title
US10535125B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
JP6069593B2 (ja) デジタル・カメラにおける広色域作業フローのための二次元色変換
US9077942B2 (en) Spectral synthesis for image capture device processing
TWI473039B (zh) 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
JP6530751B2 (ja) 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9961236B2 (en) 3D color mapping and tuning in an image processing pipeline
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
US8427560B2 (en) Image processing device
US20180077392A1 (en) Image processing apparatus, image processing method, and image processing program product
Kim et al. Detection and correction of purple fringing using color desaturation in the xy chromaticity diagram and the gradient information
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
McElvain et al. Camera color correction using two-dimensional transforms
TWI523500B (zh) 影像的動態範圍壓縮方法與影像處理裝置
TWI672951B (zh) 產生單色影像
KR101160956B1 (ko) 퍼플 프린징 보정 방법 및 시스템
JP4375580B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112005545A (zh) 用于重建由覆盖有滤色器马赛克的传感器获取的彩色图像的方法
US8390699B2 (en) Opponent color detail enhancement for saturated colors
KR20200071866A (ko) 기계학습을 이용한 고해상도 영상의 처리 방법 및 장치
JP2004045189A (ja) 色補正装置及び色補正方法
KR101604541B1 (ko) 복수 파장의 광을 이용한 컬러 영상 재현장치 및 컬러 영상 재현방법
US10979601B2 (en) High precision gamut mapping
KR102082070B1 (ko) 높은 정밀도 색역 매핑

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161226

R150 Certificate of patent or registration of utility model

Ref document number: 6069593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250