JP5265338B2 - イルミナントの推定 - Google Patents

Description

本発明は、発光体（光源）を推定すること、より具体的には、制約つきミンコフスキーノルムを使用してイルミナント（発光体・光源）を推定することに関する。

色恒常性アルゴリズムは、一般的なイルミナントの色を推定してこれを除去することを目論んでいる。これを行うことにより、画像の色を反射率の手掛かりとして利用でき、追跡や認識などのタスクに役立つ。イルミナントの推定には、概ね２つの手法がある。１つ目は、画像から平均値などの単純な統計を計算して、それがイルミナントの色と相関性を持つかどうかを検討する。２つ目は、物理的知識と確率的干渉を組み入れて推定する。後者の手法による推定は、有意に正確な結果をもたらすが、計算コストが高いという問題がある。

本発明の一態様によれば、典型的な光のＲＧＢ知識をもとに、より複雑なアルゴリズムがもたらす推定結果に近い精度が得られる単純な統計手法が提供される。

本発明は、２つの最も単純な統計推定、すなわち、平均および最大ＲＧＢ反応が、それぞれＬ^１及びＬ^∞ノルムであるという観察に根ざす。さらに、Ｌ^ｐノルムを推定量として使用しても構わないことを発見した。この理論を発展させて、従来の制約をイルミナントに当てはめられるようにした（自然光または人工光は、しばしば青み、白み、黄色みがかっているが、紫がかることはほぼない）。サイモン・フレーザーの較正データにおける実験は、制約つきイルミナントがＬ^４ノルムを使用して正確に推定できること示す。さらに、推定能力はより高度な手法のものとほぼ同等である。

セクション１
画像に記録した色は、情景の物体の色とイルミナントの色が混ざったものである。例えば、青空の下で見る白い紙は、実際に、光の青スペクトルを反射している。反射スペクトルは、白い表面で増幅された青い入射光に比例し、その結果、それ自身青みがかる。もちろん、我々には白い紙として見える。これは、我々が光の色を差し引きできる（色恒常性）からで、視覚処理の結果であるが、その本質は知られていない。分かっているのは、我々が備える色恒常性は、概して、非常に優れたもので、異なる色の光の下で見ても、ほぼ同じ色に見える。

もちろん、デジタルカラーカメラは同様の問題に直面する。カメラが記録する色は光と表面の関数であるが、我々は表面の色だけを見たい。さらに、専門的な立場上、我々は正しい表面カラーを再現することにひときわ神経を使う。例えば、周囲光が緑色を帯びている（一種の蛍光灯のような）場合、撮影した写真は顔が若干緑色を帯びている。こうした再現は到底容認できるものではない。

デジタル写真の分野において、イルミナントによるカラーバイアスを推定できるかどうかを見るのに画像カラーの統計に注目するのが一般的である。光の色の推定が本願の主題である。イルミナント推定アルゴリズムは大まかに２つに分かれる。単純な規準化とより高度な統計理論である。前者の例は、画像の平均カラー、例えば、画像の全画素のＲ，Ｇ，Ｂの平均値から算出したＲＧＢトリプルに注目する。この平均カラーは光の色によりバイアスされ、平均ＲＧＢを光の推定に利用できると期待するかもしれない。また、事実、そのとおりである。あるいは、もっと複雑なアルゴリズムがあるので、情景を構成する予想統計に関する予備知識としてこれを使用する（これは、ベイズの法則のように確率推理に使用できる）。こうした類の手法は米国特許第６，０３８，３３９号に記載されている。

本発明は、単純な規準化に基づく方法とシステムに改善を提供することを目指す。

光の色の指標として、平均ＲＧＢの代わりに、最大Ｒ，最大Ｇ，最大Ｂがしばしば使用される。さらに、この推定は、しばしば、より優れた光の色の推定をもたらす。本発明の具体例では、平均または最大規準化概念の普遍化を含む。ミンコフスキーノルム系（以下に公式を示す）は、重みつき平均の特定種類を計算し、重みづけは、パワータームｐから得られる。ｐ＝１のとき、ミンコフスキーノルムは平均値を計算する。ｐが無限大化すると、ミンコフスキーノルムは最大値を計算する。ｐ＝２のとき、ミンコフスキーノルムは画素の二乗値（Ｒ，ＧまたはＢ）の平均の平方根を示す。不制限ミンコフスキーノルムを用いた多数の標準データに基づく試験は、ｐ＝５のとき、平均あるいは最大イルミナント推定より良好な推定をもたらすことを示す。

本発明の方法によれば、推定する光の制約条件によってミンコフスキーノルムを計算できる。すなわち、例えば、黄色（タングステン）、白色（曇り）、青色（青空）の光が存在すると事前に判っていれば、それらをカメラＲＧＢとして記録できる。任意のｐについて、予め計算したＲＧＢと最も近い（予想可能範囲で）ミンコフスキーノルムをどうのように計算できるかは後述する。

さらに、本明細書で光の定義として使用するＲＧＢは、測定により計算可能である（色つきイルミナントのもとで白い表面の写真を撮影する）。あるいは、適当な色の組合せとして定義しても構わない。制限付きミンコフスキーノルム推定量（ｐ＝５）は、ほぼ全てのアルゴリズムに優れた成果をもたらす（最高の計算処理を施した相対物を除く）。

デジタルカメラで撮影した画像はイルミナントの色による影響を免れない。青み及び黄色みを帯びた光のもとで記録したＲＧＢは、それぞれ実際より青み及び黄色みを帯びている。イルミナントによるカラーバイアスの推定及び除去を色彩恒常と呼ぶ。画像の色を反射率の手掛かりとして使用する場合、色彩恒常の問題をいかに解決するかが焦点となる。色彩恒常なしには、色利用追跡も色識別装置もうまく機能しない（文献１６，１１）。

光の、一般的にはイルミナントのＲＧＢのスペクトルパワー分布が正しく推定できれば、画像ＲＧＢを変換してイルミナントによるカラーバイアスを除去することができる（文献１２）。従って、我々は、イルミナントを推定することで色彩恒常の問題に取り組む。イルミナントの推定は、通常、２つのステージから成る。最初に、画像のＲＧＢ分布を要約し（例えば、ＲＧＢの未加工分布、ＲＧＢの色合い（文献４）または凸包（文献１０）を使用できる）、この要約統計を事前知識と比較し推定を行う。実際、相関作用による色彩（文献７）と呼ばれるこの２つのステージの要約及び推定のフレームワークは、主要な色彩恒常アルゴリズムのほぼ全てを説明する。

色彩の要約統計の組み立ては概ね容易だが、推理作業は複雑である。事実、現在、最も性能の高い色彩恒常アルゴリズムは高性能物理的制約と高度な推理を利用して推定を行う。これは、イルミナント推定の計算的複雑性を高めるという問題があるだけでなく、これらのアルゴリズムは、装置の較正を有意に必要とする（例えば、カメラにスペクトル感度機能が必要なことが知られている）。

一方、画像の平均ＲＧＢおよび最大ＲＧＢとしてイルミナントをそれぞれ推定するグレイワールドや最大ＲＧＢ手法などの低機能アルゴリズムでは、推理を行わないので、推定はすぐ実行される。我々は、画像が推定をうまく実行するための固有の特性を備えると説明できるので、本発明ではこの推理作業を省略できる。例えば、画像の平均反射率が灰色の場合、平均の画像カラーはイルミナントの色彩を正確に推定する。景色に白色の反射率がある場合、最大ＲＧＢが成果を挙げる。興味深いことに、初期の実験から以下の観察結果を見出した：時々、平均的景色に灰色及び／又は白色の斑点があり、あるいは、時々、どちらも当てはまらなかった。

文献９から、画像の平均ＲＧＢと最大ＲＧＢは、それぞれ画像のＬ^１ノルムとＬ^∞ノルムであることを見出した。簡単に言うと、ｐが１と無限大の間にあるとき、推定の回答はグレイワールドと最大ＲＧＢの間にあるため、論理学上、次なる問いは、Ｌ^ｐノルムがより良い成果をもたらすかどうかである。この中間的な推定は、経験的に、より高性能である可能性をもつ。さらに、Ｌ^ｐノルムｐ（１，^∞）の計算中、画像が備えると予想される一種の統計を効率的に推測できる（ｐを変えると、存在すると想定されるグレーの影が効率的に変化する）ことを見出した。我々は、Ｌ^６ノルムが高性能で（振幅値がグレーや最大ＲＧＢアルゴリズムより優れている）、いくつかのより高度なアルゴリズムより好結果をもたらすことを見出した。

当然、さらに別のノルム（ミンコフスキーノルム系以外）がより高性能かどうかも吟味した。しかし、現実的に、単純な統計推定量から期待できる性能には自ずと限界がある。そのため、本明細書では、いくつかの新情報を付加し、小規模の推理を実行するＬ_ｐ手法について述べる。我々は、巷に溢れる典型的な光のＲＧＢについて知識を有するものである。例えば、黄色の光は良く見かけるが、濃い紫色の光は自然または人工的環境には決して出現しない。そこでＬ_ｐ形式論を修正し、この制約を組み入れた。Ｌ_２ノルムにおいて、イルミナントの制約とは、我々が発見した最小二乗という意味で画像ＲＧＢに最も近いＲＧＢ（我々のイルミナントＲＧＢ群の中で）を意味する。

制約つきミンコフスキーノルムの計算は、ｐ番目の多項式を極小にすることを含む。特定の多項式には特有の最小値があり、研究を通してこれらを効率的に発見したことを立証する。

我々の推定アルゴリズムを評価するために、サイモン・フレーザーの較正画像群で制約つきミンコフスキーノルム手法の試験を行った。Ｐ＝４のときの我々の推定性能は、今までに刊行された殆どのアルゴリズムと等しいか、それ以上であった（実質的に高価な推理を実行するものや較正を必要とするものを含む）。

セクション２では、イルミナント推定の色彩形成方程式とＬ_ｐノルムの手法を記載する。制約つきミンコフスキーノルムの手法はセクション３に記載する。関連する極小化の問題をどう解決するかはセクション４で説明する。実験はセクション５で報告する。本明細書の結びとして結論をセクション６に記載する。

セクション２
イルミナント推定の問題を理解するために、最初に、画像形成プロセスを熟考しなければならない。我々は、単純な均等拡散モデルを採用した。このモデルでは、反射率Ｓ(λ)（このときλは波長）の表面が、分光分布（スペクトルパワー分布）Ｅ(λ)に照らされると、その表面は色信号Ｃ(λ)を反射する

デジタルカメラは典型的に３つの異なる等級センサ（赤(Ｒ)、緑(Ｇ)、青(Ｂ)）を備えた受け信号をサンプリングするため、センサ（Ｒ，Ｇ，Ｂ）による応答は、受け信号で増幅された感度係数（Ｒ(λ)，Ｇ(λ)，Ｂ(λ)）の可視スペクトルｗの積分に等しい：

色彩恒常に関し、我々は画像ＲＧＢだけを考慮してＥ(λ)を計算することを目指す。あるいは、手軽な代替案として、周囲光のＲＧＢに相当する三次元ベクトル[Ｒ_ＥＧ_ＥＢ_Ｅ]^Ｔ
を推定する。続いて、記録した画像を修正して、推定したイルミナントを差し引く。イルミナントを正しく推定した場合、イルミナントによる色合いは画像から即座に除去される（文献１２）。一方、未知の色灯は非常に困難な課題であることが証明された。

長年に亘って、色彩恒常に関する様々な計算論理やアルゴリズムが提案されてきた。全てのアルゴリズムは予想される世界について既に知られていることを想定している。例えば、ランド（文献１４）は、全ての画像は白い斑点（または、明るい黄色と青色の表面が両方存在すると、事実上、白色が存在する：黄色＋青色＝白色）を含み、そのため、最大Ｒ，Ｇ，Ｂ応答は、光源ＲＧＢを推定するのに好ましいと想定している。同様に、ブッシュバウム（文献３）は、景色の全ての表面の平均反射率は、無色だと提案している。 この主張は、しばしばグレイワールドと呼ばれ、画像の平均ＲＧＢを照明ＲＧＢとして使用できるという意味である。おそらく最も的確なアルゴリズムと見なされているのは、マロニー及びワンデル（文献１５）で、画像のＲＧＢは平面に落下し、この平面の配向はイルミナントの色に依存するというものである。あいにく、多くの場合そこそこ機能するグレイワールドや最大ＲＧＢと違って、この手法はほぼ例外なく失敗した（文献６）。

より高度な手法は、より複雑な推測をもたらすが、これはすなわち、アルゴリズムも複雑化する。フォーシス（文献１０）、フィンレイソン（文献５）、バーナード他（文献２）は、凸面色域内に向けるのに参照光のもとで画像ＲＧＢを必要とする。この手法によるイルミナントの推定は、画像の色域を参照光の状態に持っていくマッピングの発見を含む。この色域マッピングの計算は多数の三次元凸面群の演算を含み、そのため、計算的に自明でない。フィンレイソン他は、色彩恒常を解決するのに相関フレームワークによる色を開発した。ここで画像のＲＧＢを要約し（例えば、二進ヒストグラムの作成）、この要約を比較または較正表と相関させる。

第２ステップは、イルミナントを推定するのに必要な推理を構成する。色域マッピングの相関表（及び確率的及び票決手法）を確立するのに実質的な努力と較正が求められる一方、最大ＲＧＢ及びグレイワールドの相関表は閉鎖形式で作成できる（すなわち、較正を必要としない）。事実、一般的に使用されている全てのアルゴリズムのうち、グレイワールドと最大ＲＧＢを用いる手法だけが推理も較正も必要としない。

近年、新しく単純な統計的手法が提案された。我々は、画像の平均ＲＧＢと最大ＲＧＢがミンコフスキー系ノルムの極端な例であることを発見した。そこで、我々は直観的かつ理論的弁証に基づいてミンコフスキーノルムＬ ^ｐ (ｐε２[１、無限大))もイルミナントの妥当な推定であり得るという提案を行った。

Ｍ次元の実空間におけるミンコフスキーノルム定義において、Ｒ^MにおけるベクトルをＸ＝[Ｘ _１ ...Ｘ _Ｍ ] ^Ｔ とする。ｐ≧１であるとき、以下の式がＲ^Mのノルムを定義する（文献１３）。

選んだｐ値次第で、２地点間の距離又はベクトルＸの長さの定義が変化する。異なるｐのノルムの関係を考慮することが有効である。ｐ≦ｑのとき、||Ｘ|| _ｑ ≦||Ｘ|| _ｐ だと証明するのは容易で、順列α_ｎ＝||Ｘ||_ｎは漸減する。限界もノルムで、ノルム無限大と呼ばれ、最大座標と等しい。

ここで、ミンコフスキーノルムが減少することに注目されたい。これは我々が直観的に期待したものではない（我々は、Ｌ^∞はＬ^１より大きいと予想した）。この矛盾は、我々がサンプル数でノルムを規準化しなかったことに起因する。これは統計モーメントの計算では一般的に行われている。以下の式がＲ^Ｍにおける全てのｐのノルムを定義することを見出した。

ここで注目すべきは、ノルムがｐと共に単調に増加することである。Ｌ^８ノルムが、Ｌ^１あるいはＬ^∞（すなわち、グレイワールドまたは最大ＲＧＢ）より充分に良好な成果をもたらすことを、我々は文献９で示している。事実、より高度なアルゴリズムに近い成果が得られたが、同等とまではいえないことが分かった。そこで、より高度なアルゴリズムに近い成果をもたらす一方、較正や推理を（ほぼ）必要としないアルゴリズムを得るために、我々はこの基本理論をさらに発展させて、照明色彩に弱い制約を組み合わせた。

本発明の第１の実施態様によれば、制約つきミンコフスキーノルムを極小化するステップを含むイルミナントの推定方法が提供される。

本発明の実施例において、制約はイルミナントの制約の意味で、特に、ＲＧＢ、Ｎセットなどの予想される照明色彩の制約を意味する。例えば、３セットの制約とは制約群に３つのＲＧＢがあることを示す。以下に説明するように、各イルミナントについて、我々が根を見つけたｐ−１多項式位数に到達することで制約群における最良の光を効率的に解き明かし、任意のｐノルムについて、この光と関連する誤差を評価できた。そこで、Ｎイルミナントについてこの工程を反復し、その中から最良の光を選択する。

この方法は、次式を最小化するイルミナントＲＧＢの確定を可能にする。

式中、ｗ_ｊは一群のイルミナントのｊ番目のＲＧＢを示し、ｌは画像ＲＧＢのＭ×３マトリックスである。

この方法は、次式の最小値を求めるものでもある。

式中、Ｌはノルムである。

この方法は、推定を使用して画像信号から照明色彩を除去する後続のステップを含むことができる。

本発明の第２の実施態様によれば、上記方法の各ステップを実行するできる手段を含む画像処理システムが提供される。

セクション３
本発明の好ましい実施態様の一つを、図面を参照しながら説明する。

異なる光について測定したＲＧＢの代表群が存在すると仮定する。現実的に、異なる光の下で白い表面のＲＧＢを測定するか、あるいは、イルミナントの候補としてＲＧＢ空間を区別することによって得られた。Ｗ_ｊは一群のイルミナントのｊ番目のＲＧＢを示し、ｌは画像画像ＲＧＢのＭ×３マトリックスとする。制約つきミンコフスキーノルムを用いた手法の単純な式を以下に示す。極小のイルミナントＲＧＢを発見するのが狙いである。

この式は２つの理由から単純といえる。第１に、照明色彩Ｗ_ｊは、未知スケーリングまで既知である（あるいは、２倍の明るさの画像の光を推定していたら、誤った答えを得る可能性がある）。課題は、正のスカラαを同時に解くことにある。

しかし、この修正式には第２の課題がある。照明が変化すると、画像のＲＧＢが非固定式に変形するため、距離の測定は光次第となる。すなわち、ＩとＩＤが２つの光の下での画像ＲＧＢを示し、Ｄは光の変化をもたらす３×３対角行列だと仮定する。ωとＤωが２つの光の下での正しいイルミナントを示すと仮定する（これらのベクトルが代表的ＲＧＢ群のものだと想定する）。Ｉとω間の距離とＩＤとＤω間の距離が等しいことが理想的である。しかし、公式において、これは当てはまらない。これが誤りだとすると、正しい答えに伴う誤差は、たとえ景色の反射率が一定でもイルミナントにより変化するということになる。

この課題に取り組むために、全てのイルミナントω＝[ｒｇｂ]^Ｔについて、規準化画像Ｌを次のように定義する：Ｒ _Ｌ＝[Ｒ_１/ｒ…Ｒ_１/ｒ…Ｒ_Ｎ/ｒ]^Ｔ、Ｇ _Ｌ＝[Ｇ_１/ｇ…Ｇ_Ｎ/ｇ]^Ｔ、Ｂ _Ｌ＝[Ｂ_１/ｂ…Ｂ_Ｎ/ｂ]^Ｔ。Ｌにおける推定白色点がα[１１１]^Ｔであり、正解の距離は、光の色から独立していることが明らかである。これがモチベーションとなって、制約つきミンコフスキーノルムの最終式に到達することになる。

分かり易くするために、Ｍ青色画素の上にＭ緑色画素を、その上にＭ赤色画素を積み重ねる。ＬはＮ×１ベクトル（Ｎ＝３Ｍ）である。ここで、式（７）の表記を代用すると、我々が求める最小化は、以下の式で表すことができる。

全てのイルミナントについて、αは正の値によって変化するため、Ｒ^Ｎにおける二等分線の各正の点と点Ｌ^Ｊ間のｐノルムセンスにおける距離を表示する。式（１１）を最小にする値αを選択することで最良近似を決定できる。ｐ＝１、ｐ＝２、ｐ＝４及びｐ＝∞のとき、閉鎖形式の解になるというように、式（１１）は常に独特な解を有するため、次のセクションでは課題を吟味する。

セクション４
各Ｌ^Ｊについて最良のαを見つけ、最小誤差を有するイルミナントを選択することで最良のイルミナントを見つけることを目指す。従って、二次元極小化を一連の一次元極小化に分類する（我々は有限数の代表光を所有しているためにこれが可能である）。ここで任意の光ω _ｊ の最適αをいかに解くかに焦点を当てる。そのため、イルミナントの上付き^ｌを、下に下ろす。

各ｐについて、Ｍ値をＬ_１だとして、以下の関数の最小値を求めるとする。

普遍性を失わずに、値Ｌ_１が順に増加すると想定する。ｆ(α)を最小化すると、次の関数も最小化することに注目されたい。

初めに、ｐが偶数の場合について考察する。ｇは微分可能関数であり、その導関数は次式のとおりである。

α＝０のとき、導関数は負になる。なぜなら、ｇ'(０)＝−ｐΣ(Ｌ_１)^ｐ−１で、かつ、Ｌ_１は全て正であるかである。αが∞に向かうと、導関数も無限大に向かうことが明らかである。ゼロに等しいαと無限大の間に少なくとも１個の極小があることが分かる。下記の二次導関数

は常に正であり（前述したようにｐは偶数である）、このことから導関数ｇ'は単調に増加し、関数ｇは唯一の極小値を有することを示唆する。この極小値が次数(ｐ−１)の多項式の根(式(１４)の根)のはずである。ｐ＝２のときは、式（１４）は、

となり、ゼロはα＝平均(Ｌ)となる。

次に図１について説明する。Ｖ字形の各線は、それぞれ関数｜α−Ｌ１｜を示す。これが１つのデータポイントとαとの差の絶対値である。従って、各Ｌ_１について、最大偏差を見つけられる。もちろん、最小最大を求める。これはＬ_１とＬ_Ｍについて同時に見つかり、α＝１/２{最小(Ｌ)＋最大(Ｌ)}と等しい。

ｐ＝４のときは、次数３の多項式の根を計算する必要があり、これは閉形式で実行できる。具体的には、以下の多項式となる。

制約つきｐ＝４ノルムを使用する利点は、例えばｐ＝６の場合より計算が簡単になる点にある。ｐ＝４の制約つきミンコフスキーを計算することで、次数３のＮ倍多項式の解が得られる（式中、Ｎは制約群における光の色の数である）。

ｐが偶数で４より大きい場合、分析的閉形式の解は存在せず、極小を捜す必要がある。これは比較的時間を要する作業であるが、例外なく、ｇは１個の特有の極小を有するため、容易に実行できる（任意の下降勾配系の方法を使用可能）。ｐ＝６のとき、多項式の次数は５になることに留意されたい（常に、ｐ−１となる）。

次に、ｐが奇数の場合について検討する。導関数は以下のようになる。

式中、ｘ＜０のときは、ｓｇｎ(ｘ)＝−１であり、ｘ≧０のときは、ｓｇｎ(ｘ)＝１である。
ｐが１より大きい場合、この導関数は連続関数となる。ｐ＝１の場合、ｇ'(α)＝Σｓｇｎ(α−Ｌ_１)は、区分的連続関数となるが、α＝Ｌ_１については規定されない。Ｍが奇数の場合、α＜中央値(Ｌ_１)の全ての値についてｇ'(α)は負となり、α＞中央値(Ｌ_１)のときは、ｇ'(α)は正となる。Ｍ＝２Ｋが偶数の場合、α＜Ｌｋの全ての値について導関数は負となり、Ｌｋ＜α＜Ｌｋ＋１のときはゼロに等しく、α＞Ｙｋ＋１のときは正となる。

ｐの値が別の奇数の場合は、偶数のときと類似した方法で説明できる。一次導関数が少なくとも１個のゼロを持ち、単調に増加し、一意的であることを示すことは容易い。しかし、ｐが奇数の場合には、常に最小値を求めなければならない（ｐ＝３やｐ＝５の場合も）。その理由は、ｓｇｎ関数が式(１８)で表示される多項式の係数の変化を意味しているからである。具体的に言えば、α∈２[Ｌｖ、Ｌｖ＋１]において、係数は一定である。しかし、[Ｌｖ＋１、Ｌｖ＋２]では、係数とは異なる。それにもかかわらず、ｇ'(α)は、αにおいて連続的であり、これをサーチすることで最小値を求めることができる。

ｐ＝∞の場合についても、分量を最小化する必要がある。

既述したように、Ｌ_１は単調に増加すると仮定しているので、図１を参照して最小値は次式を満足するポイントであることが判る。

すなわち、値α＝１/２{最小(Ｌ_１)＋最大(Ｌ_１)}

ｐ＝４の制約つきミンコフスキーノルムを解くのが望ましい選択である。ｐ＝１やｐ＝無限大のときより改善された推定性能をもたらすだけでなく、即座に解が得られ、４より大きな場合に比べて、計算が容易である。

セクション５
制約つきｐノルムアルゴリズムの性能を調べるために、異なる光の下で測定した多数の色つき物体の最大データセットから構成されるサイモン・フレーザーの較正データ（文献１）を使って性能評価を行った。１１個の色つきイルミナントのもとで撮影した３２の景色がある。一連の代表的な光群ωとして、サイモン・フレーザーのデータにも含まれている（かつ、実際に使用された１１個を含む）８７個の測定イルミナントを用いた。一連の光群は、純粋な光と、典型的な実体面の多数の測定イルミナントから均一にサンプリングした（色度域）光とを含む。イルミナントをどのように収集したか、どのように測定したかは文献２に記載されている。各画像は、補正光ＲＧＢ測定で記憶される。

推定した光の色が測定した光の色とどれだけ近いかを決定することで色彩恒常アルゴリズムを査定できる。角測度を用いて測定した光と推定した光を比較する。測定光がq ₁ =[Ｒ₁Ｇ₁Ｂ₁]^Ｔとして、推定光q _Ｅ =[Ｒ_ｅＧ_ｅＢ_ｅ]^Ｔを解く色彩恒常アルゴリズムを実行する。角誤差は以下のように定義される。

光の絶対強度を解くことができない（薄暗い景色を照らす明るい光とその逆とを区別できない）ため、角度測度を採用した。

文献によれば、全体的な性能を要約するのに使用される２つの集約測定がある。すなわち、平均角誤差とｒｍｓ角誤差である。入手できる範囲の文献に応じて、これらの一方あるいは両方の図を提供する。可能な限り、両方の誤差を報告する。最初に、我々のアルゴリズムと不制限ミンコフスキーノルム手法を比較することを試みた。制約つきノルムおよび制約無しノルムの平均角誤差に対するｐ（使用したノルム）を図２に示す。照明制約を付加すると推定性能が有意に改善されることが明らかである。グレイワールドや最大ＲＧＢの解（ｐ＝１及びｐ＝∞）よりはるかに優れた成果が（制約の有無に係わらず）得られることに留意されたい。

表１は、平均角誤差と二乗平均角誤差について試験した様々なアルゴリズムの性能を要約し、文献２で報告された結果と比較したものである。これにより、我々は光の色を推定し、その色をＲＧＢ座標として表示することを目指す。研究室でアルゴリズムを査定するとき、われわれは正しい解を測定する。ここに、推定した光の色と実際に測定した光の色を得た（両方ともＲＧＢベクトルとして表示する）。このベクトル角度は性能評価に一般的に使用されている。なるべく小さな平均角誤差をもたらすアルゴリズムを見つけるのが理想である。

さらに、文献８に記載された色域制約つき照明推定方法や、文献９に記載のフィンレイソン及びトレッツィが提供した手法で得た結果も考慮した。いかなる前処理プログラムも行わずに、Ｌ^ｐ不制限アルゴリズム及びＬ^ｐ制約つきアルゴリズムの試験を画像データ群で実行したことに留意されたい。バーナード他の文献２は、前処理プログラムが大多数の推定アルゴリズムの性能に有意な影響を及ぼすと述べている。

セクション６
画像の光の色を推定するのに制約つきミンコフスキーノルム手法が使用できる。画像は、デジタル静止カメラ、デジタルビデオ、デジタル式読み取りネガから集めても構わない。この技術はＲＧＢカメラだけでなく、全スペクトルを記録する新規な画像技術にも適用できる。

許容できる写真を提供するには光の色を正確に推定する能力が必要になる。この能力は、異なる色つき照明（識別や追跡用）の元で、物体の色を安定させるのにも役立つ。標準型の正準フレームに画像を規準化することで（画像索引にも使用できる）、例えば、色の類似性によって画像を比較できる（画像データベースアプリケーション用）。

本発明は、ミンコフスキー系ノルムの数理手段に基づくイルミナント推定アルゴリズムを有利に提供する。これは、単純な規準化に基づく我々のＬ^ｐ手法（文献９）の延長と言える。典型的な光のＲＧＢの物理的知識という小規模の推理だけを組み込んで、最良の推定イルミナントを選択するための極小化規準を公式化した。我々のアルゴリズムを実画像群で試験し、優れたイルミナント推定結果に到達した。さらに、閉鎖形式の解を有するｐ値において最良の成果が得られるため、実行が容易で計算的負担が無い。

本発明の方法によれば、最大ＲＧＢを効率的に見つけられるため、ＲＧＢは制約群内にある。従って、最大ＲＧＢアルゴリズムが明確に修正され、照明群に制約をもたらすことができる。

参考文献

偏差確認のグラフ図 ｐ値が１〜７及び∞の制約つきｐノルムアルゴリズム及び不制限ｐノルムアルゴリズムの成果を示す。平均角誤差による結果は左の図に、ｒｍｓによる角誤差は右の図に示す。

Claims (7)

1. 発光体推定を行う方法であって、
   画像処理システムにおいて、複数の画素に対応する画像値「Ｉ」を有するデジタル画像を受信する工程であって、画像値Ｉ _i の各々は前記複数の画素の対応する画素「ｉ」（ｉ＝１．．．Ｍ）に関連付けられた色成分［赤（Ｒ _i ），緑（Ｇ _i ），青（Ｂ _i ）］ ^T を有し、前記デジタル画像は当該デジタル画像が取得されたときの照明条件に起因するカラーバイアスを有し、前記カラーバイアスは前記デジタル画像の発光体「ｗ」を示す、工程と、
   前記画像処理システムが、複数の所定の発光体ｗ _j ＝［Ｒ _j ，Ｇ _j ，Ｂ _j ］ ^T （ｊ＝２，３，．．．）であって、それぞれが所定の照明色条件の対応するものに関連付けられている発光体ｗ _j を含む集合を定義する工程と、
   前記複数の所定の発光体の各所定の発光体ｗ _j について、前記画像処理システムが、当該所定の発光体ｗ_jと受信した前記デジタル画像の前記画像値「Ｉ」との間のｐノルム距離
   

   

   を推定する工程であって、前記複数の所定の発光体の各所定の発光体ｗ_jについて、
   前記画像処理システムが、受信した前記デジタル画像の前記画像値「Ｉ」を前記所定の発光体ｗ_j＝［ｒ_j，ｇ_j，ｂ_j］を用いて規準化して、前記所定の発光体ｗ_jに対応する受信した前記デジタル画像の前記画像値の規準化インスタンス「Ｌ」、すなわち、Ｌ^(j):＝［Ｒ₁／ｒ_j，Ｒ₂／ｒ_j，．．．，Ｒ_M／ｒ_j］，［Ｇ₁／ｇ_j，Ｇ₂／ｇ_j，．．．，Ｇ_M／ｇ_j］，［Ｂ₁／ｂ_j，Ｂ₂／ｂ_j，．．．，Ｂ_M／ｂ_j］を取得する工程と、
   前記画像処理システムが、正のスカラ制約αと、前記所定の発光体ｗ_jに対応する受信した前記デジタル画像の前記画像値の前記規準化インスタンスＬ^(j)と、のｐノルム距離
   

   

   を最小化する、すなわち、
   

   

   （インデックスｋは規準化インスタンスＬ _i ^(j) の赤緑青の色成分を参照する）となるような該スカラ制約αを判定する工程と、
   前記画像処理システムが、前記判定されたスカラ制約αと、前記所定の発光体ｗ_jに対応する受信した前記デジタル画像の前記画像値の前記規準化インスタンスＬ^(j)との間の最小のｐノルム距離
   

   

   を、前記所定の発光体ｗ_jと受信した前記デジタル画像の前記画像値「Ｉ」との間の推定された前記ｐノルム距離
   

   

   として割り当てる、すなわち、
   

   

   とする、工程と
   を有する、前記推定する工程と、
   前記画像処理システムが、推定された前記複数のｐノルム距離の中で最もｐノルム距離が小さいもの、すなわち、
   

   

   に対応する所定の発光体ｗ _o を、前記複数の所定の発光体の中から選択する工程と、
   前記画像処理システムが、前記選択された所定の発光体ｗ _o を、受信した前記デジタル画像に関連付けられた発光体として割り当てる（ｗ:＝ｗ _o ）工程と
   を有することを特徴とする方法。
2. ｐが２と８の間にある（２と８を含む）請求項１記載の方法。
3. ｐが偶数であることを特徴とする請求項２記載の方法。
4. ｐが３と７の間にある（３と７を含む）請求項２記載の方法。
5. ｐが４であることを特徴とする請求項２記載の方法。
6. 受信した前記デジタル画像の前記画像値「Ｉ」から前記割り当てられた発光体ｗ_oを除去して、受信した前記デジタル画像の処理済みインスタンスを取得する工程であって、受信した前記デジタル画像の前記処理済みインスタンスの色は受信した前記デジタル画像の反射率の手掛かりとなる、工程と、
   受信した前記デジタル画像の前記処理済みインスタンスに示されるオブジェクトを追跡する色利用追跡を用いる工程、又は、受信した前記デジタル画像の前記処理済みインスタンスに示されるオブジェクトを認識する色認識システムを用いる工程と
   をさらに有することを特徴とする請求項１から５のいずれか１項記載の方法。
7. 請求項１から５のいずれか１項記載の方法に従い、制約つきミンコフスキーノルムを最小化することにより前記発光体を推定する手段と、
   当該推定を利用して、前記画像から前記発光体の色を除去する手段と
   を備えることを特徴とする画像処理システム。

Images