JP4421437B2 - 画像中の自発光要素の存在を算出するシステムおよび方法 - Google Patents

Description

本発明は、概して、デジタル画像処理および、さらにとりわけ、画像中の色の変わり目または自発光体の検出に関するものである。

（背景技術）
イメージセンサに届く反射光は、画像の被写体を照らす光による。光源が異なれば、その画像の被写体の表面から得るセンサ検出値（sensor value）も異なる。ヒトの視覚システムは、表面の色が一定の色に見えるように、反射光における上記の変化を知覚されるノルムへとおおよそ補正する。しかしながら、画像が媒体に取り込まれた場合に取り込まれた場面での光源（a light source）とは異なる光源の下で見られると、自然法則に従った補正は起こらない。したがって、記録された画像には、自然な状態の目で見えるときのように見えるようにするために基準光源へのカラーバランス調整を行なうことが望ましいことがほとんどである。このバランス調整またはカラー補正は、ひとたびシーンの光源が特定されれば実行され得る。

画像のシーンにおける発光体または光源の特定についての多くの方法が知られているが、従来の補正アルゴリズムは、すべての画像ピクセルが反射面を表していると想定してしまう。もし画像が、空やその他の発光体のように自発光体を含んでいれば、表面ピクセルの想定は妨害されてしまう。もし画像が、光を反射しない重要な部分、つまり自発光体を含んでいれば、従来の方法では失敗し、その画像の光源は誤って決定されてしまうであろう。例えば、もし画像が青い空を含んでいて、カラーバランスアルゴリズムがすべてのピクセルは反射物体であると想定してしまうと、青っぽいピクセルはシーンの照明（illumination）が青っぽい証拠であるとして捉えられてしまうであろう。カラー補正とはおおよそ、推定された光源の色相を正反対にすることであるので、青っぽい光源に対する補正は画像を黄色の方向に変更してしまう。この補正の結果、過度に黄色っぽい地面や表面の領域および彩度を落とされた空の領域ができてしまうこともある。

上記のカラー補正、カラーバランスまたはカラーコンスタンシーアルゴリズム（color constancy algorithms）は概して、発光体（ここでは以下自発光体とも呼ばれている）を含む画像をどのように扱えばよいのかという疑問に対しては、注意を向けていない。これらはむしろ、表面ピクセルの想定を満足させる画像（例えば、均一に光を照射されるモンドリアン風の画像）に焦点をあててきたのである。

（図の詳細な説明）
本発明の実施形態は、以下の記述および添付の請求項において、付属の図面と関連して、さらに完全に明らかにされる。上記図面は単に典型的な実施形態を描写しているにすぎず、したがって、本発明の範囲を制限するとは考えないということ理解されたい。また、上記実施形態において、付属の図面を用いることによってさらなる特殊性および詳細が記述される。ここで、
図１ａは、本発明のある実施形態における、自発光要素検出の方法を示すフローチャートである。
図１ｂは、本発明のある実施形態における、自発光要素検出および要素の重み付け方法を示すフローチャートである。
図２は、本発明の実施形態における要素を示すのに用いられる、典型的な画像である。
図３ａは、画像境界に関連したピクセル位置に基づく、自発光である尤度を示す画像である。
図３ｂは、カラー特性に基づく、自発光である尤度を示す画像である。
図３ｃは、輝度特性に基づく、自発光である尤度を示す画像である。
図３ｄは、図３ａ、ｂおよびｃに示された要因の組み合わせに基づく、組み合わされた、自発光である尤度を示す画像である。
図４は、典型的な自発光確率分布を示すグラフである。
図５は、本発明の実施形態におけるいくつかのステップを示すフローチャートである。
図６は、選択された光源から反射された、さまざまな色分布を示すグラフである。
図７は、図６に示された光源の色度図を表すグラフである。
図８は、自発光である尤度に関連付けられた重み付け要因を使用する実施形態における方法を示すフローチャートである。
図９は、補正要因を使用する実施形態における方法を示すフローチャートである。
図１０は、自発光要素が補正の間に識別されるような実施形態における方法を示すフローチャートである。

（詳細な説明）
本発明のある実施形態において、画像の自発光領域を決定する方法が用いられる。デジタル画像補正パラメータは自発光領域の決定に応じて計算され得る。画像の自発光領域は画像特性基準より決定され得る。例えば、画像特性基準は、ピクセルカラー特性、ピクセル輝度および／またはピクセル位置パラメータであってもよい。ある実施形態において、自発光領域は、明るいピクセル輝度に対応して決定されてもよい。ここで、明るいピクセル輝度とは、周囲の画像領域に対する相対的な明るさのことか、および／または、明るさの閾値よりも明るいこととして定義されている。

ある実施形態において、自発光領域は、色度関数、色相角関数、カラー彩度関数、または明度関数などのような、複数の項（terms）からなるカラー特性の一般的な関数を用いて決定されてもよい。

他の実施形態において、自発光領域は、画像の端または他の幾何学的画像特性に関するピクセル位置に関連付けられて決定されてもよい。

本発明の実施形態における多くのアルゴリズムにおいて、補正は、ＣＩＥ１９３１ＸＹＺの三刺激値（tristimulus）などのような線形の色空間において採用されている行列の形をとっている。入力された三刺激値は、行列によって、１組のカラー補正値を生成するために以下のように乗算される。

ここで、ｘは三刺激値のうちの１つのベクトルを表し、
Ｍはカラーコレクションマトリクスを表し、
ｘ’は補正値のベクトルを表している。
上記カラー補正は、ＣＩＥ１９３１ＸＹＺまたはＲＧＢセンサスペースの線形変換を含む、他の色空間において実行することも可能である。

カラー補正のある特徴（One view）とは、クリティカルステップが、そのシーンの光源を推定するステップであり、次に上記推定結果からコレクションマトリクスが定義され得るということである。上記アプローチは表面反射率関数およびそれぞれのピクセルにおける照度を推定しようとするものである。次に、元のセンサ検出値は、標準的な光源下での値へとマッピングされる。上記プロセスでは、表面ピクセルの仮定が満足されているものと想定される。

コレクションマトリクスを定義するある方法は、反射率および光源の線形モデル、およびシーンについて推定された光源に関するものである。反射率または光源関数（例えば、光沢のないマンセルチップセット、または基準の昼光パワースペクトルなど）の大きな集合内の原理構成要素の分析（または、特異値分解、ＳＶＤ）の実行後、典型的な光源および面が低次元線形モデルを用いて概算により求められ得る。次に、関数は、重み付けの集合を定義することよって線形モデル上に近似値を得ることが可能となる。

ここで、
ｒは概算された反射率値の１×ｎの波長ベクトルを、
ｅは概算された光源スペクトルパワー値の１×ｎの波長ベクトルを、
ｗ_ｓはサーフェスリニアモデルにおける重み付けの集合を、
ｗ_ｅはイルミナントリニアモデルにおける重み付けの集合を、
Ｂ_ｓは表面反射率関数に基づくサーフェスの集合を、
Ｂ_ｅは光源スペクトルパワー関数に基づくイルミナントの集合を表す。

色空間座標ｘは、ある光源の下で計算された反射率関数、

に対して算出される。ここで、

センサ検出値を算出するための、上記方程式は、光沢のない反射面から反射している光源スペクトルパワー分布の物理的現象を表しており、センサの集合に信号を適用している。上記基底の次元は（The dimensions of the bases）、［ｎ波長、ｎＢ_ｓ］および［ｎ波長、ｎＢ_ｅ］である。

第一のシーンについての光源を推定すると、色座標から面の重み付けまでのマッピングを反転させることが可能である。次に、上記面の重み付けは、第二のシーンにおける光源（例えば、ＣＩＥ Ｄ６５００のような標準光源条件）の下で再計算され得る。上記第二光源下でのカラー補正値ｘ’は以下のように算出され得る。

ｅ_canonicalは、標準光源のスペクトルパワー分布である。

コレクションマトリクスを定義するあるいは別の方法は、補正の形に制約を加える。例えば、ある方法においては、上記コレクションマトリクスは、全てに値が配置された行列であるよりはむしろ対角行列でなければならない。他の方法においては、取得した値は、推定される光源の下でのニュートラル体（neutral object）を標準光源下でのニュートラル値にマッピングするように定義される。コレクションマトリクスのそれぞれの形について、推定された光源パラメータから補正パラメータへのマッピングが必要である。

自発光または反射しない画像領域は、誤った光源推定への偏向を含む問題、または第一のカラー補正変換における想定の妨害によるカラー補正の問題を引き起こすこともある。

本発明のある実施形態において、ピクセルまたはそのグループなどの画像要素は、その画像において自発光体らしさを表しているかどうかを決定するために評価される。上記要素は、もしそれらが画像の端に近接して位置していたら自発光である確度はさらに高くなり得る。例えば、しかしこれに限定する意図はないが、空の領域および自発光の領域を含む画像において、自発光の空の領域は典型的に画像の上端に沿って位置している。風景写真から顔写真まで、あらゆる画像を回転させた場合には、上端が側端になることもあり、その逆もまたあり得る。したがって、本発明のある実施形態においては、どの端においてもそこに近接しているということが、自発光の尺度となってもよい。他の実施形態において、画像方向性アルゴリズムは、画像の上部、下部、および側部を特定するのに用いることができる。また他の実施形態において、画像が画像の方向性に関するメタデータまたはいくつかの別の尺度を含んでいてもよい。方向が特定される上記のような実施形態においては、特定の端部に近接していることが自発光であることを示し得る。例えば、しかしこれに限定する意図はないが、あるピクセルが画像の上端に近接していることは、画像の両側端や下端に近接していることよりも、より自発光であることの目印となり得る。

ある実施形態において、要素の自発光である尤度は、要素のカラー特性または記述子に関連して決定される。ある実施形態において、この関数で出力されたものは、連続的な色調のグレースケール画像として見ることができ、このグレースケールにおいては、明るい領域ほど自発光体らしき領域に相当し、暗い領域ほど反射面に相当する。

ある実施形態において、要素の色度またはカラー特性は自発光を決定するのに用いられてもよい。要素の色度が既知の光源または一般の自発光体の色度と同じ場合には、その要素は自発光である可能性がより高いということになる。

本発明の実施形態のいくつかは、図１ａのチャートにおいて示されるステップを含む。この図において、ピクセルまたは関心領域（region of interest）などの画像要素は、位置などのような特性、色度などのような強度のないカラー特性、および／または輝度のような強度の値などの、その特性を決定するために評価される（１０）。要素の位置は、画像の端に対する近接度を決定するために評価される（１２）。ここで、もし要素が端、つまり、ある特定の端、あるいはいくつかの他の幾何学的形状の画像における境界に十分近接していたら、その要素はより自発光である可能性が高いとみなされ、フラグまたは決定変数値が、上記の尤度にしたがって設定（１１）、または、増やされる。

次に要素のカラー特性が評価され（１４）、もしそのカラー特性が既知の光源または自発光体のカラー特性と合えば、その要素が自発光である可能性がさらに高くなったと考えられる。カラー特性は、色度、輝度および他の属性を含む。上記特性が、自発光である尤度を示した場合は、フラグまたは決定変数値が、上記の尤度にしたがって設定される（１３）。

上記評価（１２、１４）および上記関連付けられたフラグまたは決定変数の設定は、特定の適用先の必要に応じていかなる順番で実行されてもよい。上記評価の結果は、ブール論理の変数加算、または他の方法によって結合され（１６）、もし重要な証拠が存在すれば、その要素は自発光体の可能性があると考えられ得る（１８）。

本発明の他の実施形態においては、図１ｂに示されるように、画像要素が重み付け要因またはスコアにしたがって算定および分類されてもよい。このような実施形態において、要素は、それらの位置が画像の端、つまり特定の端、またはいくつかの他の画像境界特性に近接しているか否かを決定するために算定される。もしその位置が、ひとつまたはそれ以上の上記特性にかなり近接している場合は、その要素における、上記重み付け要因またはスコアは増やされ（２４）、その要素はさらに評価される。

もし要素のカラー特性が、青空、曇り空、タングステン白熱光、蛍光などのような既知の自発光体のカラー特性と似ていれば（２６）、その要素は自発光である可能性があると考えられ、上記尤度を反映するため、上記要素の重み付け要因またはスコアは増やされる（２８）。

もし要素の輝度特性が既知の自発光体の輝度特性と似ていれば（３０）、その要素が自発光であるというより高い尤度を反映するため、上記要素の重み付け要因またはスコアは増やされる（３２）。上記要素のスコアまたは重み付け要因が十分高い値であれば、その要素は自発光であるとみなされ得る。

本発明の実施形態における方法は、元のデジタル画像である図２、および図３（ａ）〜図３（ｄ）を参照しながら示す。図３（ａ）〜図３（ｄ）は、図２から導き出された画像のセットで、要素の位置、色度またはカラー特性、および／または輝度パラメータに基づく自発光の尤度を示している。図３（ａ）〜図３（ｄ）の画像において、白い領域は高い尤度の領域を、一方黒い領域は低い尤度の領域を表している。

本発明のある実施形態において、上記自発光決定変数ｓは、上記ピクセルカラー値ｘ、およびピクセル位置（ｉ，ｊ）より、
ｓ＝ｆ（ｘ，ｉ，ｊ）
として算出され得る。

ある実施形態において、上記要因間の独立性もまた想定されうる。上記は、項（terms）同士が、相関関係があるという利点を享受しないという点で、計算上便利である。（例えば、空は青っぽくかつ高い輝度である可能性がある。）
ｓ＝ｇ（Ｘ）＊ｈ（ｉ，ｊ）
カラー値によって決定する項は、色度ｃおよび輝度Ｙに基づいて分離可能な項に分解される。
ｓ＝ｇ_１（ｃ）＊ｇ_２（Ｙ）＊ｈ（ｉ，ｊ）
ｇ_１（ｃ）において、関数は、「青空」の色相角のときに最大値をとるように、および、その色相角が上記の値から離れていくにつれて減少するようになっている。ｇ_２（Ｙ）は大部分の空領域の輝度分布に基づいている。ｈ（ｉ，ｊ）については、空は画像の端近くにある可能性がより高いという簡単な前提が成立し得る。ここで、ｈ（ｉ，ｊ）はピクセル行数の線形関数である。注意すべきは、ｇ_１（ｃ）およびｇ_２（Ｙ）に対するこれらの選択（these choices）は上記モデルを自発光体としての「青空」の領域、または、他の光源または光源のグループの領域を特定するように強く方向付けるということである。

図２は、表面反射領域４２および空領域４０を含む画像である。図３は、それぞれの自発光尤度関数についての決定変数マップを示す。ＣＩＥ１９３１ｘｙＹ色空間にしたがって、色度を表すのに「ｘｙ」、および輝度を表すのに「Ｙ」が用いられている。地面の領域においては、最終決定変数はほぼ０であり、図３（ａ）〜図３（ｄ）における４つのすべての画像において黒色で示されている。

図３（ａ）において、画像の上端近くの要素における、自発光である尤度が、明るめの陰によって示されている。この陰は、その位置が上端から遠くなるほど次第に暗くなっている。

図３（ｂ）において、「青空」または、他の光源または光源のグループと同様のクロミナンスを有する要素またはピクセルが白で示されている。一方、色相のその範囲から「遠い」ものはより暗めの陰によって示されている。

図３（ｃ）において、既知の自発光体と同様の輝度値を有する要素またはピクセルが、明るめの陰によって示されている。この典型的な画像の場合においては、ほとんどのピクセルがこの画像の空ほど高い輝度を有しておらず、比較的に暗い。

図３（ｄ）は、図３（ａ）から図３（ｃ）に示された画像の組み合わせを表している、合成画像を示す。この図において空にある要素のみが明るめの陰によって示され、このことにより組み合わせ解析適用の成功を表すことができる。

図４は、図３（ｄ）に対応する自発光決定変数の分布を示す図表である。「空」領域は０．２から０．３５の範囲の値に対応している。

本発明における実施形態は、デジタル画像におけるカラーバランスまたはカラーコンスタンシーメソッド（color constancy estimation methods）およびカラーバランス補正との組み合わせで用いることもできる。本発明のある実施形態において、図５に示されているように、発明の方法およびシステムを、自発光要素を決定する（１１０）ために用いることができる。上記方法およびシステムは、さらに、画像光源の決定（１１５）およびカラーバランスを獲得するために用いられる補正（１２０）に影響を与えることもある。また、上記方法およびシステムは、カラーバランス補正の適用（１３０）における効果を有していてもよい。

自発光でないと分類されたピクセルのみから推定するカラーバランスアルゴリズムのほとんどは、カラーバランスパラメータを獲得するための自発光分類マップを用いるために、変更可能である。上記変更されたアルゴリズムは、自発光画像領域が存在するために、傾きを減少させて推定結果を返す
例えば、グレーワールドアルゴリズム（a greyworld algorithm）は、シーンの色度の重み付けされた平均を算出するように変更可能である。この重み付けは、自発光らしきピクセルに対しては減らされる。

関数ｆ（ｅ_ｉ）が画像Ｉにおいて最大になるような光源パラメータｅ_ｉを選択する光源算定方法を考えると、

となり、
ｘ_ｋは、カラー値のベクトルを、
Ｓ_ｋは、自発光（Ｓ＝１）または表面反射（Ｓ＝０）の状態を表示するバイナリ変数を、
ｅ_ｉは、ｉ番目の光源のパラメータ集合を表す。
ｐ（ｘ_ｋ｜Ｉ，Ｓ_ｋ＝０）は、自発光でないピクセルに対し、画像Ｉにおいて色座標ｘ_ｋが観察される尤度を表す。ｐ（ｘ_ｋ｜ｅ_ｉ）は、光源ｅ_ｉの下で色座標ｘ_ｋが観察される尤度を表す。上記項は、光源によってインデキシングされた、シーン／画像のカラー確率モデルを表す。画像おいて見られる色度数（the color frequencies）が、ある特定の光源の下で予想される色度数を合うならば、ｆの値は大きいはずである。ｆ（ｅ_ｉ）の最大値に相当する光源は、画像における上記表面反射ピクセルに最も一致する光源である。
色座標の別の集合については、観察されたカラーの尤度関数は、

と概算される。
ｎ_ｋは、座標Ｘ_ｋの距離ε以内の表面反射ピクセル数を表し、
Ｎ_Ｓ＝０は、表面分類におけるピクセル数を表す。

画像Ｉより光源を推定するある別の方法は、分類マップよりむしろ上述の自発光決定変数を直接用いることである。関数ｇ（ｅ_ｉ）が最大になるような光源パラメータｅ_ｉを選択する光源推定方法を考えると、

となり、
ｗ_ｋは、対応する自発光決定変数によって決まるカラー値のｋ番目のベクトルに対する重み付けを表す。

ｗ_ｋの値は、ピクセル自発光決定変数ｓから算出されてもよい。
ｗ_ｋ＝１−ｓ
となり、０から１の範囲を有するように正規化されている。

ｐ（ｘ_ｋ｜ｅ_ｉ）は、光源ｅ_ｉの下で色座標ｘ_ｋが観察される尤度を表す。上記項ｗ_ｋは、自発光ピクセルよりも、自発光でないピクセルにより多く重み付けするようになっている。こうして値ｇ（ｅ_ｉ）は、光源ｅ_ｉが画像において表面反射ピクセルとどれほど結びついているのかの尺度となるであろう。

色座標のある別の集合に対して、上記重み付けは、
ｗ_ｋ＝Σｗ_ｊ
として算出されてもよい。ｊは座標ｘ_ｋの距離ε以内のピクセルを示す指標となる。

ある実施形態において、画像データ上で調整された上記光源パラメータの光源事後確率分布（the illuminant posterior probability distribution）ｐ（ｅ_ｉ｜Ｉ）を最大値にする、ベイズカラーバランス推定技術が、光源ｅ_ｉを選択するという問題を公式化する。ベイズ法は、上記事後確率（the posterior）を事前確率ｐ（ｅ_ｉ）と画像尤度関数ｐ（Ｉ｜ｅ_ｉ）とに関連付ける。
ｐ（ｅ_ｉ｜Ｉ）＝ｋ・ｐ（Ｉ｜ｅ_ｉ）・ｐ（ｅ_ｉ）
となり、
ｋは、正規化された定数を、
ｐ（ｅ_ｉ）は、さまざまな光源の尤度を、
ｐ（Ｉ｜ｅ_ｉ）は、画像が光源ｅ_ｉによって照射される尤度を表す。

もしピクセルが別のもう１つのピクセルと独立していると想定される場合、その光源を、

とすると、
画像の色の尤度が、それぞれのピクセルにおけるカラー値の尤度の積、ｘ_ｊとなる。

自発光分類マップを上記ピクセル尤度関数に導入するある方法とは、バイナリ変数Ｓに、ピクセルが自発光である（Ｓ＝１）、または、ピクセルが自発光でない（Ｓ＝０）ことを表示させることである。カラー尤度関数は、
ｐ（ｘ_ｊ｜ｅ_ｉ）＝ｐ（ｘ_ｊ｜ｅ_ｉ，Ｓ＝０）ｐ（Ｓ＝０）＋ｐ（ｘ_ｊ｜ｅ_ｉ，Ｓ＝１）ｐ（Ｓ＝１）
となる。

ピクセルが自発光である場合について、カラー尤度関数は、光源
ｐ（ｘ_ｊ｜ｅ_ｉ，Ｓ＝１）＝ｐ（ｘ_ｊ｜Ｓ＝１）
から条件付きで独立しているとして取り扱われ得る。
ｐ（ｘ_ｊ｜Ｓ＝１）は自発光領域についての確率モデルである。あるいは、画像尤度は、
ｐ（Ｉ｜ｅ_ｉ）＝Π｛ｐ（ｘ_ｊ｜ｅ_ｉ，Ｓ＝０）ｐ（Ｓ＝０）＋ｐ（ｘ_ｊ｜Ｓ＝１）ｐ（Ｓ＝１）｝
として算出可能である。上記画像尤度関数より、光源事後確率分布（the illuminant posterior distribution）は算出され、次に光源推定のために最大化され得る。

ある実施形態において、上記事後確率（the posterior）ｐ（ｅ_ｉ｜Ｉ）は、画像尤度および光源事前確率（illuminant prior）を掛けることによって推定されてもよい。事前確率（prior）ｐ（ｅ_ｉ）は、さまざまな光源の相対的尤度を説明するのに用いられてもよい。例えば、光源は、昼光の位置付近にあると予測され得る。

またある実施形態において、コスト関数が用いられ、（ＣＩＥ Ｄ６５００などの）基準光源寄りに結果を偏向する関数を事後確率に掛けることにより推定（computed）されてもよい。極端な方向に推定された光源と関連付けられた補正は好ましくない結果を画像にもたらすこともあるので、もし光源が誤って推定された場合には、基準光源寄りのバイアスは、有益となり得る。

光源推定とは、コスト関数を適用した後の最大値と関連付けられた光源であってもよい。

光源パラメータがｐ（ｘ_ｊ｜ｅ_ｉ）と定められたカラー尤度関数は、シーンにおける色の分布の想定または測定によって推定（computed）される。この項の目的は、さまざまな色の尤度をそれぞれの光源の下で特徴付けることである。例えば、赤みを帯びた光源の下では、名目上赤っぽい色相を有する色度の可能性はより高く、名目上青っぽい色度の可能性はきわめて低い。

図６は、光沢のないマンセル表面反射のある集合が、昼光の位置に近い光源のある集合の下でどのように変化するかを示す。表の縦列は光源の違いに対応している。

図７は、図６において描画された光源の色度を示す。上記光源の色は青−黄方向においてさまざまであり、それぞれの光源について、マンセルセットの色度における明らかな変化が見られる。ｐ（ｘ_ｊ｜ｅ_ｉ）を算出するある方法とは、画像における色がマンセルセットの光沢のない部分から均一に（置き換えられて）描写されると想定することである。長期間の（long-term）平均色度数は、上述の光源下のマンセルセットを計算するのと同じであろう。ｉ番目の光源の下での、ある一定の色度［ｘ，ｙ］の確率は、単に、その光源の下でのマンセルセットの分布の色度における度数である。あるいは、別のある方法とは、多数の画像または対象物のコレクションにわたっての表面カラー分布から、経験に基づいたカラーモデルを導き出すことである。

本発明のある実施形態において、ある特定の色が生じる尤度は、光源のある集合に対してあらかじめ算出可能である。これには、モデル色域ｐ（ｘ｜ｅ_ｊ）が参照されてもよい。上記モデル色域は、上記定められた光源の下でそれぞれの色が生じる確率を表す。

上記自発光である確率は、それぞれのピクセルに対して、ｐ（Ｓ＝１｜色度、輝度、位置）として算出される。上記確率は、画像におけるピクセルの位置、その輝度、その色度、またはカラー特性に基づいている。その逆の値、ｐ（Ｓ＝０｜色度、輝度、位置）は、色度の関数として蓄積される。上記蓄積の結果は、色度関数ｈ（色度）に対する、ｐ（Ｓ＝０）のヒストグラムである。

ある実施形態において、上記画像尤度ｐ（Ｉ｜ｅ_ｉ）は、ｈ（色度）およびｐ（色度｜ｅ_ｉ）の間の内積として概算で求められてもよい。上記画像尤度はそれぞれの光源に対して算出される。すべての光源を通して、上記は光源色度関数Ｌ（色度）である。

本発明のある実施形態を、図８を参照しながら説明することができる。図８は、画像光源推定プロセスのステップを示したフローチャートである。この方法は、理解しやすいように一連の番号を付して描画されているが、明記しない限りは、付した番号から順番が決定されるべきではない。上記ステップのいくつかは、飛ばされることもあるし、平行して実行されることもあるし、または、連番の正確な順序を守らないで実行されることもあるということを理解されたい。まず、画像要素特性が取得される（２００）。上記特性は典型的に、画像要素カラー特性、輝度特性、位置データおよびその他の同じような特性を含む。上記要素特性のデータを用いて、それぞれの画像要素が自発光である尤度が決定され得る（２０２）。上記は、上述の他の実施形態において説明された通りに、画像要素の画像の端、または境界線への近接度を参照しながら、既知の光源の色度および要素輝度に関連した要素色度に対して実行されてもよい。

重み付け要因は、それぞれの要素に対して、その自発光である尤度に基づいて割り当てられる（２０４）。次に、要素特性に基づいて、最も可能性が高い光源がそれぞれの要素について推定される（２０６）。次に上記画像光源は、画像要素特性および上記重み付け要因を用いて推定される（２０８）。上記画像光源は、本発明の実施形態における方法にしたがったさまざまなやり方で算定されてもよい（２０８）。ある実施形態においては、上記重み付け要因は、画像光源算定プロセスに合わせて要素の重み付けの量を調整するのに用いられることもある。上記の調整は、自発光らしき要素の完全な省略、または、推定プロセスに合わせた上記要素の重み付け量の削減を含む。

本発明の他の実施形態を、図９を参照しながら説明することができる。図９は、画像カラーバランス補正プロセスを示したフローチャートである。上記実施形態において、画像要素特性が、本技術分野において既知の典型的なやり方で取得される（２２０）。それぞれの画像要素が自発光である尤度は、次に、以下に説明される方法にしたがって決定される（２２２）。画像要素全体は、画像全体に対して、画像要素特性およびそれぞれの要素が自発光であるという尤度に基づき、推定される（２２４）。次に、推定された光源に対して画像のカラーを調整するために、補正要因が算出される（２２６）。次に、上記補正要因は、画像が適切にカラー調整されるように、画像に適用される（２２８）。

本発明の他の実施形態を、図１０を参照しながら説明することができる。図１０は、カラーバランス補正要因を選択的に適用するための方法を示したフローチャートである。上記実施形態において、画像要素特性は、本技術分野において既知の方法によって取得される（２４０）。それぞれの要素が自発光である尤度が、上述において説明されたように決定され（２４２）、画像光源が、上記要素特性およびそれぞれの要素が自発光であるという尤度に基づき、推定される（２４４）。ひとつまたはそれ以上の補正要因が、上記光源に対して上記画像を補正するために算出される（２４６）。上記ひとつまたはそれ以上の補正要因は、要素それぞれの自発光である尤度にしたがって上記画像に適用される（２４８）。上記実施形態において、上記補正要因は、自発光ではなさそうな要素に対してのみ適用されてもよいし、自発光である尤度の大きさにしたがってある程度適用されてもよいし、要素が自発光である尤度に対して正比例または反対の関係にある、他のやり方で適用されてもよい。

画像要素が自発光である尤度を決定し、補正パラメータを算出し、デジタル画像補正パラメータを適用するためのシステムおよび方法をここに述べてきた。２、３の例が本発明の特徴を説明および明確にするために挙げられてきたが、本発明は上記例のみに限定されるものではない。特定の補正アルゴリズムも、本発明についてのコンテクストを提供するために挙げられてきたが、これについても、本発明は上述のアルゴリズムにのみ限定されるものではない。本発明の他の変形体および実施形態も本技術分野における当業者によって実現し得る。

本発明のある実施形態における、自発光要素検出の方法を示すフローチャートである。 本発明のある実施形態における、自発光要素検出および要素の重み付け方法を示すフローチャートである。 本発明の実施形態における要素を示すのに用いられる、典型的な図である。 （ａ）は、画像境界に関連したピクセル位置に基づく、自発光である尤度を示す画像であり、（ｂ）は、カラー特性に基づく、自発光である尤度を示す画像であり、（ｃ）は、輝度特性に基づく、自発光である尤度を示す画像であり、（ｄ）は、図３（ａ）、（ｂ）および（ｃ）に示された要因の組み合わせに基づく、組み合わされた、自発光である尤度を示す画像である。 典型的な自発光確率分布を示すグラフである。 本発明の実施形態におけるいくつかのステップを示すフローチャートである。 選択された光源から反射された、さまざまな色分布を示すグラフである。 図６に示された光源の色度図を表すグラフである。 自発光である尤度に関連付けられた重み付け要因を使用する実施形態における方法を示すフローチャートである。 補正要因を使用する実施形態における方法を示すフローチャートである。 自発光要素が補正の間に識別されるような実施形態における方法を示すフローチャートである。

符号の説明

４０ 空領域
４２ 表面領域

Claims (9)

1. 推定されたデジタル画像の光源に基づいて、該デジタル画像にカラーバランス補正を適用するためのデジタル画像処理方法であって、
   上記デジタル画像における各ピクセルの位置、各ピクセルの色を示すカラー値、および、各ピクセルの輝度の少なくとも１つを、上記デジタル画像の各ピクセルから取得することにより、上記デジタル画像に含まれるピクセルまたはピクセル領域からなる画像要素の特性を示す画像要素特性を取得するステップと、
   上記取得するステップにて画像要素ごとに取得された画像要素特性を、自発光体を表す画像要素の特性を示す自発光要素特性と比較するステップであって、
   （ｉ）上記デジタル画像上での画像要素の位置を、画像要素の特性として比較するステップ、
   （ii）上記画像要素のカラー特性を、画像要素の特性として比較するステップ、および、
   （iii）上記画像要素の輝度特性を、画像要素の特性として比較するステップ、
   のうち少なくとも１つのステップが含まれる比較するステップと、
   上記比較するステップによる比較結果にしたがって画像要素ごとに求められた当該画像要素が自発光体である尤度を示す重み付け値を、該画像要素ごとに設定するステップと、
   上記設定するステップによって上記画像要素ごとに設定された重み付け値に基づいて、上記デジタル画像の少なくとも一部分に適用するカラーバランス補正の補正パラメータを、上記尤度を示す重み付け値に対して反比例の関係となるように画像要素ごとに算出するステップとを含むことを特徴とするデジタル画像処理方法。
2. 上記比較するステップには、
   上記画像要素の上記カラー特性を、既知の光源を表す画像要素から得られるカラー特性と比較するステップと、
   上記画像要素の上記輝度特性を、既知の光源を表す画像要素から得られる輝度特性と比較するステップとが含まれており、
   上記比較するステップによる比較の結果、上記画像要素の上記カラー特性および上記輝度特性のうち少なくとも１つが自発光要素の基準を満たす場合には、上記画像要素は自発光体である尤度が高いものとして該画像要素を分類するステップをさらに含むことを特徴とする請求項１に記載のデジタル画像処理方法。
3. 上記比較するステップには、さらに、
   上記デジタル画像上での上記画像要素の位置に基づいて、上記デジタル画像の端または該デジタル画像上の幾何学的形状の境界への近接度を測定するステップを含み、
   上記分類するステップは、上記近接度について自発光要素の基準が満たされているか否かを決定して上記画像要素を分類することを特徴とする請求項２に記載のデジタル画像処理方法。
4. 上記デジタル画像の画像要素ごとの画像要素特性に基づいて、上記画像要素ごとに、特定の光源によって照射されたときにその色が観察される色の尤度、および、画像要素がある特定の光源を表すときにその色が観察される色の尤度の少なくともいずれか一方を求めることにより、各画像要素の色の尤度を求めるステップと、
   上記設定するステップにて設定された、上記画像要素ごとの上記重み付け値が示す自発光体である尤度に応じて上記画像要素ごとの上記色の尤度に重み付けを行って求めた、該色の尤度の和または積が、最大となる場合の上記特定の光源を、上記デジタル画像の画像光源として推定するステップとを含み、
   上記算出するステップは、さらに、上記推定するステップにて推定された光源に基づいて補正パラメータを算出することを特徴とする請求項１から３までのいずれか１項に記載のデジタル画像処理方法。
5. 上記画像光源を推定するステップでは、
   自発光体らしき画像要素について求められた、特定の光源によって照射されたときにその色が観察される色の尤度を省略して、または、該色の尤度に対する重み付けを削減して、和または積を求めることにより、上記デジタル画像の画像光源を推定することを特徴とする請求項４に記載のデジタル画像処理方法。
6. 上記画像光源を推定するステップは、さらに、
   推定された上記画像光源に対して、光源の事後確率ｐ（ｅ _ｉ ｜Ｉ）を、事前確率ｐ（ｅ _ｉ ）と画像尤度関数ｐ（Ｉ｜ｅ _ｉ ）とに関連付けて、次式
   ｐ（ｅ _ｉ ｜Ｉ）＝ｋ・ｐ（Ｉ｜ｅ _ｉ ）・ｐ（ｅ _ｉ ）
   によって求め、
   ここで、ｋは、正規化された定数を、ｐ（ｅ _ｉ ）は、さまざまな光源の尤度を、ｐ（Ｉ｜ｅ _ｉ ）は、画像が光源ｅ _ｉ によって照射される尤度を表し、
   コスト関数を用いて、基準光源寄りに偏向する関数を上記事後確率に掛けることにより、ｐ（ｅ _ｉ ｜Ｉ）を最大値にする光源ｅ _ｉ を、最終的な画像光源として選択するステップを含むことを特徴とする請求項４または５に記載のデジタル画像処理方法。
7. 上記補正パラメータを算出するステップにて算出された補正パラメータにしたがって上記デジタル画像にカラーバランス補正を適用するステップを含み、
   上記補正パラメータを算出するステップは、さらに、
   上記画像光源を推定するステップにて推定された画像光源によって生じた色の偏りを除くために、上記推定された画像光源のカラー特性を入力値として補正パラメータを求めるマトリクスを用いることにより、上記補正パラメータを算出することを特徴とする請求項４から６までのいずれか１項に記載のデジタル画像処理方法。
8. 上記カラーバランス補正を適用するステップでは、
   上記デジタル画像において自発光の可能性がない画像要素のみにカラーバランス補正を
   適用することを特徴とする請求項７に記載のデジタル画像処理方法。
9. 上記カラーバランス補正を適用するステップは、
   上記画像要素をその自発光である尤度にしたがって上記カラーバランス補正を適用するステップであって、該ステップでは、
   自発光である可能性が高くない画像要素ほど上記カラーバランス補正が適用されることを特徴とする請求項７に記載のデジタル画像処理方法。