JP6023653B2 - 照明光色推定装置、照明光色推定方法及びプログラム - Google Patents

Description

本発明は、照明光色推定装置、照明光色計算方法及びプログラムに関する。

照明光の色に関する性質に基づいて照明光の色（照明光色）を推定する手法として、画像中の鏡面反射成分を利用する手法、画像中の無彩色領域を利用する手法、シーン中の物体の色に関する仮定を利用する手法等が知られている。
鏡面反射成分を利用する手法では、例えば、誘電体からの反射光成分のうち鏡面反射成分が照明光の色を表すことに着目して照明光の色を推定する（例えば、非特許文献１参照）。
また、無彩色領域を利用する手法では、無彩色の領域からの反射光の色が照明光の色を反映していることを利用して照明光色を推定する（例えば、特許文献１、特許文献２参照）。具体的には、それぞれ異なる照明光の下での白色（紙、色票）の画像から無彩色領域の色変化を事前に求めておく。そのうえで、画像中の無彩色領域に近い色を、事前に求めた無彩色領域の色の中から探索し、その平均を照明光色として推定する。
また、シーン中の物体の色の平均が灰色（無彩色）であると仮定することによって、シーン中の反射光の色を照明光色として推定する手法も知られている（例えば、非特許文献２参照）。

上記の各手法において使用する画像は１枚であるが、複数枚の画像を用いて照明光色を推定する手法も知られている。複数枚の画像を利用して照明光色を推定する手法としては、同一照明光下のもとで撮像した異なるシーンの複数の画像を用いる手法と、同一シーンを複数の異なる照明光の下で撮像した複数の画像を用いる手法とが知られている。
前者の手法は、１枚の画像を用いて照明光色を推定する上記の手法をそのまま適用することにより実現できる。
後者の手法としては、例えば、複数の画像において共通する被写体があることを前提としている。具体的には、各被写体の色の平均値が、照明光の変化によらず黒体放射軌跡（照明光色とみなせる領域）の近傍にある場合に、選択した被写体の色の平均値が灰色（無彩色）であると判断する。そして、その際の平均値を照明光の色として推定するというものである（例えば、特許文献３参照）。

特開２０１０−５０６５１号公報 特開２００２−２９０９８８号公報 特開平９−３０４１８０号公報

G.J.Klinker, S.A.Shafer, T.Kanade, "Using a color reflection model to a separate highlights from object color", Proceedings of the First International Conference on Computer Vision, pp.145-150 (1987). R.Gershon and A.D.Jepson,"The Computation of Color Constant Descriptors in Chromatic Images", Color Research and Application, Vol.14, No.6, pp.325-334 (1989).

非特許文献１のように鏡面反射成分を利用する手法では、画像中に鏡面反射成分が存在することを前提としている。そのため、画像中に鏡面反射成分が存在しない場合には適用することが難しくなる。

また、特許文献１、２、３などのように無彩色領域を利用する手法では、画像中の鏡面反射成分は不要であるが、推定精度が無彩色領域の有無に依存する。また、無彩色領域を利用する手法では、彩度の低い領域の色を照明光の色として誤推定するという問題もある。

また、特許文献３のように複数の画像を用いる手法は、灰色仮説（シーン中に存在する被写体の平均は灰色であるとする説）を前提としたものであるが、灰色仮説が成立しない場合には画像中の色分布の影響を強く受けることとなって推定精度が低下する場合がある。例えば、複数の画像のそれぞれが共有する被写体の色分布によっては、必ずしも全ての画像の被写体の平均の色が黒体放射軌跡の近傍に位置するとは限らない。このため、被写体の平均の色が黒体放射軌跡の近傍に位置しない画像がある場合には、特許文献３に記載の手法では照明光色を良好な精度で推定することが難しくなる。

本発明は、このような事情に鑑みてなされたもので、それぞれ異なる照明光の下で同じ被写体を撮像した複数の画像を利用して照明光色を推定するにあたり、灰色仮説に基づくことなく高い精度で照明光色を推定できるようにすることを目的とする。

本発明の一態様は、それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像から照明光色を推定する照明光色推定装置であって、それぞれ異なる照明光の下での前記共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算部と、前記分光特性変換行列計算部によって計算された分光特性変換行列に基づいて、前記複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出部と、前記分光特性候補抽出部が求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチング部と、前記分光特性マッチング部が求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算部とを備える照明光色推定装置である。

本発明の一態様は、それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像から照明光色を推定する照明光色推定方法であって、それぞれ異なる照明光の下での前記共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算ステップと、前記分光特性変換行列計算ステップによって計算された分光特性変換行列に基づいて、前記複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出ステップと、前記分光特性候補抽出ステップが求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチングステップと、前記分光特性マッチングステップが求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算ステップとを備える照明光色推定方法である。

本発明の一態様は、上記の照明光色推定方法であって、前記照明光色計算ステップは、前記分光特性マッチングステップにより求められた表面反射率の組合せに含まれる表面反射率についての平均値であり前記物体領域の色を示す平均表面反射率を求め、前記平均表面反射率を利用して前記照明光についての照明光色を計算する。

本発明の一態様は、コンピュータに、それぞれ異なる照明光の下での共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算ステップと、前記分光特性変換行列計算ステップによって計算された分光特性変換行列に基づいて、前記それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出ステップと、前記分光特性候補抽出ステップが求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチングステップと、前記分光特性マッチングステップが求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算ステップとを実行させるためのプログラムである。

以上説明したように、それぞれ異なる照明光の下で同じ被写体を撮像した複数の画像を利用して照明光色を推定するにあたり、灰色仮説に基づくことなく高い精度で照明光色を推定できるようになる。

本実施形態に係る照明光色推定装置の構成例と、照明及び被写体の例を示す図である。 ３つの異なる照明光に対応する推定利用画像の例を示す図である。 図２の推定利用画像に対応する照明光ごとに対応して求められた分光特性候補としての表面反射率の例を示す図である。 本実施形態に係る照明光色推定装置が実行する処理手順例を示す図である。

図１（Ａ）は、本実施形態に係る照明光色推定装置１００の構成例を示すブロック図である。同図に示す照明光色推定装置１００は、画像入力部１０１、色情報変換部１０２、分光特性変換行列計算部１０３、分光特性候補抽出部１０４、分光特性マッチング部１０５、照明光色計算部１０６及び記憶部１０７を備える。

画像入力部１０１は、図１（Ｂ）に示すように照明１０からの光が照射される被写体２０を撮像したカラー画像を照明光の推定に利用する推定利用画像として入力する。
ここで、画像入力部１０１は、それぞれが異なる種類による複数の照明１０の照明光の下で共通の被写体２０を撮像して得られた複数の撮像画像を推定利用画像として入力する。このように入力される複数の推定利用画像においては、いずれも同じ被写体２０が共通に示されている。しかし、被写体２０に照射される照明１０の種類に応じて照明光の色（照明光色）が異なる。これに伴い、各画像において示される被写体２０の色も照射された照明光の色に応じて異なってくる。
画像入力部１０１は、入力した推定利用画像を記憶部１０７に記憶させる。

なお、推定利用画像の具体例としては、例えば、屋外に設置された定点観測カメラや監視カメラ等で撮像された映像からフレーム単位で所定の時間間隔ごとに抽出し、静止画として生成した画像などであればよい。あるいは、異なる日時に撮像した建築物、風景などの画像であってもよい。また、複数の推定利用画像において共通となる被写体については、撮像位置やアングルが厳密に一致していなくともよい。

ここで、画像におけるＲ，Ｇ，Ｂの各画素は、以下の式１によって表されるように、照明光（Ｅ（λ）：分光分布）と物体の色（ρ（λ）：表面反射率）の情報を含む。従って、画像入力部１０１が入力した画像の画素値は、推定利用画像を撮像、スキャニングなどして生成する使用する機器の分光感度特性と、分光分布と、表面反射率との積分で表される。式１における変数ｉは、画像内の物体に対応する画像部分の画素値に付された番号を示す。

画像入力部１０１が推定利用画像を入力するための具体的な構成としては特に限定されない。例えば、画像入力部１０１は、撮像素子を備え、撮像素子により被写体２０を撮像した画像を推定利用画像として入力すればよい。
また、画像入力部１０１は、スキャナを備え、推定利用画像に対応する画内容が描かれた紙などをスキャンして読み取り、読み取った画像を推定利用画像として入力してもよい。
また、画像入力部１０１は、例えば外部の撮像装置などによって撮像された画像を入力可能なデータインターフェースやネットワーク対応の通信部などを備えてもよい。

色情報変換部１０２は、画像入力部１０１が入力して記憶部１０７に記憶させた推定利用画像の色情報について、当該推定利用画像の生成に使用した機器（撮像装置、スキャナなど）の特性（機器特性）の影響を排除した色情報に変換する。つまり、色情報変換部１０２は、上記の機器特性に依存しない色情報を得る。色情報変換部１０２は、色情報が変換された後の変換後の推定利用画像を記憶部１０７に記憶させる。
色情報変換部１０２が色情報の変換に用いるパラメータは、推定利用画像を撮像、スキャニングなどして生成する使用する機器の特性に応じて予め設定されている。以下の説明にあたり、色情報については、ＣＩＥ（国際照明委員会）で規定されたＸＹＺ三刺激値である場合を例に挙げる。ただし、色情報は、機器特性に依存しない色空間（たとえば、ＣＩＥＬＡＢやＣＩＥＬＵＶ）で表現されたものであれば特に限定されない。

分光特性変換行列計算部１０３は、それぞれ異なる照明光の下での共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する。具体的に、分光特性変換行列計算部１０３は、複数の表面反射率と、表面反射率を有する被写体領域からの反射光のデータとを用いて分光特性変換行列を計算する。また、分光特性変換行列計算部１０３による分光特性変換行列の計算は、画像入力部１０１が入力した推定利用画像を利用した照明光色推定のための処理に先立って、事前に行われる。
また、分光特性変換行列計算部１０３が分光特性変換行列の計算に用いる表面反射率と反射光のデータなどは、実際に周囲にある被写体の表面反射率と、様々な照明光の下での反射光の色（ＸＹＺ三刺激値）を測定して得てもよい。あるいは、ＩＳＯ／ＴＲ １６０６６：２００３で管理されている表面反射率データベースを用いて、数値的に照明光ごとの反射光の色（ＸＹＺ三刺激値）を求めてもよい。

一般的に、ＸＹＺ三刺激値は、物体からの反射光の分光特性と、ＣＩＥで規定された等色関数を用いて以下の式２のように定式化することができる。式２において、変数ｊは、可視光の範囲において分割された波長ごとに付された番号を示す。

分光特性変換行列計算部１０３は、物体の表面反射率ρ（λ_ｉ）からＸＹＺ三刺激値を求めるための行列（分光特性変換行列）を計算する。
このような分光特性変換行列は、例えば１つには、等色関数と照明光の分光特性との積である３行Ｎ列の行列の擬似逆行列として求られる。あるいは、分光特性変換行列は、複数による物体の表面反射率ρ（λ_ｉ）とＸＹＺ三刺激値とのセットを利用して重回帰分析によって求められる。

一具体例として、後者の手法による分光特性変換行列の計算について説明する。
分光特性変換行列計算部１０３は、ｍ種類の表面反射率ρ_i（λ_j）を有する物体と、Ｅ（λ_j）で表される分光分布の照明光が照射されている物体からの反射光の三刺激値Ｘ_iＹ_iＺ_iがある場合に、以下の式３として示す関係式を満たす行列を求める。

上記の式３におけるＮ行×４列による行列Ａが分光特性変換行列である。このような行列Ａとしての分光特性変換行列を取得するにあたって、分光特性変換行列計算部１０３は、例えば、右辺の三刺激値Ｘ_iＹ_iＺ_iを含む４行×ｍ列の行列Ｄに対して、^ｔＤ・（Ｄ・^ｔＤ）^−１を作用させればよい。
また、分光特性変換行列計算部１０３は、式３による一次重回帰分析の代わりに二次重回帰分析によって行列Ａを取得してもよい。なお、二次重回帰分析の場合には、式３での行列Ｄに相当する行列は式４として以下に示す形式となる。この場合、行列Ａは１０行×ｍ列となる。

分光特性候補抽出部１０４は、分光特性変換行列計算部１０３によって計算された分光特性変換行列に基づいて、複数の推定利用画像が対応する照明光ごとに、被写体における物体領域についての色温度ごとの表面反射率を分光特性候補として求める。ここで、物体領域とは、推定利用画像における被写体における特定の一部分の画像領域である。

分光特性変換行列計算部１０３によって計算された分光特性変換行列は、ある照明光が照射された物体領域からの反射光のＸＹＺ三刺激値に基づいて表面反射率を計算するための変換行列である。
この場合の照明光は不明であるが、自然光の分光分布は黒体放射で近似できる。また、人工光については自然光下での見えに近くなるように設計されている。これらのことに基づいて、本実施形態においては、照明光を黒体放射の分光特性で表す。黒体放射は以下の式５に示すように、プランクの放射式により波長λと色温度Ｔの関数で表される。

色温度を変化させることによって多様な照明光の分光特性を表現することができる。そこで、分光特性候補抽出部１０４は、式５における色温度Ｔを、所定の色温度の範囲において一定値おきに変化させた場合の各色温度の分光特性を、例えば以下の式６により求める。

なお、上記の式６は一次重回帰分析の場合に対応し、二次重回帰分析の場合には、式４においてＸＹＺ刺激値を含む右辺の行列が１０行×１列となる式が対応する。

色温度の変更に関する一具体例として１０００Ｋ〜１５０００Ｋの色温度の範囲において１００Ｋおきに１５段階で色温度Ｔを変化させた場合には、分光特性候補抽出部１０４は、１５段階の色温度ごとに対応して１５個の分光特性を求めればよい。
そして、分光特性候補抽出部１０４は、上記のように求めた１５個の分光特性のそれぞれを照明光の分光特性とした場合の表面反射率を、物体領域からの反射光のＸＹＺ三刺激値を利用して計算する。このように分光特性候補抽出部１０４が計算する表面反射率は、分光特性が１５個であるのに応じて１５個であり、１５段階の色温度Ｔにそれぞれ対応する。分光特性候補抽出部１０４は、このように求めた色温度Ｔごとに対応する１５個の表面反射率を分光特性候補として記憶部１０７に記憶させる。

具体例として、図２（Ａ）、図２（Ｂ）、図２（Ｃ）は、それぞれ、種類の異なる照明光Ａ，Ｂ，Ｃにより共通の被写体２０を撮像して得られた推定利用画像である。また、図２（Ａ）、図２（Ｂ）、図２（Ｃ）の推定利用画像のそれぞれにおいて、被写体２０における同じ位置の矩形の画像部分が物体領域２１である。
分光特性候補抽出部１０４は、例えば、図２（Ａ）に示される照明光Ａに対応する推定利用画像における物体領域２１を対象として、１０００Ｋ〜１５０００Ｋの色温度の範囲において１００Ｋおきに１５段階で色温度Ｔを変化させ、各色温度Ｔに対応する１５個の表面反射率を分光特性候補として求める。
同様に、分光特性候補抽出部１０４は、図２（Ｂ）、図２（Ｃ）の各々に示される照明光Ｂ，Ｃに対応する各推定利用画像における物体領域２１を対象として、１５段階の色温度Ｔごとに対応する１５個の表面反射率を分光特性候補として求める。

記憶部１０７は、分光特性候補抽出部１０４が上記のように求めた表面反射率を、例えば、表面反射率テーブルとして記憶する。図３は、図２の例に対応する表面反射率テーブルを示している。
図３に示すように、表面反射率テーブルは、１５種類の色温度Ｔごとに対応して、照明光Ａ、Ｂ，Ｃそれぞれに対応する１５個の表面光反射率を含む表面光反射率セットを格納する。
つまり、照明光Ａに対応する表面光反射率セットは、１５種類の色温度Ｔごとに対応して、ρ_Ａ_１〜ρ_Ａ_１５による１５個の表面反射率を含む。
照明光Ｂに対応する表面光反射率セットは、１５種類の色温度Ｔごとに対応して、ρ_Ｂ_１〜ρ_Ｂ_１５による１５個の表面反射率を含む。
照明光Ｃに対応する表面光反射率セットは、１５種類の色温度Ｔごとに対応して、ρ_Ｃ_１〜ρ_Ｃ_１５による１５個の表面反射率を含む。

分光特性マッチング部１０５は、分光特性候補抽出部１０４が求めた照明光ごとに対応する色温度ごとの表面反射率のうちで、照明光ごとの間で相互に近似する表面反射率の組合せ（ペア）を求める。

分光特性マッチング部１０５の処理の具体例として、図３に例示した表面反射率テーブルとして求められた照明光ごとの表面反射率のうちから、相互に近似している表面反射率のペアを求める場合について説明する。
例えば或る１つの照明光のもとで色温度Ｔによって変化する照明光の色のうちには、本来の照明光に近似する色が存在するはずである。このことから、分光特性候補抽出部１０４が抽出した照明光Ａの表面反射率のセットにおいては、本来の被写体２０の物体領域２１の部分の表面反射率に近い表面反射率が存在するといえる。この点については、照明光Ａ，Ｂそれぞれの表面反射率についても同様である。従って、照明光Ａ，Ｂ，Ｃそれぞれに対応して分光特性候補抽出部１０４が抽出した表面反射率セットに含まれる表面反射率の間で互いに近似する表面反射率は、被写体２０の物体領域２１についての本来の表面反射率であると導出できる。

そこで、分光特性マッチング部１０５は、以下のようにして、照明光Ａ，Ｂ，Ｃのそれぞれに対応する表面反射率の間で相互に近似している表面反射率を求める。
まず、例えば、分光特性マッチング部１０５は、照明光Ａの表面反射率セットと、照明光Ｂの表面反射率セットとの間で、表面反射率が近似している組を総当たりで探索する。この探索処理は下記の式７により表すことができる。
式７において、ｉ，ｊ＝１，２，…，１５であり、ｄｉｓ（）は、表面反射率ρ＿Ａ_ｉ，ρ＿Ｂ_ｊの距離を表す。Ａｒｇｍｉｎ（）はｄｉｓ（）の最小値をもたらす（ｉ，ｊ）の組を出力する関数である。

分光特性マッチング部１０５は、表面反射率ρ＿Ａ_ｉ，ρ＿Ｂ_ｊの距離ｄｉｓ（ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ）について、以下のように算出することができる。表面反射率は上述したように可視光の範囲で離散化した波長ごとの反射率でありＮ個の要素からなる。そこで、分光特性マッチング部１０５は、例えば、以下の式８に示すように、Ｎ個の各要素間の差の絶対値の平均として距離ｄｉｓ（ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ）を求めることができる。

また、分光特性マッチング部１０５は、表面反射率をＮ個の成分からなるベクトルと見なし、距離ｄｉｓ（ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ）について、以下の式９に示すように、ベクトルρ＿Ａ_ｉとベクトルρ＿Ｂ_ｊのなす角として求めることもできる。なお、式９において二重縦線により囲まれた記号はベクトルのノルムを表す。式９においては、ベクトルρ＿Ａ_ｉについての定義式のみを示しているが、ベクトルρ＿Ｂ_ｊについても同様の定義式で表すことができる。

さらに、分光特性マッチング部１０５は、上記の式８又は式９による演算の他に、人間の視知覚特性に基づいて波長ごとの表面反射率の差の重みづけ平均を計算することにより、距離ｄｉｓ（ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ）を算出することができる。この際に利用する視知覚特性としては、例えば、比視感度曲線や錐体の感度特性等を挙げることができる。

分光特性マッチング部１０５は、上記のように求めた距離ｄｉｓ（ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ）のうちで最小となる表面反射率の組合せ（ペア）を、照明光Ａ，Ｂのそれぞれに対応する表面反射率の間で互いに近似する表面反射率の組合せとする。
また、上記と同様の処理によって、分光特性マッチング部１０５は、照明光Ｂ，Ｃのそれぞれに対応する表面反射率の間で互いに近似する表面反射率のペアと、照明光Ａ，Ｃのそれぞれに対応する表面反射率の間で互いに近似する表面反射率のペアとを求める。

照明光色計算部１０６は、分光特性マッチング部１０５が求めた表面反射率の組合せに基づいて、推定利用画像を撮像した際の照明光についての照明光色を計算する。
このために、照明光色計算部１０６は、分光特性マッチング部１０５が求めた表面反射率の組合せにおける複数の表面反射率についての平均値である平均表面反射率を計算する。照明光色計算部１０６は、平均表面反射率を利用して、複数の推定利用画像が対応する照明光ごとに照明光色を計算する。
このように計算された照明光色が照明光色推定装置１００の推定結果である。

前述のように、分光特性マッチング部１０５は、それぞれ異なる複数の照明光における２つの組合せごとに、互いに近似する表面反射率のペアを求める。このように求められた照明光における２つの組合せごとのペアに含まれる表面反射率の各々は、理想的には同一になる。しかし、ノイズや計算誤差などによって必ずしも同一になるとは限らない。

そこで、照明光色計算部１０６は、分光特性マッチング部１０５が求めた表面反射率について平均化する。具体的に、図３の例との対応であれば、分光特性マッチング部１０５によっては、照明光Ａ，Ｂの組合せにおいて相互に近似するペアである２つの表面反射率ρ＿Ａ_ｉ，ρ＿Ｂ_ｊ、照明光Ｂ，Ｃの組合せにおいて相互に近似するペアである２つの表面反射率ρ＿Ｂ_ｉ，ρ＿Ｃ_ｊ、照明光Ａ，Ｃの組合せにおいて相互に近似するペアである２つの表面反射率ρ＿Ａ_ｉ，ρ＿Ｃ_ｊが求められている。つまり、照明光色計算部１０６は、６つの表面反射率を求めている。この場合、照明光色計算部１０６は、上記のように分光特性マッチング部１０５が求めた６つの表面反射率についての平均値を、平均表面反射率として算出する。
なお、このように算出された平均表面反射率値は、被写体２０における物体領域２１の色として扱うことができる。

次に、照明光色計算部１０６は、それぞれ異なる複数の照明光ごとに、表面反射率のうちから、上記のように求めた表面反射率の平均値（平均表面反射率）に最も近似する２つの表面反射率を選択する。
照明光色計算部１０６は、照明光ごとに対応して、選択した２つの表面反射率の平均表面反射率に対する近さに応じた重み付けに従って色温度を計算する。
具体例として、例えば図２（Ａ）の照明光Ａに対応して照明光色計算部１０６が選択した２つの表面反射率がρ＿Ａ_ｉ，ρ＿Ａ_ｉ＋１であり、ρ＿Ａ_ｉ，ρ＿Ａ_ｉ＋１に対応する色温度がＴ_ｉ，Ｔ_ｉ＋１であるとする。ここで、色空間において、平均表面反射率が表面反射率ρ＿Ａ_ｉ，ρ＿Ａ_ｉ＋１をｋ：１−ｋ（０≦ｋ≦１）に内分する点である場合、照明光色計算部１０６は、照明光の色温度Ｔを以下の式１０によって求める。
照明光色計算部１０６は、同様にして、照明光Ｂ，Ｃのそれぞれに対応する照明光の色温度Ｔを求める。

照明光色計算部１０６は、上記のように照明光Ａ，Ｂ，Ｃごとに求めた色温度Ｔを式５に代入して演算を行うことで、照明光Ａ，Ｂ，Ｃごとの分光特性を求める。そのうえで、照明光色計算部１０６は、表面反射率ρ（λ_１）〜ρ（λ_Ｎ）の値を全て「１」とした式２における照明光の分光分布に、照明光Ａについて求めた分光特性を当てはめることにより、照明光Ａの色を求める。
同様にして、照明光色計算部１０６は、表面反射率ρ（λ_１）〜ρ（λ_Ｎ）の値を全て「１」とした式２における照明光の分光分布に、照明光Ｂ，Ｃの各々について求めた分光特性を当てはめることにより、照明光Ｂ，Ｃの色を求める。

記憶部１０７は、照明光色推定装置１００が利用する各種の情報を記憶する。
例えば、記憶部１０７は、画像入力部１０１が入力した推定利用画像を記憶する。
また、記憶部１０７は、色情報変換部１０２により色情報が変換された推定利用画像を記憶する。
また、記憶部１０７は、分光特性変換行列計算部１０３が計算した分光特性変換行列を記憶する。
また、記憶部１０７は、分光特性候補抽出部１０４が抽出した分光特性候補としての表面反射率（表面反射率テーブル）を記憶する。
また、記憶部１０７は、分光特性マッチング部１０５が求めた表面反射率のペアを記憶する。
また、記憶部１０７は、照明光色計算部１０６が計算した照明光色の情報を記憶する。
記憶部１０７は、例えばＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスクなどにより具現化できる。

このように本実施形態における照明光色推定装置１００は、それぞれが異なる照明光ごとに対応して、同じ被写体についての色温度ごとの表面反射率を分光特性候補として求める。そのうえで、照明光色推定装置１００は、これらの分光特性候補としての表面反射率のうちから照明光の組合せごとに近似するとされた表面反射率に基づいて、各照明光の色を推定する。
例えば灰色仮説に基づいて照明光色を推定する場合、被写体の色分布によっては推定精度が低下する可能性がある。これに対して、本実施形態による照明光色の推定では、例えば灰色仮説に基づく必要が無い。これにより、本実施形態では、被写体の色分布によらず高い精度で照明光色を推定することが可能になる。

図４のフローチャートは、照明光色推定装置１００が実行する処理手順例を示している。
まず，推定利用画像を利用した推定処理に先立ち、分光特性変換行列計算部１０３は、被写体からの反射光の色を用いて被写体の表面反射率を推定するための変換行列（分光特性変換行列）を事前に計算する。計算によって作成された分光特性変換行列は記憶部１０７に記憶させておくようにする。分光特性変換行列計算部１０３が計算した分光特性変換行列は、式３における行列Ａに対応し、照明光ごとにｍ種類の表面反射率と反射光の色から求められるものである。

上記のように事前に分光特性変換行列を求めておいた記憶部１０７に記憶させておいたうえで、画像入力部１０１は、それぞれが異なる照明光により同じ被写体を撮像した複数の推定利用画像を入力する（ステップＳ１０１）。画像入力部１０１は、入力した複数の推定利用画像を記憶部１０７に記憶させる。

色情報変換部１０２は、複数の推定利用画像ごとの色情報について、この推定利用画像の生成に使用した撮像した機器特性の影響を排除した色情報に変換する（ステップＳ１０２）。色情報変換部１０２は、色情報を変換した後の推定利用画像を記憶部１０７に記憶させる。

次に、分光特性候補抽出部１０４は、分光特性変換行列計算部１０３によって計算された分光特性変換行列に基づいて、複数種類の照明光（複数の推定利用画像の物体領域２１）ごとに対応する色温度Ｔごとの複数の表面反射率を、分光特性候補として抽出する。
このために、分光特性候補抽出部１０４は、複数の推定利用画像に対応する照明光ごとに付した番号を示す変数ｉに「１」を代入する（ステップＳ１０３）。そのうえで、分光特性候補抽出部１０４は、ｉ番目の照明光に対応した色温度ごとの表面反射率を、例えば式５、式６を利用して求める（ステップＳ１０４）。

次に、分光特性候補抽出部１０４は、変数ｉについてインクリメントしたうえで（ステップＳ１０５）、変数ｉが照明光の種類数（推定利用画像数）以下であるか否かについて判定する（ステップＳ１０６）。
変数ｉが照明光の種類数以下であれば（ステップＳ１０６−ＹＥＳ）、分光特性候補抽出部１０４は、ステップＳ１０４に戻り、次の照明光に対応する分光特性候補（色温度Ｔごとの表面反射率）を抽出する。

そして、全ての照明光の種類に応じた色温度Ｔごとの表面反射率の計算が完了するのに応じて、分光特性候補抽出部１０４は、変数ｉが照明光の種類数より多いと判定する（ステップＳ１０６−ＮＯ）。この段階で、例えば図３に表面反射率テーブルとして例示したように、照明光の種類ごとに対応して色温度Ｔごとに表面反射率が対応付けられた分光特性候補が得られる。
分光特性候補抽出部１０４は、例えば分光特性候補としての表面反射率テーブルの情報を記憶部１０７に記憶させる。

分光特性マッチング部１０５は、分光特性候補抽出部１０４が照明光（推定利用画像）ごとに対応して求めた色温度Ｔごとの表面反射率の間で、相互に近似する表面反射率の組合せ（ペア）を、例えば式７と、式８又は式９を利用した演算によって求める（ステップＳ１０７）。分光特性マッチング部１０５は、求めた表面反射率の組合せ（ペア）を記憶部１０７に記憶させる。

照明光色計算部１０６は、被写体２０の物体領域２１における平均表面反射率を計算する（ステップＳ１０８）。つまり、照明光色計算部１０６は、分光特性マッチング部１０５が求めた表面反射率の組合せに含まれる表面反射率の平均である平均表面反射率を計算する。
なお、前述のように、ステップＳ１０８により求められた平均表面反射率は、被写体２０の色として扱うことができる。つまり、本実施形態の照明光色推定装置１００は、照明光色を計算する過程において被写体２０の色を求めることができる。

照明光色計算部１０６は、ステップＳ１０８により計算した平均表面反射率を利用して、推定利用画像が対応する照明光ごとの照明光色を計算する。
このために、照明光色計算部１０６は、複数の推定利用画像に対応する照明光ごとに付した番号を示す変数ｉに「１」を代入する（ステップＳ１０９）。そのうえで、照明光色計算部１０６は、ｉ番目の照明光に対応した照明光を、例えば式１０、式５を利用して計算する（ステップＳ１１０）。
次に、照明光色計算部１０６は、変数ｉについてインクリメントしたうえで（ステップＳ１１１）、変数ｉが照明光の種類数以下であるか否かについて判定する（ステップＳ１１２）。
変数ｉが照明光の種類数以下であれば（ステップＳ１１２−ＹＥＳ）、照明光色計算部１０６は、ステップＳ１１０に戻り、次の照明光に対応する照明光色を計算する。
そして、全ての照明光の種類に応じた照明光色の計算が完了するのに応じて、照明光色計算部１０６は、変数ｉが照明光の種類数より多いと判定する（ステップＳ１１２−ＮＯ）と、照明光色計算部１０６は同図に示す処理を終了する。このようにして、本実施形態においては照明光の種類ごとの照明光色が推定される。
照明光色計算部１０６は、計算した照明光色の情報を記憶部１０７に記憶させることができる。

なお、ステップＳ１０９〜Ｓ１１２の処理によっては、全ての種類の照明光ごとの照明光色を計算しているが、例えば、必要に応じて、一部の種類の照明光の照明光色のみを計算してもよい。

なお、色情報変換部１０２、分光特性変換行列計算部１０３、分光特性候補抽出部１０４、分光特性マッチング部１０５及び照明光色計算部１０６などの各機能部は、例えばＣＰＵ（Central Processing Unit）がプログラムを実行することにより実現できる。また、これらの機能部の全てまたは一部については、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアにより実現されてもよい。

なお、上述の照明光色推定装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の照明光色推定装置１００の処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１００ 照明光色推定装置
１０１ 画像入力部
１０２ 色情報変換部
１０３ 分光特性変換行列計算部
１０４ 分光特性候補抽出部
１０５ 分光特性マッチング部
１０６ 照明光色計算部
１０７ 記憶部

Claims (4)

1. それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像から照明光色を推定する照明光色推定装置であって、
   それぞれ異なる照明光の下での前記共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算部と、
   前記分光特性変換行列計算部によって計算された分光特性変換行列に基づいて、前記複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出部と、
   前記分光特性候補抽出部が求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチング部と、
   前記分光特性マッチング部が求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算部と
   を備える照明光色推定装置。
2. それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像から照明光色を推定する照明光色推定方法であって、
   それぞれ異なる照明光の下での前記共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算ステップと、
   前記分光特性変換行列計算ステップによって計算された分光特性変換行列に基づいて、前記複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出ステップと、
   前記分光特性候補抽出ステップが求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチングステップと、
   前記分光特性マッチングステップが求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算ステップと
   を備える照明光色推定方法。
3. 前記照明光色計算ステップは、
   前記分光特性マッチングステップにより求められた表面反射率の組合せに含まれる表面反射率についての平均値であり前記物体領域の色を示す平均表面反射率を求め、前記平均表面反射率を利用して前記照明光についての照明光色を計算する
   請求項２に記載の照明光色推定方法。
4. コンピュータに、
   それぞれ異なる照明光の下での共通の被写体からの反射光の分光特性を得るための分光特性変換行列を計算する分光特性変換行列計算ステップと、
   前記分光特性変換行列計算ステップによって計算された分光特性変換行列に基づいて、前記それぞれ異なる照明光の下で共通の被写体を撮像して得られた複数の画像が対応する照明光ごとに、前記被写体における特定の一部分である物体領域についての色温度ごとの表面反射率を分光特性候補として求める分光特性候補抽出ステップと、
   前記分光特性候補抽出ステップが求めた前記照明光ごとに対応する色温度ごとの表面反射率のうちで、前記照明光ごとの間で相互に近似する表面反射率の組合せを求める分光特性マッチングステップと、
   前記分光特性マッチングステップが求めた表面反射率の組合せに基づいて、前記照明光についての照明光色を計算する照明光色計算ステップと
   を実行させるためのプログラム。

Images