JP6376128B2 - 照明推定装置、照明推定方法および照明推定プログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、画像から照明の分光特性を推定する照明推定装置、照明推定方法および照明推定プログラムに関する。

撮影シーン中の物体の種類、材質、状態などの様々な情報を高精度に把握する技術として、多数の波長の光を記録したマルチスペクトル画像を利用する方法がある。各波長の光が物体表面で反射されるときの振る舞いは、物体の種類や状態によって異なる。そのため、マルチスペクトル画像の各画素に記録される観測値である観測スペクトルから物体の反射特性を得ることができれば、物体の種類や状態などを把握できるようになる。

しかし、観測スペクトルから物体の情報を正しく取得するのは困難である。これは、観測スペクトルには、物体の反射特性以外に照明光の特性も含まれているためである。マルチスペクトル画像の各画素に記録される観測スペクトルは、照明光が物体の表面で反射した光をセンサでとらえたものである。このため、観測スペクトルには、物体の反射特性以外に照明光の特性が含まれる。したがって、屋外など照明が変動する環境下では、照明光の影響を受けて観測スペクトルも変動する。このような観測スペクトルを用いても、物体の情報を正しく取得できない。

物体の情報を正しく取得するためには、撮影時の照明光の特性を正しく取得して、マルチスペクトル画像から撮影時の照明の影響すなわち観測スペクトルのうち照明光の特性を反映している部分を除去する必要がある。以下、スペクトル形状として表される光の特性を、分光特性と呼ぶ。

撮影時の照明の分光特性を取得する方法の一つとして、照明光を直接計測する方法が考えられる。しかし、この方法は、照明光計測用のセンサを別途必要とすることに加え、画像センサと照明光計測センサを統合するシステムの構築も必要とする。結果として、コストの増加やシステムの大型化といったデメリットが生じる。また、照明光計測センサは測定対象と同じ場所、もしくは近接する場所に設置する必要があるため、航空機からの地表観測などのように測定対象と画像センサの距離が遠い場合には、次のような問題も生じる。すなわち、照明光計測センサを物理的に設置できないといった問題や、設置できたとしても多くの労力やコストがかかるといった問題が生じる。

これらの問題を回避するために、観測されたマルチスペクトル画像の情報のみを用いて照明の分光特性を推定することが望まれている。

マルチスペクトル画像の情報から撮影時の照明の分光特性を推定する方法の１つに、観測対象物の波長ごとの表面反射率（分光反射率）の情報を用いる方法がある（例えば、特許文献１参照）。

特許文献１に記載されている方法は、照明の範囲を黒体軌跡上の点に対応付け、色温度を変化させながら、次の仮定を満たすのに必要なエネルギーを算出、最適化することによって照明の色温度を推定する。特許文献１では、観測シーン中の物体に占める肌色またはグレーの面積が広いという仮定を用いている。照明の色温度が推定できれば、推定された色温度から照明光の分光特性を推定できる。

しかし、特許文献１に記載されている方法は、観測対象物の分光反射率が既知のモデルを用いて表現可能であることを仮定し、その仮定に基づいて照明の分光特性を推定している。このため、次のような問題があった。すなわち、物体の分光反射率は、その材質等によって定まる物体固有の値であり、観測対象物体に応じて多種多様な値をとる。このため、任意の観測対象物体に対して、その分光反射率が既知のモデルを用いて表現可能であるとする仮定は必ずしも成り立たない。したがって、そのような仮定を置く方法では、任意の観測対象物に対して必ずしも正しく照明の分光特性を推定できないという問題があった。

この問題を解決するためには、物体の表面反射率に何らかの仮定を置くことなく、照明の分光特性を推定できる必要がある。これを実現する方法として、二色性反射モデルを利用する方法がいくつか提案されている（例えば、非特許文献１，２参照）。

特開２００３−２０９８５６号公報

Gudrun J. Klinker, Steven A. Shafer, Takeo Kanade, "A Physical Approach to Color Image Understanding", International journal of Computer Vision , 1990. Graham D. Finlayson, Gerald Schaefer, "Solving for Colour Constancy using a Constrained Dichromatic Reflection Model", International journal of Computer Vision , 2001.

二色性反射モデルは、物体からの反射光を、鏡面反射成分と拡散反射成分の２種類の反射成分の和として表現するモデルである。

鏡面反射成分は、光が物体と光を伝達する媒質との境界面で反射する現象である鏡面反射によって生じる反射光の成分をいう。鏡面反射では入射角と反射角が等しくなる方向に強い光を放出する。鏡面反射成分は通常、入射光と同じ分光特性を持つ。

一方、拡散反射成分は、物体に入射した光が物体と光を伝達する媒質との境界付近の物体内部で複雑な反射を経た後に、物体外部に放出される現象である拡散反射によって生じる反射光の成分をいう。物体内部の反射の過程で、物体ごとに異なる波長成分の吸収および散乱が発生するため、拡散反射成分は入射光とは異なる分光特性を持つ。

以下の式（１）は、二色性反射モデルを表す式の一例である。物体からの反射光の観測値を二色性反射モデルを用いて表現すると、以下の式（１）のように表される。

式（１）において、λは波長を表す。また、矢印付きθは入射角と反射角と位相角を成分とする角度ベクトルを表す（以下、式中以外においてはθと略しベクトルを表すものとする。他のベクトルについても同様に表記する。）。また、ｍ_ｓ（θ）は鏡面反射量、ｍ_ｂ（θ）は拡散反射量を表す。また、ｉ（λ）は入射光の分光特性、ｌ_ｏｂｊ（λ）は拡散反射光の分光特性を表す。式（１）によれば、観測値ｌ（λ，θ）は、鏡面反射成分「ｍ_ｓ（θ）ｉ（λ）」と拡散反射成分「ｍ_ｂ（θ）ｌ_ｏｂｊ（λ）」の和として表される。

以降の説明のため、式（１）のベクトル表記を以下の式（２）に示す。

Ｌ（θ），Ｉ，Ｌ_ｏｂｊはそれぞれ、センサの測定対象となるＮ個の波長をλ_１，・・・，λ_ｎとするとき、式（１）のｌ（λ，θ），ｉ（λ），ｌ_ｏｂｊ（λ）を成分とするＮ次のベクトルである（ただし、ｉ＝１，・・・，Ｎ）。以下、本明細書に示される全てのベクトルは、特に説明がない限り、波長λ_１，・・・，λ_ｎにおける値を成分とするＮ次のベクトルを示す。また、このＮ次のベクトル空間をスペクトル空間と呼ぶ。

非特許文献１に記載されている方法は、赤，緑，青の３色に対応した波長の光の強度情報からなる３次元スペクトル空間上で、二色性反射モデルに従う観測値の分布を考えたときに、特に観測値がＴ字型に分布することを仮定し、そのような仮定に基づいて照明の分光特性を観測値から推定する。

例えば、単一光源下において、プラスチックに代表される等方性反射特性を持つ、滑らかな表面の物体を観測する場合を考える。このような場合、角度ベクトルθが変化すると、鏡面反射量が０とみなせる領域では拡散反射量は変動する。一方、鏡面反射量が有意となる領域では拡散反射量はほぼ変動しない。その結果、観測値は３次元色空間で図１０に示すようにＴ字型に分布する。

図１０は、非特許文献１で仮定されている観測値Ｌ（θ）の３次元色空間上での分布を模式的に示す模式図である。非特許文献１に記載されている方法では、３次元色空間上で観測値Ｌ（θ）がＴ字型に分布すると仮定することで、鏡面反射成分と拡散反射成分の分離を行っている。しかし、この仮定は単一光源下において等方性反射特性を持つ状況以外の状況下では必ずしも成り立たない。例えば、波打つ水面などのように複雑な表面形状を持つ物体では、２つの反射成分の量は同時に変動する。すると、観測値Ｌ（θ）は照明の分光特性を表すベクトルＩと拡散反射光の分光特性を表すベクトルＬ_ｏｂｊが張る２次元平面上に分布するが、その分布形状は必ずしもＴ字型とはならない。したがって、非特許文献１に記載されている方法は、滑らかな表面の物体を観測する場合以外の場合には、鏡面反射成分と拡散反射成分を正しく分離できず、照明を推定できないという問題がある。

非特許文献２には、このような反射成分の分離問題を回避して照明の分光特性を推定する方法が記載されている。非特許文献２に記載されている方法は、３次元色空間が１次元の明度と２次元の色度からなる空間に変換できることを利用している。このことを利用すると、赤緑青の３波長における分光特性を、色度を表す２次元平面（色度図と呼ぶ）上の点として表すことができる。非特許文献２に記載されている方法では、観測値が二色性反射モデルに従うことを仮定し、色度図に射影された観測値の分布を直線で近似する。また、照明を色度図上の曲線としてモデル化しておく。そして、色度図上で上述した観測値の分布を表す直線と照明モデルが表す曲線とが交差する点を求めることにより、観測時の照明の色度を推定する。推定された照明の色度は、観測時の照明の分光特性に相当する情報として出力される。

非特許文献２に記載されている方法では、色度図上で観測値が直線近似すると仮定することによって、鏡面反射成分と拡散反射成分とを分離することなく、観測時の照明の分光特性を表す色度の情報を得ることができる。

しかし、色度図は赤緑青の３次元色空間をもとに表される２次元平面である。色度図では、赤緑青の３波長からなるスペクトルの特性を表現することはできても、多波長の光の情報を含むスペクトルの特性を一意に表すことができない。そのため、非特許文献２に記載されている方法では、多波長の情報を含むマルチスペクトル画像を用いて照明の分光特性を推定する場合には、対応できないという問題がある。

また、非特許文献２に記載されている方法では、観測値のモデルとして単純な二色性反射モデルを仮定することにより拡散反射と鏡面反射による色の分布特徴を色度図上の直線として近似する。しかし、撮影時の光環境によっては、拡散反射と鏡面反射による色の分布特徴が、色度図上の直線として近似しない場合があり、そのような場合には単純な二色性反射モデルに従うとの仮定だけでは照明の分光特性を正しく推定できないという問題がある。

例えば、観測対象物体に対して、光源から直接発せられた光以外に壁や雲、空などで反射および散乱した間接的な光（以下、環境光と記す）が照射し、その照射量が無視できない場合、観測値は必ずしも上述したような単純な二色性反射モデルには従わない。このような場合、色度図上に観測値が直線的に分布しないため、非特許文献２に記載されている方法では照明の分光特性を推定することは困難である。

本発明は、これらの課題に鑑みてなされたものであって、その目的は、撮影時の光環境や物体の表面形状に限定を加えることなしに、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる照明推定装置、照明推定方法および照明推定プログラムを提供することである。

本発明による照明推定装置は、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えたことを特徴とする。

また、本発明による照明推定方法は、情報処理装置が、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定することを特徴とする。

また、本発明による照明推定プログラムは、コンピュータに、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理を実行させることを特徴とする。

本発明によれば、撮影時の光環境や物体の表面形状に限定を加えることなしに、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。例えば、照明が環境光を含んでいる場合や観察対象物体の表面が滑らかでない場合であっても、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。

第１の実施形態の照明推定装置の構成例を示すブロック図である。 第１の実施形態の照明推定装置の動作の一例を示すフローチャートである。 第１の実施形態による照明推定方法を表す概念図である。 第２の実施形態の照明推定装置の構成例を示すブロック図である。 第２の実施形態の照明推定装置の動作の一例を示すフローチャートである。 屋外曇天環境下における水面を撮影した画像から得られる観測値のスペクトル空間上の分布の様子を表す概念図である。 観測値の分布と分布特徴を表すベクトルとの関係の一例を示す概念図である。 観測値の分布の一例を、波長を次元にして示す説明図である。 本発明による照明推定装置の最小の構成例を示すブロック図である。 非特許文献１で仮定されている観測値の３次元色空間上での分布を模式的に示す模式図である。

実施形態１．
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態の照明推定装置の構成例を示すブロック図である。図１に示す照明推定装置１００は、画像読込部１０１と、対象物体領域抽出部１０２と、分布特徴推定部１０３と、次元縮退部１０４と、照明推定部１０５と、照明情報記憶部１０６とを備えている。

画像読込部１０１は、撮影装置２０によって撮影された画像を読み込む。

対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域（以下、物体領域という。）を抽出する。物体領域の抽出方法は、既存の方法を用いることができる。

分布特徴推定部１０３は、対象物体領域抽出部１０２が抽出した物体領域の各画素から得られる観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を、分布特徴として推定する。分布特徴推定部１０３は、例えば、観測値がＮ次元のスペクトル空間に分布をもつ場合に、観測値のスペクトル空間における分布を次元別の部分空間に近似した結果得られる該部分空間を張る特徴ベクトルを分布特徴として抽出してもよい。また、分布特徴推定部１０３は、例えば、観測値の集合における主成分ベクトルを分布特徴として抽出してもよい。また、分布特徴推定部１０３は、分布特徴を出力する際に、当該分布特徴として抽出された各次元の特徴ベクトルまたは主成分ベクトルを固有値の大きい順に並び替えた上で出力してもよい。

次元縮退部１０４は分布特徴推定部１０３によって抽出された分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する。これにより、スペクトル空間内における観測値の分布を近似する部分空間の次元を決定する。

照明情報記憶部１０６は、照明推定部１０５が用いる照明のモデルを構成するために必要な情報を記憶する。例えば、照明モデルに用いるパラメータなどを記憶する。照明のモデルは特に限定されないが、相関色温度等観測物体に依存しない物理量に基づいて照明の分光特性を表現するモデルであることが好ましい。

照明推定部１０５は、次元縮退部１０４によって選択された分布特徴が表す、縮退された次元数による部分空間と、照明情報記憶部１０６に記憶された情報をもとに構成された照明モデルとを用いて、撮影時の照明の分光特性を推定する。推定された分光特性は、例えば出力装置３０を介して出力される。

本実施形態において、画像読込部１０１、対象物体領域抽出部１０２、分布特徴推定部１０３、次元縮退部１０４および照明推定部１０５は、例えばプログラムに従って動作するＣＰＵによって実現される。また、照明情報記憶部１０６は、例えば記憶装置によって実現される。

照明推定装置１００は、例えば、プログラムに従って動作するＣＰＵ（Central Processing Unit）と、各種記憶装置（ハードディスクドライブ、不揮発性メモリ、揮発性メモリ、ＳＳＤ（Solid State Drive）等）と、撮影装置２０や出力装置３０との通信インタフェースとを備えた情報処理装置であってもよい。なお、図１には、照明推定装置１００と撮影装置２０と出力装置３０とを別々の装置として示しているが、照明推定装置１００が、撮影装置２０と出力装置３０またはこれらのいずれかを備える構成であってもよい。また、図１には、１つの装置が画像読込部１０１から照明推定部１０５までを備える構成が示されているが、これらの一部が別の情報処理装置に実装される構成であってもよい。なお、その場合、各情報処理装置間が通信可能に接続されているものとする。

図２は、本実施形態の照明推定装置１００の動作の一例を示すフローチャートである。図２に示す例では、まず、画像読込部１０１が撮影装置２０によって撮影された画像を読み込む（ステップＳ１０１）。次いで、対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域を抽出する（ステップＳ１０２）。

次いで、分布特徴推定部１０３は、対象物体領域抽出部１０２が抽出した物体の領域から得られる観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を、分布特徴として推定する（ステップＳ１０３）。

次いで、次元縮退部１０４は、分布特徴推定部１０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する（ステップＳ１０４）。

次いで、照明推定部１０５は、照明情報記憶部１０６に記憶されている情報を読み込み、照明モデルを構築する（ステップＳ１０５）。なお、ステップＳ１０５の動作は予めまたは上記動作と並列に行っていてもよい。

そして、照明推定部１０５は、次元縮退部１０４によって選択された分布特徴が表す、部分空間と、照明情報記憶部１０６に記憶された情報をもとに構成された照明モデルとを用いて、照明の分光特性を推定する（ステップＳ１０６）。

以下、具体例を用いて本実施形態の動作を説明する。

例えば、波打つ水面のように表面形状が複雑な物体を撮影したとする。表面形状が複雑な物体の場合、その反射光は鏡面反射量と拡散反射量とが同時に変動する。結果として、観測値は、照明の分光特性を表すベクトルＩと拡散反射光の分光特性を表すベクトルＬ_ｏｂｊが張る２次元平面上に任意の形状で分布することが考えられる。

以下では、このような観測スペクトルが得られる環境下において、撮影されたマルチスペクトル画像から観測される波長が赤緑青を表す３波長でなくとも、照明の分光特性を精度よく推定する例を説明する。また、その過程で、屋外環境のように、照明に含まれる環境光が無視できない場合でも、撮影されたマルチスペクトル画像から照明の分光特性を精度よく推定する例についても説明する。

本例において、分布特徴推定部１０３は、鏡面反射成分を有する対象物体の領域から得られる観測値を用いて、観測値のＮ次元空間内での広がり方の特徴を抽出する。例えば、分布特徴推定部１０３は、観測値が原点を含む空間に分布することを仮定し、原点を含みかつ観測値の分布する空間を張る特徴的なベクトルｖ_１，ｖ_２，・・・，ｖ_Ｎを抽出する。

これらのベクトルは、観測値の集合をもとに算出でき、対象物体領域に属するＭ個の画素におけるＮ個の波長からなる観測値の集合をＮ行Ｍ列の行列Ｘとして表すとき、ＸＸ^Ｔの固有ベクトルとして表せる。

加えて、以下の式（３）に示すように、これら固有ベクトルを与える固有値γ_１，γ_２，・・・，γ_Ｎが大きい順にｖ_１，ｖ_２，・・・，ｖ_Ｎとすると、添え字の値が小さいほど観測値の広がり方の特徴をよく表す特徴ベクトルとなる。

なお、ｄはＮ次元の単位ベクトルを表す。行列Ｘからγ_ｉ（ｉ＝１，・・・，Ｎ）およびｖ_ｉ（ｉ＝１，・・・，Ｎ）を求める方法については、固有値問題のどのような解法を用いてもよい。例えば、ＱＲ法を用いて解くことができる。

また、分布特徴推定部１０３は、上記以外の方法として、例えば観測値の集合Ｘに対し主成分分析を行い、得られた第一主成分ベクトル，第二主成分ベクトル，・・・，第Ｎ主成分ベクトルを順に、特徴ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｎとしてもよい。

次元縮退部１０４は、分布特徴推定部１０３で分布特徴として推定された、観測値の分布を近似する空間を張る特徴ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｎから、想定する光環境によって決まる縮退次元数Ｐに応じて、利用する特徴ベクトルを選択する。ここでは、観測値の広がり方の特徴をよく表している順に、次元数Ｐまでの次元の特徴ベクトルを利用するとして、特徴ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｐを選択する。

縮退次元数Ｐは、撮影時の光環境に応じた観測値の分布がよく表れるスペクトル空間内の部分空間の次元数、より具体的には、光環境に応じた観測モデルを構成するベクトル成分の数と同じ値として決める。以下に示す例では、観測モデルとして、二色性反射モデルを基礎とするモデルを用いた。すなわち、二色性反射モデルのように鏡面反射成分と拡散反射成分の２種類の反射成分を用いて観測値を表現するモデルを用いた。ただし、非特許文献１に記載されている二色性反射モデルとは異なり、反射光として環境光による反射も考慮した。なお、本実施形態で用いる観測モデルは少なくとも照明の分光特性を特定できる成分を用いて観測値が表現されていればよく、必ずしも二色性反射モデルを基礎としなくてもよい。

観測モデルを構成するベクトル成分の数は、観測モデルが想定する光環境によって異なる。例えば、その光環境において、異なる分光特性を持つ照明光（環境光を含む）の数や、観測物体における鏡面反射成分と拡散反射成分の有無に依存する。そのため、予め照明光の数や各反射成分の有無といった観点から複数の光環境を想定しておき、それらの想定内容に応じて光環境ごとの縮退次元数Ｐを設定しておいてもよい。その場合、例えば画像を入力するオペレータがその画像から予想される光環境を指定することにより、該光環境に応じた縮退次元数Ｐが設定されるようにしてもよい。また、オペレータが直接縮退次元数を指定することも可能である。

いずれの場合においても、縮退次元数Ｐには、光環境に応じて１からＮまでの適切な値が設定されるものとする。光環境に応じた縮減次元数Ｐおよび選択される分布特徴について以下に二つの例を示す。例えば、観測値が上述の式（２）に示す二色性反射モデルで表せるような光環境を想定する場合、縮退次元数Ｐ＝２として、分布特徴推定部１０３で推定された分布特徴から２つの特徴ベクトルｖ_１，ｖ_２を選択する。

これは、本例の光環境に応じた観測モデル、すなわち式（２）に示すモデルにおいて観測値が、照明の分光特性Ｉと物体の反射光の分光特性Ｌ_ｏｂｊの２つのベクトル成分によって構成され、この２つのベクトルが張るＮ次元のスペクトル空間における２次元平面上に分布するためである。本実施形態の照明推定部１０５では、撮影時の照明の分光特性Ｉが、特徴ベクトルｖ_１，ｖ_２が張る２次元平面上のベクトルとして表せることを利用する。

また、他の例として、照明に空からの一様な環境光すなわち天空光が含まれ、その量が無視できない光環境を考える。このような光環境の場合は、縮退次元数Ｐ＝４として、分布特徴推定部１０３で推定された分布特徴から４つの特徴ベクトルｖ_１，ｖ_２，ｖ_３，ｖ_４を選択する。これは、本例の場合、光源の鏡面反射成分Ｉと拡散反射成分Ｌ_ｏｂｊに、天空光の鏡面反射成分Ｉ_ｓと拡散反射成分Ｌ_{ｏｂｊ＿ｓ}を加えた４つのベクトル成分が観測値に含まれており、この４つのベクトルが張るＮ次元のスペクトル空間における４次元空間に観測値が分布するとの仮定による。本実施形態の照明推定部１０５では、撮影時の照明の分光特性と同じ分光特性を有する光源の鏡面反射成分Ｉが、特徴ベクトルｖ_１，ｖ_２，ｖ_３，ｖ_４が張る４次元平面上のベクトルとして表せることを利用する。この方法を用いることで、照明に含まれる環境光が無視できない場合でも照明を精度よく推定できる。本例の光環境に応じた観測モデルの例を以下の式（４）に示す。

式（４）において、ｍ_ｓｓ（θ）とｍ_ｓｂ（θ）はそれぞれ、天空光の鏡面反射量と拡散反射量を表す。また、Ｉ_ｓとＬ_{ｏｂｊ＿ｓ}はそれぞれ、天空光の鏡面反射成分と拡散反射成分を表す。

また、照明情報記憶部１０６は、照明のモデルを構成するために必要な情報を格納する。例えば、ＣＩＥ（Commission Internationale de l'Eclairage：国際照明委員会）が規定する昼光のモデルでは、昼光の分光特性は相関色温度Ｔ_ｃをもとに決定される。この照明モデルでは、以下の式（５）に示すように、昼光の分光特性を、屋外で観測されたデータベースから求めた平均ベクトルＳ_ｏと第一主成分ベクトルＳ_１と第二主成分ベクトルＳ_２の線形和として表す。

なお、式（５）における主成分ベクトルの重み係数Ｍ_１，Ｍ_２は、相関色温度Ｔ_ｃを入力とする関数で決定される。例えば、このモデルを照明モデルとして用いる場合には、照明情報記憶部１０６は、照明情報として、平均ベクトルＳ_ｏ、第一主成分ベクトルＳ_１、第二主成分ベクトルＳ_２と相関色温度Ｔ_ｃから重み係数Ｍ_１，Ｍ_２を算出する際の関数パラメータを格納してもよい。

そのような場合、照明推定部１０５では、選ばれた特徴ベクトルによって示される観測値の分布を近似する部分空間に最も近くなるような照明条件を、照明情報記憶部１０６に格納された情報から構築される照明モデルから選び出し、それによって特定される照明の分光特性Ｉ_estを推定値としてもよい。

図３は、本実施形態による照明推定方法を表す概念図である。なお、図３には、観測値を近似する部分平面を張る特徴的なベクトルとして２つのベクトルｖ_１，ｖ_２が選ばれた場合の照明推定方法の概念図が示されている。照明推定部１０５は、図３に示すように、スペクトル空間において特徴ベクトルｖ_１，ｖ_２が張る２次元平面と、照明モデルによって示される照明のスペクトル空間上の近似曲線との交点を、照明の推定値としてもよい。

以下、照明モデルとして、式（５）に示すＣＩＥの昼光モデルが与えられた場合の照明の分光特性の推定方法の具体例を示す。この場合、照明の推定問題は、以下の式（６）に示す問題を解くことと同じである。すなわち、相関色温度Ｔ_Ｃを変え、与えられたＣＩＥの昼光モデルによって示される照明の分光特性Ｉ_ＣＩＥ（Ｔ_Ｃ）と、選ばれた特徴ベクトルを基底ベクトルとするベクトル空間との距離を繰り返し計算し、この距離が最小となるときの昼光の分光特性を取り出すことで算出できる。

なお、式（６）におけるΣの項は上記部分空間内のベクトルであり、ある相関色温度Ｔ_Ｃが与えられたときの照明モデルにより特定される照明の分光特性Ｉ_ＣＩＥ（Ｔ_Ｃ）を最も近似するベクトルを表す。この条件を満たすａ_１，ａ_２，・・・，ａ_Ｐの値の導出については解析的に解くことができる。例えば、ＣＩＥの昼光モデルにより示される照明の分光特性Ｉ_ＣＩＥ（Ｔ_Ｃ）、基底ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｐが与えられれば、以下の式（７）に示すように算出できる。

なお、照明モデルはＣＩＥの昼光モデル以外の照明モデルを用いてよい。例えば、文献「R. E. Bird, C. Riordan, ”Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth's Surface for Cloudless Atmospheres”,Journal of Applied Meteorology and Climatology, Vol25,Issue1, 1986.」（非特許文献３）に示すＢｉｒｄらによる昼光を表す物理モデルを用いることが考えられる。このモデルでは、場所や時刻から算出される太陽天頂角や、大気の状態を表すパラメータを用いて直射日光と大気散乱光をシミュレートし、晴天時の昼光を算出する。このモデルを用いる場合は、まず、シミュレート結果へ及ぼす影響の少ないパラメータには既定値を設定し、計測可能なパラメータはモデルに与える。次に、残った未知のパラメータを変えながら、基底ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｐが張る部分空間との距離を最小化する昼光を選び出すことで照明の分光特性を推定できる。

また、例えば文献「E. Kaneko, M. Toda, H. Aoki, M. Tsukada, ”Daylight spectrum model under weather conditions from clear sky to cloudy”, Pattern Recognition(ICPR), 2012.」（非特許文献４）に示す金子らによる曇天対応型の昼光のモデルを用いることが考えられる。このモデルでは、曇天時の昼光を、晴天時直射日光と晴天時大気散乱光の混合として表し、曇り具合に応じて混合比を変える。このモデルを用いる場合は、上記の混合比を変えながら、基底ベクトルｖ_１，ｖ_２，・・・，ｖ_Ｐが張る部分空間との距離を最小化する昼光を選び出すことで照明の分光特性を推定できる。

以上のように、本実施形態によれば照明が環境光を含む場合や、観測物体の表面形状が複雑な場合であっても、多波長の情報を含むマルチスペクトル画像から、照明の分光特性を精度よく推定できる。なぜなら、本実施形態の照明推定方法では、鏡面反射成分と拡散反射成分を含んだままの状態で観測値の広がり方の特徴（分布特徴）を表すものとしてＮ個の特徴ベクトルを推定し、推定した特徴ベクトルのうちの縮退された次元数分の特徴ベクトルによって表される観測値の分布を近似する部分空間と、照明情報を基に構成される照明モデルとから照明を推定するため、照明が環境光を含む場合や観測物体の表面形状が複雑な場合に解くことが難しい鏡面反射成分と拡散反射成分との分離問題を回避して、照明を推定できるからである。

また、本実施形態の照明推定方法では、まず分布特徴推定部１０３が観測値のスペクトル空間における分布特徴を抽出し、次いで次元縮退部１０４が光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する方法を採っているため、観測値に対して、色度平面という固定かつ二次元の部分空間ではなく、入力画像に応じた可変かつ任意次元の部分空間への射影を行ったものを基に照明を推定できる。したがって、多波長の光の情報を含むマルチスペクトル画像であっても、用いる情報の成分（波長等）を限定することなく、その入力画像に応じた部分空間を用いて照明の分光特性を推定できる。

実施形態２．
次に、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態の照明推定装置の構成例を示すブロック図である。図４に示す照明推定装置２００は、画像読込部１０１と、対象物体領域抽出部１０２と、分布特徴推定部２０３と、次元縮退部２０４と、照明推定部２０５とを備えている。なお、画像読込部１０１と対象物体領域抽出部１０２とについては、第１の実施形態と同様でよいため、同じ符号を付し説明を省略する。また、本実施形態では、照明情報記憶部１０６は不要である。

分布特徴推定部２０３は、対象物体領域抽出部１０２が抽出した鏡面反射成分を含む物体領域の観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を分布特徴として推定する。

次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する。

照明推定部２０５は、次元縮退部２０４によって選択された分布特徴が表す、縮退された次元数による部分空間を用いて、照明の分光特性を推定する。なお、本実施形態の照明推定部２０５は、照明モデルを用いない。照明推定部２０５は、次元縮退部２０４によって選択された特徴ベクトルによって表される部分空間における観測値の分布から、照明の分光特性を推定する。

したがって、次元縮退部２０４は、その部分空間における観測値の分布が、観測値に含まれる照明の分光特性をよく表すことになる次元の分布特徴を選択する。

また、分布特徴推定部２０３は、そのような次元を少なくとも含むように分布特徴を抽出する。なお、具体的な実現方法としては、本実施形態においても同様、予め定められた方法に従って、それぞれ分布特徴の抽出処理、次元の縮退処理、照明の分光特性推定処理を実行すればよい。

図５は、本実施形態の照明推定装置２００の動作の一例を示すフローチャートである。

図５に示す例では、第１の実施形態と同様、まず画像読込部１０１が撮影装置２０によって撮影された画像を読み込む（ステップＳ１０１）。次いで、対象物体領域抽出部１０２は、画像読込部１０１によって読み込まれた画像から鏡面反射成分をもつ物体の領域を抽出する（ステップＳ１０２）。

次いで、分布特徴推定部２０３は、対象物体領域抽出部１０２が抽出した鏡面反射成分を含む物体領域の観測値をもとに、観測値のスペクトル空間内での広がり方の特徴を分布特徴として出力する（ステップＳ２０３）。

次いで、次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴から、光環境によって決まる縮退次元数に応じて、利用する分布特徴を選択する（ステップＳ２０４）。

照明推定部２０５は、次元縮退部２０４によって選択された分布特徴が表す部分空間を用いて、照明の分光特性を推定する（ステップＳ２０５）。

以下、具体例を用いて本実施形態の動作を説明する。以下では、説明のため、照明が環境光のみを含む場合の代表例として、屋外曇天環境下における水面を撮影した際の観測値を考える。

このような場合の観測値の数理モデルの一例を、以下の式（８）に示す。式（８）において、ｍ_ｓｓ（θ）は空からの環境光すなわち天空光の鏡面反射量を表し、ｍ_ｓｂ（θ）は天空光の拡散反射量を表す。また、Ｉ_ｓは天空光の鏡面反射成分を表し、Ｌ_{ｏｂｊ＿ｓ}は天空光の拡散反射成分を表す。

屋外曇天環境下では太陽が雲に隠れるので、照明光に光源である太陽からの直射光が含まれない。そのため、直射光の鏡面反射成分および拡散反射成分は無視できる。また、海面や湖面など自然界に存在する多くの水域では全天空の占める空の割合が高いこと、および空の状態が一様であることを仮定すると、照明の分光特性は、空からの環境光すなわち天空光の鏡面反射成分Ｉ_ｓの分光特性そのものとなる。このように仮定すると、水面の観測光は、式（８）に示すように天空光の鏡面反射成分Ｉ_ｓと天空光の拡散反射成分Ｌ_{ｏｂｊ＿ｓ}の和として表せる。特に、波打つ水面などのように表面の形状が複雑である物体を撮影した画像の場合などでは、２つの反射成分の量は同時に変動し、結果として２つのベクトルが張る２次元平面上に分布することが考えられる。

図６は、本ケースすなわち屋外曇天環境下における水面を撮影した画像から得られる観測値のスペクトル空間上の分布の様子を表す概念図である。上記仮定の下で、観測値をＮ次元空間にプロットするとき、図６に示すような２次元平面を用いて観測値の分布を近似できる。またこのとき、天空光のベクトルＩ_ｓは、上記２次元平面上のベクトルとなる。

特に、曇天のような環境下では、観測値が天空光方向Ｉ_ｓに広く分布しやすい。図７は、本ケースにおける観測値の分布と分布特徴を表すベクトルとの関係を示す概念図である。また、図８は、本ケースにおける観測値の分布の一例を、波長を次元にして示す説明図である。なお、図８に示す例は、鏡面反射量の変動が大きい場合の観測値の分布例となっている。

図７に示すように、本例が想定するケースの場合、最も変動の大きい方向を表すベクトルＬ_１は、観測値Ｌ_{ｃｌｏｕｄｙ}（θ）の第一主成分ベクトルを表し、かつ天空光を表すベクトルＩ_Ｓと同じ方向を指すベクトルとなる。スペクトル空間上で同じ方向を指すということは、スペクトル形状が同じであることを意味する。すなわち、第一主成分ベクトルを求めることで、天空光すなわち照明の分光特性を推定できる。本例ではこの特徴を用いて照明の分光特性Ｉを推定する。

以下、より具体的に説明すると、天空光のみを照明とする波打つ水面における観測値を入力とする場合、本実施形態の分布特徴推定部２０３は、観測値のスペクトル空間内での広がり方（変動）の特徴すなわち分布特徴を表す情報として、観測値の平均ベクトルおよび第一から第Ｎ主成分ベクトルＬ_１，Ｌ_２，・・・，Ｌ_Ｎを推定する。次元縮退部２０４は、分布特徴推定部２０３が推定した分布特徴を表すベクトルのうち、第一主成分ベクトルＬ_１を取り出す。照明推定部２０５は、次元縮退部２０４によって取り出されたベクトルＬ_１を照明の分光特性Ｉ_Ｓの推定値とする。

以上のように、本実施形態によれば、照明モデルを用いなくても、所定の光環境下において撮影された多波長の光の情報を含むマルチスペクトル画像を基に照明の分光特性を推定できる。これは、本実施形態においても、観測値に対して、色度平面という固定かつ二次元の部分空間ではなく、入力画像に応じた可変かつ任意次元の部分空間への射影を行い、それによって部分空間を基に照明を推定するからである。

次に、本発明による照明推定装置の最小構成について説明する。図９は、本発明による照明推定装置の最小の構成例を示すブロック図である。

図９に示すように、本発明による照明推定装置は、最小の構成要素として、対象物体領域抽出手段５０１と、分布特徴推定手段５０２と、次元縮退手段５０３と、照明推定手段５０４とを備える。

図９に示す最小構成の照明推定装置では、対象物体領域抽出手段５０１（例えば、対象物体領域抽出部１０２）は、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する。

分布特徴推定手段５０２（例えば、分布特徴推定部１０３、２０３）は、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する。

次元縮退手段５０３（例えば、次元縮退部１０４、２０４）は、分布特徴推定手段５０２によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する。

照明推定手段５０４（例えば、照明推定部１０５、２０５）は、次元縮退手段５０３によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する。
従って、最小構成の照明推定装置によれば、物体領域の観測値の広がり方の特徴（分布特徴）を表すものとして推定した中から特に選択した、光環境に応じた縮退次元数の次元で観測値の分布を近似する部分空間に基づいて、照明の分光特性を推定するので、照明が環境光を含む場合や、観測物体の表面形状が複雑な場合であっても、多波長の情報を含むマルチスペクトル画像から照明の分光特性を精度よく推定できる。

以上、これまで述べてきた各実施の形態は、本発明の好的な実施形態であり、上記実施の形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

なお、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。

また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えたことを特徴とする照明推定装置。

（付記２）照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備え、照明推定手段は、部分空間の情報と、照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する付記１に記載の照明推定装置。

（付記３）分布特徴推定手段は、観測値の集合における主成分ベクトルを、分布特徴として推定する付記１または付記２に記載の照明推定装置。

（付記４）分布特徴推定手段は、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定する付記１または付記２に記載の照明推定装置。

（付記５）情報処理装置が、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定することを特徴とする照明推定方法。

（付記６）情報処理装置が、予め照明のモデルを構築するための各種パラメータの情報を記憶しておき、部分空間の情報と、記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する付記５に記載の照明推定方法。

（付記７）情報処理装置が、観測値の集合における主成分ベクトルを、分布特徴として推定する付記５または付記６に記載の照明推定方法。

（付記８）情報処理装置が、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定する付記５または付記６に記載の照明推定方法。

（付記９）コンピュータに、マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理を実行させるための照明推定プログラム。

（付記１０）照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備えたコンピュータに、照明推定処理で、部分空間の情報と、照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定させる付記９に記載の照明推定プログラム。

（付記１１）コンピュータに、分布特徴推定処理で、観測値の集合における主成分ベクトルを、分布特徴として推定させる付記９または付記１０に記載の照明推定プログラム。

（付記１２）コンピュータに、分布特徴推定処理で、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる部分空間を張るベクトルを、分布特徴として推定させる付記９または付記１０に記載の照明推定プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年６月１９日に出願された日本特許出願２０１３−１２８７５４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、撮影時の情報として画像のみを用いて当該画像の撮影時の照明の分光特性を推定できるので、例えばマルチスペクトル画像を利用して該画像中の物体の種類や材質、状態などの様々な情報を高精度に把握する用途に好適に適用可能である。

１００、２００ 照明推定装置
１０１ 画像読込部
１０２ 対象物体領域抽出部
１０３、２０３ 分布特徴推定部
１０４、２０４ 次元縮退部
１０５、２０５ 照明推定部
１０６ 照明情報記憶部
２０ 撮影装置
３０ 出力装置
５０１ 対象物体領域抽出手段
５０２ 分布特徴推定手段
５０３ 次元縮退手段
５０４ 照明推定手段

Claims (10)

1. マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出手段と、
   前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定手段と、
   前記分布特徴推定手段によって推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退手段と、
   前記次元縮退手段によって選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定手段とを備えた
   ことを特徴とする照明推定装置。
2. 照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備え、
   前記照明推定手段は、前記部分空間の情報と、前記照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する
   請求項１に記載の照明推定装置。
3. 前記分布特徴推定手段は、観測値の集合における主成分ベクトルを、分布特徴として推定する
   請求項１または請求項２に記載の照明推定装置。
4. 前記分布特徴推定手段は、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる前記部分空間を張るベクトルを、分布特徴として推定する
   請求項１または請求項２に記載の照明推定装置。
5. 情報処理装置が、
   マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出し、
   前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定し、
   推定された前記分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択し、
   選択された前記分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する
   ことを特徴とする照明推定方法。
6. 前記情報処理装置が、
   予め照明のモデルを構築するための各種パラメータの情報を記憶しておき、
   前記部分空間の情報と、前記記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定する
   請求項５に記載の照明推定方法。
7. 前記情報処理装置が、観測値の集合における主成分ベクトルを、分布特徴として推定する
   請求項５または請求項６に記載の照明推定方法。
8. 前記情報処理装置が、観測値のスペクトル空間における分布を、原点を含む部分空間として近似した結果得られる前記部分空間を張るベクトルを、分布特徴として推定する
   請求項５または請求項６に記載の照明推定方法。
9. コンピュータに、
   マルチスペクトル画像から鏡面反射を含む物体の領域である物体領域を抽出する対象物体領域抽出処理、
   前記物体領域における観測値のスペクトル空間上の広がり方の特徴である分布特徴として、前記観測値のスペクトル空間における分布を近似する部分空間を表す情報を推定する分布特徴推定処理、
   前記分布特徴推定処理で推定された分布特徴の中から、光環境によって予め定められている縮退次元数に応じて、用いる分布特徴を選択する次元縮退処理、および
   前記次元縮退処理で選択された分布特徴によって表される部分空間の情報に基づいて、照明の分光特性を推定する照明推定処理
   を実行させるための照明推定プログラム。
10. 照明のモデルを構築するための各種パラメータの情報を記憶する照明情報記憶手段を備えた前記コンピュータに、
    前記照明推定処理で、前記部分空間の情報と、前記照明情報記憶手段に記憶されている情報を基に構築された照明のモデルとに基づいて、照明の分光特性を推定させる
    請求項９に記載の照明推定プログラム。

Images