JP7106259B2 - 画像処理装置、撮像装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置に関する。

特許文献１および非特許文献１には、物体が２色性反射モデルに従うことを利用し、入力画像における色相ごとに抽出した画素に基づいて、入力画像から拡散反射画像を取得する手法が開示されている。２色性反射モデルでは、被写体からの反射光を、物体色である拡散反射成分と光源色である鏡面反射成分との線形和で表すことができる。

特開２０１３－６５２１５号公報

肥後 智昭、宮崎 大輔、池内 克史、"二色性反射モデルに基づくリアルタイム鏡面反射成分除去"、研究報告コンピュータビジョンとイメージメディア、ｐｐ．２１１－２１８、２００６

特許文献１や非特許文献１に開示されている手法では、同じ拡散反射率である被写体ごとに拡散反射成分を推定するため、単一の入力画像における色相ごとに入力画像から画素を抽出して拡散反射成分を推定する。しかしながら、入力画像中に同一の色相で異なる被写体が存在する場合、異なる拡散反射率である被写体を混同して処理するため、拡散反射画像を正確に取得することができない。

そこで本発明は、複数の入力画像から拡散反射画像を正確に取得することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記録媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、光源位置を異ならせて被写体を複数回撮影することで得られた複数の入力画像を取得する第１取得部と、前記複数の入力画像における同一の画素領域毎の彩度および第１強度の関係に基づいて拡散反射成分に対応する第２強度を取得し、該第２強度に基づいて複数の拡散反射画像を取得する第２取得部とを有する。

本発明の他の側面としての撮像装置は、被写体を撮像する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、光源位置を異ならせて被写体を複数回撮影することで得られた複数の入力画像を取得するステップと、前記複数の入力画像における同一の画素領域毎の彩度および第１強度の関係に基づいて拡散反射成分に対応する第２強度を取得し、該第２強度に基づいて複数の拡散反射画像を取得するステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の入力画像から拡散反射画像を正確に取得することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記録媒体を提供することができる。

実施例１における撮像装置の外観図である。 実施例１における撮像装置のブロック図である。 実施例１における画像処理方法を示すフローチャートである。 実施例１における画像処理方法の説明図である。 実施例１における彩度と拡散反射成分および鏡面反射成分との関係図である。 実施例１における拡散反射成分の推定の説明図である。 実施例１における変形例としての撮像装置の外観図である。 実施例１における変形例としての撮像装置のブロック図である。 実施例２における撮像装置のブロック図である。 実施例２の画像処理方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１および図２を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１の外観図である。図２は、撮像装置１のブロック図である。

撮像装置１は、複数の入力画像から拡散反射画像を取得する。図１に示されるように、撮像装置１は、不図示の被写体を撮像する撮像部１００および光源部２００を有する。図２に示されるように、撮像部１００は、撮像光学系１０１および撮像素子１０２を有する。本実施例において、光源部２００は８つの光源２００ａ～２００ｈを有するが、これに限定されるものではなく、複数の入力画像を取得するために少なくとも２つ以上の光源を備えていればよい。また本実施例において、撮像部１００を構成する撮像光学系の光軸ＯＡから等距離の位置に同心円状に８つの光源を等間隔で配置しているが、これに限定されるものではない。また本実施例において、光源部２００は、撮像装置１に内蔵されているが、これに限定されるものではなく、外付けが可能に（撮像装置１に着脱、あるいは有線または無線で接続可能に）構成されていてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する（すなわち、撮像光学系１０１により形成された被写体の像（光学像）を光電変換し、アナログ電信号を生成する）。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換により生成されたアナログ信号をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。

画像処理部（画像処理装置）１０４は、Ａ／Ｄコンバータ１０３から入力されたデジタル信号に対して、各種の画像処理を行う。また本実施例において、画像処理部１０４は、複数の入力画像から拡散反射画像を取得する。画像処理部１０４は、入力画像取得部（第１取得部）１０４ａおよび拡散画像取得部（第２取得部）１０４ｂを有する。入力画像取得部１０４ａは、複数の入力画像を取得する。拡散画像取得部１０４ｂは、複数の入力画像から拡散反射画像を取得する。

画像処理部１０４により処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部（ディスプレイ）１０５に表示してもよい。なお本実施例において、入力画像取得部１０４ａおよび拡散画像取得部１０４ｂは、撮像装置１に内蔵されているが、これに限定されるものではなく、撮像装置１（画像処理部１０４）とは別に構成された画像処理装置に設けてもよい。

情報入力部１０８は、ユーザにより選択された撮影条件（絞り値、露出時間、および、焦点距離等）をシステムコントローラ１１０に供給する。撮像制御部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０の制御指示に応じて光源部２００の発光状態を制御する。なお本実施例において、撮像光学系１０１は、撮像装置１と一体的に構成されているが、これに限定されるものではない。本実施例は、撮像素子を有する撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えて構成される一眼レフカメラ等のカメラシステムにも適用可能である。

次に、図３を参照して、本実施例における画像処理方法について説明する。図３は、画像処理方法を示すフローチャートである。本実施例の画像処理方法は、システムコントローラ１１０および画像処理部１０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお画像処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。

まず、ステップＳ１０１において、入力画像取得部１０４ａは、システムコントローラ１１０により被写体を照明する光源の位置を互いに異ならせて撮像された複数の撮像画像を複数の入力画像として取得する。画像処理部１０４が撮像装置１とは別の画像処理装置として構成されている場合、入力画像の取得は、撮像装置１と画像処理装置とを有線または無線による通信を介して行うことができ、または、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。

ステップＳ１０２以降において、拡散画像取得部１０４ｂは、ステップＳ１０１にて取得した複数の入力画像から拡散反射画像を取得する。図４は、本実施例の画像処理方法（複数の入力画像から拡散反射画像を取得する方法）の説明図である。本実施例において、複数の入力画像１１１から拡散反射画像１１５を取得する際には、特許文献１や非特許文献１に開示されているような２色性反射モデルを用いた手法が用いられる。特許文献１や非特許文献１では、物体が２色性反射モデルに従うことを利用し、入力画像における色相ごとに入力画像から抽出した画素に基づいて、入力画像から拡散反射画像を取得する。しかしながら、入力画像中に同一の色相で異なる被写体が存在する場合、異なる拡散反射率である被写体を混同して処理するため、拡散反射画像の取得を正確に行うことができない。そこで本実施例において、拡散画像取得部１０４ｂは、ステップＳ１０１にて取得した複数の入力画像における被写体像同士（被写体中）の同一領域ごとの画素（被写体中の同一の画素領域）に基づいて、複数の入力画像から拡散反射画像を取得する。色相を用いずに、複数の入力画像における被写体中の同一領域ごとに画素を抽出するため、異なる拡散反射率である被写体を混同せずに処理を行うことができる。ここで、被写体像同士（被写体中）の同一の画素領域とは、被写体空間で同一の画素領域を意味する。これは、視点が変わると各画像で被写体の位置も変わり、同一の位置の画素でも異なる被写体中の画素になる場合があるためである。

図３のステップＳ１０２において、拡散画像取得部１０４ｂは、複数の入力画像１１１における被写体中の同一領域（同一の画素領域）ごとに画素を抽出する。ここで領域（画素領域）とは、一つの画素のみを含む領域または複数の画素を含む領域のいずれでもよい。ただし、領域内は同一の拡散反射率を有する被写体のみであることが好ましい。例えば、ＳＬＩＣ（ＳＩＭＰＬＥ ＬＩＮＥＡＲ ＩＴＥＲＡＴＩＶＥ ＣＬＵＳＴＥＲＩＮＧ）等の領域分割手法を用いて、複数の入力画像のうち一枚の入力画像を領域分割して得られた被写体中の同一領域ごとに、複数の入力画像のそれぞれから画素を抽出する。

続いてステップＳ１０３において、拡散画像取得部１０４ｂは、被写体中の同一領域ごとに複数の入力画像１１１から抽出した画素に基づいて拡散反射成分を推定する。ここで、図５及び図６を参照して、拡散反射成分の推定方法について説明する。図５は、彩度と拡散反射成分および鏡面反射成分との関係図である。図６は、拡散反射成分の推定の説明図である。

入力画像１１１を拡散反射成分と鏡面反射成分とに分離することにより、撮影後の画像処理において様々な画像生成を行うことができる。例えば、分離した拡散反射成分と光沢成分である鏡面反射成分とを用いることにより、光沢感を制御した画像を生成することが可能である。また、被写体のライティングを変更した画像を生成するために必要な面法線を高精度に取得することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体により反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。そのような被写体の面法線を取得する方法として、照度差ステレオ法が用いられる。照度差ステレオ法では、被写体がランバート拡散反射である仮定の下で面法線を取得するため、入力画像における拡散反射成分のみが必要である。したがって、画像から拡散反射成分を推定する技術が必要となる。画像から拡散反射成分を推定することができれば、画像から拡散反射成分を差し引くことにより、鏡面反射成分も同時に取得することが可能である。

図５において、横軸は彩度、縦軸は拡散反射成分および鏡面反射成分のそれぞれの強度を示す。図５に示されるように、１画素である被写体中の同一領域ごとに複数の入力画像から抽出した画素を、以下の式（１）～（３）を用いて算出される彩度ｓａｔｕｒａｔｉｏｎ、強度ｉｎｔｅｎｓｉｔｙ平面でプロットする。このとき、拡散反射成分１２０は原点を通る直線１２１上に存在する。ここでは、光源の位置を変更して撮影した入力画像が８枚存在するため、８個の画素がプロットされる。式（１）において、ｒ、ｇおよびｂは色相ｈｕｅを算出する画像におけるＲＧＢ値である。また、光源が白色である場合、拡散反射成分に鏡面反射が加わった成分１２２に関しては、彩度が変化せずに強度のみが変化する。したがって、予め複数の入力画像１１１に対してホワイトバランス補正を行い、白色光源下における画像とすることが好ましい。また、予め環境光下での画像を取得し、撮影画像から差し引いた画像を入力画像とすることが好ましい。

拡散画像取得部１０４ｂは、被写体中の同一領域ごとに複数の入力画像１１１から抽出した画素における彩度１１２、第一の強度１１３を取得し、拡散反射成分１２０が存在する直線１２１の傾きを推定する。直線１２１の傾きの推定には、種々のフィッティング手法を用いることができる。直線１２１の傾きを推定する際には、拡散反射成分１２０のみが必要であるが、鏡面反射が加わった成分１２２は不要な外れ値であるため、外れ値を回避するようなフィッティング手法が好ましい。鏡面反射が加わった成分１２２を除外するため、各彩度において最小である第一の強度１１３の画素のみから直線１２１の傾きを推定してもよい。

また、拡散反射成分よりも鏡面反射が加わった成分１２２に関する画素の方が多い場合、拡散反射成分が存在する直線１２１の傾きを算出することが困難である可能性がある。したがって、抽出した画素のうち、強度を彩度で除算した値の最小値を直線の傾き（拡散反射成分）としてもよい。その際、影の影響等で信頼できる輝度値が取得できていないような、輝度値が一定値より低い画素は除外して処理を行うことが好ましい。

推定した傾きから求められる直線１２１、すなわち拡散反射強度よりも大きい第一の強度１１３を有する画素は、鏡面反射が加わった成分１２２であるとみなすことができる。拡散画像取得部１０４ｂは、そのような画素における第一の強度１１３を、図６に示されるように、直線１２１上になるような第二の強度１１４に置き換える。これにより、鏡面反射成分が除かれた拡散反射成分を取得することができる。または、拡散画像取得部１０４ｂは、抽出した全画素における第一の強度１１３を、直線１２１で示される拡散反射強度である第二の強度１１４に置換してもよい。

続いて、図３のステップＳ１０４において、拡散画像取得部１０４ｂは、取得した拡散反射成分の第二の強度１１４に基づいて拡散反射画像１１５を取得する。拡散反射画像１１５は、前述の式（１）および式（３）を用いて逆変換を行うことで算出（取得）可能である。拡散画像取得部１０４ｂは、図４に示されるように、複数の入力画像１１１に対して、対応する全ての拡散反射画像１１５を取得することができる。または、拡散画像取得部１０４ｂは、入力画像よりも少ない数に対応する拡散反射画像を取得してもよい。

前述のように、拡散画像取得部１０４ｂは、複数の入力画像１１１から拡散反射画像１１５を取得することができる。また本実施例において、画像処理部１０４は、ステップＳ１０４にて取得した拡散反射画像と鏡面反射画像または入力画像１１１を用いて光沢感を制御した画像を取得する光沢制御部を更に有してもよい。画像の光沢感は鏡面反射成分に基づいたものであるため、取得した拡散反射画像に対して足し合わせる鏡面反射画像の割合を変化させることで、光沢感を制御した画像を取得することができる。足し合わせる鏡面反射画像の割合は予め設定した割合とすることができ、または、光沢感としてユーザに任意に決定させてもよい。画像の光沢感は、拡散反射画像と鏡面反射画像とを用いて制御することができるが、入力画像から差し引く鏡面反射画像の割合を変化させることで制御してもよい。また、光沢制御に用いられる鏡面反射画像は、光沢制御を行う入力画像からステップＳ１０４にて取得した入力画像に対応する拡散反射画像を差し引いた画像を用いてもよい。

また本実施例において、光源位置を異ならせて被写体を複数回撮影することで得られた複数の入力画像から拡散反射画像を取得しているが、視点を異ならせて被写体を複数回撮影することで得られた複数の入力画像から拡散反射画像を取得してもよい。複数の入力画像における被写体中の同一領域ごとに抽出した画素から拡散反射成分を抽出する場合、抽出した画素のうち、少なくとも１画素は鏡面反射成分が含まれていない拡散反射成分のみの画素である必要がある。すなわち、複数の入力画像において鏡面反射する画素位置が異なり、抽出した画素に拡散反射成分のみの画素が含まれている必要がある。このため、撮影を行う際の光源位置もしくは視点の一方または両方が異なる複数の入力画像を取得すればよい。

視点を変えて撮影された複数の入力画像を用いて拡散反射画像を取得する場合、複数の入力画像のそれぞれにおいて被写体中の対応する領域ごとに画素を抽出する必要がある。視点の異なる複数の入力画像を用いる場合、複数の撮像装置を用いて同一被写体を撮像してもよいし、図７に示されるように１つの撮像装置１ａに複数の撮像光学系ＯＳｊ（ｊ＝１、２）を設けることで複数の入力画像を取得してもよい。図７は、本実施例の変形例としての撮像装置１ａの外観図である。また、撮像光学系１０１の瞳のうち互いに異なる領域（部分領域）を通過した複数の光束を撮像素子１０２における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する撮像装置を用いることで視点の異なる複数の入力画像を取得してもよい。

図８は、別の変形例としての撮像装置１ｂのブロック図である。撮像装置１ｂ（画像処理部１０４１）は、参考画像を取得する参考画像取得部１０４ｃを有する点で、撮像装置１（画像処理部１０４）と異なる。このように拡散画像取得部１０４ｂは、複数の入力画像１１１に加えて、参考画像を用いて拡散反射画像を取得してもよい。

前述のように、拡散反射成分の取得には複数の入力画像１１１において鏡面反射する画素位置が異なっている必要がある。しかし、光源位置や視点の違いが小さい場合、鏡面反射する画素位置のずれ量が小さく、抽出した画素に拡散反射成分のみの画素がない可能性がある。したがって、参考画像として環境光画像や偏光情報から推定した拡散反射画像を用いて、複数の入力画像と共に拡散反射成分を推定することにより、光源位置や視点の違いが小さい場合でも拡散反射画像を取得することができる。ただし、環境光画像および入力画像における光源色は同じであることが好ましい。

偏光情報から推定した拡散反射画像を参考画像として用いる場合、複数の入力画像１１１の取得とは別に、環境光下で取得した偏光情報や光源を照射して取得した偏光情報を用いることが好ましい。偏光情報の取得方法としては、撮像光学系１０１の前後または撮像光学系１０１の内部に偏光子を挿入し、偏光子の主軸角方向を変えながら撮像すればよい。または、例えば特開２００７－８６７２０号公報に開示されているように、撮像素子１０２の前にパターン偏光子を配置してもよい。また、本実施例の撮像装置１（１ａ、１ｂ）とは異なる、偏光情報を取得する撮像装置を用いて撮影を行うことにより、偏光情報を取得してもよい。

偏光子を回転させて取得した際の輝度変化は、正弦関数カーブに従って変化する。この関係は、反射光の輝度Ｉ、偏光子の主軸角νとして、以下の式（４）のように表される。

Ｉ（ν）＝Ａ・ｃｏｓ２（ν－Ｂ）＋Ｃ … （４）
式（４）における定数Ａ、Ｂ、Ｃを決定することにより、偏光情報を知ることができる。なお、定数Ａ、Ｂ、Ｃは正の定数であり、Ｂは余弦関数の周期性から０°から１８０°までの値で表すことができる。

偏光子の３つの主軸角に対して輝度を測定した場合、未知の定数もＡ、Ｂ、Ｃの３つであり、定数Ａ、Ｂ、Ｃを一意に求めることができる。一方、４以上の偏光条件で輝度を測定した場合、フィッティングにより定数Ａ、Ｂ、Ｃを求めることができる。フィッティングの方法としては、第ｉ番目の条件から得られる観測値（νｉ、Ｉｉ）と式（４）で表される理論値との差分を評価関数として用いればよく、最小二乗法などの既知の方法でフィッティングすることができる。なお、撮像装置１（１ａ、１ｂ）を用いて取得する場合、実際の光の輝度値と撮像系を介して得られた出力信号がリニアになるように、出力信号を補正することが好ましい。

以上の方法により求めたパラメータから２・（Ｃ-Ａ）を計算することにより、非偏光成分である拡散反射画像を取得することができる。ただし、偏光情報からの拡散反射画像の取得方法は、これに限定されるものではない。このように本実施例によれば、複数の入力画像から拡散反射画像を取得することができる。

次に、図９を参照して、本発明の実施例２における撮像装置について説明する。図９は、本実施例における撮像装置１ｃのブロック図である。本実施例では、複数の入力画像１１１から複数の拡散反射画像を取得した後、照度差ステレオにより被写体の法線情報を取得する例について説明する。

本実施例の撮像装置１ｃは、図１を参照して説明した撮像装置１と同様の外観を有する。なお、図１に示される撮像装置１の光源部２００は８つの光源２００ａ～２００ｈを有するが、照度差ステレオを実施する際には少なくとも３つの光源が必要であるため、本実施例の撮像装置１ｃは少なくとも３つの光源を有する。また、撮像部１００を構成する撮像光学系１０１の光軸ＯＡから等距離の位置に同心円状に光源２００ａ～２００ｈを等間隔で配置しているが、本発明はこれに限定されるものではない。また光源部２００は、撮像装置１ｃに内蔵されるが、外付けが可能な（撮像装置１ｃに着脱、あるいは有線または無線で接続可能な）光源部であってもよい。

図９に示されるように、本実施例の撮像装置１ｃ（画像処理部１０４２）は、複数の拡散反射画像から法線情報を取得する法線情報取得部１０４ｄを有する点で、撮像装置１（画像処理部１０４）と異なる。その他の基本構成は撮像装置１と同様である。

次に、図１０を参照して、本実施例における画像処理方法について説明する。図１０は、画像処理方法を示すフローチャートである。本実施例の画像処理方法は、システムコントローラ１１０および画像処理部１０４２により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお画像処理プログラムは、例えば、コンピュータに読み取り可能な記憶媒体（システムコントローラ１１０の内部メモリ等）に記憶されている。

まず、ステップＳ２０１～Ｓ２０４において、画像処理部１０４２は、複数の拡散反射画像を取得する。なお、ステップＳ２０１～Ｓ２０４は、実施例１にて説明した図３のステップＳ１０１～Ｓ１０４とそれぞれ同様であるため、それらの詳細な説明は省略する。ただし、照度差ステレオにより被写体の法線情報を取得する際には、少なくとも３つの異なる光源位置で撮影された画像が必要である。このため、本実施例では、少なくとも３枚の拡散反射画像を取得する必要がある。

続いてステップＳ２０５において、法線情報取得部１０４ｄは、ステップＳ２０４にて取得した複数の拡散反射画像に基づいて、被写体の法線情報を取得する。法線情報の取得には、照度差ステレオ法が用いられる。照度差ステレオ法は、被写体の面法線と光源方向とに基づく反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とに基づいて面法線を決定する方法である。仮定する反射特性は、ある面法線と光源位置とが与えられたときに反射率が一意に定まればよい。ただし、被写体の反射特性が未知の場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。この場合、照度差ステレオ法に用いられる輝度情報に鏡面反射成分が含まれていると、被写体の法線を正確に算出することが難しい。したがって、拡散反射画像を用いることにより、高精度に法線を算出することができる。照度差ステレオ法に用いられる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの画像の差分をとることで環境光等、既知の光源以外の光源による影響を除いた入力画像から取得した拡散反射画像を用いてもよい。以下、ランバート反射モデルを仮定した場合について説明する。

反射光の輝度をｉ、物体のランバート拡散反射率をρ_ｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、以下の式（５）が成立する。

ここで、異なるＭ個（Ｍ≧３）の光源方向ｓ_１、ｓ_２、…、ｓ_Ｍで得られた輝度値をそれぞれｉ_１、ｉ_２、…ｉ_Ｍとすると、式（５）より、以下の式（６）のように表すことができる。

式（６）において、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、…ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合、入射光行列Ｓの逆行列を左からかけることで、Ｅρ_ｄｎは以下の式（７）のように求められる。

式（７）の左辺のベクトルのノルムがＥとρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求められる。これから分かるように、Ｅとρ_ｄは積の形でのみ式（７）に現れる。このため、Ｅρ_ｄを１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式と見なすことができる。したがって、３つの光源条件で輝度情報を取得することで３つの方程式が得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合、逆行列が存在しないため、光源方向ｓ_１～ｓ_３を入射光行列Ｓが正則となるように選択する必要がある。すなわち、光源方向ｓ_３を光源方向ｓ_１、ｓ_２のそれぞれに対して線形独立に選ぶことが好ましい。

一方、Ｍ＞３の場合、求める未知変数より多い条件式が得られる。このとき、任意に選択した３つの条件式から前述と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合、入射光行列Ｓが正方行列ではなくなるため、例えばＭｏｏｒｅ－Ｐｅｎｒｏｓｅ疑似逆行列を用いて近似解を求めればよい。また、行列計算を用いずに、既知のフィッティング手法や最適化手法により解を求めてもよい。このように本実施例によれば、複数の入力画像から複数の拡散反射画像を取得した後、照度差ステレオ法により被写体の法線情報を取得することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、複数の入力画像から拡散反射画像を正確に取得することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記録媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０４ 画像処理装置
１０４ａ 入力画像取得部（第１取得部）
１０４ｂ 拡散画像取得部（第２取得部）

Claims (17)

1. 光源位置を異ならせて被写体を複数回撮影することで得られた複数の入力画像を取得する第１取得部と、
   前記複数の入力画像における同一の画素領域毎の彩度および第１強度の関係に基づいて拡散反射成分に対応する第２強度を取得し、該第２強度に基づいて複数の拡散反射画像を取得する第２取得部と、を有することを特徴とする画像処理装置。
2. 前記第２取得部は、平面上にプロットされたときの前記彩度および前記第１強度の関係に基づいて該平面における前記拡散反射成分に対応する直線を推定し、該直線上の強度を前記第２強度として取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２取得部は、前記彩度および前記第１強度の関係をフィッティングすることで前記直線の傾きを推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２取得部は、前記第１強度を前記彩度で除算した値の最小値を前記直線の傾きとすることを特徴とする請求項２に記載の画像処理装置。
5. 前記第２取得部は、前記直線上の強度よりも大きい前記第１強度を前記第２強度に置き換えることを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記第２取得部は、前記複数の入力画像の色相を用いることなく前記複数の拡散反射画像を取得することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記画素領域は、一つの画素から成ることを特徴とする請求項２乃至６のいずれか一項に記載の画像処理装置。
8. 前記複数の拡散反射画像の数は前記複数の入力画像の数と同じであることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記複数の拡散反射画像に基づいて前記被写体の法線情報を取得する法線情報取得部を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 参考画像を取得する参考画像取得部を更に有し、
    前記第２取得部は、前記複数の入力画像と前記参考画像とに基づいて前記複数の拡散反射画像を取得することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記参考画像は、環境光下で撮影された画像であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記参考画像は、偏光情報に基づいて取得された拡散反射画像であることを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記被写体を撮像する撮像素子と、
    請求項１乃至１２のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
14. 複数の光源を有する光源部を更に有することを特徴とする請求項１３に記載の撮像装置。
15. 光源位置を異ならせて被写体を複数回撮影することで得られた複数の入力画像を取得するステップと、
    前記複数の入力画像における同一の画素領域毎の彩度および第１強度の関係に基づいて拡散反射成分に対応する第２強度を取得し、該第２強度に基づいて複数の拡散反射画像を取得するステップと、を有することを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images