JP4435865B2 - 画像処理装置、画像分割プログラムおよび画像合成方法 - Google Patents

Description

本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に問題になる画像分割の精度を向上するための技術に関する。

物体の見えは、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。

近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分ごとに分離する手法が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。

このように画像を各成分に分離する手法として、鏡面反射成分と拡散反射成分に分離する手法が広く行われている。特に偏光情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。この手法は、直線偏光した光源を被写体に投光し、カメラと被写体の間に設置した直線偏光フィルタを光軸周りに回転させることにより、鏡面反射成分と拡散反射成分を分離するものである。

直線偏光フィルタの回転角度（偏光主軸角度）をΦとすると、観測される各画素での輝度値は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分のいずれが支配的かに応じて、その画素を「鏡面反射領域」および「拡散反射領域」の一方に割り当てることができる。言い換えると、鏡面反射成分が支配的な画素によって「鏡面反射領域」が構成され、拡散反射成分が支配的な画素によって「鏡面反射領域」が構成される。

このようにして被写体の表面に対する領域分割を行う手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存して実行することが可能になる。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。

これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。

図７４（ａ）から（ｃ）を参照して、従来の領域分割を説明する。

図７４（ｂ）および（ｃ）は、それぞれ、図７４（ａ）の画像を従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示している。すなわち、図７４（ｂ）において白色画素によって示される領域は「鏡面反射領域」として分割された領域であるのに対し、図７４（ｃ）において白色画素によって示される領域は「拡散反射領域」として分割された領域である。

これらの画像を見ると、遮蔽エッジ近傍である球の周辺部（図７４（ｂ）の領域Ａ）が「鏡面反射領域」として分割されている。しかし、鏡面反射は正反射領域およびその近傍に生じるものである。このような遮蔽エッジ領域に鏡面反射成分が推定されるということは、分離精度が十分ではないことを示している。

このような問題は、拡散反射成分の一部が偏光するために、（条件２）が満たされないために生じる。以下図７２および図７３を参照しながら、このような問題が生じる原因を考察する。

図７２および図７３は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の偏光度を示すグラフおよび拡散反射成分の偏光度を示したグラフである（例えば、Ｌ． Ｂ． Ｗｏｌｆｆ ａｎｄ Ｔ． Ｅ． Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．１３，Ｎｏ．７，ｐｐ．６３５-６５７，１９９１参照）。ここで、図７２のグラフの横軸は入射角、縦軸は偏光度、また、図７３のグラフの横軸は出射角、縦軸は偏光度を示している。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。

すなわち、以下のことがわかる。
・出射角が十分に大きい領域以外では、（条件２）が成立する。
・出射角が十分に大きい領域では、（条件２）が成立しない。

これが、図７４に示す従来の領域分割において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。

Ｙ． Ｓａｔｏ, Ｍ． Ｄ． Ｗｈｅｅｌｅｒ, ａｎｄ Ｋ． Ｉｋｅｕｃｈｉ, "Ｏｂｊｅｃｔ ｓｈａｐｅ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｆｒｏｍ ｏｂｓｅｒｖａｔｉｏｎ", ＳＩＧＧＲＡＰＨ ９７, ｐｐ．３７９-３８７, １９９７ 宮崎大輔、柴田卓司、池内克史、"Ｗａｖｅｌｅｔ-Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮、電子情報通信学会論文誌、Ｖｏｌ．Ｊ９０-Ｄ Ｎｏ．８，ｐｐ．２０８１-２０９３，２００７ Ｔ．Ｓｈｉｂａｔａ, Ｔ．Ｔａｋａｈａｓｈｉ, Ｄ．Ｍｉｙａｚａｋｉ, Ｙ．Ｓａｔｏ, Ｋ．Ｉｋｅｕｃｈｉ, "Ｃｒｅａｔｉｎｇ Ｐｈｏｔｏｒｅａｌｉｓｔｉｃ Ｖｉｒｔｕａｌ Ｍｏｄｅｌ ｗｉｔｈ Ｐｏｌａｒｉｚａｔｉｏｎ Ｂａｓｅｄ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ", ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ (Ｐｏｌａｒｉｚａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＩＩ, Ｐａｒｔ ｏｆ ＳＰＩＥ’ｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ ２００５）, Ｖｏｌ．５８８８, ｐｐ．２５-３５, ２００５

このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは、輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少ない。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が大きな問題となる。

このような鏡面反射成分と拡散反射成分の分離精度劣化は、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、質感が大きく異なる画像を合成してしまうという大きな問題となる。モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。視点変換や光源環境変化などの多様な画像処理が可能であるため、デジタルアーカイブやインタラクティブな画像提示方法として非常に有効である。また、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。

図７５（ａ）に示す像を被写体の領域Ｃに関して、図７５（ｂ）のグラフに示すデータを取得した。図７５（ｂ）は、図７５（ａ）の領域Ｃに関して、横軸に視線ベクトルと照明方向ベクトルの中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したグラフである。図７５（ｂ）のグラフにおいて、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各反射パラメータを推定し、プロットしたものである。この図より、モデルフィッティングがうまく働いていないことがわかる。

図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、推定に失敗したパラメータを利用して画像合成を行った場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。このような推定失敗の原因は、前述の鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、特に中間ベクトルβが大きな領域において、輝度値Ｉｓが実際より大きな値として推定されてしまっていることである。鏡面反射成分と拡散反射成分の分離精度の不十分さは、それぞれのモデルにおけるパラメータ推定の際に、実際とは異なった鏡面反射成分と拡散反射成分を利用することになる。そのため、実際とは異なるモデルパラメータを推定してしまう。以上のように、画像の正確な領域分割は、モデルベースの画像合成において、非常に重要である。

本発明の画像処理装置被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う。

好ましい実施形態において、前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部とを有する。

好ましい実施形態において、前記光源から放射される直線偏光光の偏光状態を変化させる投光制御部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部とを有する。

好ましい実施形態において、前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する。

好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記領域分割部は、前記被写体の表面がさらに陰影領域に分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を変化させる。

好ましい実施形態において、前記投光制御部は、直線偏光光の主軸方向を９０度変化させる。

好ましい実施形態において、偏光状態の異なる、複数の投光部を有し、前記投光制御部は、複数の投光部を切り替えることで、偏光状態を変化させる。

好ましい実施形態において、投光部は、偏光画像撮像部の近傍に存在する。

好ましい実施形態において、光源依存度推定部は、偏光位相および偏光度の少なくとも一方の変化値を偏光依存度として推定する。

好ましい実施形態において、前記光源の位置を変化させる投光位置変化部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、を有する。

好ましい実施形態において、光源位置の異なる、複数の投光部を有し、前記投光位置変化部は、複数の投光部を切り替えることで、投光部の位置を変化させる。

好ましい実施形態において、前記投光位置変化部は、投光部を移動させることで光源位置を変化させる。

好ましい実施形態において、前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う。

好ましい実施形態において、前記領域分割部は、鏡面反射領域、拡散反射領域、ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域およびｃａｓｔ ｓｈａｄｏｗ領域のいずれかに分割されることとなるように、前記領域分割を行う。

本発明の画像処理システムは、投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、前記領域分割装置は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の本稿状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。

本発明による他の画像処理システムは、投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割システムであって、前記投光装置は、直線偏光光を前記被写体に投光する投光部と、前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部を有し、前記領域分割装置は、投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部を有する。

本発明の領域分割方法は、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、直線偏光光を前記被写体に投光する投光ステップと、前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップとを含む。

本発明のプログラムは、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、上記の領域分割方法に含まれるステップをコンピュータに実行させる。

本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置を有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、被写体に照射する光源に関する光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースを有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有する。

本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、上記の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。

本発明画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域を正確に分割することが可能である。また、光源状態の依存度と偏光情報という２つの情報に基づく領域分割を、モデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な画像を合成することが可能である。

本発明の第１の本実施形態に係る領域分割装置におけるブロック図である。 本発明の第１の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。 本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。 本発明におけるパターン偏光子と撮像装置における撮像素子の関係を示した模式図である。 本発明におけるパターン偏光子の配列状態を説明するための模式図である。 本発明における正弦関数輝度変化と観測輝度点を説明するための模式図である。 球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。 球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の模式図である。 図７の画像を輝度の高低に応じて複数の領域に分けた図である。 発泡スチロール製の頭部模型の被写体を撮像した画像と、その画像から求めた偏光度ρ１と偏光位相φｍａｘ１、偏光推定誤差Ｅ１の図である。 図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の図である。 図７とは光源の偏光状態が異なった状態で、球体である地球儀の被写体を撮像した画像と、その画像から求めた偏光度ρ２と偏光位相φｍａｘ２、偏光推定誤差Ｅ２の模式図である。 図１１の画像を輝度の高低に応じて複数の領域に分けた図である。 本発明の第１の本実施形態に係る光源依存度推定部によって求めた偏光位相の差分値を画像化した模式図である。 偏光位相差を説明するための模式図である。 本発明の第１の本実施形態に係る領域分割部における領域分割基準を示した図である。 本発明の第１の本実施形態に係る領域分割部の処理の流れを示すフローチャートである。 本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。 本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。 被写体であるビリヤードボールを撮像した画像と、その模式図である。 本発明の第１の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。 本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す図である。 図２２の画像を輝度の高低に応じて複数の領域に分けた図である。 本発明の第１の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。 本発明の第１の本実施形態に係る領域分割方法の処理結果を示す図である。 本発明の第１の本実施形態に係る領域分割方法の別の処理結果を示す図である。 本発明の第１の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。 本発明の第１の本実施形態に係る領域分割装置が搭載されたカメラの別の構成例を示す図である。 本発明の第１の本実施形態に係る領域分割部における別の領域分割基準を示した図である。 本発明の第１の本実施形態に係る領域分割部の別の処理の流れを示すフローチャートである。 本発明の第２の本実施形態に係る領域分割装置におけるブロック図である。 本発明の第２の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。 本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。 本発明の第２の本実施形態に係る領域分割装置が搭載されたカメラの構成例を示す図である。 本発明の第２の実施形態にかかる領域分割装置による撮像条件を示したシステム図である。 本発明の第２の実施形態にかかる領域分割装置による撮像条件を示した別のシステム図である。 本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す図である。 本発明の第２の本実施形態に係る領域分割方法の処理の途中結果を示す模式図である。 図３７の画像を輝度の高低に応じて複数の領域に分けた図である。 本発明の第２の実施形態にかかる領域分割装置による各発光装置と撮像装置の位置関係を示した模式図である。 本発明の第２の本実施形態に係る領域分割方法の処理結果を示す図である。 本発明の第２の本実施形態に係る領域分割方法の別の処理結果を示す図である。 本発明の第２の本実施形態に係る領域分割部における陰影領域を含めた領域分割基準を示した図である。 本発明の第２の本実施形態に係る陰影領域も領域分割する領域分割部の処理の流れを示すフローチャートである。 ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗによる陰影の分類を説明するための模式図である。 ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。 ｃａｓｔ ｓｈａｄｏｗ領域における多重反射光の入射を説明するための模式図である。 本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗを含めた領域分割基準を示した図である。 本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗも領域分割する領域分割部の処理の流れを示すフローチャートである。 本発明の第２の本実施形態に係る領域分割部におけるａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗを含めた別の領域分割基準を示した図である。 本発明の第２の本実施形態に係るａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗも領域分割する領域分割部の別の処理の流れを示すフローチャートである。 本発明の第３の本実施形態に係る領域分割システムにおけるブロック図である。 本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。 本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の構成例を示す図である。 本発明の第３の本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。 本発明の第３の本実施形態に係る領域分割システムにおける別のブロック図である。 本発明の第３の本実施形態に係る領域分割方法の別の処理の流れを示すフローチャートである。 本発明の第３の本実施形態に係る領域分割装置が搭載されたカメラと発光装置の別の構成例を示す図である。 本発明の一実施形態に係る画像合成装置の構成を示すブロック図である。 本発明の一実施形態に係る画像合成方法におけるパラメータ推定方法の処理の流れを示すフローチャートである。 本発明の一実施形態に係る画像合成方法における画像合成推定方法の処理の流れを示すフローチャートである。 本発明の画像合成装置が搭載されたカメラの構成例を示す図である。 鏡面球を利用した光源推定方法を説明するための模式図である。 法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。 拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数Ｓｒを説明するための模式図である。 本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。 入射照度を表す式の各パラメータを説明するための概念図である。 シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。 シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。 本発明の第１の実施形態にかかる領域分割装置を利用して、ＢＲＤＦを求めた模式図である。 本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。 被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。 被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。 従来の領域分割によって分割された鏡面反射領域および拡散反射領域を示す図である。 従来手法の問題点を説明するために、ＢＲＤＦを求めた模式図である。 従来の領域分割手法を利用して作成した合成画像である。

以下、図面を参照しながら本発明の実施形態を説明する。

（第１の実施形態）
まず、本発明の第１の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部（光源）の偏光状態を変化させることにより、光源依存度を算出する。偏光情報と偏光状態の変化に伴う光源依存度とを利用することにより、被写体の領域分割を行う。

図１は、本実施形態に係る画像処理装置におけるブロック図である。この画像処理装置は、被写体を撮像することにより、被写体の表面を光学的に性質の異なる複数の領域に分割する（領域分割を行う）装置である。

この画像処理装置は、偏光状態を変化させて直線偏光光を被写体に投光する投光ユニット１２１と、被写体の偏光情報を取得する偏光情報取得部１２２と、投光ユニット１２１および偏光情報取得部１２２の同期処理を行う制御部１２０と、投光ユニット１２１によって偏光状態（本実施形態では、直線偏光光の偏光主軸方向）が変化した際に偏光情報取得部１２２で生成される各偏光情報を比較することによって光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１２２によって生成された偏光情報と依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。

投光ユニット１２１は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２とを有している。偏光情報取得部１２２は、被写体の偏光画像を取得する偏光画像撮像部１０３と、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４とを有している。偏光画像撮像部１０３は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する。偏光情報取得部１０４は、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

図２は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。ステップＳ１０２において、偏光画像撮像部１０３は、後述するパターン偏光子を通して被写体を撮像素子で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。

パターン偏光子は、後述するように３方向以上の偏光主軸角度をもつ。ステップＳ１０３において、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

ステップＳ１０４において、投光制御部１０２は、投光部１０１の直線偏光光の主軸方向が変化するように投光部１０１を制御し、投光部１０１はステップＳ１０１とは異なった偏光状態の偏光光を被写体へ投光する。ステップＳ１０５において、偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２とが同期処理を行うことによって実現される。

第１の偏光画像と第２の偏光画像は、投光部１０１の直線偏光光の主軸方向が変化した偏光画像である。ステップＳ１０６において、偏光情報取得部１０４は、再度、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

ステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から前記偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。ステップＳ１０８において、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。

ここでは、投光制御部１０２、偏光画像撮像部１０３、偏光情報取得部１０４、光源依存度推定部１０５、領域分割部１０６および制御部１２０は、ＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。メモリ２０３は、偏光画像撮像部１０３によって撮像された偏光画像と、偏光情報取得部１０４によって取得された偏光情報と、光源依存度推定部１０５によって推定された光源依存度情報とを格納する。

次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン偏光子２０１、撮像装置２０２、メモリ２０３、ＣＰＵ２０４、投光制御装置２０８、発光装置２０７、回転機構２０６、および偏光子２０５を備えている。

ステップＳ１０１において、図３のカメラから偏光光が被写体に投光させる。フラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置しているため、偏光光を被写体に投光することができる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。

偏光子２０５は、回転機構２０６によって回転する。投光制御部１０２は、回転機構２０６を制御することで、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させる。

以下、図３に示す構成を有するカメラの動作を詳述する。

まず、図２に示すステップＳ１０１において、図１の投光部１０１は、発光装置２０７と偏光子２０５を利用し、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０７として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０５）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用してもかまわない。

偏光子２０５は、回転機構２０６によって回転させられる。投光制御部１０２は、回転機構２０６を制御することにより、偏光光の主軸方向を変化させる。偏光子として偏光フィルタではなく、液晶偏光子を利用する場合、投光制御部１０２は液晶偏光子に印加する電圧を変化させることで、偏光光の主軸方向を変化させるようにしても構わない。

ステップＳ１０２において、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像装置２０２で受光することにより、偏光情報を含んだ画像である第１の偏光画像を取得する。これは、ＣＰＵ１２０が、発光装置２０７による発光、回転機構２０６による偏光子２０５の回転、および撮像装置２０２による撮像を同期させることにより実行される。

図４は、図１に示す偏光画像撮像部１０３に含まれるパターン偏光子２０１と撮像装置２０２との関係を示した模式図である。本実施形態において、撮像装置２０２にはパターン偏光子２０１が重ねて設置されている。パターン偏光子２０１は、撮像装置２０２の撮像面に平行に設置されることが望ましい。入射光はパターン偏光子２０１を透過して撮像素子２０２に到達して輝度が観測されるため、偏光画像撮像部１０３は偏光情報を取得できる。

図５は、この４種類のパターン偏光子を示しており、各画素内の直線は各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像装置は偏光軸の回転角（Φｉ＝０°、４５°、９０°、１３５°）によって規定される４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。

このような特性は例えば、『川嶋、佐藤、川上、長嶋、太田、青木、“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ-１１-５２，Ｐ５２，２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。この偏光情報の取得に際しては輝度のダイナミックレンジとビット数はなるべく大きいこと（例えば１６ビット）が望ましい。

図２のステップＳ１０３において、偏光情報取得部１０４は、第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。この処理を詳述する。

偏光子を透過した光（偏光主軸方向に偏光した直線偏光光）の輝度は、偏光子の偏光主軸角によって変化することが知られている。図６は、異なる偏光主軸角度Φｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した輝度４０１から４０４が１本の正弦関数カーブを形成する様子を示す。この正弦関数カーブは、図５の点５０１における偏光特性を示している。ここで、図５は図４の４種類の偏光子２０１と撮像素子２０２を入射光方向から眺めた模式図である。

なお、偏光主軸角度は０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は１本の正弦関数カーブ上にちょうど乗るように描かれているが実際には多数の観測点から１８０度周期の正弦関数が最適値として１本決定されることになる。

偏光情報取得部１０４は、偏光情報として、このカーブの振幅と位相情報を取得する。具体的には、パターン偏光子の主軸角φに対する反射光輝度Ｉを以下のように近似する。

ここで図６に示すようにＡ、Ｂ、Ｃは定数でありそれぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、式１は以下のように展開できる。

ただし、

つまり、４画素のサンプル（φ_i Ｉ_i）において以下の式５を最小にするＡ、Ｂ、Ｃを求めることで、正弦関数である式１の近似ができる。ただし、Ｉ_iは、偏光板回転角φ_i時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。

以上の処理で正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０４は、偏光情報として、以下の偏光度ρ、偏光位相φｍａｘ、偏光推定誤差Ｅ、偏光最大輝度値Ｉｍａｘ、偏光最小輝度値Ｉｍｉｎの少なくとも１つを取得する。
・偏光度ρ

・偏光位相φｍａｘ（０≦φｍａｘ≦π[ｒａｄ]）

・偏光推定誤差Ｅ

・偏光最大輝度値Ｉｍａｘ

・偏光最小輝度値Ｉｍｉｎ

ここで、偏光度とは、光がどれだけ偏光しているかを表す指標であり、偏光位相とは、偏光主軸角度に依存して変化する輝度が最大となる角度である。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。また、偏光最大輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最大輝度値、偏光最小輝度値はパターン偏光子の主軸角φを変化させた際にとりうる最小輝度値であり、非偏光成分輝度値である。

図７は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図７(ａ）は被写体である地球儀の画像、図７(ｂ）は図７(ａ）の被写体に対する偏光度ρ１、図７(ｃ）は図７(ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図７(ｄ）は図７(ａ）の被写体に対する偏光推定誤差Ｅ１を示している。また、図８は、図７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１〜Ｄ０４）は、図９における各領域に対応する。図９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど、値が大きいことを意味している。

図１０は、同様の処理を発泡スチロール製の頭部模型に対して行った結果を示している。これらの画像から、遮蔽エッジ付近で偏光度が大きいこと、被写体の陰影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。これらの偏光情報画像は被写体の表面法線の向きと深く関連しており、形状を推定する手がかりとなる。

図７（ｂ）〜図７（ｄ）において、背景領域（Ｂａ０１〜Ｂａ０４）のデータが乱れている。これは、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。

ステップＳ１０４において、投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する。

このときの偏光状態の変化とは、例えば偏光主軸の方向を変えることである。投光制御部１０２は、偏光主軸方向を例えば、９０度回転させるようにすればよい。

ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。これは、例えば、制御部１２０により、偏光情報を変化させた偏光光を０．２秒の間隔で投光する場合、制御部１２０によって、偏光画像撮像部１０３をステップＳ１０２での撮像を偏光光投光時と同期させ、さらにステップＳ１０２からステップＳ１０５の撮像までの間隔を０．２秒とするようにすればよい。このようにすることで、ユーザは１度の撮像操作で第１の偏光画像と第２の偏光画像の２枚の画像を取得することができる。

ステップＳ１０６において、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

図１１は、第２の偏光画像から求めた、偏光度ρ２、偏光位相φｍａｘ２、偏光推定誤差Ｅ２を画像として表示したものである。この図において、図１１(ａ）は被写体である地球儀の画像、図１１(ｂ）は図１１(ａ）の被写体に対する偏光度ρ２、図１１(ｃ）は図１１(ａ）の被写体に対する偏光位相φｍａｘ２（０°が黒、１８０°が白）、図１１(ｄ）は図１１(ａ）の被写体に対する偏光推定誤差Ｅ２を示している。また、図１２は図１１の各画像を模式的に示したものである。この図において、各領域（Ａ１１〜Ｄ１４）は、図１３における各領域（Ａ１１〜Ｄ１４）に対応する。図１３は、図１１の画像を輝度の高低に応じて複数の領域に分けた図である。いずれも輝度が高い（白い）ほど値が大きいことを示している。

図２のステップＳ１０７において、光源依存度推定部１０５は、第１の偏光画像および第２の偏光画像から偏光情報取得部１０４によって取得された偏光情報を比較することで、光源依存度を推定する。この処理について詳述する。

前述のように、鏡面反射領域と拡散反射領域では光源依存度が異なる。ここでは、光源依存度を調べるために、本実施形態では、投光光の偏光軸方向を変化させる。前述のように、投光制御部１０２により、偏光軸方向が９０度異なった直線偏光光を投光することで、第１の偏光画像および第２の偏光画像を得た。これらの画像から求めた偏光位相情報を比較することにより、光源の依存度を推定する。なお、図７と図１１とを比較すると明らかなように、偏光度ρ１および偏光度ρ２は、領域Ｂ１２において略同じ大きさ（同じ輝度）を有している。これは、被写体に投光される偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される偏光光の輝度が偶然ほぼ等しくなったことに起因すると考えられる。

図１４は、第１の偏光画像から求めた偏光位相φｍａｘ１と第２の偏光画像から求めた偏光位相φｍａｘ２の差分値を画像化したものを示している。この図において、輝度が高い（白い）画素が差分値の大きな画素を示している。

前述のように、鏡面反射領域は表面反射によって生じるため、入射光の偏光特性が保持されている。すなわち、鏡面反射領域は光源依存度が高いと考えられる。一方、拡散反射領域はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。すなわち、入射光には影響されず、拡散反射領域は光源依存度が低いと考えられる。

そこで、光源依存度推定部１０５は、第１の偏光画像と第２の偏光画像に対する画素の偏光位相差を利用して、次式に従い、光源依存度として第１の光源依存度ＬＤφを推定する。

ただし、

は次式で表現される、偏光位相φｍａｘ１[ｒａｄ]とφｍａｘ２[ｒａｄ]の周期πを考慮した差分値である。また、その値域は[０,π／２]である。

図１５はφｍａｘ１、φｍａｘ２と

の関係を示した図である。第１の光源依存度ＬＤφは、第１の偏光画像と第２の偏光画像の偏光位相が等しい場合に０、偏光位相差が大きくなるほど値が大きくなり、偏光位相差が最大（π／２）の場合に１となる。つまり、光源の偏光状態の変化に依存して偏光位相が変化する場合、第１の光源依存度ＬＤφは大きくなり、光源の偏光状態の変化に偏光位相が影響されない場合、第１の光源依存度ＬＤφは小さくなる。

光源依存度は第１の偏光画像と第２の偏光画像に対する画素の偏光位相差である必要はなく、例えば、第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρあっても構わない。この場合、第２の光源依存度ＬＤρは次式で表現される。

第２の光源依存度ＬＤρは、第１の光源依存度ＬＤφ同様、第１の偏光画像と第２の偏光画像の偏光度が等しい場合に１、偏光度の差が大きくなるほど値が大きくなり、偏光度の差が最大（１．０）の場合に０となる。つまり、光源の偏光状態の変化に依存して偏光度が変化する場合、第２の光源依存度ＬＤρは大きくなり、光源の偏光状態の変化に偏光度が影響されない場合、第２の光源依存度ＬＤρは小さくなる。なお、前述のように、被写体に投光する偏光光の偏光主軸角度が異なっていても、鏡面反射領域で反射される光の輝度が偶然等しくなる場合がある。そのような場合に生じる誤判低を避けるためには、偏光軸方向が３種類以上異なる偏光光を用いて異なる３つ以上の偏光画像を取得し、それらの偏光画像に基づいて偏光度の差分を評価してもよい。

図２のステップＳ１０８において、領域分割部１０６は、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源依存度情報とに基づいて、領域分割を行う。以下、この処理を詳述する。

図１６は、領域分割部１０６の画像分割基準を示している。また、図１７は、領域分割部１０６の処理の流れを示したフローチャートである。以下、この処理の流れを説明する。

まず、図１７のステップＳ２０１において、領域分割部１０６は、画素が非偏光領域偏光領域のいずれに属するかを決定するため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上かＴｈρよりも小さいかを判定する。画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、その画素は拡散反射非偏光領域に含まれると判断し（ステップＳ２０２）、処理を終了する。一方、画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを決定する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は拡散反射偏光領域に含まれると判断し（ステップＳ２０５）、処理を終了する。

偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図７２、図７３に示したように、被写体の鏡面反射成分や拡散反射成分の偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図７２、図７３で求まる鏡面反射成分や拡散反射成分の偏光度をＴｈρとして利用すればよい。例えば、被写体の屈折率が１．３、入射角が３０度である場合、図７３より、拡散反射成分の偏光度は、必ず０．０５以下になると考えられるので、閾値Ｔｈρとして、０．０５を設定すればよい。

また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分の偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図７３より拡散反射成分の偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。

第１の光源依存度ＬＤφの閾値Ｔｈφは実験的に決定すればよく、例えば、０．５を設定すればよい。偏光度の閾値Ｔｈρも実験的に決定するようにしても構わない。

ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を用いて比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を用いて比較を行ってもよい。この場合も、閾値Ｔｈρとの比較を行えばよい。また、第１の偏光画像から求めた偏光度ρ１と第２の偏光画像から求めた偏光度ρ２の平均値を用いても良い。例えば、光源の直線偏光光の主軸を９０度変化させる場合、偏光度ρ１と偏光度ρ２の平均値を求めることで、非偏光成分の光源が照射される場合とほぼ等価の偏光度を取得することができる。そのため、より正確な領域分割が可能である。この場合も、閾値Ｔｈρとの比較を行えばよい。

ステップＳ２０１において、第１の偏光画像から求めた偏光推定誤差Ｅ１を用いて比較を行っても良い。この処理は、光源の安定性が低いなど、輝度値の誤差が大きくなる場合に有効である。図１８は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１８において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。

図１８のステップＳ２０６において、領域分割部１０６は偏光推定誤差Ｅ１の大きさが閾値ＴｈＥ以上か未満かを判定する。画素の偏光推定誤差Ｅ１が閾値ＴｈＥ以上である場合（ステップＳ２０６でＮｏ）、画素は拡散反射非偏光領域であると判断し（ステップＳ２０２）、処理を終了する。一方、偏光推定誤差Ｅ１が閾値ＴｈＥ未満であった場合（ステップＳ２０６でＹｅｓ）、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφより大きいかどうかを比較する（ステップＳ２０３）。

ステップＳ２０３において、前述の第１の偏光画像と第２の偏光画像に対する偏光度の差である第２の光源依存度ＬＤρを用いても良い。偏光度は多重反射などの影響を強く受けるため、多重反射の影響を受けにくい被写体では、偏光度の差である第２の光源依存度ＬＤρを用いることも有効である。多重反射の影響を受けにくい被写体とは、具体的には、被写体の形状が凸形状の被写体である。第１の光源依存度ＬＤφと第２の光源依存度ＬＤρを組み合わせて使うようにしても構わない。この場合、式１１と式１３の重み付け平均を求めるようにすればよい。２つの偏光情報を組み合わせて利用することで、ロバストな領域分割が可能である。

図１９は、この場合の領域分割部１０６における処理の流れを示すフローチャートである。図１９において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。ステップＳ２０７において、第２の光源依存度ＬＤρが閾値Ｔｈρ以上であった場合（ステップＳ２０７でＹｅｓ）、画素は鏡面反射偏光領域であると判断し（ステップＳ２０４）、処理を終了する。一方、第２の光源依存度ＬＤρが閾値Ｔｈρより小さかった場合（ステップＳ２０７でＮｏ）、画素は拡散反射偏光領域であると判断し（ステップＳ２０５）、処理を終了する。

第２の光源依存度ＬＤρの閾値Ｔｈρは実験的に決定すればよく、例えば、０．２に設定すればよい。

図２０、図２２〜図２６は、本実施形態による領域分割を実施した結果を示している。また、図２１は、本実施形態による領域分割を実施した撮像条件を示した図である。

図２１に示すように、発光装置２０７は、撮像装置２０２の近傍に設置され、回転機構２０６によって偏光子の主軸方向が９０度変化する。図２０（ａ）は、被写体であるビリヤードボールを示している。図２０（ｂ）は、図２０（ａ）に示されるビリヤードボールの表面を示す画像のうち、白い画素からなる領域に符号「Ｂ２１」を付し、他の領域に符号「Ａ２１」を付した図である。また、図２０（ｃ）は、図２０（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域Ａ２１、Ｂ２１は、図２０（ｂ）における各領域Ａ２１、Ｂ２１に対応する。

図２２は、図２０（ａ）で示したビリヤードボールを被写体とし、投光制御部１０２により、偏光光の主軸方向を水平方向と垂直方向に変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。図２２（ａ）は偏光光の主軸方向を水平方向として撮像した第１の偏光画像から求めた偏光度ρ１、図２２（ｂ）は第１の偏光画像から求めた偏光位相φｍａｘ１、図２２（ｃ）は偏光光の主軸方向を垂直方向として撮像した第２の偏光画像から求めた偏光度ρ２、図２２（ｄ）は第２の偏光画像から求めた偏光位相φｍａｘ２、図２２（ｅ）は偏光位相φｍａｘ１とφｍａｘ２から求めた第１の光源依存度ＬＤφを示している。

図２２（ａ）から（ｄ）において、それぞれ、明度の高い画素ほど、偏光度ρ１、偏光位相φｍａｘ１、偏光度ρ２、偏光位相φｍａｘ２の値が大きい。なお、図２２（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。

図２３は、図２２の画像を輝度の高低に応じて複数の領域に分けた図である。図２４は、図２２の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ３１〜Ｄ３５）は、図２３における各領域に対応する。また、図２５は、図２２の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。図２５（ａ）はステップＳ２０１において、第１の偏光画像に対する偏光度ρ１が閾値Ｔｈρ以上の画素を示している。また、図２５（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２５（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２５において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。

従来の偏光度のみに基づいて領域分割を行う方法では、図２５（ａ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｂ）に示される白い画素の領域を「拡散反射領域」に割り当ててしまうため、前述のように遮蔽エッジ近傍である領域Ａ（図２５（ａ）を誤って鏡面反射領域に含めてしまい、分割された各領域の範囲に大きな誤差が生じてしまう。

一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図２５（ｃ）に示される白い画素の領域を「鏡面反射領域」、図２５（ｅ）に示される白い画素の領域を「拡散反射領域」に分割する。そのため、従来法に比べ、正確な領域分割が可能である。

図２６は、ステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１を利用して比較を行うのではなく、第２の偏光画像から求めた偏光度ρ２を利用した結果を示している。図２６（ａ）はステップＳ２０１において、第２の偏光画像に対する偏光度ρ２が閾値Ｔｈρ以上の画素を示している。また、図２６（ｂ）、（ｃ）、および（ｄ）は、それぞれ、本実施形態の領域分割において分割された、「拡散反射非偏光領域」、「鏡面反射偏光領域」、および「拡散反射偏光領域」を示している。また、図２６（ｅ）は、拡散反射非偏光領域と拡散反射偏光領域の和集合である「拡散反射領域」を示している。図２６において、白色画素によって構成される領域が、他の領域（黒い画素によって構成される領域）から分割された領域を示している。

図２５を参照して説明した領域分割方法と同様に、第２の偏光画像に対する偏光度ρ２を用いても、偏光情報および光源依存度の両方を利用しているため、従来法に比べ、正確な領域分割が可能である。

図２５、図２６を比較すると、図２６（ｃ）では、白い画素からなる領域Ｂが観察されるが、図２５（ｃ）には、そのような領域Ｂは表れていない。物体の表面に入射して反射される光の偏光状態は、入射する直線方向の偏光方向と入射角または出射角との関係に影響され、ある物体の表面に入射した直線偏光光の反射光の偏光度が偏光方向によって高くなる場合がある。このような場合、そのように偏光度の高い反射光を発する画素について「鏡面反射領域」の一部を誤って判断する可能性がある。このような誤判断を確実に防ぐためには、図１９のステップＳ２０１において、第１の偏光画像から求めた偏光度ρ１と、第２の偏光画像から求めた偏光度ρ２の重み付け和を利用して比較処理を行ってもよい。

また、図２７に示すように、複数の発光装置２０７および発光装置２０７−２から構成された発光部１０１を用い、発光装置２０７、２０７−２の各々から異なった偏光状態の偏光光を投光するようにしても構わない。この場合、複数の発光装置２０７、２０７−２は近傍に設置されることが望ましい。図２７は、本実施形態による領域分割を実施したときの発光装置２０７、２０７−２、撮像装置２０２、被写体などの配置関係を模式的に示す図である。図２７において、図２１と共通の構成要素には同一の符号を付しており、ここではその詳細な説明は省略する。

図２８は、本実施形態に係る画像処理装置が搭載されたカメラの構成例を示している。図２８において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。

図２８に示す投光制御部１０２は、光源として機能する発光装置２０７および発光装置２０７−２を切り替えることで、偏光光の主軸方向を変化させる。具体的には発光装置２０７に対する偏光子２０５の偏光主軸方向と、発光装置２０７−２に対する偏光子２０５−２の偏光主軸方向とが互いに直交する関係にある。そのため、図３に示す装置と異なり、回転機構２０６が不要となるため、カメラの小型化が可能である。

なお、本実施形態では、パターン偏光子２０１にフォトニック結晶を用いているが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わない。また、パターン偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。

なお、発光装置２０７は撮像装置２０２の近傍に設置することが望ましい。このような配置を採用することにより、発光装置２０７からの投光によって被写体に生じる陰影の領域が小さくなるためである。陰影に関しては、本実施形態の領域分割方法では考慮していないため、陰影が生じると領域分割が困難である。陰影領域では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われる。このため、陰影領域では領域分割精度が劣化する。陰影を生じにくくすることは、領域分割の精度を向上させるために重要である。

領域分割部１０６は、画像を「鏡面反射領域」と「拡散反射領域」とに分割する代わりに、画像を「光源依存偏光領域」、「光源依存非偏光領域」、「光源非依存偏光領域」、および「光源非依存非偏光領域」の４つの領域に分割するようにしても構わない。この処理について詳述する。

図２９は、本実施形態に係る領域分割部１０６の画像分割基準を示している。図３０は、本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図３０において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。

まず、領域分割部１０６は、各画素が非偏光領域および偏光領域のいずれに属するかを判定し、画像を非偏光領域と偏光領域とに分ける領域分割を行うため、画素の偏光度ρ１の大きさと閾値Ｔｈρとを比較し、偏光度ρが閾値Ｔｈρ以上か閾値Ｔｈρよりも小さいかを判定する（ステップＳ２０１）。画素の偏光度ρ１が閾値Ｔｈρ以上であった場合（ステップＳ２０１でＹｅｓ）、その画素は偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ以上かどうかを判断する（ステップＳ２０３）。第１の光源依存度ＬＤφが閾値Ｔｈφ以上であった場合（ステップＳ２０３でＹｅｓ）、画素は光源依存偏光領域に含まれると判断し（ステップＳ２０８）、処理を終了する。

一方、第１の光源依存度ＬＤφが閾値Ｔｈφより小さかった場合（ステップＳ２０３でＮｏ）、画素は光源非依存偏光領域に含まれると判断し（ステップＳ２０９）、処理を終了する。

なお、画素の偏光度ρ１が閾値Ｔｈρより小さかった場合（ステップＳ２０１でＮｏ）、画素は非偏光領域に含まれると判断し、光源依存度推定部１０５が推定した第１の光源依存度ＬＤφが閾値Ｔｈφ２以上かどうかを比較する（ステップＳ２１０）。第１の光源依存度ＬＤφが閾値Ｔｈφ２以上であった場合（ステップＳ２１０でＹｅｓ）、その画素は光源依存非偏光領域に含まれると判断し（ステップＳ２１１）、処理を終了する。一方、第１の光源依存度ＬＤφが閾値Ｔｈφ２より小さかった場合（ステップＳ２１０でＮｏ）、画素は光源非依存非偏光領域に含まれると判断し（ステップＳ２１２）、処理を終了する。

ステップＳ２１０における光源依存度の閾値Ｔｈφ２は、ステップＳ２０３の閾値Ｔｈφと等しくすればよい。また、偏光度の閾値Ｔｈρや第１の光源依存度ＬＤφの閾値Ｔｈφは前述のように設定すればよい。さらに、ステップＳ２０３とステップＳ２１０において、同一の閾値Ｔｈφを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、非偏光領域では、輝度分解能が偏光領域に比べ、小さいと考えられるため、Ｔｈφ２の値をＴｈφより小さくすることが望ましい。

なお、陰影領域の問題を解決するために、後述するように、領域分割部１０６は、分割される領域に「陰影領域」を加えても構わない。

以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光成分も考慮にいれた鏡面反射領域と拡散反射領域の分割を行うこともできる。

（第２の実施形態）
次に、本発明の第２の実施形態における画像処理装置の概要について説明する。本実施形態の画像処理装置は、投光部の位置（光源位置）を変化させることにより、光源依存度を算出する。偏光情報と光源位置の変化に伴う光源依存度を利用することで、被写体の領域分割を行う。

図３１は、本実施形態に係る画像処理装置のブロック図である。図３１において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光制御部１０２に代わり、投光位置変化部１１２を有することである。本実施形態の画像処理装置は、投光制御部１０２によって偏光の主軸方向を変化させるのではなく、投光位置変化部１１２によって発光装置２０７の位置を変化させる。

非偏光を被写体へ投光した場合の偏光位相は、被写体の法線情報に依存している。しかし、その関係は鏡面反射成分と拡散反射成分により異なる。

まず、鏡面反射成分について考える。被写体の表面法線は２つの自由度を有する。ここでは光の入射光線と入射点（観測点）の法線ベクトルを包含する入射面と、入射面内での入射角という２つの角度を求めることにより決定する。鏡面反射成分の入射面は偏光画像から求められる図６において、輝度が最小となる角度と等しいことが知られている（例えば、Ｏｎｄｆｅｊ Ｄｒｂｏｈｌａｖ ａｎｄ Ｓａｒａ Ｒａｄｉｍ，“Ｕｓｉｎｇ ｐｏｌａｒｉｚａｔｉｏｎ ｔｏ ｄｅｔｅｒｍｉｎｅ ｉｎｔｒｉｎｓｉｃ ｓｕｒｆａｃｅ ｐｒｏｐｅｒｔｉｅｓ”，Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．３８２６，ｐｐ．２５３-２６３，１９９９）。

次に、拡散反射成分について考える。前述の通り、被写体の表面法線は２つの自由度を有する。ここでは光がスキャッタリングを繰り返し、被写体表面から出射した出射光の光線と出射点（観測点）の法線ベクトルを包含する出射面と、出射面内での出射角という２つの角度を求めることにより決定する。拡散反射成分の出射面は偏光画像から求められる図６において、輝度が最大となる角度と等しいことが知られている（例えば、ＵＳＰ５，０２８，１３８号公報）。すなわち、偏光位相情報は、鏡面反射成分では入射角に依存するが、拡散反射成分では入射角に依存しない。カメラ位置を固定したまま光源位置を変化させた場合、入射角のみが変化する。そのため、鏡面反射成分ではその偏光特性が変化するが、拡散反射成分ではその偏光特性が変わらない。

このことは、鏡面反射成分が被写体のうち、正反射近傍の一部の領域にのみ生じるため、鏡面反射領域であった領域が光源位置を変化させることで拡散反射領域になることも関係している。いずれにせよ、カメラ位置を固定したまま光源位置を変化させた場合、多くの鏡面反射成分では、その偏光特性が変化するが、ほとんどの拡散反射成分では、その偏光特性が変わらない。本実施形態の領域分割方法は、この特性を利用して領域分割を行う。

図３２は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図３２において、図２と共通のステップおよび対応するステップには、図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３３は、本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。図３３において、図３と共通の構成要素および対応する構成要素には、図３と同一の符号を付しており、ここではその詳細な説明は省略する。

本実施形態における投光位置変化部１１２（図３１）は、例えば図３３に示す投光位置変化装置２１３によって実現される。投光位置変化装置２１３は、発光装置２０７の位置を変化させるものであり、モータなどを用いて実現される。また、発光装置２０７をロボットのアームなどの稼動部に取り付けるようにしてもかまわない。画像処理装置は、複数の発光装置２０７、２０７−２を有しても構わない。図３４は複数の発光装置２０７、２０７−２を有する本実施形態に係る領域分割装置が搭載されたカメラの構成例を示している。この場合、投光位置変化装置２１３は、発光装置２０７、２０７−２を切り替えることで、発光装置の位置（光源位置）を変化させることができる。

図３２において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する（ステップＳ３０１）。偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ１０２）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０３）。投光位置変化部１１２は、ステップＳ１０１とは位置が異なる発光装置２０７が発光するように投光部１０１を移動し、投光部１０１はステップＳ３０１と異なった位置から被写体へ非偏光光を投光する（ステップＳ３０２）。

偏光画像撮像部１０３は再度、パターン偏光子２０１を通して被写体を撮像素子で受光することで、第４の偏光画像を取得する（ステップＳ１０５）。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第３の偏光画像と第４の偏光画像は、前記投光部１０１の光源（発光装置２０７）位置が変化した偏光画像である。偏光情報取得部１０４は、再度、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する（ステップＳ１０６）。光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する（ステップＳ１０７）。領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う（ステップＳ１０８）。

以下、図を用いてこの処理を詳述する。

ステップＳ３０１において、投光部１０１は、制御部１２０によって指示された光源位置の発光装置２０７から非偏光光を投光する。これは、投光部１０１を複数の発光装置２０７から構成し、投光位置変化部１１２によって、は投光する発光装置２０７、２０７−２を切り替えることで、光源位置を変化させるようにすればよい。図３５は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３５において、図２１と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。

投光位置変化部１１２は投光位置変化装置２１３によって、発光装置２０７を移動させることで光源位置を変化させるようにしても構わない。投光位置変化装置２１３は、モータなどによって実現される。ロボットの稼動部に発光装置２０７を設置するようにしてもかまわない。図３６は、本実施形態による領域分割を実施した撮像条件を示したシステム図である。図３６において、図３５と共通の構成要素には図３５と同一の符号を付しており、ここではその詳細な説明は省略する。

ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。

ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第３の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

ステップＳ３０２において、投光位置変化部１１２は、ステップＳ３０１とは位置が異なる発光装置２０７−２が発光するように投光部１０１を制御することで、投光部１０１はステップＳ３０１と異なった位置から被写体へ投光する。これは、前述のように、投光部１０１を複数の発光装置２０７、２０７−２から構成する、または、発光装置２０７を移動させることで光源位置を変化させるようにすればよい。

ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第４の偏光画像を再度、撮像する。これは、制御部１２０によって、投光ユニット１２１と偏光情報取得部１２２が同期処理を行うことによって実現される。第４の偏光画像は、第３の偏光画像に比べ、被写体は同じであるが、投光光の偏光状態のみが異なった画像である。

ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第４の偏光画像を構成する単位画素のそれぞれについて、前述の通り、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

ステップＳ１０７において、前述の通り、光源依存度推定部１０５は、第３の偏光画像および第４の偏光画像から前記偏光情報取得部によって取得された偏光情報を比較することで、光源依存度を推定する。ここでは、偏光情報として、偏光位相情報を比較することで、光源依存度を推定する。

ステップＳ１０８において、前述の通り、領域分割部１０６は、前記偏光情報取得部１０４によって生成された偏光情報と前記光源依存度推定部１０５によって推定された光源依存度情報を利用して、領域分割を行う。また、領域分割部１０６の画像分割基準は図１６と同様であり、領域分割部１０６の処理の流れを示したフローチャートも図１７と同様である。

図３７〜図４２は、本実施形態による領域分割を実施した結果を示している。図３７は、地球儀を被写体とし、投光位置変化部１１２により、発光装置２０７の位置を変化した場合に偏光情報取得部１０４により取得された偏光情報を示している。この図において、図３７（ａ）は発光装置２０７を画像向かって右側に配置して撮像した第３の偏光画像から求めた偏光度ρ３、図３７（ｂ）は第３の偏光画像から求めた偏光位相φｍａｘ３、図３７（ｃ）は発光装置２０７−２をカメラ上方に配置して撮像した第４の偏光画像から求めた偏光度ρ４、図３７（ｄ）は第４の偏光画像から求めた偏光位相φｍａｘ４、図３７（ｅ）は偏光位相φｍａｘ３とφｍａｘ４から求めた第１の光源依存度ＬＤφを示している。図３７（ｅ）において、第１の光源依存度ＬＤφの値が１の場合は白、０の場合は黒で表現されている。また、図３８は、図３７の各画像を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ４１〜Ｅ４５）は、図３９における各領域に対応する。図３９は、図７の画像を輝度の高低に応じて複数の領域に分けた図である。

図４０は、このときの発光装置２０７、２０７−２と撮像装置２０２の位置関係を示した模式図である。また、図４１は、図３７の偏光情報を利用して、本実施形態による領域分割を実施した結果を示している。この図において、図４１（ａ）はステップＳ２０１において、第３の偏光画像に対する偏光度ρ３が閾値Ｔｈρ以上の画素を示している。また、図４１（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４１（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４１において、白色画素がそれぞれ、分割された領域を示している。従来の偏光度のみを利用した方法では、図４１（ａ）を鏡面反射領域、図４１（ｂ）を拡散反射領域と分割してしまうため、前述のように遮蔽エッジ近傍に大きな誤差が生じてしまう。一方、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、図４１（ｃ）を鏡面反射領域、図４１（ｅ）を拡散反射領域と分割する。そのため、従来法に比べ、正確な領域分割が可能である。

また、図４２は、ステップＳ２０１において、第３の偏光画像から求めた偏光度ρ３を利用して比較を行うのではなく、第４の偏光画像から求めた偏光度ρ４を利用した結果を示している。この図において、図４２（ａ）はステップＳ２０１において、第４の偏光画像に対する偏光度ρ４が閾値Ｔｈρ以上の画素を示している。また、図４２（ｂ）（ｃ）（ｄ）はそれぞれ、本実施形態の領域分割において分割された、拡散反射非偏光領域、鏡面反射偏光領域、拡散反射偏光領域を示している。また、図４２（ｅ）は拡散反射非偏光領域と拡散反射偏光領域の和集合を求めた、拡散反射領域を示している。図４２において、白色画素がそれぞれ、分割された領域を示している。図４１同様、いずれの入力画像を用いた場合であっても、本実施形態における領域分割方法では、偏光情報に加え、光源依存度を利用しているため、従来法に比べ、正確な領域分割が可能である。しかし、図４１および図４２において、背景領域ではデータが乱れている。これは、前述の通り、背景領域は非常に暗かったため、輝度分解能が低くなってしまったためである。そのため、偏光情報の信頼性が低くなり、データが乱れている。露光時間を長くするなどして、背景領域の輝度を上げることで、背景領域でも十分な精度の偏光情報を取得することができる。背景領域はマスク処理を行うことで、領域分割処理を行わないようにしても構わない。また、陰影領域に関しても領域分割に失敗している。これは、陰影に関しては、前述の通り、本実施形態の領域分割方法は陰影を考慮していないためである。

領域分割部１０６は、陰影領域を考慮した領域分割を行っても構わない。この場合、偏光情報、光源依存度情報に加え、画像の輝度情報を利用することが望ましい。図４３は、この処理における領域分割部１０６の画像分割基準を示している。また、図４４は陰影領域も領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４４において、図１７と共通のステップには図１７と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。

領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域の輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。このように陰影領域を推定するための閾値は実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影領域を検出するための輝度値としては、偏光情報取得部１０４で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け平均値（例えば、Ｉｍａｘ＋２・Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、輝度値が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、平均値であるＩｍａｘ＋Ｉｍｉｎは、非偏光の光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。

画素の輝度値が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し（ステップＳ４０２）、処理を終了する。一方、画素の輝度値が閾値以上であった場合（ステップＳ４０１でＮｏ）、画素は陰影領域ではないと判断し、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。

また、偏光情報を利用することで、陰影領域をさらにａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域とｃａｓｔ ｓｈａｄｏｗ領域に分割するようにしても構わない。この処理について詳述する。

まず、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗについて説明する。図４５はａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面６０５におかれた被写体６０４が、光源６０２に照らされている。この図において、６０６と６０７はどちらも陰影を示している。６０６は被写体６０４の法線が光源６０２を向いていないために生じるａｔｔａｃｈｅｄ ｓｈａｄｏｗである。また、６０７は６０５において、遮蔽物である被写体６０４によって光が遮蔽されることによって生じるｃａｓｔ ｓｈａｄｏｗである。

次に、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗの偏光特性の違いについて説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件３が満たされた撮像シーンにおいて、撮像が行なわれると想定する。

条件３：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮像シーンでは成り立つ。
１．屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２．屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３．屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。

また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。

この条件３が成り立つ場合に、まずａｔｔａｃｈｅｄ ｓｈａｄｏｗを考える。図４５で示したように、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件３より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、カメラとａｔｔａｃｈｅｄ ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図４６はこの様子を示した模式図である。この図において、本実施形態に係る領域分割装置が搭載された撮像装置６０１が示されている。

被写体表面の反射特性は、前述のように、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。

被写体がてかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ、佐藤洋一、池内克史、柏木寛、"ハイライトの偏光解析にもとづく透明物体の表面形状測定"、電子情報通信学会論文誌 Ｄ-ＩＩ，Ｖｏｌ． Ｊ８２-Ｄ-ＩＩ，Ｎｏ．９，ｐｐ．１３８３-１３９０，１９９９）。そのため、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。

鏡面反射成分と拡散反射成分の偏光度を示した、前述の図７２、図７３から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことから、偏光特性としても鏡面反射成分が支配的になると推測される。

また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図７２、図７３からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ ｓｈａｄｏｗは、相対的に偏光度が高くなる。

次に、ｃａｓｔ ｓｈａｄｏｗについて考える。図４５で示したように、ｃａｓｔ ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件３を考慮すると、ｃａｓｔ ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図４７はこの様子を示した模式図である。

さらに、図７３で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影の領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。

以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。

この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する。

図４８は、この処理における領域分割部１０６の画像分割基準を示している。また、図４９はａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗも含めた領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図４９において、図４４と共通のステップには図４４と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。

領域分割部１０６は、まず、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。これは、前述のように、陰影領域は輝度値が低いことを利用し、輝度値が閾値以下の画素を陰影領域と推定するものである。画素の輝度値が閾値より大きかった場合、画素は陰影領域ではないと判断し（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、画素の輝度値が閾値以下であった場合、画素は陰影領域であると判断し（ステップＳ４０１でＹｅｓ）、偏光情報取得部１０４で取得した偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きいかどうかを判断する（ステップＳ４０３）。偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ４０３でＮｏ）、画素はａｔｔａｃｈｅｄ ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ４０３でＹｅｓ）、画素はｃａｓｔ ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。

このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や式１の振幅成分Ａ、バイアス成分Ｃを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。

この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。

陰影をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。

図５０は、この処理における領域分割部１０６の画像分割基準を示している。また、図５１は陰影領域を領域分割する本実施形態に係る領域分割部１０６の処理の流れを示すフローチャートである。図５１において、図４９と共通のステップには図４９と同一の符号を付しており、ここではその詳細な説明は省略する。この処理について詳述する。

領域分割部１０６は、前述の通り、画素が陰影領域であるかどうかを推定するため、設定された閾値と輝度値を比較し、輝度値が閾値以下か否かを判定する（ステップＳ４０１）。輝度が閾値を超えていた場合（ステップＳ４０１でＮｏ）、図１７のステップＳ２０１へ進み、前述の領域分割処理を行う。一方、輝度が閾値以下であった場合（ステップＳ４０１でＹｅｓ）、画素は陰影領域であると判断し、偏光情報取得部１０４で取得した偏光度ρが閾値Ｔｈρ３より大きいかどうかを判断する（ステップＳ４０６）。偏光度ρが閾値Ｔｈρ３以上であった場合（ステップＳ４０６でＮｏ）、画素はａｔｔａｃｈｅｄ ｓｈａｄｏｗであると判断し（ステップＳ４０４）、処理を終了する。一方、偏光推定誤差Ｅが閾値Ｔｈρ３より小さかった場合（ステップＳ４０６でＹｅｓ）、画素はｃａｓｔ ｓｈａｄｏｗであると判断し（ステップＳ４０５）、処理を終了する。

このとき、ステップＳ４０６における偏光度の閾値Ｔｈρ３はステップＳ２０３の閾値Ｔｈρと等しくすればよい。ステップＳ２０３とステップＳ４０６において、同一の閾値Ｔｈρを用いるのではなく、異なった閾値を利用するようにしても構わない。この場合、陰影領域では、輝度分解能が偏光成分に比べ、小さいと考えられるため、Ｔｈρ３の値をＴｈρより小さくすることが望ましい。

以上のように、本発明の領域分割方法を利用することで、偏光情報と光源依存度を利用した領域分割を行うことができる。このような領域分割は、拡散反射成分の偏光も考慮にいれた鏡面反射成分と拡散反射成分の分割を行うこともできる。また、偏光情報と光源依存度に加え、輝度情報も利用した領域分割を行うことも可能である。このような領域分割は、陰影領域も考慮にいれた鏡面反射領域と拡散反射領域の分割、さらにはａｔｔａｃｈｅｄ ｓｈａｄｏｗやｃａｓｔ ｓｈａｄｏｗの分割を行うこともできる。

（第３の実施形態）
図５２は、本実施形態に係る領域分割システムにおけるブロック図を示している。図５２において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。

第１の実施形態との違いは、投光装置１０８と領域分割装置１０９を分離させ、領域分割装置１０９は撮像判定部１０７を有することである。また、図５３は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図５４は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５４において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。

本実施形態の領域分割システムは、投光装置１０８と領域分割装置１０９を有し、被写体を撮像することによって被写体の表面を光学的に領域分割を行う領域分割システムであって、投光装置１０８は、直線偏光光を前記被写体に投光する投光部１０１と、投光部１０１の直線偏光光の偏光状態を変化させる投光制御部１０２を有し、主軸方向の異なった偏光光を時系列的に被写体へ投光する。また、領域分割装置１０９は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部１０３と、偏光画像撮像部１０３によって過去に撮像された偏光画像と現在、撮像された偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部１０７と、取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する偏光情報取得部１０４と、投光制御部１０２によって投光部１０１の偏光状態が変化した際の、偏光情報取得部１０４で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部１０５と、偏光情報取得部１０４によって生成された偏光情報と光源依存度推定部１０５によって推定された光源変動情報を利用して、領域分割を行う領域分割部１０６を備える。

次に、本実施形態の領域分割装置１０９について詳述する。

まず、ステップＳ１０２において、前述の通り、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する。

ステップＳ１０３において、前述の通り、偏光情報取得部１０４は、撮像された前記第１の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。

ステップＳ１０５において、偏光画像撮像部１０３は、前述の通り、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第２の偏光画像を再度、撮像する。

ステップＳ５０１において、撮像判定部１０７は、前記第１の偏光画像と前記第２の偏光画像を比較し、撮像した偏光状態が十分に変化しているかどうかを判断する。これは、撮像した偏光画像の輝度値を比較すればよい。具体的には、撮像された第２の偏光画像と第１の偏光画像の差分画像を作成し、その差分値の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、１０００を設定すればよい。

本実施形態の領域分割方法では、投光装置１０８と領域分割装置１０９は別構成となっており、投光装置１０８は領域分割装置１０９と同期が取られていない。そのため、領域分割装置１０９は、撮像した画像の偏光状態が変化しているかどうかを領域判定部１０７にて判断する。

撮像判定部１０７が、十分に偏光状態が変化していると判断した場合（ステップＳ５０１でＹｅｓ）、ステップＳ１０６において、前述の通り、偏光情報取得部１０４は、撮像された前記第２の偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。一方、撮像判定部１０７が、十分に偏光状態が変化していないと判断した場合（ステップＳ５０１でＮｏ）、領域分割装置１０９は再度、前述の通り、偏光情報を含んだ画像である第２の偏光画像を取得する。ステップＳ１０６以降の処理は第１の実施形態と同様なため、詳細な説明は省略する。

撮像した偏光状態が十分に変化しているかどうかを判断するために、偏光画像ではなく、偏光情報を取得するようにしても構わない。この場合、第２の偏光情報と第１の偏光情報の差分を作成し、その差分の最大値が閾値以上の場合、撮像した偏光状態が十分に変化していると判断すればよい。このときの閾値は、実験的に決定すればよく、例えば、偏光情報として偏光位相の差分を計算する場合、閾値は９０度とすればよく、また、偏光情報として偏光度の差分を計算する場合、閾値は０．１とすればよい。

図５５は本実施形態に係る領域分割方法の処理の流れを示すフローチャートである。図５５において、図５３と共通のステップには図５３と同一の符号を付しており、ここではその詳細な説明は省略する。

本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させることにより、より小型の領域分割装置１０９を実現することが可能である。

投光装置１０８と領域分割装置１０９は同期処理を行ない、領域分割装置１０９は投光装置１０８からの同期信号により撮像を行うようにしても構わない。この処理について説明する。

図５６は、本実施形態に係る画像処理システムにおけるブロック図を示している。図５６において、図５２と共通の構成要素には図５２と同一の符号を付しており、ここではその詳細な説明は省略する。図５２に示す構成との違いは、投光装置１０８、領域分割装置１０９ともに通信部１１０、１１１を有し、さらに、領域分割装置１０９には撮像判定部１０７が存在しない点である。図５７は本実施形態における領域分割方法の処理の流れを示すフローチャートである。図５７において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。図５８は、本実施形態に係る領域分割装置が搭載されたカメラと投光装置の構成例を示している。図５８において、図５４と共通の構成要素には図５４と同一の符号を付しており、ここではその詳細な説明は省略する。

前述のように、ステップＳ１０１によって投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を投光する。その後、投光装置１０８は通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０２）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０３）、前述のように、偏光画像撮像部１０３は、パターン偏光子２０１を通して被写体を撮像素子で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０２）。このとき、パターン偏光子は、前述するように３方向以上の偏光主軸角度をもつ。偏光情報取得部１０４は、前述の通り、受光した偏光に関する情報である偏光情報を生成し（ステップＳ１０３）、領域分割装置１０９は通信装置２１０によって、第１の偏光画像の撮像完了を知らせる信号を投光装置１０８へ送信する（ステップＳ５０４）。投光装置１０８は前記撮像完了を知らせる信号を通信装置２０９で受信すると（ステップＳ５０５）、前述のように投光制御部１０２は、前記第１の偏光画像を取得した際とは異なった偏光状態の偏光光を被写体へ投光するように、投光部１０１を制御する。そして、投光部１０１は、投光制御部１０２によって指示された主軸方向に偏光した偏光光を被写体へ再度、投光する（ステップＳ１０４）。その後、投光装置１０８は再度、通信装置２０９によって、投光を知らせる信号を領域分割装置１０９へ送信する（ステップＳ５０６）。領域分割装置１０９は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ５０７）、前述のように、ステップＳ１０５〜Ｓ１０８によって、第２の偏光画像を取得し、最終的に領域分割を実施する。

投光装置１０８は投光制御部１０２を有するのではなく投光位置変化部１１２を有し、前述の通り、光源の位置を変化させるようにしても構わない。
本実施形態における領域分割システムは、投光装置１０８と領域分割装置１０９を分離させ、通信により投光と撮像の同期をとることにより、より小型の領域分割装置１０９でありながら、効率的な領域分割を実現することが可能である。

（領域分割を利用したモデルベースの画像合成）
本発明の領域分割は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。

本発明の領域分割方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。

まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置３００と画像合成装置３０１からなる。以下の５つの入力情報を利用する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報

（パラメータ推定装置、画像合成装置の実施形態）
図５９は本発明の一実施形態に係るパラメータ推定装置３００と画像合成装置３０１の構成を示すブロック図である。

図５９のパラメータ推定装置３００は、撮像装置を利用し、撮像を行う画像撮像部３０２と、上述した領域分割方法によって画像を鏡面反射領域と拡散反射領域に分割する領域分割部３０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部３０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部３０５と、撮像された被写体から、前記領域分割部３０３で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部３０６と、前記パラメータ推定部３０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）３０７とを備えている。

さらに、画像合成装置３０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部３０８と、パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成するレンダリング部３０９とを備えている。

まず、図６０、図６１を参照しながら、本実施形態におけるパラメータ推定方法の処理の流れを説明する。図６０、図６１は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。

図６０のステップＳ６０１において、画像撮像部３０２は、前述の偏光画像撮像部１０３および偏光情報取得部１０４によって被写体を撮像し、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎを取得する。ステップＳ６０２において、領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。

ステップＳ６０３において、光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０４において、形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。

ステップＳ６０５において、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する。ステップＳ６０６において、パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。

次に、図６１を参照しながら、画像合成推定方法の処理の流れについて説明する。

まず、ステップＳ６０７において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を呼び出す。ステップＳ６０８において、視点・光源情報取得部３０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する。ステップＳ６０９において、レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。

図６２は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。

図５９に示されている領域分割部３０３、光源情報推定部３０４、形状情報取得部３０５、パラメータ推定部３０６およびレンダリング部３０９は、図６１のＣＰＵ２０４がプログラムを実行することによって実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現してもかまわない。

図５９の視点・光源情報取得部３０８は図６１のユーザインターフェイス部２１２によって実行される。メモリ２０３は画像撮像部３０２によって撮像された偏光画像と、領域分割部３０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部３０５によって取得された形状情報、パラメータ推定部３０６によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。

以下、それぞれの処理について説明する。

まず、図５９のパラメータ推定装置３００について説明する。

画像撮像部３０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、被写体を撮像する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報取得部１０４によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け平均値Ｉｍａｘ＋２・Ｉｍｉｎであっても構わない。特に、重み付け平均値であるＩｍａｘ＋２・Ｉｍｉｎは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この重み付け平均値を利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。

図５９の領域分割部３０３は、前述の領域分割方法により、画像撮像部３０２によって撮像された画像を、拡散反射領域と鏡面反射領域とに分割する。

光源情報推定部３０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部３０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之、横矢直和、"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"、電子情報通信学会技術研究報告、パターン認識・メディア理解、ＰＲＭＵ２００２-１９０，ｐｐ． ７-１２，２００３」）。この処理について詳述する。

光源情報推定部３０４の処理は、図６３に示した鏡面とみなせる球４０１を利用して行う。鏡面球４０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球４０１を画像撮像部３０２によって撮像する。このとき、鏡面球４０１には、撮像環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度値が高いことを考慮すると、撮像された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、光源の色情報や放射輝度などの光源照度情報も取得できる。

光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても構わない。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。

このような鏡面球を常に撮像するのではなく、以前に撮像して求めた光源情報を使うようにしても構わない。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮像し、光源情報を取得するようにすればよい。

光源情報推定部３０４は、鏡面とみなせる球４０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても構わない。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度値の高い画素を選択する。後述するように、形状情報取得部３０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度値の高い画素の法線方向は既知である。ここで、最も輝度値の高い画素は、正反射方向の光源が映りこんでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。

また、撮像装置６０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても構わない。入射照度情報の利用方法については後述する。

形状情報取得部３０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔、池内克史、"偏光レイトレーシング法による透明物体の表面形状の推定手法"、電子情報通信学会論文誌、ｖｏｌ． Ｊ８８-Ｄ-ＩＩ， Ｎｏ．８，ｐｐ． １４３２-１４３９，２００５」）を用いてもかまわない。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ． Ｈａｙａｋａｗａ, ”Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｕｎｄｅｒ ａ ｌｉｇｈｔ ｓｏｕｒｃｅ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｍｏｔｉｏｎ”, Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ, ｖｏｌ．１１, ｐｐ．３０７９-８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度

ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分割した拡散反射領域のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。

光源方向が異なる拡散反射画像を以下のように輝度行列Ｉ_dで表現する。

ただし、ｉ_df(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度値を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度値は以下のように表現できる。

ただし、ρ_dpは画素ｐの反射率（アルベド）、ｎ_pは画素ｐの法線方向ベクトル、ｔ_fは光源ｆの入射照度、Ｌ_fは光源ｆの方向ベクトルを示している。

式１５、式１６より以下の式が導かれる。

ただし、

ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。

特異値分解を利用すると、式１７は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ−３）行列、Σ’は３×３行列、Σ”は(Ｆ−３）×(Ｆ−３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ−３）×Ｆ行列である。ここで、Ｕ”、 Ｖ”は信号成分であるＵ’、 Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式１９は以下のように変形できる。

すなわち、式２０を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１〜ｋ６の反射率が等しいとすると、

式１８、式２１および式２３より、

さらに、

とおくと、式２４は以下のようになる。

ここで、式２５より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式２６は解くことができる。

また、行列Ｂが既知となれば、式２５に特異値分解を利用することにより、行列Ａは解くことができる。さらに、式２１および式２２より、形状情報と光源情報を取得する。

以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

以上の処理により、形状情報取得部３０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。

以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度

次に、パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。

パラメータ推定部３０６は、領域分割部３０３によって分割された拡散反射領域を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。

この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。

ここで、Ｉは撮像装置が撮像した被写体の輝度値、Ｉ_aは環境光成分、Ｉ_dは拡散反射成分、Ｉ_sは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。

式１６より、拡散反射成分では、以下の関係が成り立つ。

ただし、θ_iは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部３０４および形状情報取得部３０５により、角度θ_iは既知である。また、後述するように、光源の入射照度ｔ_fも推定可能なため、被写体のアルベドρ_dpは式２８から求められる。

被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても構わない。

次に、鏡面反射成分の反射パラメータ推定について説明する。パラメータ推定部３０６は、形状情報取得部３０５によって取得された被写体の法線情報、領域分割部３０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ−Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

ここで、Ｅ_iは入射照度、ρ_s,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図６４参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_jは入射光の放射輝度である。また、ｋ_sは鏡面反射成分の係数である。

さらに、式１６のＬａｍｂｅｒｔｉａｎモデルを利用すると、式２７は以下のように展開される。

ただし、

ここで、ρ_dは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_dは以下の関係式を満たす係数である。

Ｓｒは拡散反射成分と鏡面反射成分の輝度値の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図６５はこの定数Ｓｒを説明するための模式図である。図６５において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置６０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_rは、式４０で表される。

以上のことから、パラメータ推定部３０６は、式２９〜式４０より、鏡面反射成分の反射パラメータを推定する。

以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉ_a
○拡散反射成分Ｉ_d
○鏡面反射成分Ｉ_s
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置６０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置６０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅ_i
○鏡面反射成分の係数ｋ_s
○被写体表面の粗さｍ
○被写体の屈折率ηλ

ここで、拡散反射成分の係数ｋ_d、および拡散反射成分の反射率（アルベド）ρ_dも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行なわない。

図６６はパラメータ推定部３０６の処理の流れを示す図である。処理は、以下の２段階からなる。

まず、光源情報を使用して、入射照度Ｅ_iを求める（ステップＳ７０１）。ここでは、光源情報推定部３０４によって取得した光源の位置情報、形状情報取得部３０５で求めた撮像装置と被写体との距離情報、さらには光源情報取得部３０４で求めた光源照度を用いる。これは、次式から求まる。

撮像装置６０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉ_iは照度計２１１によって測定された光源６０２の入射照度、Ｒ₁は撮像装置６０１と光源６０２との距離、Ｒ₂は光源６０２と観察点Ｏとの距離、θ₁は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ₂は撮像装置６０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図６７参照）。ここで、被写体の大きさが、光源６０２と観察点Ｏとの距離Ｒ₂に比べ十分に小さいと考えられる場合、距離Ｒ₂は被写体上の全ての観察点Ｏで等しくなる。そのため、式４２において、（Ｒ₁／Ｒ₂）は定数となり、実際に計測する必要はなくなる。またθ₁は既知である。これは、形状情報取得部によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部３０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ₂は、光源情報推定部３０４によって光源の位置が推定されている場合、既知である。そのため、式４２の右辺はすべて既知となる。

次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋ_sを推定する（ステップＳ７０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登、“色再現光学の基礎”、ｐｐ．９０-９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘ_iで表し、新しいベクトルを次のように定める。

ただし、

は、それぞれ関数ｆ(ｘ_i）を最大、最小にするｘ_iを示している。

さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋ_s、評価関数として式４８で表される、式２９から算出される鏡面反射成分画像と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩ_sを利用した。

ただし、ｉ_s(i,j)’, ｉ_s(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉ_s’と領域分割部３０３で求められた鏡面反射成分画像Ｉ_sの画素(ｉ,ｊ）の輝度値、Ｍ_s(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

この処理について詳しく説明する。図６８はこの処理の流れを説明するためのフローチャートである。

まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ７１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋ_s’の初期値を決定する（ステップＳ７１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

次に、こうして求めた候補パラメータを式２９へ代入し、鏡面反射画像の推定値Ｉ_s’を求める（ステップＳ７１３）。さらに、計算された鏡面反射画像の推定値Ｉ_s’と領域分割部３０３で求められた鏡面反射成分画像との差ΔＩ_sを式４８より求め、これをシンプレックス法の評価関数とする（ステップＳ７１４）。こうして求めたΔＩ_sが十分小さい場合（ステップＳ７１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋ_sとして候補パラメータｍ’、ηλ’、ｋ_s’を選択し、処理を終了する。一方、ΔＩ_sが大きい場合（ステップＳ７１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ７１６）、カウンターｋの大きさを判断する（ステップＳ７１７）。カウンターｋが十分に大きい場合（ステップＳ７１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ７２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ７２２）。ここで、ｎが閾値より大きい場合（ステップＳ７２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ７２２でＹｅｓ）、再度、初期値を式４９の範囲内で乱数から選択しなおし（ステップＳ７１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。
一方、ステップＳ７１７において、カウンターｋが閾値以下の場合（ステップＳ７１７でＹｅｓ）、候補パラメータを式４５〜式４７を利用して変更する（ステップＳ７１８）。この処理については後述する。

次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ７１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５〜１．７、ガラスであれば１．５〜１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５〜１．７とすればよい。

変形したパラメータが式５０を満たす場合（ステップＳ７１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ７２０）、更新処理を繰り返す（ステップＳ７１３）。一方、変形したパラメータが式５０を満たさない場合（ステップＳ７１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ７２１）。

ここで、ステップＳ７１８の変形処理について詳述する。図６９はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋ_s’をベクトル表現し、これをパラメータｘとする。すなわち、

まず、式４３、式４４および式４５を利用して、鏡像操作を行ったパラメータｘ_rを計算し、式４８によってｘ_rでの鏡面反射成分画像との差ΔＩ_s(ｘ_r）を計算する（ステップＳ７３１）。次に、こうして求められたΔＩ_s(ｘ_r）と、２番目に評価関数が悪かったΔＩ_s(ｘ_s）を比較する（ステップＳ７３２）。ここでΔＩ_s(ｘ_r）がΔＩ_s(ｘ_s）より小さかった場合（ステップＳ７３２でＹｅｓ）、鏡像操作を行った評価値ΔＩ_s(ｘ_r）と現在、最も評価値のよいΔＩ_s(ｘ_l）を比較する（ステップＳ７３３）。ここで、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_l）以上であった場合（ステップＳ７３３でＮｏ）、最も評価値の低かったｘ_hをｘ_rへ変更し（ステップＳ７３４）、処理を終了する。

一方、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_l）より小さかった場合（ステップＳ７３３でＹｅｓ）、式４６を利用して拡張処理を行ない、パラメータｘ_eと、ｘ_eでの鏡面反射成分画像との差ΔＩ_s(ｘ_e）を計算する（ステップＳ７３５）。次に、こうして求められたΔＩ_s(ｘ_e）と、鏡像操作によるΔＩ_s(ｘ_r）を比較する（ステップＳ７３６）。ここでΔＩ_s(ｘ_e）がΔＩ_s(ｘ_r）より小さかった場合（ステップＳ７３６でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_eへ変更し（ステップＳ７３７）、処理を終了する。

一方、ΔＩ_s(ｘ_e）がΔＩ_s(ｘ_r） 以上であった場合（ステップＳ７３６でＮｏ）、最も評価値の悪かったｘ_hをｘ_rへ変更し（ステップＳ７３４）、処理を終了する。

また、ステップＳ７３２において、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_s）より大きかった場合（ステップＳ７３２でＮｏ）、鏡像操作を行った評価値ΔＩ_s(ｘ_r）と現在、最も評価値の悪いΔＩ_s(ｘ_h）を比較する（ステップＳ７３８）。ここでΔＩ_s(ｘ_r）がΔＩ_s(ｘ_h）より小さかった場合（ステップＳ７３８でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_rへ変更し（ステップＳ７３９）、式４６を利用して、収縮操作を行ったパラメータｘ_cと、ｘ_cでの鏡面反射成分画像との差ΔＩ_s(ｘ_c）を計算する（ステップＳ７４０）。一方、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_h）以上であった場合（ステップＳ７３８でＮｏ）、ｘ_hを変更することなく、収縮操作を行ったパラメータｘ_cと、ｘ_cでの鏡面反射成分画像との差ΔＩ_s(ｘ_c）を計算する（ステップＳ７４０）。

次に、こうして求められたΔＩ_s(ｘ_c）と、最も評価値の悪いΔＩ_s(ｘ_h）を比較する（ステップＳ７４１）。ここでΔＩ_s(ｘ_c）がΔＩ_s(ｘ_h）より小さかった場合（ステップＳ７４１でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_cへ変更し（ステップＳ７４２）、処理を終了する。

一方、ΔＩ_s(ｘ_c）がΔＩ_s(ｘ_h） 以上であった場合（ステップＳ７４１でＮｏ）、すべての候補パラメータｘ_i(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。

以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋ_sを推定する。

以上の処理により、すべての未知パラメータを推定することができる。

図７０は、図７５（ａ）の領域Ｃに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度値Ｉｓをグラフ化したものである。この図において、白色○は領域Ｃに関して観測された輝度値Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。

なお、前述したように、図７５（ｂ）は、従来の領域分割手法を利用したグラフである。図７６は、従来の領域分割手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。

これらの図より、従来の領域分割手法では、鏡面反射成分と拡散反射成分の分離精度が低いため、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、図７６に示すように実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における領域分割手法では、このような問題が生じていない。

パラメータ推定に用いるモデルは、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ-Ｓｐａｒｒｏｗモデル（例えば、「Ｋ． Ｉｋｅｕｃｈｉ ａｎｄ Ｋ． Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”, ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ．１３, ｎｏ．１１, ｐｐ．１１３９-１１５３, １９９１」）であっても構わない。

パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても構わない。

以上の処理は、画素毎に行ってもかまわないし、領域分割を行ない、領域ごとに等しいパラメータ組を推定するようにしてもかまわない。画素毎に処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように領域分割を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

パラメータＤＢ３０７は、パラメータ推定部３０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部３０５で取得した形状情報をモデルパラメータとして保持する。図７１は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。

以上の処理により、パラメータ推定装置３００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ３０７へ保持する。

次に、画像合成装置３０１について説明する。

視点・光源情報取得部３０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、前記光源情報推定部３０４を利用して光源情報を推定するようにしても構わない。

レンダリング部３０９は、前記パラメータＤＢ３０７に保持されているモデルパラメータ情報を利用して、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。レンダリング部３０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。

まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部３０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部３０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。

次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部３０６で推定）および形状情報（形状情報取得部３０５で取得）に、視点・光源情報取得部３０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式２９〜式３７に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。

こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部３０８において取得した環境光成分情報を合成することにより、レンダリング部３０９は、前記視点・光源情報取得部３０８で取得された視点や光源情報に則した画像を合成する。

以上のように、本発明の領域分割方法を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。

本発明に係る画像処理によれば、光源状態の依存度と偏光情報という二つの情報を利用することにより、鏡面反射領域と拡散反射領域をより正確に分割することが可能である。そのため、スナップショットを撮像するように撮像された画像から領域分割処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。

１０１ 投光部
１０２ 投光制御部
１０３ 偏光画像撮像部
１０４ 偏光情報取得部
１０５ 光源依存度推定部
１０６ 領域分割部
１０７ 撮像判定部
１０８ 投光装置
１０９ 領域分割装置
１１０ 通信部
１１１ 通信部
１１２ 投光位置変化部
１２０ 制御部
１２１ 投光ユニット
１２２ 偏光情報取得部

Claims (18)

1. 被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理装置であって、
   偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することにより、被写体の偏光画像を取得する偏光画像撮像部を有し、
   前記被写体の表面における偏光状態と、光源から放射される光の偏光状態および光源位置の少なくとも一方を変化させた場合の前記被写体の表面における偏光状態の変化の程度を示す光源依存度とに基づいて領域分割を行う画像処理装置。
2. 前記光源を備え、前記光源から放射された光の偏光状態および光源位置の少なくとも一方を変化させることができる投光ユニットと、
   前記投光ユニットによる前記光源から放射された光の偏光状態および光源位置の少なくとも一方の変化と、前記偏光画像撮像部による撮像との同期処理を行う制御部と、
   を有する請求項１に記載の画像処理装置。
3. 前記光源から放射される光の偏光状態を変化させる投光制御部と、
   取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
   前記投光制御部によって前記光源から放射された光の偏光状態が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
   前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
   を有する請求項２に記載の画像処理装置。
4. 前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、および偏光最小輝度値の少なくとも１つを生成する請求項３に記載の画像処理装置。
5. 前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の領域分割装置。
6. 前記領域分割部は、前記被写体の表面が拡散反射非偏光領域、拡散反射偏光領域および鏡面反射偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
7. 前記領域分割部は、前記被写体の表面が光源依存偏光領域、光源依存非偏光領域、光源非依存偏光領域および光源非依存非偏光領域のいずれかに分割されることとなるように、前記領域分割を行う請求項４に記載の画像処理装置。
8. 前記光源の位置を変化させる投光位置変化部と、
   取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
   前記投光制御部によって前記光源の位置が変化した際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
   前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報に基づいて領域分割を行う領域分割部と、
   を有する請求項２に記載の画像処理装置。
9. 光源位置の異なる、複数の投光部を有し、
   前記投光位置変化部は、前記複数の投光部を切り替えることで、投光部の位置を変化させる請求項８に記載の画像処理装置。
10. 前記投光位置変化部は、投光部を移動させることで光源位置を変化させる請求項８に記載の画像処理装置。
11. 前記領域分割部は、前記被写体の表面が拡散反射領域および鏡面反射領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
12. 前記領域分割部は、前記被写体の表面が鏡面反射領域、拡散反射領域および陰影領域のいずれかに分割されることとなるように、前記領域分割を行う請求項８に記載の画像処理装置。
13. 投光装置と領域分割装置を有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
    前記投光装置は、
    直線偏光光を前記被写体に投光する投光部と、
    前記投光部の直線偏光光の偏光状態を変化させる投光制御部を有し、
    前記領域分割装置は、
    偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、前記被写体の偏光画像を取得する偏光画像撮像部と、
    前記偏光画像撮像部によって過去に撮像された偏光画像と現在撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
    取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
    前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
    前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
14. 投光装置と領域分割装置とを有し、被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う画像処理システムであって、
    前記投光装置は、
    直線偏光光を前記被写体に投光する投光部と、
    前記投光部の直線偏光光の偏光状態を変化させる投光制御部と、
    投光を知らせる信号を前記領域分割装置へ送信し、撮像完了を知らせる信号を前記領域分割装置から受信する通信部とを有し、
    前記領域分割装置は、
    投光を知らせる信号を前記投光装置から受信し、撮像完了を知らせる信号を前記投光装置へ送信する通信部と、
    偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像部と、
    前記偏光画像撮像部によって過去に撮像された偏光画像と現在、撮像された偏光画像とを比較し、撮像した偏光状態が十分に変化しているかどうかを判断する撮像判定部と、
    取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得部と、
    前記投光制御部によって前記投光部の偏光状態が変化したと、前記撮像判定部により判定された際の、前記偏光情報取得部で生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定部と、
    前記偏光情報取得部によって生成された偏光情報と前記光源依存度推定部によって推定された光源変動情報を利用して、領域分割を行う領域分割部とを有する画像処理システム。
15. 被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割方法であって、
    直線偏光光を前記被写体に投光する投光ステップと、
    前記投光部の直線偏光光の偏光状態を変化させる投光制御ステップと、
    偏光主軸角度が異なる３方向以上の偏光子を透過してくる光を受光することで、被写体の偏光画像を取得する偏光画像撮像ステップと、
    取得された前記偏光画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する偏光情報を生成する偏光情報取得ステップと、
    前記投光制御ステップと前記偏光画像撮像ステップの同期処理を行う制御ステップと、
    前記投光制御ステップによって前記投光ステップの偏光状態が変化した際の、前記偏光情報取得ステップで生成された偏光情報を比較することで、光源依存度情報を推定する光源依存度推定ステップと、
    前記偏光情報取得ステップによって生成された偏光情報と前記光源依存度推定ステップによって推定された光源変動情報を利用して、領域分割を行う領域分割ステップと、
    を含む領域分割方法。
16. 被写体を撮像することによって前記被写体の表面に対する光学的な領域分割を行う領域分割装置のためのプログラムであって、
    請求項１５に記載の領域分割方法に含まれるステップをコンピュータに実行させるプログラム。
17. パラメータ推定装置と画像合成装置とを有し、反射モデルを利用して画像を合成するモデルベース画像合成装置であって、
    前記パラメータ推定装置は、
    被写体を撮像する画像撮像部と、
    請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割部と、
    被写体に照射する光源に関する光源情報を推定する光源情報推定部と、
    被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
    撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
    前記パラメータ推定部において推定された反射パラメータを保持するパラメータデータベースとを有し、
    前記画像合成装置は、
    合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
    前記パラメータデータベースに保持されている反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部を有するモデルベース画像合成装置。
18. パラメータ推定ステップと画像合成方法ステップとを含み、反射モデルを利用して画像を合成するモデルベース画像合成方法であって、
    前記パラメータ推定ステップは、
    被写体を撮像する画像撮像ステップと、
    請求項１５に記載の領域分割方法によって、前記画像撮像部によって撮像された画像に対する光学的な領域分割を行う領域分割ステップと、
    被写体に照射する光源に関する光源情報を推定する光源情報推定ステップと、
    被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
    撮像された被写体から、前記領域分割部で分割された領域ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定ステップとを含み、
    画像合成ステップは、
    合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
    前記形状情報取得ステップによって推定された反射パラメータ情報を利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリングステップと、
    を含むモデルベース画像合成方法。

Images