WO2010004677A1

WO2010004677A1 - 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置

Info

Publication number: WO2010004677A1
Application number: PCT/JP2009/002165
Authority: WO
Inventors: 佐藤智; 金森克洋
Original assignee: パナソニック株式会社
Priority date: 2008-07-08
Filing date: 2009-05-15
Publication date: 2010-01-14
Also published as: JPWO2010004677A1; CN101960859B; US20100303344A1; CN101960859A; JP4469021B2; US8025408B2

Abstract

　被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置である。光源から発せられた光を被写体に投光する投光部１０１と、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と偏光主軸の方向との対応関係に基づいてカラー偏光情報を生成する偏光情報処理部１０４と、光源の色情報を取得する光源色情報取得部１０５と、偏光情報と光源の色情報に基づいてカラー画像の成分分離を行う画像成分分離部１０６とを備える。

Description

画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置

　本発明は、画像処理技術に関し、特に被写体の形状情報取得や画像合成の際に必要な画像分割の精度を向上するための技術に関する。

　物体の「見え」は、被写体の表面で反射した入射光が「てかり」として観測される鏡面反射成分や、物体の内部でスキャッタリングを繰り返すことによって観測される拡散反射成分など、複数の成分によって構成されていることが知られている。つまり、通常、われわれが観測している被写体の像は、被写体から複数の異なる過程によって目まで届いている種々の光成分の総和によって形成される。このような成分は、例えば「鏡面反射成分」や「拡散反射成分」である。被写体の画像を構成する各画素について、輝度を例えば「鏡面反射成分」および「拡散反射成分」に分離することができる。この場合、鏡面反射成分が支配的な画素は「鏡面反射領域」を構成する画素として取り扱われ、拡散反射成分が支配的な画素は「拡散反射領域」を構成する画素として取り扱われる。

　近年、デジタルアーカイブを目的とした情報圧縮や被写体の形状・表面材質を取得するために、画像をこのような各成分に分離する画像の成分分離手法（画像分離手法）が広く行われている（例えば、非特許文献１、非特許文献２、非特許文献３）。これは、分離した成分ごとに処理を行うことで、より高精度な処理が可能なためである。例えば、被写体の表面での反射による影響を調べたい場合、被写体内部から透過している光と、被写体表面で反射している光を分離することは、非常に重要である。画像において、画素ごとに、各成分の割合を推定し、分離する技術が画像の成分分離手法（画像分離手法）である。

　こうした画像分離を利用した技術として、特に、分離した画像を個別のモデルで表現するモデルベース画像処理という技術が広く知られている。

　モデルベースの画像合成とは、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）の分野で広く利用されている技術である。これは、物体の見えを、視点位置や光源位置、および被写体の法線方向の関数としてモデル化することにより、撮影時とは異なる視点位置の画像（視点変換画像）や、撮影時とは異なる光源位置の画像（光源環境変化画像）などを得るための多様な画像処理が可能である。また、モデルパラメータのみで画像を表現できるため、効率的なデータ圧縮も可能である。その一例として、画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射成分はＣｏｏｋ－Ｔｏｒｒａｎｃｅモデル、拡散反射成分はＬａｍｂｅｒｔｉａｎモデルで画像をモデル化する手法が知られている。

　このように画像を鏡面反射成分と拡散反射成分に分離する手法として、さまざまな手法が知られている。特に偏光情報を利用した手法や色情報を利用した手法は、簡単な装置で鏡面反射と拡散反射を分離可能なため、広く研究されている。

　偏光情報を利用した分離手法では、直線偏光した光を被写体に投光し、カメラと被写体との間に設置した偏光フィルタを光軸に垂直な面内で回転させることにより、被写体で反射された光を鏡面反射成分と拡散反射成分とに分離する（例えば、特許文献１）。

　直線偏光フィルタの回転角度（偏光主軸角度：偏光主軸方向を規定する角度）をΦとすると、観測される各画素での輝度は、回転角度Φに対してｓｉｎ関数状に変化することが知られている。このｓｉｎ関数の振幅成分を「鏡面反射成分」、バイアス成分を「拡散反射成分」とすることで、画像の分離を行うことができる。すなわち、画像を構成する複数の画素の各々について、鏡面反射成分および拡散反射成分を定量的に求めることができる。

　しかし、この手法は、後述するように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題がある。そのため、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できない。

　一方、色情報を利用した手法は、２色性反射モデルとして広く知られている（例えば、非特許文献４）。これは、鏡面反射成分の色ベクトルは光源色ベクトルとして観測される一方、拡散反射成分の色ベクトルは物体色ベクトルとなることを利用して、鏡面反射成分と拡散反射成分を分離するものである。一般に、光源色ベクトルは白色であることや、別の手法で観測が可能であるため、既知である。しかし、この手法は、被写体の物体色ベクトルが既知でない限り、鏡面反射成分と拡散反射成分を一意に分離することはできない。そのため、正確な鏡面反射成分と拡散反射成分の分離に利用することはできなかった。

　このような鏡面反射成分と拡散反射成分の分離精度の不十分さは、デジタルアーカイブや拡張現実の分野で用いられているモデルベースの画像合成を行う際に、大きな問題となることが知られている。

特開平１１－４１５１４号公報

Ｙ. Ｓａｔｏ, Ｍ. Ｄ. Ｗｈｅｅｌｅｒ, ａｎｄＫ. Ｉｋｅｕｃｈｉ, "Ｏｂｊｅｃｔｓｈａｐｅａｎｄｒｅｆｌｅｃｔａｎｃｅｍｏｄｅｌｉｎｇｆｒｏｍｏｂｓｅｒｖａｔｉｏｎ", ＳＩＧＧＲＡＰＨ９７, ｐｐ.３７９－３８７, １９９７宮崎大輔，柴田卓司，池内克史，"Ｗａｖｅｌｅｔ－Ｔｅｘｔｕｒｅ法：Ｄａｕｂｅｃｈｉｅｓウェーブレットとパラメトリック反射モデルと円偏光板によるＢＴＦ圧縮，電子情報通信学会論文誌，Ｖｏｌ.Ｊ９０－ＤＮｏ.８，ｐｐ.２０８１－２０９３，２００７Ｔ.Ｓｈｉｂａｔａ, Ｔ.Ｔａｋａｈａｓｈｉ, Ｄ.Ｍｉｙａｚａｋｉ, Ｙ.Ｓａｔｏ, Ｋ.Ｉｋｅｕｃｈｉ, "ＣｒｅａｔｉｎｇＰｈｏｔｏｒｅａｌｉｓｔｉｃＶｉｒｔｕａｌＭｏｄｅｌｗｉｔｈＰｏｌａｒｉｚａｔｉｏｎＢａｓｅｄＶｉｓｉｏｎＳｙｓｔｅｍ", ｉｎＰｒｏｃｅｅｄｉｎｇｓｏｆＳＰＩＥ (ＰｏｌａｒｉｚａｔｉｏｎＳｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＩＩ, ＰａｒｔｏｆＳＰＩＥ’ｓＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＯｐｔｉｃｓａｎｄＰｈｏｔｏｎｉｃｓ２００５）, Ｖｏｌ.５８８８, ｐｐ.２５－３５, ２００５Ｓ. Ｋ. Ｎａｙａｒ, Ｘ. Ｓ. Ｆａｎｇ, ａｎｄＴ. Ｂｏｕｌｔ, "ＳｅｐａｒａｔｉｏｎｏｆＲｅｆｌｅｃｔｉｏｎＣｏｍｐｏｎｅｎｔｓＵｓｉｎｇＣｏｌｏｒａｎｄＰｏｌａｒｉｚａｔｉｏｎ", ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ, Ｖｏｌ.２１, Ｉｓｓ.３, ｐｐ.１６３－１８６, １９９７

　例えば、特許文献１に記載の偏光情報を用いた手法では、本来、鏡面反射成分が観測されるはずのない遮蔽エッジ近傍に鏡面反射成分が観測されるという課題があった。また、非特許文献４に記載の色情報を用いた手法では、そもそも物体色ベクトルが未知であるため、後述するように、２色性反射モデルから鏡面反射成分と拡散反射成分を一意に分離することはできなかった。

　このような問題は、近年のカメラの高ダイナミックレンジ化により、今後、さらに重要性を増してゆく。従来のカメラでは輝度のダイナミックレンジが十分に広くないため、拡散反射の偏光度が観測されることは少なかった。しかし、近年、カメラの高ダイナミックレンジ化が進んでいるため、前述のような分離精度の劣化が生じている。

　本発明は、上記課題を解決するためになされたものであり、拡散反射成分の偏光成分が存在することをも考慮に入れ、光源の色情報を利用することより精度の高い成分分離を実行する画像処理技術を提供することを目的とする。

　本発明の画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、光源から発せられた直線偏光光を前記被写体に投光する投光部と、前記被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部とを備える。

　好ましい実施形態において、前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、前記画像成分分離部は、前記カラー画像の成分分離を行う。

　好ましい実施形態において、前記カラー偏光取得部は、偏光主軸の方向が異なる３方向以上の偏光子と、前記偏光子に対向する位置に配置されたカラーフィルタと、前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子とを備える。

　好ましい実施形態において、前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する。

　好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する。

　好ましい実施形態において、前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する。

　好ましい実施形態において、前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する。

　好ましい実施形態において、前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。

　好ましい実施形態において、前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。

　好ましい実施形態において、前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する。

　好ましい実施形態において、前記カラー偏光取得部は、前記投光部と同期処理を行う。

　好ましい実施形態において、投光部は、カラー偏光取得部から離して配置することを特徴とする。

　本発明の画像処理システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、前記画像処理装置は、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。

　本発明の画像分離システムは、投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、前記投光装置は、光源から発せられた直線偏光光を前記被写体に投光する投光部と、投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、前記画像処理装置は、前記投光を知らせる信号を前記投光装置から受信する通信部と、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、光源の色情報を取得する光源色情報取得部と、前記光源の色情報を取得する光源色情報取得部と、前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部とを有する。

　好ましい実施形態において、前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する。

　本発明の画像処理方法は、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、光源の色情報を取得する光源色情報取得ステップと、前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む。

　本発明のプログラムは、被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、上記の画像処理方法に含まれるステップをコンピュータに実行させる。

　本発明のモデルベース画像合成装置は、パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、前記パラメータ推定装置は、被写体を撮像する画像撮像部と、上記の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、前記画像合成装置は、合成する画像の視点や光源情報を取得する視点・光源情報取得部と、前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部とを有する。

　本発明のモデルベース画像合成方法は、パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、前記パラメータ推定ステップは、被写体を撮像する画像撮像ステップと、請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を画像分離ステップと、光源の情報を推定する光源情報推定ステップと、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップとを含み、前記画像合成ステップは、合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップとを含む。

　本発明の画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、各画素について鏡面反射成分と拡散反射成分を正確に分離して求めることが可能である。また、偏光情報と色情報という二つの情報を利用した画像の成分分離をモデルベースの画像合成手法のパラメータ推定に利用することにより、被写体に忠実な、画像を合成することが可能である。

本発明の第１の実施形態に係る画像処理装置におけるブロック図である。本発明の第１の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。本発明の第１の実施形態に係る画像処理装置が搭載されたカメラの構成例である。本発明の第１の実施形態に係るカラー偏光取得部、カラー情報処理部および偏光情報処理部Ｚの構成を示すブロック図である。本発明のカラー偏光取得部の基本的な構成を示す模式図である。本発明におけるカラー偏光取得部における画素配列の例を示す模式図である。本発明におけるカラー偏光取得部における画素配列の他の例を示す模式図である。本発明におけるＢ、Ｇ、Ｒ偏光画素の波長特性を模式的に示す模式図である。Ｇのカラーフィルタの透過域と、偏光特性によって定まる偏光分離域との間で波長がずれている場合を示す模式図である。本発明における、方向が異なる偏光主軸を有する４種類の偏光子を透過した光の輝度を説明するための模式図である。本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す図である。本発明の第１の実施形態に係る画像分離方法によって画像成分分離が行なわれた結果を示す模式図である。図１１の画像を輝度の高低に応じて複数の領域に分けた図である。本発明におけるカラー情報処理部１０３および偏光情報処理部１０４の処理の流れを示すフローチャートである。鏡面球を利用した光源推定方法を説明するための模式図である。被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における鏡面反射成分の入射角に対する偏光度を示したグラフである。被写体の屈折率ｎ＝１．１，ｎ＝１．３，ｎ＝１．５，ｎ＝２．０の場合における拡散反射成分の出射角に対する偏光度を示したグラフである。特定画素における色ベクトルＩ（ｘ，ｙ）の数値例を示す図である。本発明の第１の本実施形態に係る画像成分分離部における成分分離基準を示した図である。本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。本発明の第１の本実施形態に係る画像成分分離部における別の成分分離基準を示した図である。本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。本発明の第１の実施形態に係る画像処理装置における別のブロック図である。本発明の第１の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。本実施形態に係る画像処理装置が搭載されたカメラの構成例である。本発明の第２の実施形態に係る画像処理装置におけるブロック図である。本発明の第２の実施形態に係る画像分離方法の処理の流れを示すフローチャートである。本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの構成例を示す図である。本発明の第２の実施形態に係る画像処理装置における別のブロック図である。本発明の第２の実施形態に係る画像分離方法の処理の流れを示す別のフローチャートである。本発明の第２の実施形態に係る画像処理装置が搭載されたカメラの別の構成例である。本発明に係る画像合成装置の構成例を示すブロック図である。本発明に係る画像合成方法におけるパラメータ推定方法の処理の流れの例を示すフローチャートである。本発明に係る画像合成方法における画像合成推定方法の処理の流れの例を示すフローチャートである。本発明の画像合成装置が搭載されたカメラの構成例を示す図である。法線方向ベクトル、視線ベクトル、光源方向ベクトルの関係を説明するための模式図である。拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数Ｓｒを説明するための模式図である。本発明の一実施形態に係る画像合成処理における鏡面反射画像のパラメータ推定処理の流れを示す図である。入射照度を表す式の各パラメータを説明するための概念図である。シンプレックス法によるパラメータ推定処理の流れを示すフローチャートである。シンプレックス法におけるパラメータ更新処理の流れを示したフローチャートである。（ａ）は、本発明の第１の実施形態に係る画像処理装置を利用して求めた鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を示すグラフであり、（ｂ）は、被写体の画像を示す図である。従来手法の問題点を説明するために、従来の画像処理装置を利用して鏡面反射成分の輝度Ｉｓと中間ベクトルβの関係を求めた模式図である。従来の偏光情報を利用した画像分離手法を利用して作成した合成画像である。本発明の一実施形態に係る画像合成処理におけるパラメータＤＢに保持されているモデルパラメータを示す模式図である。

　以下、図面を参照しながら本発明の実施形態を説明する。

（第１の実施形態）
　まず、本発明の第１の実施形態における画像処理装置の概要について説明する。

図１は、本実施形態に係る画像処理装置におけるブロック図を示している。この画像処理装置は、被写体を撮像することによって前記被写体の画像の成分分離を行う装置であり、直線偏光光を前記被写体に投光する投光部１０１と、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像からカラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６と、画像分離部１０６で生成された信号を出力する出力部とを備える。

　本明細書において、「偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光によって形成される画像である。複数の偏光主軸角度の各々について、異なる「偏光画像」を得ることが可能である。また、「カラー偏光画像」とは、特定の偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光のうち、主波長が異なる複数の色の光によって形成される画像である。ある偏光主軸角度を有する偏光フィルタ（偏光子）を透過してきた光に基づいて、典型的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラー偏光画像が得られる。カラー偏光画像が得られると、単位画素ごとにＲ、Ｇ、Ｂの輝度からなる色ベクトルが定まる。同様に、偏光フィルタを透過しない光によって形成されるカラー画像が得られると、そのカラー画像の色ベクトルも定まる。本明細書における「成分分離」とは、１つの色ベクトルを複数の色ベクトル（成分）の和として表することに対応する。

　次に、本実施形態における画像処理の動作を説明する。図２は本実施形態に係る画像処理の動作を示すフローチャートである。図２のステップＳ１０１において、投光部１０１は、偏光光を被写体へ投光する。ステップＳ１０２において、カラー偏光取得部１０２は、パターン化偏光子およびカラーフィルタを通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー偏光画像を取得する。パターン化偏光子は、後述するように３方向以上の偏光主軸角度（偏光透過軸の回転角度）をもつ。

　ステップＳ１０３において、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を取得する。偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、後述する偏光最小カラー成分Ｉ_minと偏光振幅カラー成分Ｉ_ampとを生成する（ステップＳ１０４）。また、光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩ_Lightを取得する（ステップＳ１０５）。ステップＳ１０３、ステップＳ１０４、ステップＳ１０５の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。

　ステップＳ１０６において、画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光振幅カラー成分Ｉ_ampを、偏光振幅光源色ベクトル成分Ｉ_amp1と偏光振幅偏光最小カラーベクトル成分Ｉ_amp2へ分離する。さらに、ステップＳ１０７において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光振幅偏光最小カラー成分Ｉ_minを拡散反射非偏光成分として、偏光振幅偏光最小カラーベクトル成分Ｉ_amp2を拡散反射偏光成分として、偏光振幅光源色ベクトル成分Ｉ_amp1を鏡面反射偏光成分として成分分離を行う。

　ここでは、カラー偏光取得部１０２、カラー情報処理部１０３、偏光情報処理部１０４、光源色情報取得部１０５および画像成分分離部１０６は、図３に示すＣＰＵ２０５がプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、図３に示すメモリ２０４はカラー偏光取得部１０２によって取得された情報、カラー情報処理部１０３によって取得されたカラー画像情報、偏光情報処理部１０４によって取得された偏光情報および光源色情報取得部１０５によって取得された光源色ベクトル情報を格納する。

　次に、図３を参照しながら、本実施形態に係る画像処理装置が搭載されたカメラの構成と動作を説明する。図３は、このようなカメラの構成例を示すブロック図である。図３のカメラは、パターン化偏光子２０１、カラー撮像装置２０８、メモリ２０４、ＣＰＵ２０５、発光装置２０６、および偏光子２０７を備えている。カラー撮像装置２０８は、カラーフィルタ２０２および撮像装置２０３を備えている。

　投光部１０１は、発光装置２０６と偏光子２０７を利用し、偏光光を被写体へ投光する。これは、例えばカメラのフラッシュを発光装置２０６として利用する場合、フラッシュの前方に偏光フィルタ（偏光子２０７）を設置することで実現できる。偏光光を利用する手段として、液晶偏光子などを利用しても良い。

　カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する。また、カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー画像情報を計算する。さらに、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報を計算する。この処理を詳述する。

　図４は、カラー偏光取得部１０２、カラー情報処理部１０３および偏光情報処理部１０４の構成を示すブロック図である。被写体からリアルタイムにカラー画像情報と偏光画像情報を取得し、偏光情報として、非偏光成分である偏光最小カラー情報を出力する。レンズ２２０および絞り２２１を通った入射光は、カラー偏光取得部１０２に入射する。この入射光から、カラー偏光取得部１０２はカラー画像情報および偏光画像情報の両方をリアルタイムに取得することができる。カラー偏光取得部１０２からは、カラー画像情報および偏光情報を示す信号が出力され、それぞれ、カラー情報処理部１０３および偏光情報処理部１０４に与えられる。カラー情報処理部１０３および偏光情報処理部１０４は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光最小カラー情報Ｉ_minを出力する。

　図５は、カラー偏光取得部１０２の基本的な構成を示す模式図である。図示されている例では、カラーフィルタ２０２およびパターン化偏光子２０１が、撮像素子画素２０３の前面に重ねて設置されている。またカラーフィルタとパターン化偏光子の設置の順番は任意である。入射光は、カラーフィルタ２０２およびパターン化偏光子２０１を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー情報および偏光情報の両方を取得することができる。

　図６（ａ）は、カラー偏光取得部１０２における撮像面の一部を光軸方向の真上から見た図である。図６（ａ）には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示されている。図示されている４つの矩形領域３０１～３０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域３０１は、Ｂ（Ｂｌｕｅ：青色）フィルタ領域であり、画素セルＢ１～Ｂ４をカバーしている。画素セルＢ１～Ｂ４には、それぞれ異なる偏光主軸を有するＢ用パターン化偏光子が密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ、Ｇ、Ｂの各同一色の画素内に配置されている。１つの偏光子単位は、１つ微細な偏光画素に対応している。図６（ａ）では、個々の偏光画素に対して、Ｇ１などの符号が与えられている。

　図６（ｂ）は、Ｂ用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図６（ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図６（ｂ）の例では、４つの微細偏光画素が、それぞれ、角度Φｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。

矩形領域３０２、３０４の画素には、それぞれ、４個のＧ（Ｇｒｅｅｎ：緑色）用パターン化偏光子が密着し、矩形領域３０３の画素には、４個のＲ（Ｒｅｄ：赤色）用パターン化偏光子が密着している。図中、参照符号「３０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域３０２～３０４のパターン化偏光子も、図６（ｂ）に示すように異なる４つの偏光主軸を有する部分に分割されている。

　図７（ａ）は、カラー偏光取得部１０２における画素配列の他の例を示す図である。この例では、４５°傾いた３×３ブロック内にＧ画素が十文字型に配置されており、Ｇ画素の周囲の４画素にＲ、Ｂが交互に配置される。図７（ｂ）は、各カラー画素の微細構造を示しており、各カラー画素は、４種類の微細偏光画素から構成されている。

　このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。

　図８（ａ）から図８（ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ（ＴｒａｎｓｖｅｒｓｅＭａｇｎｅｔｉｃＷａｖｅ）波を透過し、ＴＥ（ＴｒａｎｓｖｅｒｓｅＥｌｅｃｔｒｉｃＷａｖｅ）波を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。

　図８（ａ）には、Ｂ偏光画像の偏光特性４０２、４０３と、Ｂ用カラーフィルタの透過特性４０１とが示されている。偏光特性４０２、４０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

　図８（ｂ）には、Ｇ偏光画像の偏光特性４０５、４０６と、Ｇ用カラーフィルタの透過特性４０４とが示されている。偏光特性４０５、４０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

　図８（ｃ）には、Ｒ偏光画像の偏光特性４０８、４０９と、Ｒ用カラーフィルタの透過特性４０７とが示されている。偏光特性４０８、４０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

　図８（ａ）から図８（ｃ）に示すような特性は、例えば「川嶋，佐藤，川上，長嶋，太田，青木，“パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発”，電子情報通信学会２００６年総合全国大会，Ｎｏ.Ｄ－１１－５２，Ｐ５２，２００６」に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な電場ベクトル振動面を持つ光がＴＭ波となる。

　本実施形態で重要な点は、図８（ａ）から図８（ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。

　図９は、Ｇのカラーフィルタの透過域と、偏光特性４１０、４１１によって定まる偏光分離域との間で波長がずれている場合を示している。このような特性を示す偏光子によれば、本発明の目的とする動作を行うことはできない。

　モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。

　本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組み合わせ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図５に示すカラーフィルタ２０２およびパターン化偏光子２０１の組み合わせによって実現している。

　被写体の特に明るい鏡面反射部分に含まれる偏光成分や、被写体の影領域に含まれる偏光成分などを確実に取得するため、撮像素子の輝度ダイナミックレンジとビット数はなるべく大きいこと（例えば１６ｂｉｔ）が望ましい。

　また、カラー偏光取得部１０２は投光制御部１０１と同期処理を行うことが望ましい。これは、例えば、カメラのフラッシュなどを投光部１０１として利用する場合、投光部１０１の発光タイミングの直後にカラー偏光取得部１０２は撮像を行うようにすればよい。

　図５に示す構成によって偏光画素ごとに取得された輝度の情報は、図４の偏光情報処理部１０４で処理される。以下、この処理を説明する。

　図１０は、方向が異なる偏光主軸（Φｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度５０１～５０４を示している。ここで、偏光主軸の回転角ΦがΦｉのときにおける観測輝度をＩ（Φｉ）とする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図１０に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図１０には、４画素のサンプル（Φｉ，Ｉｉ（Φｉ））に対応する輝度５０１～５０４が示されている。

　偏光主軸の角度Φｉと輝度５０１～５０４との関係は、正弦関数カーブによって表現される。図１０では、輝度５０１～５０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。

　なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。

　実際の処理では、図６（ａ）に示す同一カラー領域３０１～３０４ごとに内部の４個の画素輝度をサンプルとして、パターン化偏光子の主軸角Φに対する反射光輝度Ｉを以下のように近似する。

　ここで図８に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。

　ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。

　以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Φとの関係を（式１）の正弦関数によって近似できる。

　以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。

　こうして、非偏光成分である偏光最小輝度Ｉ_minおよび偏光成分である偏光振幅輝度Ｉ_ampを以下の式６および式７より求める。
・偏光最小輝度Ｉ_min

・偏光振幅輝度Ｉ_amp

　なお、本実施形態の画像処理装置は、偏光最小輝度Ｉ_minおよび偏光振幅輝度Ｉ_ampを出力としているが、出力する偏光情報は、図１０の正弦関数から得られる情報であれば、他の情報の組であってもよい。例えば、偏光度画像ρ、偏光位相画像Φ_max、偏光推定誤差Ｅ、正弦関数の最高輝度Ｉ_maxの値と、それぞれの組み合わせを偏光情報として出力してもよい。
・偏光度ρ

・偏光位相φ_max（０≦φ_max≦π[ｒａｄ]）

・偏光推定誤差Ｅ

・偏光最大輝度Ｉ_max

　ここで、偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相Φ_maxは、該当画素の光の部分偏光の主軸角度を表している。また、偏光推定誤差とは、４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計である。なお、偏光の主軸角度は０と１８０°（π）は同一である。

　カラー情報処理部１０３は、カラー偏光取得部１０２から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。偏光画素Ｒ１における観測輝度をＩ_R1と表現すると、以下の式１２に基づいて、カラー輝度を算出することができる。

　以後、このようなカラー輝度を有する単位画素の集合からなる画像をカラー画像Ｉと表現する。

　各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｉが生成される。このような変換は、例えばベイヤーモザイク補間方法などの公知の補間技術を用いて実現される。

　この手法を用いることにより、偏光情報である偏光最小輝度Ｉ_minおよび偏光振幅輝度Ｉ_ampとは別に、ＲＧＢの３つの輝度からなる色ベクトルによって表現される「カラー情報」として、偏光最小カラー成分Ｉ_minおよび偏光振幅カラー成分Ｉ_ampを取得することができる。また、このとき、カラー画像Ｉとカラー情報との間には、以下の関係が成立する。

　図１１（ａ）は、グレープフルーツ（被写体）のカラー画像Ｉ(ｘ，ｙ）の輝度のみを示す図である。図１１（ｂ）および図１１（ｃ）は、それぞれ、図１１（ａ）の被写体に関する偏光最小輝度Ｉ_min（ｘ、ｙ）および偏光振幅輝度Ｉ_amp（ｘ，ｙ）の画像の例を示している。本来、これらの画像はカラー画像であるが、モノクロ化されている。また、図１２は、図１１の各図を模式的に示した図（濃淡を明瞭化した図）である。この図において、各領域（Ａ０１～Ｂ０６）は、図１３における各領域に対応する。

　カラー画像Ｉ(ｘ，ｙ）や、各画素の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素を用いて得られるため、個々の輝度および偏光情報は、図６（ｂ）に示す４つの偏光画素の中心に位置する仮想画素点３０５における値を示していると考えることができる。したがって、カラー画像および偏光画像の解像度は、いずれも、撮像素子の解像度の縦１／２×横１／２に低下する。

　しかしながら、本実施形態では、図６や図７に示すように、１色のカラーモザイク画素内に複数の微細な偏光子が存在するため、微細画像にて４分割しないカラーモザイク画素を用いる場合の解像度と比較した場合には同等の解像度である。

　次に、図１４を参照しながら、図１におけるカラー情報処理部１０３および偏光情報処理部１０４の動作を説明する。

　まず、最初にカラー偏光取得部１０２にてカラー画像と偏光情報画像をリアルタイムに取得する。ステップＳ２０１～Ｓ２０３において、カラー画像のＲ、Ｇ、Ｂの各画素における複数の偏光輝度の観測値を取得する。ステップＳ２０１～Ｓ２０３の順序は任意であり、並列的に実行されてもよい。具体的には、Ｒ、Ｇ、Ｂのカラーモザイク画素内で４種類の偏光輝度を取得する。偏光輝度を示す信号は、偏光情報処理部１０４に送られ、ステップＳ２０４～Ｓ２０８において、以下のように処理される。

　すなわち、ステップＳ２０４～Ｓ２０６の各々において、Ｒ画素、Ｇ画素、Ｂ画素の各々から得られる変動輝度に基づいて、正弦関数パラメータを算出する。正弦関数パラメータは、前述の式１におけるＡ、Ｂ、Ｃで規定される。ステップＳ２０４～Ｓ２０６の処理も、互いに独立しているため、任意の順序で行うことができ、並列的に実行されてもよい。つぎに、ステップＳ２０７において、偏光情報処理部１０４は、正弦関数の最小輝度と振幅成分を求めることにより、非偏光成分である偏光最小輝度Ｉ_minおよび偏光成分である偏光振幅輝度Ｉ_ampを生成する。

　その後、カラー情報処理部１０３により、ステップＳ２０８の処理が実行される。具体的には、前述の式１２を用いて、Ｒ、Ｇ、Ｂの平均輝度が求められ、カラー輝度画像Ｉ（ｘ，ｙ）が生成される。

　なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いているが、偏光素子は、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。

　カラー画像を取得するために、カラーフィルタを利用するのではなく、フォビオン素子などを利用しても良い。この場合、図３の本実施形態に係る画像処理装置が搭載されたカメラの構成例は、カラーフィルタ２０２および撮像装置２０３をカラー撮像装置２０８とする構成となる。

　光源色情報取得部１０５は、被写体を照射している光源の色情報を取得する。被写体を照射している光源が、投光部１０１による発光装置２０６のみである場合、光源の色情報は既知である。これは、発光装置２０６の色情報を、画像処理装置のメモリ２０４に保持しておき、光源色情報取得部１０５は、メモリ２０４から光源色情報を呼び出すようにすればよい。また、投光部１０１による発光装置２０６以外の光源が被写体を照射している場合、光源色情報取得部１０５は、例えば、被写体近傍に光源情報を推定するための形状・表面反射率既知のターゲットを配置し、カラー撮像装置２０８によって撮像したその画像から色情報を推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２－１９０，ｐｐ. ７－１２，２００３」）。この処理について詳述する。

　光源色情報の取得は、例えば図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１をカラー偏光取得部１０２によって撮像し、カラー情報処理部１０３でカラー画像を取得する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を鏡面反射画素として検出する。鏡面の反射率も既知であるため、鏡面反射画素の色情報を検出することにより、光源の色ベクトル情報を取得できる。

　このようなターゲットを常に撮影するのではなく、以前に撮影して求めた光源色情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際にターゲットを撮影し、光源情報を取得するようにすればよい。光源は白色であると仮定して、処理を行うようにしても良い。これは、蛍光灯照明下で撮像する場合や、昼間、屋外で撮影する場合に有効である。

　画像成分分離部１０６は、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色ベクトル情報を利用して、カラー情報処理部１０３によって取得されたカラー画像に対して成分分離を行う。

　まず、従来の偏光情報を利用した偏光情報を利用した分離手法（例えば、特許文献１）とその問題点について説明する。この手法は、偏光情報処理部１０４で取得された偏光最小輝度Ｉ_minを拡散反射成分、偏光振幅輝度Ｉ_ampを鏡面反射成分と分離するものである。

　この手法は、以下の通り、鏡面反射と拡散反射の偏光特性の違いに依存している。
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。
これらの偏光特性は、以下の２条件を前提としている。
（条件１）直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
（条件２）直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。

　従来の成分分離法によれば、図１１（ｂ）の画像が拡散反射成分を示すものとして扱われ、図１１（ｃ）の画像が鏡面反射成分を示すものとして扱われる。しかし、図１１（ｃ）に示されるように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されている。このことから、偏光情報を利用した拡散反射成分・鏡面反射成分分離手法は十分な精度が達成できないと判断できる。

　このような問題は、拡散反射成分の一部が偏光し、（条件２）が満たされないために生じる。以下、このことについて、詳述する。

　図１６、図１７は被写体の屈折率ｎ＝１．１、ｎ＝１．３、ｎ＝１．５、ｎ＝２．０の場合における鏡面反射成分と拡散反射成分の偏光度を示したグラフである（例えば、Ｌ. Ｂ. ＷｏｌｆｆａｎｄＴ. Ｅ. Ｂｏｕｌｔ， “Ｃｏｎｓｔｒａｉｎｉｎｇｏｂｊｅｃｔｆｅａｔｕｒｅｓｕｓｉｎｇａｐｏｌａｒｉｚａｔｉｏｎｒｅｆｌｅｃｔａｎｃｅｍｏｄｅｌ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ.１３，Ｎｏ.７，ｐｐ.６３５－６５７，１９９１参照）。

　ここで、図１６の横軸は入射角、縦軸は鏡面反射成分偏光度、また、図１７の横軸は出射角、縦軸は拡散反射成分偏光度を示している。この図は、被写体表面へ非偏光光を投光した場合、出射光や反射光はどの程度、偏光するかを示している。つまり、偏光度が０に近いほど出射光（反射光）は非偏光となり、偏光度が１に近いほど直線偏光に近づく。この図から、以下のことがわかる。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。

　ここで、（条件２）に着目する。（条件２）が成立するためには、少なくとも、非偏光光が投光されている場合には、出射光が非偏光とならなければいけない。すなわち、偏光度は十分小さくなければいけない。このことを考慮すると、以下のことが推測される。
・出射角が十分に大きい領域（遮蔽エッジ近傍）では、（条件２）が成立しない。

　これが、図１１（ｂ）および図１１（ｃ）において、鏡面反射成分と拡散反射成分の分離が正確に作用しなかった大きな原因である。

　本実施形態における画像成分分離部１０６は、色情報を利用することにより、上記問題を解決する。以下、本実施形態における画像成分分離部１０６について詳述する。

まず、色情報による鏡面反射成分と拡散反射成分を分離で広く使われている、２色性反射モデルについて説明する。

　２色性反射モデルでは、画素（ｘ，ｙ）で観測されるカラー画像における被写体の色ベクトルＩ（ｘ，ｙ）は、次式のように分解できる。

　ここで、Ｉ_Lightは光源の色ベクトル、Ｉ_Object（ｘ，ｙ）は画素（ｘ，ｙ）での物体色ベクトルを示している。色ベクトルとは、Ｒ、Ｇ、Ｂ各色の輝度をベクトルとして表現した、３次元ベクトルである。また、Ｃ’１（ｘ，ｙ）およびＣ’２（ｘ，ｙ）は光源色ベクトルと物体色ベクトルの重みを示している。この式から、画素（ｘ，ｙ）での鏡面反射成分Ｉ_s（ｘ，ｙ）および拡散反射成分Ｉ_d（ｘ，ｙ）は、次式のように分離できることがわかる。

　しかし、従来の色情報による鏡面反射成分・拡散反射成分分離手法では、物体色ベクトルが未知であるため、式１４のような成分分離を行うことができなかった。そこで、本実施形態における画像成分分離部１０６では、物体色ベクトルとして、偏光情報処理部１０４から求めた偏光最小カラー情報Ｉ_minを利用することで、この問題を解決する。

　前述のように、偏光情報による鏡面反射成分・拡散反射成分分離手法では、直線偏光光が投光されている場合であっても、遮蔽エッジ近傍では、拡散反射成分は非偏光成分としてのみ観測されるだけではなく、偏光成分としても観測される。しかし、非偏光成分は拡散反射成分であると考えられるため、式６によって求められた偏光最小カラー情報Ｉ_minは物体色ベクトルに等しいと考えられる。そこで、本実施形態における画像成分分離部１０６は、以下の式を利用することで、鏡面反射成分と拡散反射成分を分離する。

　ここで、カラー画像Ｉ（ｘ，ｙ）は、２倍された偏光振幅カラー成分Ｉ_ampと偏光最小カラー情報Ｉ_minとの和であることを利用している。つまり、画像成分分離部１０６は、偏光振幅カラー成分Ｉ_ampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離する。この処理を行うことにより、画像成分分離部１０６は、カラー画像Ｉ（ｘ，ｙ）を、式１７にしたがい、以下のように偏光振幅光源色ベクトル成分Ｉ_amp1（ｘ，ｙ）および偏光振幅偏光最小カラーベクトル成分Ｉ_amp2（ｘ，ｙ）および偏光最小カラー成分Ｉ_min（ｘ，ｙ）へ分離する。

　図１８（ａ）は、被写体の位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）、（５２８，３９４）における画素の色ベクトルＩ（ｘ，ｙ）の数値例を示している。図１８（ａ）に示すように、位置（ｘ，ｙ）＝（５１４，４３２）、（７８０，３３０）における画素の色ベクトルＩ（ｘ，ｙ）は、Ｉ_amp1（ｘ，ｙ）＋Ｉ_amp2（ｘ，ｙ）＋Ｉ_min（ｘ，ｙ）で表されている。

　一方、鏡面反射領域内の位置（ｘ，ｙ）＝（５２８，３９４）における色ベクトルＩ（ｘ，ｙ）は、画像内で最も輝度が高い。そのため、後述するように、（ｘ，ｙ）＝（５２８，３９４）の色ベクトルを光源の色ベクトルＩ_Lightとして推定する。

　後述する方法によって画像の成分分離を行うと、画素ごとにＩ（ｘ，ｙ）をＩ_amp1（ｘ，ｙ）、Ｉ_amp2（ｘ，ｙ）、およびＩ_min（ｘ，ｙ）に分離することができる。図１８（ｂ）に例として示す位置（ｘ，ｙ）＝（５１４，４３２）の画素におけるＩ_amp1（ｘ，ｙ）、Ｉ_amp2（ｘ，ｙ）、およびＩ_min（ｘ，ｙ）は、それぞれ、［７２６９，７１３２，６５０５］、［４１５１，１７０５，８２１］、および［１１８４５，４８６５，２３４５］である。なお、［］内の３つの数値は、前述したように、Ｒ、Ｇ、Ｂ各色の輝度である。同様に、位置（ｘ，ｙ）＝（７８０，３３０）の画素におけるＩ_amp1（ｘ，ｙ）、Ｉ_amp2（ｘ，ｙ）、およびＩ_min（ｘ，ｙ）は、それぞれ、［３７，３７，３３］、［１４５５，５３０，２４４］、および［４２０７，１５３２，７０６］である。

　ここで、色ベクトルはＲＧＢの３次元ベクトルであることに着目すると、偏光振幅カラー成分Ｉ_amp(ｘ，ｙ）は以下のように表現される。

　ただし、Ｒ_amp(ｘ，ｙ）、Ｇ_amp (ｘ，ｙ）、Ｂ_amp (ｘ，ｙ）は、偏光振幅カラー成分Ｉ_amp（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分であり、Ｒ_Light、Ｇ_Light、Ｂ_Lightは、光源色ベクトルＩ_LightのＲ成分、Ｇ成分、Ｂ成分である。また、Ｒ_min(ｘ，ｙ）、Ｇ_min (ｘ，ｙ）、Ｂ_min (ｘ，ｙ）は、偏光最小カラー成分Ｉ_min（ｘ，ｙ）のＲ成分、Ｇ成分、Ｂ成分である。

　式１９において、被写体の色ベクトルＩ（ｘ，ｙ）はカラー画像処理部１０３から求まっている。光源色ベクトルＩ_Lightは、光源色情報取得部１０５より既に求まっている。また、偏光最小カラー情報Ｉ_min（ｘ，ｙ）は、偏光情報処理部１０４より既に求まっている。したがって、式１９において、方程式の数は３であるのに対し、未知数はＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）の２つである。そのため、式２０は最小自乗法を利用することにより、次式よりＣ１（ｘ，ｙ）およびＣ２（ｘ，ｙ）を求めることができる。

　画像成分分離部１０６は、偏光情報処理部１０４および画像成分分離部１０６によって分離された各成分を、さらに、図１９の成分分離基準に従い、各成分の成分分離を行う。

　本実施形態における画像分離方法によって分離された「拡散反射非偏光成分」、「拡散反射偏光成分」、および「鏡面反射偏光成分」は、それぞれ、図１１（ｂ）、図１１（ｄ）、および図１１（ｅ）に示される通りである。すなわち、図１１（ｂ）は「拡散反射非偏光成分」である偏光最小カラー画像Ｉ_min(ｘ，ｙ）、図１１（ｄ）は「拡散反射偏光成分」である偏光振幅偏光最小カラーベクトル成分Ｉ_amp2（ｘ，ｙ）、図１１（ｅ）は「鏡面反射偏光成分」である偏光振幅光源色ベクトル成分Ｉ_amp1（ｘ，ｙ）を示している。

　従来の偏光情報を利用した鏡面反射成分・拡散反射成分分離方法では、図１１（ｃ）のＩ_amp（ｘ，ｙ）を「鏡面反射成分」、図１１（ｂ）のＩ_min(ｘ，ｙ）を「拡散反射成分」として分離してしまう。そのため、前述のように、出射角が十分に大きい（遮蔽エッジ近傍）領域では、本来存在しないはずの鏡面反射成分が検出されるという問題が生じるが、本実施形態の画像分離方法では、そのような問題は生じない。

　なお、光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源の色情報を取得するようにしても良い。前述のように、２色性反射モデルでは、被写体の色ベクトルＩ（ｘ，ｙ）は、光源の色ベクトルに等しい鏡面反射成分と、物体色ベクトルを有する拡散反射成分に分離される。

　鏡面反射成分が非常に大きくなる正反射領域では、拡散反射成分が無視できると考えられる。また、画像中で最も輝度の高い画素は、正反射領域と仮定すると、この画素の色ベクトルは光源の色ベクトルに等しいと考えられる。そこで、光源色情報取得部１０５は、カラー情報処理部１０３が取得したカラー画像情報において、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。例えば図１８（ａ）に示す例では、位置（ｘ，ｙ）＝（５２８，３９４）が最も輝度の高い画素である。そのため、この画素のＩ（ｘ，ｙ）を光源色ベクトルとして推定することが可能である。

　光源色情報取得部１０５は、カラー情報処理部１０３および偏光情報処理部１０４が取得した、偏光最小輝度Ｉ_min、または、偏光振幅輝度Ｉ_ampにおいて、最も輝度の高い画素の検出し、その画素の偏光最小輝度Ｉ_minまたは、偏光振幅輝度Ｉ_ampの色ベクトルを光源の色ベクトルとして推定するようにしてもよい。

　画像成分分離部１０６は、カラー画像を拡散反射非偏光成分、拡散反射偏光成分、および鏡面反射偏光成分に分離するのではなく、例えば、拡散反射成分および鏡面反射成分に分離するようにしても良い。これは、式１７を以下のように変形すればよい。

　これは、式１８で求めた偏光振幅偏光最小カラーベクトル成分Ｉ_amp2（ｘ，ｙ）と偏光最小カラー成分Ｉ_min（ｘ，ｙ）を統合すればよい。

　図２０は、この場合の成分分離基準を示した図である。また、図２１は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２１において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。なお、図２１に示す例では、最も輝度の高い画素の検出し、その画素の色ベクトルを光源の色ベクトルとして推定する。

　この例において、画像成分分離部１０６は、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉ_minを拡散反射非偏光成分、および、偏光最小カラー成分Ｉ_minによって生成された偏光振幅偏光最小カラーベクトル成分Ｉ_amp2を拡散反射成分、偏光振幅光源色ベクトル成分Ｉ_amp1を鏡面反射成分として成分分離を行う（ステップＳ１０８）。

　本実施形態の画像成分分離方法によれば、図１１（ｅ）が「鏡面反射成分」、図１１（ｆ）が「拡散反射成分」を示している。画像成分分離部１０６は、偏光振幅カラー成分Ｉ_ampを光源色ベクトル成分と偏光最小カラーベクトル成分に分離するのではなく、カラー偏光取得部１０２で取得したカラー画像を、光源色ベクトル成分と偏光最小カラーベクトル成分に分離しても良い。図２２は、この場合の成分分離基準を示した図である。また、図２３は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。

　図２３において、偏光情報処理部１０４は、カラー偏光取得部１０２から出力される情報を用いて、偏光情報として、偏光最小カラー成分Ｉ_minを生成する（ステップＳ１１３）。ここで、ステップＳ１０３とステップＳ１１３の順序は任意であり、並列的に実行してもよいし、順次実行しても良い。光源色情報取得部１０５は、被写体を照射している光源の色ベクトルＩ_Lightを取得する（ステップＳ１０５）。光源の色ベクトルは、前述した種々の方法を用いて取得することができる。

　画像成分分離部１０６は、カラー情報処理部１０３によって取得されたカラー画像Ｉを、カラー画像光源色ベクトル成分Ｉ１とカラー画像偏光最小カラーベクトル成分Ｉ２へ分離する（ステップＳ１１４）。さらに、画像成分分離部１０６は、カラー画像偏光最小カラーベクトル成分Ｉ２を拡散反射非偏光成分、カラー画像光源色ベクトル成分Ｉ１を鏡面反射成分として成分分離を行う（ステップＳ１１５）。

　画像成分分離部１０６は、陰影を考慮した画像分離を行っても構わない。これは、陰影では、多重反射などの影響により、光線が複雑になり、偏光情報の信頼性が失われるため、陰影領域では画像分離精度が劣化すると考えられるためである。

　図２４は、この場合の成分分離基準を示した図である。また、図２５は本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２５において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。

　画像成分分離部１０６は、まず、画素が陰影であるかどうかを推定するため、画素の輝度が閾値以下か否かを判定する（ステップＳ１０９）。陰影領域は輝度が低いため、カラー情報処理部１０３で求めたカラー画像の輝度が閾値以下の画素を陰影と判断することができる。閾値の大きさは実験的に決定すればよく、例えば、１６ビットモノクロ画像に対しては、２５６を設定すればよい。また、陰影を検出するための輝度としては、偏光情報処理部１０４で取得した、偏光最大輝度Ｉ_maxや偏光最小輝度Ｉ_min、または偏光最大輝度Ｉ_maxと偏光最小輝度Ｉ_minの平均値や重み付け和（例えば、Ｉ_max＋Ｉ_min やＩ_max＋２・Ｉ_min）などを利用するようにしても良い。特に、Ｉ_max＋Ｉ_minは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉ_max＋Ｉ_minを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。また、偏光最小輝度Ｉ_minを利用した場合、輝度が非常に高くなり、白とびが生じる可能性の高い鏡面反射成分の影響を小さくすることができるため、非常に有効である。画素の輝度が閾値より小さかった場合（ステップＳ０１０９でＹｅｓ）、画素は陰影成分であると判断し（ステップＳ１１０）、処理を終了する。

　一方、画素の輝度が閾値以上であった場合（ステップＳ１０９でＮｏ）、画素は陰影ではないと判断し、画像成分分離部１０６は、前述の通り、偏光振幅カラー成分Ｉ_ampを偏光振幅光源色ベクトル成分Ｉ_amp1と偏光振幅偏光最小カラーベクトル成分Ｉ_amp2に成分分離を行い（ステップＳ１０６）、偏光情報処理部１０４で生成された偏光最小カラー成分Ｉ_minを拡散反射非偏光成分、偏光振幅偏光最小カラーベクトル成分Ｉ_amp2を拡散反射偏光成分、偏光振幅光源色ベクトル成分Ｉ_amp1を鏡面反射偏光成分として成分分離を行う（ステップＳ１０７）。

　発光装置２０６は、撮像装置２０３からできる限り離して配置することが望ましい。発光装置２０６が撮像装置２０３の近傍に存在する場合、鏡面反射成分が観測される領域は、入射角が０度近傍の領域となる。これは、鏡面反射成分は、正反射領域近傍で観測されるためである。しかし、入射角が０度近傍の領域では、図１６より、鏡面反射成分がほとんど偏光しない。そのため、偏光最小輝度Ｉ_min(ｘ，ｙ）には多くの鏡面反射成分が含まれることになり、画像生成分離部１０６による画像成分分離精度が低下してしまうためである。

　図２６は、本実施形態に係る画像処理装置の他の構成例を示すブロック図である。これは、カラー情報処理部１０３および偏光情報処理部１０４が取得した被写体の情報を利用して、光源色情報取得部１０５が光源の色情報を取得する処理に対するブロック図である。図２６において、図１と共通の構成要素には、図１と共通の符号を付しており、ここではその詳細な説明は省略する。また、図２７は、本実施形態に係る画像分離方法の処理の流れを示すフローチャートである。図２７において、図２と共通のステップには、図２と共通の符号を付しており、ここではその詳細な説明は省略する。図２との違いは、図２では、ステップＳ１０３とステップＳ１０４とステップＳ１０５の順序が任意であったが、図２７では、ステップＳ１０３とステップＳ１０４のみ順序が任意であることである。ステップＳ１０３とステップＳ１０４は、並列的に実行してもよいし、順次実行しても良い。

　なお、本実施形態では、パターン化偏光子２０１にフォトニック結晶を用いているが、パターン化偏光子を利用せず、撮像装置のレンズ前に装着した偏光板を回転させながら撮影することで、時系列的に偏光主軸の異なる輝度を取得するようにしても良い。この方法は、例えば、特開平１１－２１１４３３号公報に開示されている。この場合、動く被写体やカメラが運動している際には、画像処理で広く行なわれている、被写体のトラッキング技術を利用すればよい（例えば、ＪｉａｎｂｏＳｈｉａｎｄＣａｒｌｏＴｏｍａｓｉ，“ＧｏｏｄＦｅａｔｕｒｅｓｔｏＴｒａｃｋ”，ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ, ｐａｇｅｓ５９３－６００, １９９４）。

　カラー偏光取得部１０２はカラー画像情報と偏光情報を同一の撮像装置２０３で取得するのではなく、個別の撮像装置で取得するようにしても良い。図２８は、カラー画像情報と偏光情報を別々の撮像素子２０３および２０３－２によってカラー偏光取得部１０２を構成した場合の本実施形態に係る画像処理装置画像処理装置が搭載されたカメラの構成例を示している。この場合、ビームスプリッタなどを利用して、２つの撮像装置２０３および２０３－２の光軸が等しくなるようにすることが望ましい。

　以上のように、本発明の画像分離方法を利用することで、偏光情報と色情報を利用した画像分離を行うことができる。このような画像分離は、拡散反射成分の偏光成分も考慮にいれた鏡面反射成分と拡散反射成分の分離を行うこともできる。

（第２の実施形態）
　図２９は、本実施形態に係る画像分離システムにおけるブロック図を示している。図２９において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその詳細な説明は省略する。第１の実施形態との違いは、投光装置１０７と画像処理装置１０８を分離させたことである。また、図３０は本実施形態に係る画像処理装置における、画像分離方法の処理の流れを示すフローチャートである。図３０において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３１は、本実施形態に係る画像処理装置１０８が搭載されたカメラと投光装置１０７の構成例を示している。図３１において、図３と共通の構成要素には図３と同一の符号を付しており、ここではその詳細な説明は省略する。

　本実施形態の画像分離システムは、投光装置１０７と画像処理装置１０８からなり、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、投光装置１０７は、直線偏光光を前記被写体に投光する投光部１０１を有する。また、画像処理装置１０８は、偏光主軸角度が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部１０２と、カラー偏光取得部１０２で取得した画像から、カラー画像を生成するカラー情報処理部１０３と、カラー偏光取得部１０２で取得した画像から、当該偏光画像を構成する単位画素のそれぞれについて、前記３方向以上の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理部１０４と、被写体を投光している光源の色情報を取得する光源色情報取得部１０５と、偏光情報処理部１０４によって生成された偏光情報と光源色情報取得部１０５によって取得された光源色情報を利用して、カラー情報処理部１０３で取得したカラー画像の成分分離を行う画像成分分離部１０６を備える。

　投光装置１０７と画像処理装置１０８は同期処理を行ない、画像処理装置１０８は投光装置１０７からの同期信号により撮像を行うようにしても良い。この処理について説明する。

　図３２は、本実施形態に係る画像分離システムにおけるブロック図を示している。図３２において、図２９と共通の構成要素には図２９と同一の符号を付しており、ここではその詳細な説明は省略する。図２９との違いは、投光装置１０７、画像処理装置１０８ともに通信部１０９、１１０を有する点である。また、図３３は本実施形態に係る投光装置１０７および画像処理装置１０８における画像分離方法の処理の流れを示すフローチャートである。図３３において、図２と共通のステップには図２と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図３４は、本実施形態に係る画像処理装置が搭載されたカメラと投光装置の構成例を示している。図３４において、図３１と共通の構成要素には図３１と同一の符号を付しており、ここではその詳細な説明は省略する。

　前述のように、ステップＳ１０１において、投光装置１０７は、投光部１０１によって、偏光光を被写体へ投光する。その後、投光装置１０７は通信装置２０９によって、投光を知らせる信号を画像処理装置１０８へ送信する（ステップＳ１１１）。画像処理装置１０８は前記投光を知らせる信号を通信装置２１０で受信すると（ステップＳ１１２）、前述のように、カラー偏光取得部１０２は、パターン化偏光子２０１およびカラーフィルタ２０２を通して被写体を撮像素子で受光することで、カラー偏光情報を含んだカラー画像であるカラー偏光画像を取得する（ステップＳ１０２）。前述のように、ステップＳ１０３～Ｓ１０７によって、偏光情報、カラー画像および光源色ベクトルを取得し、最終的に画像成分分離を実施する。

　通信部１０９は、投光を知らせる信号を画像処理装置１０８へ送信するだけではなく、光源の色ベクトル情報も画像処理装置１０８へ送信するようにしても良い。この場合、光源色情報処理部１０５は、通信部１１０によって受信した信号から、光源色ベクトル情報を取得すればよい。

　本実施形態における画像分離システムは、投光装置１０７と画像処理装置１０８を分離させ、通信により投光と撮像の同期をとることにより、より小型の画像処理装置１０８でありながら、高精度な画像成分分離を実現することが可能である。

　（画像分離を利用したモデルベースの画像合成）
　本発明の画像成分分離は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。

　本発明の画像成分分離方法を利用することで、画質劣化の少ない、モデルベースの画像合成を実現することができる。この手法を説明する。

　まず、この処理の概念を説明する。本発明の画像合成処理は、パラメータ推定装置８００と画像合成装置８０１からなる。以下の５つの入力情報を利用する。
　○被写体の拡散反射画像
　○被写体の鏡面反射画像
　○被写体の３次元形状情報
　○光源位置・色・照度
　○合成画像における視点・光源情報

　図３５は本発明の一実施形態に係るパラメータ推定装置８００と画像合成装置８０１の構成を示すブロック図である。図３５のパラメータ推定装置８００は、撮像装置を利用し、撮像を行う画像撮像部８０２と、上述した画像分離方法によって、画像を鏡面反射成分と拡散反射成分に分離する画像分離部８０３と、被写体に照射する光源の方向や位置、輝度、色、スペクトル情報などの光源情報を推定する光源情報推定部８０４と、被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部８０５と、撮像された被写体から、画像分離部８０３で分離された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部８０６と、パラメータ推定部８０６において推定された反射パラメータを保持するパラメータＤＢ（データベース）８０７とを備えている。さらに、画像合成装置８０１は、合成する画像の視点や光源情報を取得する視点・光源情報取得部８０８と、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成するレンダリング部８０９とを備えている。

　また、図３６、図３７は本実施形態に係る画像合成方法における、パラメータ推定方法と画像合成方法の処理の流れを示すフローチャートである。

　まず、パラメータ推定方法の処理の流れについて説明する。図３６において、画像撮像部８０２は、前述のカラー情報処理部１０３を利用して、カラー輝度を計算する（ステップＳ３０１）。偏光情報処理部１０４を利用して、偏光最大輝度Ｉ_maxと偏光最小輝度Ｉ_minの重み付け和（Ｉ_max＋Ｉ_minやＩ_max＋２・Ｉ_min）を取得するようにしても良い。画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する（ステップＳ３０２）。光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０３）。形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する（ステップＳ３０４）。パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射画像と鏡面反射画像に対して、前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報を利用することで、それぞれの反射パラメータを、別々の方法で推定する（ステップＳ３０５）。パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部Ｓ３０５で取得した形状情報をモデルパラメータとして保持する（ステップＳ３０６）。

　次に、画像合成推定方法の処理の流れについて説明する。図３７において、まず、レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を呼び出す（ステップＳ３０７）。視点・光源情報取得部８０８は、合成する画像の視点や光源の方向、さらには色情報や照度情報を取得する（ステップＳ３０８）。レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する（ステップＳ３０９）。

　さらに、図３８は、本実施形態に係る画像合成装置が搭載されたカメラの構成例を示している。なお、ここでは、画像分離部８０３、光源情報推定部８０４、形状情報取得部８０５、パラメータ推定部８０６およびレンダリング部８０９は、ＣＰＵ２０５によってプログラムを実行することによって、実現されるものとする。ただし、これらの機能の全部または一部を、ハードウエアによって実現しても良い。また、視点・光源情報取得部８０８はユーザインターフェイス部２１２によって実行される。また、メモリ２０４は画像撮像部８０２によって撮像された偏光画像と、画像分離部８０３によって取得された鏡面反射成分および拡散反射成分画像、光源情報推定部によって推定された光源情報、形状情報取得部８０５によって取得された形状情報、パラメータ推定部８０７によって推定された反射パラメータ情報、および、視点・光源情報取得部で取得された視点・光源情報をモデルパラメータとして格納する。

　以下、それぞれの処理について説明する。

　まず、パラメータ推定装置８００について説明する。

　画像撮像部８０２はＣＣＤやＣＭＯＳなどの撮像装置を利用して、カラー偏光取得部１０２およびカラー情報処理部１０３によって、被写体のカラー画像を取得する。こうして撮像された画像は、輝度が非常に高くなる鏡面反射成分と拡散反射成分とが同時に、飽和することなく、十分な輝度分解能で記録されることが望ましい。このため、冷却ＣＣＤカメラや多重露光撮像など、広いダイナミックレンジを撮像できる撮像装置を利用することが望ましい。このような画像撮像部は、前述の、偏光情報処理部１０３によって取得された偏光最大輝度Ｉ_maxと偏光最小輝度Ｉ_minの重み付け和（Ｉ_max＋Ｉ_minやＩ_max＋２・Ｉ_min）であっても良い。特に、Ｉ_max＋Ｉ_minは、直線偏光光源下において、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、Ｉ_max＋Ｉ_minを利用して画像処理を行うことで、通常の偏光を利用しない場合と同様の処理を行うことができる。

画像分離部８０３は、前述の画像分離方法により、画像撮像部８０２によって撮像された画像を、拡散反射成分と鏡面反射成分とに成分分離する。

　光源情報推定部８０４は、光源情報として、光源の方向、さらには色情報や照度情報を取得する。これは例えば、被写体近傍に光源情報を推定するための形状既知の鏡面などを配置し、画像撮像部８０２によって撮像したその鏡面の画像から推定すればよい（例えば、「神原誠之，横矢直和，"光源環境の実時間推定による光学的整合性を考慮したビジョンベース拡張現実感"，電子情報通信学会技術研究報告，パターン認識・メディア理解，ＰＲＭＵ２００２－１９０，ｐｐ. ７－１２，２００３」）。この処理について詳述する。

　光源情報推定部８０４は、図１５に示した鏡面とみなせる球６０１を利用して行う。鏡面球６０１を被写体近傍に設置し、その位置や法線方向は既知とする。この鏡面球６０１を画像撮像部８０２によって撮像する。このとき、鏡面球６０１には、撮影環境が映り込んでいる。映り込みが生じる位置は、その鏡面球上の法線方向に対して、視線方向と映り込む対象への方向が正反射の関係となる位置である。そのため、鏡面球の位置とその法線方向が既知であれば、鏡面上の映り込んだ画像から映り込み対象の方向を検出できる。また、光源は輝度が高いことを考慮すると、撮影された鏡面球の画像から、高輝度の画素を検出することにより、光源の方向を取得できる。さらに、鏡面の反射率が既知であれば、前述の通り、光源の色情報や放射輝度などの光源照度情報も取得できる。

　光源情報として、光源の方向だけではなく、あるいは光源の方向に代えて、光源の位置情報を取得するようにしても良い。これは、例えば前述の鏡面球を２つ利用したり、または撮像装置の位置を変化させて撮像した複数の画像を使用して、画像処理分野で広く知られているステレオ画像処理の技術を利用すればよい。

　このような鏡面球を常に撮影するのではなく、以前に撮影して求めた光源情報を使うようにしても良い。これは、屋内の監視カメラのように光源環境が変わらない場合に有効である。このような場合、カメラを設置した際に鏡面球を撮影し、光源情報を取得するようにすればよい。

　光源情報推定部８０４は、鏡面とみなせる球６０１のような参照物体を利用するのではなく、被写体を利用して光源方向を推定するようにしても良い。この方法を説明する。まず、被写体を撮像した画像領域において、最も輝度の高い画素を選択する。後述するように、形状情報取得部８０５によって、被写体の形状情報である表面の法線情報は推定されているため、最も輝度の高い画素の法線方向は既知である。ここで、最も輝度の高い画素は、正反射方向の光源が映り込んでいると仮定すると、前述の参照物体を利用する方法と同様に、法線方向から光源の方向を取得できる。

　また、撮像装置７０１に、照度計２１１を設置することにより、光源情報として入射照度を測定するようにしても良い。入射照度情報の利用方法については後述する。

　形状情報取得部８０５は、被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。被写体の形状情報を取得する手段としては、例えば、スリット光投影法、パターン光投影法、レーザレーダ法などの既存の手法を用いればよい。

　形状情報の取得はこれらの手法に限られるものでない。例えば、複数のカメラを利用するステレオ視、カメラの動きを利用するモーションステレオ法、光源の位置を変化させながら撮像した画像を利用する照度差ステレオ法、ミリ波や超音波を利用して被写体との距離を測定する方法、さらには反射光の偏光特性を利用した方法（例えば、ＵＳＰ５，０２８，１３８号や「宮崎大輔，池内克史，"偏光レイトレーシング法による透明物体の表面形状の推定手法"，電子情報通信学会論文誌，ｖｏｌ. Ｊ８８－Ｄ－ＩＩ，Ｎｏ.８，ｐｐ. １４３２－１４３９，２００５」）を用いても良い。ここでは、照度差ステレオ法と偏光特性を利用した方法について説明する。

　照度差ステレオ法は、光源方向が異なる３枚以上の画像を利用して、被写体の法線方向と反射率を推定する手法である。例えば、「Ｈ. Ｈａｙａｋａｗａ, ”ＰｈｏｔｏｍｅｔｒｉｃＳｔｅｒｅｏｕｎｄｅｒａｌｉｇｈｔｓｏｕｒｃｅｗｉｔｈａｒｂｉｔｒａｒｙｍｏｔｉｏｎ”, ＪｏｕｒｎａｌｏｆｔｈｅＯｐｔｉｃａｌＳｏｃｉｅｔｙｏｆＡｍｅｒｉｃａＡ, ｖｏｌ.１１, ｐｐ.３０７９－８９, １９９４」は、画像上で６点以上の反射率が等しい点を既知情報として取得し、拘束条件として利用することによって、光源の位置情報も未知としながらも、以下のパラメータを推定する手法である。
・被写体情報：画像上の各点の法線方向と反射率
・光源情報：被写体の観察点における光源方向と照度
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射成分のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。

　光源方向が異なる拡散反射画像を以下のように輝度行列Ｉ_dで表現する。

　ただし、ｉ_df(p)は光源方向ｆの拡散反射画像の画素ｐにおける輝度を示している。また、画像の画素数はＰ画素、異なった光源方向で撮像した画像枚数はＦ枚である。ところで、Ｌａｍｂｅｒｔｉａｎモデルより、拡散反射画像の輝度は以下のように表現できる。

　ただし、ρ_dpは画素ｐの反射率（アルベド）、ｎ_pは画素ｐの法線方向ベクトル、ｔ_fは光源ｆの入射照度、Ｌ_fは光源ｆの方向ベクトルを示している。

　式２２、式２３より以下の式が導かれる。

　ただし、

　ここで、Ｒは表面反射行列、Ｎは表面法線行列、Ｌは光源方向行列、Ｔは光源強度行列、Ｓは表面行列、Ｍは光源行列と呼ぶ。

　ここで、特異値分解を利用すると、式２４は以下のように展開できる。

ただし、

であり、Ｅは単位行列を示している。また、Ｕ’はＰ×３行列、Ｕ”はＰ×（Ｆ－３）行列、Σ’は３×３行列、Σ”は(Ｆ－３）×(Ｆ－３）行列、Ｖ’は３×Ｆ行列、Ｖ”は（Ｆ－３）×Ｆ行列である。ここで、Ｕ”、Ｖ”は信号成分であるＵ’、Ｖ’の直交基底、すなわち、ノイズ成分であると考えられる。ここで、特異値分解を利用すると、式２６は以下のように変形できる。

　すなわち、式２７を解くことにより、形状情報と光源情報を同時に取得することができるが、以下の３×３行列Ａの不定性が残る。

　ここで、Ａは任意の３×３行列である。形状情報と光源情報を取得するためには、この行列Ａを求める必要がある。これは、例えば、画面上の６点以上で反射率が等しいことが既知であればよい。例えば、任意の６点ｋ１～ｋ６の反射率が等しいとすると、

式２５、式２８および、式３０より、

さらに、

とおくと、式３１は以下のようになる。

　ここで、式３２より行列Ｂは対称行列であるため、行列Ｂの未知数は６である。すなわち、画面上の６点以上で反射率が等しいことが既知であれば、式３３は解くことができる。

　また、行列Ｂが既知となれば、式３２に特異値分解を利用することにより、行列Ａは解くことができる。

　さらに、式２８および、式２９より、形状情報と光源情報を取得する。

　以上のことより、反射率が等しい６点以上の画素が既知な被写体において、光源方向を変更しながら３枚以上の画像を取得することにより、以下の情報を得ることができる。
・被写体情報：画像上の各点の法線方向ベクトルと反射率
・光源情報：被写体の観察点における光源方向ベクトルと放射輝度

　ただし、上記の処理で求まる被写体の反射率と光源の放射輝度は相対的なものであり、絶対値を求めるためには、画面上の６点以上で反射率が既知であるなど、上記とは異なる既知情報が必要となる。

　以上のように、照度差ステレオ法と偏光特性を利用した方法では、表面の法線情報を取得する。一方、スリット光投影法やステレオ視などの手法では、被写体の３次元位置情報を取得する。被写体表面の法線情報とは、被写体の３次元位置情報の微小空間での傾き情報であり、どちらも被写体の形状情報である。

　以上の処理により、形状情報取得部８０５は被写体の形状情報である表面の法線情報または、被写体の３次元位置情報を取得する。

　以上の処理により、以下の情報を取得する。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の３次元形状情報
○光源位置・照度

　次に、パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分と鏡面反射成分に対して、それぞれの反射パラメータを、別々の方法で推定する。まず、拡散反射成分の処理について説明する。

　パラメータ推定部８０６は、画像分離部８０３によって成分分離された拡散反射成分を利用し、被写体のアルベドを推定する。アルベドは光源情報に影響を受けないため、アルベド画像を利用して処理を行うことによって、光源変動にロバストな処理が実現できる。
この処理を説明する。まず、物体の反射特性について説明する。２色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。

　ここで、Ｉは撮像装置が撮像した被写体の輝度、Ｉ_aは環境光成分、Ｉ_dは拡散反射成分、Ｉ_sは鏡面反射成分である。ここで、環境光成分とは、光源の光が物体などによって散乱された間接光のことである。これは空間の至る所に散乱され、直接光がとどかない影の部分にもわずかに明るさを与える。そのため、通常はノイズとして取り扱われることが多い。

　環境光成分は十分に小さく、ノイズとして無視できると考えると、画像は拡散反射成分と鏡面反射成分とに分離できる。

　式２３より、拡散反射成分では、以下の関係が成り立つ。

　ただし、θ_iは被写体の法線方向ベクトルと光源方向ベクトルのなす角度を示す。ここで、光源情報推定部８０４および形状情報取得部８０５により、角度θ_iは既知である。また、後述するように、光源の入射照度ｔ_fも推定可能なため、被写体のアルベドρ_dpは式３５から求められる。

　被写体のアルベドを求めるのではなく、次式によりアルベドに光源の放射輝度を乗算した擬似アルベドを求め、これを利用しても良い。

　次に、鏡面反射成分の反射パラメータ推定について説明する。

　パラメータ推定部８０６は、形状情報取得部８０５によって取得された被写体の法線情報、画像分離部８０３によって分離された拡散反射画像と鏡面反射画像を利用して、その被写体を表現するパラメータを推定する。ここでは、Ｃｏｍｐｕｔｅｒ－Ｇｒａｐｈｉｃｓの分野で広く使われているＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルを利用する方法を説明する。

　Ｃｏｏｋ－Ｔｏｒｒａｎｃｅモデルでは、鏡面反射画像を次式のようにモデル化する。

　ここで、Ｅ_iは入射照度、ρ_s,λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図３９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉ_jは入射光の放射輝度である。また、ｋ_sは鏡面反射成分の係数である。

　さらに、式２３のＬａｍｂｅｒｔｉａｎモデルを利用すると、式３４は以下のように展開される。

ただし、

　ここで、ρ_dは拡散反射成分の反射率（アルベド）、ｄｐｘ、ｄｐｙは撮像装置の１画素のｘ方向、ｙ方向の長さ、ｒは撮像装置の観察点Ｏからの距離を示している。また、ｋ_dは以下の関係式を満たす係数である。

　Ｓｒは拡散反射成分と鏡面反射成分の輝度の違いを表現するための定数であり、拡散反射成分が被写体からすべての方向へエネルギーを反射することを示している。図４０はこの定数Ｓｒを説明するための模式図である。図４０において、観察点Ｏで反射された拡散反射成分エネルギーは、半球状に広がっていく。ここで、撮像装置７０１が観察点Ｏからｒだけ離れているので、撮像装置の１撮像素子に届くエネルギーと、観察点Ｏで反射した総エネルギーの比Ｓ_rは、式４７で表される。

　以上のことから、パラメータ推定部８０６は、式３６～式４７より、鏡面反射成分の反射パラメータを推定する。

　以上の関係式をまとめると、パラメータ推定を行うための既知パラメータと、推定すべきパラメータは以下のようになる。
（既知パラメータ）
○環境光成分Ｉ_a
○拡散反射成分Ｉ_d
○鏡面反射成分Ｉ_s
○被写体の法線方向ベクトルｎ
○光源方向ベクトルＬ
○視線ベクトルＶ
○中間ベクトルＨ
○中間ベクトルＨと法線方向ベクトルｎの角度β
○撮像装置７０１の１画素のｘ方向、ｙ方向の長さｄｐｘ, ｄｐｙ
○撮像装置７０１と観察点Ｏとの距離ｒ
（推定すべきパラメータ）
○入射照度Ｅ_i
○鏡面反射成分の係数ｋ_s
○被写体表面の粗さｍ
○被写体の屈折率ηλ

　ここで、拡散反射成分の係数ｋ_d、および拡散反射成分の反射率（アルベド）ρ_dも未知パラメータであるが、鏡面反射成分のパラメータのみを推定するため、ここでは推定処理を行わない。

　図４１はパラメータ推定部８０６の処理の流れを示す図である。処理は、以下の２段階からなる。

　まず、光源情報を使用して、入射照度Ｅ_iを求める（ステップＳ４０１）。ここでは、光源情報推定部８０４によって取得した光源の位置情報、形状情報取得部８０５で求めた撮像装置と被写体との距離情報、さらには光源情報推定部８０４で求めた光源照度を用いる。これは、次式から求まる。

　撮像装置７０１には前述のように、照度計２１１が設置されているとする。ここで、Ｉ_iは照度計２１１によって測定された光源７０２の入射照度、Ｒ₁は撮像装置７０１と光源７０２との距離、Ｒ₂は光源７０２と観察点Ｏとの距離、θ₁は観察点Ｏにおける法線方向ベクトルｎと光源方向ベクトルＬＣとのなす角度、θ₂は撮像装置７０１における光軸方向と光源方向ベクトルＬＡとのなす角度を示している（図４２参照）。ここで、被写体の大きさが、光源７０２と観察点Ｏとの距離Ｒ₂に比べ十分に小さいと考えられる場合、距離Ｒ₂は被写体上の全ての観察点Ｏで等しくなる。そのため、式４９において、（Ｒ₁／Ｒ₂）は定数となり、実際に計測する必要はなくなる。またθ₁は既知である。これは、形状情報取得部８０５によって観察点Ｏにおける法線方向ベクトルｎが既知であり、光源情報推定部８０４によって光源方向ベクトルＬＣが既知であるためである。さらにθ₂は、光源情報推定部８０４によって光源の位置が推定されている場合、既知である。そのため、式４９の右辺はすべて既知となる。

　次に、シンプレックス法を利用して、未知パラメータｍ、ηλ、ｋ_sを推定する（ステップＳ４０２）。シンプレックス法は、シンプレックスと呼ぶ図形の頂点に変数を割り付け、シンプレックスの大きさと形を変えて関数の最適化を行う方法である（大田登，“色再現光学の基礎”，ｐｐ.９０－９２，コロナ社）。シンプレックスは、ｎ次元空間の（ｎ＋１）個の点の集合である。ただし、ｎは推定する未知数の数であり、ここでは「３」である。そのため、シンプレックスは四面体である。シンプレックスの頂点をベクトルｘ_iで表し、新しいベクトルを次のように定める。

　ただし、

はそれぞれ関数ｆ(ｘ_i）を最大、最小にするｘ_iを示している。
さらに、この方法で用いる３種類の操作を以下のように定める。
１．鏡像：

２．拡張：

３．収縮：

ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数である。

　シンプレックス法は、シンプレックスの頂点の中で関数値の最も大きなものを選ぶことで、その鏡像における関数値は小さくなるという期待に基づいている。この期待が正しければ、同じプロセスの繰り返しで関数の最小値が求められる。つまり、初期値で与えたパラメータを３種類の操作で更新しながら、評価関数が示すターゲットとの誤差が閾値未満になるまでパラメータの更新を繰り返す。ここでは、パラメータとしてｍ、ηλ、ｋ_s、評価関数として式５５で表される、式３６から算出される鏡面反射成分画像と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩ_sを利用した。

　ただし、ｉ_s(i,j)’, ｉ_s(i,j)はそれぞれ、計算された鏡面反射画像の推定値Ｉ_s’と画像分離部８０３で求められた鏡面反射成分画像Ｉ_sの画素(ｉ,ｊ）の輝度、Ｍ_s(i,j)は、画素(ｉ,ｊ）が鏡面反射成分を持つ場合に１、そうでない場合０をとる関数である。

　この処理について詳しく説明する。図４３はこの処理の流れを説明するためのフローチャートである。

　まず、繰り返し演算の更新回数を記憶するカウンターｎとｋに０を代入し、初期化する（ステップＳ４１１）。ここで、カウンターｎは初期値を何回変更したかを記憶するカウンターであり、ｋはある初期値に対してシンプレックスによる候補パラメータの更新を何回行ったかを記憶するカウンターである。

　次に、乱数を利用し、推定パラメータの候補パラメータｍ’、ηλ’、ｋ_s’の初期値を決定する（ステップＳ４１２）。このとき、各パラメータの物理的な拘束条件から、初期値の発生範囲は以下のように決定した。

　次に、こうして求めた候補パラメータを式３６へ代入し、鏡面反射画像の推定値Ｉ_s’を求める（ステップＳ４１３）。さらに、計算された鏡面反射画像の推定値Ｉ_s’と画像分離部８０３で求められた鏡面反射成分画像との差ΔＩ_sを式５５より求め、これをシンプレックス法の評価関数とする（ステップＳ４１４）。こうして求めたΔＩ_sが十分小さい場合（ステップＳ４１５でＹｅｓ）、パラメータ推定は成功したとして、推定パラメータｍ、ηλ、ｋ_sとして候補パラメータｍ’、ηλ’、ｋ_s’を選択し、処理を終了する。一方、ΔＩ_sが大きい場合（ステップＳ４１５でＮｏ）、シンプレックス法により候補パラメータの更新を行う。

　候補パラメータの更新を行う前に、更新回数の評価を行う。まず、更新回数を記憶しているカウンターｋに１を足し（ステップＳ４１６）、カウンターｋの大きさを判断する（ステップＳ４１７）。カウンターｋが十分に大きい場合（ステップＳ４１７でＮｏ）、繰り返し演算は十分に行なわれているが、ローカルミニマムに落ちているため、このまま更新を繰り返しても最適値には達しないと判断し、初期値を変更して、ローカルミニマムからの脱却を図る。そのため、カウンターｎに１を足し、カウンターｋに０を入れる（ステップＳ４２１）。ここで、カウンターｎの値が閾値より高いかどうかを判定し、処理をこのまま続けるか、処理不能として処理を終了させるかを決定する（ステップＳ４２２）。ここで、ｎが閾値より大きい場合（ステップＳ４２２でＮｏ）、この画像は推定不能として処理を終了する。一方、ｎが閾値より小さい場合（ステップＳ４２２でＹｅｓ）、再度、初期値を式５６の範囲内で乱数から選択しなおし（ステップＳ４１２）、処理を繰り返す。このようなｋに対する閾値は、例えば、１００などを選択すればよい。

　一方、ステップＳ４１７において、カウンターｋが閾値以下の場合（ステップＳ４１７でＹｅｓ）、候補パラメータを式５２～式５４を利用して変更する（ステップＳ４１８）。この処理については後述する。

　次に、こうして変形された候補パラメータが、解として意味のあるものであるかを判定する（ステップＳ４１９）。すなわち、シンプレックス法を繰り返すことで、変形されたパラメータが物理的に意味のない値（例えば、粗さパラメータｍが負の値など。）におちいる可能性があるため、これを除去する。これは、例えば、以下のような条件を与え、この条件を満たす場合には意味のあるパラメータ、満たさない場合には意味のないパラメータと判定すればよい。

　これらの値は、被写体より求めることができる。例えば、屈折率ηλであれば、被写体の材質によって決定される値である。例えば、プラスチックであれば１．５～１．７、ガラスであれば１．５～１．９であることが知られているため、これらの値を利用すればよい。つまり、被写体がプラスチックである場合、屈折率ηλは１．５～１．７とすればよい。

　変形したパラメータが式５７を満たす場合（ステップＳ４１９でＹｅｓ）、その候補パラメータは意味のある値であると考えられるため、新しい候補パラメータとして設定し（ステップＳ４２０）、更新処理を繰り返す（ステップＳ４１３）。一方、変形したパラメータが式５７を満たさない場合（ステップＳ４１９でＮｏ）、その初期値に対する更新処理を打ち切り、新しい初期値により更新を行う（ステップＳ４２１）。

　ここで、ステップＳ４１８の変形処理について詳述する。図４４はこの処理の流れを示したフローチャートである。ここでは、候補パラメータｍ’、ηλ’、ｋ_s’をベクトル表現し、これをパラメータｘとする。すなわち、

　まず、式５０～式５２を利用して、鏡像操作を行ったパラメータｘ_rを計算し、式５５によってｘ_rでの鏡面反射成分画像との差ΔＩ_s(ｘ_r）を計算する（ステップＳ４３１）。次に、こうして求められたΔＩ_s(ｘ_r）と、２番目に評価関数が悪かったΔＩ_s(ｘ_s）を比較する（ステップＳ４３２）。ここでΔＩ_s(ｘ_r）がΔＩ_s(ｘ_s）より小さかった場合（ステップＳ４３２でＹｅｓ）、鏡像操作を行った評価値ΔＩ_s(ｘ_r）と現在、最も評価値のよいΔＩ_s(ｘ_l）を比較する（ステップＳ４３３）。ここで、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_l）以上であった場合（ステップＳ４３３でＮｏ）、最も評価値の低かったｘ_hをｘ_rへ変更し（ステップＳ４３４）、処理を終了する。

　一方、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_l）より小さかった場合（ステップＳ４３３でＹｅｓ）、式５４を利用して拡張処理を行ない、パラメータｘ_eと、ｘ_eでの鏡面反射成分画像との差ΔＩ_s(ｘ_e）を計算する（ステップＳ４３５）。次に、こうして求められたΔＩ_s(ｘ_e）と、鏡像操作によるΔＩ_s(ｘ_r）を比較する（ステップＳ４３６）。ここでΔＩ_s(ｘ_e）がΔＩ_s(ｘ_r）より小さかった場合（ステップＳ４３６でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_eへ変更し（ステップＳ４３７）、処理を終了する。

　一方、ΔＩ_s(ｘ_e）がΔＩ_s(ｘ_r）以上であった場合（ステップＳ４３６でＮｏ）、最も評価値の悪かったｘ_hをｘ_rへ変更し（ステップＳ４３４）、処理を終了する。

　また、ステップＳ４３２において、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_s）より大きかった場合（ステップＳ４３２でＮｏ）、鏡像操作を行った評価値ΔＩ_s(ｘ_r）と現在、最も評価値の悪いΔＩ_s(ｘ_h）を比較する（ステップＳ４３８）。ここでΔＩ_s(ｘ_r）がΔＩ_s(ｘ_h）より小さかった場合（ステップＳ４３８でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_rへ変更し（ステップＳ４３９）、式５３を利用して、収縮操作を行ったパラメータｘ_cと、ｘ_cでの鏡面反射成分画像との差ΔＩ_s(ｘ_c）を計算する（ステップＳ４４０）。一方、ΔＩ_s(ｘ_r）がΔＩ_s(ｘ_h）以上であった場合（ステップＳ４３８でＮｏ）、ｘ_hを変更することなく、収縮操作を行ったパラメータｘ_cと、ｘ_cでの鏡面反射成分画像との差ΔＩ_s(ｘ_c）を計算する（ステップＳ４４０）。

　次に、こうして求められたΔＩ_s(ｘ_c）と、最も評価値の悪いΔＩ_s(ｘ_h）を比較する（ステップＳ４４１）。ここでΔＩ_s(ｘ_c）がΔＩ_s(ｘ_h）より小さかった場合（ステップＳ４４１でＹｅｓ）、最も評価値の悪かったｘ_hをｘ_cへ変更し（ステップＳ４４２）、処理を終了する。

　一方、ΔＩ_s(ｘ_c）がΔＩ_s(ｘ_h）以上であった場合（ステップＳ４４１でＮｏ）、すべての候補パラメータｘ_i(ｉ=１,２,３,４）を以下の式により変更し、処理を終了する。

　以上の処理を繰り返すことにより、鏡面反射画像における未知パラメータであるｍ、ηλ、ｋ_sを推定する。

　以上の処理により、すべての未知パラメータを推定することができる。

　図４５（ａ）は、図４５（ｂ）の領域Ａに関して、横軸に中間ベクトルβ、縦軸に鏡面反射成分の輝度Ｉｓをグラフ化したものである。この図において、白色○は領域Ａに関して観測された輝度Ｉｓをプロットしたものである。また、黒色■はＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルの各パラメータを推定し、プロットしたものである。図４６は、従来の偏光情報を利用した画像分離手法を利用したグラフである。図４７は、従来の偏光情報を利用した画像分離手法を利用して作成した合成画像を示している。このように、パラメータ推定に失敗した場合、合成画像の質感が実物とは大きくかけ離れたものとなってしまう。これらの図より、従来の画像分離手法では、鏡面反射成分と拡散反射成分の分離精度の劣化に伴い、反射パラメータ推定に失敗していることがわかる。そのため、合成された画像は、実際の画像とは大きく質感が異なるものとなってしまう。一方、本特許における画像分離手法では、このような問題が生じていない。

　なお、パラメータ推定に用いるモデルは、Ｃｏｏｋ－Ｔｏｒｒａｎｃｅモデルである必要はなく、例えば、Ｔｏｒｒａｎｃｅ－ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗモデル（例えば、「Ｋ. ＩｋｅｕｃｈｉａｎｄＫ. Ｓａｔｏ, “Ｄｅｔｅｒｍｉｎｉｎｇｒｅｆｌｅｃｔａｎｃｅｐｒｏｐｅｒｔｉｅｓｏｆａｎｏｂｊｅｃｔｕｓｉｎｇｒａｎｇｅａｎｄｂｒｉｇｈｔｎｅｓｓｉｍａｇｅｓ”, ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ, ｖｏｌ.１３, ｎｏ.１１, ｐｐ.１１３９－１１５３, １９９１」）であっても良い。

　また、パラメータ推定方法は、シンプレックス法である必要はなく、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を利用しても良い。

　また、以上の処理は、画素ごとに行っても良いし、画像分離を行ない、領域ごとに等しいパラメータ組を推定するようにしても良い。画素ごとに処理を行う場合、光源や撮像装置、または被写体を動かすことにより、被写体の法線方向ベクトルｎや光源方向ベクトルＬ、または視線ベクトルＶといった既知パラメータが変動したサンプルを取得するようにすることが望ましい。また、処理を領域ごとに行う場合、領域ごとに求まったパラメータのばらつきが小さくなるように画像分離を変更することで、最適なパラメータ推定を行うようにすることが望ましい。

　パラメータＤＢ８０７は、パラメータ推定部８０６で求まった拡散反射成分の反射パラメータと鏡面反射成分の反射パラメータ、および形状情報取得部８０５で取得した形状情報をモデルパラメータとして保持する。図４８は、パラメータＤＢ３０７に保持されているモデルパラメータを示す模式図である。

　以上の処理により、パラメータ推定装置８００は拡散反射成分のパラメータと鏡面反射成分のパラメータを推定し、推定したパラメータ情報をパラメータＤＢ８０７へ保持する。

　次に、図３５の画像合成装置８０１について説明する。

　視点・光源情報取得部８０８は、合成する画像の視点や光源情報を取得する。これは、ユーザが視点位置や光源位置・光源照度、さらに環境光成分情報を入力するようにすればよい。また、拡張現実感のような、実世界にＣＧ画像をレンダリングするような場合、光源情報推定部８０４を利用して光源情報を推定するようにしても良い。

　レンダリング部８０９は、パラメータＤＢ８０７に保持されているモデルパラメータ情報を利用して、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。レンダリング部８０９は、拡散反射成分と鏡面反射成分、それぞれ別々にレンダリングを行ない、レンダリングされた拡散反射成分、鏡面反射成分および環境光成分情報を合成することにより、画像を合成する。

　まず、拡散反射成分に関して説明する。前述のように、アルベド画像は、拡散成分画像を光源ベクトルと被写体の法線方向ベクトルの内積で除算したものである。そのため、パラメータＤＢに保持されているアルベド画像（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、拡散反射成分を合成することができる。具体的には、視点・光源情報取得部８０８によって取得された光源方向ベクトルと被写体の法線方向ベクトルとの内積を求め、さらにアルベド画像を乗算することによって、拡散成分画像を合成する。視点・光源情報取得部８０８により、複数の光源が入力された場合、それぞれの光源に対して拡散反射成分画像をおのおの合成し、その画像を足し合わせることで、一枚の拡散反射成分画像を合成する。

　次に、鏡面反射成分に関して説明する。鏡面反射成分は、パラメータＤＢに保持されている鏡面反射パラメータ（パラメータ推定部８０６で推定）および形状情報（形状情報取得部８０５で取得）に、視点・光源情報取得部８０８によって取得された光源方向ベクトル情報を利用することにより、合成することができる。具体的には、式３６～式４４に推定されたパラメータを代入することによって、鏡面反射成分画像を合成する。

　こうして求めた拡散反射成分画像、鏡面反射成分画像および視点・光源情報取得部８０８において取得した環境光成分情報を合成することにより、レンダリング部８０９は、視点・光源情報取得部８０８で取得された視点や光源情報に則した画像を合成する。

　以上のように、本発明の画像処理技術を利用することによって、デジタルアーカイブなどに使われているモデルベースの画像合成を高精度に行うことができる。

　本発明に係る画像処理によれば、偏光情報と色情報という二つの情報を利用することにより、鏡面反射成分と拡散反射成分をより正確に分離することが可能である。スナップショットを撮影するように撮影された画像から画像分離処理を実現できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに有用である。

１０１　投光部
１０２　カラー偏光取得部
１０３　カラー情報処理部
１０４　偏光情報処理部
１０５　光源色情報取得部
１０６　画像成分分離部
１０７　投光装置
１０８　画像処理装置
１０９　通信部
１１０　通信部

Claims

　被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、
　光源から発せられた直線偏光光を前記被写体に投光する投光部と、
　前記被写体のカラー偏光画像を取得するカラー偏光取得部と、
　前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が３以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
　前記光源の色情報を取得する光源色情報取得部と、
　前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部と、
を備える画像処理装置。
　前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、
　前記画像成分分離部は、前記カラー画像の成分分離を行う、請求項１に記載の画像処理装置。
　前記カラー偏光取得部は、
　偏光主軸の方向が異なる３方向以上の偏光子と、
　前記偏光子に対向する位置に配置されたカラーフィルタと、
　前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子とを備える、請求項１に記載の画像処理装置。
　前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも１つを生成する請求項３に記載の画像処理装置。
　前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する請求項４に記載の画像処理装置。
　前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する請求項４に記載の画像処理装置。
　前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する請求項５または６に記載の画像処理装置。
　前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
　前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項８に記載の画像処理装置。
　前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項５または６に記載の画像処理装置。
　前記カラー偏光取得部は、前記投光部と同期処理を行う請求項１に記載の画像処理装置。
　前記投光部は、カラー偏光取得部から離して配置することを特徴とする請求項３に記載の画像処理装置。
　投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、
　前記投光装置は、
　光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、
　前記画像処理装置は、
　偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
　前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
　前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
　前記光源の色情報を取得する光源色情報取得部と、
　前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
　投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、
　前記投光装置は、
　光源から発せられた直線偏光光を前記被写体に投光する投光部と、
　投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、
　前記画像処理装置は、
　前記投光を知らせる信号を前記投光装置から受信する通信部と、
　偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
　前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
　前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
　光源の色情報を取得する光源色情報取得部と、
　前記光源の色情報を取得する光源色情報取得部と、
　前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。
　前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する請求項１４に記載の画像処理システム。
　被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、
　光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、
　偏光主軸の方向が異なる３方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、
　前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、
　前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、
　光源の色情報を取得する光源色情報取得ステップと、
　前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む画像処理方法。
　被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、
　請求項１６に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。
　パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、
　前記パラメータ推定装置は、
　被写体を撮像する画像撮像部と、
　請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、
　被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも１つを含む光源情報を推定する光源情報推定部と、
　被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得部と、
　撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
　前記パラメータ推定部において推定された反射パラメータを保持するパラメータＤＢと、を有し、
　前記画像合成装置は、
　合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
　前記パラメータＤＢに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部と
を有するモデルベース画像合成装置。
　パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、
　前記パラメータ推定ステップは、
　被写体を撮像する画像撮像ステップと、
　請求項１６に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離ステップと、
　光源の情報を推定する光源情報推定ステップと、
　被写体の表面の法線情報または３次元位置情報を形状情報として取得する形状情報取得ステップと、
　撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップと
を含み、
　前記画像合成ステップは、
　合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
　前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップと
を含むモデルベース画像合成方法。