JP6818444B2 - 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、互いに異なる偏光方向を有する複数の偏光光の撮像により取得された画像を用いて、撮像後に所望の画像を生成する画像処理技術に関する。

物体を撮像して得られた画像上において物体像の照明状態（照明の種類、数、配置、物体に対する照明範囲や照明方向等）を任意に変えることができる技術として、３ＤＣＧ技術が知られている。これは、物体の３次元情報（形状、反射率特性および照明に関する情報）に基づいて計算によって所望の照明状態の物体像を再現する技術である。特許文献１には、物体の立体データや法線ベクトルデータ、さらには物体に対する照明方向データを組み合わせて立体画像を作成する３ＤＣＧ技術が開示されている。ただし、この３ＤＣＧ技術では、上記各データを取得するのに複雑な測定が必要であったり、保持するデータ量や計算量が大きかったりする。また、物体の所望の質感を表現するために必要な照明状態をユーザが指定する必要があり、ユーザの負担が大きい。

一方、撮像により取得した画像から別の画像を生成する技術として、特許文献２には、物体からの光を偏光成分と無偏光成分に分離し、それらのうち一方を除去または抽出することで様々な画像を得る偏光イメージング方法が開示されている。この偏光イメージング方法を用いれば、例えば、車両を撮像して得られた画像のうち無偏光成分を抽出することで、フロントガラスからの光を除去して車両内部の情報が写った画像を得ることができる。

特開２００６−２５９８１８号公報 特開２００７−０８６７２０号公報

しかしながら、引用文献２にも、物体に対する照明方向（つまりは物体での光の反射方向）を任意に変更可能な偏光イメージング方法については開示されていない。

本発明は、撮像により取得した画像を用いて物体に対する照明方向を任意に選択した画像を得ることが可能な画像処理装置および撮像装置等を提供する。

本発明の一側面としての画像処理装置は、互いに偏光方向が異なる複数の偏光光を撮像することにより生成された入力画像の各画素における輝度値を、偏光角度に応じて変化する輝度成分である依存成分と偏光角度に依存しない輝度成分である独立成分とに分離し、依存成分のうち特定の偏光角度での特定成分を取得する取得手段と、特定成分を用いて出力画像を生成する生成手段とを有することを特徴とする。

なお、上記画像処理装置と、互いに偏光方向が異なる複数の偏光光を光電変換する撮像素子とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された入力画像の各画素における輝度値を、偏光角度に応じて変化する輝度成分である依存成分と前記偏光角度に依存しない輝度成分である独立成分とに分離し、依存成分のうち特定の偏光角度での特定成分を取得するステップと、特定成分を用いて出力画像を生成するステップとを有することを特徴とする。

さらに、上記画像処理方法をコンピュータに実行させるプログラムも、本発明の他の一側面を構成する。

本発明によれば、互いに異なる偏光方向の複数の偏光光を撮像することにより取得した入力画像から、物体に対する照明方向を任意に選択した出力画像を得ることができる。

本発明の実施例における光強度Ｉのうち角度依存成分を示す近似関数Ｆ（α）の算出を説明する図。 実施例における別の近似関数Ｆ（α）の例を示す図。 実施例１である画像処理装置を含む画像処理システムの構成を示す図。 実施例１における撮像装置の構成を示す図。 実施例１における画像処理を示すフローチャート。 実施例１における３つの入力画像を示す図。 実施例２におけるＩ′（α０＋９０）の画像を示す図。 実施例２における出力画像の例を示す図。 実施例２における別の出力画像の例を示す図。 実施例２におけるさらに別の出力画像の例を示す図。 実施例３におけるＩ′（α０＋９０）の画像を示す図。 実施例３における出力画像の例を示す図。 実施例４における出力画像の例を示す図。 各実施例に用いられる偏光素子を示す図。 各実施例に用いられる別の偏光素子を示す図。 図１５の偏光素子の構成を示す図。 各実施例に用いられるさらに別の偏光素子を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、後述する具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例では、物体からの互いに偏光角度αが異なる複数の偏光光を光電変換（以下、撮像ともいう）することにより生成された入力画像を用いて以下の画像処理を行う。該画像処理は、入力画像の輝度値を用いて、偏光角度αに応じて変化する輝度成分である角度依存成分のうち特定偏光角度での角度依存成分を算出する。そして、その角度依存成分を用いて出力画像を生成することで、物体に対する照明方向を任意かつ直観的に選択（調整）した出力画像を得る。

まず、偏光角度αの定義について、図１４（ａ），（ｂ）を用いて説明する。図１４（ａ）には、入力画像を取得するための撮像を行う撮像系（例えばデジタルカメラ）の構成と座標軸との関係を示す。撮像系は、偏光板２、光学系１および撮像素子３により構成される。座標軸は、光学系１の光軸（破線で示す）が延びる方向をｚ軸とし、ｚ軸に直交する面内で互いに直交する２軸をそれぞれｘ軸およびｙ軸とする。そして、図１４（ｂ）に示すように、ｘｙ面内に偏光軸を有する偏光板２を透過した偏光光（破線矢印で示す）を撮像素子３により撮像するとき、該偏光光の偏光方向が基準軸（ここではｘ軸とする）に対してなす角度を該偏光光の偏光角度αという。偏光角度αは、０°≦α＜１８０°の範囲の角度である。なお、実施例では偏光光の偏光方向がｘ軸に対してなす角度を偏光角度αとするが、偏光角度αはこれに限定されるものではなく、ｙ軸に対してなす角度であってもよいし、偏光角度αが一意に決まる任意の座標系において表現可能である。

以下、偏光角度αに応じて変化する輝度成分である角度依存成分を用いて照明方向を調整する原理について説明する。

偏光角度αが異なる複数の偏光光を撮像することにより生成された複数の入力画像（または後述するよう１つの入力画像でもよい）における各画素の輝度値Ｉを偏光角度αごとにプロットすると、各画素での輝度値Ｉは、次式（１）のように表される。
Ｉ＝Ｉｃ＋Ｉ（α） …（１）
ただし、Ｉ（α）は偏光角度αによって変化する輝度成分としての角度依存成分であり、Ｉｃは偏光角度αによらず変化しない輝度成分としての角度独立成分である。

実施例の画像処理では、角度依存成分Ｉ（α）と角度独立成分Ｉｃとをそれぞれ、物体からの鏡面反射成分と散乱反射成分（以下、単に散乱成分という）と考える。これは、鏡面反射成分がフレネル反射により生じてｐ偏光成分よりｓ偏光成分を多く含むことから角度依存性を示し、散乱成分はその散乱過程で角度依存性が失われることから角度依存性を示さない傾向にあるためである。

さらに、本発明者は、特定の一方向α０から照明したときの鏡面反射成分を、角度依存成分Ｉ（α）のα０＋９０（ｄｅｇ）方向での射影成分で近似できることを見出した。物体を方向α０から照明したときの撮像により生成される画像は、
（散乱成分）＋（α０から照明したときの鏡面反射成分）
によって得ることができる。このため、上記近似を用いると、物体を方向α０から照明したときの各画素の輝度値Ｉ′は、角度独立成分Ｉｃと角度依存成分Ｉ（α０＋９０）とを用いて、次式（２）で表すことができる。すなわち、輝度値Ｉ′は、角度独立成分Ｉｃと角度依存成分Ｉ（α）との線形和として示される。
Ｉ′＝Ｉｃ＋Ｉ（α０＋９０） …（２）
このため、各画素の輝度値Ｉ′を式（２）を用いて計算することにより、物体を方向α０から照明したときに得られる画像を作成（合成）することができる。

また、式（２）を、任意の係数ｋｃおよびｋを用いて、次式（３）のように表してもよい。
Ｉ′＝ｋｃ・Ｉｃ＋ｋ・Ｉ（α０＋９０） …（３）
このとき、ｋｃおよびｋを変化させることで、鏡面反射成分と散乱成分の割合を調整する効果が得られる。

ここまでは、ある一方向（α０）から照明したときに得られる画像の作成方法について説明したが、物体を照明する方向は一方向に限定されるものではなく、物体を複数の方向から照明したときに得られる画像を作成することもできる。このような画像は、各画素の輝度値Ｉ′を、偏光角度α１，α２，・・・，αｎと、任意の係数ｋ１，ｋ２，・・・，ｋｎとを用いて次式（４）および（５）で表現することができる。
Ｉ′＝Ｉｃ＋ΣＩ（αｎ＋９０） …（４）
Ｉ′＝ｋｃ・Ｉｃ＋Σ[ｋｎ・Ｉ（αｎ＋９０）] …（５）。

実施例では、上述した原理を用いて、画像処理によって撮像後に物体に対する照明方向を調整する効果を得ることができる。

次に、実施例における画像処理の手順（画像処理方法）について詳細に説明する。実施例の画像処理方法は、３つのステップ、すなわち（１）画像取得ステップ、（２）偏光情報取得ステップおよび（３）画像合成ステップにより構成される。
（１）画像取得ステップ
画像取得ステップでは、入力画像を取得する。入力画像は、撮像光学系および偏光素子を通過した偏光光を撮像素子で撮像することで得られたデジタル画像である。偏光素子は、透過する偏光光の透過軸の向き（角度）を制御可能な素子である。偏光光の透過軸の向きは、偏光光の偏光方向の向き、つまりは偏光角度αに相当する。

最も簡単な偏光素子としては、図１４（ａ），（ｂ）に示した偏光板２を用いることができる。偏光板２をｘｙ平面内に配置した軸を中心として該ｘｙ平面内で回転させることで、透過軸の向き（偏光角度α）を制御することができる。

また、別の偏光素子としては、図１５に示すように複数の素子により構成される偏光素子４を用いることもできる。偏光素子４は、１／４λ板４１、液晶可変波長板４２および偏光板４３により構成されている。

図１６に、偏光素子４を構成する１／４λ板４１、液晶可変波長板４２および偏光板４３の透過軸の向きを破線矢印で示す。液晶可変位相板４２は、印加電圧に応じて該液晶可変位相板４２が光に与える位相差を変えることができる。このため、偏光素子４は、液晶可変位相板４２への印加電圧を制御することで、該偏光素子４全体としての透過軸の向きを変えることができ、図１４（ａ），（ｂ）に示した偏光板２を回転させるのと同じ効果が得られる。このように偏光素子４は、液晶可変位相板４２への印加電圧の制御により出射する偏光光の偏光角度αを変更することができるので、偏光板２を回転するよりも高速に偏光角度αを変更することができる。このため、偏光素子４を用いることで、偏光角度αが異なる複数の入力画像を取得するための撮像を短時間で行うことができる。

さらに別の偏光素子としては、図１７（ａ），（ｂ）に示す複数の偏光子がｘｙ平面内に配列された偏光子アレイとしての偏光素子５を用いることもできる。複数の偏光子は、例えば図１７（ｂ）に示すように、互いに透過軸の向き（破線矢印で示す）が異なる４つの偏光子が一組とされ、該偏光子の組が複数配列されている。偏光素子５は、撮像素子３と一体に設けられ又はその近傍に配置され、撮像素子３の画素ごと又は複数の画素を含む画素エリアごとに互いに偏光角度αが異なる偏光光の撮像を可能とする。この撮像により得られる１つの入力画像は、画素ごと又は画素エリアごとに、互いに偏光角度αが異なる偏光光の輝度情報が含まれた画像となる。つまり、１つの入力画像から、複数の偏光光の輝度情報を得ることができる。

実施例では、互いに偏光角度αが異なる複数の偏光光を撮像することにより生成された複数または１つの撮像画像を入力画像として取得する。なお、入力画像を取得する際には、偏光角度αが異なる複数の入力画像は１つのファイルとして保持したり、Ｅｘｉｆ情報を利用して互いに関連付けて保持したりすることが望ましい。

入力画像の取得方法には、特に制限はないが、上記画像処理を行う画像処理装置が撮像素子を含む撮像装置に内蔵されている場合には、画像処理装置がそのまま撮像装置内で入力画像を取得すればよい。また、画像処理装置が撮像装置とは別に設けられている場合は、これらを有線または無線で通信可能に接続し、撮像装置から通信を介して画像処理装置が入力画像を取得することができる。また、撮像装置にて入力画像を記憶させたメモリーカード等の記録媒体を介して画像処理装置が入力画像を取得するようにしてもよい。
（２）偏光情報取得ステップ
偏光情報取得ステップでは、画像取得ステップで得られた入力画像から各画素の輝度値Ｉを抽出し、該輝度値Ｉから角度依存成分Ｉ（α）を算出するとともに、必要に応じて角度独立成分Ｉｃを算出する。角度独立成分Ｉｃは角度依存成分Ｉ（α）とともに算出してもよいが、必ずしも算出が必要なわけではない。角度独立成分Ｉｃを直接算出しない場合には、輝度値Ｉと式（１）とを用いて間接的に算出することもできる。

以下、角度依存成分Ｉ（α）の算出方法について説明する。角度依存成分Ｉ（α）は偏光光の偏光角度αに応じて変動する輝度成分であるため、１８０°周期の任意の正弦関数または余弦関数で表現することができる。例えば、角度依存成分Ｉ（α）の最大値をＡとし、角度依存成分Ｉ（α）が最大値Ａとなる偏光角度αをθとすると、角度依存成分Ｉ（α）は次式（６）で表現することができる。
Ｉ（α）＝Ａｃｏｓ^２（α−θ） …（６）
また、各画素の輝度値Ｉは、次式（７）で表現することができる。
Ｉ＝Ａｃｏｓ^２（α−θ）＋Ｉｃ …（７）
式（６）もしくは式（７）より、３つ以上の異なる偏光角度αの偏光光を撮像して取得した入力画像からＡおよびθを算出することで、角度依存成分Ｉ（α）を求めることができる。

図１（ａ），（ｂ）には、角度依存成分Ｉ（α）の算出方法の例を示している。なお、これらの図では、４つの異なる偏光角度α１，α２，α３，α４の偏光光を撮像することで４つの入力画像を取得した場合の例を示す。４つの入力画像において互いに対応する１画素の輝度値Ｉ（α１），Ｉ（α２），Ｉ（α３），Ｉ（α４）をプロットすると、図１（ａ）のように表せる。上述したように、Ｉ（α）は１８０°周期の正弦関数または余弦関数で表現できることから、式（６）または式（７）を用いて図１（ａ）に示した輝度値Ｉ（α１）〜Ｉ（α４）に対するフィッティングを行うことができる。式（７）を用いたフィッティングの結果を図１（ｂ）に示す。図１（ｂ）中の点線丸が４つの入力画像から得られた輝度値Ｉ（α１）〜Ｉ（α４）であり、実線曲線（関数）がフィッティングにより得られた偏光角度αに応じた輝度値の変化を示す。なお、入力画像から得られた輝度値が３つである場合は、Ａとθ（さらに必要に応じてＩｃ）を一意に算出することができる。また、入力画像から得られた輝度値が４つ以上である場合は、最小二乗法等の最適化技術を用いてＡおよびθ（さらに必要に応じてＩｃ）を算出することができる。
（３）画像合成ステップ
画像合成ステップでは、偏光情報取得ステップで求めた角度依存成分Ｉ（α）を用いて画像合成を行い、出力画像を生成する。上述したように、物体を方向α０から物体を照明したときの鏡面反射成分の近似値Ｉ′（α０）は、α０＋９０（ｄｅｇ）における角度依存成分Ｉ（α０＋９０）として算出することができる。このため、物体を方向α０から照明したときの各画素の輝度値Ｉ′は、式（２）と式（６）を用いて、次式（８）のように表現することができる。
Ｉ′＝Ｉｃ＋Ａｃｏｓ^２（α０＋９０−θ） …（８）
また、式（３）を用いて、次式（９）のように表現してもよい。
Ｉ′＝ｋｃ・Ｉｃ＋ｋ・Ａｃｏｓ^２（α０＋９０−θ） …（９）
画像合成ステップでは、式（８）または式（９）を用いて各画素の輝度値Ｉ′を算出することにより、物体をα０方向から照明したときに得られる出力画像を合成（生成）する。また、上述したように、物体を複数方向から照明したときに得られる画像を合成する際には、式（４）および（５）を用いた次式（１０）および（１１）から画素の輝度値Ｉ′を算出してもよい。
Ｉ′＝Ｉｃ＋ΣＡｃｏｓ^２（αｎ＋９０−θ） …（１０）
Ｉ′＝ｋｃ・Ｉｃ＋Σ[ｋｎ・Ａｃｏｓ^２（αｎ＋９０−θ）] …（１１）。

なお、ここまでの説明では、物体をα０方向から照明したときの鏡面反射成分の近似に角度依存成分Ｉ（α）を用いたが、角度依存成分Ｉ（α）を別の関数Ｆ（α）で近似し、その近似関数Ｆ（α）を用いて輝度値Ｉ′を算出することもできる。この場合に、各画素の輝度値Ｉ′は、式（２）〜（５）の代わりに次式（１２）〜（１５）を用いて表現することができる。
Ｉ′＝Ｉｃ＋Ｆ（α０＋９０） …（１２）
Ｉ′＝ｋｃ・Ｉｃ＋ｋ・Ｆ（α０＋９０） …（１３）
Ｉ′＝Ｉｃ＋ΣＦ（αｎ＋９０） …（１４）
Ｉ′＝ｋｃ・Ｉｃ＋Σ[ｋｎ・Ｆ（αｎ＋９０）] …（１５）
近似関数Ｆ（α）としては任意の関数を用いることができるが、Ｆ（α）が最大値となる角度はＩ（α）と一致することが好ましい。ここで言う一致とは、多少の誤差を含んでもよく、数％〜十数％の違いは許容するものとする。

図２（ａ）〜（ｃ）に近似関数Ｆ（α）の例を示す。これらの図中の破線曲線が図１（ｂ）に示したＩ（α）を示し、実線曲線がＦ（α）を示す。これらの図に示すように、任意のＦ（α）を用いることで、偏光角度αに対する輝度値の変化をＩ（α）とは異ならせることができる。このため、鏡面反射成分の近似にＦ（α）を用いることで、合成された出力画像における被写体上の照明されている領域（照明領域または照明幅）や照明の輝度分布を調整する効果が得られる。

次に、図３を用いて、本発明の実施例１である画像処理装置について説明する。図３には、本実施例の画像処理装置を含む画像処理システム１００の構成を示している。

画像処理装置１０１は、画像処理ソフトウェア（コンピュータプログラムとしての画像処理プログラム）１０６を搭載し、該画像処理ソフトウェア１０６に従って実施例２〜４で説明する画像処理を実行するコンピュータ機器である。画像処理装置１０１は、算出手段および生成手段としての機能を有する。

撮像装置１０２は、カメラ、望遠鏡、内視鏡またはスキャナ等、撮像により画像を取得する装置である。図４には、撮像装置１０２の例として、レンズ交換式カメラを示している。レンズ交換式カメラは、交換レンズ２１、アダプタ２２およびデジタルカメラボディ２３により構成される。アダプタ２２は、透過する偏光光の偏光角度αを変化させる図１４（ａ），（ｂ）または図１５（ａ），（ｂ）のいずれかに示した偏光素子を備えている。該アダプタ２２から出射する偏光光の偏光角度αを変化させることで、デジタルカメラボディ２３は互いに偏光角度αが異なる複数の偏光光を撮像することができる。

アダプタ２２はレンズ用およびカメラ用マウントを備えており、同じ規格のマウントを備えた様々な交換レンズやデジタルカメラボディと接続して使用することができる。

デジタルカメラボディ２３は、ＣＭＯＳセンサ等の撮像素子を備えており、交換レンズ２１とマウント２を通過した偏光光を撮像することができる。

なお、図４では、交換レンズ２１とデジタルカメラボディ２３との間に偏光素子（アダプタ２２）を設けたが、偏光素子を交換レンズ２１よりも物体側に配置してもよい。また、ダプタ２２を設けず、デジタルカメラボディ２３内の撮像素子と一体に又はその直前に図１７（ａ），（ｂ）に示した偏光子アレイとしての偏光素子を設けてもよい。

記憶媒体１０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により取得された画像を記憶する。

画像処理装置１０１は、撮像装置１０２または記憶媒体１０３から、これらとの有線または無線通信や装着読み出しによって、撮影画像としての入力画像を取得する。そして、実施例２〜４で説明する画像処理により出力画像を生成し、該出力画像を出力機器１０５、撮像装置１０２および記憶媒体１０３のうち少なくとも１つに出力する。また、出力画像を画像処理装置１０１に内蔵された内部記憶部に保存することもできる。出力機器１０５は、例えばプリンタである。

画像処理装置１０１には、表示機器１０４も接続されている。このため、ユーザは、表示機器１０４を通じて、画像処理の作業を行ったり生成された出力画像の評価を行ったりすることができる。画像処理装置１０１は、実施例２〜４で説明する画像処理のほか、必要に応じて現像処理や画像回復処理等、他の画像処理を行ってもよい。

本実施例では、画像処理装置１０１が撮像装置１０２とは別に設けられている場合について説明したが、画像処理装置１０１が撮像装置１０２に内蔵されていてもよい。

実施例１で説明した画像処理装置１０１が行う画像処理を本発明の実施例２として説明する。本実施例では、偏光方向αが２０°、６５°および１１０°の偏光光の撮像により得られた３つの入力画像から出力画像を生成する。

図５のフローチャートには、画像処理装置１０１に実行させる画像処理の流れを示している。ステップＳ１１が前述した画像取得ステップに、ステップＳ１２〜Ｓ１４が偏光情報取得ステップ（算出処理）に、ステップＳ１５が画像合成ステップ（生成処理）にそれぞれ相当する。

まず、ステップＳ１１では、画像処理装置１０１は、３つの入力画像（撮影画像）を取得する。図６（ａ）〜（ｃ）には、取得した入力画像の例を示す。図６（ａ）〜（ｃ）の入力画像はそれぞれ、偏光角度αが２０°、６５°および１１０°の偏光光を撮像することで得られた画像である。

次にステップＳ１２では、画像処理装置１０１は、上記３つの入力画像から、互いに対応する画素（以下、対応画素という）のそれぞれの輝度値Ｉ_２０，Ｉ_６５，Ｉ_１１０を抽出する。対応画素の輝度値Ｉ_２０，Ｉ_６５，Ｉ_１１０の抽出は、各入力画像の各画素について行う。なお、取得した３つの入力画像に位置ずれがある場合には、対応画素の輝度値を抽出する前に位置合わせをするための補正処理を行う。位置合わせ補正の方法は、一般的な画像処理で用いられる位置合わせアルゴリズムを用いればよく、例えば各入力画像の特徴量に基づいて入力画像間の位置ずれ量を推定し、これを０にするように位置合わせを行えばよい。

続いてステップＳ１３では、画像処理装置１０１は、抽出した対応画素の輝度値Ｉ_２０，Ｉ_６５，Ｉ_１１０から、該対応画素における角度依存成分Ｉ（α）と角度独立成分Ｉｃを算出する。具体的には、ステップ１２で取得した輝度値Ｉ_２０，Ｉ_６５，Ｉ_１１０と式（７）から得られる次式（１６）〜（１８）に示す連立方程式からＩ（α）内のＡおよびθとＩｃとを取得する。
Ｉ_２０＝Ａｃｏｓ-^２（２０−θ）＋Ｉｃ …（１６）
Ｉ_６５＝Ａｃｏｓ^２（６５−θ）＋Ｉｃ …（１７）
Ｉ_１１０＝Ａｃｏｓ^２（１１０−θ）＋Ｉｃ …（１８）
次に、ステップＳ１４では、画像処理装置１０１は、算出した角度依存成分Ｉ（α）を用いて、物体をα０方向から照明したときの対応画素の鏡面反射成分の近似値Ｉ′（α０＋９０）、すなわち特定偏光角度α０での角度依存成分（近似値）を算出する。以下の説明では、α０＝０，４５，９０および１３５(ｄｅｇ)の場合を示す。なお、鏡面反射成分の近似値Ｉ′（α０＋９０）は、角度依存成分Ｉ（α）を用いて次式（１９）〜（２２）により算出する。
Ｉ′（０＋９０）＝Ａｃｏｓ-^２（０＋９０−θ）＋Ｉｃ …（１９）
Ｉ′（４５＋９０）＝Ａｃｏｓ-^２（４５＋９０−θ）＋Ｉｃ …（２０）
Ｉ′（９０＋９０）＝Ａｃｏｓ-^２（９０＋９０−θ）＋Ｉｃ …（２１）
Ｉ′（１３５＋９０）＝Ａｃｏｓ-^２（１３５＋９０−θ）＋Ｉｃ …（２２）
図７（ａ）〜（ｄ）には、式（１９）〜（２２）から算出した近似値Ｉ′（α０＋９０）を有する画像を示す。また、各図の上にα０方向を矢印で示す。これらの図から分かるように、Ｉ′（α０＋９０）で表される輝度値を用いることで、α０方向から照明したときの鏡面反射成分の撮像により得られる画像に近い画像が得られている。

次にステップＳ１５では、画像処理装置１０１は、出力画像を合成する。出力画像の合成は、画像処理装置１０１は、ステップＳ１４で算出したＩ′（α０＋９０）と式（９）を用いて各画素の輝度値を計算することで行う。

出力画像の例として、図８（ａ）〜（ｄ）には、式（９）中のｋとｋｃをそれぞれｋ＝１．５およびｋｃ＝１．０としたときの画像を示す。これらの図の上にも、α０方向を矢印で示す。これらの図から分かるように、角度独立成分Ｉｃと近似値Ｉ′（α０＋９０）との和から、物体をα０方向から照明したときに得られる画像が出力画像として生成されている。

別の例として、図９（ａ）〜（ｃ）には、α０＝０°とし、式（９）中のｋｃ＝１．０とし、ｋをｋ＝０，１，２と変えたときの出力画像を示す。これらの図から分かるように、係数ｋを変えることにより、特定角度方向からの照明の強度を調整した出力画像が得られる。

さらに別の例として、図１０（ａ）〜（ｃ）には、α０＝９０°とし、式（９）中のｋをｋ＝１．０とし、ｋｃをｋｃ＝０．５，１．０，１．２と変えたときの出力画像を示す。これらの図から分かるように、係数ｋｃを変えることにより、出力画像中のベースとなる輝度を変える効果が得られる。

なお、本実施例の画像処理では、偏光角度αが２０°、６５°および１１０°である偏光光を撮像することで得られた入力画像を用いた場合について説明したが、入力画像の偏光方向αはこれに限定されない。例えば、０°、４５°、９０°および１３５°の偏光方向αを有する偏光光を撮像することで得られた４つの入力画像を用いてもよいし、５つ以上の入力画像を用いてもよい。また、０°、３０°および９０°のように不等間隔の偏光方向αを有する偏光光を撮像することで得られた入力画像を用いてもよい。

実施例１で説明した画像処理装置１０１が行う別の画像処理を、本発明の実施例３として説明する。本実施例の画像処理のうち、実施例２で説明したステップＳ１１〜Ｓ１３は同じであるためそれらの説明は省略し、実施例２と異なるステップＳ１４での特定偏光角度での角度依存成分の算出およびステップＳ１５での出力画像の合成処理について説明する。

本実施例の画像処理装置１０１は、ステップＳ１４において、次式（２３）〜（２５）で表されるＩ（α）とＦ（α）を用いて鏡面反射成分の近似値Ｉ′（α０＋９０）を算出する。図１１（ａ）〜（ｃ）には、α＝４５°のときのＩ′（α０＋９０）を示す。

Ｉ（α）の値は偏光角度αに対して１８０°周期で輝度値が変化するのに対して、式（２４）および（２５）に示すＦ（α）はそれぞれ、９０°および６０°周期で輝度値が変化する。図１１（ａ）〜（ｃ）から分かるように、Ｉ′（α０）の算出に用いる関数の周期を短くすると、照明領域を狭くする効果が得られる。

本実施例では、画像処理装置１０１は、ステップＳ１５において、Ｆ（α）から算出したＩ′（α０＋９０）を用いて、式（９）により各画素の輝度値を算出することで出力画像を合成した。図１２（ａ）〜（ｃ）には、本実施例における出力画像の例として、ｋ＝１．０、ｋｃ＝１．０、α０＝４５°の画像を示す。これらの図から分かるように、角度依存成分Ｉ（α）とは異なる関数Ｆ（α）を用いることにより、入力画像を取得したときの照明状態とは異なる照明状態に対応する出力画像を得ることが可能となる。本実施例では、Ｉ（α）とは異なる周期の関数Ｆ（α）を用いて照明幅を変える効果を得たが、任意の関数Ｆ（α）を用いることができる。

実施例１で説明した画像処理装置１０１が行うさらに別の画像処理を、本発明の実施例４として説明する。本実施例の画像処理のうち、実施例２で説明したステップＳ１１〜Ｓ１４は同じであるためそれらの説明は省略し、実施例２，３と異なるステップＳ１５での出力画像の合成処理について説明する。本実施例のステップＳ１５は、鏡面反射成分の近似値Ｉ′（α０＋９０）の算出方法が実施例２，３と異なる。

実施例２，３では１つの特定偏光角度α０を用いて出力画像を合成したが、本実施例では、前述した式（２４）および式（４）の考え方を用いて、複数の特定偏光角度α１〜α３を用いて出力画像を合成する。例として、α１＝９０°、α２＝４５°、α３＝１３５°とし、式（２４）のＦ（α）を用いて各画素の鏡面反射成分の近似値Ｉ′（α１＋９０）、Ｉ′（α２＋９０）、Ｉ′（α３＋９０）を算出する。

図１３（ａ）〜（ｃ）には、本実施例における出力画像の例を示す。図１３（ａ）の出力画像は物体を９０°方向から照明したときに得られる画像であり、図１３（ｂ）は物体を９０°方向に加えて４５°方向から照明したときに得られる画像である。また、図１３（ｃ）は、物体を９０°方向、４５°方向に加えてさらに１３５°方向から照明したときに得られる画像である。このように、複数の偏光角度での近似値を用いて出力画像を合成することで、物体を複数方向から照明したときに得られる画像と同等な出力画像を得ることができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 画像処理装置
２，４，５ 偏光素子

Claims (16)

1. 互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された入力画像の各画素における輝度値を、前記偏光角度に応じて変化する輝度成分である依存成分と前記偏光角度に依存しない輝度成分である独立成分とに分離し、前記依存成分のうち特定の偏光角度での特定成分を取得する取得手段と、
   前記特定成分を用いて出力画像を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記取得手段は、前記偏光角度ごとの前記輝度成分を示す関数を取得し、該関数を用いて前記特定成分を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記輝度成分の最大値と該最大値に対応する前記偏光角度とを用いて前記関数を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記輝度値に対するフィッティングを行うことで前記関数を取得することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記関数は、正弦関数または余弦関数であることを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、前記偏光角度ごとの前記輝度成分を示す第１の関数を取得し、該第１の関数を第２の関数で近似し、該第２の関数を用いて前記特定成分を取得することを特徴とする請求項１に記載の画像処理装置。
7. 前記第１及び第２の関数について、前記輝度成分の最大値に対応する前記偏光角度は互いに等しく、前記輝度成分の変化の周期は互いに異なることを特徴とする請求項６に記載の画像処理装置。
8. 前記特定の偏光角度は、前記出力画像の各画素において共通であることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記生成手段は、前記特定成分および前記独立成分を用いて前記出力画像を生成することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記生成手段は、前記特定成分および前記独立成分の線形和を用いて前記出力画像を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、複数の前記特定成分を用いて前記出力画像を生成することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記入力画像は、前記複数の偏光光の夫々に対応する複数の画像を含むことを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記入力画像は、前記複数の偏光光の夫々に対応する複数の輝度情報を含む１枚の画像であることを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
14. 請求項１から１３のいずれか一項に記載の画像処理装置と、
    前記複数の偏光光を光電変換する撮像素子とを有することを特徴とする撮像装置。
15. 互いに偏光角度が異なる複数の偏光光を光電変換することにより生成された入力画像の各画素における輝度値を、前記偏光角度に応じて変化する輝度成分である依存成分と前記偏光角度に依存しない輝度成分である独立成分とに分離し、前記依存成分のうち特定の偏光角度での特定成分を取得するステップと、
    前記特定成分を用いて出力画像を生成するステップとを有することを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。