JP6988819B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、例えば水面やガラスなど反射面の内部の被写体を撮影した画像から、反射光成分を除去した鮮明な被写体画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

ガラスや水面など、光の一部を透過し、一部を反射する反射面を介して被写体が存在する場合、カメラを用いて反射面内部の被写体を撮影すると、撮影画像に反射面からの反射成分が映り込み、反射面を介した被写体、すなわちガラスを介した被写体や、水中の被写体が鮮明に撮影できないという問題がある。

こうした問題を解決する手法として、偏光フィルタ（偏光板）をカメラの撮像素子と被写体の間に配置し、偏光フィルタで反射成分を除去して、反射成分を含まない光成分のみを撮像素子に受光させて鮮明な被写体画像を撮影する手法がある。

例えば、特許文献１（特開２０１６−１２６４１０号公報）は、偏光フィルタを介して撮影した偏光フィルタ適用画像と、通常の撮影処理によって撮影した輝度画像の２種類の画像を併せて取得可能なカメラを用い、反射光が低減された偏光フィルタ適用画像を利用することで、車のフロントガラスの奥に存在する運転者のより鮮明な画像を取得する構成を開示している。

また、特許文献２（特開２００７−０８６７２０号公報）は、撮影対象の複数の異なる偏光方向の輝度情報を取得し、各偏光方向の輝度に正弦波をあてはめ、その正弦波の最小値を選択することで、被写体前方のガラス面等の反射面からの反射光を除去した画像を取得する構成を開示している。

特開２０１６−１２６４１０号公報 特開２００７−０８６７２０号公報

上述のように、偏光フィルタを利用することで被写体の手前側にあるガラス等の反射面の映り込み画像の撮像素子に対する入力を低減し、被写体を鮮明に撮像する方法がある。

しかしながら、上述の特許文献１に記載された方式では、偏光フィルタが固定されており、特定の条件、すなわち、偏光フィルタによって、反射光成分の入力が遮断される特定の撮影角度でのみしか期待する反射光除去効果が得られないという問題がある。
具体的には、路上に設置したカメラで車を撮影するような場合、カメラに対して斜めに車が走行していると、偏光フィルタの遮断方向と反射光のＳ波の方向が一致せず十分な反射光の除去効果が得られない。

また、上記の特許文献１、特許文献２において開示された構成は、いずれも反射面の垂直方向に相当する面方向と、カメラの視線方向が成す角度が、特定の角度（ブリュースター角）に一致、またはその近傍であるという特定の条件を満たす場合にのみ効果を発揮する構成であり、この特定の条件を満たさない場合には、反射光の除去効果は得られないという問題がある。

このように、偏光フィルタを用いて、水面やガラス面などの反射光を除去した画像を撮影しようとする場合、反射面の垂直方向に相当する面方向と、カメラの視線方向が成す角度を特定の角度（ブリュースター角）に一致、またはその近傍に設定するという特定の条件下で、画像を撮影することが必要となる。
しかし、この手法では、撮影対象とする被写体を、特定の方向から撮影することが必要となり、様々な自由なアングルでの画像撮影ができなくなるという問題が発生する。

本開示は、例えば上記問題点に鑑みてなされたものであり、上述したブリュースター角によって限定されてしまう特定方向の撮影画像のみならず、様々な方向から撮影した画像から反射光成分を除去することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力部と、
前記画像入力部の取得画像の撮影方向と反射面の法線方向に相当する面方向との成す角度である反射角を取得する角度入力部と、
前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離部と、
を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部が、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力ステップと、
角度入力部が、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力する角度入力ステップと、
反射成分分離部が、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離ステップと、
を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得させる画像入力ステップと、
角度入力部に、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力させる角度入力ステップと、
反射成分分離部に、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去させる反射成分分離ステップと、
を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、様々な方向の撮影画像から反射成分光を除去可能とした画像処理装置、および方法が実現される。
具体的には、例えば、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力部と、取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、強度透過率および強度反射率計算部に出力する角度入力部と、反射角を適用してＳ波およびＰ波各々の強度透過率と強度反射率を計算する計算部と、Ｓ波およびＰ波各々の強度透過率と強度反射率を適用して、画像入力部の取得画像から反射光成分を除去する反射成分分離部を有する。これらの処理により、様々な反射角の撮影画像からの反射光成分除去を可能とした。
本構成により、様々な方向の撮影画像から反射成分光を除去可能とした画像処理装置、および方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

反射面からの反射光の影響が発生する画像撮影構成の一例について説明する図である。 反射成分が反射面で反射した時の、入射光を構成するＳ波とＰ波それぞれの反射率について説明する図である。 偏光フィルタの設定角度である偏光板角度と、偏光フィルタを透過する透過光の輝度との関係を示すグラフを示す図である。 異なる屈折率を持つ界面に光が入射し、反射する様子について説明する図である。 第２領域から、反射面を通過して第１領域に飛び出す透過光（拡散光）の偏光について説明する図である。 反射光と透過光のＳ波とＰ波それぞれの値と入射角との関係を示す図である。 反射光と透過光の双方の光を入射するカメラの視点から観察した時の偏光の様子について説明する図である。 本開示の画像処理装置の一実施例の構成を示す図である。 偏光画像を取得する画像入力部の一例について説明する図である。 偏光画像を取得する画像入力部の一例について説明する図である。 偏光画像を取得する画像入力部の一例について説明する図である。 偏光画像を取得する画像入力部の一例について説明する図である。 本開示の画像処理装置の一実施例の構成を示す図である。 反射角算出を行うジャイロを搭載したカメラの例につい説明する図である。 画像処理装置であるカメラが人の眼を撮影し、虹彩に映り込んだ反射を除去することを想定した例について説明する図である。 デプスマップを利用して被写体の各点における面方向を算出する処理について説明する図である。 本開示の画像処理装置の一実施例の構成を示す図である。 本開示の画像処理装置の一実施例の構成を示す図である。 本開示の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の一実施例の構成を示す図である。 方位角および天頂角について説明する図である。 方位角および天頂角について説明する図である。 方位角および天頂角について説明する図である。 方位角の算出処理例について説明する図である。 方位角の算出処理例について説明する図である。 天頂角の算出処理例について説明する図である。 天頂角の算出処理例について説明する図である。 天頂角の算出処理例について説明する図である。 方位角、天頂角、カメラ角の対応関係例について説明する図である。 天頂角の算出処理例について説明する図である。 方位角、天頂角、反射面傾き角の対応関係例について説明する図である。 本開示の画像処理装置の一実施例の構成を示す図である。 本開示の画像処理装置の一実施例の構成を示す図である。 画像処理装置のハードウェア構成例について説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．反射面からの反射光の影響が発生する画像撮影構成の一例と、用語の定義について
２．偏光フィルタを適用して反射面からの反射光を除去する処理の原理と課題について
３．反射角の角度に応じた画像処理による反射光除去処理について
４．任意の撮影方向の画像から反射光成分を除去した画像を生成する画像処理装置と画像処理方法について
５．その他の実施例について
５−１．屈折率入力部を省略した構成例
５−２．ジャイロセンサを利用した角度入力部の例
５−３．被写体に応じた角度入力処理を実行する角度入力部の例
５−４．デプスセンサを有する角度入力部の例
５−５．反射除去結果呈示部を持つ実施例
５−６．生成画像の画素の輝度に基づいて反射角を推定する実施例
５−７．カメラ装着センサから取得するカメラ姿勢情報を用いて天頂角を算出し、天頂角を入射角（＝反射角）として利用する実施例
６．画像処理装置のハードウェア構成例について
７．本開示の画像処理装置を適用した応用例について
８．本開示の構成のまとめ

［１．反射面からの反射光の影響が発生する画像撮影構成の一例と、用語の定義について］
まず、図１を参照して、反射面からの反射光の影響が発生する画像撮影構成の一例と、用語の定義について説明する。

図１は、反射面からの反射光が発生する画像撮影構成の一例を説明する図である。
図１において、カメラ１０は、水面やガラス面等の反射面５１の奥側の魚を被写体２０として撮影する。
図１では、水面やガラス面等の反射面５１の上側のカメラ１０のある領域をカメラ側領域、反射面５１の下側の被写体（＝魚）２０のある領域を被写体領域として示している。
撮影処理は、カメラ側領域の光源３０、例えば太陽、あるいは室内光等の光源３０の下で行う。

反射面５１は、水面やガラスなどの面であり、光源３０からの光の一部を透過し、一部を反射する。なお、反射面５１は、例えば透明な物質や反透明な物質によって構成される。

このような設定で、カメラ１０による画像撮影を行う場合、反射面５１に撮影方向を向けているカメラ１０には、以下の（ａ），（ｂ）２種類の光が入力される。
（ａ）被写体２０の被写体画像に相当する透過光（拡散光）Ｌｔ
（ｂ）反射面５１の反射面画像に相当する反射光Ｌｒ

（ａ）被写体２０の被写体画像に相当する透過光（拡散光）Ｌｔは、光源３０の光（入射光Ｌｘ）が、水面やガラスなどの反射面５１を透過し、反射面５１内部の被写体２０（＝魚）から反射する光から構成される被写体２０の画像に相当する光である。
（ｂ）反射面５１の反射面画像に相当する反射光Ｌｒは、水面やガラスなどの反射面５１に映り込んだ光源等の外界の景色画像に相当する光である。
カメラ１０には、これら２種類の光が入力する。

結果として、カメラ１０は、これら２つの光の重畳画像を撮影することになる。
従って、カメラ１０の撮影画像は、本来の撮影対象である被写体２０（＝魚）の画像に、水面やガラスなどの反射面５１からの反射光画像が重なった画像となり、反射面からの反射光画像の成分が多い場合には、被写体２０（＝魚）画像が不鮮明になる。

図１において、被写体２０（＝魚）画像に相当する光は、水面やガラスなどの反射面５１の内部（図の下側）から、外部（図の上側＝カメラ側）に向けて示す実線として示している。
図１において、カメラ１０に対する入力光として示す透過光（または拡散光）Ｌｔである。

一方、面やガラスなどの反射面５１からの反射光画像に相当する光は、図１において、カメラ１０に対する入力光として点線で示す反射光Ｌｒ（＝反射成分）である。

なお、反射光Ｌｒ（＝反射成分）に相当する光線が反射面５１で反射する前の状態を入射光Ｌｘと呼び、反射面５１による反射成分に相当する光線が反射光Ｌｒである。
また、反射光Ｌｒ（＝反射成分）が反射面５１に入射して反射する経路が成す面を「入射面５２」と呼ぶ。

図に示す入射光Ｌｘ、反射光Ｌｒ、透過光Ｌｔは、いずれも２つの光成分、Ｐ波（またはＰ偏光）とＳ波（またはＳ偏光）を有する。
光は電磁波であり、進行方向に対して直交して振動する電界と磁界によって構成される。
電界が入射面に平行に振動する光成分、すなわち入射面５１に平行な偏光方向の光をＰ波（Ｐ偏光）と呼ぶ。
一方、電界が入射面に垂直に振動する光成分、すなわち入射面５１に垂直な偏光方向の光をＳ波（Ｓ偏光）と呼ぶ。

反射面５１に直交する線を法線５５とよび、法線５５の反射光Ｌｒ側に向かう方向を法線方向または面方向と呼ぶ。法線方向（面方向）は、図１中の垂直上方向の矢印の向きである。
法線５５と入射光Ｌｘが成す角度を入射角と呼ぶ。
法線５５と反射光Ｌｒが成す角度を反射角と呼ぶ。反射角と入射角は、図１に示すように、同一の角度αとなる。

前述したように、カメラ１０の撮影画像は、本来の撮影対象である被写体２０（＝魚）の被写体画像に、水面やガラスなどの反射面５１に映り込んだ反射光画像が重なった画像となり、反射光成分が多いと、被写体２０（＝魚）の鮮明な画像が得られなくなる。

なお、反射面の垂直方向に相当する面方向と、カメラの視線方向が成す角度を特定の角度（ブリュースター角）に一致、またはその近傍に設定するという特定の条件下で、偏光フィルタを適用して画像を撮影することで反射光を除去した画像を撮影することが可能である。
しかし、この手法では、撮影対象とする被写体を、特定の方向から撮影することが必要となり、様々な自由なアングルでの画像撮影ができなくなるという問題が発生する。
以下、偏光フィルタを適用した撮影処理とその問題点について説明する。

［２．偏光フィルタを適用して反射面からの反射光を除去する処理の原理と課題について］
次に、図２以下を参照して、偏光フィルタを適用して反射面からの反射光を除去する処理の原理と課題について説明する。

図２は反射成分が反射面で反射した時の、入射光Ｌｘを構成するＳ波とＰ波それぞれの反射率を示した図である。
横軸が、入射光Ｌｘの入射角α（＝反射角）、縦軸が反射率（反射光強度／入射光強度）である。
ＲｓがＳ波の反射率、ＲｐがＰ波の反射率である。
ＲｓとＲｐは、反射光Ｌｒに含まれるＳ波とＰ波の量と言い換えることもできる。

図２のグラフの縦軸に示す反射率は、横軸に示す入射角（α）によって異なることが分かる。なお、反射面５１の屈折率によっても反射率は変化する。図２は、図１に示す反射面５１が、ある特定の屈折率を有する場合の例を示している。

図２に示すグラフから理解されるように、入射角（＝反射角）αが、約７０度の辺りに着目すると、Ｐ波の反射率がほぼゼロとなっていることが分かる。
このように、
Ｐ波の反射率≒０
となる入射角をブリュースター角と呼ぶ。

すなわち、入射角（＝反射角）αを、ブリュースター角に設定すると、反射光にはＰ波の成分は含まれず、Ｓ波のみとなる。
従って、反射面５１に対するカメラ１０の方向をブリュースター角に設定して反射光のＰ波を除去し、さらに、カメラ１０に偏光フィルタを装着し、反射光のＳ波を遮断する方向に偏光フィルタを回転させると、偏光フィルタによって反射光のＳ波も除去することができる。

すなわち、このような設定で、画像を撮影すれば、反射面５１からの反射光のＰ波とＳ波、すなわち全ての反射成分を取り除くことが可能となり、透過光の成分のみからなる画像（透過成分画像）を鮮明に撮影することができる。
図１の例では、被写体２０（魚）の鮮明な画像を撮影することができる。
なお、このようなブリュースター角と偏光フィルタを用いた反射成分除去手法は、前述の特許文献１（特開２０１６−１２６４１０号公報）にも記載された従来から、よく知られた手法である。

なお、この方法では、カメラ１０に装着した偏光フィルタを反射光のＳ波を遮断するように調整する必要があるが、偏光フィルタを回して複数回撮影するなどの方法で、３方向以上の偏光方向の画像を取得して、これらの画像を合成することでも反射成分を取り除いた画像を生成することができる。

図３は偏光フィルタの設定角度である偏光板角度と、偏光フィルタを透過する透過光の輝度との関係を示すグラフである。
このグラフに示すように、輝度Ｉは、偏光板角度に応じて変化し、偏光板角度に応じた輝度変化は、正弦波となる。
偏光フィルタ（偏光板）を介した透過光の観測輝度をＩ_ｐｏｌとしたとき、
観測輝度をＩｐｏｌは、以下の（式１）によって示される。

なお、上記（式１）において、各パラメータは以下の意味を持つ。
Ｉ_ｐｏｌ：偏光フィルタ（偏光板）を介した観測輝度
θ_ｐｏｌ：回転させた偏光フィルタ（偏光板）の角度
φ：観測光の位相
Ｉｍａｘ，Ｉｍｉｎ：ｃｏｓ関数の振幅の上限と下限

図３に示すグラフにおいて、輝度がＩｍｉｎとなる角度が、Ｓ波を遮断する偏光フィルタの角度、すなわちブリュースター角である。

上記（式１）に含まれる未知数は、以下の３種類がある。
φ：観測光の位相
Ｉｍａｘ，Ｉｍｉｎ：ｃｏｓ関数の振幅の上限と下限

これらの３つの未知パラメータを算出するためには、偏光フィルタを回して３種類以上の角度で輝度、すなわち（Ｉ_ｐｏｌ）を取得する。
この３つの輝度に正弦波をフィッティングすることで３つの未知数、すなわち正弦波モデルパラメータであるＩｍｉｎ、Ｉｍａｘ、φを得ることができる。

これは、上記（式１）について３つの連立方程式を設定して、３つの未知数を算出する処理に相当する。
すなわち、カメラ１０に装着した偏光フィルタを回して３種類以上の異なる角度で撮影した画像を取得し、上記（式１）の未知のパラメータ、Ｉｍｉｎ、Ｉｍａｘ、Φを算出することができる。
ここで、輝度Ｉｍｉｎは、Ｓ波を遮断して得られる輝度に相当する。

このように、カメラ１０に装着した偏光フィルタを、Ｓ波を遮断するように調整して１回撮影するか、あるいは、偏光フィルタを回して複数回撮影するなどの方法で、３方向以上の偏光方向の画像を取得して、これらの画像を利用した未知パラメータの算出により、反射成分を取り除いた画像を生成することもできる。

しかし、これらの処理は、反射角をほぼブリュースター角に設定して撮影した場合にのみ利用可能な処理である。
すなわち、上述した処理によって反射成分を取り除いた画像は、カメラを特定の方向に向けた撮影した特定方向の画像のみとなる。

反射角がブリュースター角から離れた角度の場合は、図２から分かるように、反射光にはＳ波とＰ波いずれの成分も含まれているので、どのように偏光フィルタを回しても反射光を全て除去することはできない。

このように、反射光成分を除去した鮮明な被写体画像を撮影するためには、カメラの撮影方向がブリュースター角によって限定される一方向に制限されてしまう。
すなわち、反射面の垂直方向に相当する面方向と、カメラの視線方向が成す角度を特定の角度（ブリュースター角）に一致、またはその近傍に設定するという特定の条件下で、画像を撮影することが必要となる。
このように、この手法は、撮影対象とする被写体を、特定の方向から撮影することが必要であり、様々な自由なアングルでの画像撮影ができなくなるという問題が発生する。

本開示の画像処理装置は、この問題を解決し、上述したブリュースター角によって限定されてしまう特定方向の撮影画像のみならず、様々な方向から撮影した画像から反射光成分を除去または削減して、鮮明な被写体画像（透過光画像、または透過光成分画像）を取得する処理を行う。
以下、この処理の詳細について説明する。

［３．反射角の角度に応じた画像処理による反射光除去処理について］
以下、反射角の角度に応じた画像処理を実行して、様々な方向の撮影画像から反射成分を除去する処理について説明する。
図４は、異なる屈折率を持つ界面に光が入射し、反射する様子を示した図である。
図４において、反射面７０の上部領域を第１領域、下部領域を第２領域とする。
図１を参照して説明した入射面５２が、図４の平面（紙面）に相当する。
図４に示す入射光のＰ波は、電界が入射面（図４平面）に平行に振動する光成分であり、図４に示す入射光のＳ波は、電界が入射面に垂直に振動する光成分である。

図４に示す反射面７０によって区分された第１領域と第２領域は、異なる屈折率を有する領域である。
第１領域の屈折率をｎ_１
第２領域の屈折率をｎ_２、
とする。さらに、
入射光の入射角（＝入射光反射角）をα、
拡散光の入射角をβとする。
この時、スネルの法則より、それぞれの値は以下の（式２）を満たすことが知られている。

さらに、フレネルの公式より、鏡面反射におけるＳ波とＰ波それぞれの振る舞いを示す振幅反射率は、以下の（式３）のように示すことができる。

上記（式３）において、
ｒｓは、反射成分のＳ波振幅反射率、
ｒｐは、反射成分のＰ波振幅反射率、
である。

また、反射光の光強度対応の反射率を示す強度反射率は、上記（式３）で算出される振幅反射率の２乗で表すことができる。
ここで、第２領域の第１領域に対する相対屈折率ｎを、
ｎ＝ｎ_２／ｎ_１、
とおき、スネルの法則を用いて、上記（式３）を、反射成分中の各波の光強度、すなわち、
反射成分に含まれるＳ波の光強度Ｒｓ
反射成分に含まれるＰ波の光強度Ｒｐ
これらの値の算出式を求めると、以下の（式４）として表すことができる。

続いて、図４に示す第２領域から、反射面７０を通過して第１領域に飛び出す透過光（拡散光）の偏光について説明する。
この透過光は、第２領域内の被写体画像を形成する光となる。図１に示す例では、被写体２０（魚）の画像を構成する光に相当する。

図５は、第２領域から、反射面７０を通過して第１領域に飛び出す透過光（拡散光）の偏光について説明する図である。
領域設定と、各領域の屈折率は図４と同様の設定である。
第１領域の屈折率をｎ_１
第２領域の屈折率をｎ_２、
とする。

さらに、第２領域から発せられる入射光の入射角（＝入射光反射角）をβ、
第２領域から、反射面７０を通過して第１領域に飛び出す透過光（拡散光）の屈折角をαとする。
この時、これらの各パラメータｎ_１，ｎ_２，α、βは、先に説明したスネルの法則（式２）を満たす。

さらに、フレネルの公式より、透過光（拡散光）のＳ波とＰ波それぞれの振る舞いを示す振幅透過率は、以下の（式５）のように示すことができる。

上記（式５）において、
ｔｓは、透過光（拡散光）のＳ波振幅透過率、
ｔｐは、透過光（拡散光）のＰ波振幅透過率、
である。

また、透過光の光強度対応の透過率を示す強度透過率Ｔｓ、Ｔｐは、以下の（式６）で表すことができる。

ここで、第２領域の第１領域に対する相対屈折率ｎを、
ｎ＝ｎ_２／ｎ_１、
とおき、スネルの法則を用いて、上記（式５）を、透過成分中の各波の光強度、すなわち、
透過光に含まれるＳ波の光強度Ｔｓ
透過光に含まれるＰ波の光強度Ｔｐ
これらの値の算出式を求めると、以下の（式７）として表すことができる。

上述した、反射光と透過光のＳ波とＰ波それぞれの値を入射角ごとにプロットすると、図６に示すグラフが得られる。図６には以下の２つのグラフを示している。
（Ａ）反射光の入射角と反射率との対応関係データ
（Ｂ）透過光の入射角と透過率との対応関係データ
なお、図６に示すグラフは、第１領域と第２領域の相対屈折率（ｎ＝ｎ_２／ｎ_１）が、１．６の場合の例である。

図６に示す２つのグラフのいずれにおいても、Ｓ波とＰ波とでは、入射角に対する強度変化の態様が異なっていることが理解される。
すなわち、このふるまいの違いが反射光において無偏光の光が偏光する要因である。この偏光光の違いは人間の目や通常のイメージセンサでは取得できない。光の偏光の様子を観測するためには偏光子や偏光フィルタが使用されるが、以下では偏光フィルタをカメラの前に配置したときに観測される光の強度に関して説明する。

まず、屈折率の異なる２つの領域の境界の境界面（反射面）において反射する反射光と、境界面（反射面）を透過する透過光、各々の反射前、および透過前の入射光の強度を以下の強度とする。
反射光の反射前の入射光の光の強度をＩ^ｒ、
透過光の透過前の入射光の光の強度をＩ^ｔ、
これらの光強度とする。

この時、反射光と、透過光のＳ波と、Ｐ波の強度は前記の強度をＳ波とＰ波それぞれ半分に分けた上で、上記で説明した強度反射率や強度透過率を乗算した値となるので、以下に示す（式８）として表すことができる。

図７は、反射光と透過光の双方の光を入射するカメラの視点から観察した時の偏光の様子を示している。
図７は、図７（参考図）に示すように、カメラ側から見たカメラに対する入射光の解析図である。
図７平面の手前にカメラがあり、図７平面の奥側から透過光と反射光の双方を含む観測光が、カメラに入力する。観測光は、カメラに垂直な入射面に沿って進む。
図７に示す入射面の線は、図７の平面に垂直方向に広がる平面であり、この入射面に沿って図７の奥側から手前側（カメラ側）に向けて光が進行する。

カメラに入射する光である観測光には、透過光と反射光の双方が含まれる。
図７には、透過光と反射光からなる観測光に含まれるＰ波とＳ波の強度をそれぞれ実線の矢印で示している。
図７に示すＰ波８１、Ｓ波８２である。

カメラの前に偏光フィルタを配置したとき、その透過偏光方向が図７に二重線で示した透過偏光方向８５であったとする。
なお、この透過偏光方向８５の入射面からの傾き角度をτとする。
偏光フィルタを透過し、カメラにおいて観測されるＰ波とＳ波の強度は図７に点線で示した強度となる。
図７に示すフィルタ透過光のＰ波成分８６、フィルタ透過光のＳ波成分８７である。

図７に示すフィルタ透過光のＰ波成分８６は、入射面に平行なＰ波８１のベクトルの偏光フィルタの透過偏光方向８５の成分に相当する。
また、図７に示すフィルタ透過光のＳ波成分８７は、入射面に垂直なＳ波８２のベクトルの偏光フィルタの透過偏光方向８５の成分に相当する。
このような関係に基づいて、偏光フィルタを透過し観測される反射光の強度Ｉ^ｒ _ｐｏｌは、以下の（式９）によって表すことができる。

同様に偏光フィルタを透過し観測される透過光の強度Ｉ^ｔ _ｐｏｌは、以下の（式１０）によって表すことができる。

さらに、カメラによって観測される光の強度は透過光と反射光を加算したものであるから、この透過光と反射光を含むカメラの観測光の強度Ｉ_ｐｏｌは、以下の（式１１）によって表すことができる。

ここで、カメラと偏光フィルタの透過偏光方向と入射面の方向の関係を考える。
カメラで取得される画像平面の水平方向をＸ軸、垂直方向をＹ軸とした時の、Ｙ軸と偏光フィルタの透過偏光方向の相対的な角度は容易に取得できるが、入射面の方向は容易には取得できない。
すなわち、図７を参照して説明した「入射面」と、「偏光フィルタの透過偏光方向」との角度τが不明である。
そこで、カメラ取得画像の垂直方向「Ｙ軸」と偏光フィルタの透過偏光方向の相対的な角度をθとし、Ｙ軸と入射面の方向の相対的な未知の角度をΦとすると、上記の（式１１）は以下の（式１２）のように書き換えることができる。

反射角および相対屈折率が既知の場合、すでに説明してきたように、
反射光の光強度対応の反射率を示す強度反射率Ｒｓ、Ｒｐと、
透過光の光強度対応の透過率を示す強度透過率Ｔｓ、Ｔｐ、
これらの値については、先に説明した（式４）、（式７）を適用して計算することができる。

また、カメラ取得画像の垂直方向「Ｙ軸」と偏光フィルタの透過偏光方向の相対的な角度θは、カメラに装着した偏光フィルタの設定角度に従って決定される角度であり、偏光フィルタの設定角度に基づいて算出できる。

従って、上記の（式１２）は、
反射光の反射前の入射光の光の強度：Ｉ^ｒ、
透過光の透過前の入射光の光の強度：Ｉ^ｔ、
カメラ取得画像の垂直方向「Ｙ軸」と入射面の方向の相対的な角度：Φ、
これらの３つの未知数を持つ三変数の関数と考えることが可能である。

３つの未知数を持つ式から、３つの未知数を導くためには、３種類の式からなる連立方程式を得ればよい。
このためには、カメラに装着した偏光フィルタの回転等による偏光方向制御により、角度θを３種類以上の異なる設定として画像撮影を行う。すなわち、カメラ取得画像の垂直方向「Ｙ軸」と偏光フィルタの透過偏光方向の相対的な角度θを少なくとも三通りに変化させて撮影処理を実行して、上記（式１２）のＩ_ｐｏｌの値、すなわち、カメラの観測光強度Ｉ_ｐｏｌの値を取得する。

この処理によって、３種類の式からなる連立方程式を取得し、この連立方程式を解くことで上記（式１２）の３つの未知数、すなわち、
反射光の反射前の入射光の光の強度：Ｉ^ｒ、
透過光の透過前の入射光の光の強度：Ｉ^ｔ、
カメラ取得画像の垂直方向「Ｙ軸」と入射面の方向の相対的な角度：Φ、
これらの未知数の値を算出することができる。

ここで、透過光の透過前の入射光の光の強度：Ｉ^ｔ、
このＩ^ｔが、カメラの撮影画像に含まれる透過光成分に相当する。従って、このＩ^ｔの値を画素値として設定した画像を生成することで、透過光のみからなる画像、すなわち、反射光と透過光を含む観察画像から反射光成分を除去した透過光のみからなる画像を生成することが可能となる。

なお、
反射光の光強度対応の反射率を示す強度反射率Ｒｓ、Ｒｐと、
透過光の光強度対応の透過率を示す強度透過率Ｔｓ、Ｔｐ、
これらの値の算出式である先に説明した（式４）、（式７）には、相対屈折率ｎ＝ｎ_２／ｎ_１と、反射角αが含まれる。

これらの相対屈折率ｎや反射角αについては、撮影環境に応じて各値を取得することが好ましい。
あるいは、多くの物質の空気との相対屈折率ｎは１．５〜１．６であるので、ｎ＝１．５〜１．６とした設定で演算を行ってもよい。
例えば、空気の屈折率＝ｎ_１と、水やガラス等の物質の屈折率ｎ_２との比である相対屈折率ｎ＝ｎ_２／ｎ_１の値は、ｎ＝１．５〜１．６であり、水中やガラス内の被写体を撮影する場合には、相対屈折率ｎ＝１．５〜１．６として演算を行っても大きな誤差が発生することはない。

反射角αについては、反射面が水平である場合には、例えばカメラの撮影角度を検出するジャイロ等のセンサから取得することも可能である。
以下、具体的な画像処理装置と画像処理方法の実施例について、説明する。

［４．任意の撮影方向の画像から反射光成分を除去した画像を生成する画像処理装置と画像処理方法について］
図８以下を参照して、任意の撮影方向の画像から反射光成分を除去した画像を生成する画像処理装置と画像処理方法について説明する。

図８は、本開示の画像処理装置の一実施例構成を示す図である。
図８に示す画像処理装置１００は、画像入力部１０１、角度入力部１０２、屈折率入力部１０３、強度透過率／強度反射率計算部１０４、反射成分分離部１０５を有する。
画像処理装置１００は、例えば図１に示す環境で撮影した画像、すなわち、反射光と透過光を含む観察光から構成される画像を入力して、この入力画像から、反射光成分を除去した透過光成分のみからなる透過光成分画像１１０を生成する。

画像入力部１０１は、複数方向の異なる偏光画像を入力する。
具体的には、例えば、偏光フィルタの設定されたカメラの偏光フィルタを回転させて撮影した３種類以上の異なる偏光画像を入力する。
あるいは、各画素単位で異なる偏光フィルタを積層した撮像素子を適用した１枚の撮影画像を入力してもよい。この撮像素子構成については、後段で説明する。
以下では、偏光フィルタの設定されたカメラの偏光フィルタを回転させて撮影した３種類以上の異なる偏光画像を入力した場合の処理について説明する。

画像入力部１０１は、複数の偏光方向の異なる偏光画像を入力し、入力画像を反射成分分離部１０５に入力する。
反射成分分離部１０５は、強度透過率／強度反射率計算部１０４において計算された強度透過率と、強度反射率に基づき、取得された画像から反射成分を分離して、透過光成分のみからなる透過光成分画像１１０を生成して出力する。

強度透過率／強度反射率計算部１０４は、角度入力部１０２および屈折率入力部１０３から入力された、各撮影画像（シーン）における被写体の反射角α、および相対屈折率ｎ＝ｎ_２／ｎ_１に基づき、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。

なお、強度透過率／強度反射率計算部１０４については、反射成分分離部１０５と別の独立した構成とすることなく、反射成分分離部１０５内の一構成要素としてもよい。
このような構成では、反射成分分離部１０５内の強度透過率／強度反射率計算部１０４が、角度入力部１０２および屈折率入力部１０３から反射角α、および相対屈折率ｎ＝ｎ_２／ｎ_１を入力して、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。さらに、同じ反射成分分離部１０５において、この計算結果に基づき、画像入力部１０１の取得画像から反射成分を分離して、透過光成分のみからなる透過光成分画像１１０を生成して出力する。
以下、各部の詳細を説明する。

画像入力部１０１は、複数の異なる方向の偏光画像を取得する。複数方向の偏光画像とは、カメラの前に偏光フィルタを配置して撮影する際に、偏光フィルタを異なる方向に回転させて複数枚撮影することで得られる複数の画像を意味する。

複数の偏光画像を取得する方法としては様々な手段が考えられる。
複数の偏光画像を取得する方法の一例について、図９を参照して説明する。
例えば図９に示すように、３台以上の複数のカメラａ，１２０，カメラｂ，１３０，カメラｃ，１４０を配置する。さらに各カメラａ〜ｃ，１２０〜１４０の前面に異なる方向の偏光フィルタ１２１ａ，１３１ａ，１４１ａを配置して、画像撮影を行うことで各カメラａ〜ｃ，１２０〜１４０の撮像素子１２２ａ〜１４２ｃには、複数の異なる方向の偏光画像が撮影される。

この場合、例えばカメラａ１２０の偏光フィルタａ１２１の設定角度（透過偏光方向に相当）を０度に設定し、カメラｂ１３０の偏光フィルタｂ１３１の設定角度を６０度に設定し、カメラｃ１４０の偏光フィルタｃ１４１の設定角度を１２０度に設定して、同時に画像を撮影する。この撮影処理により、３つの異なる偏光方向の偏光画像を撮影することができる。

なお、上述した偏光フィルタの設定角度は、一例であり、３つの角度が全て異なっていればどのような角度の組み合わせでも良い。また、カメラが４台以上であっても構わない。

複数方向の偏光画像を取得する手段としては、図１０に示すカメラ１５０を利用した方法も考えられる。
カメラ１５０は複数回、時分割で画像を撮影する。カメラ１５０には、回転することが可能な回転可能偏光フィルタ１５１が装着されている。
回転可能偏光フィルタ１５１は、カメラ１５０の各回の撮影毎に、所定角度回転する。

例えば、図に示すように各撮影タイミングｔ１，ｔ２．ｔ３において、回転可能偏光フィルタ１５１は異なる角度に設定される。例えば、１回の回転で４５度回転する。このカメラ１５０を用いて３回の画像撮影を行うことで、複数方向の偏光画像を取得することができる。

本実施例では、このような方法で３方向の偏光画像を取得する場合を考える。
すなわち、
透過偏光方向＝０度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^０とし、
透過偏光方向＝４５度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^４５とし、
透過偏光方向＝９０度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^９０とする。

さらに、図１１に示すような偏光画像撮影カメラ１６０を用いて画像を撮影してもよい。
図１１に示す偏光画像撮影カメラ１６０は、特殊なイメージセンサ、すなわち偏光子積層撮像素子１６２を搭載している。
偏光子積層撮像素子１６２は、撮像素子を構成する各画素単位で異なる偏光方向を持つ偏光フィルタ（偏光子）を積層した構成を持つ。

偏光子積層撮像素子１６２を構成する各画素には、それぞれ特定方向に偏光した光だけを通過させる光フィルタとして機能する偏光子が設けられている。偏光子の下に偏光子を通過した光を受光する光電変換素子が設けられている。

偏光子積層撮像素子１６２を構成する各画素に設定される偏光子は、例えば２×２＝４画素を一単位として、これら４画素が、それぞれ異なる偏光方向の光のみを通過させる構成となっている。
図１１右下に示す偏光子積層撮像素子１６２の各画素に示すハッチングが偏光方向を示す。

図１１（ａ）偏光子積層撮像素子の偏光方向例は、偏光子積層撮像素子１６２の各画素の偏光方向を矢印で示した図である。
例えば、左上端の４つの画素ａ，ｂ，ｃ，ｄの偏光方向は以下の設定である。
画素ａの偏光方向は、垂直方向（０度）であり、画素ａは垂直偏光のみを受光する。
画素ｂの偏光方向は、右上斜め方向（４５度）であり、画素ｂは右上斜め方向の偏光のみを受光する。
画素ｃの偏光方向は、右下斜め方向（１３５度）であり、画素ｃは右下斜め方向の偏光のみを受光する。
画素ｄの偏光方向は、水平方向（９０度）であり、画素ｄは水平偏光のみを受光する。

なお、上述の説明において、垂直方向、右上斜め方向、右下斜め方向、水平方向とは、カメラに対する方向であり、カメラの横方向を水平方向、カメラの縦方向を垂直方向とした場合の方向である。従って、カメラの傾きに応じて各画素の偏光方向は変化する。

図１２は、図１１を参照して説明した偏光子積層撮像素子１６２の断面構成例である。図１２に示すように、偏光子積層撮像素子１６２の断面は、上（撮像素子表面）から下（撮像素子内部）にかけて、以下の各層が構成された積層構成を有する。
（１）シリコンレンズ、
（２）偏光子、
（３）光電変換素子、
これら（１）〜（３）の各層を有する積層構成となっている。

画像撮影によって撮像素子に入力する光は、シリコンレンズを介して、偏光子を通過し、光電変換素子によって受光される。

なお、図１１、図１２を参照して説明した例では、偏光子積層撮像素子１６２は、２×２＝４画素を一単位としてそれぞれ異なる偏光方向光を通過させる構成であり、このような４画素単位の構成が繰り返し設定されて、偏光子積層撮像素子１６２の全画素が構成される。

偏光子積層撮像素子１６２は、２×２＝４画素単位で、４つの異なる偏光方向の偏光画像を撮影する構成であり、４つの異なる偏光画像を得ることができる。
なお、１つの偏光画像は、４画素単位で１つのみの画素値を有するので、他の３画素には同一画素値を設定する。この処理により、解像度は低下するが４つの異なる偏光画像を１回の撮影処理で取得することができる。

なお、図１１に示す例は、４画素単位で４つの偏光画像を取得可能な撮像素子の構成であるが、偏光方向は３方向以上であればよく、また偏光方向の設定も図１１に示す例に限らず、様々な方向の設定が可能である。

図８に示す画像処理装置１００の画像入力部１０１は、例えば図９、図１０、あるいは図１１〜図１２を参照して説明したカメラによって撮影された３種類以上の異なる偏光画像を取得して、反射成分分離部１０５に入力する。

角度入力部１０２は、画像入力部１０１の入力する入力画像の各画素に対応する反射角（α）を取得し、強度透過率／強度反射率計算部１０４に入力する。
画像の各画素に対応する反射角の取得方法には様々なものが考えられるが、例えば入力画像の撮影を行うカメラの撮影角度に応じてユーザ（撮影者）が入力した角度データをメモリに格納し、その格納データを利用して、画像の各画素に対応する反射角を算出することが可能である。

あるいは、カメラに備えられた角度センサ等の情報を入力画像の属性情報として設定して画像とともに入力してメモリに格納し、その格納データを利用して、画像の各画素に対応する反射角を算出する構成としてもよい。
あるいは、予めメモリに４５度などの規定角度情報を格納し、その角度情報を画像の各画素に対応する反射角として利用する設定としてもよい。
なお、画像を構成する画素ごとに異なる厳密な画素単位の反射角を算出してもよいが、簡易的に画像の構成画素の全て、あるいは所定領域単位の画素群単位で共通の同一の反射角を設定して利用する構成としてもよい。

角度入力部１０２は、例えば上記のいずれかの方法により、画像入力部１０１の入力する入力画像の各画素に対応する反射角（α）を取得し、強度透過率／強度反射率計算部１０４に入力する。

屈折率入力部１０３は、画像入力部１０１の入力する入力画像の各画素に対応する相対屈折率を取得し、強度透過率／強度反射率計算部１０４に入力する。
なお、相対屈折率は、画像の構成画素の全てに共通の値として構わない。

相対屈折率の取得方法には様々なものが考えられるが、例えば入力画像の撮影を行うユーザ（撮影者）が入力した相対屈折率（ｎ＝ｎ_２／ｎ_１）のデータをメモリに格納し、その格納データを利用することが可能である。
あるいは、例えば、予めメモリに１．５などの相対屈折率（ｎ＝ｎ_２／ｎ_１）データを格納し、その格納データを利用してもよい。

前述したように、多くの物質の空気との相対屈折率ｎは１．５〜１．６であるので、ｎ＝１．５、あるいはｎ＝１．６とした固定の相対屈折率データをメモリに格納して、この格納データを利用することが可能である。
空気の屈折率は、約１．０であり、水の屈折率は、約１．３３、ガラスの屈折率は、約１．４〜２．０等、物質によって屈折率は多少、異なるが、空気以外の物質の多くは、屈折率＝１．３〜１．６程度の物質である。
被写体の存在する領域が水中か、ガラス内かによって、ユーザが、その領域の屈折率に応じた相対屈折率を入力する設定としてもよい。

屈折率入力部１０３は、例えば上記のいずれかの方法により、画像入力部１０１の入力する入力画像の各画素に対応する相対屈折率を取得し、強度透過率／強度反射率計算部１０４に入力する。

強度透過率／強度反射率計算部１０４は、画像入力部１０１の入力する入力画像の各画素に対応する反射角および相対屈折率を取得し、画像の各画素に対応する強度透過率および強度反射率を計算する。

具体的には、画像入力部１０１の入力する入力画像の各画素ｉに対応する反射角をα_ｉとし、各画素に対応する相対屈折率をｎ_ｉとしたとき、強度透過率／強度反射率計算部１０４は、以下の各値の算出処理を実行する。
（ａ）画素ｉにおける反射光のＳ波の強度反射率Ｒｓ_ｉ、
（ｂ）画素ｉにおける反射光のＰ波の強度反射率Ｒｐ_ｉ、
（ｃ）画素ｉにおける透過光のＳ波の強度透過率Ｔｓ_ｉ、
（ｄ）画素ｉにおける透過光のＰ波の強度透過率Ｔｐ_ｉ

（ａ）画素ｉにおける反射光のＳ波の強度反射率Ｒｓ_ｉ、
（ｂ）画素ｉにおける反射光のＰ波の強度反射率Ｒｐ_ｉ、
これらの各値は、先に説明した（式４）を利用して算出する。

さらに、
（ｃ）画素ｉにおける透過光のＳ波の強度透過率Ｔｓ_ｉ、
（ｄ）画素ｉにおける透過光のＰ波の強度透過率Ｔｐ_ｉ
これらの各値は、先に説明した（式７）を利用して算出する。

なお、これら（式４）、（式７）において必要となる、
反射角（α）
相対屈折率（ｎ＝ｎ_２／ｎ_１）、
これらの各値は、角度入力部１０２、屈折率入力部１０３からの入力値を適用する。

強度透過率／強度反射率計算部１０４の算出した、入力画像の各画素ｉに対応する強度反射率Ｒｓ_ｉ、Ｒｐ_ｉと、強度透過率Ｔｓ_ｉ、Ｔｐ_ｉ、これらの値は、反射成分分離部１０５に入力される。

反射成分分離部１０５は、画像入力部１０１から入力された入力画像の画素値を修正し、各画素の反射成分を除去した画素値を算出して、透過光成分画像１１０を生成する。
反射成分分離部１０５は、この画素値算出処理に、強度透過率／強度反射率計算部１０４から入力した各画素の強度透過率と強度反射率を用いる。すなわち、以下の各値を利用して、各画素の反射成分を除去した画素値を算出する。
（ａ）画素ｉにおける反射光のＳ波の強度反射率Ｒｓ_ｉ、
（ｂ）画素ｉにおける反射光のＰ波の強度反射率Ｒｐ_ｉ、
（ｃ）画素ｉにおける透過光のＳ波の強度透過率Ｔｓ_ｉ、
（ｄ）画素ｉにおける透過光のＰ波の強度透過率Ｔｐ_ｉ

反射成分分離部１０５の実行する具体的な処理例について説明する。
なお、画像入力部１０１から入力された入力画像は、以下の３種類の偏光画像であるとする。
透過偏光方向＝０度で取得した偏光画像Ｉ^０、
透過偏光方向＝４５度で取得した偏光画像Ｉ^４５、
透過偏光方向＝９０度で取得した偏光画像Ｉ^９０、
これらの３種類の偏光画像が画像入力部１０１から入力された入力画像である。

また、これら３つの偏光画像の画素ｉの画素値を以下のように定義する。
透過偏光方向＝０度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^０とし、
透過偏光方向＝４５度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^４５とし、
透過偏光方向＝９０度で取得した偏光画像の各画素ｉの画素値をＩ_ｉ ^９０とする。
なお、これらの各画素値は、いずれも反射光成分と透過光成分を含む観測画素値である。

反射成分分離部１０５は、まず、画像入力部１０１から入力された３つの偏光画像Ｉ^０、Ｉ^４５、Ｉ^９０の各画素ｉにおける画素値Ｉ_ｉ ^０、Ｉ_ｉ ^４５、Ｉ_ｉ ^９０を取得し、さらに、
（ａ）画素ｉにおける反射光のＳ波の強度反射率Ｒｓ_ｉ、
（ｂ）画素ｉにおける反射光のＰ波の強度反射率Ｒｐ_ｉ、
（ｃ）画素ｉにおける透過光のＳ波の強度透過率Ｔｓ_ｉ、
（ｄ）画素ｉにおける透過光のＰ波の強度透過率Ｔｐ_ｉ
これらの各値を取得する。
これらの値は、強度透過率／強度反射率計算部１０４から入力した値である。

反射成分分離部１０５は、これらの取得値に基づいて、以下の３つの観測画素値算出式からなる連立方程式（式１３）を設定する。

上記（式１３）は、先に（式１２）を参照して説明した観測画素値算出式と同様の式であり、先に説明したように、反射光成分と透過光成分を含む観測画素値の算出式である。

上記の（式１３）において、
透過偏光方向＝０度で取得した偏光画像の各画素ｉの画素値（観測画素値）をＩ_ｉ ^０、
透過偏光方向＝４５度で取得した偏光画像の各画素ｉの画素値（観測画素値）をＩ_ｉ ^４５、
透過偏光方向＝９０度で取得した偏光画像の各画素ｉの画素値（観測画素値）をＩ_ｉ ^９０、
これらの画素値は、入力偏光画像から得られる画素値（観測画素値）であり既知である。

また、
（ａ）画素ｉにおける反射光のＳ波の強度反射率Ｒｓ_ｉ、
（ｂ）画素ｉにおける反射光のＰ波の強度反射率Ｒｐ_ｉ、
（ｃ）画素ｉにおける透過光のＳ波の強度透過率Ｔｓ_ｉ、
（ｄ）画素ｉにおける透過光のＰ波の強度透過率Ｔｐ_ｉ
これらの各値は、強度透過率／強度反射率計算部１０４から入力した値であり、既知である。

従って、上記の（式１３）に含まれる未知数は、以下の３つの値である。
画素ｉにおける反射光の反射前の入射光の光の強度：Ｉ_ｉ ^ｒ、
画素ｉにおける透過光の透過前の入射光の光の強度：Ｉ_ｉ ^ｔ、
カメラ取得画像の垂直方向「Ｙ軸」と入射面の方向の相対的な角度：Φ、
上記の（式１３）は、この３つの変数（未知数）を持つ連立方程式である。

（式１３）は、これら３変数に対して３つの式が存在する連立方程式であり、この連立方程式を解くことで３つの変数、Ｉ_ｉ ^ｒ、Ｉ_ｉ ^ｔ、Φを算出することができる。

ここで、透過光の透過前の入射光の光の強度：Ｉ_ｉ ^ｔ、
このＩ_ｉ ^ｔが、カメラの撮影画像に含まれる透過光成分に相当する。
反射成分分離部１０５は、このＩ_ｉ ^ｔの値を画素値として設定した画像を透過光成分画像１１０として生成して出力する。
この透過光成分画像１１０は、反射光と透過光を含む観察画像から反射光成分を除去した透過光成分のみからなる画像となる。

図８に示す画像処理装置は、このような処理を行うことで、カメラの設定角度、すなわち反射面に対する角度が、特定の角度（ブリュースター角）である場合に限らず、様々な方向から撮影した任意方向の画像から反射成分を取り除くことが可能となり、鮮明な被写体画像（＝透過光成分画像）を生成して出力することが可能となる。

なお、上述した実施例では、画像入力部１０１から、３種類の異なる偏光方向の偏光画像を入力して処理を行う実施例について説明したが、入力画像として、偏光フィルタを介さない通常の撮影画像である無偏光画像と、２種類の異なる偏光方向の偏光画像を組み合わせても、上記の実施例に従った処理が可能である。
すなわち、画像入力部１０１からの入力画像に無偏光画像が含まれていても、反射成分を取り除くことが可能であり、鮮明な被写体画像（＝透過光成分画像）を生成して出力することが可能となる。

また、前述したように、強度透過率／強度反射率計算部１０４は、反射成分分離部１０５内の構成要素としてもよい。すなわち、反射成分分離部１０５が、角度入力部１０２および屈折率入力部１０３から反射角α、および相対屈折率ｎ＝ｎ_２／ｎ_１を入力して、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。さらに、同じ反射成分分離部１０５において、この計算結果に基づき、画像入力部１０１の取得画像から反射成分を分離して、透過光成分のみからなる透過光成分画像１１０を生成して出力する構成としてもよい。

［５．その他の実施例について］
次に、上述した実施例とは異なる構成、または異なる処理を実行する実施例について説明する。

（５−１．屈折率入力部を省略した構成例）
先に図８を参照して説明した画像処理装置１００は、反射角αを入力する角度入力部１０２と、相対屈折率（ｎ＝ｎ_２／ｎ_１）を入力する屈折率入力部１０３を有していた。
これらのパラメータ入力部から、屈折率入力部１０３を省略した構成も可能である。

図１３に屈折率入力部１０３を省略した画像処理装置２００の構成例を示す。
図１３に示す画像処理装置２００は、画像入力部１０１、角度入力部１０２、強度透過率／強度反射率計算部１０４、反射成分分離部１０５を有する。
図８を参照して説明した画像処理装置１００に含まれる屈折率入力部１０３を持たない構成である。

図１３に示す画像処理装置２００も、図８に示す画像処理装置１００と同様、例えば図１に示す環境で撮影した画像、すなわち、反射光と透過光を含む観察光から構成される画像を入力して、この入力画像から、反射光成分を除去した透過光成分のみからなる透過光成分画像１１０を生成する。

図１３に示す画像処理装置２００の強度透過率／強度反射率計算部１０４は、予め設定した固定の相対屈折率ｎに基づき強度透過率と強度反射率を計算する。
空気の屈折率は、約１．０であり、水の屈折率は、約１．３３、ガラスの屈折率は、約１．４〜２．０等、物質によって屈折率は多少、異なるが、空気以外の物質の多くは、屈折率＝１．３〜１．６程度の物質である。

これらのことを考慮し、図１３に示す画像処理装置２００の強度透過率／強度反射率計算部１０４は、予め設定した固定の相対屈折率ｎ、例えば固定の相対屈折率ｎ＝１．４５を用いて強度透過率と強度反射率を計算する。

なお、メモリに、透過光を出力する領域の物質に応じた相対屈折率データを格納し、画像撮影時に、その物質に応じた相対屈折率データを選択して適用する構成としてもよい。
例えば、透過光を出力する領域が水である場合は、相対屈折率ｎ＝１．３３、ガラスである場合は、相対屈折率＝１．５等、物質対応の屈折列データを適用する構成としてもよい。

また、前述した実施例と同様、強度透過率／強度反射率計算部１０４は、反射成分分離部１０５内の構成要素としてもよい。すなわち、反射成分分離部１０５が、角度入力部１０２および屈折率入力部１０３から反射角α、および相対屈折率ｎ＝ｎ_２／ｎ_１を入力して、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。さらに、同じ反射成分分離部１０５において、この計算結果に基づき、画像入力部１０１の取得画像から反射成分を分離して、透過光成分のみからなる透過光成分画像１１０を生成して出力する構成としてもよい。

（５−２．ジャイロセンサを利用した角度入力部の例）
図８、または図１３に示す画像処理装置に設定される角度入力部１０２は、反射角αを強度透過率／強度反射率計算部１０４に入力する。
先に図８を参照して説明したように、この角度入力部１０２は、画像入力部１０１の入力する入力画像の各画素に対応する反射角（α）を取得し、強度透過率／強度反射率計算部１０４に入力する。

前述したように、画像の各画素に対応する反射角の取得方法には様々なものが考えられるが、例えば入力画像の撮影を行うカメラの撮影角度に応じてユーザ（撮影者）が入力したデータをメモリに格納し、その格納データを利用することが可能である。
あるいは、カメラに備えられた角度センサ等の情報を入力画像の属性情報として設定して画像とともに入力してメモリに格納し、その格納データを利用してもよい。
あるいは、予めメモリに４５度などの規定角度を格納し、その角度情報を利用する設定としてもよい。

角度入力部１０２は、例えば上記のいずれかの方法により、画像入力部１０１の入力する入力画像の各画素に対応する反射角（α）を取得し、強度透過率／強度反射率計算部１０４に出力する。

角度入力部１０２は、画像撮影を実行するカメラ自身の姿勢を計測可能なジャイロを持つ構成とすることができる。被写体の面方向が既知の場合、ジャイロで計測した自身の姿勢に基づき、被写体の面方向を計算することが可能となる。
例えば水面の反射を除去することのみを実現したい場合には、水面の面方向（法線方向）は必ず垂直であると仮定することが可能である。

例えば、図１４に示すように、画像撮影を行う画像処理装置（カメラ）３００に搭載したジャイロが計測した画像処理装置（カメラ）３００の傾きは反射角αに等しい値となる。
このジャイロの計測した画像処理装置（カメラ）３００の傾きを、角度入力部２００が、強度透過率／強度反射率計算部１０４に出力する反射角αとして利用することができる。

（５−３．被写体に応じた角度入力処理を実行する角度入力部の例）
次に、被写体に応じた角度入力処理を実行する角度入力部１０２の例について説明する。
前述したように、図８、または図１３に示す画像処理装置に設定される角度入力部１０２は、反射角αを強度透過率／強度反射率計算部１０４に出力する。
以下に説明する例は、撮影被写体が、予め規定した特定の被写体である場合、画像処理装置が保持する特定被写体の形状のモデルに基づいて、角度入力部１０２が画像の各画素対応の被写体の面方向を推定し、推定した面方向に基づいて各画素対応の反射角αを算出して、算出した反射角αを強度透過率／強度反射率計算部１０４に出力する処理例である。

図１５を参照してこの実施例について説明する。
図１５は、画像処理装置であるカメラが人の眼を撮影し、虹彩に映り込んだ反射を除去することを想定した例について説明する図である。
すなわち、画像処理装置は、メモリに特定被写体の形状モデルとして、眼球モデルを保持する。

眼球モデルとしては、図１５に示すＧｕｌｌｓｔｒａｎｄモデル４０１を使用することができる。このモデルは眼球が２つの球から構成されており、小さい球が角膜４０２に相当する。角膜４０２は、中心ｎの小さい球である。眼球画像から虹彩４０３に相当する領域（図中の丸４０３で囲まれる領域）を認識することで、モデルを当てはめることができる。従って、例えば図１５の虹彩４０３内の虹彩一部領域４０４の位置の面方向は、図１５に示すように、虹彩の中心ｎから延びる直線として示す面方向（法線方向）４０５であると判定することができる。

この面方向（法線方向）と、カメラの撮影方向とのなす角度が反射角αに相当する。
カメラの撮影方向は、眼の正面方向であり、図に示す反射角αが、虹彩一部領域４０４の画素位置の反射角となる。
角度入力部１０２は、この角度αを算出し、この角度を虹彩一部領域４０４の画素位置に対応する反射角αとして強度透過率／強度反射率計算部１０４に出力する。

このように撮影画像に含まれる被写体の形状が特定できる場合は、その被写体画像の各画素位置の面方向を推定し、各画素対応の反射角を計算することができる。
角度入力部１０２は、このようにして、各画素対応の反射角を計算した結果を強度透過率／強度反射率計算部１０４に出力する構成とすることが可能である。

（５−４．デプスセンサを有する角度入力部の例）
次に、デプスセンサを有する角度入力部１０２の例について説明する。
前述したように、図８、または図１３に示す画像処理装置に設定される角度入力部１０２は、反射角αを強度透過率／強度反射率計算部１０４に出力する。
以下に説明する例は、角度入力部１０２が、デプスセンサを有する構成とした実施例である。

デプスセンサとしては、例えばステレオカメラ、ＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）カメラ、Ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ方式のデプスセンサなどが利用可能である。
デプスセンサを有する角度入力部１０２は、デプスセンサによって得られる被写体距離情報を有するデプスマップを生成し、このデプスマップに記録される距離データを微分することによって被写体の各点における面方向を算出する。
さらに、算出した面方向から、被写体の各点の反射角を算出する。
図１６を参照してこの実施例について説明する。

図１６（ａ）は画像処理装置（カメラ）の撮影画像の例を示している。撮影画像５０１のある画素１，２を例として説明する。
画像処理装置の角度入力部１０２は、撮影画像の各画素単位の被写体のカメラからの距離を計測するデプスセンサを有している

図１６（ｂ）は、画素１，２について計測した距離情報の例である。
画素２の距離と、画素１の距離は、図１６（ｂ）に示すように画素２が画素１より遠方にあり、図に示すような配置にあることが、デプスセンサの計測情報によって生成されるデプスマップから判定される。

画像処理装置の角度入力部１０２は、図１６（ｂ）に示すような画素単位の距離情報に基づいて、図１６（ｃ）に示すように、画素１と画素２の形成する平面を推定することができる。
画像処理装置の角度入力部１０２は、この平面に垂直な方向を面方向（法線方向）と推定する。
法線方向と、カメラの撮影方向とのなす角度が反射角αに相当する。
図１６（ｃ）に示す反射角α，５１０である。
角度入力部１０２は、この角度αを算出し、この角度を画素１，２に対応する反射角αとして強度透過率／強度反射率計算部１０４に出力する。

（５−５．反射除去結果呈示部を持つ実施例）
次に、画像処理装置が、反射除去結果呈示部を持つ実施例について説明する。
図１７は、反射除去結果呈示部を持つ画像処理装置６００の構成例を示す図である。
図１７に示す画像処理装置６００は、先に図８や、図１３を参照して説明したと同様の画像入力部６０１、角度入力部６０２、強度透過率／強度反射率計算部６０４、反射成分分離部６０５を有する。さらに、反射除去結果呈示部６０６を有する。

反射除去結果呈示部６０６には反射成分分離部６０５が生成した画像、すなわち入力画像から反射成分を除去して生成される透過成分画像が呈示される。
例えば、画像処理装置６００の操作を行うオペレータは、角度入力部６０２に任意の角度を入力し、反射除去結果呈示部６０６に呈示された画像を確認し、最も良好に反射が除去された画像が呈示される角度を探索する。
なお、角度入力方法として、例えば図に示すツマミのような角度操作部６１０を回して角度を調整するようなユーザーインターフェースを用いる構成とすることが可能である。

（５−６．生成画像の画素の輝度に基づいて反射角を推定する実施例）
次に、生成画像の画素の輝度に基づいて反射角を推定する実施例について説明する。
図１８は、本実施例の画像処理装置の構成例を示す図である。

図１８に示す画像処理装置７００は、先に図８や、図１３を参照して説明したと同様の画像入力部７０１、角度入力部７０２、強度透過率／強度反射率計算部７０４、反射成分分離部７０５を有する。さらに、反射除去結果格納メモリ７０６、反射除去結果比較部７０７を有する。

図１８に示す画像処理装置７００の反射成分分離部７０５は、入力画像の各画素の反射角を様々な設定とした反射成分除去処理を実行し、反射除去結果画像Ａを生成する。
生成した反射除去結果画像Ａは、反射除去結果格納メモリ７０６に格納される。

次に、角度入力部７０２は、強度透過率／強度反射率計算部７０４に入力する反射角を更新する。例えば、
α←α＋Δα
とする反射角更新処理を実行して、更新した反射角αを強度透過率／強度反射率計算部７０４に入力する。

強度透過率／強度反射率計算部７０４は、更新された新たな反射角αに基づいて強度透過率と、強度反射率を算出して、算出値を反射成分分離部７０５に出力する。
反射成分分離部７０５は、強度透過率／強度反射率計算部７０４から入力する新たな反射角αに基づく強度透過率と、強度反射率を適用して新たな反射除去結果画像Ｂを生成して、これを反射除去結果格納メモリ７０６に格納する。

反射除去結果比較部７０７は、反射除去結果格納メモリ７０６から、反射除去結果画像Ａと反射除去結果画像Ｂを取り出し、これら２つの異なる反射角設定の画像の対応画素の輝度を比較し、輝度の小さい画素値を持つ画像を、反射除去効果の高い画像として選択して、これを反射除去結果画像Ａとして、反射除去結果格納メモリ７０６に上書きして格納する。

この処理を繰り返し実行し、最小輝度の画素から構成される画像を生成する。
この処理を行うことで、最終的に、反射成分を最大限に除去した画素から構成される透過成分画像が反射除去結果格納メモリ７０６に格納されることになる。

入力画像の画素は、透過成分と反射成分を加算した輝度が設定されている。
従って、最小輝度の画素値が得られる反射角の設定で生成した画像の画素値は、反射成分が最大限除去され、透過成分のみからなる画素値であると推定される。
本実施例は、この推定処理を利用して透過成分画像を生成するものである。

図１８に示す画像処理装置７００の実行する処理のシーケンスについて、図１９に示すフローチャートを参照して説明する。
（ステップＳ１０１）
まず、ステップＳ１０１において、角度入力部７０２が、初期値の反射角αを０度と設定し、強度透過率／強度反射率計算部７０４に入力する。

（ステップＳ１０２）
次に、強度透過率／強度反射率計算部７０４は、ステップＳ１０２において、角度入力部７０２から入力した反射角αに基づいて、以下の各値を計算する。
反射光の光強度対応の反射率を示す強度反射率Ｒｓ、Ｒｐ、
透過光の光強度対応の透過率を示す強度透過率Ｔｓ、Ｔｐ、
強度透過率／強度反射率計算部７０４は、これらの値を、先に説明した（式４）、（式７）を適用して計算する。
強度透過率／強度反射率計算部７０４は、算出値を反射成分分離部７０５に出力する。

（ステップＳ１０３）
次に、反射成分分離部７０５は、ステップＳ１０３において、強度透過率／強度反射率計算部７０４からの入力値（Ｒｓ・Ｒｐ・Ｔｓ・Ｔｐ）を用いて、画像を構成する各画素に関して反射成分の除去された画素値を計算して、これを処理結果Ａとして、反射除去結果格納メモリ７０６に格納する。
なお、この画素値算出処理は、画像入力部７０１から入力する３種類の異なる偏光画像を用いて、先に説明した（式１３）を適用した処理によって実行する。

（ステップＳ１０４）
続いて、角度入力部７０２は、ステップＳ１０４において、反射角αを予め規定した更新角度Δαだけ増分して、新たな反射角α＝α＋Δαを算出する。
なお、Δαは例えば１度等の設定とする。
角度入力部７０２は、この更新角度αを強度透過率／強度反射率計算部７０４に入力する。

（ステップＳ１０５）
次に、強度透過率／強度反射率計算部７０４は、ステップＳ１０５において、角度入力部７０２から入力した更新された反射角αに基づいて、以下の各値を計算する。
反射光の光強度対応の反射率を示す強度反射率Ｒｓ、Ｒｐ、
透過光の光強度対応の透過率を示す強度透過率Ｔｓ、Ｔｐ、
強度透過率／強度反射率計算部７０４は、これらの値を、先に説明した（式４）、（式７）を適用して計算する。
強度透過率／強度反射率計算部７０４は、算出値を反射成分分離部７０５に出力する。

（ステップＳ１０６）
次に、反射成分分離部７０５は、ステップＳ１０６において、強度透過率／強度反射率計算部７０４からの入力値（Ｒｓ・Ｒｐ・Ｔｓ・Ｔｐ）を用いて、画像を構成する各画素に関して反射成分の除去された画素値を計算して、これを処理結果Ｂとして、反射除去結果格納メモリ７０６に格納する。
なお、この画素値算出処理は、画像入力部７０１から入力する３種類の異なる偏光画像を用いて、先に説明した（式１３）を適用した処理によって実行する。

（ステップＳ１０７）
次に、反射除去結果輝度比較部７０７は、ステップＳ１０７において、反射除去結果格納メモリ７０６に格納された異なる反射角設定の下で生成された処理結果Ａと処理結果Ｂの対応画素の画素値（輝度）の比較を実行し、画素値（輝度）の小さい方の画素値を、反射成分の除去率の高い画素値であると判定し、この画素値を処理結果Ａとして、反射除去結果格納メモリ７０６に格納済みの処理結果Ａに上書きする。

（ステップＳ１０８）
次に、角度入力部７０２は、ステップＳ１０８において、反射角αが９０度未満であるか否かを判定し、９０度未満である場合は、ステップＳ１０４に戻り、反射角αの更新処理を実行し、ステップＳ１０４〜Ｓ１０７の処理を繰り返す。

ステップＳ１０８において、反射角αが９０度未満でないと判定した場合、処理を終了する。
この終了時点で、反射除去結果格納メモリ７０６に格納された処理結果Ａは、反射角α＝０〜９０度の設定で生成された反射成分除去画像中、最も小さい画素値（輝度）を持つ画像となる。この画像が、入力画像（観察画像）から反射成分を除去した透過成分画像となる。

なお、図１９に示すフローは、入力画像のすべての画素に対して実行する。
この処理を行うことで、入力画像（観察画像）から反射成分を除去した透過成分画像を生成することができる。

なお、本実施例においても、前述した実施例と同様、強度透過率／強度反射率計算部７０４は、反射成分分離部７０５内の構成要素としてもよい。すなわち、反射成分分離部７０５が、角度入力部７０２から順次、更新反射角αを入力して、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。さらに、同じ反射成分分離部７０５において、この計算結果に基づき、画像入力部７０１の取得画像から反射成分を分離して、更新反射角α対応の透過光成分画像を、順次、生成して反射除去結果格納メモリ７０６に格納する構成としてもよい。

（５−７．カメラ装着センサから取得するカメラ姿勢情報を用いて天頂角を算出し、天頂角を入射角（＝反射角）として利用する実施例）
次に、カメラ装着センサから取得するカメラ姿勢情報を用いて天頂角を算出して、算出した天頂角を入射角（＝反射角）として利用する実施例について説明する。

図２０は、本実施例の画像処理装置７２０の一構成例を示す図である。
図２０に示す画像処理装置７２０は、先に図８を参照して説明した画像処理装置１００とほぼ同様の構成を有するが、角度入力部１０２の構成が異なる。
図２０に示すように、角度入力部１０２は、方位角算出部７２１、カメラ姿勢取得部７２２、天頂角算出部７２３を有する。

図２０に示す画像処理装置７２０の角度入力部１０２は、天頂角を算出して、算出した天頂角を強度透過率／強度反射率計算部１０４に入力する。
強度透過率／強度反射率計算部１０４では、角度入力部１０２から入力する天頂角を、前述の実施例で説明した入射角（＝反射角）αとして利用した処理を実行する。

すなわち、強度透過率／強度反射率計算部１０４は、角度入力部１０２および屈折率入力部１０３から入力された各撮影画像（シーン）における被写体の天頂角θｖ（＝入射角＝反射角）、および相対屈折率ｎ＝ｎ_２／ｎ_１に基づき、Ｓ波とＰ波各々の強度透過率Ｔｓ，Ｔｐ、および強度反射率Ｒｓ，Ｒｐを計算する。

前述したように、本実施例における角度入力部１０２は、方位角算出部７２１、カメラ姿勢取得部７２２、天頂角算出部７２３を有し、天頂角算出部７２３は、方位角算出部７２１が算出する方位角と、カメラ姿勢取得部７２２から入力するカメラ姿勢情報を利用して天頂角を算出する。

このように、本実施例では、天頂角、方位角、カメラ姿勢を用いた処理を実行する。
まず、これらの各情報について図２１を参照して説明する。
図２１において、反射面７０は、透明あるいは半透明なガラスなどの面である。
カメラ１０は、反射面７０を介して被写体（撮影対象）２０を撮影する。

カメラ１０の撮影方向を示すベクトルをカメラ視線ベクトルｎｖとする。
カメラ１０にはカメラの姿勢を検出するセンサ１５が備えられている。センサ１５は、例えばジャイロ、ＩＭＵ、加速度センサ、傾きセンサ等によって構成され、カメラ視線ベクトルｎｖを求めるために用いられる。
なお、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）は、３軸方向の角度、または角速度、加速度を検出するセンサである。

図２１において、反射面７０の平面をｘｙ平面とし、反射面７０の垂直方向をｚ軸とする。すなわち、反射面７０の垂直方向であるｚ軸方向が、反射面の法線となる。
法線ベクトルｎの方向はｎ＝（ｘ，ｙ，ｚ）＝（０，０，１）として定義される。

図２１に示すように、カメラ視線ベクトルｎｖは、カメラによる撮影方向を示すベクトルであり、カメラ１０位置を起点とし、カメラ１０視線方向の反射面７０上における点を終点とするベクトルである。
カメラ視線ベクトルｎｖの天頂角θｖと、方位角Φｖは、以下の（ａ），（ｂ）のように定義される。
（ａ）カメラ視線ベクトルｎｖの天頂角θｖは、天頂角対応基準軸（ｚ軸）とカメラ視線ベクトルｎｖのなす角、
（ｂ）カメラ視線ベクトルｎｖの方位角Φｖは、カメラ視線ベクトルｎｖの反射面（ｘｙ平面）への射影と、方位角対応基準軸（ｘ軸）とのなす角、

カメラ視線ベクトルｎｖの天頂角θｖと、方位角Φｖは、上記の（ａ），（ｂ）のように定義する。
図２１と先に説明した図１を比較して理解されるように、図２１に示すカメラ視線ベクトルｎｖの天頂角θｖと、先に説明した図１に示す反射角α（＝入射角α）は、同じ定義の角度である。

従って、先に図２０を参照して説明したように、図２０に示す角度入力部１０２の天頂角算出部７２３の算出する天頂角θｖを強度透過率／強度反射率計算部１０４に入力することで、強度透過率／強度反射率計算部１０４では、角度入力部１０２から入力する天頂角θｖを、前述の実施例で説明した入射角（＝反射角）αとして利用した処理を実行することが可能となる。

図２０に示す角度入力部１０２の天頂角算出部７２３は、方位角算出部７２１が算出する方位角と、カメラ姿勢取得部７２２から入力するカメラ姿勢情報を利用してカメラ視線ベクトルｎｖの天頂角θｖを算出する。
以下、このカメラ視線ベクトルｎｖの天頂角θｖ算出処理の具体例について説明する。

まず、図２２、図２３を参照してカメラ視線ベクトルｎｖの天頂角θｖと、カメラ１０に装着されたセンサ１５によって取得されるカメラ角θｃｍとの関係について説明する。
センサ１５によって取得されるカメラ角θｃｍはカメラの傾き角度であり、センサ１５を構成するジャイロやＩＭＵ等によって取得される。
図２０に示す角度入力部１０２の構成要素であるカメラ姿勢取得部７２２は、このセンサ１５から入力する情報を用いて、カメラ角θｃｍを取得して、取得したカメラ角θｃｍを天頂角算出部７２３に出力する。

図２２に示すように、カメラ角θｃｍは、反射面７０の平面（ｘｙ平面）のｘ軸と、反射面７０の法線方向のｚ軸とによって構成されるｘｚ平面と、カメラ視線ベクトルｎｖとのなす角である。なお、ｘｚ平面は水平面に相当する。

図２２に示す例は、カメラ視線ベクトルｎｖの方位角Φｖが９０°（＝ｙ軸方向）ではない一般的なカメラ設定例である。
この場合、カメラ角θｃｍと、カメラ視線ベクトルｎｖの天頂角θｖとは一致しない。

次に、図２３を参照して、カメラ角θｃｍと、カメラ視線ベクトルｎｖの天頂角θｖとが一致するカメラ設定例について説明する。
図２３に示す例は、カメラ視線ベクトルｎｖの方位角Φｖが９０°（＝ｙ軸方向）としたカメラ設定例である。
この場合、カメラ角θｃｍと、カメラ視線ベクトルｎｖの天頂角θｖとが一致する。
この設定の場合は、図２０に示す角度入力部１０２の構成要素であるカメラ姿勢取得部７２２が取得したカメラ角θｃｍを、カメラ視線ベクトルｎｖの天頂角θｖとして、そのまま利用可能となる。

しかし、多くの場合、図２２に示すように、カメラ視線ベクトルｎｖの方位角Φｖは、９０°（＝ｙ軸方向）に一致することはない。
以下、このような場合において、図２０に示す角度入力部１０２の実行する処理について説明する。
図２０に示す角度入力部１０２の天頂角算出部７２３は、方位角算出部７２１が算出する方位角Φｖと、カメラ姿勢取得部７２２から入力するカメラ姿勢情報を利用してカメラ視線ベクトルｎｖの天頂角θｖを算出する。

まず、図２４以下を参照して、方位角算出部７２１によるカメラ視線ベクトルｎｖの方位角Φｖ算出処理について、説明する。
図２４は、カメラ１０が、ガラス等の反射面７０を介して被写体２０を撮影する例を示す図である。
カメラ１０には、反射面７０を介した被写体２０からの光である透過光と、カメラ１０側の光が反射面７０に反射した光である反射光が混在して入力する。

図２０に示す角度入力部１０２の方位角算出部７２１は、画像入力部１０１から偏光画像を入力する。
先に説明したように、画像入力部１０１は、例えば図９、図１０、あるいは図１１〜図１２を参照して説明したカメラによって撮影された３種類以上の異なる偏光画像を入力する。図２０に示す角度入力部１０２の方位角算出部７２１は、画像入力部１０１から、これらの偏光画像を入力する。

方位角算出部７２１は、画像入力部１０１から入力する偏光画像を解析して方位角Φｖを算出する。
図２４に示すように、カメラ１０には、反射面７０を介した被写体２０からの光である透過光と、カメラ１０側の光が反射面７０に反射した光である反射光が混在して入力する。

反射面７０を介した被写体２０からの光である透過光には、様々な向きの被写体からの光が含まれる。すなわち、様々な異なる偏光状態の光が混じり合った偏光となる。
しかし、反射面７０に反射した光である反射光は、１つの特定の平面からなる反射面７０によって反射された光であり、その反射面７０の方向に応じた特定の偏光成分を多く含む偏光となる。

従って、カメラ１０によって撮影される偏光画像の偏光方向の分布状況を解析することで、カメラ視線ベクトルｎｖに対する反射面７０の方向を推定することが可能となり、カメラ視線ベクトルｎｖの方位角Φｖを推定することができる。
前述したように、カメラ視線ベクトルｎｖの方位角Φｖは、カメラ視線ベクトルｎｖの反射面（ｘｙ平面）への射影と、方位角対応基準軸（ｘ軸）とのなす角であり、カメラ視線ベクトルｎｖに対する反射面７０の方向から一義的に決定される。

図２５は、カメラ１０の撮影した偏光画像の解析によって生成したヒストグラムであり、横軸に推定方位角、縦軸に、各方位角対応の偏光の度数（偏光強度）を示すヒストグラムである。
このヒストグラムにおいて突出した度数（偏光強度）を示す方位角が、反射面７０からの反射光に基づく偏光に対応するデータであると推定することができる。
図２５に示す例では、方位角＝１２０°の強度が突出しており、この１２０°を、カメラ視線ベクトルｎｖの方位角Φｖと推定することができる。

方位角算出部７２１は、このように、画像入力部１０１から入力する偏光画像を解析してカメラ視線ベクトルｎｖの方位角Φｖを算出する。
方位角算出部７２１の算出したカメラ視線ベクトルｎｖの方位角Φｖは、天頂角算出部７２３に出力される。

天頂角算出部７２３には、以下の（ａ），（ｂ）各データが入力される。
（ａ）方位角算出部７２１の算出したカメラ視線ベクトルｎｖの方位角Φｖ、
（ｂ）カメラ姿勢取得部７２２が、センサ１５から取得したカメラの傾きを示すカメラ角θｃｍ、
天頂角算出部７２３は、これら（ａ），（ｂ）の各データを利用してカメラ視線ベクトルｎｖの天頂角θｖを算出する。

天頂角算出部７２３の実行するカメラ視線ベクトルｎｖの天頂角θｖ算出処理について、図２６以下を参照して説明する。

図２６には、カメラ１０と、ｘｙ平面上の反射面７０、さらに、反射面７０の法線（ｚ軸）とｘ軸によって構成される水平面であるｘｚ平面、さらに、カメラ視線ベクトルｎｖを示している。
カメラ視線ベクトルｎｖの終点である反射面７０の点を点Ａとし、
カメラ視線ベクトルｎｖの起点であるカメラ１０の位置を点Ｃする。

カメラ視線ベクトルｎｖの反射面（ｘｙ平面）への射影（＝ＥＡ）と、方位角対応基準軸（ｘ軸）（＝ＡＦ）とによって構成される直角三角形を三角形ＥＡＦとする。三角形ＥＡＦの頂点Ａの角度が、カメラ視線ベクトルｎｖの方位角Φｖとなる。なお、三角形ＥＡＦの点Ｆの角度は９０°であり、三角形ＥＡＦは直角三角形である。

さらに、カメラ位置Ｃからの垂線と、ｘｚ平面との交点を点Ｄとし、線分ＣＤを含み、反射面７０に平行な面と、ｚ軸との交点をＢとする。
三角形ＣＢＤは、三角形ＥＡＦと同じ三角形であり、三角形ＣＢＤの頂点Ｂの角度が、カメラ視線ベクトルｎｖの方位角Φｖとなる。なお、三角形ＣＢＤの点Ｄの角度は９０°であり、三角形ＣＢＤは直角三角形である。

この設定において、（１）カメラ角θｃｍ、（２）カメラ視線ベクトルｎｖの方位角Φｖ、（３）カメラ視線ベクトルｎｖの天頂角θｖは、それぞれ以下の角度となる。
（１）カメラ角θｃｍ、
カメラ角θｃｍは、カメラ１０の水平面ｘｚからの傾きを示す角度であり、図に示す三角形ＣＡＤの頂点Ａの角度となる。なお、三角形ＣＡＤの点Ｄの角度は９０°であり、三角形ＣＡＤは直角三角形である。

（２）カメラ視線ベクトルｎｖの方位角Φｖ、
カメラ視線ベクトルｎｖの方位角Φｖは、カメラ視線ベクトルｎｖの反射面（ｘｙ平面）への射影（＝ＥＡ）と、方位角対応基準軸（ｘ軸）（＝ＡＦ）とのなす角であり、図に示す三角形ＥＡＦの頂点Ａの角度となる。なお、三角形ＥＡＦの点Ｆの角度は９０°であり、三角形ＥＡＦは直角三角形である。

（３）カメラ視線ベクトルｎｖの天頂角θｖ
（３）カメラ視線ベクトルｎｖの天頂角θｖは、天頂角対応基準軸（ｚ軸）（＝ＡＢ）と、カメラ視線ベクトルｎｖ（＝ＣＡ）のなす角であり、図に示す三角形ＣＡＢの頂点Ａの角度となる。なお、三角形ＣＡＢの点Ｂの角度は９０°であり、三角形ＣＡＢは直角三角形である。

カメラ視線ベクトルｎｖの大きさ（長さ）＝１とすると、
カメラ視線ベクトルｎｖは、天頂角θｖを頂点Ａの角度とする直角三角形ＣＡＢの辺ＣＡであるので、図２６に示すように、
辺ＡＢの長さ＝ｃｏｓθｖ、
辺ＢＣの長さ＝ｓｉｎθｖ、
となる。

次に、図２７を参照して、反射面７０に平行な面からなる直角三角形ＣＢＤの、辺ＢＤとＣＤの長さについて考察する。
前述したように、直角三角形ＣＢＤの点Ｄの角度は９０°であり、点Ｂの角度が、カメラ視線ベクトルｎｖの方位角Φｖとなる。辺ＢＣの長さは、図２６を参照して説明したように、
辺ＢＣの長さ＝ｓｉｎθｖ、
である。
従って、直角三角形ＣＢＤの、辺ＢＤとＣＤの長さは、図２７に示すように以下のようになる。
辺ＢＤの長さ＝ｓｉｎθｖ・ｃｏｓΦｖ、
辺ＣＤの長さ＝ｓｉｎθｖ・ｓｉｎΦｖ、
となる。

次に、図２８を参照して、カメラ角θｃｍを含む三角形ＣＡＤの、辺ＣＤとＡＤの長さについて考察する。
前述したように、直角三角形ＣＡＤの点Ｄの角度は９０°であり、点Ａの角度が、カメラ角θｃｍとなる。辺ＣＡは、カメラ視線ベクトルｎｖであり、長さは１である。
従って、直角三角形ＣＡＤの、辺ＣＤとＡＤの長さは、図２８に示すように以下のようになる。
辺ＣＤの長さ＝ｓｉｎθｃｍ、
辺ＡＤの長さ＝ｃｏｓθｃｍ、
となる。

ここで、辺ＣＤの長さとして、以下の２つの三角形に基づく２つの値が算出されている。すなわち、
先に図２７を参照して説明した三角形ＣＢＤに基づく算出値、
ＣＤ＝ｓｉｎθｖ・ｓｉｎΦｖ、
さらに、
先に図２７を参照して説明した三角形ＣＡＤに基づく算出値、
ＣＤ＝ｓｉｎθｃｍ、
これら２つの値である。

これらは、同じＣＤの長さを示す値であり、等しい値となる。すなわち、
ＣＤ＝ｓｉｎθｃｍ＝ｓｉｎθｖ・ｓｉｎΦｖ、
上記式が成立する。
この式に基づいて、カメラ視線ベクトルｎｖの天頂角θｖについて、以下の式（式１４）が成立する。

上記（式１４）は、カメラ角θｃｍと、カメラ視線ベクトルｎｖの方位角Φｖを用いてカメラ視線ベクトルｎｖの天頂角θｖを算出する式である。

図２０に示す角度入力部１０２の天頂角算出部７２３は、
方位角算出部７２１から、カメラ視線ベクトルｎｖの方位角Φｖ、
カメラ姿勢取得部７２２から、カメラ角θｃｍ、
これらの値を入力し、上記（式１４）に従って、カメラ視線ベクトルｎｖの天頂角θｖを算出して、算出したカメラ視線ベクトルｎｖの天頂角θｖを、強度透過率／強度反射率計算部１０４に入力する。

先に説明したように、図２１と先に説明した図１を比較して理解されるように、図２１に示すカメラ視線ベクトルｎｖの天頂角θｖと、先に説明した図１に示す反射角α（＝入射角α）は、同じ定義の角度である。
強度透過率／強度反射率計算部１０４では、角度入力部１０２から入力する天頂角を、前述の実施例で説明した入射角（＝反射角）αとして利用した処理を実行する。

なお、図２８に示すように、カメラ視線ベクトルｎｖは、辺ＤＢ，ＣＤ，ＢＡの長さで表現可能であり、以下のように示すことができる。
ｎｖ＝（ｘ，ｙ，ｚ）＝（ＤＢ，ＣＤ，ＢＡ）
＝（ｓｉｎθｖ・ｃｏｓΦｖ，ｓｉｎθｖ・ｓｉｎΦｖ，ｃｏｓθｖ）

また、上記（式１４）に示す関係式によって示される関係を持つ、以下の３つの値、すなわち、
（１）カメラ視線ベクトルｎｖの天頂角θｖ、
（２）カメラ視線ベクトルｎｖの方位角Φｖ、
（３）カメラ角θｃｍ、
これらの３つの角度の関係をグラフ化すると、図２９に示すようなグラフとなる。

図２９は、
横時に、カメラ視線ベクトルｎｖの方位角Φｖ、
縦軸に、カメラ視線ベクトルｎｖの天頂角θｖ、
これらの各値を設定し、
異なる複数のカメラ角θｃｍの曲線を示したグラフである。

図２０に示す角度入力部１０２の天頂角算出部７２３は、この図２９に示すグラフと同様の各角度の対応関係データを保持し、カメラ視線ベクトルｎｖの天頂角θｖを算出する構成としてもよい。
すなわち、
方位角算出部７２１から、カメラ視線ベクトルｎｖの方位角Φｖ、
カメラ姿勢取得部７２２から、カメラ角θｃｍ、
これらの値を入力し、保持した対応関係データを利用して、カメラ視線ベクトルｎｖの天頂角θｖを算出する構成としてもよい。

次に、図３０を参照して、反射面７０が、水平面に対して垂直に設定されておらず、傾きを有する場合におけるカメラ視線ベクトルｎｖの天頂角θｖの算出処理例について説明する。

図３０には、水平面に対する垂直軸に対して傾きを持って設定されたガラス等の反射板７０を示している。反射面７０は、垂直軸に対して傾き角度θｇの傾きを有する。
この設定において、反射面７０の法線ｎｇは、
ｎｇ＝（０，ｓｉｎθｇ，ｃｏｓθｇ）
となる。

このとき、カメラ視線ベクトルｎｖの天頂角θｖは、図に示すように、
天頂角対応基準軸＝反射面７０の法線ｎｇと、カメラ視線ベクトルｎｖのなす角となる。
従って、カメラ視線ベクトルｎｖの天頂角θｖは、以下の式（式１５）によって算出することができる。
θｖ＝ｃｏｓ^−１（ｎｇ・ｎｖ）・・・（式１５）

上記（式１５）は、反射面７０の法線ｎｇと、カメラ視線ベクトルｎｖのなす角から、カメラ視線ベクトルｎｖの天頂角θｖを算出する式である。
上述したように、反射面７０の法線ｎｇは、（０，ｓｉｎθｇ，ｃｏｓθｇ）で゜あり、カメラ視線ベクトルｎｖは、先に説明した処理と同様の処理により、
ｎｖ＝（ｓｉｎ（θｖ＋θｇ）・ｃｏｓΦｖ，ｓｉｎ（θｖ＋θｇ）・ｓｉｎΦｖ，ｃｏｓ（θｖ＋θｇ））
上記の設定となる。

図２０に示す角度入力部１０２の天頂角算出部７２３は、
上記（式１５）に従って、カメラ視線ベクトルｎｖの天頂角θｖを算出して、算出したカメラ視線ベクトルｎｖの天頂角θｖを、強度透過率／強度反射率計算部１０４に入力する。

先に説明したように、図２１と先に説明した図１を比較して理解されるように、図２１に示すカメラ視線ベクトルｎｖの天頂角θｖと、先に説明した図１に示す反射角α（＝入射角α）は、同じ定義の角度である。
強度透過率／強度反射率計算部１０４では、角度入力部１０２から入力する天頂角を、前述の実施例で説明した入射角（＝反射角）αとして利用した処理を実行する。

また、上記（式１５）に示す関係式によって示される関係を持つ、以下の３つの値、すなわち、
（１）カメラ視線ベクトルｎｖの天頂角θｖ、
（２）カメラ視線ベクトルｎｖの方位角Φｖ、
（３）反射面の傾き角θｇ、
これらの３つの角度の関係をグラフ化すると、図３１に示すようなグラフとなる。

図３１は、
横時に、カメラ視線ベクトルｎｖの方位角Φｖ、
縦軸に、カメラ視線ベクトルｎｖの天頂角θｖ、
これらの各値を設定し、
異なる複数の反射面傾き角θｇの曲線を示したグラフである。

図２０に示す角度入力部１０２の天頂角算出部７２３は、この図３１に示すグラフと同様の各角度の対応関係データを保持し、カメラ視線ベクトルｎｖの天頂角θｖを算出する構成としてもよい。

なお、図２０に示す角度入力部１０２の構成では、画像入力部１０１から入力する画像全体に対する処理を行う構成としているが、例えば図３２に示すように、角度入力部１０２に領域選択部７２４を設定して、画像入力部１０１から入力する画像から、反射除去を行いたい領域のみを選択して、その選択領域に対する処理のみを行う構成としてもよい。

具体的には、マウスやタッチディスプレイ等のインタフェースを利用して、オペレータが画像中から反射面が存在する領域を選択する。方位角算出部７２１は、選択領域対応の方位角を算出し、天頂角算出部７２３は、その選択領域対応の天頂角を算出する。角度入力部１０２はこの選択領域対応の天頂角を後段の処理部に出力する。後段処理部は、選択領域のみの反射成分を除去する処理を実行する。

また、図３３に示すように、角度入力部１０２に領域分割部７２５を設定して、各分割領域単位の処理を実行する構成としてもよい。

具体的には、例えば、領域分割部７２５は、画像入力部１０１から入力する画像を予め設定した大きさの矩形画素領域に分割する。方位角算出部７２１は、各分割領域対応の方位角を個別に算出する。天頂角算出部７２３は、各分割領域単位の天頂角を算出する。角度入力部１０２はこの分割領域単位の天頂角を後段の処理部に出力する。後段処理部は、各分割領域単位で、個別の天頂角を利用して反射成分を除去する処理を実行する。

［６．画像処理装置のハードウェア構成例について］
次に、図３４を参照して画像処理装置のハードウェア構成例について説明する。
なお、図３４に示すハードウェア構成は、上述した実施例において説明した画像処理装置として利用可能なハードウェア構成の一例を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２、または記憶部８０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明した処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３には、ＣＰＵ８０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。

ＣＰＵ８０１はバス８０４を介して入出力インタフェース８０５に接続され、入出力インタフェース８０５には、各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部８０６、ディスプレイ、スピーカなどよりなる出力部８０７が接続されている。なお、入力部８０６は画像撮像部を備えた構成してもよく、また撮像装置からの画像を入力する入力部を備えた構成としてもよい。
ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部８０７に出力する。

入出力インタフェース８０５に接続されている記憶部８０８は、例えばハードディスク等からなり、ＣＰＵ８０１が実行するプログラムや各種のデータを記憶する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

入出力インタフェース８０５に接続されているドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア８１１を駆動し、データの記録あるいは読み取りを実行する。

［７．本開示の画像処理装置を適用した応用例について］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ−Ａ（ＬＴＥ−Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｉｎ Ｖｅｈｉｃｌｅ Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図８や図１３、図３４他を用いて説明した本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図８や図１３、図３４他を用いて説明した本実施形態に係る画像処理装置は、図３５に示した応用例の統合制御ユニット７６００に適用することができる。例えば、図３４に示す画像処理装置のＣＰＵ８０１は、図３５に示す統合制御ユニット７６００のマイクロコンピュータ７６１０、図３４に示す画像処理装置のＲＯＭ８０２，ＲＡＭ８０３，記憶部８０８は、図３５に示す統合制御ユニット７６００の記憶部７６９０、図３４に示す画像処理装置の通信部８０９は、図３５に示す統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０に相当する。

また、図８や図１３、図３４を用いて説明した画像処理装置の少なくとも一部の構成要素は、図３５に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図８や図１３、図３４他を用いて説明した画像処理装置が、図３５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力部と、
前記画像入力部の取得画像の撮影方向と反射面の法線方向に相当する面方向との成す角度である反射角を取得する角度入力部と、
前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離部と、
を有する画像処理装置。

（２） 前記反射成分分離部は、
前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算部と、を含み、
前記強度透過率および強度反射率計算部の計算結果であるＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去する（１）に記載の画像処理装置。

（３） 前記画像処理装置は、さらに、
前記反射面を境界として区分される２つの領域の相対屈折率を、前記強度透過率および強度反射率計算部に出力する屈折率入力部を有する（２）に記載の画像処理装置。

（４） 前記強度透過率および強度反射率計算部は、
前記角度入力部から入力する反射角と、前記屈折率入力部から入力する相対屈折率を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する（３）に記載の画像処理装置。

（５） 前記画像入力部は、
偏光角度設定が異なる偏光板を装着した３以上の撮像部の撮影画像を取得する（１）〜（４）いずれかに記載の画像処理装置。

（６） 前記画像入力部は、
回転可能な偏光板を装着した撮像部の撮影画像を取得する構成であり、少なくとも３種類の異なる回転角度の偏光板の設定状態で撮影された３種類以上の偏光画像を取得する（１）〜（４）いずれかに記載の画像処理装置。

（７） 前記画像入力部は、
撮像素子の構成画素各々に、少なくとも３種類の異なる偏光角度設定の偏光子を積層した偏光子積層撮像素子により撮影された偏光画像を取得する（１）〜（４）いずれかに記載の画像処理装置。

（８） 前記角度入力部は、
前記画像入力部の取得画像を撮影する撮像部の角度検出を行うジャイロの検出情報を取得して、前記反射角を算出する（１）〜（７）いずれかに記載の画像処理装置。

（９） 前記角度入力部は、
前記画像入力部の取得画像の撮影対象である被写体の形状情報を有する被写体モデルに基づいて、前記反射角を算出する（１）〜（８）いずれかに記載の画像処理装置。

（１０） 前記角度入力部は、
前記画像入力部の取得画像の撮影対象である被写体の距離情報を取得して、取得した距離情報に基づいて、前記反射角を算出する（１）〜（９）いずれかにに記載の画像処理装置。

（１１） 前記画像処理装置は、さらに、
前記反射成分分離部の生成した反射光成分を除去した透過光成分画像を呈示する画像呈示部を有する（１）〜（１０）いずれかに記載の画像処理装置。

（１２） 前記画像処理装置は、さらに、
前記角度入力部の出力する反射角をユーザ操作により調整する角度操作部を有し、
前記角度操作部は、前記画像呈示部に呈示された透過光成分画像を観察しながら、反射成分の少ない画像が呈示されるように、反射角の設定を調整可能とした操作部である（１１）に記載の画像処理装置。

（１３） 前記画像処理装置は、さらに、
前記反射成分分離部が、異なる反射角設定に従って生成した複数の反射除去画像の対応画素の輝度を比較し、輝度の小さい画素値を、より多く反射光成分が除去された画素値であると判定して選択する反射除去結果輝度比較部を有する（１）〜（１２）いずれかに記載の画像処理装置。

（１４） 前記角度入力部は、
前記反射角を、予め規定したステップで更新し、更新反射角データを、順次、前記反射成分分離部に出力し、
前記反射成分分離部は、
前記更新反射角データを適用して、前記画像入力部が取得した画像から反射光成分を除去した反射除去結果を生成し、
前記反射除去結果輝度比較部は、
前記反射成分分離部の生成する異なる反射角設定に従って生成した複数の反射除去画像の対応画素の輝度を比較する処理を実行する（１３）に記載の画像処理装置。

（１５） 前記反射成分分離部は、
前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算部を含み、
前記強度透過率および強度反射率計算部は、
前記角度入力部から、順次、入力する更新反射角データを適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算し、
前記反射成分分離部は、
前記更新反射角データに基づくＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去した反射除去結果を、順次、生成する（１４）に記載の画像処理装置。

（１６） 前記角度入力部は、
カメラの撮影方向を示すカメラ視線ベクトルの反射面への射影と、方位角対応基準軸とのなす角である方位角を算出する方位角算出部と、
前記画像入力部の取得画像を撮影するカメラの姿勢であるカメラ姿勢情報を取得するカメラ姿勢取得部と、
前記カメラ視線ベクトルと、天頂角対応基準軸とのなす角である天頂角を算出する天頂角算出部を有し、
前記天頂角算出部は、
前記方位角と、前記カメラ姿勢情報を入力して、前記反射角に相当する天頂角を算出する（１）〜（７）いずれかに記載の画像処理装置。

（１７） 前記角度入力部は、さらに、
前記画像入力部の取得画像から、反射光成分の除去対象とする一部画像領域を選択する領域選択部を有し、
前記天頂角算出部は、
前記領域選択部において選択された画像領域対応の天頂角を算出する（１６）に記載の画像処理装置。

（１８） 前記角度入力部は、さらに、
前記画像入力部の取得画像の領域分割を行う領域分割部を有し、
前記天頂角算出部は、
前記領域分割部において分割された分割領域単位の天頂角を算出する（１６）に記載の画像処理装置。

（１９） 画像処理装置において実行する画像処理方法であり、
画像入力部が、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力ステップと、
角度入力部が、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力する角度入力ステップと、
反射成分分離部が、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離ステップと、
を実行する画像処理方法。

（２０） 画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得させる画像入力ステップと、
角度入力部に、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力させる角度入力ステップと、
反射成分分離部に、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去させる反射成分分離ステップと、
を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、様々な方向の撮影画像から反射成分光を除去可能とした画像処理装置、および方法が実現される。
具体的には、例えば、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力部と、取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、強度透過率および強度反射率計算部に出力する角度入力部と、反射角を適用してＳ波およびＰ波各々の強度透過率と強度反射率を計算する計算部と、Ｓ波およびＰ波各々の強度透過率と強度反射率を適用して、画像入力部の取得画像から反射光成分を除去する反射成分分離部を有する。これらの処理により、様々な反射角の撮影画像からの反射光成分除去を可能とした。
本構成により、様々な方向の撮影画像から反射成分光を除去可能とした画像処理装置、および方法が実現される。

１０ カメラ
１５ センサ
２０ 被写体
３０ 光源
５１ 反射面
５２ 入射面
１００ 画像処理装置
１０１ 画像入力部
１０２ 角度入力部
１０３ 屈折率入力部
１０４ 強度透過率／強度反射率計算部
１０５ 反射成分分離部
１１０ 透過光成分画像
１２０，１３０，１４０ カメラ
１２１，１３１，１４１ 偏光フィルタ
１２２，１３２，１４２ 撮像素子
１５０ カメラ
１５１ 回転可能偏光フィルタ
１５２ 撮像素子
１６０ 偏光画像撮影カメラ
１６２ 偏光子積層撮像素子
２００ 画像処理装置
３００ カメラ
６００ 画像処理装置
６０１ 画像入力部
６０２ 角度入力部
６０４ 強度透過率／強度反射率計算部
６０５ 反射成分分離部
６０６ 反射除去結果呈示部
６１０ 角度操作部
７００ 画像処理装置
７０１ 画像入力部
７０２ 角度入力部
７０４ 強度透過率／強度反射率計算部
７０５ 反射成分分離部
７０６ 反射除去結果格納メモリ
７０７ 反射除去結果比較部
７２１ 方位角算出部
７２２ カメラ姿勢取得部
７２３ 天頂角算出部
７２４ 領域選択部
７２５ 領域分割部
８０１ ＣＰＵ
８０２ ＲＯＭ
８０３ ＲＡＭ
８０４ バス
８０５ 入出力インタフェース
８０６ 入力部
８０７ 出力部
８０８ 記憶部
８０９ 通信部
８１０ ドライブ
８１１ リムーバブルメディア

Claims (19)

1. 異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力部と、
   前記画像入力部の取得画像の撮影方向と反射面の法線方向に相当する面方向との成す角度である反射角を取得する角度入力部と、
   前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離部を有し、
   前記反射成分分離部は、
   前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算部と、を含み、
   前記強度透過率および強度反射率計算部の計算結果であるＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去する画像処理装置。
2. 前記画像処理装置は、さらに、
   前記反射面を境界として区分される２つの領域の相対屈折率を、前記強度透過率および強度反射率計算部に出力する屈折率入力部を有する請求項１に記載の画像処理装置。
3. 前記強度透過率および強度反射率計算部は、
   前記角度入力部から入力する反射角と、前記屈折率入力部から入力する相対屈折率を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する請求項２に記載の画像処理装置。
4. 前記画像入力部は、
   偏光角度設定が異なる偏光板を装着した３以上の撮像部の撮影画像を取得する請求項１に記載の画像処理装置。
5. 前記画像入力部は、
   回転可能な偏光板を装着した撮像部の撮影画像を取得する構成であり、少なくとも３種類の異なる回転角度の偏光板の設定状態で撮影された３種類以上の偏光画像を取得する請求項１に記載の画像処理装置。
6. 前記画像入力部は、
   撮像素子の構成画素各々に、少なくとも３種類の異なる偏光角度設定の偏光子を積層した偏光子積層撮像素子により撮影された偏光画像を取得する請求項１に記載の画像処理装置。
7. 前記角度入力部は、
   前記画像入力部の取得画像を撮影する撮像部の角度検出を行うジャイロの検出情報を取得して、前記反射角を算出する請求項１に記載の画像処理装置。
8. 前記角度入力部は、
   前記画像入力部の取得画像の撮影対象である被写体の形状情報を有する被写体モデルに基づいて、前記反射角を算出する請求項１に記載の画像処理装置。
9. 前記角度入力部は、
   前記画像入力部の取得画像の撮影対象である被写体の距離情報を取得して、取得した距離情報に基づいて、前記反射角を算出する請求項１に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記反射成分分離部の生成した反射光成分を除去した透過光成分画像を呈示する画像呈示部を有する請求項１に記載の画像処理装置。
11. 前記画像処理装置は、さらに、
    前記角度入力部の出力する反射角をユーザ操作により調整する角度操作部を有し、
    前記角度操作部は、前記画像呈示部に呈示された透過光成分画像を観察しながら、反射成分の少ない画像が呈示されるように、反射角の設定を調整可能とした操作部である請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、さらに、
    前記反射成分分離部が、異なる反射角設定に従って生成した複数の反射除去画像の対応画素の輝度を比較し、輝度の小さい画素値を、より多く反射光成分が除去された画素値であると判定して選択する反射除去結果輝度比較部を有する請求項１に記載の画像処理装置。
13. 前記角度入力部は、
    前記反射角を、予め規定したステップで更新し、更新反射角データを、順次、前記反射成分分離部に出力し、
    前記反射成分分離部は、
    前記更新反射角データを適用して、前記画像入力部が取得した画像から反射光成分を除去した反射除去結果を生成し、
    前記反射除去結果輝度比較部は、
    前記反射成分分離部の生成する異なる反射角設定に従って生成した複数の反射除去画像の対応画素の輝度を比較する処理を実行する請求項１２に記載の画像処理装置。
14. 前記反射成分分離部は、
    前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算部を含み、
    前記強度透過率および強度反射率計算部は、
    前記角度入力部から、順次、入力する更新反射角データを適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算し、
    前記反射成分分離部は、
    前記更新反射角データに基づくＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去した反射除去結果を、順次、生成する請求項１３に記載の画像処理装置。
15. 前記角度入力部は、
    カメラの撮影方向を示すカメラ視線ベクトルの反射面への射影と、方位角対応基準軸とのなす角である方位角を算出する方位角算出部と、
    前記画像入力部の取得画像を撮影するカメラの姿勢であるカメラ姿勢情報を取得するカメラ姿勢取得部と、
    前記カメラ視線ベクトルと、天頂角対応基準軸とのなす角である天頂角を算出する天頂角算出部を有し、
    前記天頂角算出部は、
    前記方位角と、前記カメラ姿勢情報を入力して、前記反射角に相当する天頂角を算出する請求項１に記載の画像処理装置。
16. 前記角度入力部は、さらに、
    前記画像入力部の取得画像から、反射光成分の除去対象とする一部画像領域を選択する領域選択部を有し、
    前記天頂角算出部は、
    前記領域選択部において選択された画像領域対応の天頂角を算出する請求項１５に記載の画像処理装置。
17. 前記角度入力部は、さらに、
    前記画像入力部の取得画像の領域分割を行う領域分割部を有し、
    前記天頂角算出部は、
    前記領域分割部において分割された分割領域単位の天頂角を算出する請求項１５に記載の画像処理装置。
18. 画像処理装置において実行する画像処理方法であり、
    画像入力部が、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得する画像入力ステップと、
    角度入力部が、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力する角度入力ステップと、
    反射成分分離部が、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去する反射成分分離ステップを実行し、
    前記反射成分分離ステップにおいて、
    前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算処理を実行するステップと、
    前記強度透過率および強度反射率計算処理の計算結果であるＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去するステップを実行する画像処理方法。
19. 画像処理装置において画像処理を実行させるプログラムであり、
    画像入力部に、異なる偏光方向の偏光画像、または無偏光画像からなる少なくとも３種類の画像を取得させる画像入力ステップと、
    角度入力部に、前記画像入力ステップにおける取得画像の撮影方向と、反射面の法線方向に相当する面方向との成す角度である反射角を、反射成分分離部に出力させる角度入力ステップと、
    反射成分分離部に、前記画像入力部で取得した少なくとも３種類の画像と前記角度入力部から取得した反射角とに基づいて前記画像入力部が取得した画像から反射光成分を除去させる反射成分分離ステップを実行させ、
    前記反射成分分離ステップにおいて、
    前記反射角を適用して、Ｓ波およびＰ波各々の強度透過率と強度反射率を計算する強度透過率および強度反射率計算処理を実行するステップと、
    前記強度透過率および強度反射率計算処理の計算結果であるＳ波およびＰ波各々の強度透過率と強度反射率を適用して、前記画像入力部が取得した画像から反射光成分を除去するステップを実行させるプログラム。

Images