JP7147784B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、１以上の偏光方向の偏光画像を用いて対象物体の偏光特性を検出できるようにする。

従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光フィルタを配置して、この偏光フィルタを回して撮影することで複数偏光方向の偏光画像が取得する方法が開示されている。また、画素毎に異なる偏光方向の偏光フィルタを設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を取得する方法が開示されている。

また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像を偏光モデルにあてはめることによって法線情報の算出が行われている。また、非特許文献２では、偏光画像を偏光モデルにあてはめる場合、偏光方向が互いに異なる３以上の偏光輝度を用いることが示されている。

国際公開第２００８／０９９５８９号

宮崎大輔，池内克史：「偏光の基礎理論とその応用」，情報処理学会論文誌 コンピュータビジョンとイメージメディア，2008 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006

ところで、偏光画像に基づいて偏光モデルを検出する場合、偏光方向が異なる３以上の偏光輝度が必要であるが、撮像条件等によっては必要な数の偏光輝度が得られない場合がある。例えば、イメージセンサで飽和や黒つぶれが生じると、３偏光方向以上の偏光輝度を得ることができない。

そこで、この技術では、１以上の偏光方向の偏光画像を用いて対象物体の偏光特性を検出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部を有する画像処理装置にある。

この技術においては、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する。偏光パラメータ取得部は、偏光パラメータ取得部は、対象物体の無偏光画像を取得する無偏光画像取得部と、対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、対象物体の法線の方位角を記憶した位相記憶部を、偏光画像の偏光方向の数に応じて１または複数組み合わせて設けている。また、偏光パラメータ取得部に無偏光画像取得部を設けた場合、偏光画像の感度に無偏光画像取得部で取得された無偏光画像を補正する感度補正部をさらに設ける。偏光パラメータ取得部は、感度補正部で補正された無偏光画像と、情報記憶部に記憶されている特性情報に基づき、偏光モデルの振幅を示す偏光パラメータを取得する。また、無偏光画像取得部は、対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行い、無偏光画像を取得してもよい。

対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または偏光子を設けた偏光画素と偏光子が設けられていない無偏光画素を有する構成とする。情報記憶部に記憶された天頂角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度である。あるいは、情報記憶部に記憶された天頂角は、対象物体の三次元形状に基づいた角度である。また、情報記憶部は、偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する。位相記憶部に記憶された方位角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度である。あるいは、位相記憶部に記憶された方位角は、対象物体の三次元形状に基づいた角度である。また、位相記憶部に記憶された方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度としてもよい。さらに、方位角を設定する方位角入力部を備え、方位角入力部は、ユーザ操作に応じた方位角を位相記憶部に記憶させて、位相記憶部に記憶された方位角に基づき検出された偏光モデルを用いて、偏光画像から反射成分を除去した画像を表示する。

また、偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、偏光モデル検出部は、飽和検出部で飽和状態でないと検出された偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき偏光モデルを検出する。また、画像処理装置には、対象物体の偏光画像を取得する偏光画像取得部を設けてもよく、対象物体の偏光画像と偏光モデル検出部で検出された偏光モデルに基づき対象物体の画像から反射成分を除去する反射除去部を設けてもよい。

この技術の第２の側面は、対象物体の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出することを含む画像処理方法にある。

この技術の第３の側面は、対象物体の偏光特性を示す偏光モデルの検出をコンピュータで実行させるプログラムであって、偏光画像で取得された前記対象物体の偏光画像と、偏光パラメータ取得部で取得された偏光パラメータに基づき、前記偏光モデルを検出する手順を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルが検出される。したがって、３偏光方向以上の偏光画像を取得できない場合でも、対象物体の偏光特性を検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

偏光モデルを説明するための図である。 輝度と偏光角との関係を例示した図である。 取得されている情報と未知のパラメータのパターンを例示した図である。 第１の実施の形態の構成を例示した図である。 偏光画像取得部の構成を例示した図である。 偏光画素と無偏光画素を設けた画素配置を例示した図である。 マルチカメラを例示した図である。 偏光モデル振幅検出部の構成を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第２の実施の形態の構成を例示した図である。 第３の実施の形態の構成を例示した図である。 第４の実施の形態の構成を例示した図である。 他の実施の形態の構成を例示した図である。 車内に偏光画像取得部を設けてフロントガラスを介して車外を撮像する場合を例示した図である。 三次元形状に基づき天頂角を算出する場合を例示した図である。 車に偏光画像取得部を設けて前方を撮像する場合を例示した図である。 方位角を近傍位置の方位角に基づく角度とする場合を説明するための図である。 方位角入力部の構成を例示した図である。 方位角を指定可能とするＧＵＩ画像を例示した図である。 反射特性情報を入力するためのＧＵＩ画像を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光モデルについて
２．画像処理装置の構成
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．他の実施の形態
８．天頂角や方位角の取得について
９．応用例

＜１．偏光モデルについて＞
図１は、偏光モデルを説明するための図である。例えば光源ＬＴを用いて対象物体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して対象物体ＯＢの撮像を行う。この場合、取得される撮像画（以下「偏光撮像画」という）は、偏光板ＰＬの偏光方向に応じて対象物体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上として、ｘ軸に対するｙ軸方向の角度を、偏光板ＰＬの偏光方向（透過軸の角度）を示す偏光角υとする。偏光板ＰＬは、偏光方向が１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最高輝度Ｉmaxが観測されたときの偏光角υを法線の方位角φとする。このような定義を行うと、偏光板ＰＬの偏光方向を変化させると、観測される輝度Ｉ（υ）は式（１）の式であらわすことができる。本技術では、式（１）を偏光モデルと呼ぶ。
Ｉ（υ）＝α＋β・Ｃｏｓ（２υ－２φ） ・・・（１）

図２は、輝度と偏光角との関係を例示している。式（１）におけるパラメータα，β，φは、偏光によるＣｏｓ波形を表現するパラメータである。パラメータαは、偏光モデルの輝度平均をあらわす。パラメータβは偏光モデルの振幅をあらわし、偏光モデルの輝度平均から偏光モデルの最大値までの大きさ、あるいは偏光モデルの最大値と最小値の差の１／２倍となる。パラメータφは方位角であり偏光モデルの位相を示している。また、偏光板ＰＬを設けたことによる感度低下を補正する感度補正ゲインｇと輝度平均αとの乗算結果は、偏光板ＰＬを介することなく撮像を行うことにより得られた撮像画（以下「無偏光撮像画」という）の輝度に相当する。

＜２．画像処理装置の構成＞
この技術の画像処理装置では、取得されている情報や既知のパラメータに基づき、未知のパラメータを算出することで、偏光モデルの検出を行う。具体的には、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出する。

図３は、取得されている情報と未知のパラメータのパターンを例示しており、パターン１では、偏光画像（１以上の偏光方向）と無偏光画像（輝度平均α）と振幅βが取得されており、偏光モデル検出部は位相（方位角）φを算出する。なお、後述するように無偏光画像に基づき輝度平均αを取得できる。パターン２では、偏光画像（１以上の偏光方向）と無偏光画像（輝度平均α）と位相φが取得されており、偏光モデル検出部は振幅βを算出する。パターン３では、偏光画像（２以上の偏光方向）と無偏光画像（輝度平均α）が取得されており、偏光モデル検出部は位相φと振幅βを算出する。パターン４では、偏光画像（２以上の偏光方向）と位相φが取得されており、偏光モデル検出部は輝度平均αと振幅βを算出する。

偏光パラメータ取得部では、対象物体の無偏光画像を取得する無偏光画像取得部と、対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、対象物体の法線の方位角を記憶した位相記憶部とが、偏光画像の偏光方向の数に応じて１または複数組み合わせて設けられており、図３に示す取得されている情報において、偏光画像を除く他の情報を取得する。以下、各パターンについて説明する。

＜３．第１の実施の形態＞
次に、画像処理装置の第１の実施の形態について説明する。第１の実施の形態は、図３のパターン１に相当しており、１以上の偏光方向の偏光画像と無偏光画像と偏光モデルの振幅に基づき偏光モデルを検出する。

図４は、第１の実施の形態の構成を例示している。画像処理装置１０-1は、偏光画像取得部１１ａと偏光パラメータ情報取得部１２-1と偏光モデル検出部１３-1を有している。

偏光画像取得部１１ａは、１以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-1へ出力する。１以上の偏光方向の偏光画像を取得するとは、各画素が同じ偏光方向である偏光画像を１偏光方向以上取得する場合と、１以上の偏光方向の偏光画素を有する偏光画像を取得する場合を含む。

図５は、偏光画像取得部の構成を例示している。例えば、図５の（ａ）は、撮像レンズ等を含む撮像光学系とイメージセンサ等で構成されたカメラブロック１１１の前面に偏光板１１２を設けた構成を示している。この構成の偏光画像取得部１１ａは、偏光板１１２を回転させて撮像を行い、偏光方向毎の偏光画像を取得する。例えば、偏光板１１２の回転位相差が０度または１８０度のタイミングで撮像を行えば、各画素が１偏光方向の偏光画像を取得できる。また、偏光板１１２の回転位相差が４５度のタイミングで撮像を行えば、各画素が同じ偏光方向である偏光画像を４つの偏光方向毎に取得できる。また、偏光板１１２を着脱可能とすれば無偏光画像を取得することもできる。

図５の（ｂ）は、イメージセンサ１１３の入射面に偏光素子（例えばワイヤーグリッド等）１１４を配置した構成とされている。なお、図５の（ｂ）では、２×２画素が１つの画素群とされており、１画素群内の各画素が異なる４つの偏光方向とされている。このように偏光画像取得部１１ａを構成すれば、異なる４つの偏光方向の偏光画素を含む偏光画像を取得できる。また、１画素群の偏光画素は、図５の（ｂ）に示すように４つの偏光方向のいずれかである場合に限らず、３つの偏光方向や２つの偏光方向あるいは１つの偏光方向として、３つ乃至１つの偏光方向の偏光画素を含む偏光画像を取得してもよい。また、偏光画像取得部１１ａには、偏光画素だけでなく無偏光画素を設けてもよい。さらに、偏光画像取得部１１ａが図５の（ｂ）や後述する図６の構成である場合、処理対象の画素において輝度が得られていない偏光方向について、この偏光方向と等しい偏光画素の輝度（偏光輝度）を用いた補間処理やフィルタ処理等によって偏光輝度を算出してもよい。この場合、各画素が同じ偏光方向である偏光画像を偏光方向毎に取得することが可能となる。なお、偏光画像取得部１１ａは、１以上の偏光方向の偏光画像を取得できる構成であればよく、図５に示す構成に限られない。偏光画像取得部１１ａは、取得した偏光画像を偏光モデル検出部１３-1へ出力する。

偏光パラメータ情報取得部１２-1は、図４に示すように、無偏光画像取得部１２１と感度補正部１２２と偏光モデル振幅検出部１２３を有している。

無偏光画像取得部１２１は、偏光子（例えば偏光板１１２や偏光素子１１４）を用いることなく対象物体を撮像して無偏光画像を取得する。さらに、無偏光画像取得部１２１は、取得した無偏光画像に基づき偏光モデルの輝度平均αを算出する。

無偏光画像取得部１２１は、例えば偏光画像取得部１１ａが図５の（ａ）に示す構成である場合、カメラブロック１１１の前面に配置された偏光板１１２を取り除いて撮像を行うことで生成された無偏光画像を取得する。また、例えば偏光画像取得部１１ａが図５の（ｂ）に示す構成である場合、イメージセンサ１１３に無偏光画素を設けて、無偏光画素で生成された信号に基づく無偏光画像を取得してもよい。

図６は、偏光画素と無偏光画素を設けた画素配置を例示している。図６の（ａ）は、２×２画素を１画素群として、１画素群が２つの偏光方向（例えば透過軸が０度と４５度）のいずれかである２つの偏光画素と２つの無偏光画素で構成されている場合を例示している。また、図６の（ｂ）は、２×２画素を１画素群として、１画素群が１つの偏光方向（例えば透過軸が０度）である偏光画素と３つの無偏光画素を設けた場合を例示している。

また、無偏光画像取得部１２１は、偏光板１１２や偏光素子１１４を用いることなく構成された通常の撮像装置で、偏光画像取得部１１ａの位置から同じように所望の対象物体を撮像して得られる無偏光画像を取得してもよい。

さらに、異なる方向の偏光板を前面に取り付けた複数のカメラブロックと、偏光板を取り付けないカメラブロックで構成されたマルチカメラを、偏光画像取得部１１ａと無偏光画像取得部１２１として用いても良い。なお、図７は、マルチカメラを例示しており、カメラブロックＣＭＢ-1には偏光板を設けていない構成として、カメラブロックＣＭＢ-2～ＣＭＢ-m（ｍ≧２）には対象物体からの光の入射側に、偏光方向がカメラブロック毎に異なる偏光板ＰＬ-2～ＰＬ-mを設けた構成とされている。この場合、カメラブロックＣＭＢ-1では無偏光画像が取得されて、カメラブロックＣＭＢ-2～ＣＭＢ-mでは偏光画像が取得される。なお、カメラブロックＣＭＢ-1～ＣＭＢ-mは、視点位置が異なることから無偏光画像や偏光画像について視差補正を行う。

感度補正部１２２は、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを画素毎（または画素群毎）に算出する。感度補正部１２２は、算出した輝度平均αを偏光モデル振幅検出部１２２と偏光モデル検出部１３-1へ出力する。
α ＝ ｇ・I ・・・（２）

偏光モデル振幅検出部１２３は、感度補正部１２２で算出された輝度平均αを用いて偏光モデルの振幅を検出する。図８は、偏光モデル振幅検出部の構成を例示している。偏光モデル振幅検出部１２３は、情報記憶部１２３１と偏光度算出部１２３２と振幅検出部１２３３を有している。情報記憶部１２３１には、後述するように対象物体の法線の天頂角θと屈折率ｒおよび拡散反射と鏡面反射のいずれが主体であるかを示す反射特性情報が記憶されている。偏光度算出部１２３２は、情報記憶部１２３１に記憶されている反射特性情報に応じて式（３）または式（４）を選択して、天頂角θと屈折率ｒに基づき偏光度ρ（θ，ｒ）を算出する。

さらに、振幅検出部１２３３は、偏光度算出部１２３２で算出された偏光度ρ（θ，ｒ）と無偏光画像取得部１２１から供給された輝度平均αを用いて式（５）の演算を行い、振幅βを算出して偏光モデル検出部１３-1へ出力する。
β ＝ α・ρ（θ，ｒ） ・・・（５）

図４に戻り、偏光モデル検出部１３-1は、偏光パラメータ情報取得部１２-1から偏光モデルの輝度平均αと振幅βが供給されていることから、未知パラメータである位相φを算出する。偏光モデル検出部１３-1は、偏光モデルの輝度平均αと振幅βおよび偏光画像取得部１１ａから供給された１以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）を用いて式（６）に基づき位相φを算出する。なお、「ｎ」は偏光輝度がいずれの偏光方向であるかを示すインデックスであり、後述する説明では偏光方向数を「Ｎ」（ｎ＝１～Ｎ)とする。偏光モデル検出部１３-1は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。

図９は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０-1は、１以上の偏光方向の偏光画像を取得する。画像処理装置１０-1は、カメラブロック１１１の前面に偏光板１１２が前面に設けられたカメラブロック、あるいは１以上の偏光方向の偏光画素を有するイメージセンサで得られた偏光画像を取得してステップＳＴ２に進む。

ステップＳＴ２で画像処理装置１０-1は、偏光パラメータを取得する。画像処理装置１０-1は、感度補正後の無偏光画像に基づいて偏光モデルの輝度平均αを算出する。また、画像処理装置１０-1は、算出した輝度平均αと予め記憶されている対象物体の法線の天頂角θと屈折率ｒおよび拡散反射と鏡面反射のいずれが主体であるかを示す反射特性情報に基づき偏光モデルの振幅βを算出してステップＳＴ３に進む。

ステップＳＴ３で画像処理装置１０-1は、偏光モデルの検出処理を行う。画像処理装置１０-1は、偏光モデルの輝度平均αと振幅βおよび偏光画像取得部１１ａからステップＳＴ１で取得した１以上の偏光方向の偏光画像とステップＳＴ２で取得した輝度平均αと振幅βに基づき偏光モデルの位相φを算出する。したがって、偏光モデルの輝度平均αと振幅βと位相φが得られることになる。また、ステップＳＴ１～３の処理を画素単位あるいは画素群単位で行うことで、対象物体の偏光モデルを画素単位あるいは画素群単位で検出できる。

このように、第１の実施の形態によれば、無偏光画像と偏光モデルの振幅および１以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。また、図６の（ｂ）に示すように、偏光画素と無偏光画素を設けた場合、１つの偏光方向の偏光画像から偏光モデルを検出できるだけでなく、無偏光画素が多く設けられて、偏光子の着脱等を行うことなく偏光モデルの検出と高感度で高解像度の無偏光画像の取得が可能となる。したがって、例えば検出した偏光モデルを用いて反射除去を行えば、周囲の物体の写り込みを生じることなく高解像度で美術品のアーカイブ等を容易に制作できるようになる。

＜４．第２の実施の形態＞
次に、画像処理装置の第２の実施の形態について説明する。第２の実施の形態は、図３のパターン２に相当しており、無偏光画像と位相および１以上の偏光方向の偏光画像から偏光モデルを検出する。

図１０は、第２の実施の形態の構成を例示している。画像処理装置１０-2は、偏光画像取得部１１ａと偏光パラメータ情報取得部１２-2と偏光モデル検出部１３-2を有している。

偏光画像取得部１１ａは、第１の実施の形態と同様に構成されており、１以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-2へ出力する。

偏光パラメータ情報取得部１２-2は、無偏光画像取得部１２１と感度補正部１２２および偏光モデル位相記憶部１２４を有している。

無偏光画像取得部１２１は、第１の実施の形態と同様に構成されており、無偏光画像を取得して感度補正部１２２へ出力する。感度補正部１２２は、第１の実施の形態と同様に構成されており、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを偏光モデル検出部１３-2へ出力する。

偏光モデル位相記憶部１２４は、予め位相（方位角）φが記憶されている。偏光モデル位相記憶部１２４は、記憶している位相φを偏光モデル検出部１３-2へ出力する。

偏光モデル検出部１３-2は、偏光パラメータ情報取得部１２-2から偏光モデルの輝度平均αと位相φが供給されていることから、未知パラメータである振幅βを算出する。偏光モデル検出部１３-2は、偏光モデルの輝度平均αと位相φおよび偏光画像取得部１１ａから供給された１以上の偏光方向である偏光画像の偏光輝度Ｉ（φn）を用いて式（７）に基づき振幅βを算出する。偏光モデル検出部１３-2は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。

なお、第２の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。

このように、第２の実施の形態によれば、無偏光画像と位相および１以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。

＜５．第３の実施の形態＞
次に、画像処理装置の第３の実施の形態について説明する。第３の実施の形態は、図３のパターン３に相当しており、無偏光画像と２以上の偏光方向の偏光画像から偏光モデルを検出する。

図１１は、第３の実施の形態の構成を例示している。画像処理装置１０-3は、偏光画像取得部１１ｂと偏光パラメータ情報取得部１２-3と偏光モデル検出部１３-3を有している。

偏光画像取得部１１ｂは、第１の実施の形態の偏光画像取得部１１ａと同様に構成されているが、取得可能な偏光画像の偏光方向の数が異なり、偏光画像取得部１１ｂは、２以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-3へ出力する。

偏光パラメータ情報取得部１２-3は、無偏光画像取得部１２１と感度補正部１２２を有している。

無偏光画像取得部１２１は、第１の実施の形態と同様に構成されており、無偏光画像を取得して感度補正部１２２へ出力する。感度補正部１２２は、第１の実施の形態と同様に構成されており、無偏光画像の輝度Ｉに対して、式（２）に示すように、偏光画素との感度差を補正する感度補正ゲインｇを用いて感度補正を行い、偏光モデルの輝度平均αを偏光モデル検出部１３-3へ出力する。

偏光モデル検出部１３-3は、偏光パラメータ情報取得部１２-3から偏光モデルの輝度平均αが供給されていることから、未知パラメータである振幅βと位相φを算出する。

偏光モデル検出部１３-3は、偏光パラメータ情報取得部１２-2から供給された偏光モデルの輝度平均αと偏光画像取得部１１ｂから供給された２以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）（ｎはｎ≧２）を用いて振幅βと位相φを算出する。また、偏光モデル検出部１３-3は、偏光モデルの輝度平均αと算出した振幅βと位相φを、偏光モデルの検出結果として出力する。

偏光モデル検出部１３-3は、振幅βと位相φを式（８），（９）に基づき算出する。式（８）（９）において、「Ａ」は式（１０）に基づいて算出して、「Ｂ」は式（１１）に基づいて算出する。さらに、式（１０）（１１）において「Ｘ」は式（１２）、「Ｙ」は式（１３）、「Ｚ」は式（１４）に基づいて算出する。

偏光モデル検出部１３-3は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。

なお、第３の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。

このように、第３の実施の形態によれば、無偏光画像と２以上の偏光方向の偏光画像から偏光モデルを検出できるようになる。

＜６．第４の実施の形態＞
次に、画像処理装置の第４の実施の形態について説明する。第４の実施の形態は、図３のパターン４に相当しており、２以上の偏光方向の偏光画像および偏光モデルの位相（方位角）から偏光モデルを検出する。

図１２は、第４の実施の形態の構成を例示している。画像処理装置１０-4は、偏光画像取得部１１ｂと偏光パラメータ情報取得部１２-4と偏光モデル検出部１３-4を有している。

偏光画像取得部１１ｂは、第３の実施の形態と同様に構成されており、２以上の偏光方向の偏光画像を取得して偏光モデル検出部１３-4へ出力する。

偏光パラメータ情報取得部１２-4は、偏光モデル位相記憶部１２４を有している。偏光モデル位相記憶部１２４は、第２の実施の形態と同様に、予め位相（方位角）φが記憶されている。偏光モデル位相記憶部１２４は、記憶している位相φを偏光モデル検出部１３-4へ出力する。

偏光モデル検出部１３-4は、偏光パラメータ情報取得部１２-4から偏光モデルの位相φが供給されていることから、未知パラメータである輝度平均αと振幅βを算出する。偏光モデル検出部１３-4は、偏光モデルの位相φおよび偏光画像取得部１１ｂから供給された２以上の偏光方向の偏光画像の偏光輝度Ｉ（φn）（ｎはｎ≧２）を用いて式（１５）に基づき輝度平均αを算出して、式（１６）に基づき振幅βを算出する。また、式（１５）（１６）において「Ｙ」は式（１７）、「Ｐ」は式（１８）、「Ｒ」は式（１９）、「Ｑ」は式（２０）に基づいて算出する。

偏光モデル検出部１３-4は、偏光モデルのパラメータである輝度平均αと振幅βと位相φを、偏光モデルの検出結果として出力する。

なお、第４の実施の形態の画像処理装置の動作は、第１の実施の形態のステップ順と同様であり、各ステップでの処理が上述のように第１の実施の形態とは異なる。

このように、第４の実施の形態によれば、２以上の偏光方向の偏光画像および偏光モデルの位相（方位角）から偏光モデルを検出できるようになる。

＜７．他の実施の形態＞
図１３は、他の実施の形態の構成を例示している。画像処理装置１０-5は、偏光画像取得部１５と飽和検出部１６と偏光パラメータ情報取得部１７および偏光モデル検出部１８を有している。

偏光画像取得部１５は、第２乃至第４の実施の形態の偏光画像取得部１１ａ，１１ｂのいずれかと同様に構成されており、偏光方向毎である複数の偏光画像を取得して飽和検出部１６と偏光モデル検出部１８へ出力する。

飽和検出部１６は、複数の偏光画像の画素毎に偏光輝度が飽和状態であるか否かを検出する。飽和検出部１６は検出結果を偏光パラメータ情報取得部１７と偏光モデル検出部１８へ出力する。

偏光パラメータ情報取得部１７は、飽和検出部１６から供給された検出結果によって飽和状態でない偏光方向が２方向である場合、上述の第１乃至第４の実施の形態の偏光パラメータ情報取得部１２-1～１２-4のいずれかと同様な処理を偏光パラメータ情報取得部１７で行い、取得したパラメータを偏光モデル検出部１８へ出力する。また、偏光パラメータ情報取得部１７は、飽和状態でない偏光方向が１方向である場合、上述の第１または第２の実施の形態の偏光パラメータ情報取得部１２-1，１２-2のいずれかと同様な処理を偏光パラメータ情報取得部１７で行い、取得したパラメータを偏光モデル検出部１８へ出力する。

偏光モデル検出部１８は、飽和検出部１６から供給された検出結果によって飽和状態でない偏光方向が３方向以上である場合、偏光画像取得部１５で取得された３以上の偏光方向の偏光画像の偏光輝度を用いて、従来のように偏光モデルのパラメータを検出する。また、偏光モデル検出部１８は、飽和状態でない偏光方向が１方向である場合や２方向である場合、偏光パラメータ情報取得部１７で選択した第１乃至第４の実施の形態のいずれかの偏光パラメータ情報取得部に対応する偏光モデル検出部と同様な処理を行い、偏光モデルを検出する。例えば偏光パラメータ情報取得部１７で偏光パラメータ情報取得部１２-1の動作を行う場合、偏光モデル検出部１８は偏光モデル検出部１３-1と同様な処理を行い、偏光モデルを検出する。また、偏光パラメータ情報取得部１７で偏光パラメータ情報取得部１２-2の動作を行う場合、偏光モデル検出部１８は偏光モデル検出部１３-2と同様な処理を行い、偏光モデルを検出する。

このような処理を行えば、各画素において、偏光方向毎の偏光輝度で飽和を生じても、飽和状況に応じて偏光モデルの検出動作の切り替えが行われるので、従来の方法では偏光特性を検出することが困難な場合でも、偏光特性を検出できるようになる。例えば、４偏光素子を備えた偏光イメージセンサによって偏光画像取得部が構成されている場合、４偏光輝度のうち２偏光輝度が飽和した場合においても、既知の位相から偏光モデルを検出できる。

また、画像処理装置は、上述の第１乃至他の実施の形態のいずれかの構成に限られるものではなく、上述の実施の形態の構成を組み合わせてもよい。すなわち、偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデル検出部の動作を上述の実施の形態のいずれかに切り替えるようにしてもよい。例えば、偏光画像の偏光方向数が１以上である場合、偏光パラメータ取得部で取得される偏光パラメータに応じて、図３のパターン１に対応する第１の実施の形態の動作またはパターン２に対応する第２の実施の形態の動作を行うようにする。このような処理を行えば、種々の状況に応じて偏光モデルの検出を行うことができるようになる。

また、上述の実施の形態では、偏光画像取得部と偏光パラメータ取得部が画像処理装置に設けられている場合を例示したが、偏光画像取得部や偏光パラメータ取得部，偏光パラメータ取得部の無偏光画像取得部は、画像処理装置と別個に設けた構成であってもよい。

＜８．天頂角や方位角の取得について＞
次に、天頂角の取得について説明する。対象物体と偏光画像取得部の位置関係が明らかである場合、天頂角は対象物体と偏光画像取得部に関する幾何的情報に基づいた角度とする。図１４は、例えば車内に偏光画像取得部を固定して設けてフロントガラスを介して車外を撮像する場合を例示している。ここで、偏光画像取得部１１ａ（１１ｂ）とフロントガラスの位置関係は明らかである。したがって、この位置関係を示す幾何的情報に基づきフロントガラスにおける偏光画像取得部１１ａ（１１ｂ）からの視点位置の法線の天頂角θを予め算出して、図８に示す情報記憶部１２３１に記憶させる。

また、天頂角は、対象物体の三次元形状に基づいた角度でもよい。図１５は、三次元形状に基づき天頂角を算出する場合を例示している。対象物体ＯＢの三次元形状は、三次元形状取得部３１例えばＴｏＦ（Time Of Flight）センサやStructured light方式のデプスセンサ、ステレオカメラ等を用いて取得する。対象物体ＯＢの三次元形状が明らかであれば、対象物体ＯＢにおける偏光画像取得部１１ａ（１１ｂ）からの視点位置の法線の天頂角θを予め算出できるので、算出した天頂角θを図８に示す情報記憶部１２３１に記憶させる。

次に、方位角（偏光モデルの位相）の取得について説明する。方位角は、対象物体の偏光画像を取得する偏光画像取得部と対象物体に関する幾何的情報に基づいた角度とする。例えば、対象シーンの形状が常に一定であり、偏光画像取得部を固定して設置する場合、偏光画像取得部から見る対象物体の法線方向は常に一定であるため、方位角は常に既知の情報となる。すなわち、偏光画像取得部と対象物体の位置関係に関する幾何的情報に基づき方位角を算出して、図１０に示す偏光モデル位相記憶部１２４に記憶させる。図１６は、例えば車に偏光画像取得部を設けて前方を撮像する場合を例示している。なお、図１６の（ａ）は車と路面を示しており、図１６の（ｂ）は、車に設けられた偏光画像取得部１１ａ（１１ｂ）で撮像された偏光画像を例示している。対象物体を路面とすると、路面と平行な方向を方位角が０度であるとすると、路面の法線は明らかであり方位角はおおよそ９０度であると仮定できる。したがって、路面を対象物体とする場合、仮定した方位角を図１０に示す偏光モデル位相記憶部１２４に記憶させる。また、対象物体を道路のみと仮定した場合、道路の法線は変わらず方位角は既知であることから、偏光モデル位相記憶部１２４に記憶させた方位角（位相）を用いて検出した偏光モデルに基づき、路面反射光を除去できるようになる。なお、図１４に示すように、偏光画像取得部１１ａ（１１ｂ）とフロントガラスの位置関係は明らかであることから、偏光画像取得部１１ａ（１１ｂ）の位置とフロントガラスの面方向に基づき方位角を算出して、偏光モデル位相記憶部１２４に記憶させてもよい。この場合、偏光モデル位相記憶部１２４に記憶させた方位角（位相）を用いて検出した偏光モデルに基づき、フロントガラスに映り込んだダッシュボード等を除去できるようになる。

さらに、方位角は、対象物体の三次元形状に基づいた角度でもよい。対象物体の三次元形状は、上述の三次元形状取得部を用いてデプスマップを取得する。このデプスマップを微分することで、対象物体の各点における面方向を算出できるので、各点における面方向に基づき法線の方位角を算出して図１０に示す偏光モデル位相記憶部１２４に記憶させる。このように、被写体の形状に応じたデプスマップを利用して法線を求めることで、偏光方向が少ない偏光画像でも偏光モデルを検出することができる。したがって、検出した偏光モデルを利用して反射成分を除去すれば、被写体に光源等が写り込んで輝度が飽和状態となっている場合でも、被写体の正しい輝度を求めることができる。

また、方位角は近傍位置の方位角に基づく角度としてもよい。図１７は、方位角を近傍位置の方位角に基づく角度とする場合を説明するための図である。例えば、偏光画像取得部１１ａでは、異なる４つの偏光方向の偏光画素からなる第１画素群と１つの偏光画素と３つの無偏光画素からなる第２画素群が隣接して配置されている。この場合、第１画素群は異なる４つの偏光方向の偏光画素で構成されていることから、偏光画素の輝度に基づき第１画素群について偏光モデルを検出できる。また、第１画素群と第２画素群は隣接していることから、方位角（位相）φの違いは少ないとして、例えば第１画素群について検出した偏光モデルの位相を第２画素群の方位角として、図１０に示す偏光モデル位相記憶部１２４に記憶させてもよい。また、第２画素群の方位角は、両側に隣接する第１画素群の位相に基づき第２画素群の方位角を補間等によって算出してもよい。

さらに、方位角はユーザ操作によって指定できるようにしてもよい。具体的には、方位角入力部を設けて、方位角入力部で指定された方位角を偏光モデル位相記憶部１２４に記憶させる。

図１８は方位角入力部の構成を例示している。方位角入力部１９は、入力操作部１９１と画像提示部１９２を有している。入力操作部１９１は、方位角の値を調整可能な操作ダイヤル、あるいは入力操作部１９１と画像提示部１９２によって方位角の値を調整可能とするＧＵＩが構成されている。入力操作部１９１は、操作ダイヤルあるいはＧＵＩを利用してユーザが指定した方位角を、偏光モデル位相記憶部１２４に記憶させる。図１９は、方位角を指定可能とするＧＵＩ画像を例示している。図１９の（ａ）は、テキストボックスを設けた場合を例示している。この場合、テキストボックスＴＸＢに入力された方位角を、指定された方位角φtmpとして偏光モデル位相記憶部１２４に記憶させる。また、アップダウンアローボタンＢＴudを設けて、アップダウンアローボタンＢＴudの操作に応じて方位角φtmpを増減させてもよい。図１９の（ｂ）は、スライダーを設けた場合を例示している。この場合、スライダーＳＬＤの位置に応じた方位角を、指定された方位角φtmpとして偏光モデル位相記憶部１２４に記憶させる。

このように方位角を偏光モデル位相記憶部１２４に記憶させると、上述の第２の実施の形態で説明したように、無偏光画像と方位角（位相）および１以上の偏光方向の偏光画像から偏光モデルを特定できる。ただし、ユーザが指定した方位角が実際の方位角と異なる場合、特定された偏光モデルを用いても所望の効果を得ることができない。例えば、偏光モデルに基づき鏡面反射成分の除去を行う場合、ユーザが指定した方位角が実際の方位角と異なると、鏡面反射成分を精度よく除去することができない。そこで、画像提示部１９２には反射除去部１９２ａと表示部１９２ｂを設けて、ユーザが指定した方位角φtmpを用いて特定された偏光モデルに基づき対象物体における反射の除去処理が行われた画像を表示する。例えば偏光モデルの振幅変化分は鏡面反射成分を示していることから、反射除去部１９２ａは無偏光画像取得部１２１で取得された無偏光画像から振幅変化分の除去を行い、振幅変化分の除去処理後の画像を表示部１９２ｂで表示する。また、振幅変化分の除去処理後の画像と共に上述のテキストボックスやアップダウンアローボタンＢＴud、スライダー等を表示してもよい。このように、ユーザ操作表示とユーザが指定した方位角を用いて特定された偏光モデルに基づく振幅変化分の除去処理結果を表示すれば、画像提示部１９２で提示された画像で反射成分が最も少なくなるように方位角を調整することで、容易に正しい方位角を偏光モデル位相記憶部１２４に記憶させることができる。また、反射除去部１９２ａは、方位角入力部１９に設ける場合に限らず、方位角入力部１９とは独立して反射除去部１９２ａを設けてもよい。

図２０は、反射特性情報を入力するためのＧＵＩ画像を例示している。反射特性情報の入力では、拡散反射を主体とするチェックボックスＣＢＡと、鏡面反射を主体とするチェックボックスＣＢＢを設けて、いずれかチェックボックスの選択結果に応じて反射特性情報を生成して、情報記憶部１２３１へ記憶する。

このような処理を行えば、偏光モデルの検出に必要な情報を画像処理装置に記憶させることができるようになる。

＜９．応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図２２は、撮像部１２０３１の設置位置の例を示す図である。

図２２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、本開示に係る技術の偏光画像取得部１１aや偏光パラメータ情報取得部における無偏光画像取得部１２１は、撮像部１２０３１等に適用され得る。また、本開示に係る技術の偏光パラメータ情報取得部（無偏光画像取得部１２１を除く）と偏光モデル検出部は、以上説明した構成のうち、車外情報検出ユニット１２０３０に適用され得る。このように、本開示に係る技術を車両制御システムに適用すれば、検出した偏光モデルを用いて精度よく反射除去等を行うことが可能となり、ドライバの疲労軽減や自動運転に必要な情報を高精度に取得することが可能になる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部
を有する画像処理装置。
（２） 前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた（１）に記載の画像処理装置。
（３） 前記偏光パラメータ取得部に前記無偏光画像取得部を設けた場合、前記偏光画像の感度に前記無偏光画像取得部で取得された前記無偏光画像を補正する感度補正部をさらに設ける（２）に記載の画像処理装置。
（４） 前記偏光パラメータ取得部は、前記感度補正部で補正された前記無偏光画像と、前記情報記憶部に記憶されている特性情報に基づき、前記偏光モデルの振幅を示す偏光パラメータを取得する（２）または（３）に記載の画像処理装置。
（５） 前記無偏光画像取得部は、前記対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行うことにより無偏光画像を取得する（２）に記載の画像処理装置。
（６） 前記対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または前記偏光子を設けた偏光画素と前記偏光子が設けられていない無偏光画素を有する構成である（５）に記載の画像処理装置。
（７） 前記情報記憶部に記憶された前記天頂角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づく角度である（２）に記載の画像処理装置。
（８） 前記情報記憶部に記憶された前記天頂角は、前記対象物体の三次元形状に基づいた角度である（２）に記載の画像処理装置。
（９） 前記情報記憶部は、前記偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する（２）に記載の画像処理装置。
（１０） 前記位相記憶部に記憶された前記方位角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づいた角度である（２）に記載の画像処理装置。
（１１） 前記位相記憶部に記憶された前記方位角は、前記対象物体の三次元形状に基づいた角度である（２）に記載の画像処理装置。
（１２） 前記位相記憶部に記憶された前記方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度である（２）に記載の画像処理装置。
（１３） 前記方位角を設定する方位角入力部を備え、
前記方位角入力部は、ユーザ操作に応じた方位角を前記位相記憶部に記憶させて、前記位相記憶部に記憶された前記方位角に基づき検出された前記偏光モデルを用いて、前記偏光画像から反射成分を除去した画像を表示する（２）に記載の画像処理装置。
（１４） 前記偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、
前記偏光モデル検出部は、前記飽和検出部で飽和状態でないと検出された前記偏光画像と前記偏光パラメータ取得部で取得された偏光パラメータに基づき前記偏光モデルを検出する（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 偏光モデル検出部は、前記偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデルの検出動作を切り替える（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記対象物体の偏光画像を取得する偏光画像取得部または前記偏光パラメータ取得部をさらに有する（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記対象物体の偏光画像と前記偏光モデル検出部で検出された偏光モデルに基づき前記対象物体の画像から反射成分を除去する反射除去部を有する（１）乃至（１６）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法およびプログラムでは、対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、対象物体の偏光特性を示す偏光モデルが検出される。このため、３以上の偏光方向の偏光画像を取得できない場合でも、対象物体の偏光特性を検出できるようになり、偏光モデルに基づき種々の処理、例えば反射除去処理等が行われた画像を用いる機器等に適している。

１０-1，１０-2，１０-3，１０-4，１０-5・・・ 画像処理装置
１１ａ，１１ｂ，１５・・・ 偏光画像取得部
１２-1，１２-2，１２-3，１２-4，１７・・・ 偏光パラメータ情報取得部
１３-1，１３-2，１３-3，１３-4，１８・・・ 偏光モデル検出部
１６・・・ 飽和検出部
１９・・・ 方位角入力部
３１・・・ 三次元形状取得部
１１１・・・ カメラブロック
１１２・・・ 偏光板
１１３・・・ イメージセンサ
１１４・・・ 偏光素子
１２１・・・ 無偏光画像取得部
１２２・・・ 感度補正部
１２３・・・ 偏光モデル振幅検出部
１２４・・・ 偏光モデル位相記憶部
１９１・・・ 入力操作部
１９２・・・ 画像提示部
１９２ａ・・・ 反射除去部
１９２ｂ・・・ 表示部
１２３１・・・ 情報記憶部
１２３２・・・ 偏光度算出部
１２３３・・・ 振幅検出部

Claims (18)

1. 対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出部を有し、
   前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた
   画像処理装置。
2. 前記偏光パラメータ取得部に前記無偏光画像取得部を設けた場合、前記偏光画像の感度に前記無偏光画像取得部で取得された前記無偏光画像を補正する感度補正部をさらに設ける
   請求項１に記載の画像処理装置。
3. 前記偏光パラメータ取得部は、前記感度補正部で補正された前記無偏光画像と、前記情報記憶部に記憶されている特性情報に基づき、前記偏光モデルの振幅を示す偏光パラメータを取得する
   請求項２に記載の画像処理装置。
4. 前記無偏光画像取得部は、前記対象物体の偏光画像を取得する偏光画像取得部において偏光子を用いることなく撮像を行うことにより無偏光画像を取得する
   請求項１に記載の画像処理装置。
5. 前記対象物体の偏光画像を取得する偏光画像取得部は、偏光子が着脱可能または前記偏光子を設けた偏光画素と前記偏光子が設けられていない無偏光画素を有する構成である
   請求項４に記載の画像処理装置。
6. 前記情報記憶部に記憶された前記天頂角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づく角度である
   請求項１に記載の画像処理装置。
7. 前記情報記憶部に記憶された前記天頂角は、前記対象物体の三次元形状に基づいた角度である
   請求項１に記載の画像処理装置。
8. 前記情報記憶部は、前記偏光画像が鏡面反射主体あるいは拡散反射主体のいずれの情報であるかを示す反射特性情報を記憶する
   請求項１に記載の画像処理装置。
9. 前記位相記憶部に記憶された前記方位角は、前記対象物体の偏光画像を取得する偏光画像取得部と前記対象物体に関する幾何的情報に基づいた角度である
   請求項１に記載の画像処理装置。
10. 前記位相記憶部に記憶された前記方位角は、前記対象物体の三次元形状に基づいた角度である
    請求項１に記載の画像処理装置。
11. 前記位相記憶部に記憶された前記方位角は、３以上の偏光方向の偏光画像に基づいて算出された近傍位置の方位角に基づく角度である
    請求項１に記載の画像処理装置。
12. 前記方位角を設定する方位角入力部を備え、
    前記方位角入力部は、ユーザ操作に応じた方位角を前記位相記憶部に記憶させて、前記位相記憶部に記憶された前記方位角に基づき検出された前記偏光モデルを用いて、前記偏光画像から反射成分を除去した画像を表示する
    請求項１に記載の画像処理装置。
13. 前記偏光画像が飽和状態であるかを検出する飽和検出部をさらに有し、
    前記偏光モデル検出部は、前記飽和検出部で飽和状態でないと検出された前記偏光画像と前記偏光パラメータ取得部で取得された偏光パラメータに基づき前記偏光モデルを検出する
    請求項１に記載の画像処理装置。
14. 前記偏光モデルの検出動作は複数存在し、前記偏光モデル検出部は、前記偏光画像の偏光方向数と偏光パラメータ取得部で取得される偏光パラメータに応じて、偏光モデルの検出動作を切り替える
    請求項１に記載の画像処理装置。
15. 前記対象物体の偏光画像を取得する偏光画像取得部または前記偏光パラメータ取得部をさらに有する
    請求項１に記載の画像処理装置。
16. 前記対象物体の偏光画像と前記偏光モデル検出部で検出された偏光モデルに基づき前記対象物体の画像から反射成分を除去する反射除去部をさらに有する
    請求項１に記載の画像処理装置。
17. 対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを偏光モデル検出部で検出する手順を有し、
    前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた
    画像処理方法。
18. コンピュータを、
    対象物体の１以上の偏光方向の偏光画像と偏光パラメータ取得部で取得された偏光パラメータに基づき、前記対象物体の偏光特性を示す偏光モデルを検出する偏光モデル検出手段として機能させ、
    前記偏光パラメータ取得部は、前記対象物体の無偏光画像を取得する無偏光画像取得部と、前記対象物体に関する特性情報と法線の天頂角を記憶した情報記憶部と、前記対象物体の法線の方位角を記憶した位相記憶部を、前記偏光画像の偏光方向の数に応じて１または複数組み合わせて設けた
    プログラム。
    

Images