JP7136123B2 - 画像処理装置と画像処理方法およびプログラムと情報処理システム - Google Patents

Description

この技術は、画像処理装置と画像処理方法およびプログラムと情報処理システムに関し、高精度に視差を検出できるようにする。

従来、偏光情報を用いてデプス情報を取得することが行われている。例えば特許文献１で示された画像処理装置は、複数視点の撮像画を用いたステレオマッチング処理によって生成した被写体までの距離を示すデプス情報（デプスマップ）を用いて、複数の視点位置で取得した偏光画像の位置合わせを行う。また、位置合わせ後の偏光画像を用いて検出した偏光情報に基づき法線情報（法線マップ）生成している。さらに、画像処理装置は、生成した法線情報を利用してデプス情報の高精度化を行っている。

また、非特許文献１では、ＴｏＦ（Time of Flight）センサで得られたデプス情報と偏光情報に基づいて得られた法線情報を用いて、高精度のデプス情報を生成することが記載されている。

国際公開第２０１６／０８８４８３号

Achuta Kadamb，et al.「Polarized 3D: High-Quality Depth Sensing with Polarization Cues」．ICCV (2015)．

ところで、特許文献１で示された画像処理装置は、複数視点の撮像画を用いたステレオマッチング処理によって検出した視差に基づきデプス情報を生成している。このため、平坦部ではステレオマッチング処理によって精度よく視差を検出することが困難であり、高精度にデプス情報を得ることができないおそれがある。また、非特許文献１のようにＴｏＦセンサを用いる場合、投射光が届かない状況や周辺環境が明るいために戻り光の検出が困難な状況では、デプス情報を得ることができない。また、投射光が必要となることから、電力消費量が多くなってしまう。

そこで、この技術では、被写体形状や撮像状況等の影響を受けにくく、高精度に視差を検出できる画像処理装置と画像処理方法およびプログラムと情報処理システムを提供することを目的とする。

この技術の第１の側面は、
偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する視差検出部
を備える画像処理装置にある。

この技術において、視差検出部は、偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行う。コスト調整処理では、視差検出対象画素を基準とした周辺領域内の画素について視差検出対象画素の法線情報を用いて算出したコストに基づき視差検出対象画素のコスト調整を行う。また、コスト調整では、周辺領域内の画素について算出したコストに対して、視差検出対象画素の法線情報と周辺領域内の画素の法線情報との法線差分に応じた重み付けや、視差検出対象画素と周辺領域内の画素との距離に応じた重み付け、視差検出対象画素の輝度値と周辺領域内の画素の輝度値との差に応じた重み付けの少なくともいずれかを行うようにしてもよい。

視差検出部は、法線情報に基づき不定性を生じる法線方向毎にコスト調整処理を行い、法線方向毎にコスト調整処理が行われたコストボリュームを用いて、類似度が最も高い視差を検出する。また、コストボリュームは、所定画素単位を視差として生成されており、視差検出部は、類似度が最も高い所定画素単位の視差を基準とした所定視差範囲のコストに基づき、所定画素単位よりも高い分解能で前記類似度が最も高い視差を検出する。さらに、デプス情報生成部を設けて、視差検出部で検出された視差に基づいてデプス情報を生成する。

この技術の第２の側面は、
偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を視差検出部で検出すること
を含む画像処理方法にある。

この技術の第３の側面は、
偏光画像を含む複数視点画像の処理をコンピュータで実行させるプログラムであって、
前記偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行う手順と、
前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
偏光画像を含む複数視点画像を取得する撮像部と、
前記撮像部で取得された複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する視差検出部と、
前記視差検出部で検出された視差に基づいてデプス情報を生成するデプス情報生成部とを備える情報処理システムにある。

この技術によれば、偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、コスト調整処理後のコストボリュームから、視差検出対象画素の視差毎のコストを用いて類似度が最も高い視差が検出される。したがって、被写体形状や撮像状況等の影響を受けにくく、高精度に視差を検出できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本技術の情報処理システムの第１の実施の形態の構成を例示した図である。 撮像部２１の構成を例示した図である。 法線情報生成部３１の動作を説明するための図である。 輝度と偏光角との関係を例示した図である。 デプス情報生成部３５の構成を例示した図である。 ローカルマッチ処理部３６１の動作を説明するための図である。 ローカルマッチ処理部３６１で生成されたコストボリュームを説明するための図である。 コストボリューム処理部３６３の構成を示した図である。 周辺画素の視差の算出動作を説明するための図である。 視差ｄＮjにおけるコストＣ_j,dNjの算出動作を説明するための図である。 コストが最小となる視差の検出動作を説明するための図である。 法線の不定性を有する場合を例示した図である。 処理対象画素における視差毎のコストを例示した図である。 撮像部２１と撮像部２２の配置を示した図である。 画像処理装置の動作を例示したフローチャートである。 本技術の情報処理システムの第２の実施の形態の構成を例示した図である。 デプス情報生成部３５ａの構成を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１－１．第１の実施の形態の構成
１－２．各部の動作
２．第２の実施の形態
２－１．第２の実施の形態の構成
２－２．各部の動作
３．他の実施の形態
４．適用例

＜１．第１の実施の形態＞
＜１－１．第１の実施の形態の構成＞
図１は、本技術の情報処理システムの第１の実施の形態の構成を例示している。情報処理システム１０は、撮像装置２０と画像処理装置３０を用いて構成されている。撮像装置２０は、複数の撮像部例えば撮像部２１，２２を有しており、画像処理装置３０は、法線情報生成部３１とデプス情報生成部３５を有している。

撮像部２１は、所望の被写体を撮像して得られた偏光画像信号を法線情報生成部３１とデプス情報生成部３５へ出力する。また、撮像部２２は、撮像部２１とは異なる視点位置から所望の被写体を撮像して得られた偏光画像信号または無偏光画像信号を生成してデプス情報生成部３５へ出力する。

画像処理装置３０の法線情報生成部３１は、撮像部２１から供給された偏光画像信号に基づき画素毎に法線方向を示す法線情報を生成して、デプス情報生成部３５へ出力する。

デプス情報生成部３５は、撮像部２１と撮像部２２から供給された視点位置の異なる２つの画像信号を用いて画像の類似度を示すコストを画素毎および視差毎に算出してコストボリュームを生成する。また、デプス情報生成部３５は、撮像部２１から供給された画像信号と法線情報生成部３１で生成された法線情報を用いてコストボリュームに対するコスト調整処理を行う。デプス情報生成部３５は、コスト調整処理後のコストボリュームから、視差検出対象画素の視差毎のコストを用いて類似度が最も高い視差を検出する。例えば、デプス情報生成部３５は、コスト調整処理の処理対象画素と処理対象画素を基準とした周辺領域内の画素の法線情報を用いたフィルタ処理を画素毎および視差毎に行うことで、コストボリュームに対するコスト調整処理を行う。また、デプス情報生成部３５は、処理対象画素と周辺領域内の画素の法線の差分や位置差、輝度差に基づき重みを算出して、算出した重みと法線情報生成部３１で生成された法線情報を用いたフィルタ処理を画素毎および視差毎に行うことで、コスト調整処理を行ってもよい。デプス情報生成部３５は、検出した視差と撮像部２１と撮像部２２の基線長および焦点距離から画素毎にデプスを算出してデプス情報を生成する。

＜１－２．各部の動作＞
次に、撮像装置２０の各部の動作について説明する。撮像部２１は、偏光方向が３方向以上である偏光画像信号を生成する。図２は、撮像部２１の構成を例示している。例えば、図２の（ａ）は、撮像レンズ等を含む撮像光学系とイメージセンサ等で構成されたカメラブロック２１１の前面に偏光板２１２を設けた構成を示している。この構成の撮像部２１は、偏光板２１２を回転させて撮像を行い、偏光方向が３方向以上である偏光方向毎の画像信号（以下「偏光画像信号」という）を生成する。図２の（ｂ）は、イメージセンサ２１３の入射面に、偏光特性の算出が可能となるように偏光画素を設けるための偏光子２１４を配置した構成とされている。なお、図２の（ｂ）では、各画素が４つの偏光方向のいずれかの偏光方向とされている。偏光画素は、図２の（ｂ）に示すように４つの偏光方向の何れかである場合に限らず、３つの偏光方向であってもよい。また、異なる２つの偏光方向の偏光画素と無偏光画素を設けて、偏光特性を算出できるようにしてもよい。撮像部２１が図２の（ｂ）に示す構成である場合、同じ偏光方向の画素を用いた補間処理やフィルタ処理等によって、偏光方向が異なる画素位置の画素値を算出することで、図２の（ａ）に示す構成で生成される偏光方向毎の画像信号を生成できる。なお、撮像部２１は、偏光画像信号を生成できる構成であればよく、図２に示す構成に限られない。撮像部２１は、偏光画像信号を画像処理装置３０へ出力する。

撮像部２２は、撮像部２１と同様に構成されていてもよく、偏光板２１２や偏光子２１４を用いていない構成であってもよい。撮像部２２は、生成した画像信号（または偏光画像信号）を画像処理装置３０へ出力する。

画像処理装置３０の法線情報生成部３１は、偏光画像信号に基づいて法線を取得する。図３は、法線情報生成部３１の動作を説明するための図である。図３に示すように、例えば光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上として、ｘ軸に対するｙ軸方向の角度を、偏光板ＰＬの偏光方向（透過軸の角度）を示す偏光角υとする。偏光板ＰＬは、偏光方向が１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬの偏光方向を変化させると、観測される輝度Ｉ（υ）は式（１）の偏光モデル式であらわすことができる。なお、図４は、輝度と偏光角との関係を例示している。式（１）におけるパラメータＡ，Ｂ，Ｃは、偏光によるＳｉｎ波形を表現するパラメータである。ここで、４つの偏光方向の輝度値、例えば偏光角υが「υ＝０度」のときの観測値を輝度値Ｉ0、偏光角υが「υ＝４５度」のときの観測値を輝度値Ｉ45、偏光角υが「υ＝９０度」のときの観測値を輝度値Ｉ90、偏光角υが「υ＝１３５度」のときの観測値を輝度値Ｉ135とすると、パラメータＡは式（２）、パラメータＢは式（３）、パラメータＣは式（４）に基づいて算出される値となる。なお、詳細な説明は省略するが、偏光モデル式のパラメータは３つであることから、３つの偏光方向の輝度値を用いて、パラメータＡ，Ｂ，Ｃを算出することもできる。

また、式（１）に示す偏光モデル式は、座標系を替えると式（５）となる。式（５）における偏光度ρは式（６）、方位角φは式（７）に基づいて算出される。なお、偏光度ρは偏光モデル式の振幅を示しており、方位角φは偏光モデル式の位相を示している。

さらに、偏光度ρと被写体の屈折率ｎを用いて式（８）に基づき天頂角θを算出できることが知られている。なお、式（８）において、係数ｋ0は式（９）に基づいて算出されて、ｋ1は式（１０）に基づいて算出される。さらに係数ｋ2，ｋ3は、式（１１）（１２）に基づいて算出される。

したがって、法線情報生成部３１は、上述の演算を行い方位角φと天頂角θを算出することで、法線情報Ｎ（Ｎｘ，Ｎｙ，Ｎｚ）を生成できる。法線情報ＮにおけるＮｘはｘ軸方向の成分であり、式（１３）に基づいて算出される。また、Ｎｙはｙ軸方向の成分であり式（１４）に基づいて算出される。さらに、Ｎｚはｚ軸方向の成分であり式（１５）に基づいて算出される。
Ｎｘ＝ｃｏｓ（φ）・ｓｉｎ（θ） ・・・（１３）
Ｎｙ＝ｓｉｎ（φ）・ｓｉｎ（θ） ・・・（１４）
Ｎｚ＝ｃｏｓ（θ） ・・・（１５）

法線情報生成部３１は、法線情報Ｎの生成を画素毎に行い、画素毎に生成した法線情報をデプス情報生成部３５へ出力する。

図５は、デプス情報生成部３５の構成を例示している。デプス情報生成部３５は、視差検出部３６とデプス算出部３７を有している。また、視差検出部３６は、ローカルマッチ処理部３６１、コストボリューム処理部３６３、最小値探索処理部３６５を有している。

ローカルマッチ処理部３６１は、撮像部２１，２２で生成された画像信号を用いて、一方の撮像画の画素毎に他方の撮像画の対応点を検出する。図６は、ローカルマッチ処理部３６１の動作を説明するための図であり、図６の（ａ）は撮像部２１によって取得された左視点画像、図６の（ｂ）は撮像部２２によって取得された右視点画像を例示している。撮像部２１と撮像部２２は垂直方向の位置を一致させて水平に並んで配置されており、ローカルマッチ処理部３６１は、左視点画像における処理対象画素の対応点を右視点画像から検出する。具体的には、ローカルマッチ処理部３６１は、左視点画像における処理対象画素と垂直方向の位置が等しい右視点画像の画素位置を基準位置とする。例えば、ローカルマッチ処理部３６１は、左視点画像における処理対象画素と位置が等しい右視点画像の画素位置を基準位置とする。また、ローカルマッチ処理部３６１は、撮像部２１に対する撮像部２２の並び方向である水平方向を探索方向とする。ローカルマッチ処理部３６１は、処理対象画素と探索範囲の画素との類似度を示すコストを算出する。ローカルマッチ処理部３６１は、コストとして例えば式（１６）に示すピクセルベースで算出した差分絶対値（Absolute Difference）を用いてもよく、式（１７）に示すウィンドウベースで算出したゼロ平均差分絶対値和（Zero-mean Sum of Absolute Difference）を用いてもよい。また、類似度を示すコストは他の統計量例えば相互相関係数等を用いてもよい。

式（１６）において、「Ｌｉ」は左視点画像における処理対象画素ｉにおける輝度値、「ｄ」は右視点画像の基準位置からの画素単位の距離を示しており視差に相当する。「Ｒi+d」は右視点画像における基準位置から視差ｄを生じた画素の輝度値を示している。また、式（１７）において、「ｘ，ｙ」はウィンドウ内の位置を示しており、バーＬiは処理対象画素ｉを基準とした周辺領域の輝度平均値、バーＲi+dは基準位置から視差ｄを生じた位置を基準とした周辺領域の輝度平均値を示している。また、式（１６）や式（１７）を用いた場合、算出値が小さくなるほど類似度が高い。

また、ローカルマッチ処理部３６１は、撮像部２２から無偏光の画像信号が供給される場合、撮像部２１から供給された偏光画像信号に基づき無偏光の画像信号を生成して、ローカルマッチ処理を行う。例えば、上述のパラメータＣは無偏光成分を示していることから、ローカルマッチ処理部３６１は、画素毎のパラメータＣを示す信号を無偏光の画像信号として用いる。また、偏光板や偏光子を用いたことにより感度が低下することから、ローカルマッチ処理部３６１は、偏光画像信号から生成した無偏光の画像信号に対して、撮像部２２から無偏光の画像信号と同等の感度となるようにゲイン調整を行ってもよい。

ローカルマッチ処理部３６１は、左視点画像の各画素で視差毎に類似度を算出してコストボリュームを生成する。図７は、ローカルマッチ処理部３６１で生成されたコストボリュームを説明するための図である。図７では、同一視差における左視点画像の各画素で算出された類似度を１つの平面として示している。したがって、左視点画像の各画素で算出された類似度を示す平面が、視差探索範囲の探索移動量（視差）毎に設けられて、コストボリュームが構成されている。ローカルマッチ処理部３６１は生成したコストボリュームをコストボリューム処理部３６３へ出力する。

コストボリューム処理部３６３は、ローカルマッチ処理部３６１で生成されたコストボリュームに対して、高精度に視差検出を行うことができるようにコスト調整処理を行う。コストボリューム処理部３６３は、コスト調整処理の処理対象画素と処理対象画素を基準とした周辺領域内の画素の法線情報を用いたフィルタ処理を画素毎および視差毎に行うことで、コストボリュームに対するコスト調整処理を行う。また、デプス情報生成部３５は、処理対象画素と周辺領域内の画素の法線の差分や位置差、輝度差に基づき重みを算出して、算出した重みと法線情報生成部３１で生成された法線情報を用いたフィルタ処理を画素毎および視差毎に行うことで、コストボリュームに対するコスト調整処理を行ってもよい。

次に、処理対象画素と周辺領域内の画素の法線の差分や位置差、輝度差に基づき重みを算出して、算出した重みと法線情報生成部３１で生成された法線情報を用いたフィルタ処理を画素毎および視差毎に行う場合について説明する。

図８は、コストボリューム処理部３６３の構成を示している。コストボリューム処理部３６３は、重み算出処理部３６３１と周辺視差算出処理部３６３２とフィルタ処理部３６３３を有している。

重み算出処理部３６３１は、処理対象画素と周辺画素の法線情報や位置，輝度に応じて重みを算出する。重み算出処理部３６３１は、処理対象画素と周辺画素の法線情報に基づいて距離関数値を算出して、算出した距離関数値と、処理対象画素と周辺領域内の画素の位置および／または輝度を用いて、周辺画素の重みを算出する。

重み算出処理部３６３１は、処理対象画素と周辺画素の法線情報を用いて距離関数値を算出する。例えば、処理対象画素ｉにおける法線情報Ｎi＝（Ｎ_i,x，Ｎ_i,y，Ｎ_i,z）、周辺画素ｊにおける法線情報Ｎj＝（Ｎ_j,x，Ｎ_j,y，Ｎ_j,z）とする。この場合、処理対象画素ｉと周辺領域内の周辺画素ｊとの距離関数値ｄｉｓｔ（Ｎi－Ｎj）は、式（１８）で算出された値であり法線差分を示している。

重み算出処理部３６３１は、距離関数値ｄｉｓｔ（Ｎi－Ｎj）と例えば処理対象画素ｉの位置Ｐiと周辺画素ｊの位置Ｐjを用いて、式（１９）に基づき、処理対象画素に対する周辺画素の重みＷ_i,jを算出する。なお、式（１９）において、パラメータσsは空間の類似度調整のためのパラメータであり、パラメータσnは法線の類似度調整のためのパラメータであり、パラメータＫiは正規化項である。パラメータσs，σn，Ｋiは予め設定されている。

また、重み算出処理部３６３１は、距離関数値ｄｉｓｔ（Ｎi－Ｎj）と処理対象画素ｉの位置Ｐiと輝度値Ｉiおよび周辺画素ｊの位置Ｐjと輝度値Ｉjを用いて、式（２０）に基づき、周辺領域内の画素の重みＷ_i,jを算出してもよい。なお、式（２０）において、パラメータσcは輝度の類似度調整のためのパラメータであり、パラメータσcは予め設定されている。

重み算出処理部３６３１は、処理対象画素に対する各周辺画素についての重みを算出してフィルタ処理部３６３３へ出力する。

周辺視差算出処理部３６３２は、処理対象画素に対する周辺画素の視差を算出する。図９は周辺画素の視差の算出動作を説明するための図である。撮像面をｘ－ｙ平面としたとき処理対象画素の位置Ｐi（＝ｘ_i、ｘ_j）は被写体ＯＢの位置Ｑiに対応しており、周辺画素の位置Ｐj（＝ｘ_j，ｙ_j）は被写体ＯＢの位置Ｑjに対応している。周辺視差算出処理部３６３２は、処理対象画素ｉの位置Ｐiすなわち被写体ＯＢの位置Ｑiにおける法線情報Ｎi＝（Ｎ_i,x，Ｎ_i,y，Ｎ_i,z）と、周辺画素ｊの位置Ｐjすなわち被写体ＯＢの位置Ｑjにおける法線情報Ｎj＝（Ｎ_j,x，Ｎ_j,y，Ｎ_j,z）、および視差ｄiを用いて、式（２１）に基づき周辺画素ｊの視差ｄＮjを算出する。

周辺視差算出処理部３６３２は、処理対象画素に対する各周辺画素について視差ｄＮjを算出してフィルタ処理部３６３３へ出力する。

フィルタ処理部３６３３は、重み算出処理部３６３１で算出した各周辺画素の重みと周辺視差算出処理部３６３２で算出した各周辺画素の視差を用いて、ローカルマッチ処理部３６１で算出したコストボリュームのフィルタ処理を行う。フィルタ処理部３６３３は、重み算出処理部３６３１で算出した処理対象画素ｉに対する周辺領域内の画素ｊの重みＷ_i,jと、処理対象画素ｉに対する周辺領域内の画素ｊの視差ｄＮjを用いて式（２２）に基づきフィルタ処理後のコストボリュームを算出する。

周辺画素のコストボリュームは視差ｄ毎に算出されており、視差ｄは画素単位の値であり整数値である。また、式（２０）で算出された周辺画素の視差ｄＮjは整数値に限られない。そこで、フィルタ処理部３６３３は、視差ｄＮjが整数値でない場合、視差ｄＮjと近い視差のコストボリュームを用いて視差ｄＮjのコストＣ_j,dNjを算出する。図１０は、視差ｄＮjにおけるコストＣ_j,dNjの算出動作を説明するための図である。例えば、フィルタ処理部３６３３は、視差ｄＮjの端数処理を行い、小数点以下を切り捨てた視差ｄ_aと小数点以下を切り上げた視差ｄ_a+1を算出する。さらに、フィルタ処理部３６３３は視差ｄ_aのコストＣ_aと視差ｄ_a+1のコストＣ_a+1を用いた直線補間によって、視差ｄＮjにおけるコストＣ_j,dNjを算出する。

フィルタ処理部３６３３は、処理対象画素に対して、重み算出処理部３６３１で算出した各周辺画素の重みと周辺視差算出処理部３６３２で算出した各周辺画素の視差ｄＮjのコストＣ_j,dNjを用いて式（２２）に示すようにコストＣＮ_i,dを算出する。さらに、フィルタ処理部３６３３は、各画素を処理対象画素として視差毎にコストＣＮ_i,dの算出を行う。このように、フィルタ処理部３６３３は、処理対象画素と周辺画素の法線情報や位置，輝度の関係を利用して、視差の違いによるコスト変化において、類似度の最も高い視差を強調するようにコストボリュームのコスト調整処理を行う。フィルタ処理部３６３３は、コスト調整処理後のコストボリュームを最小値探索処理部３６５へ出力する。

なお、式（２２）や式（２５）において重みＷ_i,jを「１」とすれば、フィルタ処理部３６３３では、法線情報に基づいたフィルタ処理によってコスト調整処理が行われることになる。また、式（１９）に基づいて算出した重みＷ_i,jを用いれば、法線情報と同一視差における面方向の距離に基づいたフィルタ処理によってコスト調整処理が行われることになる。さらに、式（２０）に基づいて算出した重みＷ_i,jを用いれば、法線情報と同一視差における面方向の距離と輝度変化に基づいたフィルタ処理によってコスト調整処理が行われることになる。

最小値探索処理部３６５は、フィルタ処理後のコストボリュームに基づき、画像が最も類似する視差を検出する。コストボリュームは、視差毎のコストが画素毎に示されており、上述したように、コストが小さいほど類似度が高い。したがって、最小値探索処理部３６５は、コストが最小値となる視差を画素毎に検出する。

図１１は、コストが最小となる視差の検出動作を説明するための図であり、パラボラフィッティングを用いてコストが最小となる視差を検出する場合を例示している。

最小値探索処理部３６５は、対象画素における視差毎のコストから最小値を含む連続した視差範囲のコストを用いてパラボラフィッティングを行う。例えば、最小値探索処理部３６５は、視差毎に算出したコストにおける最小のコストＣ_xの視差ｄ_xを中心として、連続した視差範囲のコストすなわち視差ｄ_x-1のコストＣ_x-1と視差ｄ_x+1のコストＣ_x+1を用いて、式（２３）に基づき視差ｄ_xよりもさらにコストが最小となる変位量δだけ離れた視差ｄ_tを対象画素の視差とする。このように、整数単位の視差ｄから小数精度の視差ｄ_tを算出して、デプス算出部３７へ出力する。

また、視差検出部３６は、法線の不定性を含めて視差を検出してもよい。この場合、周辺視差算出処理部３６３２は、不定性を有する法線について一方の法線を示す法線情報Ｎiを用いて、上述のように視差ｄＮjを算出する。また、周辺視差算出処理部３６３２は、他方の法線を示す法線情報Ｍｉを用いて、式（２４）に基づき、視差ｄＭjを算出してフィルタ処理部３６３３へ出力する。図１２は法線の不定性を有する場合を例示しており、例えば９０度の不定性を有して法線情報Ｎiと法線情報Ｍiが得られているとする。なお、図１２の（ａ）は、対象画素における法線情報Ｎiで示された法線方向を示しており、図１２の（ｂ）は、対象画素における法線情報Ｍiで示された法線方向を示している。

フィルタ処理部３６３３は、法線の不定性を含めてフィルタ処理を行う場合、重み算出処理部３６３１で算出した各周辺画素の重みと周辺視差算出処理部３６３２で算出した周辺画素の視差ｄＭｊを用いて、式（２５）に示すコスト調整処理を、各画素を処理対象画素として行う。フィルタ処理部３６３３は、コスト調整処理後のコストボリュームを最小値探索処理部３６５へ出力する。

最小値探索処理部３６５は、法線情報Ｎに基づくフィルタ処理後のコストボリュームと法線情報Ｍに基づくフィルタ処理後のコストボリュームから、コストが最小値となる視差を画素毎に検出する。

図１３は、処理対象画素における視差毎のコストを例示している。なお実線ＶＣＮは法線情報Ｎiに基づくフィルタ処理後のコストを示しており、破線ＶＣＭは法線情報Ｍiに基づくフィルタ処理後のコストを示している。この場合、視差毎のコストが最小となるコストボリュームは、法線情報Ｎiに基づくフィルタ処理後のコストボリュームであることから、法線情報Ｎiに基づくフィルタ処理後のコストボリュームを用いて、処理対象画素における視差毎のコストが最小となる視差を基準とした視差毎のコストから小数精度の視差ｄtを算出する。

デプス算出部３７は、視差検出部３６で検出された視差に基づいてデプス情報を生成する。図１４は、撮像部２１と撮像部２２の配置を示している。撮像部２１と撮像部２２の間隔は基線長Ｌｂとされており、撮像部２１と撮像部２２は焦点距離ｆである。デプス算出部３７は、視差検出部３６で検出された視差ｄtと基線長Ｌｂと焦点距離ｆを用いて式（２６）の演算を画素毎に行い、画素毎の奥行きＺを示すデプスマップをデプス情報として生成する。
Ｚ＝Ｌｂ×ｆ／ｄｔ ・・・（２６）

図１５は、画像処理装置の動作を例示したフローチャートである。ステップＳＴ1で画像処理装置は複数視点の撮像画を取得する。画像処理装置３０は撮像装置２０から、撮像部２１，２２で生成された偏光画像を含む複数視点の撮像画の画像信号を取得してステップＳＴ２に進む。

ステップＳＴ２で画像処理装置は法線情報を生成する。画像処理装置３０は、撮像装置２０から取得した偏光画像に基づき、各画素の法線方向を示す法線情報を生成してステップＳＴ３に進む。

ステップＳＴ３で画像処理装置はコストボリュームを生成する。画像処理装置３０は、撮像装置２０から取得した偏光撮像画と偏光撮像画と異なる視点の撮像画の画像信号を用いてローカルマッチ処理を行い、各画素における画像の類似度を示すコストの算出を視差毎に行う。画像処理装置３０は、視差毎に算出した各画素のコストを示すコストボリュームを生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理装置はコストボリュームに対するコスト調整処理を行う。画像処理装置３０は、ステップＳＴ２で生成した法線情報を用いて、処理対象画素に対する周辺領域内の画素の視差を算出する。また、画像処理装置３０は、処理対象画素と周辺画素の法線情報や位置，輝度に応じて重みを算出する。さらに、画像処理装置３０は、周辺領域内の画素の視差または周辺領域内の画素の視差と処理対象画素の重みを用いて、類似度の最も高い視差を強調するようにコストボリュームのコスト調整処理を行いステップＳＴ５に進む。

ステップＳＴ５で画像処理装置は最小値探索処理を行う。画像処理装置３０は、フィルタ処理後のコストボリュームから対象画素における視差毎のコストを取得して、コストが最小となる視差を検出する。また、画像処理装置３０は、各画素を対象画素として画素毎にコストが最小となる視差を検出してステップＳＴ６に進む。

ステップＳＴ６で画像処理装置はデプス情報を生成する。画像処理装置３０は、撮像部２１，２２の焦点距離と、撮像部２１と撮像部２２の間隔を示す基線長、およびステップＳＴ５で画素毎に検出した最小コストの視差に基づき、画素毎にデプスを算出して、各画素のデプスを示すデプス情報を生成する。なお、ステップＳＴ２とステップＳＴ３の処理は、いずれの処理を先に行ってもよい。

このように、第１の実施の形態によれば、ローカルマッチ処理で検出可能な視差よりも高精度に視差を画素毎に検出できるようになる。また、検出された高精度の視差を用いて、画素毎のデプス情報を精度よく生成できるようになり、投射光等を用いることなく高精度のデプスマップを得られるようになる。

＜２．第２の実施の形態＞
＜２－１．第２の実施の形態の構成＞
図１６は、本技術の情報処理システムの第２の実施の形態の構成を例示している。情報処理システム１０ａは、撮像装置２０ａと画像処理装置３０ａを有している。撮像装置２０ａは撮像部２１，２２，２３を有しており、また、画像処理装置３０ａは、法線情報生成部３１とデプス情報生成部３５ａを有している。

撮像部２１は、所望の被写体を撮像して得られた偏光画像信号を法線情報生成部３１とデプス情報生成部３５ａへ出力する。また、撮像部２２は、撮像部２１とは異なる視点位置から所望の被写体を撮像して得られた偏光画像信号または無偏光画像信号をデプス情報生成部３５ａへ出力する。また、撮像部２３は、撮像部２１，２２とは異なる視点位置から所望の被写体を撮像して得られた偏光画像信号または無偏光画像信号をデプス情報生成部３５ａへ出力する。

画像処理装置３０ａの法線情報生成部３１は、撮像部２１から供給された偏光画像信号に基づき画素毎に法線方向を示す法線情報を生成して、デプス情報生成部３５ａへ出力する。

デプス情報生成部３５ａは、撮像部２１と撮像部２２から供給された視点位置の異なる２つの画像信号を用いて画像の類似度を示すコストを画素毎および視差毎に算出してコストボリュームを生成する。また、デプス情報生成部３５ａは、撮像部２１と撮像部２３から供給された視点位置の異なる２つの画像信号を用いて画像の類似度を示すコストを画素毎および視差毎に算出してコストボリュームを生成する。さらに、デプス情報生成部３５ａは、撮像部２１から供給された画像信号と法線情報生成部３１で生成された法線情報を用いて、それぞれのコストボリュームに対してコスト調整処理を行う。また、デプス情報生成部３５ａは、コスト調整処理後のコストボリュームから、視差検出対象画素の視差毎のコストを用いて類似度が最も高い視差を検出する。デプス情報生成部３５ａは、検出した視差と撮像部２１と撮像部２２の基線長および焦点距離から画素毎にデプスを算出してデプス情報を生成する。

＜２－２．各部の動作＞
次に、撮像装置２０ａの各部の動作について説明する。撮像部２１，２２は第１の実施の形態と同様に構成されており、撮像部２３は撮像部２２と同様に構成されている。撮像部２１は、生成した偏光画像信号を画像処理装置３０ａの法線情報生成部３１へ出力する。また、撮像部２２は、生成した画像信号を画像処理装置３０ａへ出力する。さらに、撮像部２３は、生成した画像信号を画像処理装置３０ａへ出力する。

画像処理装置３０ａの法線情報生成部３１は、第１の実施の形態と同様に構成されており、偏光画像信号に基づいて法線情報を生成する。法線情報生成部３１は、生成した法線情報をデプス情報生成部３５ａへ出力する。

図１７はデプス情報生成部３５ａの構成を例示している。デプス情報生成部３５ａは、視差検出部３６ａとデプス算出部３７を有している。また、視差検出部３６ａは、ローカルマッチ処理部３６１，３６２、コストボリューム処理部３６３，３６４、最小値探索処理部３６６を有している。

ローカルマッチ処理部３６１は、第１の実施の形態と同様に構成されており、撮像部２１，２２で得られた撮像画を用いて、一方の撮像画の画素毎に他方の撮像画の対応点の類似度を算出してコストボリュームを生成する。ローカルマッチ処理部３６１は、生成したコストボリュームをコストボリューム処理部３６３へ出力する。

ローカルマッチ処理部３６２は、ローカルマッチ処理部３６１と同様に構成されており、撮像部２１，２３で得られた撮像画を用いて、一方の撮像画の画素毎に他方の撮像画の対応点の類似度を算出してコストボリュームを生成する。ローカルマッチ処理部３６２は、生成したコストボリュームをコストボリューム処理部３６４へ出力する。

コストボリューム処理部３６３は、第１の実施の形態と同様に構成されている。コストボリューム処理部３６３は、ローカルマッチ処理部３６１で生成したコストボリュームに対して、視差を高精度に検出できるようにコスト調整処理を行い、コスト調整処理後のコストボリュームを最小値探索処理部３６６へ出力する。

コストボリューム処理部３６４は、コストボリューム処理部３６３と同様に構成されている。コストボリューム処理部３６４は、ローカルマッチ処理部３６２で生成したコストボリュームに対して、視差を高精度に検出できるようにコスト調整処理を行い、コスト調整処理後のコストボリュームを最小値探索処理部３６６へ出力する。

最小値探索処理部３６６は、第１の実施の形態と同様に、コスト調整後のコストボリュームに基づき、最も類似する視差、すなわち類似度が最小値を示す視差を画素毎に検出する。また、デプス算出部３７は、第１の実施の形態と同様に、視差検出部３６で検出された視差に基づいてデプス情報を生成する。

このような第２の実施の形態によれば、第１の実施の形態と同様に、高精度に視差を画素毎に検出できるようになり、高精度のデプスマップを得られるようになる。また、第２の実施の形態によれば、撮像部２１，２２で取得された画像信号だけでなく、撮像部２３で取得された画像信号を用いて視差を検出できる。したがって、撮像部２１，２２で取得された画像信号に基づき視差を算出する場合に比べて、より確実に各画素について精度よく視差を検出することが可能となる。

また、撮像部２１，２２，２３は一方向に並べて配置してもよく複数方向に配置してもよい。例えば撮像装置２０ａは、撮像部２１と撮像部２２を水平方向に設けて、撮像部２１と撮像部２３を垂直方向に設けてもよい。この場合、水平方向に並んだ撮像部で取得された画像信号では精度よく視差を検出することが困難な被写体部分でも、垂直方向に並んだ撮像部で取得された画像信号に基づき精度よく視差を検出することが可能となる。

＜３．他の実施の形態＞
上述の実施の形態では、カラーフィルタ用いることなく得られた画像信号を用いて視差の検出やデプス情報の生成を行う場合について説明したが、撮像部にカラーモザイクフィルタ等を設けて、画像処理装置は、撮像部で生成されたカラー画像信号を用いて視差の検出やデプス情報の生成を行うようにしてもよい。この場合、画像処理装置は、撮像部で生成された画像信号を用いてデモザイク処理を行い色成分毎の画像信号を生成して、例えば色成分毎の画像信号を用いて算出した画素の輝度値を用いればよい。また、画像処理装置は、撮像部で生成された色成分が等しい偏光画素の画素信号を用いて法線情報を生成する。

＜４．適用例＞
また、本開示に係る技術は、様々な製品へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であってもよいし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。

図１９は、撮像部１２０３１の設置位置の例を示す図である。

図１９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術の撮像装置２０，２０ａは、以上説明した構成のうち、撮像部１２０３１等に適用され得る。また、本開示に係る技術の画像処理装置３０，３０ａは、以上説明した構成のうち、車外情報検出ユニット１２０３０に適用され得る。このように、本開示に係る技術を車両制御システムに適用すれば、デプス情報を精度よく取得できるので、取得したデプス情報を利用して被写体の立体形状の認識等を行うことで、ドライバの疲労軽減や自動運転に必要な情報を高精度に取得することが可能になる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する視差検出部
を備える画像処理装置。
（２） 前記視差検出部は、前記視差毎に前記コスト調整処理を行い、前記コスト調整処理では、前記視差検出対象画素を基準とした周辺領域内の画素について前記視差検出対象画素の前記法線情報を用いて算出したコストに基づき前記視差検出対象画素のコスト調整を行う（１）に記載の画像処理装置。
（３） 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素の法線情報と前記周辺領域内の画素の法線情報との法線差分に応じた重み付けを行う（２）に記載の画像処理装置。
（４） 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素と前記周辺領域内の画素との距離に応じた重み付けを行う（２）または（３）に記載の画像処理装置。
（５） 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素の輝度値と前記周辺領域内の画素の輝度値との差に応じた重み付けを行う（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記視差検出部は、前記法線情報に基づき不定性を生じる法線方向毎に前記コスト調整処理を行い、前記法線方向毎にコスト調整処理が行われたコストボリュームを用いて、前記類似度が最も高い視差を検出する（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記コストボリュームは、所定画素単位を視差として生成されており、
前記視差検出部は、前記類似度が最も高い所定画素単位の視差を基準とした所定視差範囲のコストに基づき、前記所定画素単位よりも高い分解能で前記類似度が最も高い視差を検出する（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記視差検出部で検出された視差に基づいてデプス情報を生成するデプス情報生成部をさらに備える（１）乃至（７）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法およびプログラムと情報処理システムによれば、偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、コスト調整処理後のコストボリュームから、視差検出対象画素の視差毎のコストを用いて類似度が最も高い視差が検出される。このため、被写体形状や撮像状況等の影響を受けにくく、高精度に視差を検出できる。したがって、立体形状を精度よく検出することが必要な機器等に適している。

１０，１０ａ・・・情報処理システム
２０，２０ａ・・・撮像装置
２１，２２，２３・・・撮像部
３０，３０ａ・・・画像処理装置
３１・・・法線情報生成部
３５，３５ａ・・・デプス情報生成部
３６，３６ａ・・・視差検出部
３７・・・デプス算出部
２１１・・・カメラブロック
２１２・・・偏光板
２１３・・・イメージセンサ
２１４・・・偏光子
３６１，３６２・・・ローカルマッチ処理部
３６３，３６４・・・コストボリューム処理部
３６３１・・・重み算出処理部
３６３２・・・周辺視差算出処理部
３６３３・・・フィルタ処理部
３６５，３６６・・・最小値探索処理部

Claims (11)

1. 偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する視差検出部
   を備える画像処理装置。
2. 前記視差検出部は、前記視差毎に前記コスト調整処理を行い、前記コスト調整処理では、前記視差検出対象画素を基準とした周辺領域内の画素について前記視差検出対象画素の前記法線情報を用いて算出したコストに基づき前記視差検出対象画素のコスト調整を行う
   請求項１に記載の画像処理装置。
3. 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素の法線情報と前記周辺領域内の画素の法線情報との法線差分に応じた重み付けを行う
   請求項２に記載の画像処理装置。
4. 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素と前記周辺領域内の画素との距離に応じた重み付けを行う
   請求項２に記載の画像処理装置。
5. 前記視差検出部は、前記周辺領域内の画素について算出した前記コストに対して、前記視差検出対象画素の輝度値と前記周辺領域内の画素の輝度値との差に応じた重み付けを行う
   請求項２に記載の画像処理装置。
6. 前記視差検出部は、前記法線情報に基づき不定性を生じる法線方向毎に前記コスト調整処理を行い、前記法線方向毎にコスト調整処理が行われたコストボリュームを用いて、前記類似度が最も高い視差を検出する
   請求項１に記載の画像処理装置。
7. 前記コストボリュームは、所定画素単位を視差として生成されており、
   前記視差検出部は、前記類似度が最も高い所定画素単位の視差を基準とした所定視差範囲のコストに基づき、前記所定画素単位よりも高い分解能で前記類似度が最も高い視差を検出する
   請求項１に記載の画像処理装置。
8. 前記視差検出部で検出された視差に基づいてデプス情報を生成するデプス情報生成部をさらに備える
   請求項１に記載の画像処理装置。
9. 偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を視差検出部で検出すること
   を含む画像処理方法。
10. 偏光画像を含む複数視点画像の処理をコンピュータで実行させるプログラムであって、
    前記偏光画像を含む複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行う手順と、
    前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する手順と
    を前記コンピュータで実行させるプログラム。
11. 偏光画像を含む複数視点画像を取得する撮像部と、
    前記撮像部で取得された複数視点画像の類似度に応じたコストを画素毎および視差毎に示すコストボリュームに対して、前記偏光画像に基づく画素毎の法線情報を用いてコスト調整処理を行い、前記コスト調整処理後の前記コストボリュームから、視差検出対象画素の視差毎のコストを用いて前記類似度が最も高い視差を検出する視差検出部と、
    前記視差検出部で検出された視差に基づいてデプス情報を生成するデプス情報生成部とを備える情報処理システム。

Images