JP6481375B2 - 情報処理システム、情報処理方法、プログラム、および情報処理装置 - Google Patents

Description

本発明は、情報処理システム、情報処理方法、プログラム、および情報処理装置に関する。

従来より、ステレオカメラ等の複数の撮像部を用いて撮影された撮影画像（ステレオ画像）に含まれるオブジェクトについて、視差演算を行うことで該オブジェクトまでの距離を算出する測距技術が知られている。

当該測距技術は、車載用カメラの場合、視差画像によって、前方の車両、人物、または障害物などを検出する技術であることが知られている。

また、当該測距技術は、工場用カメラの場合、部品などを物体認識し、いわゆるピッキング（ｐｉｃｋｉｎｇ）を行うため、視差を算出する技術であることが知られている。

しかしながら、従来の方法では、車両が通行する路面または金属材質の部品などが撮像されているいわゆるテクスチャ（Ｔｅｘｔｕｒｅ）の少ない画像領域、すなわち周囲との輝度変化が小さい画像領域の場合、視差計算の精度が悪くなる場合があった。

本発明の１つの側面は、テクスチャの少ない画像領域で視差計算の精度を良くすることを目的とする。

一態様における、撮像装置を複数有する情報処理システムに行わせる情報処理方法は、前記撮像装置が、偏光成分と、輝度成分とを撮像して撮像画像を出力する撮像手段を有し、前記情報処理システムに、前記撮像手段が出力する前記撮像画像の前記偏光成分に基づいた偏光画像と、前記撮像手段が出力する前記撮像画像の前記輝度成分に基づいた輝度画像とを生成させる生成手順と、前記偏光画像および前記輝度画像に対してデンス視差計算を行わせる計算手順とを実行させることを特徴とする。

テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

本発明の一実施形態に係る撮像システムのハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る偏光カメラによって撮像した撮像画像の一例を説明するための図である。 本発明の一実施形態に係る偏光カメラの構成の一例を説明するための図である。 本発明の一実施形態に係る撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る撮像システムによる一致度（Ｐｘ３，Ｐｙ５）の計算を説明するための図である。 本発明の一実施形態に係る撮像システムによる一致度（Ｐｘ３，Ｐｙ５）の計算結果を説明するための図である。 本発明の一実施形態に係る伝播のイメージの一例を説明する模式図である。 輝度画像でのデンス視差計算の結果の一例を説明するための図である。 本発明の一実施形態に係る偏光画像でのデンス視差計算の結果の一例を説明するための図である。 本発明の一実施形態に係る小数視差の計算結果の一例を説明するための図である。 本発明の一実施形態に係る第２実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る撮像システムによる処理結果の一例を説明する表である。 本発明の一実施形態に係る撮像システムによる処理結果の一例を説明するための図である。 本発明の一実施形態に係る第３実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第４実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第５実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第６実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第７実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第８実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る撮像システムによるヒストグラム拡大処理の一例を説明するための図である。 本発明の一実施形態に係る第９実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１０実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１１実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１２実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１３実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１４実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。 本発明の一実施形態に係る第１５実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

以下、本発明の実施の形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜第１実施形態＞
＜システム構成＞
図１は、本発明の一実施形態に係る撮像システムのハードウェア構成の一例を説明するブロック図である。

情報処理システムは、例えば撮像システム１である。以下、撮像システム１を例に説明する。

撮像システム１は、例えばステレオカメラシステムである。以下、ステレオカメラシステムの場合を例に説明する。

撮像システム１は、第一撮像装置１Ｈ１と、第二撮像装置１Ｈ２と、画像処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１Ｈ３と、制御Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１Ｈ４とを有する。さらに、撮像システム１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ５と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ） Ｉ／Ｆ１Ｈ６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） Ｉ／Ｆ１Ｈ７とを有する。さらにまた、撮像システム１は、ＲＯＭ１Ｈ８と、ＲＡＭ１Ｈ９とを有する。なお、撮像システム１が有する各要素は、バス（Ｂｕｓ）１Ｈ１０を介して相互に情報を送受信する。

＜偏光カメラ＞
第一撮像装置１Ｈ１および第二撮像装置１Ｈ２は、例えばいわゆる偏光カメラなどである。すなわち、偏光カメラは、被写体が持つ偏光情報を取得できるカメラである。一方、光には、振幅（明るさ）、波長（色）、および偏光情報が含まれている。これに対して、人間は、明るさおよび可視光の色を感知できるが、偏光情報を感知することはできない。したがって、偏光情報である偏光成分を撮像しない一般的なカメラは、偏光成分を撮像しようとする場合、偏光フィルタをカメラの前に設置し、設置した偏光フィルタを回転させて、輝度変化をみる調整を行う必要があった。これに対して、偏光カメラは、偏光フィルタによる調整を行わずリアルタイムに偏光成分を撮像できるカメラである。

本発明が対象とするＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）等のデンス視差計算は、ブロックマッチング等の視差計算では精度を出すことが困難なテクスチャの少ない画像領域でも視差データを得ることができる点において、利点がある。しかし、テクスチャの少ない画像領域における視差精度には限界があり、また、テクスチャの少ない画像領域の情報も用いて他の画像領域の視差データを求めるために他の画像領域の視差精度に悪影響を及ぼすおそれもある。そこで、本発明は、上記のような偏光カメラを利用することにより、テクスチャの少ない画像領域においても十分な特徴量を取得することができ、ひいてはデンス視差計算で得られる視差データ全体の精度を向上させることのできる、デンス視差計算において非常に有用な提案を行うものである。

図２は、本発明の一実施形態に係る偏光カメラによって撮像した撮像画像の一例を説明するための図である。

図２（Ａ）は、偏光成分を撮像しない一般的なカメラで黒色の被写体を撮像した撮像画像の一例である。

図２（Ｂ）は、偏光成分を偏光カメラで黒色の被写体を撮像した撮像画像の一例である。

図２（Ａ）および図２（Ｂ）は、各カメラが同様の黒色の被写体２の撮像している場合である。

図２（Ｂ）では、偏光カメラによって撮像された偏光成分によって、図２（Ａ）に対して黒色の被写体２が有する面の方位を見やすくすることができる。

図２（Ｃ）は、偏光成分を撮像しない一般的なカメラで透明の被写体を撮像した撮像画像の一例である。

図２（Ｄ）は、偏光成分を偏光カメラで透明の被写体を撮像した撮像画像の一例である。

図２（Ｃ）および図２（Ｄ）は、各カメラが同様の透明の被写体３の撮像している場合である。

図２（Ｄ）では、偏光カメラによって撮像された偏光成分によって、図２（Ｃ）に対して透明の被写体３の存在をわかりやすくすることができる。

偏光カメラは、領域分割型のＳＷＳ（Ｓｕｂ−Ｗａｖｅｌｅｎｇｔｈ Ｓｔｒｕｃｔｕｒｅ）偏光フィルタをＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ上に実装することで実現される。

図３は、本発明の一実施形態に係る偏光カメラの構成の一例を説明するための図である。

図３（Ａ）は、第一撮像装置１Ｈ１および第二撮像装置１Ｈ２の有するＣＭＯＳセンサを説明するための図である。

ＣＭＯＳセンサ１Ｈ１１には、例えば図示するように偏光成分を通過させるために、画素単位または斜めストライプの配置に偏光フィルタが設置される。以下、図３（Ａ）に示す偏光フィルタの場合を例に説明する。

図３（Ａ）では、網掛けで示す画素がＰ偏光成分および白で示す画素がＳ偏光成分に対応する。具体的には、第一偏光成分は、例えばＰ偏光成分である。これに対して、第一偏光成分以外の偏光成分は、例えば第二偏光成分である。第二偏光成分は、例えばＳ偏光成分である。以下、Ｐ偏光成分およびＳ偏光成分を例に説明する。

図３（Ａ）に示す偏光フィルタの場合、ＣＭＯＳセンサ１Ｈ１１は、縦および横方向に画素ごとにＰ偏光成分とＳ偏光成分とに対応するため、Ｐ偏光成分とＳ偏光成分とが交互になった撮像画像を出力する。

図３（Ｂ）は、撮像画像の構成の一例を説明するための図である。

撮像画像４は、図３（Ａ）で示すＣＭＯＳセンサ１Ｈ１１によって出力された撮像画像の例である。また、撮像画像４は、Ｐ偏光成分の画素データとＳ偏光成分の画素データとが交互に格納された画像である。次に、撮像システム１は、撮像画像４からＰ偏光成分の画像（以下、Ｐ画像という。）とＳ偏光成分の画像（以下、Ｓ画像という。）とを生成する。例えば、Ｐ画像およびＳ画像は、前処理で、撮像画像４から対応する画素の画素データを取り出し、画素データのない画素を補間して生成される。なお、補間は、例えばニアレストネイバー（Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）法、バイリニア（Ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、またはバイキュービック（Ｂｉ−ｃｕｂｉｃ ｃｏｎｖｏｌｕｔｉｏｎ）法などで実現される。

偏光画像は、例えばＰ画像またはＳ画像である。以下、Ｐ画像およびＳ画像を例に説明する。

偏光カメラは、偏光フィルタを画素単位および斜めストライプで高精度に実装することで一般的なカメラに対してコントラストが取り易い偏光情報の取得をリアルタイムに実現できる。

画像処理ＩＣ１Ｈ３は、撮像システム１が画像に対して行う画像処理を行う。なお、画像処理ＩＣ１Ｈ３は、例えばＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などで実現される。

画像処理ＩＣ１Ｈ３は、例えば第一撮像装置１Ｈ１および第二撮像装置１Ｈ２からそれぞれ取得する撮像画像から偏光画像または偏光比画像を生成する。次に、画像処理ＩＣ１Ｈ３は、例えばデンス視差計算を行う。なお、画像処理ＩＣ１Ｈ３が行う処理の詳細は、後述する。

また、画像処理ＩＣ１Ｈ３は、いわゆる前処理を行ってもよい。具体的には、前処理は、視差の精度を向上させるため、例えばノイズ除去処理、歪補正処理、ガンマ補正処理、またはシェーディング補正処理などである。

制御Ｉ／Ｆ１Ｈ４は、第一撮像装置１Ｈ１および第二撮像装置１Ｈ２を制御するためのインタフェースである。

ＣＰＵ１Ｈ５は、撮像システム１が行う各種処理および撮像システム１が有する各装置の制御を行う。

ＲＯＭ１Ｈ８は、ＣＰＵ１Ｈ５が用いるプログラムおよびデータなどの情報を記憶する記憶装置である。また、ＲＯＭ Ｉ／Ｆ１Ｈ６は、ＲＯＭ１Ｈ８から情報を取得するためのインタフェースである。

ＲＡＭ１Ｈ９は、例えばＣＰＵ１Ｈ５が所定の処理を実現するためにプログラムおよびデータなどを展開する記憶領域を生成する記憶装置である。また、ＲＡＭ Ｉ／Ｆ１Ｈ７は、ＲＡＭ１Ｈ９に情報を入出力するためのインタフェースである。

なお、ハードウェアの構成は、図１に示す構成に限られない。例えば、画像処理ＩＣ１Ｈ３の行う処理の一部または全部は、ＣＰＵ１Ｈ５がプログラムに基づいて処理または補助を行うＩＣなど複数の装置で処理してもよい。

＜機能構成＞
図４は、本発明の一実施形態に係る撮像システムの機能構成の一例を説明する機能ブロック図である。

撮像システム１は、第一撮像部１Ｆ１と、第二撮像部１Ｆ２と、画像処理部１Ｆ３と、デンス視差計算部１Ｆ４とを有する。

第一撮像部１Ｆ１は、撮像画像を出力する。なお、第一撮像部１Ｆ１は、例えば図１の第一撮像装置１Ｈ１などで実現される。

第二撮像部１Ｆ２は、撮像画像を出力する。なお、第二撮像部１Ｆ２は、例えば図１の第二撮像装置１Ｈ２などで実現される。

画像処理部１Ｆ３は、例えば第一偏光画像生成部１Ｆ３１と、第二偏光画像生成部１Ｆ３２とを有する。なお、画像処理部１Ｆ３は、例えば図１の画像処理ＩＣ１Ｈ３などで実現される。

第一偏光画像生成部１Ｆ３１は、第一撮像部１Ｆ１が出力する撮像画像を取得し、取得した撮像画像に基づいて偏光画像を生成する。

第二偏光画像生成部１Ｆ３２は、第二撮像部１Ｆ２が出力する撮像画像を取得し、取得した撮像画像に基づいて偏光画像を生成する。

画像処理部１Ｆ３は、偏光画像を生成するに限られない。つまり、画像処理部１Ｆ３は、他に、前処理などを行ってもよい。

デンス視差計算部１Ｆ４は、第一高域強調フィルタ部１Ｆ４１と、第二高域強調フィルタ部１Ｆ４２と、一致度計算部１Ｆ４３と、伝播類似度計算部１Ｆ４４と、整数視差計算部１Ｆ４５と、小数視差計算部１Ｆ４６とを有する。また、デンス視差計算部１Ｆ４は、例えば図１の画像処理ＩＣ１Ｈ３などで実現される。なお、本実施形態において、デンス視差計算は、ＳＧＭ等の、基準画像上の注目画素ｐ（ｘ，ｙ）の情報だけでなく、注目画素ｐ（ｘ，ｙ）以外の画素の情報も用いて注目画素ｐ（ｘ，ｙ）における視差データを算出する計算方法を示す。また、ＳＧＭの詳細については、例えば"Ａｃｃｕｒａｔｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｓｔｅｒｅｏ Ｐｒｏｃｅｓｓｉｎｇ ｂｙ Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ａｎｄ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ"等を参照されたい。

第一高域強調フィルタ部１Ｆ４１は、第一偏光画像生成部１Ｆ３１が出力した偏光画像に対して画像内の高域部分を強調するフィルタ処理を行う。

第二高域強調フィルタ部１Ｆ４２は、第二偏光画像生成部１Ｆ３２が出力した偏光画像に対して画像内の高域部分を強調するフィルタ処理を行う。

一致度計算部１Ｆ４３は、一致度を計算する処理を行う。具体的には、一致度計算部１Ｆ４３は、例えば第一高域強調フィルタ部１Ｆ４１が出力する基準となる画像（以下、基準画像という。）および第二高域強調フィルタ部１Ｆ４２が出力する比較を行うための画像（以下、比較画像という。）を取得する。次に、一致度計算部１Ｆ４３は、基準画像と比較画像とを比較して一致度Ｃ（ｐ，ｄ）を計算する。すなわち、一致度Ｃ（ｐ，ｄ）は、基準画像における注目画素としての基準画素ｐ（ｘ，ｙ）と比較画像における比較画素ｑ（ｘ＋ｄ，ｙ）との一致度合いを示す。なお、本発明においては基準画素ｐ（ｘ，ｙ）および比較画素ｑ（ｘ＋ｄ，ｙ）の画素を対象とする例で説明を行うが、一致度計算部１Ｆ４３は、例えば複数の画素からなる画素群を視差計算の対象としても良い。

一致度Ｃ（ｐ，ｄ）は、例えば基準画像に対して比較画像を画面の左右方向にシフトさせた際に、基準画像と各画素が一致している度合を示す指標である。

一致度Ｃ（ｐ，ｄ）は、例えばＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などで計算される。

なお、一致度Ｃ（ｐ，ｄ）の計算方法は、ＳＡＤに限られない。例えば、一致度Ｃ（ｐ，ｄ）の計算方法は、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）でもよい。また、一致度Ｃ（ｐ，ｄ）の計算方法は、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、またはＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）などでもよい。

以下、ＳＡＤで一致度を計算する場合を例に説明する。以下、ＳＡＤは、比較する画素の輝度値の差によって計算する場合を例に説明する。なお、ＳＡＤは、基準画像の画素の輝度値と比較画像の画素の輝度値とを比較し、輝度値の差が少ないまたは同一の場合を一致すると判定する計算である。すなわち、ＳＡＤによる計算結果が小さい値となる場合は、各画素が互いに一致している可能性が高い。

図５は、本発明の一実施形態に係る撮像システムによる一致度（Ｐｘ３，Ｐｙ５）の計算を説明するための図である。

基準画像は、例えば基準画像４３ＢＡＳである。これに対して、比較画像は、例えば比較画像４３ＲＥＦである。また、基準画像４３ＢＡＳおよび比較画像４３ＲＥＦは、同一の被写体を同一のタイミングで撮像した画像である。すなわち、第二撮像装置１Ｈ２は、第一撮像装置１Ｈ１に対していわゆる基線長だけ左右にずらした位置に設置される。したがって、比較画像４３ＲＥＦは、基準画像４３ＢＡＳから左右方向に動いた視点で撮像される。以下、図５に示す場合を例に説明する。

図５は、座標（Ｐｘ３，Ｐｙ５）において一致度Ｃ（Ｐｘ３，Ｐｙ５）の計算をする場合を例に説明する図である。なお、図５は、画面左右方向をｘ方向および画面上下方向をｙ方向として説明する。以下、同様に説明する。

一致度計算部１Ｆ４３は、基準画像４３ＢＡＳの座標（Ｐｘ３，Ｐｙ５）と比較画像４３ＲＥＦの座標（Ｐｘ３，Ｐｙ５）とについて計算を行う。具体的には、基準画像４３ＢＡＳおよび比較画像４３ＲＥＦは、同一の被写体を同一のタイミングで撮像した画像であっても基準画像４３ＢＡＳの座標（Ｐｘ３，Ｐｙ５）と比較画像４３ＲＥＦの座標（Ｐｘ３，Ｐｙ５）とでは異なる被写体が撮像される。したがって、ＳＡＤの計算結果は、大きな値となる。ここで、基準画像の座標と比較画像の座標とのｘ方向の座標値の差は、視差（以下、視差ｄという。）となる。なお、基準画像４３ＢＡＳの座標（Ｐｘ３，Ｐｙ５）、かつ、比較画像４３ＲＥＦの座標（Ｐｘ３，Ｐｙ５）の場合、視差ｄは、ゼロである。

次に、一致度計算部１Ｆ４３は、比較画像４３ＲＥＦの座標（Ｐｘ３，Ｐｙ５）を１画素シフトさせて計算を行う。すなわち、視差ｄは、ｄ＝１となる。図５に示す場合、基準画像４３ＢＡＳと比較画像４３ＲＥＦとを視差ｄ＝１としても同一とならないため、ＳＡＤは、大きな値となる。

以下、一致度計算部１Ｆ４３は、同様に、視差ｄ＝２、３、・・・と変化させ、各画素についてそれぞれＳＡＤで計算する。

図５の場合、基準画像４３ＢＡＳおよび比較画像４３ＲＥＦは、視差ｄ＝３の際に同一となるため、ＳＡＤは、小さな値となる。

図６は、本発明の一実施形態に係る撮像システムによる一致度（Ｐｘ３，Ｐｙ５）の計算結果を説明するための図である。

図６は、図５の基準画像４３ＢＡＳの座標（Ｐｘ３，Ｐｙ５）について図５で説明したように視差ｄを変化させてそれぞれ計算した各画素のＳＡＤの計算結果である。

図示するように、図５では、視差ｄ＝３の際、同一となるため、ＳＡＤは、最も小さな値となる。この場合、視差ｄ＝３の際に、ＳＡＤによる計算結果が最も小さな値となるため、一致度計算部１Ｆ４３は、後段への出力値として視差ｄ＝３を出力する。

なお、図５は、ＳＡＤの計算範囲を１×１画素とした場合の例である。また、実施形態は、計算範囲が１×１画素の場合に限られない。例えば、ＳＡＤの計算範囲は、撮像装置の組み付け誤差などを吸収するため、３×３など周辺画素を考慮した計算範囲としてもよい。

伝播類似度計算部１Ｆ４４は、例えば下記（１）式および（２）式の計算を行う。

ここで、（１）および（２）式では、図５と同様に、視差ｄ、一致度Ｃ（ｐ，ｄ）とする。

伝播類似度計算部１Ｆ４４は、注目する注目画素ｐについて上述の（１）式および（２）式を用いてエネルギーＳ（ｐ，ｄ）を計算する。（２）式で示されるように、エネルギーＳ（ｐ，ｄ）は、伝播パラメータＬｒ（ｐ，ｄ）の総和で計算される値である。

図７は、本発明の一実施形態に係る伝播のイメージの一例を説明する模式図である。

伝播パラメータＬｒ（ｐ，ｄ）は、図７および上述の（１）式で示されるように、注目画素ｐに対して方向ｒについて計算される。

図７（Ａ）は、８方向の伝播パラメータＬｒ（ｐ，ｄ）を加算してエネルギーＳ（ｐ，ｄ）を求める場合の例である。

図７（Ｂ）は、６方向の伝播パラメータＬｒ（ｐ，ｄ）を加算してエネルギーＳ（ｐ，ｄ）を求める場合の例である。

上述の（１）式より、例えば伝播パラメータＬｒがＬｒ＝Ｌ１となる場合、伝播パラメータＬｒは、注目画素ｐの一致度Ｃ（ｐ，ｄ）と注目画素ｐの左一画素に位置する画素の各視差（・・・、ｄ−１、ｄ、ｄ＋１、・・・）での伝播パラメータＬｒとに基づいて計算される。つまり、矢印ｄｉｒ１の方向の伝播パラメータは、左方向から右方向へ順次計算される。

なお、伝播パラメータＬｒの計算間隔は、一画素に限定されない。例えば伝播パラメータＬｒは、注目画素ｐの左ａ画素（ａは任意の値とする。）に位置する画素の各視差での伝播パラメータＬｒに基づいて計算されてもよい。これにより、一画素毎の計算間隔で計算する場合に比べ、撮像システムは、計算速度を速くすることができる。

同様に、矢印ｄｉｒ２の方向の伝播パラメータは、Ｌｒ＝Ｌ２であり、左上方向から右下方向へ順次計算される。

同様に、矢印ｄｉｒ３の方向の伝播パラメータは、Ｌｒ＝Ｌ３であり、上方向から下方向へ順次計算される。

同様に、矢印ｄｉｒ４の方向の伝播パラメータは、Ｌｒ＝Ｌ４であり、右上方向から左下方向へ順次計算される。

同様に、矢印ｄｉｒ５の方向の伝播パラメータは、Ｌｒ＝Ｌ５であり、右方向から左方向へ順次計算される。

同様に、矢印ｄｉｒ６の方向の伝播パラメータは、Ｌｒ＝Ｌ６であり、右下方向から左上方向へ順次計算される。

同様に、矢印ｄｉｒ７の方向の伝播パラメータは、Ｌｒ＝Ｌ７であり、下方向から上方向へ順次計算される。

同様に、矢印ｄｉｒ８の方向の伝播パラメータは、Ｌｒ＝Ｌ８であり、左下方向から右上方向へ順次計算される。

なお、伝播類似度計算部１Ｆ４４は、下記（３）式によって計算してもよい。（３）式と（１）式とを比較すると、（３）式は、最小となる伝播パラメータＬｒの値を減算している点が異なる。また、伝播パラメータＬｒの計算は、（１）式の場合、計算が進むにつれて大きな値となってしまうため、特に当該計算をＩＣなどハードウェアで実現する場合、回路規模またはビット幅が大きくなってしまうおそれがある。これに対して、（３）式は、差分を用いるため、計算が進むにつれて大きな値となるのを少なくすることができる。

次に、伝播類似度計算部１Ｆ４４は、上述した（２）式によってエネルギーＳ（ｐ，ｄ）を計算するため、伝播パラメータＬｒの総和を計算する。例えば、図７（Ａ）の場合、エネルギーＳ（ｐ，ｄ）は、Ｓ（ｐ，ｄ）＝Ｌ１（ｐ，ｄ）＋Ｌ２（ｐ，ｄ）＋Ｌ３（ｐ，ｄ）＋Ｌ４（ｐ，ｄ）＋Ｌ５（ｐ，ｄ）＋Ｌ６（ｐ，ｄ）＋Ｌ７（ｐ，ｄ）＋Ｌ８（ｐ，ｄ）である。

図８は、輝度画像でのデンス視差計算の結果の一例を説明するための図である。

図９は、本発明の一実施形態に係る偏光画像でのデンス視差計算の結果の一例を説明するための図である。

図８および図９は、テクスチャの少ない画像領域に対してデンス視差計算を行った場合の計算結果の一例を示した図である。

テクスチャの少ない画像領域は、例えば図５に示す「路面」部分のように、同一の輝度値または近い色が近くにある画像領域などである。

図８で示すように、比較例である輝度画像でのデンス視差計算の結果は、テクスチャの少ない画像領域に対して行われる場合、伝播過程でエネルギーＳが視差探索範囲において極小を取りにくい場合がある。

図８に対して、本発明の一実施形態に係る偏光画像でのデンス視差計算の結果は、コントラストを確保することが可能な偏光画像に対して計算が行われるため、伝播過程でエネルギーＳが視差探索範囲において図９で示すように極小を取得しやすくできる。

整数視差計算部１Ｆ４５は、伝播類似度計算部１Ｆ４４が計算した図９の結果に基づいて最もエネルギーＳまたは伝播パラメータＬｒが小さくなる整数視差Ｄ（ｐ）を計算する。

小数視差計算部１Ｆ４６は、視差精度を向上させるため、整数視差計算部１Ｆ４５が算出した整数視差Ｄ（ｐ）のサブピクセルである小数視差Ｄ´の計算を行う。

小数視差計算部１Ｆ４６は、例えば等角直線法に基づいて整数視差Ｄ、Ｄ−１、およびＤ＋１の３点のエネルギーＳから小数視差Ｄ´を計算する。

小数視差計算部１Ｆ４６は、例えばパラボラフィット法に基づいて整数視差Ｄ、Ｄ−２、Ｄ−１、Ｄ＋１、およびＤ＋２の５点のエネルギーＳから小数視差Ｄ´を計算する。

図１０は、本発明の一実施形態に係る小数視差の計算結果の一例を説明するための図である。

小数視差Ｄ´を計算することによって、整数視差ＤよりエネルギーＳまたは伝播パラメータＬｒが小さくなる点を計算することができ、視差精度を向上させることができる。

＜第２実施形態＞
第２実施形態は、第１実施形態と同様の撮像システム１を用いるとする。したがって、撮像システム１のハードウェアの説明は省略する。また、第２実施形態の撮像システム１は、例えば図１１に示す機能構成である。

図１１は、本発明の一実施形態に係る第２実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

第２実施形態の撮像システム１は、例えば、図４の第一偏光画像生成部１Ｆ３１と、第二偏光画像生成部１Ｆ３２とに代えて、第一偏光比画像生成部１Ｆ３３と、第二偏光比画像生成部１Ｆ３４とを有する。

第一偏光比画像生成部１Ｆ３３および第二偏光比画像生成部１Ｆ３４は、偏光比画像を生成する。また、偏光比画像は、Ｐ画像およびＳ画像に基づいて生成される。さらに、偏光比画像は、偏光比を計算して生成される。具体的には、偏光比画像は、Ｐ画像の値Ｐと、Ｓ画像の値Ｓとの比率である偏光比Ｒに基づいて生成される。

偏光比Ｒは、例えば、Ｒ＝Ｐ／Ｓ又はＲ＝（Ｐ−Ｓ）／（Ｐ＋Ｓ）等のＰ偏光成分とＳ偏光成分との比較値で計算される。

偏光比画像を用いることで撮像システム１は、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

＜処理結果＞
図１２は、本発明の一実施形態に係る撮像システムによる処理結果の一例を説明する表である。

処理結果表５に示す「基準画像の種類」および「比較画像の種類」は、処理対象となる撮像画像の種類を示す。

処理結果表５に示す「視差計算方法」は、撮像画像に対して行う処理のアルゴリズムを示す。なお、「デンス視差計算」は、例えば上述の（１）および（２）式のアルゴリズムによる処理が行われる条件であることを示す。

また、処理結果表５に示す「エッジベース視差計算」は、明るさまたは輝度値の変化が不連続な画素、いわゆるエッジ（ｅｄｇｅ）の箇所を処理対象とするアルゴリズムによる処理が行われる条件であることを示す。

処理結果表５に示す「視差計算結果」は、テクスチャが少ない領域での視差計算結果を示す。なお、視差計算結果は、予め算出された視差に対しての視差計算結果のズレ量の割合、すなわち、ズレ率で示す。

処理結果表５に示す「第一条件」および「第二条件」より、偏光画像に対してデンス視差計算を行うことは、エッジ視差計算である「第五条件」および「第六条件」の場合と比較して視差計算結果を向上させることができる。よって、偏光画像に対してデンス視差計算を行うことで、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

処理結果表５に示す「第一条件」および「第二条件」より、偏光画像に対してデンス視差計算を行うことは、輝度画像に対してエッジ視差計算を行う「第八条件」の場合と比較して視差計算結果を向上させることができる。よって、偏光画像に対してデンス視差計算を行うことで、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

処理結果表５に示す「第三条件」より、偏光比画像に対してデンス視差計算を行うことは、偏光画像に対してデンス視差計算を行う「第一条件」および「第二条件」の場合と比較して視差計算結果を向上させることができる。よって、偏光比画像に対してデンス視差計算を行うことで、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

処理結果表５に示す「第三条件」より、偏光比画像に対してデンス視差計算を行うことは、エッジ視差計算を行う「第五条件」乃至「第八条件」の場合と比較して視差計算結果を向上させることができる。よって、偏光比画像に対してデンス視差計算を行うことで、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

処理結果表５に示す「第一条件」乃至「第三条件」より、偏光画像または偏光比画像に対してデンス視差計算を行うことは、輝度画像に対してデンス視差計算を行う「第四条件」の場合と比較して視差計算結果を向上させることができる。よって、偏光画像または偏光比画像に対してデンス視差計算を行うことで、テクスチャの少ない画像領域で視差計算の精度を良くすることができる。

図１３は、本発明の一実施形態に係る撮像システムによる処理結果の一例を説明するための図である。

輝度画像６は、例えば図１２に示す「第四条件」および「第八条件」に用いられる「輝度画像」の一例である。また、偏光画像７は、例えば図１２に示す「第一条件」に用いられる「Ｐ画像」の一例である。

偏光画像７で示すように、「Ｐ画像」が用いられると、撮像システムは、例えば木陰になっている箇所の車両などを検出しやすくできる。

なお、実施形態は、撮像画像に偏光画像、偏光比画像、および輝度画像のうち、いずれか２種類を組み合わせて用いてもよい。

図１４は、本発明の一実施形態に係る第３実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１５は、本発明の一実施形態に係る第４実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１４に示す第３実施形態の撮像システム１は、図４に示す撮像システム１と比較して、画像処理部１Ｆ３の構成が異なる。また、図１５に示す第４実施形態の撮像システム１は、図１１に示す撮像システム１と比較して、画像処理部１Ｆ３の構成が異なる。

第一輝度画像生成部１Ｆ３５および第二輝度画像生成部１Ｆ３６は、輝度画像をそれぞれ生成する。

図１６は、本発明の一実施形態に係る第５実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１６で示すように、撮像システム１は、偏光画像と、偏光比画像とを組み合わせる構成であってもよい。

また、図１４乃至図１６にそれぞれ示す第３乃第５至実施形態は、偏光画像、偏光比画像、および輝度画像の各計算結果を選択する機能を有してもよい。

図１７は、本発明の一実施形態に係る第６実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１８は、本発明の一実施形態に係る第７実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１９は、本発明の一実施形態に係る第８実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図１７に示す第６実施形態に示す撮像システム１は、図１４に示す撮像システム１に選択部１Ｆ５が加わる点が異なる。また、図１８に示す第７実施形態の撮像システム１は、図１５に示す撮像システム１に選択部１Ｆ５が加わる点が異なる。さらに、図１９に示す第８実施形態の撮像システム１は、図１６に示す撮像システム１に選択部１Ｆ５が加わる点が異なる。

図１７乃至図１９に示す撮像システム１では、例えば偏光画像または偏光比画像と、輝度画像とに対してデンス視差計算部１Ｆ４が計算を行い、選択部１Ｆ５がどちらの値を視差値として用いるかを選択する。例えば、テクスチャの少ない領域か否かによって選択を行う。なお、選択部１Ｆ５は、例えば図１の画像処理ＩＣ１Ｈ３などによって実現される。

なお、撮像システムは、車両または人物などを認識するいわゆる認識処理を組み合わせて処理してもよい。

＜ヒストグラム拡大処理＞
図２０は、本発明の一実施形態に係る撮像システムによるヒストグラム拡大処理の一例を説明するための図である。

図２０（Ａ）は、ヒストグラムに偏りのある場合の一例を示す図である。

図２０（Ｂ）は、ヒストグラム拡大処理の効果の一例を示す図である。

図示するようなヒストグラムに偏りがある場合、ヒストグラム拡大処理は、例えば偏りのある領域を拡大し、偏りのある領域が図２０（Ｂ）となるようにする処理である。

撮像システムは、ヒストグラム拡大処理を行うことによって、コントラストの低い画像をコントラストの高い画像にすることができる。

ヒストグラム拡大処理は、偏光画像または偏光比画像に対して行う処理である。

図２１は、本発明の一実施形態に係る第９実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２１に示す第９実施形態の撮像システム１は、図４に示す撮像システム１と画像処理部１Ｆ３の構成が異なる。

図２２は、本発明の一実施形態に係る第１０実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２２に示す第１０実施形態の撮像システム１は、図１１に示す撮像システム１と画像処理部１Ｆ３の構成が異なる。

図２３は、本発明の一実施形態に係る第１１実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２３に示す第１１実施形態の撮像システム１は、図１４に示す撮像システム１と画像処理部１Ｆ３の構成が異なる。

図２４は、本発明の一実施形態に係る第１２実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２４に示す第１２実施形態の撮像システム１は、図１６に示す撮像システム１と画像処理部１Ｆ３の構成が異なる。

なお、実施形態は、ヒストグラム拡大処理およびデンス視差計算の後段で選択を行う処理があってもよい。

図２５は、本発明の一実施形態に係る第１３実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２５に示す第１３実施形態の撮像システム１は、図２３に示す撮像システム１の構成に選択部１Ｆ５が加わる点が異なる。

図２６は、本発明の一実施形態に係る第１４実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２６に示す第１４実施形態の撮像システム１は、図１８に示す撮像システム１の構成と画像処理部１Ｆ３の構成が異なる。

図２７は、本発明の一実施形態に係る第１５実施形態の撮像システムの機能構成の一例を説明する機能ブロック図である。

図２７に示す第１５実施形態の撮像システム１は、図２４に示す撮像システム１の構成に選択部１Ｆ５が加わる点が異なる。

第一ヒストグラム処理部１Ｆ３７乃至第四ヒストグラム処理部１Ｆ４０は、偏光画像または偏光比画像に対して図２０で説明したヒストグラム拡大処理を行う。なお、第一ヒストグラム処理部１Ｆ３７乃至第四ヒストグラム処理部１Ｆ４０は、例えば図１の画像処理ＩＣ１Ｈ３などによって実現される。

本発明の適用は、車載およびＦＡ（ファクトリーオートメーション）の技術分野に限られない。例えば、セキュリティ、医療、または食品などの分野に幅広く適用が可能である。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ 撮像システム
１Ｈ１ 第一撮像装置
１Ｈ１１ ＣＭＯＳセンサ
１Ｈ２ 第二撮像装置
１Ｈ３ 画像処理ＩＣ
１Ｈ４ 制御Ｉ／Ｆ
１Ｈ５ ＣＰＵ
１Ｈ６ ＲＯＭ Ｉ／Ｆ
１Ｈ７ ＲＡＭ Ｉ／Ｆ
１Ｈ８ ＲＯＭ
１Ｈ９ ＲＡＭ
１Ｈ１０ バス
１Ｆ１ 第一撮像部
１Ｆ２ 第二撮像部
１Ｆ３ 画像処理部
１Ｆ３１ 第一偏光画像生成部
１Ｆ３２ 第二偏光画像生成部
１Ｆ３３ 第一偏光比画像生成部
１Ｆ３４ 第二偏光比画像生成部
１Ｆ３５ 第一輝度画像生成部
１Ｆ３６ 第二輝度画像生成部
１Ｆ３７ 第一ヒストグラム処理部
１Ｆ３８ 第二ヒストグラム処理部
１Ｆ３９ 第三ヒストグラム処理部
１Ｆ４０ 第四ヒストグラム処理部
１Ｆ４ デンス視差計算部
１Ｆ４１ 第一高域強調フィルタ部
１Ｆ４２ 第二高域強調フィルタ部
１Ｆ４３ 一致度計算部
１Ｆ４４ 伝播類似度計算部
１Ｆ４５ 整数視差計算部
１Ｆ４６ 小数視差計算部
１Ｆ５ 選択部
２ 黒色の被写体
３ 透明の被写体
４ 撮像画像
４３ＢＡＳ 基準画像
４３ＲＥＦ 比較画像
５ 処理結果表
６ 輝度画像
７ 偏光画像

特許第５２７８８１９号公報 特開２０１０−２５６１３８号公報 特開２０１１−８５５３９号公報 特開２０１１−２１５５４５号公報 特開２０１２−１８１１４２号公報 特開２０１３−３８５０２号公報 特開２０１３−３８５０３号公報 特開２０１３−１２６１１４号公報 特開２０１３−１６７６２４号公報

Claims (10)

1. 撮像装置を複数有する情報処理システムに行わせる情報処理方法であって、
   前記撮像装置は、
   偏光成分と、輝度成分とを撮像して撮像画像を出力する撮像手段を有し、
   前記情報処理システムに、
   前記撮像手段が出力する前記撮像画像の前記偏光成分に基づいた偏光画像と、前記撮像手段が出力する前記撮像画像の前記輝度成分に基づいた輝度画像とを生成させる生成手順と、
   前記偏光画像および前記輝度画像に対してデンス視差計算を行わせる計算手順と
   を実行させる情報処理方法。
2. 撮像装置を複数有する情報処理システムに行わせる情報処理方法であって、
   前記撮像装置は、
   偏光成分と、輝度成分とを撮像して撮像画像を出力する撮像手段を有し、
   前記情報処理システムに、
   前記撮像手段が出力する前記撮像画像の前記偏光成分の所定の偏光成分である第一偏光成分と第一偏光成分以外の偏光成分である第二偏光成分との比率に基づいた偏光比画像と、前記撮像手段が出力する前記撮像画像の前記輝度成分に基づいた輝度画像と、を生成させる生成手順と、
   前記偏光比画像および前記輝度画像に対してデンス視差計算を行わせる計算手順と
   を実行させる情報処理方法。
3. 撮像装置を複数有する情報処理システムに行わせる情報処理方法であって、
   前記撮像装置は、
   偏光成分を撮像して撮像画像を出力する撮像手段を有し、
   前記情報処理システムに、
   前記撮像手段が出力する前記撮像画像の前記偏光成分の所定の偏光成分である第一偏光成分と第一偏光成分以外の偏光成分である第二偏光成分との比率に基づいた偏光比画像と、前記第一偏光成分に基づいた偏光画像と、を生成させる生成手順と、
   前記偏光比画像および前記偏光画像に対してデンス視差計算を行わせる計算手順と
   を実行させる情報処理方法。
4. 前記偏光画像に対してヒストグラム拡大処理を行わせるヒストグラム処理手順を実行させる請求項１に記載の情報処理方法。
5. 前記偏光比画像に対してヒストグラム拡大処理を行わせるヒストグラム処理手順を実行させる請求項２または３のいずれかに記載の情報処理方法。
6. 前記計算手順で計算した計算結果を選択させる選択手順を実行させる請求項１乃至３のいずれか１項に記載の情報処理方法。
7. 前記偏光比画像および前記偏光画像に対してヒストグラム処理手順を実行させる請求項３に記載の情報処理方法。
8. 撮像装置を複数有する情報処理システムであって、
   前記撮像装置は、
   偏光成分と、輝度成分とを撮像して撮像画像を出力する撮像手段を有し、
   前記撮像手段から前記撮像画像を取得する画像取得手段と、
   前記撮像手段が出力する前記撮像画像の前記偏光成分に基づいた偏光画像と、前記撮像手段が出力する前記撮像画像の前記輝度成分に基づいた輝度画像と、を生成させる生成手段と、
   前記偏光画像および前記輝度画像に対してデンス視差計算を行う計算手段と
   を有する情報処理システム。
9. 撮像装置を複数有する情報処理システムに実行させるプログラムであって、
   前記撮像装置は、
   偏光成分と、輝度成分とを撮像して撮像画像を出力する撮像手段を有し、
   前記情報処理システムに、
   前記撮像手段から取得する前記撮像画像の前記偏光成分に基づいた偏光画像と、前記撮像手段から取得する前記撮像画像の前記輝度成分に基づいた輝度画像と、を生成させる生成手順と、
   前記偏光画像および前記輝度画像に対してデンス視差計算を行わせる計算手順と
   を実行させるためのプログラム。
10. 複数の撮像手段を有する情報処理装置であって、
    前記撮像手段は偏光成分と、輝度成分とを撮像して撮像画像を出力し、
    前記撮像手段が出力する前記撮像画像の前記偏光成分に基づいた偏光画像と、前記撮像手段が出力する前記撮像画像の前記輝度成分に基づいた輝度画像と、を生成させる生成手段と、
    前記偏光画像および前記輝度画像に対してデンス視差計算を行う計算手段と
    を有する情報処理装置。