JP6760298B2 - 情報取得装置と情報取得方法 - Google Patents

Description

この技術は、情報取得装置と情報取得方法に関する。詳しくは、周辺領域の画像から反射成分を利用して被写体情報を取得できるようにする。

従来、撮像素子上に偏光フィルタを配置することで、偏光情報を取得することが行われている。また、偏光情報を利用して所望の画像を得ることも行われている。例えば特許文献１では、偏光フィルタを用いて車両のフロントガラスに反射する照明光あるいは太陽光の影響を少なくして、車両内の運転者などの人物を撮影できるようにすることが開示されている。

特開２０１１−００２７１８号公報

ところで、偏光情報を利用して所望の画像を得る場合には、反射成分を除去することが多い。しかし、反射成分には死角領域における視認対象物の情報が含まれることがあり、例えば車両の運転者等にとっては有用な情報となり得る。

そこで、この技術では、周辺領域の画像から反射成分を利用して視認対象物の情報を取得する情報取得装置と情報取得方法を提供することを目的とする。

この技術の第１の側面は、
複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部を備え
前記反射情報生成部は、偏光度が閾値以上である集合領域を反射面領域として、前記反射情報を反射面領域毎に生成して、
前記反射情報利用部は、複数の前記反射面領域毎の距離と、前記反射情報生成部で生成された前記反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
情報取得装置にある。

この技術においては、複数偏光方向の偏光画像から反射成分を示す反射情報、例えば偏光度が閾値以上である集合領域を反射面領域として、この反射面領域の画像である反射画像を反射情報生成部で生成する。反射情報利用部では、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報を取得する。例えば、反射情報利用部は、反射画像を用いて被写体認識を行い、視認対象物の画像を取得する。また、反射情報は反射面領域の方位角情報を含み、反射情報利用部は、方位角情報に基づき反射面領域の向きを視認対象物の画像とともに表示する。

また、反射情報利用部は、複数視点間で対応する反射面領域における対応する視認対象物の反射情報と、対応する反射面領域の推定された距離を用いて、対応する視認対象物の位置を取得する。また、複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を設ける。デプス推定部は、複数視点の偏光画像から反射成分を除いた画像を用いて偏光画像毎に反射面領域の距離を推定する。また、反射情報利用部は、複数の反射面領域毎の距離と、反射情報生成部で生成された複数の反射面領域毎の反射情報を用いて複数の反射面領域にともに映り込んでいる視認対象物の位置を取得する。さらに、反射情報利用部は、複数時点毎の反射面領域の距離と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、複数時点の反射面領域にともに映り込んでいる視認対象物の位置を取得する。ここで、反射面領域を含む偏光画像を取得する偏光画像取得部が時間の経過とともに移動して複数時点の偏光画像を取得する場合、反射情報利用部は、所定の時点の偏光画像取得部の位置を基準として、推定された反射面領域の距離と、所定の時点の偏光画像取得部の位置に対する異なる時点の偏光画像取得部の位置と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、複数時点の反射面領域にともに映り込んでいる視認対象物の位置を取得する。反射面領域が時間の経過とともに移動する場合、反射情報利用部は、推定された複数時点毎の反射面領域の距離と、反射情報生成部で生成された複数時点毎の反射面領域の反射情報を用いて、反射面領域にともに映り込んでいる視認対象物の位置を取得する。

この技術の第２の側面は、
複数偏光方向の偏光画像における偏光度が閾値以上である集合領域を反射面領域として、反射成分を示す反射情報を反射面領域毎に反射情報生成部で生成することと、
前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報の取得を反射情報利用部で行い、複数の前記反射面領域毎の距離と、前記反射情報生成部で生成された前記反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得すること
を含む情報取得方法にある。

この技術によれば、複数偏光方向の偏光画像から反射成分を示す反射情報が反射情報生成部で生成される。さらに、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報が反射情報利用部で取得される。このため、周辺領域の画像から反射成分を利用して例えば死角の領域に位置する視認対象物を容易に確認できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態の構成を例示した図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 被写体の形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 反射情報生成部の動作を示すフローチャートである。 反射情報を用いた処理の一例を示すフローチャートである。 反射情報を用いた処理の他の例を示すフローチャートである。 第１の実施の形態の動作例を示した図である。 第２の実施の形態の構成を例示した図である。 被写体までの距離の算出を説明するための図である。 領域の対応を説明するための図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第３の実施の形態の構成を例示した図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第３の実施の形態の動作例を示した図である。 第４の実施の形態の構成を例示した図である。 視認対象物の位置の算出を説明するための図である。 視認対象物の位置の推定動作を示すフローチャートである。 第４の実施の形態の動作例を示した図である。 他の実施の形態の動作例を示した図である。 車両制御システムの概略構成を例示したブロック図である。 偏光画像取得部の設置例を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．他の実施の形態
６．情報取得装置の適用例

＜１．第１の実施の形態＞
図１は、情報取得装置の第１の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０および反射情報利用部４０を有している。

偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。図２は、偏光画像取得部２０で取得される偏光画像について説明するための図である。例えば図２の（ａ）に示すように、偏光方向が異なる複数の偏光画像は、イメージセンサＩＭＳに３方向以上の偏光方向の画素構成とされた偏光フィルタＰＬＦを配置して撮像を行うことで生成する。なお、図２の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタＰＬＦをイメージセンサＩＭＳの入射面に配置した場合を例示している。また、図２の（ｂ）に示すように、偏光方向が異なる複数の偏光画像は、偏光方向が異なる偏光板ＰＬ１〜ＰＬ４をカメラＣＭ１〜ＣＭ４の前に設けて、カメラＣＭ１〜ＣＭ４で撮像を行うことで生成してもよい。さらに、図２の（ｃ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサＩＭＳの前面にレンズＬＺを複数（図では４個）設けて、各レンズＬＺによって被写体の光学像をイメージセンサＩＭＳの撮像面にそれぞれ結像させる。また、各レンズＬＺの前面に偏光板ＰＬを設けて、偏光板ＰＬの偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサＩＭＳで生成できる。偏光画像取得部２０は、このような構成で取得した偏光方向が３方向以上の偏光画像を反射情報生成部３０へ出力する。なお、偏光画像取得部２０では、イメージセンサやカメラが別個に設けられて、イメージセンサやカメラから画像信号を取得して、偏光方向が３方向以上である偏光画像を反射情報生成部３０へ出力してもよい。

反射情報生成部３０は、偏光方向が異なる複数の偏光画像から反射情報を生成する。ここで、被写体の形状と偏光画像について図３を用いて説明する。例えば光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。

偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図４は、輝度と偏光角との関係を例示している。この技術において、死角領域における視認対象物の情報は鏡面反射を利用して取得されるが、鏡面反射の場合は方位角が偏光角に比べて９０度ずれるため、方位角は偏光角に９０度足すもしくは９０度引いたものになる。そのため、図４に示すように、輝度の下限である最小輝度Ｉminの部分で方位角αをとる。さらに、最大輝度Ｉmaxと最小輝度Ｉminとの差分（Ｉmax−Imin）が反射成分である。

式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角αを判別することができる。

方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。

反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax−Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して反射情報利用部４０へ出力する。

反射情報利用部４０は、反射情報生成部３０で生成された反射情報を利用して提示情報や制御情報等を得る。例えば、反射情報利用部４０は、反射成分を示す画像を反射画像としてユーザに提示する。また、反射情報利用部４０は、反射面領域の方位角に基づき、反射面領域がいずれの方向を向いているかを示す方向指示を反射面領域の画像と共にユーザに提示してもよい。また、反射情報利用部４０は、反射情報を利用して視認対象物の位置情報を車両の走行制御等に利用可能な情報として取得してもよい。

次に、第１の実施の形態の動作について説明する。図５は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報取得装置は、偏光画像を取得する。情報取得装置１０の偏光画像取得部２０は、偏光フィルタや偏光板を用いて生成された偏光方向が３方向以上の偏光画像を取得してステップＳＴ２に進む。

ステップＳＴ２で情報取得装置は、反射情報を生成する。情報取得装置の反射情報生成部３０は、ステップＳＴ１で取得された偏光画像を用いて反射情報を生成する。図６は、反射情報生成部３０の動作を示すフローチャートである。

ステップＳＴ１１で反射情報生成部は、偏光画像を入力する。反射情報生成部３０は、偏光画像取得部２０で取得された偏光画像を入力してステップＳＴ１２に進む。

ステップＳＴ１２で反射情報生成部は、偏光モデルを算出する。反射情報生成部３０は、偏光方向が３方向以上の偏光画像を用いて、画素毎に上述の式（１）に示すモデル式へのフィッティングを行い、偏光モデルと偏光度を画素毎に算出してステップＳＴ１３に進む。

ステップＳＴ１３で反射情報生成部は、反射面領域を抽出する。反射情報生成部３０は、偏光度が予め設定した閾値以上である画素が集まっている集合領域を反射面領域として抽出してステップＳＴ１４に進む。

ステップＳＴ１４で反射情報生成部は、反射情報を出力する。反射情報生成部３０は、ステップＳＴ１３で抽出した反射面領域の画素毎に反射成分を算出して、反射面領域の反射成分を反射情報として出力する。また、反射情報生成部３０は、反射面領域の画素毎のモデル式等に基づき算出した方位角や反射面領域の位置を示す情報を反射情報に含めてもよい。

図５に戻り、ステップＳＴ３では反射情報を用いた処理を行う。図７は、反射情報を用いた処理の一例を示すフローチャートである。ステップＳＴ２１で反射情報利用部は、反射情報を入力する。反射情報利用部４０は、反射情報生成部３０で生成された反射情報を入力してステップＳＴ２２に進む。

ステップＳＴ２２で反射情報利用部は、反射成分の表示処理を行う。反射情報利用部４０は、反射情報に基づき反射面領域の反射成分を示す画像である反射成分画像を表示する。また、反射情報利用部４０は、反射情報に方位角の情報が含まれている場合、反射面領域の方位角すなわち反射面領域に映り込んだ物体の方向を矢印等で、反射成分画像と共に表示する。なお、反射成分を表示する領域は、反射面領域の全体に限られない。例えばユーザが選択した領域の反射成分画像を表示してもよい。また、反射情報利用部４０は、反射面領域内の平均偏光度よりも偏光度が大きい領域、または最大偏光度を示す領域を表示してもよい。

図８は、反射情報を用いた処理の他の例を示すフローチャートである。ステップＳＴ３１で反射情報利用部は、反射情報を入力する。反射情報利用部４０は、反射情報生成部３０で生成された反射情報を入力してステップＳＴ３２に進む。

ステップＳＴ３２で反射情報利用部は被写体認識を行う。反射情報利用部４０は、反射情報に基づき反射面領域の反射成分を示す画像である反射成分画像がどのような被写体の反射成分画像であるか判別する。すなわち、反射情報利用部４０は、被写体認識を行い、反射面領域に映り込んだ人や自転車、バイク、自動車等の判別を行いステップＳＴ３３に進む。

ステップＳＴ３３で反射情報利用部は被写体認識結果の表示を行う。反射情報利用部４０は、被写体認識で認識した人や自転車、バイク、自動車等の画像を表示する。また、反射情報利用部４０は、反射情報に方位角の情報が含まれている場合、判別した被写体の存在する方向を矢印等で、被写体の画像と共に表示する。

図９は、第１の実施の形態の動作例を示している。図９の（ａ）は、視認対象物ＶＯＢの位置が障害物ＤＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して反射成分の抽出を行うことで、視認対象物ＶＯＢの画像を表示できる。したがって、障害物ＤＢによって見えなくなっている自転車等の視認対象物ＶＯＢを反射成分画像によって確認できるようになる。

図９の（ｂ）は、視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して反射成分の抽出を行うことで、視認対象物ＶＯＢの画像を表示できる。したがって、構造物ＢＢによって見えなくなっている人等の視認対象物ＶＯＢを反射成分画像によって確認できるようになる。

また、反射情報に方位角を含めることで、視認対象物ＶＯＢが位置する方向を容易に判別することも可能となる。例えば図９の（ｃ）は、図９の（ａ）に示す情報取得装置１０で抽出した反射成分の画像を例示している。ここで、視認対象物ＶＯＢが映り込んだ壁面の法線方向は左方向であることから、視認対象物ＶＯＢは左方向に位置することを矢印Ｆobで示す。

このような第１の実施の形態によれば、複数偏光方向の偏光画像を用いて抽出した反射成分を利用して、死角に位置する視認対象物の情報を確認できるようになる。

＜２．第２の実施の形態＞
次に、第２の実施の形態では、死角に位置する視認対象物を容易に確認できるだけでなく、視認対象物の位置を推定する場合について説明する。

図１０は第２の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０-1，２０-2と反射情報生成部３０-1，３０-2、デプス推定部５０および位置推定部６０を有している。

偏光画像取得部２０-1，２０-2は、第１の実施の形態の偏光画像取得部２０と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。また、偏光画像取得部２０-1と偏光画像取得部２０-2は、ステレオカメラを構成しており、偏光画像取得部２０-1は、取得した左視点の偏光画像を反射情報生成部３０-1とデプス推定部５０へ出力する。また、偏光画像取得部２０-2は、取得した右視点の偏光画像を反射情報生成部３０-2とデプス推定部５０へ出力する。

反射情報生成部３０-1，３０-2は、第１の実施の形態の反射情報生成部３０と同様に構成されている。反射情報生成部３０-1，３０-2は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０-1，３０-2は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax−Imin）を算出して反射成分とする。反射情報生成部３０-1，３０-2は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６０へ出力する。

デプス推定部５０は、偏光画像取得部２０-1，２０-2で取得された偏光画像を用いてマッチング処理を行い、反射面領域までの距離を算出する。マッチング処理では、例えば偏光画像から生成した無偏光画像を用いてもよく、偏光画像を用いてもよい。さらに、反射情報生成部３０-1，３０-2で生成した反射成分画像を用いてもよい。無偏光画像は、例えば図２の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光画像を取得することができる。また、図２の（ｂ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光画像を取得できる。さらに、図２の（ｃ）の場合、視認対象物までの距離に対してレンズＬＺ間の距離が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光画像を取得することができる。また、反射面領域に周辺の物体が映り込むと、マッチング処理によって反射面領域までの距離を算出する際に、映り込んだ物体の画像の影響により反射面領域までの距離を精度よく算出できないおそれがある。したがって、デプス推定部５０は、反射情報生成部３０-1，３０-2で算出した反射成分を除去した画像を用いて、マッチング処理を行うようにしてもよい。さらに、反射面領域が窓ガラス等である場合、反射成分を除去すると室内までの距離が算出されるおそれもある。このため、偏光度ρに基づいて判別された反射面領域を除く他領域で算出した距離、または反射面領域と他領域との境界について算出した距離等から補間処理等によって、反射面領域の各画像の距離を算出してもよい。

デプス推定部５０は、マッチング処理として、領域ベースマッチングや特徴ベースマッチング、テンプレートマッチングなどいずれの手法を用いてもよい。デプス推定部５０は、マッチング処理を実行して、対応画素位置のずれ量に基づき反射面領域の各画素における被写体までの距離を示すデプス情報を生成する。

図１１は、被写体までの距離の算出を説明するための図である。なお、図１１は、偏光画像取得部２０-1，２０-2が同じ姿勢で左右に配置されている場合を例示している。ここで、左側の偏光画像取得部２０-1を基準部として右側の偏光画像取得部２０-2を参照部とする。また、偏光画像取得部２０-1，２０-2の基準位置の間隔（ベース長）を「ｂ」、偏光画像取得部２０-1，２０-2の焦点距離を「ｆ」とする。この場合、基準部における被写体位置ＸＬに対して、参照部における被写体位置ＸＲが「Ｌｄ」だけずれると、被写体の位置Ｐまでの距離「Ｐy」は、式（３）に基づいて算出できる。また、偏光画像取得部２０-1，２０-2の並び方向に対して直交する方向が位置Ｐとなる偏光画像取得部２０-1からの距離「Ｐｘ」は、偏光画像取得部２０-1の基準位置と位置Ｐを結ぶ直線の傾きは（ＸＬ／ｆ）であることから「Ｐｘ＝（ＸＬ／ｆ）Ｐｙ」となる。

位置推定部６０は、反射情報生成部３０-1，３０-2で生成した反射情報を用いて、反射面領域の対応をとる。位置推定部６０は、例えば平均偏光度の類似した領域を対応している領域とする。また、領域の対応は、例えば偏光画像から生成した無偏光画像または偏光画像から反射成分を除去した画像を用いてマッチング処理を行い、対応する領域を判別してもよい。図１２は、領域の対応を説明するための図である。図１２の（ａ）は、反射情報生成部３０-1で生成された反射情報に基づく反射面領域ＡＲＦa-1，ＡＲＦb-1を例示している。また、図１２の（ｂ）は、反射情報生成部３０-2で生成された反射情報に基づく反射面領域ＡＲＦa-2，ＡＲＦb-2を例示している。位置推定部６０は、上述のような処理を行い、反射面領域ＡＲＦa-1と反射面領域ＡＲＦa-2が対応した領域、反射面領域ＡＲＦb-1と反射面領域ＡＲＦb-2が対応した領域と判別する。

次に、位置推定部６０は、対応する反射面領域における視認対象物の領域の対応をとる。位置推定部６０は、例えば被写体認識を行い同一の認識結果が得られた画像領域を視認対象物の対応した領域とする。なお、視認対象物の対応は画像特徴量などのマッチング結果に基づいて判別してもよい。また、視認対象物が発光体である場合は最大輝度値の画素を基準として対応する領域を判別してもよい。図１２の（ｃ）は、反射情報生成部３０-1で生成された反射情報に基づく反射面領域ＡＲＦa-1を例示している。また、図１２の（ｄ）は、反射面領域ＡＲＦa-1に対応する反射面領域ＡＲＦa-2を例示している。位置推定部６０は、上述のような処理を行い、反射面領域ＡＲＦa-1における視認対象物の領域Ｇob-1と、視認対象物の領域Ｇob-1と対応する反射面領域ＡＲＦa-2における視認対象物の領域Ｇob-2を判別する。

さらに、位置推定部６０は、デプス推定部５０で生成したデプス情報と、対応する反射面領域の位置情報と反射面領域内における対応する視認対象領域の位置情報から視認対象物の位置を算出する。

図１３は、視認対象物の位置の算出を説明するための図である。なお、図１３では、左視点の偏光画像取得部２０-1を座標系の原点（０，０）としている。また視認対象物を位置Ｚ、視認対象物の虚像を位置Ｚ’とする。

ここで、偏光画像取得部２０-1の位置をＬ（０，０）、偏光画像取得部２０-2の位置をＲ（ｂ，０）とする。また、偏光画像取得部２０-1と虚像の位置Ｚ’を結ぶ直線の反射面領域ＭＲの位置をＰ（ｐｘ，ｐｙ）、偏光画像取得部２０-2と虚像の位置Ｚ’を結ぶ直線の反射面領域ＭＲの位置をＱ（ｑｘ，ｑｙ）とする。この場合、位置Ｐ（ｐｘ，ｐｙ）と位置Ｑ（ｑｘ，qｙ）は、反射面領域ＭＲのデプス情報等を用いることで明らかとなる。

直線ＬＰを示す式は式（４）であり、直線ＲＱを示す式は式（５）である。また、直線ＬＰと直線ＲＱの交点が位置Ｚ’となる。すなわち、位置Ｚ’は式（６）として示すことができる。

また、求める視認対象物の位置Ｚは、式（７）と式（８）を満たす位置である。ここで、「ｍ」を式（９）に示すように定義すると、視認対象物の位置Ｚは式（１０）に基づいて算出できる。

したがって、反射面領域のデプス情報から得られた位置Ｐ（ｐｘ，ｐｙ）、位置Ｑ（ｑｘ，ｑｙ）の値を式（６）に代入すれば、視認対象物の位置Ｚを算出できる。

なお、視認対象物の位置Ｚの算出は、上述の方法に限られない。例えば視点の異なる２つの反射面領域に映り込んでいる視認対象物の虚像の位置Ｚ’を算出したのち、位置Ｐ（ｐｘ，ｐｙ）と位置Ｑ（ｑｘ，ｑｙ）を結ぶ線（反射面）を軸として反転させることで視認対象物の位置Ｚを算出してもよい。

第２の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図１４は、視認対象物の位置の推定動作を示すフローチャートである。

ステップＳＴ４１で位置推定部は第１の反射情報を入力する。位置推定部６０は、反射情報生成部３０-1から出力された反射情報を第１の反射情報として入力してステップＳＴ４４に進む。

ステップＳＴ４２で位置推定部は第２の反射情報を入力する。位置推定部６０は、反射情報生成部３０-2から出力された反射情報を第２の反射情報として入力してステップＳＴ４４に進む。

ステップＳＴ４３で位置推定部はデプス情報を入力する。位置推定部６０は、デプス推定部５０から出力されたデプス情報を入力してステップＳＴ４６に進む。

ステップＳＴ４４で位置推定部は反射面領域の対応処理を行う。位置推定部６０は、第１および第２の反射情報に基づき、反射面領域の対応をとってステップＳＴ４５に進む。

ステップＳＴ４５で位置推定部は視認対象物領域の対応処理を行う。位置推定部６０は、ステップＳＴ４４で対応すると判別した反射面領域を用いて同一視認対象物の領域の対応をとってステップＳＴ４６に進む。

ステップＳＴ４６で位置推定部は視認対象物の位置を推定する。位置推定部６０は、反射面領域に含まれている同一視認対象物の領域とデプス情報を用いて、上述の式（１０）の演算を行い、視認対象物の位置を推定する。

このような第２の実施の形態によれば、死角等に位置する視認対象物の情報として、視認対処物の位置を判別できるようになる。また、死角等に位置する視認対象物の位置を判別できることから、車両等に情報取得装置１０を設けることで、より安全な走行等が可能なる。

＜３．第３の実施の形態＞
ところで、第２の実施の形態では、複数視点の偏光画像から視認対象物の位置を推定する場合について説明したが、第３の実施の形態では、複数の反射面領域の反射情報を用いて、視認対象物の位置を推定する場合について説明する。

図１５は、第３の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０およびデプス推定部５１と位置推定部６１を有している。

偏光画像取得部２０は、第１の実施の形態と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。偏光画像取得部２０は、取得した偏光画像を反射情報生成部３０へ出力する。

反射情報生成部３０は、第１の実施の形態と同様に構成されている。反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax−Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６１へ出力する。

デプス推定部５１は、対象物までの距離の推定が可能な装置を用いて構成されている。例えばデプス推定部５１は、ＴＯＦ（Time Of Flight）カメラ、ステレオカメラ、ストラクチャードライト（structured_light）等を用いて構成されている。ＴＯＦカメラを用いた場合、デプス推定部５１は、投光した光等が戻ってくるまでの時間から距離を推定する。また、ステレオカメラを用いた場合、デプス推定部５１は、視差を利用して距離を推定する。また、ストラクチャードライト（structured_light）を用いた場合、デプス推定部５１は、投射パターンの変形を分析することによって距離を推定する。デプス推定部５１は、距離の推定結果を示すデプス情報を位置推定部６１へ出力する。

位置推定部６１は、反射情報生成部３０で生成した反射情報とデプス推定部５１で生成されたデプス情報から視認対象物の位置を算出する。

図１６は、視認対象物の位置の算出を説明するための図である。なお、図１６では、偏光画像取得部２０を座標系の原点（０，０）としている。反射面領域のデプス情報が得られているので、第２の実施の形態と同様に視認対象物の反射面領域ＭＲａの位置Ｐ（ｐｘ，ｐｙ）と，反射面領域ＭＲｂの位置Ｑ（ｑｘ，ｑｙ）が明らかである。また、反射面領域のデプス情報から反射面領域ＭＲａの傾きｓと、反射面領域ＭＲｂの傾きｔも明らかとなる。

ここで、偏光画像取得部２０の位置Ｌ（０，０）を、反射面領域ＭＲａに対して対称に移動した点の位置をＬ’（ｌ’ｘ、ｌ’ｙ）、反射面領域ＭＲｂに対して対称に移動した点の位置をＬ”（ｌ”ｘ、ｌ”ｙ）とすると、視認対象物の位置は、位置Ｌ’と位置Ｐを結ぶ直線と位置Ｌ”と位置Ｑを結ぶ直線の交点となる。

ここで、傾きｓの反射面領域ＭＲａと位置Ｌ’（ｌ’ｘ、ｌ’ｙ）と位置Ｐを結ぶ直線は直交していることから、式（１１）が成り立つ。また、位置Ｐ（ｐｘ，ｐｙ）は、位置Ｌ（０，０）と位置Ｌ’（ｌ’ｘ、ｌ’ｙ）から等距離にあり、式（１２）が成り立つ。したがって、位置Ｌ’（ｌ’ｘ、ｌ’ｙ）は式（１３）に基づいて算出できる。同様に、位置Ｌ”（ｌ”ｘ、ｌ”ｙ）は式（１４）に基づいて算出できる。

直線Ｌ’Ｐを示す式は式（１５）であり、直線Ｌ”Ｑを示す式は式（１６）である。したがって、式（１７）から、位置Ｌ’と位置Ｐを結ぶ直線と位置Ｌ”と位置Ｑを結ぶ直線の交点である視認対象物の位置Ｚ（ｚｘ，ｚｙ）を推定できる。

第３の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図１７は、視認対象物の位置の推定動作を示すフローチャートである。

ステップＳＴ５１で位置推定部は反射情報を入力する。位置推定部６１は、反射情報生成部３０から出力された反射情報を入力してステップＳＴ５２に進む。

ステップＳＴ５２で位置推定部は同じ視認対象物の領域を検出する。位置推定部６１は、ステップＳＴ５１で入力した反射情報に基づき、偏光画像取得部２０で取得された偏光画像内の複数の反射面領域から、同じ視認対象物が映り込んでいる反射面領域を判別する。さらに、位置推定部６１は、判別した反射面領域の反射成分画像から、同じ視認対象物の領域を検出してステップＳＴ５４に進む。

ステップＳＴ５３で位置推定部はデプス情報を入力する。位置推定部６１は、デプス推定部５１で生成されたデプス情報を入力してステップＳＴ５４に進む。

ステップＳＴ５４で位置推定部は視認対象物の位置を推定する。位置推定部６１は、デプス情報に基づき、同じ視認対象物が映り込んでいる複数の反射面領域の位置と、反射面領域に映り込んでいる視認対象物の反射面領域上の位置を用いて、上述の式（１７）の演算を行い、視認対象物の位置を推定する。

図１８は、第３の実施の形態の動作例を示している。視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。ここで、前方に位置する自動車等の側面が反射面となっている場合、偏光画像取得部２０から見える自動車等の側面（反射面領域）ＭＲａ，ＭＲｂには、視認対象物ＶＯＢが映り込む。したがって、情報取得装置１０は、上述のように偏光画像を取得して視認対象物の位置推定を行うことで、視認対象物ＶＯＢの位置を推定できる。

このような第３の実施の形態によれば、視認対象物が映り込んでいる複数の反射面領域の反射情報を利用して、死角等に位置する視認対象物の位置を判別できるようになる。また、第２の実施の形態のように、視点位置が異なる複数の偏光画像取得部を用いることなく、視認対象物の位置を判別できる。また、死角等に位置する視認対象物の位置を判別できることから、車両等に情報取得装置１０を設けることで、より安全な走行等が可能なる。

＜４．第４の実施の形態＞
ところで、偏光画像取得部が移動すると、偏光画像取得部で取得される偏光画像は、視点の異なる画像となる。すなわち、複数の偏光画像取得部を設けなくとも、時間の経過と共に、視点位置の異なる複数の偏光画像が得られる。したがって、第４の実施の形態では、偏光画像取得部の移動によって得られた視点位置の異なる偏光画像を用いて、視認対象物の位置を推定する場合について説明する。

図１９は、第４の実施の形態の構成を例示している。情報取得装置１０は、偏光画像取得部２０と反射情報生成部３０およびデプス推定部５１と位置推定部６２を有している。

偏光画像取得部２０は、第１の実施の形態と同様に構成されており、偏光板や偏光フィルタを用いて偏光方向が３方向以上である偏光画像を取得する。偏光画像取得部２０は、取得した偏光画像を反射情報生成部３０へ出力する。

反射情報生成部３０は、第１の実施の形態と同様に構成されている。反射情報生成部３０は、偏光方向が３以上の偏光画像から画素毎に、式（１）に示すモデル式を求める。また、反射情報生成部３０は、式（２）に示す偏光度ρが、予め設定した閾値以上である画素が集合している集合領域を反射面領域として抽出する。さらに抽出した反射面領域について、画素毎に最大輝度Ｉmaxと最小輝度Ｉminの差分（Ｉmax−Imin）を算出して反射成分とする。反射情報生成部３０は、このように偏光方向が３以上の偏光画像から反射情報、例えば反射面領域、反射成分、方位角等を示す反射情報を生成して位置推定部６１へ出力する。

デプス推定部５１は、第３の実施の形態と同様に、対象物までの距離の推定が可能な装置を用いて構成されており、距離を推定して推定結果を示すデプス情報を位置推定部６２へ出力する。

位置推定部６２は、時間間隔を設けて反射情報生成部３０で生成した反射情報とデプス推定部５１で生成されたデプス情報から視認対象物の位置を算出する。

図２０は、視認対象物の位置の算出を説明するための図である。なお、図２０では、時点Ｔ＋１における偏光画像取得部２０の位置を座標系の原点（０，０）として位置Ｊ（０，０）としている。また、時点Ｔにおける偏光画像取得部２０の位置Ｂ（０，−ｂ）とする。なお、時点Ｔで取得された偏光画像を第１の視点の偏光画像、時点Ｔ＋１で取得された偏光画像を第２の視点の偏光画像とすれば、第２の実施の形態と同様にして、デプス情報を生成することができる。

反射面領域のデプス情報を用いることで、時点Ｔにおける反射面領域ＭＲの視認対象物の画像位置Ｐ（ｐｘ，ｐｙ）と、時点Ｔ＋１における反射面領域ＭＲの視認対象物の画像位置Ｑ（ｑｘ，ｑｙ）が明らかとなる。なお、時点Ｔから時点Ｔ＋１までに移動した距離ｂは、距離メータの情報や測位システム等で検出した時点Ｔ，Ｔ＋１における偏光画像取得部２０の位置から算出してもよい。

この場合、直線ＪＰを示す式は式（１８）であり、直線ＢＱを示す式は式（１９）である。また、直線ＪＰと直線ＢＱの交点が虚像の位置Ｚ’となる。すなわち、位置Ｚ’は式（２０）として示すことができる。

また、求める視認対象物の位置Ｚは、式（２１）と式（２２）を満たす位置である。ここで、「ｍ」を式（２３）に示すように定義すると、視認対象物の位置Ｚは式（２４）に基づいて算出できる。

したがって、推定されている反射面領域ＭＲのデプス情報から得た位置Ｐ（ｐｘ，ｐｙ）、位置Ｑ（ｑｘ，ｑｙ）の値を用いて式（２０）および式（２４）の演算を行えば、視認対象物の位置Ｚを算出できる。

第４の実施の形態の動作では、図５のフローチャートにおけるステップＳＴ３の処理として視認対象物の位置を推定する。図２１は、視認対象物の位置の推定動作を示すフローチャートである。

ステップＳＴ６１で位置推定部は反射情報を入力する。位置推定部６２は、反射情報生成部３０から出力された反射情報を入力してステップＳＴ６２に進む。

ステップＳＴ６２で位置推定部は同じ視認対象物を検出する。位置推定部６２は、ステップＳＴ６１で入力した反射情報に基づき、偏光画像取得部２０で取得された偏光画像内の複数の反射面領域から、同じ視認対象物が映り込んでいる反射面領域を判別する。さらに、位置推定部６２は、判別した反射面領域の反射成分画像から、同じ視認対象物の領域を検出してステップＳＴ６４に進む。

ステップＳＴ６３で位置推定部はデプス情報を入力する。位置推定部６２は、デプス推定部５１で生成されたデプス情報を入力してステップＳＴ６４に進む。

ステップＳＴ６４で位置推定部は視認対象物の位置を推定する。位置推定部６２は、デプス情報に基づき、同じ視認対象物が映り込んでいる時点Ｔと時点Ｔ＋１の反射面領域の位置と、反射面領域に映り込んでいる視認対象物の反射面領域上の位置を用いて、上述の式（２４）の演算を行い、視認対象物の位置を推定する。

図２２は、第４の実施の形態の動作例を示している。図２２は、視認対象物ＶＯＢの位置が構造物ＢＢによって生じた死角の位置となり、偏光画像取得部２０から視認対象物ＶＯＢを直接見ることができない場合を例示している。構造物ＢＡの壁面がガラス等で構成されて反射面となっている場合、偏光画像取得部２０から見える構造物ＢＡの壁面には、視認対象物ＶＯＢが映り込む。また、図２２の（ａ）は時点Ｔにおける偏光画像取得部２０の位置を示しており、図２２の（ｂ）は時点Ｔ＋１における偏光画像取得部２０の移動後の位置を示している。この場合、時点Ｔにおける位置を視点とした複数偏光方向の偏光画像と、時点Ｔ＋１における位置を視点とした複数偏光方向の偏光画像を用いて、上述のように位置推定を行うことで、視認対象物ＶＯＢの位置を推定できる。

このような第４の実施の形態によれば、視認対象物が映り込んでいる複数の反射面領域の反射情報を利用して、死角等に位置する視認対象物の位置を判別できるようになる。また、第２の実施の形態のように視点位置が異なる複数の偏光画像取得部を用いることなく、死角等に位置する視認対象物の位置を判別できる。さらに、同一視認対象物が映り込んだ反射面領域が偏光画像に複数含まれていなくとも、視認対象物の位置を判別できる。

＜５．他の実施の形態＞
ところで、第４の実施の形態では偏光画像取得部２０を移動して、死角に位置する視認対象物の位置を判別する場合について説明した。しかし、反射面を有する移動体に視認対象物が映り込んでいる場合、図２３に示すように、移動体が時点Ｔにおける位置であるときの反射面を撮像した偏光画像と、移動体が時点Ｔ＋１における位置であるときの反射面を撮像した偏光画像から、視認対象物の位置を判別してもよい。

この場合、時点Ｔにおける偏光画像の反射面領域ＭＲｔと時点Ｔ＋１における偏光画像の反射面領域ＭＲｔ＋１は、第３の実施の形態において撮像された偏光画像における複数の反射面領域ＭＲａ，ＭＲｂに相当する。したがって、時点Ｔにおける反射面領域ＭＲｔと時点Ｔ＋１における反射面領域ＭＲｔ＋１を用いて、第３の実施の形態と同様な処理を行うことで、視認対象物ＶＯＢの位置を推定できる。

＜６．情報取得装置の適用例＞
次に、情報取得装置の適用例について説明する。図２４は、この技術の情報取得装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム１００は、通信ネットワーク１２０を介して接続された複数の制御部や検出部を備える。図２４に示した例では、車両制御システム１００は、駆動系制御部１３１、ボディ系制御部１３２、バッテリ制御部１３３、車外情報検出部１３４、無線通信部１３５および統合制御部１４０を備える。通信ネットワーク１２０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部１４０には、入力部１５１、音声出力部１５２、表示部１５３が接続されている。

各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。

駆動系制御部１３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部１３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部１３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock Brake System）またはＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御部１３１には、車両状態検出部１３１１が接続される。車両状態検出部１３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部１３１は、車両状態検出部１３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。

ボディ系制御部１３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部１３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部１３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部１３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御部１３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池１３３１を制御する。例えば、バッテリ制御部１３３には、二次電池１３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部１３３は、これらの信号を用いて演算処理を行い、二次電池１３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出部１３４は、車両制御システム１００を搭載した車両の外部の情報を検出する。車外情報検出部１３４には、この技術の情報取得装置１０が設けられる。

図２５は、偏光画像取得部の設置例を示した図である。偏光画像取得部２０は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる偏光画像取得部２０Ａおよび車室内のフロントガラスの上部に備えられる偏光画像取得部２０Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる偏光画像取得部２０Ｃ，２０Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる偏光画像取得部２０Ｅは、主として車両８０の後方の画像を取得する。なお、図２５には、それぞれの偏光画像取得部２０Ａ乃至２０Ｅの撮影範囲の一例を示している。撮像範囲ＡＲａは、フロントノーズに設けられた偏光画像取得部２０Ａの撮像範囲を示し、撮像範囲ＡＲｂは、車室内のフロントガラスの上部に備えられる偏光画像取得部２０Ｂの撮像範囲を示している。撮像範囲ＡＲｃ，ＡＲｄは、それぞれサイドミラーに設けられた偏光画像取得部２０Ｃ，２０Ｄの撮像範囲を示し、撮像範囲ＡＲｅは、リアバンパまたはバックドアに設けられた偏光画像取得部２０Ｅの撮像範囲を示す。

図２４に戻り、車外情報検出部１３４は、車両の周辺領域を撮像して偏光画像を取得して、上述のように反射情報の生成や視認対象物の位置の推定を行う。車外情報検出部１３４は、生成した反射情報や視認対象物の位置推定結果を、通信ネットワーク１２０を介して統合制御部１４０へ出力する。

無線通信部１３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部１４０に出力する。また、無線通信部１３５は車外情報検出部１３４で取得した反射情報等を他車両や管理センタ等へ送信する。なお、無線通信部１３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部１３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部１４０へ出力してもよい。

統合制御部１４０には、入力部１５１、音声出力部１５２、表示部１５３が接続されている。
入力部１５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部１５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部１４０に出力する。

音声出力部１５２は、統合制御部１４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部１５３は、統合制御部１４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。

統合制御部１４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部１５１からの入力信号および通信ネットワーク１２０を介した各制御部や検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム１００内の動作全般を制御する。また、統合制御部１４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部１５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部１５３へ出力する。また、統合制御部１４０は、無線通信部１３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部１４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部１３５から取得した測位結果に基づき、車両の走行支援を行う。

なお、図２４に示した例において、通信ネットワーク１２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム１００が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク１２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。

このような車両制御システムに情報取得装置を適用した場合、運転者の死角となっている領域に位置する視認対象物の情報を運転者に提供できるようになる。例えば、車外情報検出部１３４で生成した反射情報に基づき表示部１５３で死角の領域に位置する視認対象物の画像を表示すれば、対向車に隠れているバイクや自転車等を確認できることから、転回時にバイクや自転車等との衝突を防止できる。また、建築物等の陰に位置する車両や人物等を確認できるので、車両や人物等の飛び出し等を予測することが可能となる。

また、駆動系制御部１３１や統合制御部１４０では、車外情報検出部１３４で推定した視認対象物の位置に基づき車両の駆動制御を行ってもよい。例えば、視認対象物の位置の変化から視点対象物の移動方向や移動速度を判別して、自車両と衝突のおそれがある場合には、ステアリングやブレーキ等を制御して回避行動を行う。このようにすれば、反射成分を利用して、安全な走行を行うことができるようになる。なお、車両制御システムに情報取得装置を適用した場合、第４の実施の形態における偏光画像取得部の移動量は、車両状態検出部１３１１の検出結果または車両制御システムに設けられている測位システム（図示せず）の情報を用いることで算出できる。

さらに、地図情報に反射面を有する建物等の情報を含めておけば、測位結果で示された現在位置と地図情報に基づき、反射面を有する建物に接近したときに視認対象物の情報を取得するようにしてもよい。このようにすれば、反射面を有する建物が近傍に存在する場合にのみ、視認対象物の情報を取得する処理を行わせることが可能となり、車両制御等を効率よく行うことができる。

また、無線通信によって他車両で生成された反射情報等を受信して、他車両で生成された反射情報等を用いて上述の第３の実施の形態の処理を行い、視認対象物の情報を取得してもよい。

さらに、反射面領域を検出した位置や建築物の情報等を無線通信によって管理センタに送信する処理や、反射情報等を他車両に無線通信で送信する処理を行えば、効率のよい交通システムを構築することが可能となる。

また、この技術の情報取得装置は、車両制御システムに限らず監視システムに適用してもよい。この場合、監視カメラで死角となっている領域の視認対象物の画像や位置を確認できることから、死角を生じないように監視カメラを数多く配置しなくとも、反射成分を利用して効率よく監視を行うことができる。

さらに、この技術の情報取得装置は、車両制御システムや監視システムに限らず、死角等の領域の視認対象物を判別することが必要となる種々の分野に適用できる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の情報取得装置は以下のような構成もとることができる。
（１） 複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部とを備える情報取得装置。
（２） 前記反射情報は反射画像を含む（１）に記載の情報取得装置。
（３） 前記反射情報生成部は、偏光度が閾値以上である集合領域を反射面領域として、前記反射面領域の画像を前記反射画像とする（２）に記載の情報取得装置。
（４） 前記反射情報利用部は、前記反射画像を用いて被写体認識を行い、認識された視認対象物の画像を取得する（３）に記載の情報取得装置。
（５） 前記反射情報は前記反射面領域の方位角情報を含み、
前記反射情報利用部は、前記方位角情報に基づき前記反射面領域の向きを前記視認対象物の画像とともに表示する（４）に記載の情報取得装置。
（６） 前記反射情報利用部は、複数視点の偏光画像から推定された反射面領域の距離と、前記反射情報生成部で生成された前記反射面領域の反射情報を用いて前記反射面領域に映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
（７） 前記複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を更に備える（６）に記載の情報取得装置。
（８） 前記デプス推定部は、前記複数視点の偏光画像から反射成分を除いた画像を用いて前記反射面領域の距離を推定する（７）に記載の情報取得装置。
（９） 前記反射情報利用部は、前記複数視点間で対応する反射面領域における対応する前記視認対象物の反射情報と、前記対応する反射面領域の距離を用いて、前記対応する視認対象物の位置を取得する（６）乃至（８）の何れかに記載の情報取得装置。
（１０） 前記反射情報利用部は、複数の反射面領域毎の距離と、前記反射情報生成部で生成された前記複数の反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
（１１） 前記反射情報利用部は、複数時点毎の反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（３）乃至（５）の何れかに記載の情報取得装置。
（１２） 前記反射面領域を含む前記偏光画像を取得する偏光画像取得部は時間の経過とともに移動して前記複数時点の偏光画像を取得して、
前記反射情報利用部は、所定の時点の前記偏光画像取得部の位置を基準する前記反射面領域の距離と、所定の時点の前記偏光画像取得部の位置に対する前記所定の時点と異なる時点の前記偏光画像取得部の位置と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（１１）に記載の情報取得装置。
（１３） 前記反射面領域は時間の経過とともに移動して、
前記反射情報利用部は、前記所定の時点毎の前記反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記反射面領域にともに映り込んでいる前記視認対象物の位置を取得する（１１）に記載の情報取得装置。

この技術の情報取得装置と情報取得方法によれば、複数偏光方向の偏光画像から反射成分を示す反射情報が反射情報生成部で生成される。さらに、反射情報を用いて偏光画像に映り込んでいる視認対象物の情報が反射情報利用部で取得される。このため、周辺領域の画像から反射成分を利用して例えば死角の領域に位置する視認対象物を容易に確認できるようになる。したがって、死角となっている領域の視認対象物を確認できることが好ましいシステム、例えは車両制御システムや監視システム等に適している。

１０・・・情報取得装置
２０，２０-1，２０-2，２０Ａ〜２０Ｅ・・・偏光画像取得部
３０，３０-1，３０-2・・・反射情報生成部
４０・・・反射情報利用部
５０，５１・・・デプス推定部
６０，６１，６２・・・位置推定部
８０・・・車両
１００・・・車両制御システム
１２０・・・通信ネットワーク
１３１・・・駆動系制御部
１３２・・・ボディ系制御部
１３３・・・バッテリ制御部
１３４・・・車外情報検出部
１３５・・・無線通信部
１４０・・・統合制御部
１５１・・・入力部
１５２・・・音声出力部
１５３・・・表示部

Claims (11)

1. 複数偏光方向の偏光画像から反射成分を示す反射情報を生成する反射情報生成部と、
   前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報を取得する反射情報利用部を備え、
   前記反射情報生成部は、偏光度が閾値以上である集合領域を反射面領域として、前記反射情報を反射面領域毎に生成して、
   前記反射情報利用部は、複数の前記反射面領域毎の距離と、前記反射情報生成部で生成された前記反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
   情報取得装置。
2. 前記反射情報生成部は、前記反射面領域の画像を反射画像として前記反射情報に含め、
   前記反射情報利用部は、前記反射画像を用いて被写体認識を行い、認識された視認対象物の画像を取得する
   請求項１に記載の情報取得装置。
3. 前記反射情報は前記反射面領域の方位角情報を含み、
   前記反射情報利用部は、前記方位角情報に基づき前記反射面領域の向きを前記視認対象物の画像とともに表示する
   請求項２に記載の情報取得装置。
4. 前記反射情報利用部は、複数視点の偏光画像から推定された反射面領域の距離と、前記反射情報生成部で生成された前記反射面領域の反射情報を用いて前記反射面領域に映り込んでいる前記視認対象物の位置を取得する
   請求項１に記載の情報取得装置。
5. 前記複数視点の偏光画像から、前記反射面領域の距離を推定するデプス推定部を更に備える
   請求項４に記載の情報取得装置。
6. 前記デプス推定部は、前記複数視点の偏光画像から反射成分を除いた画像を用いて前記反射面領域の距離を推定する
   請求項５に記載の情報取得装置。
7. 前記反射情報利用部は、前記複数視点間で対応する反射面領域における対応する前記視認対象物の反射情報と、前記対応する反射面領域の距離を用いて、前記対応する視認対象物の位置を取得する
   請求項４に記載の情報取得装置。
8. 前記反射情報利用部は、複数時点毎の反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
   請求項１に記載の情報取得装置。
9. 前記反射面領域を含む前記偏光画像を取得する偏光画像取得部は時間の経過とともに移動して前記複数時点の偏光画像を取得して、
   前記反射情報利用部は、所定の時点の前記偏光画像取得部の位置を基準とする前記反射面領域の距離と、前記基準とする前記偏光画像取得部の位置に対する前記所定の時点と異なる時点の前記偏光画像取得部の位置と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記複数時点の反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
   請求項８に記載の情報取得装置。
10. 前記反射面領域は時間の経過とともに移動して、
    前記反射情報利用部は、前記複数時点毎の前記反射面領域の距離と、前記反射情報生成部で生成された前記複数時点毎の反射面領域の反射情報を用いて、前記反射面領域にともに映り込んでいる前記視認対象物の位置を取得する
    請求項８に記載の情報取得装置。
11. 複数偏光方向の偏光画像における偏光度が閾値以上である集合領域を反射面領域として、反射成分を示す反射情報を反射面領域毎に反射情報生成部で生成することと、
    前記反射情報を用いて前記偏光画像に映り込んでいる視認対象物の情報の取得を反射情報利用部で行い、複数の前記反射面領域毎の距離と、前記反射情報生成部で生成された前記反射面領域毎の反射情報を用いて、前記複数の反射面領域にともに映り込んでいる前記視認対象物の位置を取得すること
    を含む情報取得方法。

Images