JP5990953B2 - 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両 - Google Patents

Description

本発明は、輝度情報、偏光情報、及び分光情報といった、いわゆる光の３成分の画像情報を取得可能な撮像装置、撮像装置から得られた画像情報を利用して物体を検出する物体検出装置、物体検出装置が検出した検出対象物の情報に基づいて車両の走行支援を行う車両走行支援画像処理システム、及び物体検出装置又は物体検出装置を備えた車両に関する。

従来、輝度画像のみでは得られない画像情報を取得するために、偏光フィルタや分光フィルタ等、様々な光学フィルタが撮像装置に使用されている。
例えば特許文献１には、輝度画像と偏光画像の双方を撮像可能な撮像装置が開示されている。この撮像装置においては、輝度画像と被写体の部分偏光画像を同時に取得するために、複数の異なる偏光主軸を有するパタン化偏光子が撮像素子に空間的に配置されている。この発明のパタン化偏光子には、フォトニック結晶や構造複屈折波長板アレイが利用されている。

また、特許文献２には、色分解（ダイクロック）プリズムを用いたカラー偏光撮像装置が開示されている。この撮像装置は、色毎にパタン化偏光子が付加された複数の撮像素子を備えている。各色に対応する撮像素子は、隣接する縦２つ横２つの計４つの画素が１つのユニットとして構成されており、各ユニットには、透過偏光面が０度、４５度、９０度、１３５度という組み合わせの偏光子のパタンが付加されている。従って、色分解プリズムによって分立された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光は、各色を受光する夫々の撮像素子に入射し、Ｒ、Ｇ、Ｂの色ごとに透過偏光軸の異なる４種類の偏光情報を取得することができる。また、ユニット内の４画素の輝度を平均することにより、カラー画像を取得することができる。

しかしながら特許文献１の発明においては、画素単位で波長成分を変化させたような分光・偏光情報を得ることができない。また、フォトニック結晶を用いた場合は、バンドギャップを利用するため使用波長帯域が限られる（例えば、使用波長範囲３０ｎｍ程度となり可視域全域での使用は困難である）という問題がある。
また、特許文献２の発明においては、色分解プリズムを使用して入射光を３色に分解した後に偏光フィルタを通過させる構成であるため、画素単位で所定の波長成分を変化させるような分光・偏光情報を得ることができない。そのため、画素単位の情報を得ようとすると撮像装置として大型化してしまう等の問題を有する。
本発明は、上述の事情に鑑みてなされたものであり、輝度情報、偏光情報、及び分光情報を画素単位のような微小領域単位で取得可能、且つ、透過偏光成分、及び透過波長帯域の各成分が任意に調整された２次元画像を一度に撮像可能な撮像装置、これを備えた物体検出装置、これを備えた車両走行支援システム、及び物体検出装置又は物体検出装置を備えた車両を提供することを目的とする。

上記の課題を解決するために、本発明は、撮像レンズと、該撮像レンズからの入射光を受光する複数の受光素子が２次元配置された撮像素子と、前記撮像レンズと前記撮像素子との間に配置された光学フィルタと、を備えた撮像装置であって、前記光学フィルタは、フィルタ基板と、該フィルタ基板の一方の面に形成されて透過する光の波長を分別する分光フィルタ層と、前記フィルタ基板の他方の面に形成されて、夫々透過偏光軸が異なる複数の偏光成分透過領域を有する偏光フィルタ層と、該偏光フィルタ層を保護する充填層と、を備え、前記偏光成分透過領域は、所定方向に延びる金属ワイヤを所定のピッチにて並行に配置したワイヤグリッド構造を有し、前記分光フィルタ層は、前記光学フィルタの前記撮像レンズ側に配置され、前記金属ワイヤのピッチの２倍以上の波長成分の光を透過させることを特徴とする。

本発明によれば、偏光フィルタ層が、透過偏光軸の異なる複数の偏光成分透過領域を有しているので、輝度情報、偏光情報、及び分光情報が、画素単位のような微小領域単位で取得可能となる。また、偏光フィルタ層の前段に配置された分光フィルタ層が、ワイヤグリッド構造の金属ワイヤのピッチの２倍以上の波長成分の光を透過させるので、充填層を通過することにより透過率が上昇する光の波長成分をカットし、透過偏光成分、及び透過波長帯域の各成分が任意に調整された２次元画像を一度に撮像可能となる。

本実施形態における車両走行支援画像処理システムの概略構成を示す模式図である。 撮像ユニットに搭載される撮像装置の構成を示す模式図である。 光学フィルタとセンサ基板の模式的拡大図である。 画像センサの一例を示す断面図である。 （ａ）は、光学フィルタの構造を示す断面図であり、（ｂ）は光学フィルタに形成された分光フィルタ層の透過率特性を示すグラフ図である。 光学フィルタの偏光フィルタ層の領域分割パタンと画像センサの各画素との位置関係を示した模式図である。 （ａ）乃至（ｅ）は、光学フィルタの画像センサ側の領域分割パタンの実施例を説明するための図である。 カラーセンサの画素配列の一例を示す図である。 （ａ）乃至（ｅ）は、光学フィルタの画像センサ側の領域分割パタンの他の実施例を説明するための図である。 ワイヤグリッドの断面構造を示す図である。 ワイヤグリッド構造（ＷＧ）の偏光フィルタ層と、ワイヤグリッド構造に充填層を形成した場合（ＳＯＧ埋め込み）の、光の透過率を示したグラフ図である。 分光フィルタの透過率特性を示すグラフ図である。 撮像装置を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出したときのヒストグラムである。 雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置で撮像した場合の一例を示す模式図である。 車両検出処理の流れを示すフローチャートである。 （ａ）及び（ｂ）は、雨天時において同じ撮像領域を撮像したモノクロ輝度画像（非偏光）と差分偏光度画像の画像例を示す図である。 （ａ）及び（ｂ）は、同じ撮像領域を撮像したモノクロ輝度画像（非偏光）と差分偏光度画像の画像例を示す図である。 （ａ）は、ステレオカメラの１構成例を示す模式図であり、（ｂ）はストレオカメラの車両への取り付け位置を示す模式的側面図であり、（ｃ）は（ｂ）の平面図（上面図）である。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に
基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用可能である。

〔車両走行支援画像処理システムの全体構成〕
図１は、本実施形態における車両走行支援画像処理システム（以下、単に「画像処理システム」という）の概略構成を示す模式図である。画像処理システム１は、自動車などの車両１００に搭載された撮像装置が撮像した画像データを利用して、ヘッドランプの配光制御、ワイパーの制御、或いはその他各種の走行支援を行うシステムである。

本実施例の画像処理システム１は、走行する車両１００に装備されるシステムであり、車両１００の前方領域の画像を撮像する撮像装置を含んだ撮像ユニット１０１と、撮像ユニット１０１が撮像した画像を解析する画像解析ユニット１０２（物体検出処理手段）と、画像解析ユニット１０２による画像解析結果に基づいて、それぞれヘッドランプ１０４を制御するヘッドランプ制御ユニット１０３、ワイパー１０７を制御するワイパー制御ユニット１０６、及び車両１００の走行制御を行う車両走行制御ユニット１０８と、を有している。
撮像ユニット１０１は、走行する車両１００の進行方向前方領域を撮像領域として撮像する装置であり、例えば、車両１００のフロントガラス１０５の後方に配置されたルームミラー（図示せず）付近に設置される。撮像ユニット１０１にて撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。

画像解析ユニット１０２は、撮像ユニット１０１から送信された画像信号を解析する。具体的には、例えば、車両１００の前方に存在する他車両の位置、距離、及び角度を算出する。また、例えば、車両１００のフロントガラス１０５に付着した異物を検出する。或いは、車両１００が進行する道路の路面領域や白線を検出して、車両１００が進行する道路の走行可能な路面領域や白線の座標情報を算出する。画像解析ユニット１０２の解析結果は、夫々ヘッドランプ制御ユニット１０３、ワイパー制御ユニット１０６、及び車両走行制御ユニット１０８に送られる。
ヘッドランプ制御ユニット１０３は、画像解析ユニット１０２から出力された他車両の位置、距離、又は／及び角度の情報から、ヘッドランプ１０４を制御する制御信号を生成する。例えば、画像解析ユニット１０２が算出した距離データに基づいて、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界を確保できるように、ヘッドランプ１０４のハイビーム及びロービームの切り替え制御や、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

ワイパー制御ユニット１０６は、画像解析ユニット１０２から出力された、フロントガラス１０５に付着した異物や雨量の情報を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６は、制御信号に基づいてワイパー１０７を稼動させ、フロントガラス１０５に付着した雨滴や異物などの付着物を除去して、ドライバの視界を確保する。
車両走行制御ユニット１０８は、画像解析ユニット１０２から出力された道路の路面領域や白線の情報から、各種の信号を生成する。例えば、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告したり、車両１００のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

〔撮像装置〕
〔撮像装置の概略〕
図２は、撮像ユニットに搭載される撮像装置の構成を示す模式図である。
撮像装置２００は、光像が入射する撮像レンズ２０４と、撮像レンズ２０４の後段に配置された光学フィルタ２０５と、光学フィルタ２０５を通過した撮像レンズ２０４からの入射光を受光する複数の受光素子が２次元配置された画素アレイを有する画像センサ２０６（撮像素子）を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、を備えている。
被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６においてその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、輝度情報や分光情報や偏光情報などの画像信号を生成する。信号処理部２０８は画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。

図３は、光学フィルタとセンサ基板の模式的拡大図である。この図は、図２に示す光学フィルタ２０５とセンサ基板２０７とを光透過方向に対して直交する方向から見た図である。
画像センサ２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａが用いられている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されている。フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。
画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

〔カラーセンサ〕
図４は、画像センサの一例を示す断面図である。センサ基板２０７に用いる画像センサ２０６には、図４のようにマイクロレンズ２０６Ｂとフォトダイオード２０６Ａとの間にカラーフィルタ２０９（２０９Ｒ、２０９Ｇ、２０９Ｂ：分光フィルタ）を有するカラー用画像センサ２０６（カラーセンサ）を用いてもよい。カラー用画像センサ２０６としては、図示する周知のＲＧＢ（Ｒ：赤色、Ｇ：緑色、Ｂ：青色）の３つの色成分を取得するカラーセンサを用いてもよいし、Ｒ（赤色）の成分とＣ（クリア）の成分を取得するＲＣＣＣセンサを用いてもよい。

〔マイクロレンズについて〕
また、センサ基板２０７に用いる画像センサ２０６には、マイクロレンズ２０６Ｂを有さない画像センサを用いてもよい。マイクロレンズ２０６Ｂを有さない場合は、光学フィルタ２０５と画像センサ２０６の受光面との間隔を狭めることができる。仮に、光学フィルタ２０５として画素サイズに領域分割されたフィルタを利用する場合、光学フィルタ２０５と画像センサ２０６との間隔が開いていると、光学フィルタ２０５上の隣接領域からのクロストーク成分が、画像センサ２０６の所望のフォトダイオード２０６Ａに混ざり込み、ノイズの原因となる。しかし、マイクロレンズ２０６Ｂを有さない画像センサを用いれば、画像センサの画素と光学フィルタ２０５の領域分割パタンとを密着させて接合できるため、不要光の侵入を抑制することができる。

〔光学フィルタの構成〕
撮像レンズ２０４と画像センサ２０６との間に配置される光学フィルタ２０５について図５に基づいて説明する。図５（ａ）は、光学フィルタの構造を示す断面図であり、（ｂ）は光学フィルタに形成された分光フィルタ層の透過率特性を示すグラフ図である。
光学フィルタ２０５は、図５（ａ）に示すように、フィルタ基板２２１の一方の面２０５ａに分光フィルタ層２２０を形成し、他方の面２０５ｂに偏光フィルタ層２２２を形成したものである。分光フィルタ層２２０の後段に偏光フィルタ層２２２が配置されている。
撮像レンズ２０４側に位置する面２０５ａには分光フィルタ層２２０が形成されている。分光フィルタ層２２０は、透過する光の波長を分別するフィルタであり、図５（ｂ）に示すように、波長範囲４３０ｎｍ〜６７０ｎｍのいわゆる可視光領域の光を透過させる。可視光領域の光は、車両１００の周辺情報を検出するために用いる。

また、分光フィルタ層２２０は、波長７００〜９４０ｎｍの範囲の光を透過させないフィルタ層である（仮に透過させたとしても、透過率５％以下が望ましい）。仮に、この波長範囲の光を画像センサ２０６によって受光すると、得られる画像データは全体的に赤みを帯びたものとなってしまう。その結果、テールランプ等に対応する赤色の画像部分を抽出することが困難となる場合がある。そこで、本実施形態においては、赤外波長帯の光をカットする特性をもつ分光フィルタ層２２０を形成し、撮像画像データ部分から赤外波長帯を除外する。このようにすることで、テールランプ等を検出する上で外乱となる光の成分を除去し、テールランプ等の検出精度を向上させることができる。
また、分光フィルタ層２２０は、さらに波長４３０ｎｍ以下、且つ使用する画像センサ２０６の検出感度範囲に含まれる波長範囲（たとえば、３００ｎｍ以上）の光も透過させない。この波長を抑制する理由は、画像センサ２０６側に位置するフィルタ基板２２１の面２０５ｂに形成された偏光フィルタ層２２２を充填層２２４にて保護した場合（図７参照）に、短波長側で消光比が取れないために発生する偏光画像のコントラスト低下成分を抑制するためである。分光フィルタ層２２０としては、後述する偏光フィルタ層２２２に形成されたワイヤグリッド（図１０参照）の溝周期の２倍以上、より望ましくは２．５倍以上の波長成分のみを透過するような分光フィルタ層２２０を形成することが望ましい（詳しくは「充填層形成による課題とその対策」にて述べる）。
分光フィルタ層２２０は、後述する分光フィルタ２２３ａと同様に、多層膜構造のバンドパスフィルタとすることができる。

このようにフィルタ基板２２１の両面に、分光フィルタ層２２０と偏光フィルタ層２２２とを形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。フィルタ基板２２１の一方の面にだけ分光フィルタ層として多層膜を形成すると応力がかかり、反りが生じる。しかしながら図５（ａ）のように、フィルタ基板２２１の両面に分光フィルタ層２２０と偏光フィルタ層２２２を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
なお、分光フィルタ層２２０を設ける代わりに、赤外波長帯の光をカットするフィルタ層を撮像レンズ２０４表面に形成してもよい。しかし、撮像レンズ２０４のような球面にフィルタ層を形成する場合は、その曲率を考慮した条件出しが必要となる。本実施形態のように、光学フィルタ２０５の表面に赤外波長帯の光をカットする分光フィルタ層２２０を形成するほうが、フィルタ基板２２１のフィルタ層蒸着面が平面であるため加工精度を高くすることができる。

〔フィルタ部構成：領域分割パタン〕
光学フィルタ２０５の画像センサ２０６側の面２０５ｂには、領域分割されたパタンが形成されている。図６は、光学フィルタの偏光フィルタ層の領域分割パタンと画像センサの各画素との位置関係を示した模式図である。領域分割されたパタンは、例えば図示するように、画像センサ２０６上の１つのフォトダイオード２０６Ａごとに対応するパタン、すなわち１画素ごとに対応した格子状のパタンとすることができる。
光学フィルタ２０５と画像センサ２０６とを離間配置し、両者の間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５上の領域の境界と、画像センサ２０６上の領域の境界を一致させやすくなる。

領域分割された各パタンには、後述する各種のアプリケーションに応じて、輝度情報・偏光情報・分光情報の、いわゆる光の３成分を適宜調整して出力するように、偏光フィルタ、分光フィルタ、又は光量調整フィルタが画素単位（微小領域単位）で形成される。
なお、本実施形態では、画像センサ２０６にカラー画像用の画像センサ（ＲＧＢ又はＲＣＣＣ）を用いた場合を前提にして説明するが、画像センサ２０６としてモノクロ用画像センサを利用してもよい。カラー用画像センサで構成する場合、カラー用画像センサの各画素に付属するカラーフィルタの特性に応じて、光学フィルタ２０５の各領域の光透過特性を調整すればよい。
これら画素単位で得られる種々の異なる情報から、後述する各種画像が形成される。このような各種の画像形成は撮像装置２００内の信号処理部２０８にて行われる（図２参照）。

光学フィルタ２０５を上記構成とすることにより、画像センサ２０６の画素単位で、透過光量、透過偏光成分、及び透過波長帯域の３成分が任意に調整された２次元画像を、一回の撮像で得ることができる。また、１つの２次元画像を得るために複数画像を撮像して演算する必要がないので、高速に分光画像及び偏光画像を撮影することができる。
また液晶などのアクティブデバイスを用いずに、スタティックな光学フィルタを画像センサの前段（入射側）に配置するだけでよいため、安価で、光学系としてシンプルな構成で分光画像及び偏光画像を撮影できる。（なお、仮にアクティブデバイスを用いる場合は、駆動回路なども必要となる。）
さらに、スタティックな光学フィルタを画像センサと撮像レンズの間に配置するだけでよいため、従来の撮像装置と同等のサイズとすることができ、装置の小型化に寄与する。

〔フィルタ領域分割パタンの実施例１〕
ここで、本実施形態において光学フィルタに形成されるフィルタ領域分割パタンの一実施例について説明する。以下、画像センサとしてＲＧＢ（Ｒ：赤色、Ｇ：緑色、Ｂ：青色）の３つの色成分を取得可能なカラーセンサを用いた場合について説明する。カラーセンサには、例えば図４のような断面を有したものを利用できる。

図７は、光学フィルタの画像センサ側の領域分割パタンの実施例を説明するための図である。（ａ）は光学フィルタのパタン例を説明するための平面図であり、（ｂ）は（ａ）のＡ−Ａ線における縦断面図であり、（ｃ）は（ａ）のＢ−Ｂ線における縦断面図であり、（ｄ）は（ａ）のＣ−Ｃ線における縦断面図であり、（ｅ）は（ａ）のＤ−Ｄ線における縦断面図である。
図７（ｂ）〜（ｅ）に示すように、光学フィルタ２０５の画像センサ２０６側の面には、フィルタ基板２２１上に偏光フィルタ層２２２とこの偏光フィルタ層２２２を覆う充填層２２４が形成されている。

〔各領域の説明〕
図７（ａ）は、本実施例における光学フィルタ２０５を透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示している。なお、図中Ｒ、Ｇ、Ｂは画像センサ２０６の配列を示し、Ｐ、Ｓは偏光フィルタ層２２２の配列を示している。
図７に示す画像センサの画素配列では、（ａ）に示すように、隣接する縦２つ横２つの計４つの画素（符号ａ〜ｄの４画素）が１つのカラーユニット２２５を構成する。カラーユニット２２５は、１つの赤色画素（Ｒ）と、２つの緑色画素（Ｇ）と、１つの青色画素（Ｂ）から構成される。

また、図７に示す偏光フィルタの画素配列では、（ａ）に示すように、隣接する縦４つ横２つの計８つの画素に対応する領域（符号ａ〜ｈの８画素に対応する領域）が１つの偏光ユニット２２６を構成する。偏光ユニット２２６は、２つのカラーユニット２２５（２２５ａ、２２５ｂ）を覆うように構成されており、一方のカラーユニット２２５ａを構成する各画素に対応した４つのＰ偏光成分透過領域と、他方のカラーユニット２２５ｂを構成する各画素に対応した４つのＳ偏光成分透過領域とを有する。なお、Ｐ偏光成分とは鉛直偏光成分のことであり、Ｓ偏光成分とは水平偏光成分のことである。本実施形態においては、夫々透過偏光軸が異なる複数の偏光成分透過領域として、Ｐ偏光成分とＳ偏光成分の２種類の偏光成分透過領域を備えているが、夫々透過偏光軸が異なる３以上の偏光成分透過領域が形成されていてもよい。
なお図７（ａ）中、例えばＰ／Ｒは、偏光方向としてはＰ偏光成分の光のみ、波長帯域としては赤色波長帯域の光のみが、画像センサ２０６に受光されることを意味する。

〔生成画像〕
光学フィルタ２０５のパタンレイアウトとして図７（ａ）のような構成を用いることにより、赤色光のＰ偏光成分画像（Ｐ／Ｒ）、緑色光のＰ偏光成分画像（Ｐ／Ｇ）、青色光のＰ偏光成分画像（Ｐ／Ｂ）、赤色光のＳ偏光成分画像（Ｓ／Ｒ）、緑色光のＳ偏光成分画像（Ｓ／Ｇ）、青色光のＳ偏光成分画像（Ｓ／Ｂ）、の６種類の画像が生成できる。
また後述するように、たとえば（Ｐ−Ｓ）／（Ｐ＋Ｓ）を差分画像として、赤色光の偏光差分画像、緑色光の偏光差分画像、青色光の偏光差分画像が形成できる。なお、偏光差分画像の形成にあたっては、隣接する画素領域の情報が不足するが、ここは一般的に知られる画像補間技術を用いればよい。

〔生成画像の用途〕
上記偏光成分画像、及び偏光差分画像の使用用途について説明する。
赤色光のＰ偏光成分画像は、例えばテールランプの識別に使用することができる。この赤色画像ではＳ偏光成分をカットしているため、路面に反射した赤色光や、自車両１００（図１参照）内のダッシュボードなどからの不要反射光（映りこみ光）等のように、Ｓ偏光成分の強い赤色光による外乱要因を抑制できる。従って、検出対象とするテールランプ（被検物）の認識率が向上する。
赤色光や青色光や緑色光のＰ偏光成分画像は、例えば標識の識別に使用することができる。

また、赤色光や青色光や緑色光のＰ偏光成分画像は、例えば、白線や対向車のヘッドランプの検出に使用することができる。この画像ではＳ偏光成分をカットしているため、路面に反射したヘッドランプや街灯、或いは自車両１００内のダッシュボードなどからの不要反射光（映りこみ光）等のように、Ｓ偏光成分の強い光による外乱要因を抑制でき、白線やヘッドランプの認識率が向上する。特に雨路においては、路面を覆った水面からの反射光はＳ偏光成分が多いことが一般に知られている。このＳ偏光成分を抑制することで、水面下の白線部分を適切に検出することが可能となる。
Ｐ偏光成分画像とＳ偏光成分画像の差分画像は、例えば後述する雨路の白線認識に使用することができる。

〔偏光フィルタのパタンに関して〕
本実施例における偏光フィルタのパタン配列では、Ｐ偏光成分透過領域とＳ偏光成分透過領域が、夫々撮像領域の横方向（図７（ａ）中、左右方向）にのびるように形成されている。すなわち、撮像領域の水平方向に縞方向を有するストライプパタン状に配置されている。このように横方向に縞方向を有することにより、偏光画像に関して横方向に使用できる画素数を増大させることができる。結果として、Ｐ偏光画像、Ｓ偏光画像、又はＰ偏光画像とＳ偏光画像の差分画像は、夫々横方向に解像度を有することになる。
ここで、白線や路面エッジは主として車両の進行方向に伸びる線であり、連続する斜めの線として撮像される。仮に、走行中の車両１００が白線等に接近した場合、車両１００が接近した側の白線等は徐々に立ち上がり縦方向（図７（ａ）中、上下方向）に伸びる画像として撮像される。従って、白線検出や路面領域の検出を利用し、白線によって区画されている車線領域から車両１００が外れそうになる場合等、効果的に走行支援制御を行うためには、撮像領域の横方向の解像度を高くしておくことが望ましい。

〔カラーセンサの他の実施例〕
なお、カラーセンサとしては、ＲＧＧＢ配列のセンサに限定されるものでなく、Ｇ（緑色画素）、Ｂ（青色画素）の代わりに波長制限を行わないクリア画素からなるＲＣＣＣの配列からなるセンサを用いてもよい。或いは、図８のように、８画素を一つのカラーユニットとしてもよい。図８は、カラーセンサの画素配列の一例を示す図である。図示するカラーセンサは、４つの色成分が取得できる画素配列となっている。

〔フィルタ領域分割パタンの実施例２〕
更に、本実施形態において光学フィルタに形成されるフィルタ領域分割パタンの他の実施例について説明する。以下、画像センサとしてＲＣＣＣ（Ｒ：赤色、Ｃ：クリア）の２つの色成分を取得可能なカラーセンサを用いた場合について説明する。
図９は、光学フィルタの画像センサ側の領域分割パタンの実施例を説明するための図である。（ａ）は光学フィルタのパタン例を説明するための平面図であり、（ｂ）は（ａ）のＡ−Ａ線における縦断面図であり、（ｃ）は（ａ）のＢ−Ｂ線における縦断面図であり、（ｄ）は（ａ）のＣ−Ｃ線における縦断面図であり、（ｅ）は（ａ）のＤ−Ｄ線における縦断面図である。
図９（ｂ）〜（ｅ）に示すように、光学フィルタ２０５の画像センサ２０６側の面には、フィルタ基板２２１上に偏光フィルタ層２２２と、偏光フィルタ層２２２を覆う充填層２２４が形成されている。さらに本実施例においては、充填層２２４上に分光フィルタ層２２３（他の分光フィルタ層）が形成されている。特に、充填層２２４の一部の領域に分光フィルタ２２３ａ（分光領域）が形成されており、分光フィルタ２２３ａが形成されていない他の領域は非分光領域２２３ｂとなっている。

〔各領域の説明〕
図９（ａ）は、本実施例における光学フィルタ２０５を透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示している。なお、図中Ｒ、Ｃ（Ｙ）は画像センサ２０６の配列を示し、Ｐ、Ｓは偏光フィルタ層２２２の配列を示し、Ｙは分光フィルタ２２３ａの配列を示している。
図９（ａ）に示す画素配列では、隣接する縦２つ横２つの計４つの画素（符号ａ〜ｄの４画素）が１つのカラーユニット２２５を構成する。カラーユニット２２５を構成する画像センサ２０６の画素は、１つの赤色画素（Ｒ）と、３つのクリア画素（Ｃ）を含んでいる。更に本実施例では、画像センサ２０６と偏光フィルタ層２２２との間に分光フィルタ層２２３が形成されている。カラーユニット２２５を構成する４つの画素のうち、画像センサ２０６の１つのクリア画素（Ｃ）上に黄色成分（Ｙ）のみを透過する分光フィルタ２２３ａが形成されている。従って、カラーユニット２２５はＲＣＣＹの画素配列から構成されている

また、図８に示す偏光フィルタの画素配列では、（ａ）に示すように、隣接する縦４つ横２つの計８つの画素に対応する領域（符号ａ〜ｈの８画素に対応する領域）が１つの偏光ユニット２２６を構成する。偏光ユニット２２６は、２つのカラーユニット２２５（２２５ａ、２２５ｂ）を覆うように構成されており、一方のカラーユニット２２５ａを構成する各画素に対応した４つのＰ偏光成分透過領域と、他方のカラーユニット２２５ｂを構成する各画素に対応した４つのＳ偏光成分透過領域とを有する。
なお図９（ａ）中、例えばＰ／Ｒは偏光方向としてはＰ偏光成分の光のみ、波長帯域としては赤色波長帯域の光のみが、画像センサ２０６に受光されることを意味する。

〔分光フィルタについて〕
ここで、Ｙ成分のように、一般的なカラーセンサにはない色成分のみを取り出したい場合には、本実施例のように分光フィルタ層を別途設ければよい。例えば、図９（ｃ）に示すような多層膜フィルタを用いることにより、任意の波長帯域の光のみを透過させることが可能となる。
ここで、分光フィルタにより通過させる成分としてＹ成分を例示したが、これはあくまでも一例であり、他の透過波長帯を選択してもよい。また、図９ではカラーユニット２２５に含まれるクリア画素のうちの１つの画素にのみ分光フィルタを形成した例を示したが、３つのクリア画素のうちの２つ、或いは３つ全てに多層膜フィルタで形成された分光フィルタを形成してもよい。多数のクリア画素上に分光フィルタを形成することで、画像センサ２０６から出力される画像の解像度を上げることができる。更に、画像センサの赤色カラーフィルタが形成された領域（赤色画素上）に分光フィルタ層を形成してもよい。カラーフィルタの透過波長帯域を分光フィルタで調整することが可能となる。
また、画像センサ２０６としてモノクロ用画像センサを用いた場合にも、偏光フィルタ層の他に、領域分割された分光フィルタ層を形成することで、任意の波長帯域の光のみを通過させることが可能となる。

〔生成画像〕
光学フィルタ２０５のパタンレイアウトとして図９（ａ）のような構成を用いることにより、赤色光のＰ偏光成分画像（Ｐ／Ｒ）、クリア光のＰ偏光成分画像（Ｐ／Ｃ）、黄色光のＰ偏光成分画像（Ｐ／Ｙ）、赤色光のＳ偏光成分画像（Ｓ／Ｒ）、クリア光のＳ偏光成分画像（Ｓ／Ｃ）、黄色光のＳ偏光成分画像（Ｓ／Ｙ）、の６種類の画像が生成できる。
また後述するように、たとえば（Ｐ−Ｓ）／（Ｐ＋Ｓ）を差分画像として、赤色光の偏光差分画像、クリア光の偏光差分画像、黄色光の偏光差分画像が形成できる。なお、偏光差分画像の形成にあたっては、隣接する画素領域の情報が不足するが、ここは一般的に知られる画像補間技術を用いればよい。

〔クリア画素が受光する波長帯域について〕
なお、フィルタ領域分割パタンの実施例を説明するにあたり、画像センサ２０６のうち分光フィルタが形成されていないクリア画素においては、クリア光の画像（Ｐ／Ｃ又はＳ／Ｃ）が検出されるものとして説明した。しかし、画像センサ２０６にて受光される全ての光は、光学フィルタ２０５の撮像レンズ２０４側の面２０５ａ側（図５（ａ）参照）に形成された分光フィルタ層２２０を通過したものであるから、実際には、分光フィルタ層２２０の透過波長範囲に限定された光のみが画像センサ２０６のフォトダイオード２０６Ａにて検出されることになる。

〔生成画像の用途〕
上記偏光成分画像、及び偏光差分画像の使用用途について説明する。
赤色光のＰ偏光成分画像は、例えばテールランプの識別に使用することができる。この赤色画像ではＳ偏光成分をカットしているため、路面に反射した赤色光や、自車両１００（図１参照）内のダッシュボードなどからの不要反射光（映りこみ光）等のように、Ｓ偏光成分の強い赤色光による外乱要因を抑制できる。従って、検出対象とするテールランプ（被検物）の認識率が向上する。
赤色光や黄色光のＰ偏光成分画像は、例えば標識の識別に使用することができる。

また、クリア光のＰ偏光成分画像は、例えば、白線や対向車のヘッドランプの検出に使用することができる。この画像ではＳ偏光成分をカットしているため、路面に反射したヘッドランプや街灯、或いは自車両１００内のダッシュボードなどからの不要反射光（映りこみ光）等のように、Ｓ偏光成分の強い光による外乱要因を抑制でき、白線やヘッドランプの認識率が向上する。特に雨路においては、路面を覆った水面からの反射光はＳ偏光成分が多いことが一般に知られている。このＳ偏光成分を抑制することで、水面下の白線部分を適切に検出することが可能となる。
同様に、黄色光のＰ偏光成分画像は、例えば黄色線の検出に使用することができる。
Ｐ偏光成分画像、Ｓ偏光成分画像の差分画像は、例えば後述する雨路の白線認識に使用することができる。

〔偏光フィルタのパタンに関して〕
本実施例における偏光フィルタのパタン配列では、Ｐ偏光成分透過領域とＳ偏光成分透過領域が、夫々撮像領域の横方向（図９（ａ）中、左右方向）にのびるように形成されている。すなわち、撮像領域の水平方向に縞方向を有するストライプパタン状に配置されている。このように横方向に縞方向を有することにより、偏光画像に関して横方向に使用できる画素数を増大させることができる。結果として、Ｐ偏光画像、Ｓ偏光画像、又はＰ偏光画像とＳ偏光画像の差分画像は、横方向に解像度を有することになる。
ここで、白線や路面エッジは主として車両の進行方向に伸びる線であり、連続する斜めの線として撮像される。仮に、走行中の車両１００が白線等に接近した場合、車両１００が接近した側の白線等は徐々に立ち上がり縦方向（図７（ａ）中、上下方向）に伸びる画像として撮像される。従って、白線検出や路面領域の検出を利用し、白線によって区画されている車線領域から車両１００が外れそうになる場合等、効果的に走行支援制御を行うためには、撮像領域の横方向の解像度を高くしておくことが望ましい。

〔フィルタ部構成：各層詳細〕
光学フィルタ２０５のうち、画像センサ２０６側の面２０５ｂ（図５（ａ）参照）に形成された各層の詳細について、図９（ｂ）〜（ｅ）を参照しながら説明する。なお、図７に示した各層の構成に関し、分光フィルタ層２２３以外は図９と同様である。
図示するように、光学フィルタ２０５の画像センサ２０６側の面２０５ｂには、フィルタ基板２２１上に偏光フィルタ層２２２、充填層２２４、分光フィルタ層２２３が順次積層されている。以下、各層の構成について夫々説明する。

〔フィルタ基板〕
フィルタ基板２２１は、使用帯域の光（本実施形態では可視光域）に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）が用いられている。

〔偏光フィルタ層〕
〔ワイヤグリッド偏光子〕
偏光フィルタ層２２２は、ワイヤグリッド偏光子から構成することができる。図１０はワイヤグリッドの断面構造を示す写真である。
ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで並行に配置した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド構造の偏光子は、一般に金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。

〔ワイヤグリッド偏光子の効果〕
偏光フィルタ層２２２としてワイヤグリッド偏光子を採用した場合、以下のような効果を得られる。
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、フィルタ基板２２１上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向すなわち偏光方向（透過偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向すなわち偏光方向を異ならせた偏光フィルタ層２２２を作成することができる。
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。

〔無機材料充填層（ＳＯＧ層）〕
〔充填層の構成〕
偏光フィルタ層２２２の積層方向上面を平坦化するために、充填層２２４が形成される（図９（ｂ）参照）。充填層２２４を構成する充填材は、偏光フィルタ層２２２の金属ワイヤ間の凹部（金属ワイヤ間）に充填される。
充填材としては、フィルタ基板２２１よりも屈折率が低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施形態における充填層２２４は、偏光フィルタ層２２２の金属ワイヤ部分の積層方向上面（凸部分）も覆うように形成される。

〔充填層材料〕
充填層２２４の具体的な材料としては、偏光フィルタ層２２２の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ₂）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ₂Ｏ₃）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。フィルタ基板２２１の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。

〔充填層形成方法〕
充填層２２４の形成には、ＳＯＧ法（Ｓpin Ｏn Ｇlass法：無機系塗布膜生成法）を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）₄）をアルコールに溶かした溶剤を、フィルタ基板２２１上に形成された偏光フィルタ層２２２上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。

〔充填層の効果〕
偏光フィルタ層２２２は、サブ波長サイズのワイヤグリッド構造であり、充填層２２４上に形成される分光フィルタ２２３ａに比べて機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、画像センサ２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と画像センサ２０６とが接触する可能性がある。本実施形態では、偏光フィルタ層２２２の積層方向上面、すなわち画像センサ２０６側の面が充填層２２４によって覆われているので、画像センサ２０６と接触した際にワイヤグリッド構造が損傷する事態が抑制される。充填層２２４の上に積層される分光フィルタ２２３ａについては充填層２２４のような保護層を設けていない。これは、本発明者らの実験によれば、画像センサ２０６に分光フィルタ２２３ａが接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。
また、本実施形態では、充填材を偏光フィルタ層２２２のワイヤグリッド構造における金属ワイヤ間の凹部へ充填しているため、その凹部への異物進入を防止することができる。

また、偏光フィルタ層２２２の金属ワイヤ（凸部）の高さは一般的に使用波長の半分以下と低い一方、分光フィルタ２２３ａの高さは、使用波長と同等から数倍程度の高さとなり、且つ厚みを増すほど遮断波長での透過率特性を急峻に出来る。また、充填層２２４は、その厚みが増すほど、その上面の平坦性を確保することが困難になり、充填部分の均質性が損なわれる等の問題があるため、充填層２２４を厚くするにも限度がある。本実施例では、偏光フィルタ層２２２を充填層２２４で覆った後に分光フィルタ２２３ａを形成しているため、充填層２２４を安定的に形成できる。また充填層２２４の上面に形成する分光フィルタ２２３ａの特性も最適化することができる。

〔充填層形成による課題とその対策〕
図１１は、ワイヤグリッド構造（ＷＧ）の偏光フィルタ層と、ワイヤグリッド構造に充填層を形成した場合（ＳＯＧ埋め込み）の、光の透過率を示したグラフ図である。
充填層２２４は、以上説明してきたような効果を有するが、本発明者らの実験によれば、図１１に示すように、短波長側の透過率、特に消光させたいＴＥ光の透過率を増加させるという特徴を有していることがわかった。これは、ワイヤグリッド構造の凹部内が空気である場合に比べ、充填材を充填した場合では凸部のアルミ面に対して屈折率差がとれないためである。ＴＥ光とＴＭ光の透過率比は２倍以上あることが望ましいが、波長４３０ｎｍ以下では透過率比が２倍以下となっている。

そこで、本実施形態においては、特に撮像レンズ２０４側の光学フィルタ２０５の面２０５ａ側に分光フィルタ層２２０を形成することにより、４３０ｎｍ以下の波長がカットされた光を偏光フィルタ層２２２に入射させるようにしている（図５（ａ）、（ｂ）参照）。このように、事前に透過波長帯域を制限することにより、画像中のコントラスト低下を抑制している。分光フィルタ層２２０として具体的には、ワイヤグリッド構造の溝周期の２倍以上、より望ましくは２．５倍以上の波長成分のみを透過するような分光フィルタ層２２０を形成してやることが望ましい。
なお、前述のとおり光学フィルタ２０５の両面にフィルタ層（分光フィルタ層２２０及び偏光フィルタ層２２２）を形成することで、光学フィルタ２０５の反りを抑制する等の効果を得られる。

〔分光フィルタ構成〕
〔分光フィルタの膜構成〕
図９に示した分光フィルタ２２３ａは、多層膜構造のバンドパスフィルタとすることができる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことをいう。このような多層膜構造によれば、光の干渉を利用することで分光透過率を自由に設定でき、また、薄膜を多数層重ねることで、特定波長に対して１００％近い反射率を得ることも可能である。
図１２は、分光フィルタの透過率特性を示すグラフ図である。例えば、黄色成分（Ｙ）のみを透過する多層膜構造としては、図１２に示すような５３０〜５６０ｎｍの波長範囲の光のみを透過するバンドパスフィルタであってもよい。図１２に示すバンドパスフィルタを用いることで赤色よりも長波長側の近赤外域と赤色領域の識別が可能となる。
多層膜構造のバンドパスフィルタとしては例えば、積層順に「基板／（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｐ（０．１２５Ｌ０．５Ｈ０．１２５Ｌ）ｑ（０．１２５Ｌ０．５Ｍ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得ることができる。
ここでいう「基板」は、充填層２２４を意味する。

また、「０．１２５Ｌ」は、低屈折率材料の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、したがって「０．１２５Ｌ」の膜は１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。同様に、「０．５Ｍ」は、中屈折率材料の膜厚標記方法でｎｄ／λを１Ｍとしたものであり、したがって「０．５Ｍ」の膜は１／２波長の光路長となるような膜厚をもつ中屈折率材料の膜であることを意味する。さらに、「０．５Ｈ」は、高屈折率材料の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、したがって「０．５Ｈ」の膜は１／２波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「ｐ」、「ｑ」、「ｒ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」、「ｑ」、「ｒ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは画像センサ２０６との密着接合のための樹脂や接着剤を意図するものである。
なお、多層膜形成用の高屈折率材料としては二酸化チタン（ＴｉＯ_２）、低屈折率材料としては二酸化珪素（ＳｉＯ_２）などを使用すれば、耐候性の高い分光フィルタ２２３ａを実現できる。また、中屈折率材料としては、窒化ケイ素（ＳｉＮ）や、シリコン酸窒化物（ＳｉＮｘＯｙ）等を用いることができる。

〔領域分割フィルタの作製方法〕
本実施形態の領域分割型の分光フィルタ層２２３の作製方法の一例について説明する。まず、偏光フィルタ層２２２上に形成された充填層２２４上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、凹凸断面構造を形成する。具体的には、非分光領域２２３ｂに対応する箇所について多層膜構造の一部を除去して凹部を形成する。多層膜構造の除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパタンとは逆のパタンを、金属、フォトレジストなどで、事前に充填層２２４上に形成しておき、その上に多層膜（目的とする薄膜層）を形成してから、非分光領域２２３ｂに対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。

〔多層膜を用いた分光フィルタ層の効果〕
本実施例では、分光フィルタ層２２３として多層膜構造を採用しているので、分光輝度特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光輝度特性のコントロールが困難である。本実施形態では、分光フィルタ層２２３として多層膜構造を採用しているので、例えば路面の黄色線や、テールランプの波長に最適化された分光フィルタ層２２３を形成することが可能となる。

〔アプリケーション実施例１ 分光情報を利用した配光制御〕
以下、上記実施形態の撮像装置を用いたアプリケーションの実施例を説明する。アプリケーションの実施例１は、図２に示す撮像装置２００で撮像された撮像画像データを解析して、他車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両１００のヘッドランプ１０４（図１参照）の強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。
なお、以下の説明では、光学フィルタ２０５の画像センサ２０６側の面２０５ｂとして上記構成例２（図９）のものを用いる場合について説明する。

〔使用する画像情報〕
本アプリケーション実施例では、撮像ユニット１０１から取得することができる情報のうち、撮像領域内の各地点（光源体）から発せられる光の強さ（明るさ情報）、ヘッドランプやテールランプなどの光源体（他車両）と自車両との距離（距離情報）、各光源体から発せられる光の赤色成分と白色成分との比較による分光情報、白色成分のＳ偏光成分とＰ偏光成分との比較による偏光情報、Ｓ偏光成分がカットされた白色成分のＰ偏光成分（Ｐ／Ｃ）情報、Ｓ偏光成分がカットされた赤色成分のＰ偏光成分（Ｐ／Ｒ）情報を用いる。なお、白色成分については、クリア画素からの出力（Ｐ／Ｃ又はＳ／Ｃ）を利用する。

〔明るさ情報〕
明るさ情報について説明する。夜間に、先行車両と対向車両とが、自車両から同じ距離に存在する場合、撮像装置２００によってそれらの先行車両及び対向車両を撮像すると、撮像画像データ上では対向車両のヘッドランプが最も明るく映し出され、先行車両のテールランプはそれよりも暗く映し出される。
また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。ここでリフレクタとは、走行領域の路端部などに設置された反射板等であり、自車両のヘッドランプ光を照射することにより、反射してドライバに走行可能領域を示すものである。

一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、いずれも距離が遠くなるにつれて、それを受光する画像センサ２０６上ではだんだん暗く観測される。
これは、ヘッドランプなどの光源が、自車両１００から比較的近い距離にある場合には、その光源からの光が、画像センサ２０６の複数のフォトダイオード２０６Ａ間にまたがって撮影されるため、輝度はある一定値を示すが、光源が遠くなると、画像センサ２０６の単一のフォトダイオード２０６Ａの内部にだけ映るようになるためである。このような状態になると、距離が遠くなるにつれて、画像センサ２０６のフォトダイオード２０６Ａに占める光源の割合が低くなるので、光源による輝度が低下する。
よって、撮像画像データから得られる明るさ（輝度情報）を用いることで ２種類の検出対象物（ヘッドランプとテールランプ）及びリフレクタの一次的な識別が可能である。

〔距離情報〕
距離情報について説明する。ヘッドランプやテールランプは、一般的に左右一対のペアランプの構成であるため、この特徴を利用して、自車両１００からヘッドランプ又はテールランプまでの距離（すなわち自車両１００と他車両との距離）を求めることが可能である。
ペアとなる左右一対のランプは、撮像装置２００が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さ（面積）はほぼ同じで、且つ、当該ランプ画像領域の形状もほぼ同じであるという特徴を有する。よって、これらの特徴を満たすランプ画像領域同士をペアランプであると識別できる。また、ペアとなるランプ画像領域を有さない単一のランプ画像領域は、単一ランプとして認識される。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。

このような方法でペアランプを識別できた場合、そのペアランプを構成するヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像装置２００における撮像レンズ２０４の焦点距離ｆは既知であるため、撮像装置２００の画像センサ２０６上における左右ランプにそれぞれ対応した２つのランプ画像領域間の距離ｗ１を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離ｘは、単純な比例計算（ｘ＝ｆ×ｗ０／ｗ１）により求めることができる。
以上のように、撮像画像データ上のペアランプを検出することにより、他車両のヘッドランプやテールランプを識別することができる。さらに、識別されたペアランプ情報を利用して自車両から当該ペアランプが搭載された他車両までの距離を求めることができる。

〔分光情報〕
分光情報について説明する。本実施形態では、上述したとおり、撮像装置で２００撮像した撮像画像データから、赤色光（Ｐ偏光成分）Ｐ／Ｒを受光する画像センサ２０６上の撮像画素ａ等に対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した赤色画像を生成することができる。よって、赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することが可能である。
また、撮像装置２００で撮像した撮像画像データから、白色光の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ、ｃ等に対応した画素データのみを抽出することで、撮像領域内のモノクロ輝度画像（鉛直偏光成分）を生成することができる。よって、赤色画像上の画像領域と、この画像領域に対応したモノクロ輝度画像上の画像領域との間の輝度比率（赤色輝度比率）を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体（光源体）からの光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。

〔白色成分のＳ偏光成分とＰ偏光成分の比較による偏光情報〕
偏光情報について説明する。本実施形態では、上述したとおり、撮像装置２００で撮像した撮像画像データから、白色光のＰ偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ、ｃ等に対応した画素データと、白色光のＳ偏光成分Ｓ／Ｃとを受光する画像センサ２０６上の撮像画素ｆ、ｇ等に対応した画素データとを抽出し、画像画素ごとに、これらの画像データ間の画素値（輝度）を比較した比較画像を得ることができる。具体的には、例えば、白色光のＰ偏光成分Ｐと白色光のＳ偏光成分Ｓとの差分値（Ｓ−Ｐ）を画素値とした差分画像を、比較画像として得ることができる。このような比較画像によれば、ヘッドランプから撮像装置２００へ直接入射する直接光の画像領域（ヘッドランプ画像領域）と、ヘッドランプから雨路の水面で反射してから撮像装置２００へ入射する間接光の画像領域とのコントラストを大きくとることができ、ヘッドランプの識別精度が向上する。

特に、比較画像としては、白色光のＰ偏光成分と白色光のＳ偏光成分との比率（Ｓ／Ｐ）を画素値とした比率画像や、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を画素値とした差分偏光度画像などが好適に使用できる。
一般に、水面などの水平な鏡面で反射した光は、Ｓ偏光成分が常に強くなることが知られており、とくにＳ偏光成分とＰ偏光成分との比率（Ｓ／Ｐ）や差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとった場合、その比率や差分偏光度は特定角度（ブリュースター角度）において最大となることが知られている。雨路では、散乱面であるアスファルト面に水が張られて鏡面に近い状態となるため、路面からのヘッドランプ反射光はＳ偏光成分の方が強くなる。よって、路面からのヘッドランプ反射光の画像領域は、比率画像や差分偏光度画像においては、その画素値（輝度）が大きいものとなる。一方、ヘッドランプからの直接光は基本的には無偏光なので、比率画像や差分偏光度画像においては、その画素値（輝度）が小さいものとなる。この違いにより、ヘッドランプからの直接光と同じ程度の光量をもつ雨路面からのヘッドランプ反射光を適切に除外でき、ヘッドランプからの直接光をこのようなヘッドランプ反射光と区別して識別することができる。

図１３は、撮像装置２００を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出したときのヒストグラムである。縦軸は、頻度を示しており、ここでは１に規格化してある。横軸は、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとったものである。この図からわかるように、ヘッドランプの雨路面で反射光は、ヘッドランプの直接光と比較して、Ｓ偏光成分が相対的に大きい側（図中右側）に分布がシフトしていることがわかる。

図１４は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置２００で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。
本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値（輝度値）あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。

また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述した水平偏光成分Ｓの赤色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述した水平偏光成分の白色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。

〔車両検出処理フロー〕
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図１５は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置２００が撮像した画像データに対して画像処理を施し、検出対象物（先行車両のテールランプ及び対向車両のヘッドランプ）であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
まず、ステップＳ１では、撮像装置２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。

〔高輝度画像抽出処理〕
ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のヘッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
高輝度画像領域抽出処理では、まず、ステップＳ３１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。
次に、ステップＳ３２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。

〔距離検出処理〕
上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
まず、ペアランプ距離算出処理のために、ステップＳ４１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。
ペアランプが作成された場合には、ステップＳ４２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像装置２００における焦点距離ｆは既知であるため、撮像装置２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。

〔ランプ種類識別処理〕
ステップＳ５では、Ｐ偏光成分の赤色画像とＰ偏光成分の白色画像との比率（赤色輝度比率）を分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。
まずステップＳ５１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａに対応した画素データと画像センサ２０６上の撮像画素ｂ、ｃに対応した画素データとの比率を画素値とした赤色比画像を作成する。
そして、ステップＳ５２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。

〔照り返し識別処理〕
ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。
まずステップＳ６１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。

そして、ステップＳ６２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバ）がワイパを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。

〔ヘッドランプ制御へのフィードバック〕
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりヘッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。

〔アプリケーション実施例２ 偏光情報を利用した白線検出〕
アプリケーションの実施例２は、図２に示す撮像装置２００で撮像された撮像画像データを解析し、自車両が走行可能領域から逸脱するのを防止するために、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。

以下、光学フィルタ２０５の面２０５ｂ側のフィルタ領域分割パタンとして、フィルタ領域分割パタンの実施例２（図９）を搭載した場合について説明する。
〔白線エッジ検出１〕
本実施形態における白線検出処理では、撮像装置２００から取得することができる情報のうち、白色成分のＰ偏光成分の情報を用いる。なお、この白色成分のＰ偏光成分の他、赤色光のＰ偏光成分を含む撮像画像データをＰ偏光成分情報として利用しても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。
多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分のＰ偏光成分の画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として検出することができる。特に、本実施形態では、使用する白色成分のＰ偏光成分の画像（又は使用する白色成分及び赤色光のＰ偏光成分の画像）は、Ｓ偏光成分がカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。

〔白線エッジ検出２〕
また、本実施形態における他の白線検出処理において、撮像装置２００から取得することができる情報のうち、白色成分のＳ偏光成分とＰ偏光成分との比較による偏光情報、例えば、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いてもよい。
白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光のＰ偏光成分とＳ偏光成分とはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。

図１６（ａ）及び（ｂ）は、雨天時において同じ撮像領域を撮像したモノクロ輝度画像（非偏光）と差分偏光度画像とを示す画像例である。
この画像例は、雨天時に撮影したものであるため、撮像領域が比較的暗く、また、路面は湿潤状態となっている。そのため、図１６（ａ）に示すモノクロ輝度画像では、白線と路面とのコントラストが小さい。これに対し、図１６（ｂ）に示す差分偏光度画像では、白線と路面とのコントラストが十分に大きい。よって、モノクロ輝度画像では白線を識別することが困難な状況下であっても、差分偏光度画像を用いれば白線を高精度に識別することが可能である。

〔アプリケーション実施例３〕
アプリケーションの実施例３は、図２に示す撮像装置２００で撮像された撮像画像データを解析して、影と重なった障害物を検出する処理を行うものである。図１７（ａ）及び（ｂ）は、同じ撮像領域を撮像したモノクロ輝度画像（非偏光）と差分偏光度画像とを示す画像例である。
差分偏光度画像は、モノクロ輝度画像とは異なり光量（輝度）に依存しない画像である。そのため、モノクロ輝度画像では影の中の障害物等が識別しにくくなるのに対して、差分偏光度画像を用いれば影の中の障害物の識別が可能となる。
図１６に示す画像例の左端部分は陰に重なっているため、図１６（ａ）のモノクロ輝度画像では左端部分が暗く写ってしまい、コントラストが小さく、影の中の障害物や白線等が識別困難となっている。
図１６（ｂ）に示す画像は、差分偏光度（（Ｐ−Ｓ）／（Ｐ＋Ｓ））をとった画像である。この差分偏光度画像では、影の中の他車両と路面や街路樹等とのコントラストが十分に大きくなっている。よって、モノクロ輝度画像では識別困難な影の中の障害物等も、差分偏光度画像を用いれば高精度に識別することが可能である。

ここで、差分偏光度を用いることで影の中の障害物等を識別できる理由について説明する。
屈折率が互いに異なる２つの材質の界面に対してある角度（入射角）をもって光が入射するとき、入射面に平行な偏光成分（本実施形態では鉛直偏光成分Ｐ）と、入射面に垂直な偏光成分（本実施形態では水平偏光成分Ｓ）とでは、反射率が異なる。詳しくは、鉛直偏光成分Ｐの反射率は、入射角の増大に伴って、ある角度（ブリュースター角）でゼロまで減少し、その後増加する。一方、水平偏光成分Ｓの反射率は、入射角の増大に伴って単調増加する。このように鉛直偏光成分Ｐと水平偏光成分Ｓとの間では反射特性が異なるので、差分偏光度（（Ｐ−Ｓ）／（Ｐ＋Ｓ））も、入射角や屈折率によって変わってくる。

本実施形態では、反射面の材質の違い、すなわち屈折率の違いによって差分偏光度（（Ｐ−Ｓ）／（Ｐ＋Ｓ））が異なってくることを利用して、差分偏光度をとることにより影の中の物体を識別する。すなわち、路面は一般にアスファルトによって形成されているのに対し、車両の外部は金属やガラス等から形成されている。このような材質の違いがあると、屈折率が異なるため、路面と車両等との間で差分偏光度に違いが生じる。この違いにより、上述したように路面と車両等との境界（エッジ）を抽出することが可能となり、車両等の画像領域の識別が可能となる。
特に差分偏光度（（Ｐ−Ｓ）／（Ｐ＋Ｓ））では、分子の偏光差分（Ｐ−Ｓ）により、路面と障害物との材質の差異や角度の差異が検出できている。また分母を（Ｐ＋Ｓ）と規定することで、偏光差分を規格化することができる。このため、差分偏光度を利用することで光量に依存しない画像を得ることができ、影の中の障害物を識別できる。

〔アプリケーション実施例４〕
図１に示した画像処理システム１の撮像ユニット１０１を構成する撮像装置は、単眼の撮像装置であってもよいが、複眼の撮像装置であってもよい。アプリケーションの実施例４では、図１に示す画像処理システム１の撮像ユニット１０１を構成する撮像装置として、複眼のステレオカメラ（複眼カメラ装置）を搭載した点に特徴がある。図１８は、本実施形態のステレオカメラとこれを搭載した車両の一例を示す図である。（ａ）は、ステレオカメラの１構成例を示す模式図であり、（ｂ）はストレオカメラの車両への取り付け位置を示す模式的側面図であり、（ｃ）は（ｂ）の平面図（上面図）である。
このステレオカメラ１０９は、図２に示す撮像装置２００を２つ（撮像装置２００Ｒ、撮像装置２００Ｌ）有している。一方の撮像装置２００Ｒは車両１００右側に位置し、他方の撮像装置２００Ｌは車両１００左側に位置する。２つの撮像装置２００は、夫々の光軸が平行であり、撮像面及びその水平方向軸が一致する、いわゆる平行等位に配置されている。このようなステレオカメラ１０９では、単眼のカメラと異なり、２つの撮像装置２００間に生ずる視差を利用することができるので、車両１００（自車両）から障害物等までの距離を測定することができる。

ここで、車両１００においてステレオカメラ１０９を使用する場合、各撮像装置２００で得られた同一時点における２つの撮像画像データ中から、互いに左右方向にずれて撮像された同一の物体を認識し、この認識された物体の画像センサ２０６上の撮像位置の違い（視差）を利用することとなる。そのため、撮像された画像データは、横方向の解像度が高いことが望ましい。
本実施形態において「フィルタ領域分割パタンの実施例」に示した偏光フィルタ層２２２の領域分割パタン配列は、Ｐ偏光成分透過領域とＳ偏光成分透過領域が、夫々撮像領域の横方向に縞方向を有するストライプパタン状に形成されている（図７（ａ）、図９（ａ）参照）。このように横方向に縞方向を有することにより、偏光画像に関して横方向に使用できる画素数を増大させることができる。結果として、Ｐ偏光画像、Ｓ偏光画像、或いはＰ偏光画像とＳ偏光画像の差分画像は、夫々横方向に解像度を有することになる。従って、上記分割パタンは、ステレオカメラ１０９を利用する場合に好適の分割パタンであるといえる。

本実施形態のように、偏光画像を取得できる撮像装置２００を複数有するステレオカメラ１０９を用いることで、偏光ステレオ画像（Ｐ偏光画像、Ｓ偏光画像、差分偏光画像）を得ることができる。上記各アプリケーション実施例に示したように、モノクロ輝度画像だけでは検出できないエッジ情報を偏光画像から得ることができる。
例えば、ステレオカメラ１０９の各撮像装置２００から、夫々差分偏光度（（Ｐ−Ｓ）／（Ｐ＋Ｓ））情報を取得して利用する場合について考える。「アプリケーション実施例３」に示したように、差分偏光画像から影の中の障害物を識別するための情報を得ることができる。従って、ステレオカメラ１０９にて得られる偏光ステレオ画像を利用することにより、影の中の障害物までの距離を算出することも可能となる。
このようにして得られた視差情報に基づいて、自車両１００から、影の中に位置する先行車両までの距離が極端に短いと車両走行制御ユニット１０８によって判断された場合、車両走行制御ユニット１０８は、車両１００の運転者へ警告したり、車両１００のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
以上のように、本実施例では、モノクロ輝度画像だけではコントラストが得られないために認識できない種々の物体に関する視差情報を得ることができ、これを活用することができる。

１…画像処理システム、１００…車両、１０１…撮像ユニット、１０２…画像解析ユニット、１０３…ヘッドランプ制御ユニット、１０４…ヘッドランプ、１０５…フロントガラス、１０６…ワイパー制御ユニット、１０７…ワイパー、１０８…車両走行制御ユニット、１０９…ステレオカメラ、２００…撮像装置、２００Ｌ…撮像装置、２００Ｒ…撮像装置、２０４…撮像レンズ、２０５…光学フィルタ、２０５ａ、２０５ｂ…面、２０６…画像センサ、２０６Ａ…フォトダイオード、２０６Ｂ…マイクロレンズ、２０７…センサ基板、２０８…信号処理部、２０９…カラーフィルタ、２２０…分光フィルタ層、２２１…フィルタ基板、２２２…偏光フィルタ層、２２３…分光フィルタ層、２２３ａ…分光フィルタ（分光領域）、２２３ｂ…非分光領域、２２４…充填層、２２５…カラーユニット、２２６…偏光ユニット

特開２００７−８６７２０公報 特開２００９−５５６２４公報

Claims (9)

1. 撮像レンズと、該撮像レンズからの入射光を受光する複数の受光素子が２次元配置された撮像素子と、前記撮像レンズと前記撮像素子との間に配置された光学フィルタと、を備えた撮像装置であって、
   前記光学フィルタは、フィルタ基板と、該フィルタ基板の一方の面に形成されて透過する光の波長を分別する分光フィルタ層と、前記フィルタ基板の他方の面に形成されて、夫々透過偏光軸が異なる複数の偏光成分透過領域を有する偏光フィルタ層と、該偏光フィルタ層を保護する充填層と、を備え、
   前記偏光成分透過領域は、所定方向に延びる金属ワイヤを所定のピッチにて並行に配置したワイヤグリッド構造を有し、
   前記分光フィルタ層は、前記光学フィルタの前記撮像レンズ側に配置され、前記金属ワイヤのピッチの２倍以上の波長成分の光を透過させることを特徴とする撮像装置。
2. 前記撮像素子は、該撮像素子を構成する受光素子のうちの少なくとも一部の前記受光素子を透過する光の波長帯域を制限する分光フィルタを備えていることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子を構成する受光素子のうち、一部の前記受光素子を透過する光の波長帯域を制限する他の分光フィルタ層が、前記充填層上に形成されていることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記偏光成分透過領域は、水平方向の偏光成分のみを透過させる水平偏光成分透過領域と、鉛直方向の偏光成分のみを透過させる鉛直偏光成分透過領域と、を備え、
   前記水平偏光成分透過領域と前記鉛直偏光成分透過領域とが、前記撮像素子の撮像領域の水平方向に縞方向を有するストライプパタン状に配置されていることを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
5. 請求項１乃至４の何れか一項に記載の撮像装置と、
   該撮像装置が撮像した撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う物体検出処理手段と、を備えたことを特徴とする物体検出装置。
6. 前記撮像装置は、車両に搭載されて、該車両の進行方向前方領域を前記撮像領域として撮像する装置であり、
   前記物体検出処理手段は、前記各偏光成分透過領域からの透過光を受光した夫々の前記受光素子からの出力信号から求められる偏光画像情報に基づいて前記撮像領域内に撮像された検出対象物を検出することを特徴とする請求項５に記載の物体検出装置。
7. 前記撮像装置を複数個有する複眼カメラ装置を備えたことを特徴とする請求項５又は６に記載の物体検出装置。
8. 請求項５乃至７の何れか一項に記載の物体検出装置と、該物体検出装置によって検出された検出対象物情報に基づいて、車両の各部の動作を制御する制御ユニットと、を備えたことを特徴とする車両走行支援画像処理システム。
9. 請求項５乃至７の何れか一項に記載の物体検出装置、又は請求項８に記載の車両走行支援システムが搭載されたことを特徴とする車両。

Images