以下、本発明に係る撮像装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両100に搭載された撮像装置で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット101に設けられており、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー(図示せず)付近に設置される。撮像ユニット101の撮像装置で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
図2は、撮像ユニット101の概略構成を示す模式図である。
図3は、撮像ユニット101に設けられる撮像装置200の概略構成を示す説明図である。
撮像ユニット101は、撮像装置200と、光源202と、これらを収容する撮像ケース201とから構成されている。撮像ユニット101は自車両100のフロントガラス105の内壁面側に設置される。撮像装置200は、図3に示すように、撮像レンズ204と、光学フィルタ205と、画像センサ206とから構成されている。光源202は、フロントガラス105に向けて光を照射し、その光がフロントガラス105の外壁面で反射したときにその反射光が撮像装置200へ入射するように配置されている。
本実施形態において、光源202は、フロントガラス105の外壁面に付着した付着物(以下、付着物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。フロントガラス105の外壁面に雨滴203が付着していない場合、光源202から照射された光は、フロントガラス105の外壁面と外気との界面で反射し、その反射光が撮像装置200へ入射する。一方、図2に示すように、フロントガラス105の外壁面に雨滴203が付着している場合、フロントガラス105の外壁面と雨滴203との間における屈折率差は、フロントガラス105の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源202から照射された光は、その界面を透過し、撮像装置200には入射しない。この違いによって、撮像装置200の撮像画像データから、フロントガラス105に付着する雨滴203の検出を行う。
また、本実施形態において、撮像ユニット101は、図2に示すとおり、撮像装置200や光源202を、フロントガラス105とともに撮像ケース201で覆っている。このように撮像ケース201で覆うことにより、フロントガラス105の内壁面が曇るような状況であっても、撮像ユニット101で覆われたフロントガラス105が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット102が誤解析するような事態を抑制でき、画像解析ユニット102の解析結果に基づく各種制御動作を適切に行うことができる。
ただし、フロントガラス105の曇りを撮像装置200の撮像画像データから検出して、例えば自車両100の空調設備を制御する場合には、撮像装置200に対向するフロントガラス105の部分が他の部分と同じ状況となるように、撮像ケース201の一部に空気の流れる通路を形成してもよい。
ここで、本実施形態では、撮像レンズ204の焦点位置は、無限遠又は無限遠とフロントガラス105との間に設定している。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置200の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス105との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高い。
図4は、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図5は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合、図4に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図4に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
これに対し、無限遠に焦点が合っている場合には、図5に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高い。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
撮像ユニット101の光源202には、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源202は、赤外光領域の波長を有する光を照射するものである。
ここで、フロントガラス105で反射した光源202からの赤外波長光を撮像装置200で撮像する際、撮像装置200の画像センサ206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、図6に示すように光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図7に示すように透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を画像センサ206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源202でなくても、光源202からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴203を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
図8は、光学フィルタ205に設けられる前段フィルタ210の正面図である。
図9は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ205は、図3に示したように、前段フィルタ210と後段フィルタ220とを光透過方向に重ね合わせた構造となっている。前段フィルタ210は、図8に示すように、車両検出用画像領域213である撮像画像上部2/3に対応する箇所に配置される赤外光カットフィルタ領域211と、雨滴検出用画像領域214である撮像画像下部1/3に対応する箇所に配置される赤外光透過フィルタ領域212とに、領域分割されている。赤外光透過フィルタ領域212には、図6に示したカットフィルタや図7に示したバンドパスフィルタを用いる。
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図9に示すように、撮像画像下部を雨滴検出用画像領域214とし、残りの撮像画像上部を車両検出用画像領域213とし、これに対応して前段フィルタ210を領域分割するのが好適である。
撮像装置200の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図6に示したカットフィルタや図7に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
なお、本実施形態では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域214とする場合には、光学フィルタ205の前段フィルタ210の上部を図6に示したカットフィルタや図7に示したバンドパスフィルタで構成することになる。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ205の後段フィルタ220に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしている。
ただし、本実施形態の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ205の前段フィルタ210において、車両検出用画像領域213に対応する箇所を赤外光カットフィルタ領域211としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
図10は、本実施形態における撮像装置200の詳細を示す説明図である。
この撮像装置200は、主に、撮像レンズ204と、光学フィルタ205と、2次元配置された画素アレイを有する画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。被写体(検出対象物)を含む撮像領域からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、画像センサ206でその光強度に応じた電気信号に変換される。信号処理部208では、画像センサ206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
図11は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(printed wiring board)に接合されてセンサ基板207が形成されている。
画像センサ206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。光学フィルタ205の後段フィルタ220は、図11に示すように、透明なフィルタ基板221上に偏光フィルタ層222と分光フィルタ層223を順次形成して積層構造としたものである。偏光フィルタ層222と分光フィルタ層223は、いずれも、画像センサ206上における1つのフォトダイオード206Aに対応するように領域分割されている。
光学フィルタ205と画像センサ206との間に空隙がある構成としてもよいが、光学フィルタ205を画像センサ206に密着させる構成とした方が、光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の各領域の境界と画像センサ206上のフォトダイオード206A間の境界とを一致させやすくなる。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
図12は、本実施形態に係る光学フィルタ205の偏光フィルタ層222と分光フィルタ層223の領域分割パターンを示す説明図である。
偏光フィルタ層222と分光フィルタ層223は、それぞれ、第1領域及び第2領域という2種類の領域が、画像センサ206上の1つのフォトダイオード206Aに対応して配置されたものである。これにより、画像センサ206上の各フォトダイオード206Aによって受光される受光量は、受光する光が透過した偏光フィルタ層222と分光フィルタ層223の領域の種類に応じて、偏光情報や分光情報等として取得することができる。
なお、本実施形態では、画像センサ206はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ206をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層222と分光フィルタ層223の各領域の光透過特性を調整してやればよい。
〔光学フィルタの構成例1〕
ここで、本実施形態における光学フィルタ205の一構成例(以下、本構成例を「構成例1」という。)について説明する。なお、以下の光学フィルタ205の説明では、光学フィルタ205の前段フィルタ210については省略し、後段フィルタ220についてのみ説明する。
図13は、本構成例1における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図14(a)は、図13に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図14(b)は、図13に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
本構成例1の光学フィルタ205は、図14(a)及び(b)に示すように、透明なフィルタ基板221の上に偏光フィルタ層222を形成した後、その上に分光フィルタ層223を形成して積層構造としたものである。そして、偏光フィルタ層222は、ワイヤーグリッド構造を有するものであり、その積層方向上面(図14中下側面)は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層223を形成しようとすると、分光フィルタ層223がその凹凸面に沿って形成され、分光フィルタ層223の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ205は、偏光フィルタ層222の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層223を形成している。
充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層222の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。
本構成例1において、偏光フィルタ層222の第1領域は、画像センサ206の撮像画素の縦列(鉛直方向)に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層222の第2領域は、画像センサ206の撮像画素の横列(水平方向)に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層223の第1領域は、偏光フィルタ層222を透過可能な使用波長帯域に含まれる赤色波長帯(特定波長帯)の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層223の第2領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本構成例1においては、図13に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの撮像画素(符号a、b、e、fの4撮像画素)によって撮像画像データの1画像画素が構成される。
図13に示す撮像画素aでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素aは、鉛直偏光成分(図13中符号Pで示す。)の赤色波長帯(図13中符号Rで示す。)の光P/Rを受光することになる。
また、図13に示す撮像画素bでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素bは、鉛直偏光成分Pにおける非分光(図13中符号Cで示す。)の光P/Cを受光することになる。
また、図13に示す撮像画素eでは、光学フィルタ205の偏光フィルタ層222における水平偏光領域(第2領域)と分光フィルタ層223の非分光領域(第2領域)を透過した光が受光される。したがって、撮像画素eは、水平偏光成分(図13中符号Sで示す。)における非分光Cの光S/Cを受光することになる。
図13に示す撮像画素fでは、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域(第1領域)と分光フィルタ層223の赤色分光領域(第1領域)を透過した光が受光される。したがって、撮像画素fは、撮像画素aと同様、鉛直偏光成分Pにおける赤色波長帯Rの光P/Rを受光することになる。
以上の構成により、本構成例1によれば、撮像画素aおよび撮像画素fの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素bの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素eの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本構成例1によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素aと撮像画素fに対応する画像画素についてはこれらの撮像画素a,fで受光した赤色光の鉛直偏光成分Pの情報をそのまま使用し、撮像画素bに対応する画像画素については、例えばその周囲を取り囲む撮像画素a,c,f,jの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素eに対応する画像画素についてはこの撮像画素eで受光した非分光の水平偏光成分Sの情報をそのまま使用し、撮像画素a,b,fに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素eや撮像画素gなどの平均値を使用したり、撮像画素eと同じ値を使用したりしてもよい。
このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射した赤色光や自車両100の室内におけるダッシュボードなどからの赤色光(映りこみ光)等のように水平偏光成分Sの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。
また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Sがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両100の室内におけるダッシュボードなどからの白色光(映りこみ光)等のように水平偏光成分Sの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Sが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。
また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率(差分偏光度)を画素値とした差分偏光度画像などを使用することができる。
なお、本実施形態の光学フィルタ205は、図13に示したように領域分割された偏光フィルタ層222及び分光フィルタ層223を有する後段フィルタ220が、図8に示したように上下2分割された前段フィルタ210よりも画像センサ206側に設けられているが、前段フィルタ210を後段フィルタ220よりも画像センサ206側に設けてもよい。また、図13に示したように領域分割された偏光フィルタ層222及び分光フィルタ層223は、雨滴検出には必ずしも必要ではないため、これらの偏光フィルタ層222及び分光フィルタ層223は、雨滴検出用画像領域214に対応する箇所すなわち前段フィルタ210の赤外光透過フィルタ領域212との対向箇所には設けないように構成してもよい。
また、本構成例1の偏光フィルタ層222は、上述したように、鉛直偏光成分Pのみを選択して透過させる鉛直偏光領域と、水平偏光成分Sのみを選択して透過させる水平偏光領域とに、撮像画素単位で領域分割されている。これにより、鉛直偏光領域を透過した光を受光する撮像画素の画像データに基づいて、水平偏光成分Sがカットされた鉛直偏光成分画像を得ることができる。また、水平偏光領域を透過した光を受光する撮像画素の画像データからは、鉛直偏光成分Pがカットされた水平偏光成分画像を得ることができる。
ここで、フロントガラス105の面が平坦な面であれば、フロントガラス105の面に対して鉛直偏光領域や水平偏光領域の偏光方向(透過軸)を適切に設定することにより、フロントガラス105からの反射による映り込みを適切にカットした鉛直偏光成分画像や水平偏光成分画像を得ることができる。しかしながら、一般に、自動車のフロントガラス105は、空力特性向上のために、前方に向かって下方へ傾斜しているだけでなく、左右方向において中央部から両端部に向けて後方へ大きく湾曲している。そのため、光学フィルタ205の偏光フィルタ層222における鉛直偏光領域や水平偏光領域の偏光方向(透過軸)がどの位置の領域でも一様であると、例えば、撮像画像中央部ではフロントガラス105による映り込みが適切にカットできていても、撮像画像端部ではフロントガラス105による映り込みが適切にカットできないことがある。
図15は、本構成例1における光学フィルタ205の偏光フィルタ層222におけるワイヤーグリッド構造の金属ワイヤーの長手方向を示す説明図である。
本構成例1における偏光フィルタ層222は、鉛直偏光領域の偏光方向(透過軸)が一様ではない。具体的には、図15に示すように、フロントガラス105の湾曲に合わせて、偏光フィルタ層222の水平方向端部へ近い鉛直偏光領域ほど、その透過軸と鉛直方向との角度が大きくなるように、偏光フィルタ層222の鉛直偏光領域が形成されている。すなわち、本構成例1の偏光フィルタ層222は、水平方向端部へ近い鉛直偏光領域ほど、そのワイヤーグリッド構造の金属ワイヤーの長手方向と水平方向との角度が大きくなるように構成されている。このような構成により、本構成例1によれば、湾曲しているフロントガラス105での反射による映り込みを、撮像画像の中央部だけでなく撮像画像の水平方向端部でも、適切にカットすることができる。
なお、偏光フィルタ層222の水平偏光領域の透過軸については、撮像画像全体(フィルタ全域)で一様であってもよいが、互いに直交する偏光方向をもつ2つの偏光画像を比較する指標値(差分偏光度など)を使用する場合には、水平偏光領域の透過軸を同じ画像画素内の鉛直偏光領域の透過軸と直交するように設定してもよい。ただし、この場合、フロントガラス105に対する鉛直偏光領域の透過軸方向の相対角度がオフセットし、水平偏光領域を透過した水平偏光成分Sから得られる水平偏光成分画像に、そのオフセット分の映り込みが現れてしまう。しかしながら、各位置のオフセット値は同等であるので、所定の値を差し引くことにより、この映りこみの影響を受けずに、互いに直交する偏光方向をもつ2つの偏光画像を比較することが可能である。
〔光学フィルタの構成例2〕
次に、本実施形態における光学フィルタ205の他の構成例(以下、本構成例を「構成例2」という。)について説明する。
図16は、本構成例2における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図17(a)は、図16に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図17(b)は、図16に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
上記構成例1では、分光フィルタ層223の第1領域が、赤色波長帯の光のみを選択して透過させる赤色分光領域であったが、本構成例2では、偏光フィルタ層222を透過可能な使用波長帯域に含まれるシアン色波長帯(図16中符号Cyで示す。)の光のみを選択して透過させるシアン分光領域である。その他の構成は上記構成例1と同様である。
本構成例2によれば、撮像画素aおよび撮像画素fの出力信号からシアン光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素bの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素eの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本構成例2によれば、一度の撮像動作により、シアン光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。
本構成例2では、このようにして得られる3種類の撮像画像データにより、上記構成例1の場合と同様に、各種識別対象(テールランプ、ヘッドランプ、白線等)の認識率が向上する。
更に、本構成例2によれば、シアン光の鉛直偏光成分画像と非分光の鉛直偏光成分画像との比較画像を用いることが可能となり、このような比較画像を用いることでテールランプの高精度な識別が可能となる。すなわち、テールランプの光は、シアン分光領域を透過した撮像画素では受光量が少なく、非分光領域を透過した撮像画素では受光量が多い。よって、この違いが反映されるように、シアン光の鉛直偏光成分画像と非分光の鉛直偏光成分画像との比較画像を生成すれば、テールランプとその周囲の背景部分とのコントラストを大きくでき、テールランプの認識率が向上する。
また、本構成例2では、上記構成例1の赤色フィルタを用いた赤色分光領域に代えて、シアン色の光のみを透過させるシアンフィルタを用いたシアン分光領域を用いているので、上記構成例1の場合よりも、先行車両が自車両に近いときのテールランプと対向車両のヘッドランプとの識別能力が高い。上記構成例1のように赤色分光領域を用いた場合、自車両に近い先行車両のテールランプについては、その赤色分光領域を通じた受光量が受光感度が無くなるほど大きくなって飽和する場合がある。そのため、自車両に近い先行車両のテールランプの認識率が低下するおそれがある。これに対し、本構成例2のようにシアン分光領域を用いた場合、自車両に近い先行車両のテールランプについて、そのシアン分光領域を通じた受光量が飽和することなく、自車両に近い先行車両のテールランプの認識率が低下するのを抑制できる。
〔光学フィルタの構成例3〕
次に、本実施形態における光学フィルタ205の更に他の構成例(以下、本構成例を「構成例3」という。)について説明する。
図18は、本構成例3における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図19(a)は、図18に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図19(b)は、図18に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
本構成例3の偏光フィルタ層222及び分光フィルタ層223の領域分割構成は、上記構成例1の場合と同じであるが、本構成例3では、分光フィルタ層223の非分光領域に対応して、受光量を制限するための開口制限部が設けられている。したがって、本構成例3においては、上記構成例1と同様に、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という3種類の撮像画像データを得ることができるが、これらのうち、非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像については、上記構成例1よりも少ない受光量によって生成されたものとなる。
分光フィルタ層223の非分光領域を透過する光の受光量を制限する構成としては、分光フィルタ層223の非分光領域に対応して、図20に示すように、偏光フィルタ層222の撮像画素中央部に円形状のワイヤーグリッド構造を形成し、その周辺部をアルミニウムのベタ膜とする構成が挙げられる。この構成によれば、アルミニウムのベタ膜では遮光されるので、ワイヤーグリッド構造を形成する領域の広狭(開口率)によって、分光フィルタ層223の非分光領域を透過する光の受光量を制限することができる。なお、ワイヤーグリッド構造を形成する領域形状は、図20に示した円形状に限らず、例えば、図21に示すような略四角形状であってもよい。図21に示すように角部を有する形状とする場合、その角部にRを持たせた方がエッチング加工などで形状寸法を出しやすい。
ワイヤーグリッド構造の偏光フィルタ層222は、例えば、フィルタ基板221上にアルミニウム膜を均一に形成した後にエッチング加工等によりアルミニウム膜を部分的に除去してワイヤーグリッド構造を得るという製造方法が一般的である。本構成例3のように、ワイヤーグリッド構造の周辺部にアルミニウムの遮光領域を設けて開口制限を行う場合には、ワイヤーグリッド構造の形成時にその周辺部のアルミニウム膜を残すように加工することで開口制限することができる。よって、偏光フィルタ層222とは別個に開口制限用の加工を行う場合よりも、製造工程を簡略化できる。
もちろん、偏光フィルタ層222とは別個に、図22に示すような開口制限層を設けてもよい。この場合、その開口制限層の撮像画素中央部にはワイヤーグリッド構造が形成されず、そのまま光を透過する開口部となる。
また、開口制限を行う遮光領域は、上述したようなアルミニウム膜等の反射膜に限定されるものではなく、例えば光を吸収する膜で形成してもよい。例えば、図23に示すように、ブラックレジストのベタ膜によって遮光領域を形成したものでもよい。この場合も、開口部は、図23に示した円形状に限らず、例えば、図24に示すような略四角形状であってもよい。図24に示すように角部を有する形状とする場合、その角部にRを持たせた方がエッチング加工などで形状寸法を出しやすい。
また、光を透過する開口部は1つの撮像画素に1つである必要はなく、1つの撮像画素に対して複数の開口部あるいはワイヤーグリッド構造領域を形成してもよい。また、遮光領域も、1つの撮像画素に1つである必要はなく、1つの撮像画素に対して複数の遮光部を形成してもよい。特に、遮光領域は、撮像画素の周辺部に設ける必要はなく、例えば、図25に示すように、ワイヤーグリッド構造の中にアルミニウムのベタ膜を離散的に配置した構成としてもよい。
本構成例3では、上記構成例1と同じ赤色光の鉛直偏光成分画像、上記構成例1と比較して受光量が制限された非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像という3種類の撮像画像データを得ることができる。本構成例3において、赤色光の鉛直偏光成分画像を用いてテールランプを識別した結果から先行車両を検出するとともに、非分光の鉛直偏光成分画像や非分光の水平偏光成分画像を用いてヘッドランプを識別した結果から対向車両を検出する。テールランプやヘッドランプは、通常、水平方向に一定距離だけ離れた2つで1組のものである。よって、先行車両や対向車両の検出に際しては、これを利用して、撮像画像中における2つのテールランプ又は2つのヘッドランプの画像部分が一定距離離れている場合に、その1組のテールランプ又は1組のヘッドランプを先行車両又は対向車両のものとして認識する。このとき、ヘッドランプの光は、テールランプの光よりも光量が大きいので、テールランプの光を適切に受光できる受光感度に設定すると、ヘッドランプの受光量が飽和してしまい、1つのヘッドランプとして認識される画像領域が拡大し、本来は離間して認識される2つのヘッドランプ画像領域が一体の画像領域となってしまい、ヘッドランプの画像領域を適切に認識できず、対向車両の認識率が低下する。逆に、ヘッドランプの光を適切に受光できる受光感度に設定すると、テールランプの受光量が不足して、テールランプの画像領域を適切に認識できず、今度は先行車両の認識率が低下する。
本構成例3によれば、ヘッドランプの識別に用いる非分光の鉛直偏光成分画像及び非分光の水平偏光成分画像は、上述した開口制限により受光量が制限されたものである。よって、受光量が制限されていない赤色光の鉛直偏光成分画像を用いて識別されるテールランプに合わせて受光感度を設定しても、ヘッドランプの受光量が飽和する事態が抑制され、個々のヘッドランプの画像領域を個別に識別できるようになり、対向車両の認識率の低下が抑制される。
なお、例えば受光感度を切り替えて別々に撮像した撮像画像からヘッドランプの識別とテールランプの識別とを行うことにより、ヘッドランプとテールランプの識別を両立させることもできる。しかしながら、この場合には、受光感度を切り替えるなどの制御機構が必要となる上、撮像画像データのフレームレートが半分に落ち込むという不具合がある。これに対し、本構成例3によれば、このような不具合なく、ヘッドランプとテールランプの識別を両立させることができる。
〔光学フィルタの構成例4〕
次に、本実施形態における光学フィルタ205の更に他の構成例(以下、本構成例を「構成例4」という。)について説明する。
図26は、本構成例4における光学フィルタ205を透過して画像センサ206上の各フォトダイオード206Aで受光される受光量に対応した情報(各撮像画素の情報)の内容を示す説明図である。
図27(a)は、図26に示す符号A−Aで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
図27(b)は、図26に示す符号B−Bで切断した光学フィルタ205及び画像センサ206を模式的に表した断面図である。
上記構成例1では、光学フィルタ205に分光フィルタ層223が設けられていたが、本構成例4では、分光フィルタ層223が光学フィルタ205に設けられていない。
また、上記構成例1では、光学フィルタ205の偏光フィルタ層222が、2×2の撮像画素で構成される1画像画素のうち、3つの撮像画素に鉛直偏光領域が対応し、残り1つの撮像画素に水平偏光領域が対応するように、領域分割された構成であった。これに対し、本構成例4では、鉛直偏光領域と水平偏光領域とが水平方向及び垂直方向について撮像画素単位で交互に配置されている。そのため、2×2の撮像画素で構成される1画像画素のうちの2つの撮像画素が鉛直偏光領域に対応し、残り2つの撮像画素が水平偏光領域に対応している。よって、本構成例4によれば、撮像画素a,fの出力信号に基づいて非分光の鉛直偏光成分画像が得られ、撮像画素b,eの出力信号に基づいて非分光の水平偏光成分画像が得られる。
本構成例4では、光学フィルタ205に分光フィルタ層223が設けられていないので、分光情報は得られないが、非分光の鉛直偏光成分画像と水平偏光成分画像とから差分偏光度画像を得ることができる。しかも、上記構成例1で説明したとおり、フロントガラス105の湾曲に合わせて、偏光フィルタ層222の水平方向端部へ近い鉛直偏光領域ほど、その透過軸と鉛直方向との角度が大きくなるように、偏光フィルタ層222の鉛直偏光領域が形成されている。これにより、湾曲しているフロントガラス105での反射による映り込みを、撮像画像の中央部だけでなく撮像画像の水平方向端部でも、適切にカットすることができる。
〔光学フィルタの各部詳細〕
次に、光学フィルタ205における後段フィルタ220の各部詳細について説明する。
フィルタ基板221は、使用帯域(本実施形態では可視光域と赤外域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)が好適に用いることができる。
フィルタ基板221上に形成される偏光フィルタ層222は、図28に示すようなワイヤーグリッド構造で形成された偏光子で構成される。ワイヤーグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤー(導電体線)を特定のピッチで配列した構造である。ワイヤーグリッド構造のワイヤーピッチを、入射光の波長帯に比べて十分に小さいピッチ(例えば1/2以下)とすることで、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
ワイヤーグリッド構造の偏光子は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
本実施形態では、偏光フィルタ層222をワイヤーグリッド構造で形成していることにより、以下のような効果を有する。
ワイヤーグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、フィルタ基板221上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤーグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ206の撮像画素サイズ相当(数μmレベル)で金属ワイヤーの長手方向すなわち偏光方向(偏光軸)を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤーの長手方向すなわち偏光方向(偏光軸)を異ならせた偏光フィルタ層222を作成することができる。
また、ワイヤーグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
偏光フィルタ層222の積層方向上面を平坦化するために用いられる充填材224は、偏光フィルタ層222の金属ワイヤー間の凹部に充填される。この充填材224は、フィルタ基板221よりも屈折率の低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施形態における充填材224は、偏光フィルタ層222の金属ワイヤー部分の積層方向上面も覆うように形成される。
充填材224の具体的な材料としては、偏光フィルタ層222の偏光特性を劣化させないように、その屈折率が空気の屈折率(屈折率=1)に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まる。フィルタ基板221の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)が好適に使用できる。
充填材224の形成方法は、SOG(Spin On Glass)法を好適に用いることができる。具体的には、シラノール(Si(OH)4)をアルコールに溶かした溶剤を、フィルタ基板221上に形成された偏光フィルタ層222上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
偏光フィルタ層222はサブ波長サイズのワイヤーグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本実施形態の光学フィルタ205は、画像センサ206に密着配置することが望まれるため、その製造段階において光学フィルタ205と画像センサ206とが接触する可能性がある。本実施形態では、偏光1フィルタ層222の積層方向上面すなわち画像センサ206側の面が充填材224によって覆われているので、画像センサ206と接触した際にワイヤーグリッド構造が損傷する事態が抑制される。
また、本実施形態のように充填材224を偏光フィルタ層222のワイヤーグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止することができる。
なお、本実施形態では、充填材224の上に積層される分光フィルタ層223については充填材224のような保護層を設けていない。これは、本発明者らの実験によれば、画像センサ206に分光フィルタ層223が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層222の金属ワイヤー(凸部)の高さは使用波長の半分以下と低い一方、分光フィルタ層223の赤色分光領域又はシアン分光領域を形成するフィルタ層部分(凸部)の高さは、使用波長と同等から数倍程度の高さとなる。充填材224の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ205の特性に影響を与えるので、充填材224を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層223を充填材で覆っていない。
本実施形態の分光フィルタ層223における赤色分光領域又はシアン分光領域を形成するフィルタ層部分は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長(例えば赤色以外の波長帯域帯)に対して100%近い反射率を実現することも可能である。本実施形態においては、撮像画像データの使用波長範囲が略可視光波長帯(可視光と赤外光の波長帯)であるため、当該使用波長範囲に感度を有する画像センサ206を選択するとともに、多層膜部分の透過波長範囲を例えば600nm以上に設定し、それ以外の波長帯は反射する図29に示すようなカットフィルタを形成すればよい。
このようなカットフィルタは、光学フィルタ205の積層方向下側から順に、「基板/(0.125L0.25H0.125L)p/媒質A」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材224を意味する。また、「0.125L」は、低屈折率材料(例えばSiO2)の膜厚標記方法でnd/λを1Lとしたものであり、したがって「0.125L」の膜は1/8波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「n」は屈折率であり、「d」は厚みであり、「λ」はカットオフ波長である。同様に、「0.25H」は、高屈折率材料(例えばTiO2)の膜厚標記方法でnd/λを1Hとしたものであり、したがって「0.25H」の膜は1/4波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「p」は、かっこ内に示す膜の組み合わせを繰り返す(積層する)回数を示し、「p」が多いほどリップルなどの影響を抑制できる。また、媒質Aは、空気あるいは画像センサ206との密着接合のための樹脂や接着剤を意図するものである。また、
また、分光フィルタ層223における赤色分光領域又はシアン分光領域を形成するフィルタ層部分としては、透過波長範囲が600〜700nmの範囲である、図30に示すようなフィルタ特性を有するバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板/(0.125L0.5M0.125L)p(0.125L0.5H0.125L)q(0.125L0.5M0.125L)r/媒質A」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン(TiO2)、低屈折率材料として二酸化珪素(SiO2)などを使用すれば、対候性の高い分光フィルタ層223を実現できる。
本実施形態の分光フィルタ層223の作製方法の一例について説明すると、まず、フィルタ基板221及び偏光フィルタ層222上に形成された充填材224の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材224の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
本実施形態では、分光フィルタ層223として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層223として多層膜構造を採用しているので、テールランプの波長に最適化された分光フィルタ層223を形成することが可能となる。
〔ヘッドランプの配光制御〕
以下、本実施形態におけるヘッドランプの配光制御について説明する。
本実施形態におけるヘッドランプの配光制御は、撮像装置200で撮像された撮像画像データを解析して車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
なお、以下の説明では、光学フィルタ205の後段フィルタ220として上記構成例1のものを用いる場合について説明する。
本実施形態のヘッドランプ配光制御では、撮像ユニット101から取得することができる情報のうち、撮像領域内の各地点(光源体)から発せられる光の強さ(明るさ情報)、ヘッドランプやテールランプなどの光源体(他車両)と自車両との距離(距離情報)、各光源体から発せられる光の赤色成分と白色成分(非分光)との比較による分光情報、白色成分の水平偏光成分と鉛直偏光成分との比較による偏光情報、水平偏光成分がカットされた白色成分の鉛直偏光成分情報、水平偏光成分がカットされた赤色成分の鉛直偏光成分情報を用いる。
明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像装置200によってそれらの先行車両及び対向車両を撮像すると、撮像画像データ上では検出対象物の1つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の1つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ206上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ(輝度情報)を用いることで 2種類の検出対象物(ヘッドランプとテールランプ)及びリフレクタの一次的な識別が可能である。
また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ(すなわち他車両)と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像装置200が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。
このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置200における撮像レンズ204の焦点距離fは既知であるため、撮像装置200の画像センサ206上における左右ランプにそれぞれ対応した2つのランプ画像領域間の距離w1を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離xは、単純な比例計算(x=f×w0/w1)により求めることができる。また、このようにして算出される距離xが適正範囲であれば、その算出に用いた2つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。
また、分光情報について説明すると、本実施形態では、上述したとおり、撮像装置200で撮像した撮像画像データから、赤色光(鉛直偏光成分)P/Rを受光する画像センサ206上の撮像画素a,c,f,h等に対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した赤色画像を生成することができる。よって、赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することが可能である。
また、撮像装置200で撮像した撮像画像データから、白色光(非分光)の鉛直偏光成分P/Cを受光する画像センサ206上の撮像画素b,d等に対応した画素データのみを抽出することで、撮像領域内のモノクロ輝度画像(鉛直偏光成分)を生成することができる。よって、赤色画像上の画像領域と、この画像領域に対応したモノクロ輝度画像上の画像領域との間の輝度比率(赤色輝度比率)を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体(光源体)からの光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。
また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像装置200で撮像した撮像画像データから、白色光(非分光)の鉛直偏光成分P/Cを受光する画像センサ206上の撮像画素b,d等に対応した画素データと、白色光(非分光)の水平偏光成分S/Cとを受光する画像センサ206上の撮像画素e,g等に対応した画素データとを抽出し、画像画素ごとに、これらの画像データ間の画素値(輝度)を比較した比較画像を得ることができる。具体的には、例えば、白色光(非分光)の鉛直偏光成分Pと白色光(非分光)の水平偏光成分Sとの差分値(S−P)を画素値とした差分画像を、比較画像として得ることができる。このような比較画像によれば、ヘッドランプから撮像装置200へ直接入射する直接光の画像領域(ヘッドランプ画像領域)と、ヘッドランプから雨路の水面で反射してから撮像装置200へ入射する間接光の画像領域とのコントラストを大きくとることができ、ヘッドランプの識別精度が向上する。
特に、比較画像としては、白色光(非分光)の鉛直偏光成分Pと白色光(非分光)の水平偏光成分Sとの比率(S/P)を画素値とした比率画像や、差分偏光度((S−P)/(S+P))を画素値とした差分偏光度画像などが好適に使用できる。一般に、水面などの水平な鏡面で反射した光は、水平偏光成分が常に強くなることが知られており、とくに水平偏光成分Sと鉛直偏光成分Pとの比率(S/P)や差分偏光度((S−P)/(S+P))をとった場合、その比率や差分偏光度は特定角度(ブリュースター角度)において最大となることが知られている。雨路では、散乱面であるアスファルト面に水が張られて鏡面に近い状態となるため、路面からのヘッドランプ反射光は水平偏光成分Sの方が強くなる。よって、路面からのヘッドランプ反射光の画像領域は、比率画像や差分偏光度画像においては、その画素値(輝度)が大きいものとなる。一方、ヘッドランプからの直接光は基本的には無偏光なので、比率画像や差分偏光度画像においては、その画素値(輝度)が小さいものとなる。この違いにより、ヘッドランプからの直接光と同じ程度の光量をもつ雨路面からのヘッドランプ反射光を適切に除外でき、ヘッドランプからの直接光をこのようなヘッドランプ反射光と区別して識別することができる。
図31は、撮像装置200を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光(照り返し光)とを撮像し、それぞれの差分偏光度((S−P)/(S+P))を算出したときのヒストグラムである。図31中の縦軸は、頻度を示しており、ここでは1に規格化してある。図31中の横軸は、差分偏光度((S−P)/(S+P))をとったものである。図31からわかるように、ヘッドランプの雨路面で反射光は、ヘッドランプの直接光と比較して、水平偏光成分Sが相対的に大きい側(図中右側)に分布がシフトしていることがわかる。
図32は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像装置200で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。
本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値(輝度値)あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。
また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述した水平偏光成分Sの赤色画像の画素値(輝度値)やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述した水平偏光成分の白色画像の画素値(輝度値)やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。
次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図33は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像装置200が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が2種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。
まず、ステップS1では、撮像装置200の画像センサ206によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ206の各撮像画素における輝度を示す信号を含む。次に、ステップS2では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。
ステップS3では、メモリに取り込まれた画像データから検出対象物(先行車両のテールランプ及び対向車両のベッドランプ)であると思われる輝度の高い画像領域(高輝度画像領域)を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。
高輝度画像領域抽出処理では、まず、ステップS31において、画像センサ206上の各撮像画素の輝度値を所定の閾値輝度と比較することにより2値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「1」、そうでない画素に「0」を割り振ることで、2値化画像を作成する。次に、ステップS32において、この2値化画像において、「1」が割り振られた画素が近接している場合には、それらを1つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、1つの高輝度画像領域として抽出される。
上述した高輝度画像領域抽出処理の後に実行されるステップS4では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右1対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。
まず、ペアランプ距離算出処理のために、ステップS41では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像装置200が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップS42のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値w0(例えば1.5m程度)で近似することができる。一方、撮像装置200における焦点距離fは既知であるため、撮像装置200の画像センサ206上の左右ランプ距離w1を算出することにより、ペアランプまでの実際の距離xは、単純な比例計算(x=f・w0/w1)により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。
ステップS5では、鉛直偏光成分Pの赤色画像と鉛直偏光成分Pの白色画像との比率(赤色輝度比率)を分光情報として用い、この分光情報から、ペアランプとされた2つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップS51において、ペアランプとされた高輝度画像領域について、画像センサ206上の撮像画素a,fに対応した画素データと画像センサ206上の撮像画素bに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップS52において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。
続いて、ステップS6では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度((S−P)/(S+P))を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップS61において、テールランプ画像領域について差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度((S−P)/(S+P))を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップS62において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。
なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。また、運転者(ドライバー)がワイパーを稼働している場合にのみ、上述した照り返し識別処理S6を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理S6を実行するようにしてもよい。
以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。
〔路面の乾湿状態の判別処理〕
以下、本実施形態における乾湿情報の判別処理について説明する。
本実施形態では、路面が濡れた状態になっていて自車両が滑りやすい状況になっているかどうかを判断するために、路面の乾湿状態を判別する判別処理を行う。
本実施形態における路面乾湿状態の判別処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分と鉛直偏光成分との比較による偏光情報を用いる。
図34(a)及び(b)は、路面が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図である。
図34(a)に示すように、湿潤状態の路面は、路面の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、湿潤状態の路面における反射光は、次のような偏光特性を示す。すなわち、反射光の水平偏光成分および鉛直偏光成分の反射率をそれぞれRs、Rpとすると、光強度Iの入射光に対する反射光の水平偏光成分Isと鉛直偏光成分Ipは、下記の式(1)及び(2)より算出でき、その入射角依存性は、図35に示すようなものとなる。
Is = Rs×I ・・・(1)
Ip = Rp×I ・・・(2)
図35から分かるように、鏡面における反射光の水平偏光成分Isの反射率Rsは、入射角がブリュースタ角(53.1°)に等しいときにゼロとなり、水平偏光成分Isの反射光強度はゼロとなる。また、鏡面における反射光の鉛直偏光成分Ipの反射率Rpは、入射角の増大に伴って漸増する特性を示すので、鉛直偏光成分Ipの反射光強度も入射角の増大に伴って漸増する。一方、図34(b)に示すように、乾燥状態の路面は、その表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射率Rs,Rpの差は小さくなる。
このような路面からの反射光の偏光特性の違いにより、路面が湿潤状態であるか乾燥状態であるかを判別することが可能である。具体的には、本実施形態では、路面の乾湿状態の判別には、下記の式(3)に示す偏光比Hを用いる。この偏光比Hは、例えば、路面を映し出す画像領域について、白色光(非分光)の鉛直偏光成分Pと白色光(非分光)の水平偏光成分Sとの比率(S/P)を算出し、その平均値等から求めることができる。偏光比Hは、下記の式(3)に示すように入射光強度Iに依存しないパラメータであるため、撮像領域内の輝度変動の影響を受けることなく、安定して路面の乾湿状態判別を行うことができる。
H = Is/Ip = Rs/Rp ・・・(3)
このようにして求まる偏光比Hが所定の閾値を超えている場合には路面の湿潤状態であると判別し、所定の閾値以下である場合には路面の乾燥状態であると判別する。路面が乾燥している場合、水平偏光成分Sと鉛直偏光成分Pはほぼ等しいので、偏光比Hは1前後の値となる。一方、路面が完全に濡れている場合、水平偏光成分Sは鉛直偏光成分Pよりもかなり大きい値をとるので偏光比Hは大きな値となり、また、路面が僅かだけ濡れているような場合、偏光比Hはこれらの中間値となる。
以上のような路面の乾湿状態の判別処理の判別結果は、本実施形態では、自車両100の運転者へ警告や、自車両のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路面が湿潤状態であることが判別された場合、その判別結果は車両走行制御ユニット108に送られ、例えば、自車両100の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、自車両のカーナビゲーションシステムのCRT画面などに路面が滑りやすいことを警告する情報を報知して、運転者に注意を喚起してもよい。
〔路面金属物の検出処理〕
以下、本実施形態における路面金属物の検出処理について説明する。
本実施形態では、自車両100の横滑りなどを防止したり、後述するレーダの誤認識を抑制したりすることを目的に、検出対象物としての路面金属物を検出する処理を行う。ここでいう路面金属物は、路面とほぼ同一平面上に存在する金属製の物体であり、例えば、一般道路上のマンホール蓋や高速道路の金属製繋ぎ部などである。マンホール蓋は、マンホールの開口部に嵌められた金属板であり、強固かつ重量のある鋳鉄製であるのが一般的である。
本実施形態における路面金属物の検出処理では、まず、検出対象物である路面金属物が存在しない路面以外を映し出す画像領域、具体的には撮像画像の上部領域を除外した識別対象領域を限定する。この識別対象領域を限定は必ずしも必要ではないが、処理時間の短縮のために有効である。続いて、識別対象領域について複数の処理ラインを設定する。本実施形態の処理ラインは、図36に示すように、識別対象領域内の横1列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、識別対象領域内の全画素に対して設定される必要はなく、識別対象領域内の適切に選択された一部の画素について設定するようにしてもよい。
本実施形態における路面金属物の検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報を用いる。なお、白色成分の鉛直偏光成分には、赤色光の鉛直偏光成分を含めても良い。本実施形態では、この偏光情報として、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いる。具体的には、撮像ユニット101で撮像された、白色成分(非分光)の水平偏光成分Sの画像データと白色成分(非分光)の鉛直偏光成分Pの画像データとから、その差分偏光度((S−P)/(S+P))を画素値とした差分偏光度画像を生成する。そして、上述した処理ラインに沿って、隣接する2つの画素値(差分偏光度)の差分値を算出し、その差分値が路面金属物エッジ用の閾値以上である場合に、当該2つの隣接画素間をエッジとして特定する。そして、特定されたエッジに係る2つの画素の画素値(差分偏光度)を、予め決められた路面金属物特定用の閾値と比較し、当該閾値以上であれば、そのエッジを路面金属物のエッジであるとして抽出する。
このようなエッジ抽出処理を全処理ラインについて行うことで、路面金属物のエッジによって囲まれた画像領域を路面金属物の画像領域候補として抽出することができる。その後、このようにして抽出した路面金属物の画像領域候補について形状近似認識処理を施す。具体的には、抽出した路面金属物の画像領域候補の形状を、予め記憶されている路面金属物の形状テンプレートと比較する。そして、路面金属物の画像領域候補の形状が路面金属物の形状テンプレートと一致した場合、その画像領域候補が路面金属物の画像領域であると識別する。
この形状近似認識処理では、路面金属物の画像領域候補に係るエッジに対して形状近似認識により近似曲線を取得する。形状を認識する手法としては、最小二乗法やハフ変換やモデル方程式などの手法を用いる。なお、近似曲線を取得する際、信頼性の高い撮像画像の下方部分に位置する画像領域候補に係るエッジほど形状近似の投票値に大きな重みを持たせるようにすることが望ましい。このようにすれば、信頼性の低い撮像画像の上方部分で誤認識された画像領域候補に係るエッジが存在しても、信頼性の高い撮像画像の下方部分で正常に認識された画像領域候補に係るエッジが存在すれば、路面金属物を適切に識別することができる。
また、路面金属物の検出精度を高めるために、次のような処理を付加してもよい。
リアルタイムに路面金属物を検出する場合において、撮像装置200にて所定の時間間隔で連続的に撮像して得られる差分偏光度画像に基づいて路面金属物であると識別された画像領域については、その処理結果を所定のメモリに記憶する。このメモリに記憶される一枚前又は二枚以上前の処理結果を利用し、今回の処理により識別された路面金属物の画像領域が、その画像領域に対応する過去の処理結果でも路面金属物であると識別されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を今回の処理において路面金属物の画像領域を識別する際に利用する。今回の処理結果に係る画像領域に対応する過去の処理結果は、例えば、今回の処理結果に係る画像領域の位置と自車量の進行方向や速度とから、対応する過去の処理結果に係る画像領域の位置を検索して、対応する過去の処理結果を特定する。
以上の説明では、路面金属物のエッジ抽出処理を、処理ラインに沿って実行する場合について説明したが、処理ラインではなく、処理ブロック(縦横それぞれ2画素以上からなるブロック)単位で行ってもよい。この場合、例えば、識別対象領域に対して複数の処理ブロックを設定し、処理ブロックごとに、画素値(差分偏光度)のばらつき度合い(散らばり度合い)を示す標準偏差を算出し、算出した標準偏差が基準偏差閾値以上である場合にその処理ブロック内にエッジが存在すると判定することができる。なお、処理ブロックは、矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば10×10画像画素程度であってよい。なお、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。また、標準偏差に代えて、分散や平均偏差等の統計量が用いられてもよい。
また、路面金属物を検出する際に用いる閾値は、環境の変化に応じて切り替えてもよい。例えば、昼間と夜間などの時間帯に応じて、あるいは、雨天と晴天などの天候に応じて、切り替えることが可能である。これらの切り替えは、時間情報やレインセンサや日照センサなどの情報を用いてもよい。
ここで、差分偏光度を用いることで路面金属物を路面と区別して認識できる理由について説明する。
屈折率が互いに異なる2つの材質の界面に対してある角度(入射角)をもって光が入射するとき、入射面に平行な偏光成分(本実施形態では鉛直偏光成分P)と、入射面に垂直な偏光成分(本実施形態では水平偏光成分S)とでは、反射率が異なる。詳しくは、鉛直偏光成分Pの反射率は、入射角の増大に伴って、ある角度(ブリュースター角)でゼロまで減少し、その後増加する。一方、水平偏光成分Sの反射率は、入射角の増大に伴って単調増加する。このように鉛直偏光成分Pと水平偏光成分Sとの間では反射特性が異なるので、差分偏光度((S−P)/(S+P))も、入射角や屈折率によって変わってくる。
本実施形態では、反射面の材質の違いすなわち屈折率の違いによって差分偏光度((S−P)/(S+P))が異なってくることを利用して、差分偏光度により路面金属物を路面と区別して認識する。すなわち、路面は一般にアスファルトによって形成されているのに対し、路面金属物は金属で形成されている。このような材質の違いがあると、屈折率が異なるため、路面と路面金属物との間で差分偏光度に違いが生じる。この違いにより、上述したように路面と路面金属物との境界(エッジ)を抽出することが可能となり、路面金属物の画像領域の識別が可能となる。そして、形状近似認識処理により、形状テンプレートを用いて路面金属物の種類(マンホール蓋であるのか、金属製繋ぎ部であるのか等)を特定することができる。
図37(a)及び(b)は、同じ撮像領域を撮像したモノクロ輝度画像(非分光・非偏光)と非分光の差分偏光度画像とを示す画像例である。
撮像領域内が暗いため、図37(a)に示すモノクロ輝度画像では、アスファルト面(路面)とマンホール蓋(路面金属物)とのコントラストが小さいことがわかる。これに対し、図37(b)に示す差分偏光度画像では、アスファルト面(路面)とマンホール蓋(路面金属物)とのコントラストが大きい。よって、モノクロ輝度画像ではマンホール蓋を識別することが困難な状況下であっても、差分偏光度画像を用いればマンホール蓋を高精度に識別することが可能である。
以上のような路面金属物の検出処理の結果は、本実施形態では、自車両100の運転者へ警告や、自車両のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路面金属物であることが判別された場合、その判別結果は車両走行制御ユニット108に送られ、例えば、自車両100の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、自車両のカーナビゲーションシステムのCRT画面などに車線逸脱情報を報知して、運転者に注意を喚起することにも利用可能である。
更に、路面金属物の検出処理の結果は、レーダの測距結果と撮像装置200の撮像画像とを併用したセンサフュージョンシステムに利用することができる。具体的に説明すると、路面金属物がレーダの測定結果により先行車両やガードレール等の衝突回避物として誤認識されるおそれがある。撮像装置200の撮像画像により路面金属物を検出した結果によりレーダの測定結果を修正することで、レーダにおける衝突回避物の誤認識を抑制することができる。その結果、例えば、自車両の走行中に路面金属物が衝突回避物としてご認識されて、自動ブレーキシステムが作動して自車両の速度が急激に低下してしまうような事態を回避することができる。
また、路面金属物の検出処理の結果は、カーナビゲーションにおける位置情報として利用することで、自車両の位置特定精度を向上させることができる。具体的に説明すると、路面上のマンホール位置の位置情報をデータベース化しておく。そして、マンホール蓋の検出結果から、自車両から当該マンホール蓋までの距離や方角等を特定して、当該マンホール蓋に対する相対的な自車両の相対位置情報を生成するとともに、当該マンホール蓋に対応するマンホールIDを特定する。その後、特定したマンホールIDに対応するマンホール位置情報をデータベースから読み出し、そのマンホール位置情報とこのマンホールに対する自車両の相対位置情報とから、カーナビゲーションが特定した自車両の位置を補正する。
なお、路面金属物の検出処理を行う際、後述する白線認識処理の結果を利用して白線を除去した差分偏光度画像に対して路面金属物の検出処理を行ってもよい。この場合、白線を含むノイズを適切に除去して、路面金属物の識別精度を高めることができる。
〔立体物の検出処理〕
以下、本実施形態における立体物の検出処理について説明する。
本実施形態では、立体物への衝突を回避することを目的に、検出対象物としての立体物を検出する処理を行う。ここでいう立体物としては、走行路面上を走行する他の車両、走行路面の路端近傍に存在するガードレール、電信柱、街灯、標識、路端の段差部等の路外障害物、走行路面上又は路肩に居る人、動物、自転車など、走行路面とは異なる方向を向いた外面を有するあらゆる立体物が含まれる。
本実施形態における立体物の検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報を用いる。なお、白色成分の鉛直偏光成分には、赤色光の鉛直偏光成分を含めても良い。本実施形態では、この偏光情報として、上記路面金属物の検出処理と同様、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いる。
まず、撮像ユニット101で撮像された、白色成分(非分光)の水平偏光成分Sの画像データと白色成分(非分光)の鉛直偏光成分Pの画像データとから、その差分偏光度((S−P)/(S+P))を画素値とした差分偏光度画像を生成する。そして、上記路面金属物の検出処理と同様、処理ラインを設定する。ただし、ここでの検出対象物である立体物は、撮像領域全域にわたって存在し得るため、図38に示すように、識別対象領域を限定せずに、撮像画像全体について処理ラインを設定する。なお、処理ライン(あるいは処理ブロック)の設定方法については、上記路面金属物の検出処理と同様である。
このようにして処理ラインを設定したら、上述した処理ラインに沿って、隣接する2つの画素値(差分偏光度)の差分値を算出し、その差分値が立体物エッジ用の閾値以上である場合に、当該2つの隣接画素間をエッジとして特定する。そして、特定されたエッジに係る2つの画素の画素値(差分偏光度)を、予め決められた立体物特定用の閾値と比較し、当該閾値以上であれば、そのエッジを立体物のエッジであるとして抽出する。
このようなエッジ抽出処理を全処理ラインについて行うことで、立体物のエッジによって囲まれた画像領域を立体物の画像領域候補として抽出することができる。その後、このようにして抽出した立体物の画像領域候補について形状近似認識処理を施す。具体的には、抽出した立体物の画像領域候補の形状を、予め記憶されている立体物の形状テンプレートと比較する。そして、立体物の画像領域候補の形状が立体物の形状テンプレートと一致した場合、その画像領域候補が立体物の画像領域であると識別する。この形状近似認識処理は、上述した路面金属物の検出処理の場合と同様である。
また、立体物を検出する際に用いる閾値は、環境の変化に応じて切り替えてもよい。例えば、昼間と夜間などの時間帯に応じて、あるいは、雨天と晴天などの天候に応じて、切り替えることが可能である。これらの切り替えは、時間情報やレインセンサや日照センサなどの情報を用いてもよい。
ここで、差分偏光度を用いることで立体物を認識できる理由について説明する。
既に述べたとおり、屈折率が互いに異なる2つの材質の界面に対してある角度(入射角)をもって光が入射するとき、鉛直偏光成分Pと水平偏光成分Sとの間で反射特性が異なるので、差分偏光度((S−P)/(S+P))が入射角や屈折率によって変わってくる。本実施形態では、反射面の材質の違いすなわち屈折率の違いによって差分偏光度((S−P)/(S+P))が異なってくることを利用して、差分偏光度により立体物を路面と区別して認識することができる。すなわち、路面は一般にアスファルトによって形成されているのに対し、撮像領域内に存在する他車両やガードレールなどの立体物は、金属面に塗装が施されたものである。このような材質の違いがあれば、屈折率が異なるため、路面と立体物との間で差分偏光度に違いが生じる。この違いにより、上述したように路面と塗装面を有する他車両やガードレール等の立体物との境界(エッジ)を抽出することが可能となり、その立体物の画像領域の識別が可能となる。
また、路面は略水平で平坦な面であるのに対し、他車両等の立体物は路面とは異なる方向を向いた側面を有する。したがって、路面と立体物の側面とでは、撮像装置200に取り込まれる反射光の入射角が異なるため、その反射光の鉛直偏光成分Pと水平偏光成分Sとが路面と立体物の側面とで違いが出る。特に、立体物の側面が路面に対して略直立した面であると、立体物の側面からの反射光に含まれる鉛直偏光成分Pと水平偏光成分Sとの間の相対関係は、路面からの反射光に含まれる鉛直偏光成分Pと水平偏光成分Sとの間の相対関係を入れ替えたものに近似する。そして、一般に、反射光に含まれる鉛直偏光成分Pと水平偏光成分Sとの相対関係は、入射面に対して平行な偏光成分である鉛直偏光成分Pよりも、入射面に対して垂直な偏光成分である水平偏光成分Sの方が大きいという関係がある。したがって、路面あるいは路面に平行な面からの反射光を撮像装置200で受光した場合には鉛直偏光成分Pよりも水平偏光成分Sの方が強く、路面に対して略直立した立体物側面からの反射光を撮像装置200で受光した場合には水平偏光成分Sよりも鉛直偏光成分Pの方が強い。このような路面と立体物との間の偏光特性の違いにより、撮像装置200で受光した反射光中の鉛直偏光成分Pと水平偏光成分Sとを比較することで、水平偏光成分Sが強ければ路面に平行な面からの反射光であることが把握でき、鉛直偏光成分Pが強ければ路面に垂直な面からの反射光であることが把握できる。その結果、例えば、撮像装置200で受光した反射光中に含まれる鉛直偏光成分Pと水平偏光成分Sとの差分値(あるいは差分偏光度)をとることで、その差分値(あるいは差分偏光度)の正負により、路面に平行な面を有する物体なのか、路面とは異なる方向を向いた外面を有する物体すなわち立体物なのかを把握することが可能である。
以上のような材質や入射角の違いにより、路面と立体物との境界(エッジ)を抽出することが可能となり、その立体物の画像領域の識別が可能となる。そして、形状近似認識処理により、形状テンプレートを用いて立体物の種類(自動車であるのか、ガードレールであるのか等)を特定することができる。
図39(a)及び(b)は、同じ撮像領域を撮像したモノクロ輝度画像(非分光・非偏光)と非分光の差分偏光度画像とを示す画像例である。
撮像領域内が暗いため、図39(a)に示すモノクロ輝度画像では、路面と先行車両(立体物)とのコントラストが小さいことがわかる。これに対し、図39(b)に示す差分偏光度画像では、路面と先行車両(立体物)とのコントラストが大きい。よって、モノクロ輝度画像では先行車両を識別することが困難な状況下であっても、差分偏光度画像を用いれば先行車両を高精度に識別することが可能である。
ここで、上述した材質の違いに伴う差分偏光度の違いを、路面を構成する材料であるアスファルト(路面)と自動車(立体物)の側面を構成する塗料との間の偏光反射特性の違いを評価解析することにより、それらの偏光反射モデルが異なることを確認し、これによりアスファルト路面と自動車との判別が可能であることを確認した。以下、具体的に説明する。
物体で反射した反射光には、いわゆる「てかり」である鏡面反射成分、物体表面の微細な凹凸構造であるマットな反射成分である拡散反射成分、物体内部で散乱して出てきた内部散乱成分が含まれている。反射光の強度は、これら3つの成分の和として表現される。なお、鏡面反射成分は、拡散反射成分の一部という考え方もできる。拡散反射成分と内部散乱成分は、物体を照射する光源がいずれの方向に存在しても観測されるが(すなわち、入射角の依存性が低い。)、鏡面反射成分は、反射光の受光部に対してほぼ正反射方向に光源が存在する場合にのみ観測される入射角依存性の強い成分である。これは、偏光特性に関しても成り立つ。拡散反射成分と内部散乱成分は、上述したように、物体を照射する光源がいずれの方向に存在しても観測されるのであるが、その偏光特性は互いに異なっている。具体的には、拡散反射成分は、物体表面を微小領域に分け、それぞれの領域ではフレネルの反射特性を満足するものと想定できるため、無偏光の光が入射した場合には水平偏光成分Sが鉛直偏光成分Pに比べて大きいという偏光特性がある。これに対し、内部散乱成分は、物体内部で散乱されて出てきた成分であるため、無偏光の光が入射した場合は、物体へ入射した光の偏光成分に影響されにくく、物体内部から外部に出てくる際に鉛直偏光成分Pが強くなるという偏光特性がある。
そして、本実施形態のように、自車両からのフロントビューを撮影する際にその撮影領域内に存在し得る物体(アスファルトやマンホール蓋等)は、そのほとんどが表面に少なからず凹凸がある物体であるため、鏡面反射成分は少ないものと考えることができる。よって、本実施形態では、撮像装置200の撮像領域内に存在する物体からの反射光は、拡散反射成分及び内部散乱成分が支配的であると考えることができる。この結果、反射光中の水平偏光成分S及び鉛直偏光成分Pの強さを比較することにより、水平偏光成分Sが強ければ反射光には拡散反射成分が多く含まれていることが把握でき、鉛直偏光成分Pが強ければ反射光には内部散乱成分が多く含まれていることが把握できる。
図40は、実験室において、被検物に対し、光源位置を変化させ、固定配置されたカメラで水平偏光成分Sの画像と鉛直偏光成分Pの画像を撮影する実験の概要を示す説明図である。
本実験では、実験室内において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラで水平偏光成分Sの画像と鉛直偏光成分Pの画像を撮影したときの差分偏光度の変化を測定した。図503は評価を行った光学系の説明図である。光源はハロゲンランプを使用し、また、カメラにはビジョンカメラを用い、カメラの前段に偏光子を配置して偏光方向を回転選択可能とした。
図41は、本実験結果を示すグラフである。
このグラフは、横軸に入射角(光源位置)をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から10度傾けた状態である。差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。ただし、この実験における差分偏光度は、鉛直偏光成分Pと水平偏光成分Sの合計値に対する、鉛直偏光成分Pから水平偏光成分Sを差し引いた値の比率であるため、本実施形態における差分偏光度とは正負が逆になる。したがって、本実験における差分偏光度は、水平偏光成分Sよりも鉛直偏光成分Pの方が強い場合には正の値をとり、鉛直偏光成分Pよりも水平偏光成分Sの方が強い場合には負の値をとることになる。
図41に示すグラフからわかるように、アスファルト面については、入射角のほぼ全域にわたって、差分偏光度が負の値をとっている。すなわち、鉛直偏光成分Pよりも水平偏光成分Sの方が強いことを示している。これは、アスファルト面からの反射光は拡散反射成分が支配的であるためである。一方、塗装面については、入射角が約60°を超えると差分偏光度が正の値をとる。これは、塗装面からの反射光は、内部散乱成分と拡散反射成分とが混在しているためである。このような違いにより、差分偏光度の違い(偏光特性の違い)によってアスファルト面と塗装面とを区別して認識することが可能である。
以上のような立体物の検出処理の結果は、本実施形態では、自車両100の運転者へ警告や、自車両のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、立体物であることが判別された場合、その判別結果は車両走行制御ユニット108に送られ、例えば、自車両100の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、自車両のカーナビゲーションシステムのCRT画面などに車線逸脱情報を報知して、運転者に注意を喚起することにも利用可能である。
〔路端検出処理〕
以下、本実施形態における路端検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての路端を検出する処理を行う。ここでいう路端としては、車両走行面と歩行者通路との段差部、側溝部、植栽、ガードレール、コンクリートなどで出来た側壁などを含む。
本実施形態における路端検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報を用いる。なお、白色成分の鉛直偏光成分には、赤色光の鉛直偏光成分を含めても良い。本実施形態では、この偏光情報として、上記立体物の検出処理と同様、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いる。
まず、撮像ユニット101で撮像された、白色成分(非分光)の水平偏光成分Sの画像データと白色成分(非分光)の鉛直偏光成分Pの画像データとから、その差分偏光度((S−P)/(S+P))を画素値とした差分偏光度画像を生成する。そして、上記立体物の検出処理と同様、処理ラインを設定する。なお、処理ライン(あるいは処理ブロック)の設定方法については、上記立体物の検出処理と同様である。
このようにして処理ラインを設定したら、上述した処理ラインに沿って、隣接する2つの画素値(差分偏光度)の差分値を算出し、その差分値が路端エッジ用の閾値以上である場合に、当該2つの隣接画素間をエッジとして特定する。そして、特定されたエッジに係る2つの画素の画素値(差分偏光度)を、予め決められた路端特定用の閾値と比較し、当該閾値以上であれば、そのエッジを路端のエッジであるとして抽出する。
このようなエッジ抽出処理を全処理ラインについて行うことで、路端のエッジによって囲まれた画像領域を路端の画像領域候補として抽出することができる。その後、このようにして抽出した路端の画像領域候補について形状近似認識処理を施す。具体的には、抽出した路端の画像領域候補の形状を、予め記憶されている路端の形状テンプレートと比較する。そして、路端の画像領域候補の形状が路端の形状テンプレートと一致した場合、その画像領域候補が路端の画像領域であると識別する。この形状近似認識処理は、上述した立体物の検出処理の場合と同様である。
また、路端を検出する際に用いる閾値は、環境の変化に応じて切り替えてもよい。例えば、昼間と夜間などの時間帯に応じて、あるいは、雨天と晴天などの天候に応じて、切り替えることが可能である。これらの切り替えは、時間情報やレインセンサや日照センサなどの情報を用いてもよい。
差分偏光度を用いることで路端を認識できる理由は、上記立体物の場合と同様である。すなわち、材質や入射角の違いによって差分偏光度が異なってくるので、差分偏光度に基づいて路面と路端との境界(エッジ)を抽出することが可能となる。そして、形状近似認識処理により、形状テンプレートを用いて路端の種類も特定可能である。
図42(a)及び(b)は、同じ撮像領域を撮像したモノクロ輝度画像(非分光・非偏光)と非分光の差分偏光度画像とを示す画像例である。
この画像例は、自車両がトンネル内を走行しているときに撮像したものであり、その撮像領域内が暗い。そのため、図42(a)に示すモノクロ輝度画像では、路面とトンネル側壁(路端)とのコントラストが小さいことがわかる。これに対し、図42(b)に示す差分偏光度画像では、路面とトンネル側壁(路端)とのコントラストが大きい。よって、モノクロ輝度画像ではトンネル側壁を識別することが困難な状況下であっても、差分偏光度画像を用いればトンネル側壁を高精度に識別することが可能である。
ここで、上述した材質の違いに伴う差分偏光度の違いを、路面を構成する材料であるアスファルト(路面)とコンクリート側壁(路端)との間の偏光反射特性の違いを評価解析することにより、それらの偏光反射モデルが異なることを確認し、これによりアスファルト路面とコンクリート側壁との判別が可能であることを確認した。以下、具体的に説明する。
図43は、実験室において、アスファルト面とコンクリート面を被検物として、光源位置を変化させ、固定配置されたカメラで水平偏光成分Sの画像と鉛直偏光成分Pの画像を撮影する実験を行ったときの実験結果を示すグラフである。
なお、本実験では、図40に示した実験装置を用い、かつ、実験条件は上述したアスファルト面及び塗装面の実験を行った場合と同じである。
図43に示すグラフからわかるように、アスファルト面については、既に述べたとおり、入射角のほぼ全域にわたって差分偏光度が負の値をとっており、鉛直偏光成分Pよりも水平偏光成分Sの方が強い。一方、コンクリート面については、上記塗装面に近似した変化を示し、コンクリート面からの反射光には内部散乱成分と拡散反射成分とが混在していることがわかる。このような違いにより、差分偏光度の違い(偏光特性の違い)によってアスファルト面とコンクリート面とを区別して認識することが可能である。
以上のような路端の検出処理の結果は、本実施形態では、自車両100の運転者へ警告や、自車両のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路端の判別結果は車両走行制御ユニット108に送られ、例えば、自車両100の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、自車両のカーナビゲーションシステムのCRT画面などに車線逸脱情報を報知して、運転者に注意を喚起することにも利用可能である。
〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線(区画線)を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。
本実施形態における白線検出処理では、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の鉛直偏光成分Pの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、上記構成例2における光学フィルタ205を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。
本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分(非分光)の鉛直偏光成分Pの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分(非分光)の鉛直偏光成分Pの画像は、水平偏光成分Sがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。
また、本実施形態における白線検出処理において、撮像ユニット101から取得することができる情報のうち、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報、例えば、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Pと水平偏光成分Sとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、図41や図43に示したように散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値(図41や図43に示した実験結果とは正負が逆である。)を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。
図44(a)及び(b)は、雨天時において同じ撮像領域を撮像したモノクロ輝度画像(非分光・非偏光)と非分光の差分偏光度画像とを示す画像例である。
この画像例は、雨天時に撮影したものであるため、撮像領域が比較的暗く、また、路面は湿潤状態となっている。そのため、図44(a)に示すモノクロ輝度画像では、白線と路面とのコントラストが小さい。これに対し、図44(b)に示す差分偏光度画像では、白線と路面とのコントラストが十分に大きい。よって、モノクロ輝度画像では白線を識別することが困難な状況下であっても、差分偏光度画像を用いれば白線を高精度に識別することが可能である。
また、画像例の右側部分の白線は、陰に重なっているため、図44(a)に示すモノクロ輝度画像では、この右側の白線と路面とのコントラストが特に小さい。これに対し、図44(b)に示す差分偏光度画像では、この右側の白線と路面とのコントラストも十分に大きい。よって、モノクロ輝度画像では識別困難な白線についても、差分偏光度画像を用いれば高精度に識別することが可能である。
〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う目的で、検出対象物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。
本実施形態における雨滴検出処理では、撮像ユニット101から取得することができる情報のうち、前段フィルタ210の赤外光透過フィルタ領域212を透過した光を受光する雨滴検出用画像領域214の水平偏光成分Sと鉛直偏光成分Pとの比較による偏光情報を用いる。本実施形態では、この偏光情報として、白色成分(非分光)の水平偏光成分Sと鉛直偏光成分Pの差分偏光度((S−P)/(S+P))を用いる。
上述したように、本実施形態の撮像ユニット101には、光源202が設けられており、フロントガラス105の外壁面に雨滴203が付着していない場合、光源202から照射された光は、フロントガラス105の外壁面と外気との界面で反射し、その反射光が撮像装置200へ入射する。一方、フロントガラス105の外壁面に雨滴203が付着している場合、フロントガラス105の外壁面と雨滴203との間における屈折率差は、フロントガラス105の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源202から照射された光は、その界面を透過し、撮像装置200には入射しない。
図45は、ブリュースタ角での反射光の偏光状態を示す説明図である。
一般に、ガラスなどで平坦面に光が入射するとき、水平偏光成分Sの反射率は入射角に対して単調増加するのに対し、鉛直偏光成分Pの反射率は特定角度(ブリュースタ角θB)でゼロとなり、鉛直偏光成分Pは、図45に示すように反射せずに透過光のみとなる。したがって、光源202が、鉛直偏光成分Pの光のみをブリュースタ角θBの入射角をもって車両室内側からフロントガラス105に向けて照射するように構成することで、フロントガラス105の内壁面(室内側の面)での反射光は発生せず、フロントガラス105の外壁面(車外側の面)に鉛直偏光成分Pの光が照射される。フロントガラス105の内壁面での反射光が存在すると、その反射光が撮像装置200への外乱光となり、雨滴検出率の低減要因となる。
光源202からフロントガラス105へ入射させる光を鉛直偏光成分Pのみとするためには、光源202として例えば発光ダイオード(LED)を用いる場合、その光源202とフロントガラス105との間に、鉛直偏光成分Pのみを透過させる偏光子を配置するのがよい。また、光源202として半導体レーザ(LD)を用いる場合、LDは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Pのみの光がフロントガラス105に入射するようにLDの軸を合わせてもよい。
図46(a)は、フロントガラス105の外壁面に雨滴が付着していないときの、光源202の発光光量に対する撮像装置200の受光量の比率を偏光成分ごとに示したグラフである。
図46(b)は、フロントガラス105の外壁面に雨滴が付着しているときの、光源202の発光光量に対する撮像装置200の受光量の比率を偏光成分ごとに示したグラフである。
これらのグラフにおいて、横軸には光源202からフロントガラスへの入射角をとり、縦軸には光源202の発光光量に対する撮像装置200の受光量の比率をとったものである。符号Isで示すグラフは水平偏光成分Sについてのグラフを示し、符号Ipで示すグラフは鉛直偏光成分Pについてのグラフを示し、符号Iで示すグラフは水平偏光成分Sと鉛直偏光成分Pとの平均値についてのグラフを示している。なお、これらのグラフは、フロントガラス105の屈折率を1.5とし、雨滴の屈折率を1.38として計算したものである。
本実施形態では、上述のとおり、光源202とフロントガラス105との間に偏光子を配置するなどして、フロントガラス105には鉛直偏光成分Pのみが入射されるように構成するが、実際には、完全に鉛直偏光成分Pの光のみがフロントガラス105へ入射するように偏光子の偏光軸を合わせる等の調整は困難である。そのため、通常は、水平偏光成分Sの光もフロントガラス105へ入射することになる。そのため、通常は、水平偏光成分Sの光も撮像装置200で受光されることとなる。
図47(a)は、フロントガラス105の外壁面に雨滴が付着していないときの差分偏光度を示すグラフである。
図47(b)は、フロントガラス105の外壁面に雨滴が付着しているときの差分偏光度を示すグラフである。
これらのグラフも、フロントガラス105の屈折率を1.5とし、雨滴の屈折率を1.38として計算したものである。
図47(a)及び(b)に示すグラフを比較すると、雨滴の有無によって差分偏光度の入射角特性が異なることがわかる。そして、これらのグラフによれば、両者の間で最も差分偏光度の違いが出るのは入射角がブリュースタ角に近い50度付近である。したがって、このような入射角となるように光源202を設置することで、差分偏光度画像に基づく雨滴の検出精度を高めることができる。
図48は、入射角が50度付近となるように配置したときの差分偏光度画像を示す画像例である。
図48の画像例は、暗中にて車両室内より光源202から光をフロントガラス105に向けて照射したときの差分偏光度画像であり、雨滴が付着しているフロントガラスの画像領域と雨滴が付着していないフロントガラスの画像領域とのコントラストが十分に高いことがわかる。よって、差分偏光度画像を用いれば、フロントガラス105に付着した雨滴を高精度に検出することが可能である。
本実施形態の雨滴検出処理では、まず、光源202を点灯し、赤外光透過フィルタ領域212を透過した光に対応する雨滴検出用画像領域214の水平偏光成分Sと鉛直偏光成分Pに基づく差分偏光度((S−P)/(S+P))を画素値とした差分偏光度画像を生成する。そして、その差分偏光度画像に対して、公知であるラプラシアンフィルタを用いてエッジ検出処理を行う。このエッジ検出処理により、雨滴の画像領域候補と雨滴でない画像領域候補との境界を強調した画像を作成することができる。続いて、円形検出処理を実行し、円形として検出された画像領域を雨滴の画像領域として識別する。この円形検出処理では、公知である一般化ハフ変換を行えばよい。
その後、本実施形態では、雨滴の画像領域として識別された領域の個数を計測し、その個数を雨量に変換して雨量を算出する。そして、ワイパー制御ユニット106は、このようにして算出された雨量に基づいて、ワイパー107の駆動制御やウォッシャー液の吐出制御を行う。
上記実施形態の撮像装置200はいわゆる単眼カメラ構成であったが、本変形例の撮像装置は、複眼カメラ構成のステレオカメラである。このステレオカメラが有する2つのカメラ部の構成としては、上記実施形態における撮像装置200と同様の構成を採用できる。
また、上記実施形態の撮像装置200では、鉛直偏光成分Pのみを選択して透過させる鉛直偏光領域と、水平偏光成分Sのみを選択して透過させる水平偏光領域とが、撮像画素単位で領域分割された偏光フィルタ層222を有する光学フィルタ205を用いた例であったが、フロントガラス105での反射による映り込みを防止するだけであれば、次のような光学フィルタであってもよい。
図49は、フロントガラス105での反射による映り込み防止に特化した光学フィルタの偏光フィルタ層におけるワイヤーグリッド構造の金属ワイヤーの長手方向を示す説明図である。
上記構成例1の偏光フィルタ層222は、鉛直偏光成分Pのみを選択して透過させる鉛直偏光領域と、水平偏光成分Sのみを選択して透過させる水平偏光領域とが、撮像画素単位で領域分割されたものであった。これに対し、図49に示す光学フィルタの偏光フィルタ層は、鉛直偏光成分Pのみを選択して透過させる鉛直偏光領域のみで構成され、水平偏光領域が除外されている。
また、図49に示す光学フィルタの偏光フィルタ層における鉛直偏光領域は、上記構成例1と同様、フロントガラス105の湾曲に合わせて、偏光フィルタ層の水平方向端部へ近いほど、その透過軸と鉛直方向との角度が大きくなるように形成されている。すなわち、本例の偏光フィルタ層の鉛直偏光領域も、水平方向端部へ近いほど、そのワイヤーグリッド構造の金属ワイヤーの長手方向と水平方向との角度が大きくなるように構成されている。よって、本構成例1と同様、湾曲しているフロントガラス105での反射による映り込みを、撮像画像の中央部だけでなく撮像画像の水平方向端部でも、適切にカットすることができる。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
湾曲面を有するフロントガラス105等の湾曲面部材に対する相対位置が一定となるように設置され、該湾曲面からの反射光をカットし又は選択的に透過させる鉛直偏光領域等の偏光フィルタ領域を備えた偏光フィルタである光学フィルタ205を介して、撮像領域内に存在する物体からの光を、受光素子206Aが2次元配置された画素アレイで構成された画像センサ206により受光することで、撮像領域内を撮像する撮像装置において、上記偏光フィルタ領域は、透過軸方向が異なる複数のフィルタ領域部分から構成されており、各フィルタ領域部分の透過軸方向は、他のフィルタ領域部分の透過軸方向よりも、当該フィルタ領域部分へ入射してくる上記湾曲面部材の湾曲面上からの反射光をカットし又は選択的に透過させるように設定されている。
これによれば、いずれのフィルタ領域部分においても適切に湾曲面上からの反射光をカットし又は選択的に透過させることができる。
(態様B)
態様Aにおいて、上記複数のフィルタ領域部分は、上記画像センサ上における1つの受光素子又は2以上の受光素子で構成される単位領域で配置されている。
これによれば、より細かい単位で湾曲面に対する透過軸方向が調整されるので、より適切に湾曲面上からの反射光をカットし又は選択的に透過させることができる。
(態様C)
態様A又はBにおいて、上記湾曲面部材は上記偏光フィルタが設置される車両のフロントガラス105等の窓ガラスである。
これによれば、湾曲したフロントガラス105の面での反射による映り込みを抑制した撮像画像を得たり、あるいは、湾曲したフロントガラス105の面での反射による映り込みの画像だけを抽出したりすることができる。
(態様D)
態様A乃至Cのいずれかの態様において、上記偏光フィルタ領域はワイヤーグリッド構造である。
上述したように、ワイヤーグリッド構造は半導体プロセスで作製できるとともに、サブ波長凹凸構造の溝方向を変えることで偏光軸を調整できるため、撮像画素単位(数ミクロンサイズ)で偏光軸の異なる偏光子パターン(フィルタ領域部分)を形成できる。また、ワイヤーグリッド構造は、金属細線で形成されるので、耐熱性・耐光性について信頼性が高い光学フィルタ205を実現できる。なお、ここでいう耐光性とは、紫外線などによる光学特性の劣化に対する耐性を意味する。このように耐熱性、耐光性に優れることで、車載用の撮像装置にも好適に利用できる。
(態様E)
撮像手段が撮像した撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う物体検出処理手段を有する物体検出装置において、上記撮像手段として、態様A乃至Fのいずれかの態様に係る撮像装置200を用いる。
これによれば、偏光フィルタ層222の鉛直偏光領域におけるいずれのフィルタ領域部分においても適切に湾曲面上からの反射光をカットし又は選択的に透過させることができるので、湾曲面での反射による映り込みを抑制した撮像画像を得たり、あるいは、湾曲面での反射による映り込みの画像だけを抽出したりすることができる。
(態様F)
受光素子が2次元配置された画素アレイで構成された画像センサ206を有する撮像装置の該画像センサ206と撮像領域との間で、湾曲面を有するフロントガラス105等の湾曲面部材に対する相対位置が一定となるように設置され、該湾曲面からの反射光をカットし又は選択的に透過させる鉛直偏光領域等の偏光フィルタ領域を備えた偏光フィルタである光学フィルタ205において、上記偏光フィルタ領域は、透過軸方向が異なる複数のフィルタ領域部分から構成されており、各フィルタ領域部分の透過軸方向は、当該フィルタ領域部分へ入射してくる上記湾曲面部材の湾曲面上からの反射光の最大偏光成分の偏光方向に基づいて設定されている。
これによれば、鉛直偏光領域におけるいずれのフィルタ領域部分においても適切に湾曲面上からの反射光をカットし又は選択的に透過させることができる。