以下、本発明に係る撮像ユニット及びそれを備えた車両の実施形態について図面を用いて説明する。各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。なお、本明細書において「平滑面」とは、光が入射した場合に、拡散反射成分に比べ鏡面反射成分が十分大きくなるような表面粗さを有する面を指す。また、「梨地面」とは、光が入射した場合に、鏡面反射成分に比べ拡散反射成分が十分大きくなるような表面粗さを有する面を指す。
(第1の実施形態)
図1は、第1の実施形態に係る撮像ユニット101を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両100に搭載された撮像装置で撮像した、車両100の進行方向前方領域の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
本車載機器制御システムに設けられる撮像装置は、撮像ユニット101に設けられており、走行する車両100の進行方向前方領域を撮像範囲として撮像するものである。
撮像ユニット101の撮像装置で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、撮像装置から送信されてくる撮像画像データを解析し、フロントガラス105に付着する雨滴などの異物などの付着物を検出したり、撮像画像データに車両100の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。なお、以降では、車両100の前方の他車両の位置、方角、距離、並びに、路面上の白線(区画線)等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビーム及びロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、車両100のフロントガラス105に付着した雨滴などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両100が外れている場合等に、車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
撮像ユニット101は、後述するように、撮像レンズ204を有する撮像装置201からなる。このような撮像装置201を車両100内に配置した場合は、図2に示すように、太陽20からの光(光路L0)が、フロントガラス105を通過した後にダッシュボード109で反射し(光路L1)、さらにフロントガラス105の内壁面105aで反射し撮像装置201に向かう(光路L2)。このような光はフレア光として、撮像装置201が本来撮影対象としている車両周辺情報に不要情報として重畳されてしまう。
上述の問題を解決する構成としては、図3に示すように、撮像ユニット101の周囲をカバー(筐体部)210で覆うことにより、ダッシュボード109からの反射光を遮断する構成が挙げられる。カバー210はダッシュボード109からの反射光(光路L1)を遮るように設置されるとともに、撮像レンズ204の画角範囲を遮らないように開口部230が形成されてなる。
カバー210は、防塵の効果を有するとともに、運転者が誤って撮像装置201に触れてしまうことなどを防止する効果も有する。しかしながら、このようなカバー210を設置することによりダッシュボード109からのフレア光を抑制できる一方で、カバー210の内側での反射光がフレア光になってしまうという問題が生じる。
以下、図4を参照しながら、カバー210の内壁面210aで発生するフレア光について説明する。フロントガラス105には様々な入射角度で光が入射してくるが、最も光強度が強いのはフロントガラス105に垂直入射する光である。即ち、フロントガラス105を透過する光は、入射角0度(フロントガラス105の法線に平行)の状態が透過率最大で、入射角が増えるにつれて透過率は減少し、特定の入射角(全反射角)を超えると光はフロントガラス105を透過しなくなる(全反射状態という)。従って、最も排除すべき光は、入射角0度でフロントガラス105に入射する光であることが分かる。
図4に示すように、カバー210の内壁面210aがフロントガラス105に対して角度θ1だけ斜めに傾いた平滑面を有する場合、車両100の外部からフロントガラス105に入射角0度で入射した光のうち、開口部230を通過した光は、カバー210の内壁面210aで反射角θ1で反射され、再びフロントガラス105に向かう。さらに、フロントガラス105に向かった光の一部は、フロントガラス105の内壁面105aで反射角θ2で反射されて撮像レンズ204の画角範囲に入射し、後段の光学フィルタ205を介してセンサ基板207上の撮像素子206で受光されてしまう。
図5は、上述のカバー210内部でのフレア光を抑制するための本実施形態の撮像ユニット101の概略構成を示す模式図である。即ち、撮像ユニット101は、車両100内に固定されるカバー(筺体部)210と、カバー210に収容される撮像レンズ204、光学フィルタ205、撮像素子206、及びセンサ基板207を含む撮像装置と、を備える。
カバー210は、例えば、樹脂成型で形成されたものであるとよい。カバー210の色は、光を吸収しやすい黒色が望ましい。カバー210には撮像レンズ204の画角範囲を光が通過するための開口部230が形成されている。開口部230の周辺部と、フロントガラス105の内壁面105aとは密着されている。
また、カバー210の内壁面210aは平滑面である。なお、フロントガラス105の開口部230に面する部分の法線をカバー210の内壁面210a(平滑面)まで延長した延長線と内壁面210a(平滑面)との交点において、延長線と内壁面210a(平滑面)の法線とは平行である。例えば、開口部230に面するフロントガラス105の面形状が平面の場合には、車両100の外部からフロントガラス105を垂直に透過した光が入射する内壁面210a(平滑面)の領域の面形状は、フロントガラス105に平行な平面となる。なお、フロントガラス105は一般に湾曲形成されているため、カバー210の内壁面210aもフロントガラス105の曲率に応じて湾曲することになる。
このような平滑面の構成により、車両100の外部からフロントガラス105に垂直入射した光は、カバー210の内壁面210aで反射されて同じ光路を逆方向に進み、フロントガラス105を再び透過して車両100の外部に放射される。このため、図4に示したようなカバー210内でのフレア光の発生を抑制することができる。
図6は、本実施形態の撮像ユニット101に設けられる撮像装置201の構成を示す説明図である。なお、図6においては、カバー210の図示を省略している。
撮像装置201は、主に、車両100のフロントガラス105に向けて光を照射する光源202−1、202−2と、2次元配置された複数の画素アレイを有する撮像素子206を含んだセンサ基板207と、の外壁面105bに付着した異物によって反射された光源202−1、202−2からの光、及び、車両100の外部からフロントガラス105を透過した光を、撮像素子206に向けて集光する撮像レンズ204と、撮像レンズ204と撮像素子206との間に配置される光学フィルタ205と、センサ基板207から出力されるアナログ電気信号(撮像素子206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208と、から構成されている。なお、図6は、光源が2つの光源202−1、202−2からなる場合を図示しているが、光源の個数は2つに限定されるものではない。
光源202−1、202−2は、車両100の車高方向に関して撮像レンズ204の上側及び下側に分かれて配置されており、光源202−1、202−2の光軸21、22の方向と撮像レンズ204の光軸23の方向は略平行であるとともに、撮像レンズ204の画角範囲と光源202−1、202−2の照射領域がフロントガラス105の内壁面105aで重なるように配置されている。なお、光源202−1、202−2としてはアイセーフ帯の波長及び光量の光源を使用する。
被写体(検出対象物)を含む撮像範囲からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、撮像素子206でその光強度に応じた電気信号に変換される。ここで、被写体(検出対象物)とは、車両100の前方の風景や、フロントガラス105の外壁面105bに付着した雨滴などの異物である。信号処理部208では、撮像素子206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、撮像素子206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
本実施形態において、光源202−1、202−2は、フロントガラス105の外壁面105bに付着した異物(以下、異物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。フロントガラス105の外壁面105bに雨滴203が付着している場合、光源202−1、202−2が発した光は、雨滴203と空気の界面で反射し、その反射光は撮像装置201に入射する。一方、フロントガラス105の外壁面105bに雨滴203が付着していない場合、光源202−1、202−2から照射された光は、その一部がフロントガラス105を透過して外部に漏れ、残りの光がフロントガラス105の内壁面105a、あるいは、外壁面105bと外気との界面で反射し、その反射光が撮像装置201へ入射する。
ここで、本実施形態では、撮像レンズ204の焦点位置は、無限遠、又は、無限遠とフロントガラス105の外壁面105bとの間に設定している。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置201の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス105との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高くなる。
図7は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図7(a)はフロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っている場合、図7(b)は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
フロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っている場合、図7(a)に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図7(a)に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
これに対し、無限遠に焦点が合っている場合には、図7(b)に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高くなる。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
撮像ユニット101の光源202−1、202−2には、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202−1、202−2の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202−1、202−2の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて撮像素子206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源202−1、202−2は、赤外光領域の波長を有する光を照射するものである。
ここで、フロントガラス105で反射した光源202−1、202−2からの赤外波長光を撮像装置201で撮像する際、撮像装置201の撮像素子206では、光源202−1、202−2からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202−1、202−2からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202−1、202−2の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202−1、202−2を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、光源202−1、202−2の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源202−1、202−2の発光波長とほぼ一致したバンドパスフィルタを介して、光源202−1、202−2からの光を撮像素子206で受光するように構成する。これにより、光源202−1、202−2の発光波長以外の光を除去して受光できるので、撮像素子206で受光される光源202−1、202−2からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴203などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202−1、202−2が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域と、に区分し、雨滴検出画像領域に対応する部分についてのみ光源202−1、202−2が照射する赤外波長光以外の波長帯を除去する構成としている。
図8は、光学フィルタ205、撮像素子206、及び、センサ基板207の光透過方向に沿った断面模式図である。
撮像素子206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この撮像素子206がワイヤボンディングなどの手法によりPWB(Printed Wiring Board)に接合されてセンサ基板207が形成されている。
光学フィルタ205は、図8に示したように、使用帯域(本実施形態では可視光領域と赤外光領域)の光に対して透明な基板220と、基板220上の撮像レンズ204側の有効撮像領域の全面に形成され、波長λ1〜λ2、λ3〜λ4(λ1<λ2<λ3<λ4)の範囲の波長成分の光のみ透過させる分光フィルタ層(第1の分光フィルタ層)221と、基板220の撮像素子206側の面に形成される偏光フィルタ層223と、偏光フィルタ層223上に充填される充填材224と、基板220上の撮像素子206側の有効撮像領域の一部に、上記偏光フィルタ層223及び充填材224を介して形成され、波長λ3〜λ4の範囲の波長成分の光のみ透過させる領域分割型分光フィルタ層(第2の分光フィルタ層)222と、を有し、領域分割型分光フィルタ層222の撮像素子206側の面が撮像素子206に密着接合されてなる。
即ち、光学フィルタ205は、分光フィルタ層221と領域分割型分光フィルタ層222とが光透過方向に重ね合わせられた構造となっている。
図9は、分光フィルタ層221及び領域分割型分光フィルタ層222を有する光学フィルタ205の有効撮像領域の領域分割を説明するための正面模式図である。図9に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域211と、上記の雨滴検出画像領域に対応する赤外光透過領域212とに、領域分割されている。例えば、可視光透過領域211は有効撮像領域の中央部1/2の領域であり、一方、赤外光透過領域212は有効撮像領域の上部及び下部の領域であるとよい。
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図9に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域212とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域211とし、これに対応して領域分割型分光フィルタ層222を領域分割するのが好適である。なお、有効撮像領域のうち、充填材224上の領域分割型分光フィルタ層222が形成されていない領域に、光源202−1、202−2が照射する赤外波長光をカットするフィルタが形成されていてもよい。
図10は、分光フィルタ層221及び領域分割型分光フィルタ層222の分光特性を示すグラフである。分光フィルタ層221は、図10(a)に示すように波長範囲400nm〜670nm(ここでは、λ1=400nm、λ2=670nm)のいわゆる可視光領域の光と、波長範囲940nm〜970nm(ここでは、λ3=940nm、λ4=970nm)の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
ただし、本実施形態の撮像素子206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層221が、波長範囲700nm〜940nmの赤外光を透過させないようになっている(透過率5%以下が望ましい)。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。
また、領域分割型分光フィルタ層222は、図10(b)に示すように波長範囲940nm〜970nmの赤外光領域を透過帯としている。従って、光学フィルタ205は、領域分割型分光フィルタ層222と上述の分光フィルタ層221との組合せにより、波長範囲940nm(=λ3)〜970nm(=λ4)の範囲の光のみを透過させることとなる。なお、この波長範囲λ3〜λ4における透過率のピークと光源202−1、202−2の発光波長を略同等にしておくのが望ましい。
撮像装置201の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲700nm〜940nmの光を遮断する分光フィルタ層221が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
なお、分光フィルタ層221及び領域分割型分光フィルタ層222を光学フィルタ205の基板220の両面に形成することにより、光学フィルタ205の反りを抑制することが可能となる。例えば、基板220の片側の面にだけ分光フィルタ層を形成した場合には、基板220に応力がかかり、反りが生じる。しかしながら、図8に示したように、基板220の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
また、図8及び図9に示したように、領域分割型分光フィルタ層222を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域212を設けた場合、光学フィルタ205と撮像素子206を平行に接着することが難しくなる。光学フィルタ205と撮像素子206とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ205と撮像素子206を平行に接着することが可能である。この場合、赤外光透過領域212を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
なお、偏光フィルタ層223は、光源202−1、202−2から照射された後、フロントガラス105の内壁面105aで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がS偏光成分であることが知られている。即ち、偏光フィルタ層223の偏光軸は、フロントガラス105の内壁面105aの法線に対して直交する偏光方向成分(S偏光成分)の光を遮光するように形成されている。言い換えれば、偏光フィルタ層223は、光源202−1、202−2のフロントガラス105へ向かって出射する光の光軸21と、撮像レンズ204の光軸23との2つの光軸で形成される面に対して平行な偏光成分(P偏光成分)のみを透過させるように設計される。このように設計された偏光フィルタ層223はダッシュボードなどで反射した映りこみ光も遮断することができる。
なお、既に述べたように、撮像素子206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。光学フィルタ205と撮像素子206との間に空隙がある構成としてもよいが、光学フィルタ205を撮像素子206に密着させる構成とした方が、光学フィルタ205の可視光透過領域211と赤外光透過領域212の境界と、撮像素子206上のフォトダイオード206A間の境界とを一致させやすくなる。これにより、赤外光透過領域212と可視光透過領域211の境界が明確になり、雨滴の検出精度を上げることができる。
光学フィルタ205と撮像素子206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をUV接着や熱圧着してもよい。
なお、光源202−1、202−2は、連続発光(CW発光)を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタイミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
次に、光学フィルタ205の各部詳細について説明する。
基板220は、使用帯域(本実施形態では可視光領域と赤外光領域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)を好適に用いることができる。
基板220上に形成される偏光フィルタ層223は、図11に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ(導電体線)を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯(例えば、400nm〜800nm)に比べて十分に小さいピッチ(例えば1/2以下)とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
図12は、光学フィルタ205の偏光フィルタ層223におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス105は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層223はその変化に応じた偏光軸を有することが望ましい。
具体的には、図12に示すように、フロントガラス105の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向(溝方向)を偏光フィルタ層223の各場所で変化させればよい。
本実施形態では、偏光フィルタ層223をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板220上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子206の撮像画素サイズ相当(数μmレベル)で金属ワイヤの長手方向、即ち偏光方向(偏光軸)を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向(偏光軸)を異ならせた偏光フィルタ層223を作成することができる。
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
偏光フィルタ層223の積層方向上面を平坦化するために用いられる充填材224は、偏光フィルタ層223の金属ワイヤ間の凹部に充填される。この充填材224としては、基板220よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材224は、偏光フィルタ層223の金属ワイヤ部分の積層方向上面も覆うように形成される。
充填材224の具体的な材料としては、偏光フィルタ層223の偏光特性を劣化させないように、その屈折率が空気の屈折率(屈折率=1)に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まる。基板220の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)が好適に使用できる。
充填材224の形成方法としては、無機系塗布膜(SOG:Spin On Glass)法を好適に用いることができる。具体的には、シラノール(Si(OH)4)をアルコールに溶かした溶剤を、基板220上に形成された偏光フィルタ層223上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
偏光フィルタ層223はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ205は、撮像素子206に密着配置することが望まれるため、その製造段階において光学フィルタ205と撮像素子206とが接触する可能性がある。本実施形態では、偏光フィルタ層223の積層方向上面、即ち撮像素子206側の面が充填材224によって覆われているので、撮像素子206と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
また、本実施形態のように充填材224を偏光フィルタ層223のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
なお、本実施形態では、充填材224の上に積層される領域分割型分光フィルタ層222については充填材224のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子206に領域分割型分光フィルタ層222が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層223の金属ワイヤ(凸部)の高さは一般に使用波長の半分以下と低い一方、領域分割型分光フィルタ層222の高さは、高さ(厚み)を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材224の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ205の特性に影響を与えるので、充填材224を厚くするにも限度がある。そのため、本実施形態では、領域分割型分光フィルタ層222を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層223を充填材224で覆った後に領域分割型分光フィルタ層222を形成しているため、充填材224の層を安定的に形成できる。また、充填材224の層の上面に形成される領域分割型分光フィルタ層222もその特性を最適に形成することが可能である。
本実施形態の分光フィルタ層221及び領域分割型分光フィルタ層222は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長(例えば赤色以外の波長帯域帯)に対して100%近い反射率を実現することも可能である。本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子206を選択するとともに、多層膜部分の透過波長範囲を例えば900nm以上に設定し、それ以外の波長帯は反射するカットフィルタを形成すればよい。
このようなカットフィルタは、光学フィルタ205の積層方向下側から順に、「基板/(0.125L0.25H0.125L)p/媒質A」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材224を意味する。また、「0.125L」は、低屈折率材料(例えばSiO2)の膜厚標記方法でnd/λを1Lとしたものであり、従って「0.125L」の膜は1/8波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「n」は屈折率であり、「d」は厚みであり、「λ」はカットオフ波長である。同様に、「0.25H」は、高屈折率材料(例えばTiO2)の膜厚標記方法でnd/λを1Hとしたものであり、従って「0.25H」の膜は1/4波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「p」は、かっこ内に示す膜の組合せを繰り返す(積層する)回数を示し、「p」が多いほどリップルなどの影響を抑制できる。また、媒質Aは、空気あるいは撮像素子206との密着接合のための樹脂や接着剤を意図するものである。
あるいは、領域分割型分光フィルタ層222は、透過波長範囲が940nm〜970nmである図10(b)に示すようなバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板/(0.125L0.5M0.125L)p(0.125L0.5H0.125L)q(0.125L0.5M0.125L)r/媒質A」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン(TiO2)、低屈折率材料として二酸化珪素(SiO2)などを使用すれば、対候性の高い領域分割型分光フィルタ層222を実現できる。
本実施形態の領域分割型分光フィルタ層222の作製方法の一例について説明すると、まず、基板220及び偏光フィルタ層223上に形成された充填材224の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材224の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
本実施形態では、領域分割型分光フィルタ層222として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層221及び領域分割型分光フィルタ層222として多層膜構造を採用しているので、光源202−1、202−2の波長と赤外光透過領域212の波長帯域を略一致させることが可能となる。
図13は、撮像装置201が有する光源202−1、202−2からの出射光の光路を示す説明図である。図13においては、光源202−1、202−2の光軸21、22の方向と撮像レンズ204の光軸23の方向が略平行である例を示している。以下、図13を参照しながら本実施形態の撮像ユニット101がフロントガラス105の外壁面105bに付着した雨滴などの異物を検出する機能を説明する。
・光路A、A'
フロントガラス105の外壁面105bの雨滴が付着していない箇所に向かう光路A(又はA')の光は、その一部がそのまま車両100の外部に漏れる。残りの一部は、フロントガラス105の内壁面105aで反射される(不図示)。
・光路B、B'
上記のように、光源202−1、202−2からの出射光のうち、その一部はフロントガラス105の内壁面105aで反射される。既に述べたように、このような反射光の偏光成分は大部分がS偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ205内にS偏光成分をカットする偏光フィルタ層223が配置されているため、不要光を除去することが可能である。
・光路C、C'
光源202−1、202−2からの出射光のうち、フロントガラス105の内壁面105aで反射されずにフロントガラス105内を透過した光の成分としては、P偏光成分がS偏光成分に比べて多くなる。このフロントガラス105内に入射した光は、フロントガラス105の外壁面105bに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置201側に向けて再度フロントガラス105内を透過して、撮像装置201の光学フィルタ205に到達する。
さらに、光学フィルタ205に到達した光は、分光フィルタ層221を透過し、そのP偏光成分がワイヤグリッド構造の偏光フィルタ層223を通過する。偏光フィルタ層223を透過したP偏光成分の光(赤外光)のうち、雨滴検出用の赤外光透過領域212の領域分割型分光フィルタ層222に到達した光は、領域分割型分光フィルタ層222を透過して撮像素子206に入射し、図1に示した画像解析ユニット102により、雨滴がフロントガラス105の外壁面105bに付着していることが認識される。なお、偏光フィルタ層223を透過したP偏光成分の光は、可視光透過領域211にも入射し得るが、この領域に光源202−1、202−2が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子206への入射を妨げることができる。
・光路D
光源202−1、202−2からの光ではなく、フロントガラス105の外壁面105b側から入射して撮像装置201に到達する光のうち、赤外光透過領域212に到達する光は、分光フィルタ層221及び領域分割型分光フィルタ層222により、その大部分がカットされる。このように、赤外光透過領域212は、フロントガラス105の外側の外乱光もカットできる構成となっている。
・光路E
光源202−1、202−2からの光ではなく、フロントガラス105の外壁面105b側から入射して可視光透過領域211を通過する光の成分のうち、赤外光成分は分光フィルタ層221により遮断される。
・光路F、F'
車両100のダッシュボードなどからの映りこみ光は、車両100の前方の撮影や雨滴検出には不要な成分である。これらの光は、フロントガラス105の内壁面105aで反射されて大部分がS偏光成分の偏光成分を有する光となり、偏光フィルタ層223によりカットされる。
・光路G
光源202−1、202−2からの光ではなく、フロントガラス105の外壁面105b側から入射して可視光透過領域211を通過する光の成分のうち、可視光成分及び光源202−1、202−2が照射する赤外波長光の波長帯の成分のみ分光フィルタ層221を透過してP偏光成分のみとなり、不要光がカットされた状態で撮像素子206に到達し、車両周辺情報検出用の信号として検出される。
光源202−1、202−2から出射され、雨滴と空気の境界面で反射された光が撮像素子206に撮像されるように、光源202−1、202−2からの出射光のフロントガラス105への入射角度が設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトの一例は、図13に示したように、撮像レンズ204と光源202−1、202−2の光軸とが略平行となるように光源202−1、202−2が配置された例が挙げられる。
また、雨滴からの反射光が最も強くなるレイアウトの他の例としては、図14に示すように、撮像レンズ204の光軸23と、光源202−2の光軸22との交点を通るフロントガラス105の外壁面105bの法線10を挟むように、撮像レンズ204の光軸23と、光源202−2の光軸22とが配置された例が挙げられる。なお、図14の例においては、光源202−1の光軸21は図13の例と同様に撮像レンズ204の光軸23に略平行である。
撮像レンズ204の光軸23に平行な光路Aで光源202−1からフロントガラス105に光が入射する場合と、撮像レンズ204の下側からの光路C'で光源202−2からフロントガラス105に光が入射する場合とで、雨滴の多重反射状態は変わるため、検出できる雨滴の形状が広げられる。なお、図14では、図13で説明した光路D〜Gについては、図面が煩雑になるのを避けるために省略している。
図15は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図15(a)は雨滴がフロントガラス105に付着している場合、図15(b)は雨滴がフロントガラス105に付着していない場合の画像である。
図15中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源202−1、202−2からのLED光が撮像素子206に入射し、画像解析ユニット102により雨滴がフロントガラス105の外壁面105bに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Rain detected!」などの表示を画像中に示すことが好ましい。
一方、雨滴がフロントガラス105の外壁面105bに付着していないときは、光源202−1、202−2からのLED光は撮像素子206に入射しないため、画像解析ユニット102は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Rain not detected」などの表示を画像中に示すことが好ましい。
画像解析ユニット102による上記の認識処理は、例えば、撮像素子206におけるLED光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源202−1、202−2の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
なお、図15には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置201は、領域分割型分光フィルタ層222が形成された赤外光透過領域212において、フロントガラス105の外壁面105bに付着した雨滴などの異物を撮影するための第1の露光時間で画像を撮影するとともに、領域分割型分光フィルタ層222が形成されていない可視光透過領域211において、フロントガラス105の外壁面105bの位置より遠方の画像を撮影するための第2の露光時間で画像を撮影するものであってもよい。
分光フィルタ層221のみが形成された可視光透過領域211と、分光フィルタ層221及び領域分割型分光フィルタ層222が形成された赤外光透過領域212とでは、撮影に必要な光量が異なるが、露光時間の異なる2枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
具体的には、遠方の画像を撮影する場合は、分光フィルタ層221のみが形成された有効撮像領域を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層221及び領域分割型分光フィルタ層222が形成された有効撮像領域を透過する光の光量を検出しながら自動露光調整すればよい。
なお、分光フィルタ層221のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置201においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
一方、分光フィルタ層221及び領域分割型分光フィルタ層222が形成された有効撮像領域については、異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
以上説明したように、本実施形態の撮像ユニットは、車両のフロントガラスに付着した雨滴などの異物の検出と同時に、車両周辺情報も検出することができる。
また、本実施形態の撮像ユニットは、フロントガラスを垂直に透過してカバー内に入射する光をフロントガラスに向けて反射させるため、フロントガラスの内壁面での正反射光が外乱光となることを抑制できる。
(第2の実施形態)
本発明に係る撮像ユニット110の第2の実施形態を図面を参照しながら説明する。なお、第1の実施形態と同様の構成及び動作については適宜説明を省略する。第1の実施形態ではカバー210の内壁面210aが平滑面である場合を例に挙げたが、本実施形態では内壁面210aが梨地面である場合の構成について述べる。
以下、図16を参照しながら、カバー210の内壁面210aで発生するフレア光について説明する。図16は、開口部230に面するフロントガラス105の面形状が平面であり、車両100の外部からフロントガラス105を垂直に透過した光が入射する内壁面210a(梨地面)の領域の面形状がフロントガラス105に平行な平面である場合を示している。
しかしながら、カバー210の内壁面210aが梨地面であるため、内壁面210aへの入射光は拡散(散乱)する。そのため、カバー210の内壁面210aを図16に示すように構成しても、車両100の外部からフロントガラス105に垂直入射した光の一部はフレア光となって撮像レンズ204に入射してしまう。
図17は、上述のカバー210内部でのフレア光を抑制するための本実施形態の撮像ユニット110の概略構成を示す模式図である。即ち、カバー210の内壁面210aは、複数の反射領域210−1〜210−6からなる梨地面である。
各反射領域210−1〜210−6は、車両100の外部からフロントガラス105を垂直に透過してカバー210内に入射する光を、撮像レンズ204の画角範囲から外れるように他の反射領域に向けて反射させるようになっている。例えば、車両100の外部からフロントガラス105に垂直入射して反射領域210−1に到達した光の大部分は、反射領域210−3、210−5に向けて反射される。さらに、反射領域210−3、210−5で反射された光は他の反射領域で反射される。このような反射が繰り返されることにより、反射光は減衰していく。従って、図16に示したようなカバー210内でのフレア光の発生を抑制することができる。