以下、本発明に係る撮像装置を、移動装置である自動車等の車両に搭載される制御対象機器を制御する移動装置用機器制御システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて光透過性板状部材に付着している対象物を検出する物体検出装置を利用するその他のシステムにも適用できる。
図1は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自車両100に搭載された撮像装置で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、デフロスタ制御、その他の車載機器(制御対象機器)の制御を行う。
本実施形態の車載機器制御システムに設けられる撮像装置としての撮像ユニット101は、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー付近に設置される。撮像ユニット101で撮像された撮像画像データは、画像解析ユニット102に入力される。画像解析ユニット102は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着している雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。
また、本実施形態の自車両100には、外気温を検知するための外気温センサ111が設けられている。画像解析ユニット102は、必要に応じて外気温センサ111の検知結果を利用して、上述した各種検出を行う。本実施形態では、後述するように、フロントガラス105が凍結しているか否かを検出する際などに、外気温センサ111の検知結果が利用される。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現する。その実現のために、具体的には、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した路端や白線の検出結果に基づいて、白線や路端によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
また、車両走行制御ユニット108は、画像解析ユニット102が検出した道路標識の検出結果に基づいて、道路標識の情報と車両走行状態とを比較する。そして、例えば、自車両100の走行速度(車両走行状態)が制限速度(道路標識の情報)に近いと判断したら自車両100の運転者へ警告を報知したり、自車両100の走行速度が制限速度を超えていると判断したら自車両のブレーキを制御するなどの走行支援制御を行ったりする。
また、画像解析ユニット102の算出結果は、デフロスタ制御ユニット109にも送られる。デフロスタ制御ユニット109は、フロントガラス105の凍結や曇りの状態の検出結果に基づいて、デフロスタ110を制御する制御信号を生成する。デフロスタ制御ユニット109が生成した制御信号は、デフロスタ110に送られ、この制御信号に基づいてデフロスタ110はフロントガラス105を送風したり加熱したりするなどして、フロントガラス105の凍結や曇りの状態を改善させる動作を実行する。デフロスタ制御の詳しい内容は後述する。
図2は、撮像ユニット101に設けられる撮像部200の概略構成を示す説明図である。
撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、2次元配置された画素アレイを有する撮像手段としての画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。また、本実施形態においては、センサ基板207上に光源部210が実装されている。この光源部210は、フロントガラス105の外壁面(他方の面)に付着した付着物(以下、検出対象物が主に雨滴である場合を例に挙げて説明する。)を検出するためのものである。
本実施の形態では、撮像レンズ204の光軸が水平方向に一致するように撮像ユニット101を配置するが、これに限定されることはなく、水平方向(図2中のX方向)を基準とした特定方向に向けるような例であってもよい。撮像レンズ204は、例えば、複数のレンズで構成され、焦点がフロントガラス105の位置よりも遠方に設定されるものを用いる。撮像レンズ204の焦点位置は、例えば、無限遠又は無限遠とフロントガラス105との間に設定することができる。
光学フィルタ205は、撮像レンズ204の後段に配置され、本実施形態では、画像センサ206に入射する光の波長帯域を制限する機能を有する。なお、本実施形態において、光学フィルタ205は、光源部210からの光の反射光に応じたフロントガラス105の状態を検出する際に、車外からの外乱光の影響を抑制するための部品である。そのため、フロントガラス105の状態の検出精度が十分に得られる場合には、光学フィルタ205を省略してもよい。
画像センサ206は、光学フィルタ205を透過した光を受光する2次元配置された複数の受光素子で構成され、受光素子(撮像画素)ごとに入射光を光電変換する機能を有する。なお、後述の図等では画像センサ206の各画素を簡略化して描いているが、実際には画像センサ206は2次元配置された数十万個程度の画素で構成されている。画像センサ206としては、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いることができる。
信号処理部208は、画像センサ206で光電変換され、センサ基板207から出力されるアナログ電気信号(画像センサ206の各受光素子への入射光量)をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部208は、画像解析ユニット102と電気的に接続されている。信号処理部208は、センサ基板207を経由して画像センサ206から電気信号(アナログ信号)が入力されると、入力された電気信号から、画像センサ206上における各撮像画素の明るさ(輝度)を示すデジタル信号(撮像画像データ)を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット102へ出力する。
また、画像解析ユニット102は、撮像ユニット101の撮像動作を制御する機能や、撮像ユニット101から送信される撮像画像データを解析する機能を有する。画像解析ユニット102は、撮像ユニット101から送信された撮像画像データから、画像センサ206の撮像対象(自車両前方領域に存在する他車両等の物体や、フロントガラス105上に付着している雨滴、凍結、曇り等)ごとの最適な露光量を算出し、画像センサ206の撮像対象ごとに最適な露光量(本実施形態では露光時間)を設定する機能を有する。また、画像解析ユニット102は、露光量調整と連動しながら、光源部210の発光タイミングを調整する機能も有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出したり、フロントガラス105の状態(雨滴の付着、凍結、曇りなど)を検出したりする機能を有する。また、画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。
図3は、本実施形態における撮像ユニット101の光学系を説明するための説明図である。
本実施形態の光源部210は、フロントガラス105上に付着した異物(雨滴、凍結、曇り等)を検出するための照明光を照射するものである。本実施形態の光源部210は、その発光体としてのLEDを複数備えた構成となっている。このように発光体を複数具備することにより、発光体が1つである場合と比較して、フロントガラス105上の異物を検出するための検出領域が広がり、フロントガラス105の状態変化の検出精度が向上する。
本実施形態では、LEDを画像センサ206と同じセンサ基板207上に実装されているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、LEDの配置方法は、図3中のY方向に沿って1列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。
光源部210は、光源部210が照射する光の光軸方向と撮像レンズ204の光軸方向とが予め所定の角度を有するように、センサ基板207上に配置されている。また、光源部210は、光源部210が照射する光によって照明されるフロントガラス105上において、その照明範囲が撮像レンズ204の画角範囲内(視野角の範囲内)となるように、配置されている。光源部210としては、発光ダイオード(LED)や半導体レーザ(LD)などを1又は2以上配置した構成を用いることができる。光源部210の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ206の受光感度が及ぶ波長範囲(例えば800〜1000nm程度の赤外光波長範囲)を用いる。光源部210の発光タイミングなどの駆動制御は、信号処理部208からの画像信号の取得と連動しながら、画像解析ユニット102を通じて行われる。
光源部210からの光は、フロントガラス105の外壁面上に付着した雨滴、夜露が凍結した凍結部分、湿気によるフロントガラス105の内壁面上の曇りなど、フロントガラス105の状態変化に伴って、そのフロントガラス105での反射光の状態が変化する。この反射光の状態の変化は、光学フィルタ205を介して画像センサ206で撮像した撮像画像を解析することで把握することができる。
光源部210のLED211の光軸と撮像部200の画像センサ206のセンサ面法線方向がいずれも基板面に対して法線方向を向くような構成することで、製造工程の簡素化等のメリットを享受できる。ところが、本実施形態では、光源部210の光照射方向と撮像部200の撮像方向(撮像レンズの光軸方向)とが互いに異なる方向を向くように構成されるので、そのままでは光源部210のLED211と撮像部200の画像センサ206とを同じ基板207上に設けることは難しい。
そこで、光源部210のLED211と撮像部200の画像センサ206とを同じ基板207上に設ける場合には、例えば、光源部210に、LED211が照射する光の光路を変更する光路変更部材を配置してもよい。この光路変更部材としては、例えば、図4に示すような偏向プリズム213を用いたり、図5に示すように偏心配置したコリメートレンズ212を用いたりすることができる。なお、コリメートレンズ212を用いる場合、これをLED211と同数分だけ配置する必要があるが、この場合にはY方向に直線状に配列したレンズアレイなどを用いればよい。
また、光路変更部材としては、図6に示すような導光体を用いることもできる。図6に示す例では、センサ基板207上に実装された複数のLED211の出射側にテーパー状導光体であるテーパーロッドレンズ214が設けられている。これにより、LED211からの光は、テーパーロッドレンズ214の内部を通過する間にテーパーロッドレンズ214の内面で反射することで、LED211の光軸方向に対して平行に近い角度の光となって、テーパーロッドレンズ214から出射する。よって、テーパーロッドレンズ214を設けることで、光の放射角度分布を狭めることができる。このようなテーパーロッドレンズ214の出射側には、光路変更部材としての導光体215が設けられており、光源部210からの光を所望の方向へ向けることができる。図6の例によれば、照度分布が狭い範囲で均一化された光を所望の方向に向けて照射することができるので、フロントガラス105の状態検出について高い精度が得られるとともに、明るさムラ補正などの処理を行う場合にはその処理負荷を軽減することが可能となる。
なお、本実施形態では、光源部210を、画像センサ206と同じセンサ基板207上に実装しているが、画像センサ206とは別基板上に実装してもよい。
本実施形態の撮像ユニット101には、図3に示すように、光源部210からの光を反射させてフロントガラス105へ導く反射面221を備えた光学部材としての反射偏向プリズム220が設けられている。反射偏向プリズム220は、光源部210からの光を適切にフロントガラス105の内部に導くために、その一面がフロントガラス105の内壁面に密着するように配置されている。具体的には、反射偏向プリズム220に入射する光源部210からの光の入射角が所定範囲内で変化しても、光源部210から照射されて反射偏向プリズム220の反射面221で正反射した光のうち、フロントガラス105の外壁面上における雨滴(検出対象物)が付着していない非付着領域で正反射した正反射光が、画像センサ206に受光される関係が維持されるように、反射偏向プリズム220がフロントガラス105の内壁面に取り付けられる。
反射偏向プリズム220をフロントガラス105の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム220とフロントガラス105との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム220とフロントガラス105の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム220との間、及び、充填材とフロントガラス105との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。
反射偏向プリズム220は、図3に示すように、光源部210からの入射光を反射面221で一回だけ正反射して、これをフロントガラス105の内壁面に向けて折り返す。折り返した光は、フロントガラス105の外壁面に対して入射角θ(θ≧約42°)となるように構成されている。この適切な入射角θは、空気とフロントガラス105の外壁面との間の屈折率差に起因して、フロントガラス105の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態では、フロントガラス105の外壁面に雨滴等の異物が付着していない場合には、反射偏向プリズム220の反射面で折り返された光は、フロントガラス105の外壁面を透過することなく、すべて反射される。
一方、フロントガラス105の外壁面上に空気(屈折率1)とは異なる雨滴(屈折率1.38)などの異物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス105の外壁面を透過する。したがって、フロントガラス105の外壁面に雨滴が付着している付着箇所については、その反射光が画像センサ206に受光されて高輝度な画像部分となる一方、雨滴が付着していない非付着箇所については、その反射光の光量が減り、画像センサ206に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。
なお、光源部210から照射される光の拡散成分が画像センサ206へ回り込んで入射して画像信号が劣化するのを抑制するために、図7のように、光源部210と撮像レンズ204との間に遮光部材230を設けてもよい。
図8は、本実施形態の撮像ユニット101の概略構成を模式的に示した斜視図である。
本実施形態の撮像ユニット101は、光路変更部材として、図6に示した導光体を用いる構成を採用するものである。本実施形態の撮像ユニット101は、反射偏向プリズム220を固定支持し、フロントガラス105の内壁面に固定配置される第一支持部材としての第一モジュール101Aと、画像センサ206及びLED211が実装されたセンサ基板207、テーパーロッドレンズ214、導光体215、撮像レンズ204を固定支持する第二支持部材としての第二モジュール101Bとから構成されている。
これらのモジュール101A,101Bは、回転連結機構240によって回動可能に連結されている。この回転連結機構240は、フロントガラス105の傾斜方向及び鉛直方向のいずれにも直交する方向(図3中紙面前後方向)に延びる回転軸241を有し、この回転軸241を中心にして、第一モジュール101Aと第二モジュール101Bとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス105に対して第一モジュール101Aが固定配置される場合でも、第二モジュール101Bの撮像部200の撮像方向を目標とする特定方向(本実施形態では水平方向)に向けることができるようにするためである。
このような構成を有する撮像ユニット101を自車両100に設置する際の作業手順は、以下のとおりである。
図9は、撮像ユニット101を自車両100に設置する手順を示すフローチャートである。
まず、撮像ユニット101の撮像画像を表示手段に表示されるように撮像ユニット101を表示手段に接続して、撮像画像の確認準備を行う(S101)。この表示手段は、設置作業用のモニターを用いてもよいし、自車両の室内に設置されている車載機器である車内モニターを利用してもよい。もし、撮像ユニット101の使用時にその撮像画像を車内モニターに映し出す車載機器制御を行う場合には、撮像ユニット101の設置作業前に、撮像ユニット101の電気的な接続作業を済ませておけば、車内モニターで撮像画像を確認しながら、後述の設置作業を行ってもよい。本実施形態では、撮像ユニット101の使用時にその撮像画像を車内モニターに映し出す車載機器制御を行うので、撮像画像の確認は車内モニターで行う。
撮像ユニット101の撮像画像を確認できる準備を終えたら、次に、第一モジュール101Aの反射偏向プリズム220の一面がフロントガラス105の内壁面に密着するように、第一モジュール101Aをフロントガラス105に固定する(S102)。この固定には、例えば、フロントガラス105に対して第一モジュール101Aを接着したり、フロントガラス105に予め固定されたフック等の機構部品に第一モジュール101Aを係合させたりする固定方法を採用できる。
次に、光源部210を点灯し(S103)、調整用の光を照射させる。調整用の光は、光源部210を構成する複数のLEDのうちの1つだけを用いても良いし、2以上のLEDを用いてもよい。ただし、本実施形態では、この調整用の光の中心部を映し出す撮像画像上の位置(調整用光点)が撮像画像上のどの位置にあるかを正確に把握する必要がある点を考慮して、光源部210を構成する一部のLEDだけを用いるのが好ましい。
その後、固定した第一モジュール101Aに対して回転連結機構240の回転軸241を中心に第二モジュール101Bを回転させる(S104)。このとき、作業者は、車内モニターに表示された撮像画像を見て、その撮像画像に映し出されている調整用光点が、当該車両のフロントガラス105の傾斜角度に応じて予め決められている規定画像位置に一致するように、第二モジュール101Bを回転させる(S105)。そして、調整用光点が規定画像位置に一致したら(S105のYes)、第二モジュール101Bを自車両100に固定する(S106)。この規定画像位置は、第二モジュール101Bの撮像部200の撮像方向が水平方向に一致したときに、調整用光点が位置する撮像画像上の位置に設定されている。したがって、調整用光点が規定画像位置に一致する回転角度で第二モジュール101Bを自車両100に固定するだけで、第二モジュール101Bの撮像部200の撮像方向を水平方向(目標方向)に一致させることができる。
ここで、本実施形態では、第一モジュール101Aと第二モジュール101Bとの相対角度が予め決められた規定角度範囲内にある限り、光源部210から照射されて反射偏向プリズム220の反射面221で正反射した光のうち、フロントガラス105の外壁面で正反射した正反射光が画像センサ206の受光面における予め決められた規定受光領域(付着物検出用受光領域)内に受光される関係が維持されるように構成されている。そして、第一モジュール101Aと第二モジュール101Bとの相対角度に応じて付着物検出用受光領域内における調整用の光の受光位置が変化するように構成されている。これにより、作業者は、第一モジュール101Aに対する第二モジュール101Bの回転角度を上述の規定角度範囲内で調整する限り、車内モニターに写し出される撮像画像上の調整用光点の位置を確認しながら、第二モジュール101Bの角度調整を行うことができる。
本実施形態では、第二モジュール101Bの外壁に固定配置された固定ピン242の可動範囲を第一モジュール101Aに形成されたガイド孔243によって規制することで、回転連結機構240の回転調整範囲、すなわち、第一モジュール101Aに対する第二モジュール101Bの角度調整範囲を、上述の規定角度範囲内となるように制限している。なお、回転連結機構240の回転調整範囲(上述の規定角度範囲)は、想定されるフロントガラス105の傾斜角度範囲に応じて適宜設定される。本実施形態では、フロントガラス105の傾斜角度範囲を約20°以上35°以下の範囲内に想定しているが、この範囲は本撮像ユニット101が搭載される車両の種類に応じて適宜変更される。
次に、フロントガラス105の外壁面上に付着した雨滴等を検出するメカニズムについて説明する。
図10(a)は、水平面に対するフロントガラス105の傾斜角度θgが22°である車両に取り付けた状態の撮像ユニット101を示す側面図である。図10(b)は、図10(a)の状態において雨滴が付着していない場合の撮像ユニット101の光学系を示す説明図である。図10(c)は、図10(a)の状態において雨滴が付着している場合の撮像ユニット101の光学系を示す説明図である。
図11(a)は、水平面に対するフロントガラス105の傾斜角度θgが34°である車両に取り付けた状態の撮像ユニット101を示す側面図である。図11(b)は、図11(a)の状態における撮像ユニット101の光学系を示す説明図である。
光源部210からの光L1は、反射偏向プリズム220の反射面221で正反射され、その反射光L2はフロントガラス105の内壁面を透過する。フロントガラス105の外壁面に雨滴が付着していない場合は、その反射光L2は外壁面では全反射し、この反射光L3はフロントガラス105の内壁面を透過して撮像レンズ204に向けて光は進む。一方、フロントガラス105の外壁面に雨滴203が付着している場合、反射偏向プリズム220の反射面221で正反射した反射光L2は、その外壁面を透過する。このような系において、フロントガラス105の角度θgが変わると、第二モジュール101Bの姿勢を維持したまま(撮像方向を水平方向に固定したまま)、フロントガラス105の内壁面に固定される第二モジュール101Bの姿勢が変化し、反射偏向プリズム220がフロントガラス105と一体になって図中Y軸回りに回転することになる。
ここで、本実施形態における反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係は、回転連結機構240の回転調整範囲内において、常に、フロントガラス105の外壁面での全反射光L3が、フロントガラス状態変化検出用の画像センサ206の受光領域(付着物検出用受光領域)に受光される関係となっている。したがって、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3が画像センサ206の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。
特に、本実施形態における配置関係は、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。そのため、フロントガラス105の角度θgが変わっても、フロントガラス105の外壁面での全反射光L3の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ206の付着物検出用受光領域内におけるフロントガラス105の外壁面での全反射光L3の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。
なお、反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構240の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム220の反射面221とフロントガラス105の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム220の他の面(被入射面や出射面)の角度を調整することにより、フロントガラス105の傾斜角度θgが変わっても、撮像レンズへ向かう全反射光L3の光軸の角度θを略一定に保持することが可能である。
例えば、反射偏向プリズム220の反射面221とフロントガラス105の外壁面とのなす角を90°よりも大きくする場合、これに合わせて反射偏向プリズム220の出射面224と密着面222とのなす角も大きくすることにより、上記略一定にすることが可能となる。このとき、反射偏向プリズム220の反射面221とフロントガラス105の外壁面とのなす角を90°よりも大きくした角度分に対し、反射偏向プリズム220の出射面224と密着面222とのなす角をその2倍程度の角度だけ増分させるのが好ましい。また、この場合、反射偏向プリズム220の出射面224と被入射面223とが平行でなくなるが、必要な撮像レンズ204への射出角に合わせて適宜導光体の射出角を設計することにより、利用することができる。
また、上述したようにコーナーキューブの原理が成立する関係であれば、フロントガラス105の外壁面での全反射光L3の光軸方向と水平面とのなす角度θを実質的に一定とすることができるが、反射偏向プリズム220から射出する全反射光L3の射出位置が一定にはならない。この射出位置が変わることで、全反射光L3の光軸が画像センサ206の付着物検出用受光領域を通過する箇所が変動するが、この変動が大きいと、安定した雨滴検出を阻害し、また、上述した設置作業における第二モジュール101Bの水平出しの作業を阻害するおそれがある。
そのため、本実施形態においては、回転連結機構240の回転調整範囲内において、フロントガラス105の外壁面で正反射した正反射光L3を受光する画像センサ206の受光位置が予め決められた規定受光範囲内に維持されるように、回転連結機構240の回転中心の位置が工夫されている。具体的には、回転連結機構240の回転調整範囲内において、反射偏向プリズム220から射出する全反射光L3の射出位置が撮像部200の画角範囲内(視野角の範囲内)のほぼ定位置に維持されるように、回転連結機構240の回転軸241の位置が設定されている。回転連結機構240の回転軸241の具体的な位置としては、例えば、反射偏向プリズム220の反射面221を光L1の光軸が通る位置と、その正反射光L2の光軸がフロントガラス105の外壁面を通る位置との間に、回転軸241が位置するように配置するとよい。
このように、本実施形態によれば、フロントガラス105の傾斜角度に関わらず、フロントガラス105へ第一モジュール101Aを固定する作業工程と、撮像方向が水平方向に一致するように第二モジュール101Bを角度調整して固定する第二モジュール101Bの水平出しの作業工程という2つの作業工程により、撮像ユニット101の設置作業が完了する。
図12は、本実施形態のテーパーロッドレンズ214及び導光体215を示す斜視図である。
この導光体215には、光源部210側にテーパーロッドレンズ214が取り付けられている。本実施形態のテーパーロッドレンズ214は、1個のLED211に対して1個のテーパーロッドレンズ214が対応して設けられている。テーパーロッドレンズ214としては、内面が反射面となるように配置された管状のミラーからなるテーパーロッドレンズを用いてもよい。テーパーロッドレンズ214は、入射端面側から出射端面側に向けて先広がりのテーパー形状となっている。テーパーロッドレンズ214としては、屈折率が1以上の材料、例えばガラス等からなるテーパーロッドレンズを用いるのが好ましい。成形により作製できるため、低コストにテーパーロッドレンズを作ることが可能である。
図13は、本実施形態の反射偏向プリズム220を示す斜視図である。
反射偏向プリズム220は、光源部210からの光が入射する被入射面223と、被入射面223から入射した光L1を反射させる反射面221と、フロントガラス105の内壁面と密着する密着面222と、フロントガラス105の外壁面で反射した反射光L3を撮像部200に向けて出射する出射面224とを備えている。本実施形態では、被入射面223と出射面224とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。
反射偏向プリズム220の材料は、少なくとも光源部210からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態の光源部210からの光は赤外光であるため、反射偏向プリズム220の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム220にLEDからの光(赤外光)以外の光(車外からの可視光など)が入射するのを抑制できる。
また、反射偏向プリズム220は、回転連結機構240の回転調整範囲内において、その反射面221で光源部210からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構240の回転調整範囲内において反射面221で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム220の反射面221に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。
また、本実施形態では、反射面221が平面であるが、図14に示すように、反射面を凹面としたものでもよい。このような凹面状の反射面225を用いることで、反射面225に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス105上での照度低下を抑制することが可能となる。
〔変形例〕
ここで、反射偏向プリズム220の一変形例について説明する。
図15は、変形例における反射偏向プリズム220を示す斜視図である。
図16は、変形例における反射偏向プリズム220を用いた撮像ユニット101の光学系を示す説明図である。
本変形例に係る反射偏向プリズム220は、導光体215から射出される光を、フロントガラス105の外壁面に付着している雨滴検出のみに使用するのではなく、例えば、フロントガラス105の内壁面に付着した曇り等の検出など、他の用途にも利用可能しようとするものである。
本変形例に係る反射偏向プリズム220は、導光体215から射出される光のうち、Y軸方向中央部分の光については、上述した実施形態と同様、被入射面223に入射し、反射面221で正反射してフロントガラス105の外壁面の雨滴非付着部分において全反射して画像センサ206に受光される。一方、Y軸方向両端部分の光については、被入射面223には入射せず、反射偏向プリズム220の反射ミラー面226で全反射する。この全反射光L4は、フロントガラス105の内壁面に向かう。フロントガラス105の内壁面に曇り等が付着していない場合、全反射光L4は、フロントガラス105の内壁面で反射するが、その正反射光L5は、回転連結機構240の回転調整範囲内において、常に、画像センサ206で受光されないように、構成されている。
フロントガラス105の内壁面に曇りが付着している場合、その曇り部分において全反射光L4が拡散反射し、その拡散反射光が画像センサ206に受光される。したがって、画像センサ206上の反射ミラー面226に対応する部分において一定以上の光量を受光した場合、曇りによる拡散反射光を受光したとして、フロントガラス105の内壁面の曇りを検出できる。
なお、本変形例において、雨滴を検出するための反射面221等を有するプリズム部と、曇りを検出するための反射ミラー面226を有するミラー部とを一体部品で構成したが、別部品としてもよい。また、本変形例は、図15に示したように、プリズム部の両側にミラー部を配置した例であるが、これに限定されることはなく、プリズム部の一側のみにミラー部を配置したり、プリズム部の上部又は下部にミラー部を配置したりしてもよい。
次に、本実施形態における光学フィルタ205について説明する。
フロントガラス105の外壁面上の雨滴を検出する際、光源部210からの赤外光を撮像部200で撮像するが、撮像部200の画像センサ206には、光源部210からの赤外光のほか、例えば太陽光などの赤外光を含む大光量の外乱光も入射し得る。よって、光源部210からの赤外光をこのような大光量の外乱光と区別するためには、光源部210の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部210を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、図17に示すように光源部210の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図18に示すように透過率のピークが光源部210の発光波長とほぼ一致したバンドパスフィルタを介して、光源部210からの光を画像センサ206で受光するように構成する。これにより、光源部210の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源部210からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部210でなくても、光源部210からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴を検出するだけでなく、先行車両や対向車両の検出や白線などの検出も行う。そのため、撮像画像全体について光源部210が照射する赤外光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴等の付着物を検出するための付着物検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、付着物検出用画像領域に対応する部分についてのみ光源部210が照射する赤外光以外の波長帯を除去するフィルタを、光学フィルタ205に配置している。
図19は、車両検出用画像領域に対応したフィルタ領域と付着物検出用画像領域に対応したフィルタ領域とに区分される光学フィルタ205の正面図である。
図20は、撮像画像データの画像例を示す説明図である。
図20に示すように、車両検出用画像領域231は撮像画像上部2/3に対応し、付着物検出用画像領域232は撮像画像下部1/3に対応する。対向車両のヘッドランプ及び先行車両のテールランプ、白線、道路標識など、撮像領域(車両前方領域)の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面や自車両100のボンネットの画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両、白線、道路標識等の検出と雨滴203などの付着物の検出とを両立して行う場合には、図20に示すように、撮像画像下部を付着物検出用画像領域232とし、残りの撮像画像上部を車両検出用画像領域231とし、これに対応して光学フィルタ205を領域分割するのが好適である。
また、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図17に示したカットフィルタや図18に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
光学フィルタ205は、車両検出用画像領域231に対応する車両検出用フィルタ部205Aと、付着物検出用画像領域232に対応する付着物検出用フィルタ部205Bとで、その層構成が異なっている。具体的には、車両検出用フィルタ部205Aは分光フィルタ層251を備えていないが、付着物検出用フィルタ部205Bは分光フィルタ層251を備えている。なお、本実施形態では、撮像レンズ204の特性により、撮像領域内の光景と画像センサ206上の像とでは天地が逆になる。よって、撮像画像下部を付着物検出用画像領域232とする場合には、光学フィルタ205の上部を付着物検出用フィルタ部205Bで構成することになる。
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのが困難となる場合がある。そのような場合には、テールランプの識別に分光情報を利用し、赤色光の受光量に基づいてテールランプを識別すれば、テールランプの識別精度を向上させることができる。よって、光学フィルタ205に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしてもよい。
本実施形態の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態の光学フィルタ205には、後述するように、可視光領域から光源波長域までの間をカットする分光フィルタ層255を用いている。
図21は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
図22は、本実施形態に係る光学フィルタ205の車両検出用フィルタ部205A及び付着物検出用フィルタ部205Bと、画像センサ206上の車両検出用画像領域231及び付着物検出用画像領域232に対応する箇所との対応関係を示す説明図である。
画像センサ206の受光面には、光学フィルタ205が近接配置される。光学フィルタ205は、図21に示すように、透明なフィルタ基板252の一方の面(画像センサ206の受光面と対向する面)に分光フィルタ層255を形成し、他方の面に偏光フィルタ層253と分光フィルタ層255を順次形成した層構成となっている。光学フィルタ205と画像センサ206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をUV接着や熱圧着してもよい。
ここで、本実施形態における光学フィルタ205について更に説明する。
光学フィルタ205のフィルタ基板252は、使用帯域(本実施形態では、可視光領域と赤外光領域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等で形成することができる。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)を用いると好適である。
光学フィルタ205の分光フィルタ層255は、図23に示すような透過率特性を有する。すなわち、分光フィルタ層255は、波長範囲400nm以上670nm以下の可視光領域の入射光及び波長範囲940nm以上970nm以下の赤外光領域の入射光を透過させ、波長範囲670nmよりも長く940nm未満の入射光をカットする透過率特性を有する。400nm以上670nm以下の波長範囲及び940nm以上970nm以下の波長範囲における透過率は、30%以上であることが好ましく、90%以上であることがより好ましい。670nmよりも長く940nm未満の波長範囲における透過率は、20%以下であることが好ましく、5%以下であることがより好ましい。
可視光領域の入射光は、車両検出用画像領域231において車両や白線の検出などに用いられ、赤外光領域の入射光は、付着物検出用画像領域232においてフロントガラスの雨滴等の付着物を検出する場合などに用いられる。670nmより長く940nm未満の波長範囲の入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データが全体的に赤くなってしまい、テールランプや赤色標識の赤色を示す部分等を抽出することが困難となる場合があるからである。本実施形態では、670nmより長く940nm未満の波長範囲の入射光を分光フィルタ層255でカットするので、テールランプの識別精度を向上させ、また、日本における一時停止標識などの赤色を含む道路標識の検出精度を向上させることができる。なお、波長範囲940〜970nmは、又、波長範囲400nm〜670nmは、本発明に係る波長範囲の代表的な一例である。
分光フィルタ層255は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長(例えば赤外光以外の波長)に対して100%近い反射率を実現することも可能である。
光学フィルタ205の偏光フィルタ層253は、不要な反射光によるノイズ軽減のために設けられている。光源部210から照射される光は、フロントガラス105の内壁面や外壁面で反射し、その反射光が撮像部200に入射する。このような反射光は、光源部210のフロントガラス105へ向かって出射する光の光軸と撮像レンズ204の光軸との2つの光軸で形成される面(本実施形態では鉛直面)に対して垂直な偏光成分(水平偏光成分)が強い。よって、偏光フィルタ層253は、この水平偏光成分を透過させ、鉛直面に対して平行な偏光成分(鉛直偏光成分)をカットする偏光フィルタで構成される。
偏光フィルタ層253は、図24に示すようなワイヤーグリッド偏光子で形成することができる。ワイヤーグリッド偏光子は、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるもので、そのピッチが入射光の波長(例えば可視光波長)に比べてかなり小さいピッチ(例えば2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤーグリッド偏光子においては、金属ワイヤーの断面積が増加すると、消光比が増加し、また、周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率や偏光度の波長分散性が少なく、高消光比特性を示す。また、ワイヤーグリッドの構造は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行ってメタルエッチングなどの手法により、ワイヤーグリッドのサブ波長凹凸構造を形成することができる。よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能である。またワイヤーグリッド偏光子は、アルミニウムなどの金属で作製されるため、耐熱性に優れ、車載用途には好適な偏光子である。
フィルタ基板252と偏光フィルタ層253との間及びワイヤーグリッドの凸部間の隙間は、フィルタ基板252よりも屈折率の低い又は同等の無機材料が充填されて充填層254が形成されている。充填層254の形成材料としては、偏光フィルタ層253の偏光特性を劣化させないために、その屈折率が空気の屈折率に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まるものである。このうち、とくにフィルタ基板252に主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)であれば、フィルタ基板252よりも屈折率が小さくなり好適である。
充填層254の形成方法としては、無機系塗布膜(SOG:Spin On Glass)生成方法を用いればよい。すなわち、シラノール(Si(OH)4)をアルコールに溶かした溶剤をフィルタ基板252上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
偏光フィルタ層253がサブ波長サイズのワイヤーグリッド構造であるため、充填層254の上に形成される分光フィルタ層255に比べて、偏光フィルタ層253は強度的には弱い。本実施形態では、このような強度的に弱い偏光フィルタ層253を充填層254で覆って保護しているので、光学フィルタ205の実装時に偏光フィルタ層253のワイヤーグリッド構造を損傷しにくくなる。また、充填層254を設けることで、偏光フィルタ層253のワイヤーグリッド構造への異物進入も抑制できる。
偏光フィルタ層253のワイヤーグリッド構造の凸部の高さは、一般には、使用波長の半分以下に設定される。一方、分光フィルタ層255は、使用波長と同等から数倍の高さとなり、かつ、厚みが増すほど遮断波長での透過率特性を急峻にできる。そして、充填層254は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施形態では、偏光フィルタ層253を充填層254で覆った後に分光フィルタ層255を形成しているため、充填層254を安定的に形成できる。また、充填層254の上に形成する分光フィルタ層255も、その特性を最適に形成することが可能である。
本実施形態では、分光フィルタ層255、充填層254、偏光フィルタ層253がフィルタ基板252に対して撮像レンズ204側に配置される。一般に、これらの層の作製過程での欠陥を抑制することが重要であるが、その欠陥サイズの許容上限値は、画像センサ206から離れるほど大きくなる。なお、フィルタ基板252は、その厚みが0.5mm以上1mm以下の範囲で使用される。本実施形態によれば、これらの層を画像センサ206側に設ける場合に比べて、製造プロセスの簡易化、低コスト化を図ることができる。
また、本実施形態では、フィルタ基板252に対して画像センサ206側には、分光フィルタ層251が形成されている。この分光フィルタ層251は、付着物検出用フィルタ部205Bに設けられており、車両検出用フィルタ部205Aには設けられていない。上述したように、フロントガラス105上の液滴や凍結部分などで反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源部210は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。そこで、本実施形態では、光源部210の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源部210の発光波長とほぼ一致させたバンドパスフィルタからなる分光フィルタ層251を、付着物検出用フィルタ部205Bに設けている。本実施形態の分光フィルタ層251は、図25に示すように、透過率のピークを光源部210の発光波長とほぼ一致させたバンドパスフィルタを採用する。これにより、光源部210の発光波長以外の外乱光を除去し、検出される光源部210の光量を相対的に大きくできる。
本実施形態の光学フィルタ205は、2つの分光フィルタ層251,255を備えており、これらの分光フィルタ層251,255をフィルタ基板252の各面にそれぞれ形成している。これにより、光学フィルタ205の反りを抑制することが可能となる。フィルタ基板252の片面にだけ多層膜を形成すると、応力がかかって反りが生じる。しかしながら、本実施形態のようにフィルタ基板252の両面に多層膜を形成する場合には、応力の効果が相殺されるため、反りを抑制することができる。
分光フィルタ層251は、多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して100%近い反射率を得ることもできる。なお、多層膜蒸着時にマスクを設けて車両検出用フィルタ部205Aの部分を遮蔽しながら蒸着することにより、車両検出用フィルタ部205Aに分光フィルタ層251が形成されないように、付着物検出用フィルタ部205Bに分光フィルタ層251が形成できる。
本実施形態において、分光フィルタ層251,255は、多層膜構造を採用しているので、任意の分光輝度特性を得ることができる。一般にカラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。本実施形態では、多層膜構造を用いることで、分光フィルタ層251,255の透過波長帯域を光源部210の波長帯域に略一致させることを可能としている。
本実施形態においては、外乱光を抑制するために分光フィルタ層251を設けた構成であるが、これに限定されるものでなく、分光フィルタ層251を設けない構成であっても、雨滴検出は可能である。ただし、外乱光の影響を除いた本実施形態の構成の方が、雨滴検出にノイズ変動が生じないため望ましい。
図26(a)は、図15に示した変形例における反射偏向プリズム220を用いて雨滴が付着している状態(曇りは付着していない状態)を撮像した撮像画像の一例を示す説明図である。
図26(b)は、変形例における反射偏向プリズム220を用いて雨滴が付着しておりかつ曇りも付着している状態を撮像した撮像画像の一例を示す説明図である。
変形例における反射偏向プリズム220を用いる場合、付着物検出用画像領域232の左右方向中央部は、光源部210からの光L1のうち雨滴203が付着していないフロントガラス105の外壁面で正反射した光L3が受光されるので、その部分は高輝度なものとなる。また、付着物検出用画像領域232の左右方向中央部において、光源部210からの光L1のうち雨滴203が付着しているフロントガラス105の外壁面からの正反射光は受光されないので、その部分は低輝度なものとなる。
一方、付着物検出用画像領域232の左右方向両端部分は、光源部210からの正反射光L5を受光することがないので、図26(a)に示すように、常に低輝度な状態である。しかしながら、フロントガラス105の内壁面に曇りが生じると、これは微小な水滴が付着している状態と見なすことができ、その曇り箇所203’で拡散反射が発生する。この拡散反射光が受光される結果、図26(b)に示すように、曇りが発生していない箇所よりも、僅かながら輝度が高まる。
なお、フロントガラス105の内壁面に曇りが付着していると、車両検出用画像領域231に映し出されるボンネット100aの輪郭箇所(エッジ)がぼやけて映し出される。これを利用して曇りの有無を検出することも可能である。
ここで、光学フィルタ205を設ける場合でも、光学フィルタ205のバンドパス領域を透過する外乱光(光源部210の発行波長と同じ外部からの光)も存在するため、外乱光の影響を完全に除去することはできない。例えば、昼間は、太陽光の赤外波長成分が外乱光として影響するし、夜間は、対向車のヘッドライトに含まれる赤外波長成分が外乱光として影響する。このような外乱光があると、雨滴203を検出する際に誤検知を引き起こしてしまうおそれがある。例えば、雨滴203を検出するアルゴリズムとして、付着物検出用画像領域232において一定以上の輝度値変化が生じた箇所に雨滴が付着したと判断するアルゴリズムを採用する場合、外乱光の影響で輝度値がオフセットされて、雨滴の誤検出が発生し得る。
このような誤検出を防ぐ方法としては、例えば、光源部210の点灯を画像センサ206の露光タイミングと同期させる制御を行う方法が挙げられる。具体的には、光源部210の点灯時における撮像画像と光源部210の消灯時における撮像画像とを撮像し、付着物検出用画像領域232について、これらの差分画像を生成して、その差分画像に基づいて雨滴検出を行う。したがって、この方法では、雨滴を検出するために最低でも2フレーム分の撮像画像を使用することになる。
雨滴を検出するための2フレームのうちの一方のフレームは、図27(a)に示すように、光源部210を消灯させた状態で撮像されるものであり、他方のフレームは、図27(b)に示すように、光源部210を点灯させた状態で撮像されるものである。光源部210を消灯させた状態で撮像された付着物検出用画像領域232は、外乱光のみを映し出したものである。一方、光源部210を消灯させた状態で撮像された付着物検出用画像領域232は、外乱光と光源部210からの光を映し出したものである。したがって、これらのフレーム間の輝度差分を計算することで得られる輝度値(差分画像の画素値)は、外乱光が除外されたものとなる。よって、この差分画像に基づいて雨滴検出を行うことで、外乱光による誤検出を抑制できる。なお、雨滴を検出するために光源部を点灯させるタイミング以外では、光源部210を消灯させておくと、消費電力の抑制につながるので好適である。
外乱光のうち、太陽光などは多少時間が経過しても大きな変化がないが、自車両100の走行中の対向車のヘッドライトなどは、わずかの時間経過で大きな変化が生じる場合がある。この場合、差分画像を得るための2つのフレームの時間的な間隔が開いていると、その間に外乱光の大きさが変わってしまい、差分画像を生成した際に、うまく外乱光をキャンセルできない可能性がある。このようなことを防ぐために、差分画像を得るための2つのフレームは連続するフレームであることが好ましい。
本実施形態においては、車両検出用画像領域231の画像情報を用いるために撮像される通常フレームでは、車両検出用画像領域231の輝度値に基づいた自動露光制御を行い、光源部210は消灯させておく。通常フレームを撮像している任意の合間に雨滴検知用の2つのフレームを連続して挿入する。この2つのフレームの撮像時において、露光制御は通常フレームの撮像時の自動露光制御ではなく、雨滴検知に適した露光制御を行う。
また、車両検出用画像領域231の画像情報を元に車両制御や配光制御等を行う場合には、撮像画像中央部の輝度値に合わせた自動露光制御(AEC)を行うのが通常であるが、雨滴を検出するための2フレームについては、雨滴検知に最適な露光制御を行うのが好ましい。なぜなら、雨滴を検出するための2フレームの撮像時にも自動露光制御を行うと、光源部210の点灯時のフレームと光源部210の消灯時のフレームとで、その露光時間が変わってしまう場合があるためである。2つのフレーム間で露光時間が変わると、それぞれのフレームに含まれる外乱光の輝度値分が変わってしまい、差分画像によって外乱光を適切にキャンセルできないおそれがあるからである。よって、雨滴を検出するための2フレームについては、例えば、露光時間が同じなるように露光制御を行うのがよい。
また、2フレームの露光時間を同じにせず、その露光時間の違いを画像処理によって補正した差分画像を生成する方法でもよい。具体的には、光源部210を点灯させたフレームの露光時間をTaとし、消灯させたフレームの露光時間をTbとしたとき、下記の式(1)〜(3)に示すように、点灯させたフレームの輝度値Yaと消灯させたフレームの輝度値Tbをそれぞれの露光時間で割った値の差分値Yrを計算する。このような補正した差分画像を使用することにより、2フレーム間で露光時間の違いがあっても、その影響を受けずに外乱光の影響を適切に取り除くことができる。
Ya = Ya/Ta ・・・(1)
Yb = Yb/Tb ・・・(2)
Yr = Ya − Yb ・・・(3)
また、2フレームの露光時間を同じにせず、その露光時間の違いに応じて光源部210の光照射強度を制御する方法でもよい。この方法では、露光時間が長いフレームについて光源部210の光照射強度を落とすようにすることで、露光時間の違いによる影響を受けずに、露光時間に違いがある2フレーム間の差分画像により外乱光の影響を適切に取り除くことができる。しかも、上述の画像処理による補正では処理負荷が大きいというデメリットがあるが、この方法によれば、画像処理による補正が不要となり、このようなデメリットはない。
また、一般に、光源部210の発光体として用いられているLED211は、温度変化によってその発光出力が変化するものであり、温度が上昇すると光源部210の発光出力が低下する。また、LED211は経年劣化によっても光量が低下していく。このように光源部210の出力変化があると、雨滴が付着していないのに輝度値変化があると認識されてしまい、雨滴の誤検出が生じ得る。このようなLED211の発光出力変化による影響を抑制するため、本実施形態では、LED211の発光出力変化が生じたか否かを適宜判断し、LED211の発光出力変化が生じたと判断したら、光源部210の発光出力を増加させる制御を行う。
LED211の発光出力変化が生じたか否かの判断は、例えば、次のようにして行うことができる。本実施形態では、フロントガラス105の外壁面からの全反射光L3を付着物検出用画像領域232において2次元画像として撮像しているので、LED211の発光出力変化が生じた場合、付着物検出用画像領域232の輝度が全体的に低下することになる。一方、フロントガラス105の外壁面に雨に濡れた状態になった場合も、付着物検出用画像領域232の輝度が全体的に低下することになるので、これと区別する必要がある。そのため、付着物検出用画像領域232の輝度が全体的に低下した場合、ワイパー107を動作させ、それでも付着物検出用画像領域232の輝度が全体的に低下している場合には、LED211の発光出力変化が生じたと判断する。
次に、本実施形態におけるフロントガラス状態検出処理について説明する。
図28は、画像解析ユニット102が実行するフロントガラス状態検出処理の流れを示すフローチャートである。
分光フィルタ層251を備える付着物検出用フィルタ部205Bは、分光フィルタ層251を備えていない車両検出用フィルタ部205Aと比較して受光量が少ない。そのため、付着物検出用フィルタ部205Bを透過する光量と車両検出用フィルタ部205Aを透過する光量との間には大きな差がある。そのため、車両検出用フィルタ部205Aに対応する車両検出用画像領域231に適した撮像条件(露光量等)と、付着物検出用フィルタ部205Bに対応する付着物検出用画像領域232に適した撮像条件との間には、大きな差がある。そこで、本実施形態では、車両検出用画像領域231の撮像用(車両等の検出用)と、付着物検出用画像領域232の撮像用(付着物検出用)とで、異なる露光量を用いる。
露光量の調整は、例えば、車両等の検出用については、車両検出用画像領域231に対応する画像センサ206の出力に基づいて自動露光調整を行い(S1)、付着物検出用については所定の固定露光量に調整する(S5)。露光量を変える場合、例えば露光時間を変えればよい。露光時間の変更は、例えば、画像センサ206が受光量を電気信号に変換する時間を画像解析ユニット102で制御することにより行うことができる。
車両検出用画像領域231は、車両周辺を撮像するが、車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮像シーンに応じて受光量が大きく変化する。よって、撮像シーンに応じて露光時間を適宜調整する必要がある。そのため、車両検出用画像領域231には、公知の自動露光制御で露光量の調整を行うのが好ましい。一方、付着物検出用画像領域232は、一定強度の光を照射する光源部210からの光を、透過率が既知である光学フィルタ205を通じて受光することで撮像されるものであり、受光量の変化が少ない。よって、付着物検出用画像領域232には、露光量の自動調整は行わず、固定露光時間で撮像することが可能である。固定露光時間を用いることで、露光量の制御時間の短縮化、露光量制御の簡素化が図れる。
本実施形態では、まず、車両検出用画像領域231についての露光調整を行った後(S1)、画像解析ユニット102にて車両検出用画像領域231の画像データが取得される(S2)。本実施形態において、車両検出用画像領域231の画像データは、後述するように、車両、白線、道路標識の検出などに用いられるだけでなく、ワイパー制御用やデフロスタ制御用なども用いられる。そのため、車両検出用画像領域231の画像データを取得した画像解析ユニット102は、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い(S3)、これを所定の記憶領域に記録する(S4)。
図29は、車両検出用画像領域231の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、車両検出用画像領域231における輝度分散の値を用いる(S31)。また、本実施形態では、このパラメータとして、自車両100のボンネットと背景とのエッジ部分が検出できるように撮像領域を設定しておき、そのボンネットのエッジ抽出結果も用いる(S32)。
図30に示すようにフロントガラス105が曇ったり、図31に示すようにフロントガラス105が凍結したりすると、車両検出用画像領域231の画像は、輝度分散値が小さくなる。よって、車両検出用画像領域231における輝度分散値は、フロントガラス105が曇っているか又は凍結しているかの有無を検出するために有用である。また、フロントガラス105が曇ったり凍結したりすると、ボンネットのエッジ部分の抽出が困難となる。よって、ボンネットのエッジ部分を抽出できるか否かの情報も、フロントガラス105が曇っているか又は凍結しているかの有無を検出するために有用である。
続いて、今度は、付着物検出用画像領域232について、光源部210のパワーと光学フィルタ205の分光フィルタ層251の分光特性を踏まえた露光調整(露光時間の調整)が行われる(S5)。その後、画像解析ユニット102にて付着物検出用画像領域232の画像データが取得される(S6)。そして、画像解析ユニット102は、付着物検出用画像領域232の画像データから、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い(S7)、これを所定の記憶領域に記録する(S8)。
図32は、付着物検出用画像領域232の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における輝度平均値を算出する(S71)。本実施形態では、フロントガラス105に、雨滴、曇り部分、凍結部分などが付着していると、付着物検出用画像領域232の輝度平均値が低下する。したがって、付着物検出用画像領域232の輝度平均値により、このような付着物が付着しているか否かを検出することができる。
また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における輝度分散値を算出する(S72)。小雨(雨滴のサイズが小さい面)の場合、付着物検出用画像領域232に写し出される雨滴の総面積が小さいため、フロントガラス105に付着物が付着していない状態と比較して輝度分散値はあまり変化しない。しかしながら、サイズの比較的大きな雨滴のフロントガラス105への付着数が増加すると、輝度分散値は小さくなる。これは、雨滴のボケ像が重なるためである。同様に、フロントガラス105が曇った場合や凍結した場合も、輝度分散値は小さくなる。したがって、付着物検出用画像領域232の輝度分散値により、フロントガラスに付着している付着物が小雨程度のものかどうかを検出することができる。
また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域232における付着物領域の占有率を算出する(S73)。ここでいう付着物領域とは、付着物検出用画像領域232において輝度平均値が規定値を超えている画素の数(画像の面積)の、付着物検出用画像領域232の全画素数(総面積)に対する比率である。曇り部分や凍結部分などは、この付着物領域の占有率が一般に大きいので、付着物検出用画像領域232の付着物領域の占有率により、フロントガラスに付着している付着物が小雨程度のものではなく、曇りや凍結なのかどうかを検出することができる。
また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、上述した輝度平均値、輝度分散値、付着物領域の占有率についての時間変化を検出する(S74〜S76)。この時間変化は、今回撮像した付着物検出用画像領域232の画像データに基づくものと、前回撮像した付着物検出用画像領域232の画像データに基づくものとの変化量を意味する。凍結や曇りなどは短時間で急激に増えるものではないが、フロントガラス105に付着するスプラッシュ(他車両等が跳ね上げた水しぶき等)は、短時間で急激に増えるものである。よって、付着物検出用画像領域232の輝度平均値、輝度分散値、付着物領域の占有率についての時間変化により、フロントガラスに付着している付着物がスプラッシュによるものかどうかを検出することができる。
以上のようにしてワイパー制御用やデフロスタ制御用に検出されるパラメータを記録したら、次に、フロントガラス105の状態判定処理を行う(S9)。
図33は、フロントガラス105の状態判定処理の流れを示すフローチャートである。
図34は、この状態判定処理の判定基準を示す表である。
フロントガラス105の状態判定処理では、まず、上記ステップS1において行われた車両検出用画像領域231についての自動露光調整により決定された露光時間が閾値A(例えば40ms)よりも短いか否かを判断する(S91)。この露光時間が閾値A以上のような非常に長い時間に設定される場合、これは撮像領域の光量が少ない夜間であると判定できる。よって、露光時間が閾値Aよりも短いか否かによって、撮像領域が昼間であるか夜間であるかを識別できる。
撮像領域が夜間である場合、車両検出用画像領域231の画像データから得られるパラメータ(輝度分散値、ボンネットのエッジ抽出結果)によるフロントガラス状態の判定精度は低いものとなる。よって、本実施形態では、夜間と判定された場合には、車両検出用画像領域231から得られるパラメータ(輝度分散値、ボンネットのエッジ抽出結果)を使用せず、付着物検出用画像領域232から得られるパラメータだけを使用して、フロントガラス105の状態判定を行う。
上記ステップS91において撮像領域が昼間である判定された場合、次に、車両検出用画像領域231の輝度分散値が閾値Bよりも大きいか否かを判断する(S92)。この判断結果は所定の記憶領域に記憶される。この閾値Bは、実験等により露光時間に応じたテーブルを用意しておき、それぞれの露光時間に応じて用いる閾値Bを決定するのが望ましい。
また、上記ステップS91において撮像領域が昼間である判定された場合、車両検出用画像領域231のボンネットのエッジ部分の抽出ができたか否かを判断する(S93)。この判断結果は所定の記憶領域に記憶される。ボンネットのエッジ部分の抽出は、例えば、ボンネットと背景とを含む画像領域について、画像の上下方向の隣接画素の輝度変化から、その水平エッジ成分の微分画像を形成し、予め記憶された水平エッジ成分の微分画像とのパターン比較し、各パターン比較の結果に基づいて検出した各部分それぞれのパターンマッチング誤差が所定の閾値以下の場合は、ボンネットのエッジ部分が検出できたと判定する。このエッジ部分の抽出ができる場合には、フロントガラス105に曇りや凍結やスプラッシュが起きていないと判定することができる。
次に、付着物検出用画像領域232から得られる各種パラメータについて判断する。
まず、付着物検出用画像領域232の輝度平均値が閾値Cよりも大きいか否かを判断する(S94)。この判断結果は所定の記憶領域に記憶される。上述したとおり、フロントガラス105に雨滴等が付着すると輝度平均値が下がる。例えば、付着物検出用画像領域232の輝度が1024階調であれば、ノイズ成分を除いた900(閾値C)よりも小さい輝度平均値が検出されたか否かを判断する。
また、付着物検出用画像領域232の輝度分散値が閾値Dよりも小さいか否かを判断する(S95)。この判断結果は所定の記憶領域に記憶される。例えば、付着物検出用画像領域232の輝度が1024階調であれば、輝度分散値が50(閾値D)よりも小さいとき、フロントガラス105が曇っている或いは凍結しているなどの判定を行うことができる。
また、付着物検出用画像領域232の輝度平均値の時間変化量が閾値Eよりも小さいか否かを判断する(S96)。この判断結果は所定の記憶領域に記憶される。例えば、前回撮像された付着物検出用画像領域232の輝度平均値が900以上であったものが、今回撮像された付着物検出用画像領域232では700未満であった場合など、輝度平均値の時間変化量が閾値E以上であるときにはスプラッシュが生じたものと判定することができる。
また、付着物検出用画像領域232の付着物領域の占有率が閾値Fよりも小さいか否かを判断する(S97)。この判断結果は所定の記憶領域に記憶される。例えば、光源部210から均一に照明がなされている場合、輝度平均値が900未満である領域が1/5(閾値F)を下回る場合には小雨であると判定し、1/5以上である場合にはそれ以外の付着物が付着していると判定することができる。
また、本実施形態においては、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、外気温センサ111の検知結果が用いられ、外気温センサ111が検知した外温度が閾値Gよりも大きいか否かを判断する(S98)。この判断結果は所定の記憶領域に記憶される。例えば、外気温が0度(閾値G)以下の場合、降雪もしくは凍結しているものと判定することができる。
以上のような各パラメータについての判断結果が得られたら、各パラメータの判断結果と図34に示す表との整合性から、フロントガラス105の状態判別を行う(S99)。この状態判別では、各パラメータの判断結果について重み付けを行うとよい。例えば、付着物検出用画像領域232に基づくパラメータおよび外気温についての重み付け係数を10とし、車両検出用画像領域231に基づくパラメータについての重み付け係数を5としておく。そして、各パラメータの判定結果として、異常なしとの差があるものを1とし、異常なしとの差がないときを0とする。その後、各パラメータの判定結果に重み付け係数をかけた総和について閾値判定を行う。これにより、各パラメータの判定結果が図34に示す表と完全一致する状態が存在しない場合でも、フロントガラス105の状態判定が可能となる。
また、付着物検出用画像領域232のパラメータについては異常なしと差がある場合、ワイパーを1回だけ動作させてから、再度、各パラメータについて状態判定を確認してもよい。
以上のようにしてフロントガラス105の状態判定結果が出たら、画像解析ユニット102は、次に、その状態判定結果に応じた処理、制御(ワイパー制御やデフロスタ制御など)を行うための指令を出す(S10)。この指令処理は、図35に示す表に応じて行われる。ワイパー制御は、ワイパー速度を3段階(遅、並、速)で制御するものであり、デフロスタ制御は、フロントガラス105の内壁に対して最大風量の温風を吹き付ける動作を行うか否かを制御するものである。
以上の説明では、光源部210から照射された光を反射させる反射面221を有する光学部材として、反射偏向プリズム220を用いる場合であったが、このような反射面221を有するミラー部材であってもよい。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域から光透過性を有するフロントガラス105等の板状部材の外壁面へ入射し該板状部材を透過した透過光を受光面で受光して該撮像領域の画像を撮像する画像センサ206等の撮像手段が、該板状部材の内壁面側に配置される撮像ユニット101等の撮像装置において、上記板状部材の内壁面側に配置される光源部210等の光照射手段と、上記光照射手段から照射された光を反射させる反射面221を有する反射偏向プリズム220等の光学部材と、上記光学部材を固定支持し、上記板状部材の内壁面に固定配置される第一モジュール101A等の第一支持部材と、上記光照射手段及び上記撮像手段を固定支持する第二モジュール101B等の第二支持部材と、上記光学部材の反射面で反射した上記光照射手段からの光の上記板状部材の内壁面に対する入射面に直交する回転軸241回りで、上記第一支持部材に対して上記第二支持部材を相対回転可能に連結する回転連結機構240とを有し、上記光照射手段から照射されて上記光学部材の反射面で正反射した光のうち、上記板状部材の外壁面で正反射した正反射光が上記撮像手段の受光面で受光される受光位置が、上記第一支持部材と上記第二支持部材との相対角度に応じて変化するように、構成されていることを特徴とする。
これによれば、撮像画像上における光照射手段の調整用の光が写し出された受光画像部(調整用光点)が、当該第一支持部材を固定配置する板状部材の傾斜角度に対応した目標の受光位置を示す撮像画像上の位置(規定画像位置)に一致するように、第一支持部材に対して第二支持部材を相対回転させることで、第二支持部材の回転角度の調整作業を完了することができる。
(態様B)
上記態様Aにおいて、上記第一支持部材と上記第二支持部材との相対角度が予め決められた規定角度範囲内にある限り、上記光照射手段から照射される光の光軸方向と、上記外壁面で正反射して上記撮像手段の受光面に受光される光の光軸方向との相対角度が所定の角度範囲内に維持されるように、構成されていることを特徴とする。
これによれば、上述の正反射光が撮像手段の受光面で受光される受光位置が第一支持部材と第二支持部材との相対角度に応じて変化するという構成を、比較的容易に得ることができる。
(態様C)
上記態様A又はBにおいて、上記撮像手段の受光面は、撮像領域からの光を受光して該撮像領域の画像を撮像する車両検出用画像領域231等に対応した画像用受光面と、上記光照射手段が照射した光によって照明された板状部材の外壁面上に付着している対象物を撮像する付着物検出用画像領域232等に対応した検出用受光面とに区分されており、上記光学部材の反射面で正反射した光のうち、上記板状部材の外壁面で正反射した正反射光が上記撮像手段の受光面で受光される受光位置が、上記検出用受光面内で、上記第一支持部材と上記第二支持部材との相対角度に応じて変化するように、構成されていることを特徴とする。
これによれば、上述した調整作業に用いる光照射手段を、板状部材の外壁面上に付着している対象物を撮像するための光照射手段として利用できるとともに、対象物を撮像する撮像手段として、撮像領域を撮像する撮像手段を利用することができる。
(態様D)
上記態様A〜Cのいずれかの態様において、上記第二支持部材は、上記光照射手段の構成部品と上記撮像手段の構成部品とを単一の基板上に実装した構成を有することを特徴とする。
これによれば、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。
(態様E)
上記態様A〜Dのいずれかの態様において、上記撮像手段は、上記光照射手段から照射される光の波長範囲を選択的に透過させる分光フィルタを備えていることを特徴とする。
これによれば、撮像画像上における光照射手段の調整用の光が写し出された受光画像部(調整用光点)の位置の確認が、外乱光によって阻害される事態を軽減できる。
(態様F)
上記態様A〜Eのいずれかの態様において、上記光学部材として、反射偏向プリズム220等のプリズムを用い、上記プリズムの一面(密着面222)が上記板状部材の内壁面に当接することで、上記第一支持部材の姿勢が上記板状部材の内壁面に対して決められるように、構成されていることを特徴とする。
これによれば、上述の正反射光が撮像手段の受光面で受光される受光位置が第一支持部材と第二支持部材との相対角度に応じて変化するという構成が得られるように、第一支持部材を板状部材の内壁面に位置決めすることが容易となる。
(態様G)
上記態様A〜Fのいずれかの態様において、上記光学部材の反射面は凹面であることを特徴とする。
これによれば、反射面に入射してくる拡散光束を平行化することができ、撮像画像上における光照射手段の調整用の光が写し出された受光画像部(調整用光点)の位置の確認が容易になる。
(態様H)
上記態様A〜Gのいずれかの態様に係る撮像装置を、自動車等の車両などの移動装置のフロントガラス105等の板状窓部材の内壁面側に設置する撮像装置の設置方法であって、上記第一支持部材を上記板状窓部材の内壁面に対して固定した後、上記回転連結機構の回転軸を中心に上記第二支持部材を該第一支持部材に対して相対回転させ、上記板状窓部材の傾斜角度に応じて設定される上記撮像手段の受光面上の目標受光位置に上記光照射手段からの光が受光される回転位置で、上記第二支持部材を固定することを特徴とする。
これによれば、目標方向にチャート画像を設置して、そのチャート画像が撮像装置によって適切に撮像されるように撮像画像を確認しながら、撮像装置の姿勢を調整するという従来の設置作業と比較して、その作業負担を軽減できる。
(態様I)
自動車等の車両などの移動装置のフロントガラス105等の板状窓部材の内壁面側に設置された画像センサ206等の撮像手段によって、撮像領域から該板状窓部材の外壁面へ入射し該板状窓部材を透過した透過光を受光面で受光して該撮像領域の画像を撮像する撮像装置を備えた当該移動装置に搭載されているワイパー107やデフロスタ110等の制御対象機器を制御する車載機器制御システム等の移動装置用機器制御システムであって、上記撮像装置として、上記態様A〜Hのいずれかの態様に係る撮像装置を用い、上記撮像装置が撮像した撮像画像に基づいて上記制御対象機器を制御する画像解析ユニット102、ワイパー制御ユニット106、デフロスタ制御ユニット109等の機器制御手段とを有することを特徴とする。
これによれば、撮像方向が目標方向を向くように適切に設置された撮像装置により撮像された撮像画像に基づいて制御対象機器を制御できるので、制御対象機器の適切な制御が可能とある。
(態様J)
フロントガラス105等の板状窓部材を有する自動車等の車両などの移動装置において、当該移動装置に搭載されている制御対象機器を制御する移動装置用機器制御システムとして、上記態様Iに係る移動装置用機器制御システムを用いたことを特徴とする。
これによれば、制御対象機器を適切に制御できる移動装置を実現できる。