JP4327024B2 - 画像処理システム - Google Patents

Description

本発明は、各種のウィンドウガラスの表面に付着する異物を検出するに適した画像処理システムに関するものである。

車両，船舶，航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラスの表面に付着する雨滴等の液滴及び曇りや塵などは、ウィンドウガラスを通した視認性を低下させる。従来、ウィンドウガラスに付着した異物を画像処理システムによって検出し、その後、各種手段によってウィンドウガラスに付着した異物を除去する方法が知られている。

特許文献１には、２つの光源でウィンドウガラスを照射して、ウィンドウガラスからの反射光を撮像素子で検出し、反射光の強さからウィンドウガラスの外表面に付着した雨滴とウィンドウガラスの内表面に付着した曇りを検出する方法が記載されている。特許文献２には、画像処理システムの構成を簡略化するために、１つの光源とレンズを用いてウィンドウガラスを照射し、ウィンドウガラスからの反射光を撮像素子で検出して、ウィンドウガラスの外表面に付着した異物を検出する方法が記載されている。また、特許文献３には、一台の車載カメラの前方にあるフィルタをモータを用いて機械的に出し入れして複数の条件で画像を取得し、ウィンドウガラスの外表面に付着した異物を検出する方法が記載されている。

特公平０７−８９０９９号公報 特表２００１−５１６６７０号公報 特開平１１−１６０７７９号公報

しかしながら上記従来技術は、２つの光源の反射光を検出するため、撮像素子の独立した領域に反射光をあてる必要があり、そのための光学系が必須となって装置の簡略化が困難であり、また太陽光など外光の影響を除去できないという課題があった。また１つの光源からの反射光を検出する方法は、ウィンドウガラスの外側からの反射光か内側からの反射光かの判別が困難であり、またレンズの焦点をウィンドウガラスにあわせているため自車両前方の白線や先行車両などを同時に検出することが困難であるという課題があった。
また、上記の従来技術では、複数の条件で同時刻の映像を取り込むことや、複数の条件の映像を時間的に連続して取り込むことが出来ない。また、今後は短時間で多数の情報を取得し、高速画像処理を行うために、撮像装置や処理装置の高速化が予想されるが、上記従来技術では機械系の動作が介在するため高速画像処理に対応することは難しい。また、自動車に搭載される製品は、幅広い温度変化や湿度変化の厳しい環境に耐える高い品質が要求されており、上記従来技術のように機械的な可動部を有するものは信頼性の面でも好ましくない。

本発明は、上記の問題点を鑑みてなされたもので、機械的な可動部を用いることなく、一台のカメラを用いて複数の条件の画像を撮像しウィンドウガラスに付着した異物を精度よく検出できる画像処理システムを提供することを目的とする。

上記目的は、ガラスに向けて光を照射する光源と、光源から照射された光がガラスに付着した異物に反射した反射光を撮像する撮像素子と、撮像素子で撮像した画像を処理する画像処理装置を備え、ガラスと撮像素子の間に、反射光の特定波長を透過する光学フィルタを設けて画像処理システムを構成することにより達成される。光学フィルタは、例えばウィンドウガラスの透過率が所定値以上で撮像素子の感度も高い波長域の光を透過するような特性のものを用いる。あるいは、可視領域の波長をカットし、可視領域より長波長側で撮像素子が感度を有する波長域の光を透過するような特性のものを用いる。光学フィルタは、一枚のフィルタの光学特性をフィルタの領域によって異ならせてもよく、あるいは、撮像素子の前に設けられるレンズ又はレンズカバーの特性を上記フィルタと同様の光学特性としてもよい。

本発明によれば、簡略化された構成により、太陽光や周辺光、昼夜に影響されずに、ウィンドウガラスの外側に付着した雨滴と内側に付着した曇りを簡単に分離して検出することができる。また、可動部を設けることなく、一台の撮像装置を用いて複数の条件の画像を撮像できるため、一台の撮像装置の情報に基づいて複数の機能を実現でき、更に撮像装置の小型化にも寄与する。

以下、図面を参照して本発明の実施の形態を説明する。ここでは、主に自動車に適用した場合の実施例について説明する。

図１に、本発明による画像処理システムの一例の模式図を示す。図１（ａ）は側断面図、図１（ｂ）は自動車のウィンドウガラス側から見た正面図である。

本実施例の画像処理システムは、画像処理装置１，第１の光源２，第２の光源３で構成され、第１の光源２，第２の光源３の発光タイミングは画像処理装置１によって制御されている。画像処理装置１は、自動車の室内側に、ウィンドウガラス（フロントガラス）４に対向するように設置されている。第１の光源２は画像処理装置１の側方に配置され、ウィンドウガラス４に向けて光を放射する。一方、第２の光源３は下方からウィンドウガラス４を照射する。

画像処理装置１に設けられた駆動回路を用いて、第１の光源２がウィンドウガラス４に向けて発光する。第１の光源２が発した光は、ウィンドウガラス４が清浄な場合、ウィンドウガラス４を透過する。また、ウィンドウガラス４によって反射された光は下方に向い、画像処理装置１に入射しない。しかし、ウィンドウガラス４の外側に雨滴８が付着している場合、第１の光源２が発した光は、雨滴８によって反射される。第１の光源２の横には、画像処理装置１のレンズ１０が配置されている。このため、雨滴８で反射した光は、画像処理装置１のレンズ１０を通り、所定の光学特性を有する光学フィルタ２０を介して撮像素子３０に入射する。ウィンドウガラス４の外側に雨滴８が付着していない場合に、第１の光源２が発した光は、ウィンドウガラス４を透過して直進し、撮像素子３０に入射することはない。図２（ａ）に、ウィンドウガラス４の外側に多量の雨滴が付着した時に撮像素子３０で撮影した画像の例を示す。雨滴は円形に近い形状として撮影される。特に、ウィンドウガラス４に撥水性を持たせておけば、雨滴はより円形に近い形状で撮影することができる。

次に、第２の光源３は、画像処理装置１の下方である自動車内のダッシュボード６上に配置されている。画像処理装置１に設けられた駆動回路を用いて、第２の光源３がウィンドウガラス４に向けて発光する。第２の光源３が発した光は、ウィンドウガラス４の内側で全反射し、反射光が画像処理装置１のレンズ１０を通って撮像素子３０に入射する。しかし、ウィンドウガラス４の内側に曇り１２が付着している場合は、第２の光源３が発した光は曇り１２で散乱し、一部の光が画像処理装置１のレンズ１０を通り、光学フィルタ２０を介して撮像素子３０に入射する。ウィンドウガラス４の上部が曇っている時に撮像素子３０で撮影した画像の例を図２（ｂ）に示す。曇りにより前方の視界が妨げられる。

図１の実施例では、画像処理装置１からダッシュボード６上に配置した第２の光源３まで制御信号線が必要であり、制御信号線が長くなる。図３に本発明の他の実施例を示す。図３では、本発明の画像処理システムをコンパクト化するために、画像処理装置１，第１の光源２，第２の光源３を同一のケース５の中に組み込んで画像処理システムを構成している。

更に、他の実施例を図４に示す。本実施例では、第２の光源３も画像処理装置１の側方に配置し、第２の光源３からの光がウィンドウガラス４で反射されるケース５の位置に鏡６０を配置している。本実施例では、第２の光源３が照射した光は、ウィンドウガラス４で反射して鏡６０に入射してそこで反射され、更にウィンドウガラス４で反射されて画像処理装置１の撮像素子３０に入射する。鏡６０は、ケース５内に設置するのではなく、ダッシュボードに設置してもよい。なお、第２の光源３からの光は鏡６０で反射されて画像処理装置１のレンズ１０に入射するが、第１の光源２からの光は鏡６０で反射されて画像処理装置１のレンズ１０に入射することがないように、第１の光源２、第２の光源３及び鏡６０の配置を決める。

図３に示した画像処理システムでは、第２の光源３が発した光をウィンドウガラス４の内側で全反射させ、撮像素子３０に入射させるためには、第２の光源３をウィンドウガラス４の近くに配置する必要がある。ケース５によって画像処理装置１や第１の光源２，第２の光源３を囲んでしまうと、ウィンドウガラス４のほかの部分で曇りが発生しても画像処理システム付近のウィンドウガラス４では、曇りの発生が妨げられる可能性がある。そこで、ケース５に空気流通用の通路１１を設けることで、ウィンドウガラス４の他の部分で曇りが発生した場合、画像処理システム付近のウィンドウガラス４にも曇りが発生するようにしている。

図１，図３，図４の実施例では、画像処理装置１と第１の光源２と第２の光源３を用いて構成しているが、画像処理装置１と第１の光源２とを用いて構成してもよいし、あるいは画像処理装置１と第２の光源３を用いて構成してもよい。

本発明の実施例で用いる第１の光源２及び第２の光源３の発光色としては、可視光や赤外光を用いればよい。もし、自動車に搭載できる光源の波長に規制がある場合は、ウィンドウガラス４の透過率のよい波長の中から特定波長を選択すればよい。例えば、図５（ａ）に示すウィンドウガラス４の透過率３２が所定値（図５（ａ）では７０％）以上で撮像素子３０の感度３１も高い波長（波長ｆ_ａ以下。具体的には４００〜６００ｎｍの中の可視光領域の波長）を選べば良い。あるいは、対向車や歩行者を眩惑しないようにするためには、可視光より波長が長くて撮像素子３０の受光感度３１がおよぶ範囲の波長ｆ_b（例えば８００〜１０００ｎｍの中の赤外光領域の波長）を選べば良い。このようにして選択した第１の光源２及び第２の光源３の波長に対応して光学フィルタ２０の特性を選択すれば良い。すなわち、後者の赤外光領域の波長を持つ光源を選択した場合は、可視領域の波長をカットし、可視領域より長波長側で撮像素子が感度を有する波長域の光を透過するような特性の光学フィルタを用いればよい。

光学フィルタ２０の構成例を図６に示す。図６（ａ）は、撮像素子３０の光が入射する側の面を、特定波長を透過するバンドパスフィルタ２１で覆った例である。これは、雨滴、曇りのみを検知する場合の例で、特定波長の光を光源２あるいは光源３より照射して、その波長の光のみを受光できるので、外光の影響を受けることがない。図６（ｂ）は、図６（ａ）と同じ側の片面でも、一部領域のみをバンドパスフィルタ２１で覆った例である。図６（ａ）は撮像素子３０で特定波長の光しか受光できないが、図６（ｂ）は特定波長だけでなく、その他の波長の光も受光できるため、ウィンドウガラス４を通して車外の画像を撮像して処理することができる。更に、ウィンドウガラス４の赤外光透過率が大きい場合は、外光である太陽光による影響を軽減するため、図６（ｃ）に示すように図６（ａ），図６（ｂ）のバンドパスフィルタ２１の光入射側に赤外光カットフィルタ２２を配置してもよい。また、図６（ｄ）のように１つの光学フィルタ２０に赤外光カットフィルタとバンドパスフィルタの領域を持つようにしても良い。ここで、赤外光カットフィルタとバンドパスフィルタ（波長ｆ_c）の透過率の例を図５（ｂ）に示す。バンドパスフィルタとしては、例えば中心透過波長ｆ_cが８５０ｎｍで、透過率が半分になる波長の幅すなわち半値幅が±２０ｎｍの波長を通すものを用いることができる。

図６（ｄ）に示したように、撮像素子３０の一部領域に赤外光カットフィルタを通った光を入射させ、他の領域にバンドパスフィルタを通った光を入射させるようにすると、ウィンドウガラス４に付着した雨滴や曇りの検知だけでなく、車両や車線など他の物体の検知を行うことが可能であり、その実施例を図７に示す。本実施例は、ヘッドライトの配向制御機能と雨滴検知機能を一台の撮像装置で同時に成立させる場合を示す。 図７（ａ）に示すように、車載用画像処理装置は車両前方に設置され、フロントガラス越しに前方の景色を撮影し、撮像素子３０によって図７（ｂ）のような画像を取り込む。配光制御機能は図７（ｂ）の画像から画像処理を行い、図７（ｃ）のように先行車２１０のテールライト２３０及び対向車２２０のヘッドライト２４０を抽出する。そして図７（ｃ）の画像から先行車及び対向車の位置を計測し、先行車及び対向車の位置に応じて自車のヘッドライトの配向を制御する機能である。なお、２５０は地平線である。

従って、図７（ｂ）のように、遠方の車両のヘッドライト及びテールライト、近傍の車両のヘッドライト及びテールライトが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。ここで、先行車を認識する際に、先行車のテールライトで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールライトを検出するのは困難であり、テールライトの赤色を認識する必要がある。

しかしながら、赤色を認識するために撮像素子３０としてカラー撮像素子を用いる場合、カラー撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールライトの赤色を示す部分を抽出することが困難である。そこで、例えば図８のような赤外光をカットする特性をもつフィルタを、図７（ａ）の光学フィルタ２０の位置か、又はレンズ１０の前方に設置することで、赤色とそれ以外の色の区別をすることが容易になる。これにより、外乱となる他の色の光を除去できるため、テールライトの検出精度を向上させることができる。ここで、図８のような赤外光をカットする特性を持つフィルタはカットする波長ｘや透過率の低下の仕方などは、それぞれの用途や撮像素子の性能、図５に示すウィンドウガラス４の透過率などに適した特性のものを選択する。典型的には、図８の波長ｘは約６００ｎｍとすればよい。

以下では、光源２の波長として赤外波長、例えば８５０ｎｍとする。赤外波長の光を照射する光源２は、例えば発光ダイオード（ＬＥＤ）や半導体レーザなど種々のものが利用可能である。ここで赤外波長の光を照射する光源２は、例えば図９（ａ）に示すように、ウィンドウガラス４に付着した雨滴８で反射した光が撮像素子３０に入射する角度に設置し、フロントガラス４に向けて出射する赤外波長の光４３は放射状の光でも平行光でも良い。

ここで、水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源２は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。

そこで、例えば図９（ｂ）に示すように、光源２の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは図９（ｃ）のような、透過率のピークを光源２の発光波長とほぼ一致させたバンドパスフィルタを、図９（ａ）における光学フィルタ２０の位置かレンズ１０の前方に設置する。これにより、必要となる光源２の発光波長以外の光を除去し、検出される光源２の光量を相対的に大きくできる。ここで図９（ｂ）でカットする波長ｙや透過率の低下の仕方、また、図９（ｃ）でバンドパスフィルタの透過率ピーク波長ｚや透過率，半値幅などの特性はそれぞれの用途や撮像装置の性能などに適したものを選択すればよい。このようなフィルタを用いて撮像素子３０で撮影した雨滴の画像の例を図９（ｄ）に示す。

図１０は、領域によって光学特性を異ならせたフィルタ例を示す図である。例えば画面上部２／３で配光制御を、画面下部１／３で雨滴検知を行うように画像処理を行う領域に分け、これら二つの機能を同時に成り立たせるために、一枚のフィルタに赤外カット特性を持つ領域（以下、「赤外カット領域」と称する）５１ａと赤外領域に透過率のピークを有するバンドパス特性を持つ領域（以下、「赤外バンドパス領域」と称する）５２ａを分けて作成する。例えば図１０（ａ）のような構成である。このようなフィルタを一枚使うことで、従来は機能の数だけ必要であった撮像部が一つで済むようになり、大幅な小型化，コスト低減が可能となる。

また、フィルタを一枚にすることで、フィルタ間の反射が低減され、画像処理に不利となる外乱光を減らすことができる。また、機械的な可動部が無くなり、フィルタが固定となるため、画像を取り込む速度が高速になっても複数の映像を連続時間的に撮り込むことが可能となる。

ここで、フィルタの領域の分け方は図１０（ｂ）〜（ｄ）に示すように、様々な方法を取ることができる。しかしながら図７に示すように、対向車のヘッドライト及び先行車のテールライトは、主として画面上部に写ることが多く、画面下部には自車近傍の路面が写るのが通常であるから、配光制御においては画面上部の情報が重要であり、画面下部の情報はあまり重要でない。よって、配光制御機能と雨滴検知機能を両立させる場合には、上記のように画面下部を雨滴検知用の赤外バンドパス領域とし、残りの領域を配光制御用の赤外カット領域とする図１０（ａ）の構成が好適である。

図１０（ａ）に示す光学フィルタ２０を有する撮像装置を図１１に示す。また光学フィルタ２０を図１１に示すような撮像装置に取り付けた場合に取得される映像を図１２に示す。ここでレンズ１０の特性により、撮像対象となる実際の光景と撮像素子３０に集光された映像とでは天地が逆になる。そこで、画面下部を雨滴検知用の赤外バンドパス領域とするためには、光学フィルタ２０の天側を赤外バンドパス領域５２ａとする。この撮像装置を用いて撮影した車両と雨滴の画像の例を図１２に示す。

撮像部を上記のような構成とし、画像処理部において、赤外バンドパス領域を透過した光が集光する画像（以下、「撮像素子上の赤外バンドパス領域」と称する）を用いて雨滴検知を行い、赤外カット領域を透過した光が集光する画像（以下、「撮像素子上の赤外カット領域」と称する）を用いて配光制御を行うことで、一枚のフィルタで、機械的可動部を設けることなく、雨滴検知機能と配光制御機能の両立を実現する事が出来る。

ここで撮像部は、図１１に示すように、光学フィルタ２０と撮像素子３０との間に空隙がある構成としてもよいが、光学フィルタ２０を撮像素子３０に密着させる構成とした方が、光学フィルタ２０上の領域の境界と、撮像素子３０上の領域の境界を一致させやすくなる。

なお、撮像素子３０上の赤外カット領域及び赤外バンドパス領域は、撮像素子３０の画素の番号によって定めることが出来る。すなわち、図１０（ａ）の例であれば、撮像素子３０の上端から例えばＮ画素目までを赤外バンドパス領域とし、撮像素子３０の下端から例えばＭ画素目までを赤外カット領域とすることも出来る。

また、赤外光バンドパス領域を透過して撮像素子３０に入射する光の光量は、赤外カット領域を透過して入射する光の光量よりも小さい。このため、走行環境，光線状態によっては、撮像装置のシャッタ速度を赤外カット領域の撮像素子３０が飽和しないようなシャッタ速度に設定すると、赤外光バンドパス領域の画像は露光不足により暗くなるため、自車近傍にいる車両のテールライトやヘッドライトが見えなくなる場合もある。そこで、図１３（ａ）に示すように、撮像部と画像処理部からなる画像処理装置１を水平方向から前傾させることで、図１３（ｂ）に示すように遠方の車両のテールライト及びヘッドライト，近傍の車両のテールライト及びヘッドライトが、赤外カット領域に写るようになり、配光制御機能を成立させることができる。ここで、前傾させる角度は車両の高さ，レンズ１０及び撮像素子３０の大きさ及び配置等に依存するが７°程度が好適である。また、撮像部だけを前傾させる構成としても良く、あるいはレンズの画角を下側に拡大し、撮影範囲を広げる構成としても同様の効果が得られる。

他の実施例として、車線検知機能と雨滴検知機能を同時に成立させる場合について説明する。まず雨滴検知機能を実現するためには、既に述べたように、図１０（ａ）に示すようにフィルタの上部を赤外バンドパス領域とすればよい。

一方、車線検知機能を実現するためには自車近傍の車線を検出することが特に重要である。なぜなら図１４に示すように、車線は、直線８１だけでなくカーブ８２があるため、遠方になるほど画面内での車線の移動量が大きくなるが、逆に自車近傍の車線は車線内を走行しているときには画面内での移動量が小さいという特徴があるからである。

よって、上記のようにフィルタの上部を赤外バンドパス領域とすると、車線検出機能で特に重要となる自車近傍の画像情報は画面の下側に写るので、フィルタの上部すなわち赤外バンドパス領域を透過して撮像素子３０に入射することになるが、車線の画像情報は可視光領域の波長であるため、上記のバンドパス特性によって減衰されて透過光量が低くなり、特に夜間の車線検出が困難になる。

上記に加えて、車線形状からカーブも検知しようとすると、自車近傍のみならず遠方の車線も検知する必要があるため、車線検出においては遠方の画像も不要な情報ではなく、赤外バンドパス領域をフィルタの下部に設置して、この領域を用いて雨滴検知を行うことも望ましくない。

そこで、図１３（ａ）に示すように画像処理装置１を例えば７°前傾させると、図１３（ｃ）に示すように、遠方から自車近傍までの車線全てを、赤外バンドパス領域外に映すことができ、雨滴検知機能と車線検知機能を同時に実現することが可能となる。ここで、傾けるのは撮像部のみでもよい。また、画角の広いレンズを用いて撮影範囲を広げることでも、雨滴検知に必要な領域を確保しつつ、遠方から自車近傍までを映すことが可能となる。

通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールライトなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、例えば図１０（ａ）のようなフィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域に割り当てることができる。前記フィルタを用いることでこれまで画像処理には不向きとされていた領域での画像処理が可能となる。また、バンドパスの透過率と同じ発光波長である赤外光源を備え、照射することで、道路上にある障害物を検知したり、先行車の位置を特定したりすることも可能となる。

なお、これらの実施例では、最良の構成としてレンズ１０と撮像素子３０との間にフィルタを設ける構成を用いて説明したが、レンズ又はレンズの前面に取り付けられるレンズカバーを上記のフィルタと同様の光学特性を有する構成としても、同様の効果が得られる。

図１５を参照して、本発明の画像処理システムを用いて、ウィンドウガラス４の外側に付着した雨滴とウィンドウガラス４の内側に付着した曇りを検出する方法について述べる。図１５（ａ）は光源２及び光源３の発光回路構成例を示す図、図１５（ｂ）は発光タイミング、雨滴と曇り検出タイミングの例を画像の垂直同期信号に同期して示した図である。光源２を発光するには、画像処理装置１がトランジスタ９−１のベース電圧を制御することで光源２に所定の電流を流し、また、光源３を発光するには、トランジスタ９−２のベース電圧を制御することで光源３に所定の電流を流す。まず、ウィンドウガラス４の外側に付着した雨滴を検出する場合は、画像処理装置１が第１の光源２を発光させて、ウィンドウガラス４を照射する。ウィンドウガラス４の外側に雨滴が付着している場合は、雨滴によって第１の光源２が発した光が散乱して一部が反射光として撮像素子３０に入射する。撮像素子３０は入射光を画像として画像信号を生成する。その画像信号を画像処理プロセッサ（図示していない）に入力する。そして、その画像信号を画像処理プロセッサで処理することで、ウィンドウガラス４の外側に付着した雨滴を検出することができる。ここでは画像処理プロセッサを画像処理装置１の中に配置しているが、画像処理装置１とは別の装置として配置してもよい。

画像処理プロセッサによる雨滴検出プログラムのフローの一例を図１６に示す。図１６（ａ）の処理では画像処理プロセッサは、ステップ１において、撮像素子３０から光源２を点灯したときの画像信号を入力する。そして画像信号に対して、ステップ２で、例えば公知であるラプラシアンフィルタを用いてエッジ検出処理を行う。このエッジ検出処理により雨滴の領域と、雨滴でない領域の境界を強調した画像を作成することができる。

次に、ステップ２で作成したエッジ画像に対して、ステップ３で円検出処理を実行する。円検出処理としては公知である一般化ハフ変換を行えばよい。ステップ３で円検出を行った後で、ステップ４で検出した円の個数を数える。次に、ステップ５で円の個数を雨量に変換して、雨量を求めて処理を終了する。

ウィンドウガラス４の外側表面に撥水処理を施しておけば、雨滴が円形となるので処理に好都合である。また、レンズ１０の焦点をウィンドウガラス４の位置でなく、遠方にフォーカスするようにしておけば、雨滴はぼやけて、より円形として撮像することができるため、より雨滴を検出しやすくできる。雨滴を円形として個々に区別できれば、所定時間毎の雨量を画像処理装置１で計算できる。

また、他の処理例として図１６（ｂ）に示す方法が考えられる。図１６（ｂ）では、画像処理プロセッサは、ステップ２１で光源２を点灯したときと消灯したときの画像信号を撮像素子３０から入力する。そしてそれらの画像信号に対して、ステップ２２で、輝度差を計算する。次に、ステップ２２で作成した輝度差に対して例えば平均値を求めて、ステップ２３で予め定めた閾値と大小判定処理を実行する。もし、輝度差が閾値より大きい場合は、ステップ２４で雨、汚れを検出したと判定し、ステップ２２で作成した輝度差からステップ２５で雨量に変換して、処理を終了する。もし、輝度差が閾値より小さい場合は、処理を終了する。この方法によれば、例えば霧雨のように雨滴が円形として撮像できない場合でも、雨量を検出することができる。

図１６（ａ）、（ｂ）の処理は独立に用いても良いし、組合せて用いても良い。組合せることで、より精度良く雨量を計測することができる。画像処理装置１内の記憶部に、図１６（ａ）、（ｂ）に示す処理フローのプログラムを記憶しておけばよい。

画像処理装置１は、図１６（ａ）、（ｂ）により計算した雨量に基づいて、ワイパーあるいはウォッシャーを制御することができる。ワイパー、ウォッシャーの制御構成例を図１７に示す。図１７は、ワイパー／ウォッシャー制御部１００、ワイパー１６０、ワイパー１６０を動かすモータ１５０及びウォッシャー制御部１７０で構成される。

ワイパー／ウォッシャー制御部１００でワイパー１６０を制御する処理フローの例を図１８に示す。図１８では、まずステップ１００でシフトレバーの位置がパーキングレンジ（Ｐレンジ）に入っているかどうかを判定し、Ｐレンジに入っていれば、ワイパー１６０の動作を禁止する（ステップ１０１）。これにより、洗車時のワイパー１６０の誤動作を防止できる。Ｐレンジに入っていない場合は、ステップ１１０に進んでワイパー１６０を起動する。

ステップ１１０でワイパー１６０を起動する方法の例を図１９に示す。図１９では、横軸に時間、縦軸に雨量をとり、雨量が閾値を超えたときワイパー１６０を起動する。ステップ１１１で車速Ｖが０かどうかを判定し、Ｖ＝０ならステップ１１２でワイパー１６０を起動する雨量判定閾値を大きくする。ステップ１１６で待ち時間を所定値とする。ステップ１１１で判定した車速が０でない場合は、雨量判定閾値を所定値かあるいは車速に応じて変更する。ステップ１１３では車速に応じて閾値を変更する。そして、ワイパー１６０を起動した後、次にワイパー１６０を起動するまでの待ち時間を計算する。ステップ１１４では車速Ｖに反比例した待ち時間としている（ｋは比例係数）。車速Ｖだけでなく、雨量や雨の粒径に応じて下式のように決めてもよい。ここで、ｋ１，ｋ２，ｋ３は比例係数である。

待ち時間＝ｋ１／雨量＋ｋ２＊粒径＋ｋ３／車速
この待ち時間により、ワイパーブレードが雨滴を払拭したことにより生じる雨の膜や雨に筋等を検出してすぐにワイパー１６０を起動しないようにすることができる。次に、ステップ１１５で待ち時間だけ待ち、ステップ１０２で雨量とワイパー１６０を起動する閾値とを比較する。雨量が閾値より大きい場合は、ステップ１０３でワイパー１６０を起動して、処理を終了する。雨量が閾値より小さい場合は、処理を終了する。

また、他のワイパー起動方法の例を図２０に示す。図２０に示したステップ１２０は、図１８のステップ１１０の代わりに用いることができるもので、ワイパー制御として用いられている間欠時間（インターバル）を制御するものである。図２０において、ｋ４，ｋ５，ｋ６は比例係数である。例えば、計測した雨量、雨の粒径を用い、インターバルを制御する。雨量が多いときや粒径が小さいときはインターバルを短くし、逆に雨量が少ないときや粒径が大きいときはインターバルを長くすればよい。このとき、自車の走行速度Ｖに応じてインターバルを変更してもよい。例えば、走行速度が早い場合は雨滴が風速によりウィンドウガラス４上を流れていくので、インターバルを長めにしてもよい。

雨滴の実施例では粒径を計測しているが、これはウィンドウガラス４の撥水性がよいほど雨滴が円形に近くなり、粒径の計測しやすくなる。このウィンドウガラス４の撥水性の程度を、図１６で入力した画像から、雨滴の形状、反射輝度等を用いて判定することができる。また、ワイパー１６０を起動した後の画像を入力して、拭き残しの雨滴の量や形状（筋状の雨滴）などを検出すれば、ワイパー１６０のブレードの傷みを検出することもできる。これら検出した撥水性の程度やブレードの傷みは、図１７のモータ１５０に流れる電流を検出して、モータ１５０のトルクを推定し、このトルクが大きくなったら撥水性が悪くなった、あるいはブレードの傷みが生じたと判定することもできる。そして、これら検出した撥水性の程度やブレードの傷みをドライバーに警報することで、常に良好な視界を確保することが可能となる。

図１６（ｂ）で説明したステップ２４で検出した雨や汚れでワイパー１６０を起動した後、同じに位置に更に検出した場合は、汚れがウィンドウガラス４に付着していると判定し、ウォッシャー制御部１７０を制御して水をウィンドウガラス４にかける制御を行ってもよい。

また、画像処理装置１がワイパー１６０の払拭周期（待ち時間やインターバル時間）を制御できるので、ワイパー１６０の払拭周期に応じて画像処理装置１が撮像素子３０から画像を取得する周期を変更可能となり、雨量が少ない場合は長い周期で雨滴の検出処理を実行し、雨量が激しい場合は短い周期で雨滴の検出処理を実行することができ、画像処理の効率が向上する。

更に、図１６で入力した画像を基に街灯や車のライトによる外界の明るさを計測し、その明るさによりワイパー１６０の払拭周期を変えてもよい。例えば、明るいときに払拭周期を早くし、暗いときに遅くする。これにより、霧雨のような場合、街灯や車のライトが雨滴で散乱して、視界が不良になるのを抑えることができる。

また、計算した雨量に基づいて、フォグランプの点灯／消灯あるいはハイビームの禁止／許可を制御することもできる。例えば、図２１に示すように、雨量が多いときはフォグランプを自動点灯し、ハイビームを禁止すればよい。図２１では、雨量が多いときにフォグランプが点灯していない場合は自動点灯するかあるいは点灯を促す警報をドライバーに出力し、フォグランプが点灯している場合はなにもしない。そして、ハイビームが点灯していなければ点灯禁止し、ハイビームが点灯している場合は自動消灯するかあるいは消灯を促す警報をドライバーに出力する。また、雨量が少ないときはフォグランプの点灯、消灯の制御は行わず、ハイビームについては先行車あるいは対向車の位置（距離、方向）に応じて自動点灯、自動消灯の制御を行う。これにより、雨でヘッドライトの光が散乱するのを抑えることができ、視界を良好にすることができる。

次に、室内気温と外気温との差によってウィンドウガラス４の内側に付着した曇りを検出する場合は、画像処理装置１が第２の光源３を発光させて、ウィンドウガラス４を照射する。ウィンドウガラス４の内側に曇りがない場合は、ウィンドウガラス４の内側で第２の光源３からの光が全反射して撮像素子３０に入射する。ウィンドウガラス４の内側に曇りがある場合は、曇りによって第２の光源３からの光が散乱して一部が反射光として撮像素子３０に入射する。画像処理装置１内の記憶素子には、予めウィンドウガラス４の内側に曇りがないときの反射光の最大明るさを初期値として記憶しておく。そして、撮像素子３０からの画像信号を入力し、画像の最大明るさを求め、記憶していた初期値との差分を画像処理プロセッサによって計算する。画像処理プロセッサによって計算された差分が大きい場合は、ウィンドウガラス４の内側に曇りが発生したと判定する。

図２２に、曇り検出処理の一例のフローを示す。画像処理プロセッサは、ステップ１１で第２の光源３を点灯してウィンドウガラス４を照明し、撮像素子３０から画像信号を入力する。そしてステップ１２で、画像信号からウィンドウガラス４の内側で反射した光の最大明るさを検出する。ステップ１３で、検出した明るさと記憶素子に記憶した初期値との差分を算出する。ステップ１４で、差分を曇り程度に変換することで、曇りが検出され、図２２のフローを終了する。画像処理装置１がウィンドウガラス４の内側に付着した曇りを検出した場合、画像処理装置１とエアコンディショナを連動させて、曇りを除去するために、自動車の室内の通風系，温度，風量等を制御する。

次に、本発明の他の実施例について説明する。画像処理システムにおいて、画像処理装置１が取得した画像を処理して外光の明るさを計測し、計測した外光の明るさに基づいて、例えば昼夜を判別して第１の光源２と第２の光源３が照射する位置を変更するように、第１の光源２と第２の光源３を画像処理装置１によって制御してもよい。

具体的に図２３及び図２４に示した模式図を用いて説明する。本実施例では、第１の光源２と第２の光源３を複数個の発光素子で構成する。図２３及び図２４の例では、２個の第１の光源２−１，２−２と２個の第２の光源３−１，３−２を用いる。

例えば、昼間であれば太陽光を含んだ周辺光が撮像素子３０に入射されるため、第１の光源及び第２の光源が消灯しているタイミングで画像を撮像すると明るい画像が得られる。従って、撮像素子３０で撮影した画像の明るさを画像処理プロセッサで解析すれば、昼夜を判別することができる。撮像素子３０は前方を向いているので、自車両が走行する道路面も画像中に含まれる。もし昼間であれば、撮像素子３０で撮影した画像の中で、道路面は暗い領域となる。そこで、撮像素子３０が撮影した画像が暗い領域を含んでいれば、暗い領域を照射するように光源を選択してもよい。光源２−２は、撮像素子３０のほぼ中心位置に配置された光源２−１よりもわずかに下方に設置され、画像の道路面付近のウィンドウガラス４を照射できるようにしてある。また光源３−２は、光源３−１よりもウィンドウガラス４側に配置され、画像の道路面付近のウィンドウガラス４を照射できるようにしてある。もし昼間であれば、図２４に示した駆動回路において、光源２−２あるいは光源３−２が発光するようにトランジスタ９−３あるいはトランジスタ９−４のベース電圧を制御することで、光源２−２あるいは光源３−２に所定の電流を流すようにする。そうでなければ、光源２−１あるいは光源３−１が発光するようにトランジスタ９−１あるいはトランジスタ９−２のベース電圧を制御することで光源２−１あるいは光源３−１に所定の電流を流すようにする。この結果、太陽光など明るい周辺光の影響を少なくして、雨滴や曇りを検出することができる。

また、画像処理装置１が取得した画像を処理して外光の明るさを計測し、計測した外光の明るさに基づいて、第１の光源２と第２の光源３が照射する光の強さを変更する画像処理システムの制御方法も考えられる。自動車周辺の外光の強さは、上述した昼夜判定と同様に画像の明るさにより判別できる。そして、外光が明るい場合は光源の発光の強さを強くし、外光が暗い場合は光源の発光の強さを弱くする。本制御方式も図２４の構成を用いて行うことができる。例えば、トランジスタ９−１，９−２，９−３，９−４のベース電圧を画像処理プロセッサによって制御することで、光源２−１，２−２，３−１，３−２に流す電流を制御でき、光源２−１，２−２，３−１，３−２の発光の強さを変更することができる。本制御方式を用いた画像処理システムによれば、昼間でも外光の影響を受けることなく雨滴，曇りを検出することができる。また、光源２−１，２−２，３−１，３−２に赤外光を用いる場合、夜は他車両や歩行者に幻惑を与えることなく雨滴，曇りを検出することができる。

また、本発明の他の実施例では、図２５（ａ）に示すように、第２の光源３をアレイ状に配列した複数の光源によって構成する。図２５（ａ）に示す例では、４つの光源３−１１，３−１２，３−１３，３−１４で第２の光源３を構成している。図２５（ｃ）にはアレイ状に配列した複数の光源の点灯回路構成例を示す。図２５（ｃ）の回路では４つの光源３−１１，３−１２，３−１３，３−１４は同時に点灯するように制御される。あるいは、図２５（ｄ）に示す複数のトランジスタ９−２１〜９−２４を用いて光源を点灯するようにしても良い。図２５（ｄ）の回路によれば、４つの光源３−１１，３−１２，３−１３，３−１４は１個ずつ順番に点灯するように制御される。本実施例の光源を用いれば、ウィンドウガラス４における曇りの程度だけでなく、曇りの進行方向や曇り進行速度をも画像処理プロセッサなどを用いて計測することができる。

例えば、図２５（ｂ）に示すようにウィンドウガラス４の内側上部に曇りが発生した場合を考えると、ウィンドウガラス４からの反射光の明るさが、光源３−１１からの反射光が最初に暗くなり、次に光源３−１２からの反射光が暗くなり、続いて光源３−１３，光源３−１４の順に反射光が暗くなっていったとすると、それはウィンドウガラス４の内側の曇りが光源３−１１から光源３−１４の方向に進行していることを表している。ウィンドウガラス４からの反射光が、光源３−１４から光源３−１１の順に暗くなっていけば、ウィンドウガラス４の内側の曇りの進行方向は、上記例とは逆方向となる。

更に、光源３−１１からの反射光が暗くなって、次に光源３−１２からの反射光が暗くなるまでの時間間隔，光源３−１２が暗くなって次に光源３−１３が暗くなるまでの時間間隔を求めることで、ウィンドウガラス４の内側における曇りの進行速度を計算することができる。この場合は、光源３−１１〜３−１４の間隔も計算に用いるので、記憶素子に記憶しておく必要がある。本実施例によれば、ウィンドウガラス４の周辺から曇り領域が進展してきているのか、あるいは曇り領域が減少しているのかという情報とともに、その速度がわかるため、デフロスタからの風量をきめ細かく制御でき、ウィンドウガラス４の曇りを効率的に除去することができるようになる。

ウィンドウガラス４の内側に曇りを検出した場合、まず、エアコンを制御して曇りを除去した後、雨滴検出処理によって検出した雨量によりワイパーを制御するようにしてもよい。これにより、ウィンドウガラス４の曇りにより雨滴が検出しにくくなることを防止することができ、また、図１６の雨滴検出処理結果の精度を向上することができる。

本実施例の画像処理システムを用いれば、ウィンドウガラス４の雨滴や曇りを精度良く検出でき、ワイパーやデフロスタをきめ細かく制御できるので、運転手にとって前方の視界が良好になって車線や前方車を検出しやすくなる。そのため、検出した車線や前方車の情報に基づいて、自車両の制御内容を変更することができる。

また、本実施例の画像処理システムではレンズ１０の焦点距離を遠方に固定していたが、ズームレンズ等を用いることで焦点距離を変化させ、ウィンドウガラス４の位置及び自動車よりも遠方に焦点を合わせて画像を取得するように構成してもよい。この構成の画像処理システムによれば、遠方と近傍で鮮明な画像を得ることができるため、遠方を走行する先行車のテールランプや対向車のヘッドランプの検出と、ウィンドウガラス４に付着した雨滴や曇りの検出を同一の画像処理システムで行うことができる。

ズームレンズ等により焦点距離を変化させるには時間が必要である。焦点距離が変化する時間を削減させるために、画像処理装置１に設けたレンズ１０は、口径比が所定値以上（例えばＦ２．５以上）のレンズとしてもよい。本構成の画像処理システムによれば、遠方に焦点を合わせておいても、遠方と近傍の画像のボケを減らすことができるため、遠方を走行する先行車のヘッドランプや対向車のテールランプの検出と近傍のウィンドウガラス４に付着した雨滴や曇りの検出が容易にできる。

また、画像処理装置１が画像を処理して、雨滴や曇りを検出する際に、画像を処理する領域、即ち第１の光源２と第２の光源３が照射する領域に応じて雨滴や曇りを検出する閾値を変更するように構成してもよい。図１や図２３に示すように、ウィンドウガラス４が傾斜している場合、撮像素子３０によって取得した画像内の雨滴の大きさや反射光の強さが異なることが起こるため、このように検出閾値を変更することで良好に雨滴や曇りを検出することができる。

更に、本発明の画像処理システムを搭載した自動車においては、画像処理システムのウィンドウガラスの異物検出結果を用いて、ワイパーやデフロスタを自動制御することもできる。さらに、本発明の画像処理システムを搭載した自動車においては、ウィンドウガラスの異物が除去できるため、前方の視界が良好になって車線や前方車を検出しやすくなり、ヘッドランプの配光制御，車間距離制御，車線逸脱警報など自車両の制御性が向上する。

ウィンドウガラス４の領域のうち、第１の光源２及び第２の光源３、或いは何れか一方から照射された光の反射光を、撮像素子３０で撮像する領域に、赤外波長の光を透過する特性を持たせるようにしてもよい。近年の自動車のウィンドウガラス４は、運転者の日射からの不快要素軽減のため、赤外カットコーティングされているものが多くなっている。この場合、第１の光源２及び第２の光源３からの赤外波長が吸収されてしまうため、充分な反射光が得られず、雨滴検出性能が低下してしまう。そのため図２６に示すように、第１の光源２及び第２の光源３或いはその何れか一方から照射された光の反射光を撮像素子３０で撮像する領域４０に対して、赤外波長の光を透過するように、例えば赤外カットコーティングを塗布しない、或いは剥がすなどの処置を施すと、反射光を効率よく得られるようになり、雨滴検出性能を向上させることができる。

また、図２７に示すように、ウィンドウガラス４の領域のうち、第２の光源３から照射された光の反射光を撮像素子３０で撮像する領域５０を、曇りが発生しやすくなるよう処理を施してもよい。例えば、その領域５０の部分をすりガラスにする、或いは撥水コートを塗布するなどによって曇り易くすることにより、ウィンドウガラス４全面における曇りの発生をいち早く検出し、運転者の視界が妨げられる前にデフロスタを制御することができるようになる。

画像処理装置１に設置するレンズ１０の焦点は、無限遠とウィンドウガラス４の間としてもよい。前述したように、雨滴８を検出するためにはレンズ１０の焦点がウィンドウガラス４の表面にある雨滴８に合っているよりもむしろ、多少ピンボケが発生したほうが円としての認識率が高くなり、雨滴検出性能が向上する。さらに、無限遠にレンズ１０の焦点が合っていると、遠方を走行する先行車のテールランプを検出する時、特に撮像素子３０がカラーで画素数の少ない補色フィルタで構成されている場合、撮像素子３０上のテールランプの大きさが１〜４画素程度になると色再現ができずに赤と認識されない場合があり、正確な先行車のテールランプの検出が困難になる。レンズ１０の焦点を無限遠よりも手前に合わせることにより、先行車のテールランプがボケて４画素以上の大きさになり、撮像素子３０において正確に色が再現できる。これにより、雨滴検出と先行車のテールランプの検出を同時に満たすレンズ１０の焦点を、固定することが可能になる。

また、本発明によると、フロントガラスに付着した雨滴や曇りなどの異物を検出すると同時に、先行車のテールランプの検出に行うことが可能である。

本発明は、上記実施例で示した自動車だけでなく、鉄道車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラスの表面に付着する雨滴等の液滴及び曇りや塵などの検知にも用いることができる。

本発明による画像処理システムの一例の模式図。 撮像素子で撮影した雨滴、曇りの画像の例を示す図。 本発明による画像処理システムの他の例の模式図。 本発明による画像処理システムの他の例の模式図。 光学フィルタの光学特性の説明図。 光学フィルタの模式図である。 配光制御機能の一例を説明する図。 フィルタの赤外光カットの特性を示す図。 雨滴検知機能の一例を示す図。 光学フィルタの構成例を示す図。 撮像部の構成例を示す図。 撮像された画像の説明図。 撮像部又は撮像装置を傾けることにより得られる効果を説明するための図。 車線検知を行う上で必要となる領域を説明するための図。 光源の発光駆動回路と画像処理装置の動作の一例を示す図。 雨滴検出処理の手順を示すフローチャート。 ワイパー、ウォッシャー制御を説明するための図。 ワイパー制御処理のフローチャート。 ワイパー起動方法の例を説明する図。 ワイパー制御処理に用いられる他のステップを説明する図。 フォグランプ、ハイビームの制御方法の例を説明する図。 曇り検出処理の手順を示すフローチャート。 本発明による画像処理システムの他の例の模式図。 光源の発光強度制御回路の例を示す図。 複数の発光体からなる第２の光源及びその使用例を示す模式図。 本発明による画像処理システムの他の例の模式図。 本発明による画像処理システムの他の例の模式図。

符号の説明

１…画像処理装置、２…第１の光源、３…第２の光源、４…ウィンドウガラス、５…ケース、６…ダッシュボード、７…熱伝導部材、８…雨滴、９−１〜９−４…トランジスタ、１０…レンズ、１１…通路、２０…光学フィルタ、３０…撮像素子、４０…雨滴検知領域、５０…曇り検知領域、２１０…先行車、２２０…対向車、５１ａ，５１ｂ，５１ｃ，５１ｄ…赤外カット領域、５２ａ，５２ｂ，５２ｃ，５２ｄ…赤外バンドパス領域、８１…直線、８２…カーブ、１００…ワイパー／ウォッシャー制御部、１５０…モータ、１６０…ワイパー、１７０…ウォッシャー制御部

Claims (4)

1. ガラスに向けて光を照射する光源と、
   前記ガラスに付着した曇りによって反射された前記光源からの光を撮像する撮像素子と、
   前記撮像素子で撮像した画像を処理する画像処理装置とを備え、
   前記撮像素子の前方にレンズを有し、当該レンズの焦点は前記ガラスの位置よりも遠方に設定され、
   前記ガラスの領域のうち、前記曇りによって反射された前記光源からの光を前記撮像素子が撮像する領域が曇りやすく設定されていることを特徴とする画像処理システム。
2. 請求項１記載の画像処理システムにおいて、前記画像処理装置は前記撮像素子で撮像した画像を処理してガラスの曇り検出を行い、曇りを検出したときデフロスタを駆動することを特徴とする画像処理システム。
3. 請求項１記載の画像処理システムにおいて、前記領域はすりガラスになっていることを特徴とする画像処理システム。
4. 請求項１記載の画像処理システムにおいて、前記領域は撥水処理されていることを特徴とする画像処理システム。

Images