JP6117634B2 - レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム - Google Patents

Description

本発明は、カメラ等のレンズへの付着物を検知するレンズ付着物検知装置、レンズ付着物検知方法、および、レンズ付着物検知装置を備えた車両システムに関する。

従来、車線変更時に、車両に搭載されたカメラによって、車両の後方の死角に存在する他の車両や歩行者を検出し、警告音や表示灯によって運転者に注意を促すシステムが知られている。また、カメラによって道路上の白線を検知し、運転者が車線から逸脱したときに、警告音や表示灯によって運転車に注意を促すシステムなども知られている。さらに、後方から接近してくる車両を検知して警報するシステム、駐車枠を検知して駐車を支援するシステムなども知られている。以下、画像認識技術を使った車載システムを画像センシングアプリケーションと呼ぶ。

このようなシステムに用いられるカメラは、車両の車外に設けられている場合があり、さらに、車両走行中に用いられるため、レンズ表面に泥はねなどの汚れが付着しやすい。この汚れの付着がひどくなると、カメラによる被写体の検出精度が低下し、前述した車両や歩行者を検知するシステムや白線を検知するシステムなどの画像センシングアプリケーションの性能に影響することがある。このため、運転者等が汚れに気付いたときに、エアや洗浄液をレンズに噴射して、汚れを除去している。

しかしながら、運転者が汚れに気付かずに放置してしまうことがあるため、レンズの汚れを自動で検出し、運転者に汚れの発生を通知して洗浄を促したり、自動で洗浄するための汚れ検出装置が開発されている（例えば、特許文献１参照）。この特許文献１に記載の汚れ検出装置では、異なるタイミングでカメラによって撮影された２枚の画像について、それぞれ濃度値を求め、それらの差分を抽出し積算することで、積算画像を取得している。この積算画像において、濃度値が所定の濃度値以下の領域、すなわち、時間の経過で変化が生じない領域が、汚れが付着している領域と判断される。そして、この汚れの付着領域がカメラによる画像処理に影響を与える面積であれば、レンズが汚れていると判断し、汚れ付着信号を運転者や洗浄装置に発信している。

特開２００３−２５９３５８号公報

しかしながら、上記特許文献１に記載された汚れ検出装置では、汚れではないが経時変化が少ない景色や被撮影物（例えば、長く続くガードレール、橋の欄干、歩道など）も、差分の積算画像の濃度値が高くなるため、汚れと誤判定されることがある。そのため、汚れなどのレンズの付着物のみを検知することができる高精度な技術の開発が求められている。

本発明は、上記の事情に鑑みてなされたもので、カメラ等のレンズに付着した泥、ゴミ、水滴などのレンズ付着物のみを高精度に検知することが可能なレンズ付着物検知装置、レンズ付着物検知方法、および、レンズ付着物検知装置を備えた車両システムを提供することを目的とする。

本発明のレンズ付着物検知装置は、上述した目的を達成するため、レンズを有する撮像装置からの入力画像に基づいてエッジ画像を作成し、エッジ画像を複数の画素を含む複数の領域に分割し、エッジ強度が閾値範囲の領域を注目領域として抽出するエッジ抽出部と、注目領域の輝度値および当該注目領域の周囲領域の輝度値を取得する輝度分布抽出部と、輝度分布抽出部で取得された注目領域の輝度値および周囲領域の輝度値を、所定時間間隔分取得し、当該所定時間間隔分の注目領域の輝度値に基づいて、注目領域の輝度値の時系列変化を取得する輝度変化抽出部と、注目領域の輝度値の時系列変化に基づいて、レンズ付着物の有無を判別する付着物判別部と、を備えたことを特徴とする。

このように構成された本発明のレンズ付着物検知装置によれば、カメラ等のレンズに付着した泥、ゴミ、水滴などのレンズ付着物のみを高精度に検知することができる。そのため、レンズの汚れなどを迅速に運転者や自動洗浄システムに通知することができ、レンズ付着物の迅速な除去を可能となる。また、カメラを用いた車両検知などの画像センシングアプリケーションを良好に実施することができるまた、レンズ付着物を、周囲との輝度値の比較や輝度値の経時変化で検知しているので、レンズ付着物の以外のものをレンズ付着物として検知することがなく、レンズ付着物のみの高精度な検知が可能となる。そのため、不必要に運転者に汚れを通知することや、不必要に自動洗浄を行うことがなく、処理効率を向上させることができる。

また、本発明のレンズ付着物検知装置は、エッジ抽出部で抽出した、エッジ強度が閾値範囲内の領域のうち、レンズ付着物以外の領域を注目領域から除外するマスク処理部を、さらに備えていてもよい。このような構成とすることで、エッジ強度が閾値範囲内の領域のうち、輝度値の時系列変化が少なく、注目領域の輝度値が当該注目領域の周囲領域の輝度値より低くなるような、泥汚れと誤認識しやすい路面状況（例えば、レーンマーカー、わだち、自車影）や、照明環境（例えば、太陽光や車両灯火類などの光源）が発生した場合でも、レンズ付着物以外の撮像物体を注目領域から除外することができる。そのため、付着物判別部でのレンズ付着物の有無判断を、より高精度に行うことができる。

また、本発明のレンズ付着物検知方法は、上述のようなレンズ付着物検知装置で行われるレンズ付着物検知方法であって、入力画像に基づいてエッジ画像を作成し、エッジ画像を複数の画素を含む複数の領域に分割し、エッジ強度が閾値範囲の領域を注目領域として抽出するエッジ抽出処理と、注目領域の輝度値および当該注目領域の周囲領域の輝度値を取得する輝度分布抽出処理と、輝度分布抽出処理で取得された注目領域の輝度値および周囲領域の輝度値を、所定時間間隔分取得し、取得した所定時間間隔分の注目領域の輝度値に基づいて、注目領域の輝度値の時系列変化を取得する輝度抽出処理と、注目領域の輝度値の時系列変化に基づいて、レンズ付着物の有無を判別する付着物判別処理と、を有することを特徴とする。

さらに、本発明の車両システムは、上述のレンズ付着物検知装置のレンズ付着物検知装置と、車両に搭載され、レンズを有し車両の周辺を撮像する撮像装置と、撮像装置により撮影された入力画像に対してレンズ付着物検知装置が検知したレンズ付着物の検知情報に基づいて動作する、少なくとも一つのアプリケーション部と、を備えたことを特徴とする。

本発明によればカメラ等のレンズに付着した泥、ゴミ、水滴などのレンズ付着物のみを高精度に検知することが可能なレンズ付着物検知出装置、レンズ付着物検知方法、および、このようなレンズ付着物検知装置を備えた車両システムを提供することができる。

本願の第１、第２実施例に係るレンズ付着物検知装置を備えた車両システムを搭載した車両を表す概略図である。 第１および第２実施例に係るレンズ付着物検知装置を備えた車両システムの構成を示すブロック説明図である。 処理対象画像をブロック化する工程を説明するための説明図であり、（ａ）は入力画像において車両検知および車線検知が使用する領域を示し、（ｂ）はこれらの領域を包含する領域をブロック化した状態を示す。 入力画像と、エッジ抽出部により出力されるエッジ画像との関係を説明するための説明図であり、（ａ）はエッジ抽出部に入力される入力画像を示し、（ｂ）はエッジ抽出部から出力されたエッジ画像を示す。 処理ブロックの輝度平均を取得する工程を説明するための説明図である。 明るい周囲ブロックをカウントする工程を説明するための説明図であり、（ａ）は注目ブロックとその周囲ブロックとを示し、（ｂ）は第２実施例においてカウントの処理対象となる周囲ブロックを示す。 弱いエッジの数をカウントする工程を説明するための説明図であり、弱いエッジを有するブロックの概略図である。 時系列で輝度値情報が蓄積されることを説明するための説明図であり、記憶部に記憶されるレコードのイメージを示す。 レーンのマスク処理を説明するための説明図であり、（ａ）は左領域用エッジフィルタの概略図を示し、（ｂ）は右領域用エッジフィルタの概略図を示し、（ｃ）はリアビューにおけるレーンのイメージ画像を示す。 レーンのマスク処理を説明するための説明図であり、右領域と左領域とで、それぞれフィルタを適用して、エッジ画像を生成する工程を示す。 わだちのマスク処理を説明するための説明図であり、（ａ）はわだちが映っている入力画像のイメージを示し、（ｂ）は、入力画像を複数のフレームに分割し、エッジを検出している状態を示し、（ｃ）はマスク処理部によって生成されたわだちマスク画像を示す。 光源のマスク処理を説明するための説明図であり、（ａ）は西日が映っている入力画像のイメージを示し、（ｂ）はマスク処理部によって生成された光源マスク画像を示す。 自車影のマスク処理を説明するための説明図であり、（ａ）は自車影が映っている入力画像のイメージを示し、（ｂ）はマスク処理部によって生成された自車影マスク画像を示す。 車体のマスク処理を説明するための説明図であり、（ａ）は車体が映っている入力画像のイメージを示し、（ｂ）はマスク処理部によって生成された車体マスク画像を示す。 マスク処理を行う前の弱いエッジ画像と、マスク処理を行った後の弱いエッジ画像を示す概略図である。 第１実施例におけるレンズ付着検知処理の流れを示す概略フローチャートである。 処理領域取得処理の流れを示す概略フローチャートである。 エッジ抽出処理の流れを示す概略フローチャートである。 輝度分布抽出処理の流れを示す概略フローチャートである。 付着物判別処理の流れを示す概略フローチャートである。 第２実施例におけるレンズ付着検知処理の流れを示す概略フローチャートである。

以下、本発明に係るレンズ付着物検知装置を備えた車両システムの実施形態について、図面を参照して説明する。

＜第１実施例＞
図１は、第１実施例に係るレンズ付着物検知装置を備えた車両システムを搭載した車両１の走行状態を示す図である。車両１の後方には、カメラ２０が設置されている。このカメラ２０は、撮影画角がωであり後方を広範囲に撮影することができるため、運転者の死角となる領域を撮影することができる。このカメラ２０を用いて、車両検知アプリケーション等が実行される。例えば、図１に示すように、車両１が車線Ｌ１〜Ｌ３からなる三車線道路２の車線Ｌ２を走行し、この車両１が車線Ｌ２から車線Ｌ１に車線変更しようとしたときに、車両１に設置されたカメラ２０によって、車両１の後方の死角に存在する他車両３が検出されたとする。この他車両３を検出した車両検知アプリケーションは、警告音を発したり、表示灯を点灯することによって運転者に注意を促す。

なお、本実施例では、後方のカメラ２０のレンズ付着物検知装置として実施しているが、本願がこれに限定されることはない。前方や側方にカメラを設置している場合は、それらのカメラ等、いずれのレンズ付着物を検知してもよい。そして、これらのうち、いずれのレンズに付着物が付着したかを通知するようレンズ付着物検知装置を構成してもよい。

図２を用いて、第１実施例に係る車両システム１０のシステム構成を説明する。第１実施例に係る車両システム１０は、車両１に搭載され、図２に示すように、自車両１の後方の画像を撮像するカメラ（撮像装置）２０と、カメラ２０から入力される入力画像に基づいて、レンズ付着物を検知するレンズ付着物検知装置３０と、レンズ付着物検知装置３０で検知された結果に基づいて、自動洗浄を行う洗浄機能（洗浄部）５１と、警告音を鳴らしてレンズ付着物の存在を運転者に知らせる警告音発生部５３と、ランプや文字表示によりレンズ付着物の存在を運転者に知らせる表示部５４と、車両検知や車線検知等の画像センシングアプリケーション部５２と、処理プログラムや各処理で使用するデータ等が記憶される記憶部６０と、を備えて構成されている。

カメラ２０は、レンズ２１と、レンズ２１により結像された画像をアナログ電気信号に変換する撮像素子２２と、撮像素子２２で取得された画像のゲインを調整するゲイン調整部２３と、を備えて構成されている。記憶部６０は、プログラムやデータを記憶するもので、ハードディスク、外付けメモリなどであってもよいし、ＲＡＭ、ＲＯＭなど、データを一時的に記憶するものであってもよい。

レンズ付着物検知装置３０は、カメラ２０から入力される入力画像に対して各種処理を行って画像情報を蓄積する画像処理部３１と、画像処理部３１からの情報に基づいて、レンズ付着物の有無を判別する付着物判別部３２と、車速等の車両情報を取得する車両情報取得部３３と、レンズ付着物の有無に基づいて他の処理部への出力情報を生成する出力情報生成部３４と、画像処理部３１で取得された画像情報や付着物判別部３２での判別結果等を記憶する記憶部６０と、を備えて構成されている。第１実施例のレンズ付着物検知装置３０では、記憶部として車両システム１０に備えられた記憶部６０を兼用している。このようなレンズ付着物検知装置３０や画像センシングアプリケーション部５２は、ＣＰＵやメモリ、Ｉ／Ｏ、タイマ等を有するコンピュータによって実行されるプログラムとして構成することができる。また、レンズ付着物検知装置３０では、レンズ付着物検知処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

第１実施例の画像処理部３１は、図２に実線で示すように、カメラ２０からの入力画像を取得し、処理領域を設定して複数のブロックに分割する処理領域取得部３５と、入力画像からエッジ強度の弱い領域を抽出するエッジ抽出部３６と、エッジ強度の弱い領域とその周囲の領域の輝度値を取得し輝度分布を抽出する輝度分布抽出部３７と、時系列で蓄積された輝度値に基づいて輝度値の時系列変化を取得する輝度変化抽出部３８と、を有して構成されている。

以下、図３〜図８の処理の説明図、および、図１６〜図２０のフローチャートを用いて、第１実施例に係るレンズ付着物検知装置３０におけるレンズ付着物検知処理について説明する。ここでは、レンズ付着物として泥汚れを検出する際の処理工程を説明する。

図１６のフローチャートに示すように、第１実施例のレンズ付着物検知処理は、車両情報取得処理（ステップＳ１０）と、車速判定処理（ステップＳ２０）と、処理領域取得処理（ステップＳ３０）と、エッジ抽出処理（ステップＳ４０）と、輝度分布抽出処理（ステップＳ５０）と、処理時間判定処理（ステップＳ６０）と、輝度変化抽出処理（ステップＳ７０）と、付着物判別処理（ステップＳ８０）と、出力情報生成処理（ステップＳ９０）と、を有する。これらの処理は、制御部（ＣＰＵ）によって制御されている。

（車両情報取得処理および車速判定処理）
車両情報取得処理（ステップＳ１０）、車速判定処理（ステップＳ２０）は、車両情報取得部３３により行われる。車両情報取得部３３は、速度センサ等から送信される速度情報を取得する（ステップＳ１０）。次に、この車速が所定値以上（例えば１ｋｍ／ｈ以上）であるか否かを判定する（ステップＳ２０）。車速が所定値以上と判定された場合（Ｙｅｓ）は、次の処理領域取得処理（ステップＳ３０）に進み、１０ｋｍ／ｈ未満と判定された場合（Ｎｏ）は、ステップＳ３０〜ステップＳ８０の処理をスキップして出力情報生成処理（ステップＳ９０）に進み、その後レンズ付着物検知処理全体を終了する。すなわち、泥汚れは、車両１が走行中に付着し易い。そのため、車両１が走行していないとき、あるいは、ゆっくりと走行しているときは、泥汚れが付着しにくく、レンズ付着物検知処理を行う必要がないと判断している。

なお、第１実施例では、上述のようにレンズ付着物検知処理の続行、終了の判断基準を一つの所定値としているが、本願がこれに限定されることはない。例えば、開始条件と終了条件とで異なる所定速度で判断してもよいし、エンジン始動やシフトチェンジなどを判断基準としてもよい。また、泥汚れが付着し易い道路状況（オフロード走行中）、天候状況（雨天など）の車両情報に基づいて、判断してもよい。

（処理領域取得処理）
処理領域取得処理（ステップＳ３０）は、処理領域取得部３５により行われる。処理領域取得処理の詳細を、図１７のフローチャートを用いて説明する。処理領域取得部３５は、まず、カメラ２０から入力される入力画像を取得し、縮小する（ステップＳ３１）。ただし、本願がこれに限定されることはなく、縮小せずに使用してもよい。しかし、このように縮小した画像を以後の処理で使用することで、処理速度を向上させるとともに、画像情報等の記憶容量を小さくすることが可能となる。

次に処理領域取得部３５は、縮小したモノクロ画像から、処理対象となる領域を設定する（ステップＳ３２）。この処理対象領域は、入力画像の全部でもよいが、本実施例では、図３（ａ）、（ｂ）に示すように、入力画像１００のうち、本実施例で使用する画像センシングアプリケーション部５２の処理領域（例えば、車両検知での処理領域Ｂ、車線検知での処理領域Ｌ、洗浄部５１での自動洗浄実施を判断する領域など）を包含する領域を処理対象領域１０２としている。このように、使用する画像センシングアプリケーション部５２や各種機能の処理領域を少なくとも包含する位置のレンズ付着を物検することで、画像センシングアプリケーション処理の精度を向上させることができるとともに、レンズ付着物検知処理の処理効率も向上する。

そして、この処理対象領域を、図３（ｂ）に示すように、複数のブロック２０１に分割する（ステップＳ３３）。以降の処理は、このブロック単位で行うことで、画素単位で処理を行うよりも効率的に行うことができる。本実施例では、各ブロック２０１のサイズは、検知したい汚れの大きさ以下に設定している。このようなサイズとすることで、泥汚れのみを確実かつ効率的に検知することができる。また、このように分割された各ブロック２０１の座標等のブロック情報は、ブロック番号と対応付けられて記憶部６０等に記憶される。

（エッジ抽出処理）
エッジ抽出処理（ステップＳ４０）は、エッジ抽出部３６により行われる。エッジ抽出処理の詳細を、図１８のフローチャートを用いて説明する。この図１８に示すように、エッジ抽出部３６は、まず、処理領域取得処理（ステップＳ３０）で縮小された入力画像を縮小して、白黒の濃淡画像を取得する（ステップＳ４１）。このように画像を縮小することで、処理の効率化を図っている。次に、エッジ抽出部３６は、縮小された入力画像のエッジ抽出を行う（ステップＳ４２）。このエッジ抽出は、従来公知の手法を用いて行うことができる。そして、抽出されたエッジ画像を用いて、エッジ強度に対する閾値処理を行い、本処理に必要なエッジだけを抽出した後、二値化処理を行う（ステップＳ４３）。閾値処理では、例えば、エッジ強度ρが、所定の範囲内のエッジ（弱エッジ）だけを残したエッジ画像を生成する。図４に、エッジ抽出処理により、入力画像１００から生成されたエッジ画像１０３のイメージ図を示す。図４（ａ）に示す入力画像から、図４（ｂ）に示すエッジ画像に示すように、泥汚れ部分が、弱いエッジとして抽出される。

なお、同じ泥汚れでも、オフロードなどのコンディションの悪い道路を走行している場合の泥汚れと、舗装道路（オンロード）を走行している場合の泥汚れとでは、濃度や色合いなどが異なり、弱いエッジ強度の度合いも異なることがある。また、付着物の種類によっても、エッジ強度が異なることもある。そのため、このような道路コンディション、その他走行状況、付着物の種類や付着状況等に応じて、閾値を複数用意しておき、レンズ付着物検知を実行するときに、いずれの閾値を用いるか判断してもよい。

次に、上記で生成された弱エッジ画像に存在するノイズを除去するノイズ除去処理（ステップＳ４４）を行う。本実施例では、以下のようなエッジをノイズと定義する。
（ａ）前回抽出したエッジ画像のエッジ箇所と違う箇所にあるエッジ
（ｂ）面積が所定値以下のエッジ

まず、ステップＳ４３で抽出したエッジ画像と、前回抽出したエッジ画像との論理積をとって、上記（ａ）のノイズを除去する。すなわち、本実施例のレンズ付着物検知処理で抽出したいエッジは、レンズに付着している汚れのエッジであり、レンズに付着した汚れは、一定時間その場所に存在し続けるため、瞬間的に抽出されるエッジはノイズである可能性があるからである。なお、「前回抽出したエッジ画像」とは、前回行ったエッジ抽出処理で得られたエッジ画像を示す。本処理は、所定時間内で複数回繰り返されるので、今回のエッジ抽出処理のエッジ画像を、前回の処理で抽出したエッジ画像と比較するものである。ただし、一回目の処理の場合は、前回のエッジ画像が存在しないので、（ａ）のノイズ除去はスキップしてもよい。

次に、上記（ｂ）の面積が所定値以下のエッジをノイズとして除去する。すなわち、レンズに付着した汚れのエッジは、ある程度塊になって抽出されると想定しているため、このような独立した小さなエッジは汚れではないと判断している。以上のようなノイズ除去を行うことで、レンズ付着物の検知を高精度に行うことができる。

（輝度分布抽出処理）
輝度分布抽出処理（ステップＳ５０）は、輝度分布抽出部３７によって行われる。輝度分布抽出処理の詳細を、図１９のフローチャートおよび図５、図６の説明図を用いて説明する。まず、輝度分布抽出部３７では、図５に示すように、処理対象領域の設定処理にて設定し分割したブロックごとに、ブロック内の画素の輝度値Ｉの平均輝度値Ｉ_aveを、下記式（１）により算出する（ステップＳ５１）。下記式（１）中、ｕ、ｖはブロックのｘ、ｙ座標を示し、Ｎ、Ｍはブロック内のｘ方向（横）およびｙ方向（縦）の画素数を示し、ｎ、ｍはブロック内の画素のｘ方向（横）およびｙ方向（縦）の位置（相対座標）を示し、ｎ_min、ｍ_minはブロック内の先頭の画素の座標を示す。なお、輝度値は二値化する前の濃淡画像を使用する。

輝度分布抽出処理では、次に、上記式（１）で算出された各ブロックの平均輝度値に基づいて、注目ブロックと、その注目ブロックの周囲のブロック（以下、「周囲ブロック」と呼ぶ）とを選択する（ステップＳ５２）。図６（ａ）に太線で示したブロック２０１ａが、注目ブロックである。この注目ブロック２０１ａは、平均輝度値が低いブロック２０１から選択される。すなわち、泥汚れが付着している領域の輝度値は、付着していない領域の平均輝度値より低くなる傾向にある。そのため、本実施例のレンズ付着物検知処理では、この傾向を泥汚れの特徴として利用し、後の付着物判別処理にて泥汚れ付着有無の判定を行う。

また、周囲ブロック２０１ｂとしては、注目ブロック２０１ａの外周の当該注目ブロック２０１ａと隣接するブロック２０１の外周に位置する周囲ブロック２０１ｂが選択される。すなわち、泥汚れは一つのブロックだけでなく、その隣接するブロックにも付着している場合が多いので、注目ブロック２０１ａと、それと隣接するブロックとでは、平均輝度値の差が出ないと考えられるためである。したがって、隣接するブロックよりも外側のブロックを周囲ブロック２０１ｂとして選択している。なお、本願がこれに限定されることはなく、付着物の付着面積が小さい場合等は、注目ブロック２０１ａに隣接するブロック２０１を周囲ブロック２０１ｂとして選択してもよい。また、付着物の付着面積が大きい場合等は、注目ブロック２０１ａから数ブロック離れたブロックを周囲ブロック２０１ｂとして選択してもよい。

上述のように、注目ブロック２０１ａと周囲ブロック２０１ｂとを選択したら、注目ブロック２０１ａの平均輝度値より高い平均輝度値をもつ周囲ブロック２０１ｂの数をカウントする（ステップＳ５３）。この場合も、二値化前の濃淡画像を使用してカウントする。次に、明るい周囲ブロック２０１ｂの割合（明るい周囲ブロック数／周囲ブロックの総数）を計算する（ステップＳ５４）。その結果、泥汚れが存在するブロック（注目ブロック２０１ａ）については、平均輝度値が高い明るい周囲ブロック数の割合が高くなる。

次に、エッジ抽出処理（ステップＳ４０）で抽出されたエッジ画像を使用して、弱いエッジをカウントする（ステップＳ５５）。この弱いエッジのカウントは、二値化後の画像を用いて行う。レンズに付着した泥汚れは、焦点が合わず輪郭がぼやけており、弱いエッジがかたまりとなって存在する傾向にある。そのため、本実施例のレンズ付着物検知処理では、ブロックごとに弱いエッジの数をカウントする。図７に、弱いエッジのイメージを表示した。このブロックでは、内側の白線で囲まれた部分に弱いエッジが存在する。また、弱いエッジのカウント数は、記憶部６０に記憶される。

（処理時間判定処理）
以上、一つの入力画像に対して、上記処理が終了したら、制御部により、図１６における処理時間判定処理（ステップＳ６０）が行われる。一定時間を経過したか否か判定し、経過した場合は、次の輝度変化抽出処理（ステップＳ７０）に進む。一定時間を経過していない場合は、処理領域取得処理（ステップＳ３０）、エッジ抽出処理（ステップＳ４０）、および、輝度分布抽出処理（ステップＳ５０）を繰り返す。このように、ステップＳ３０〜ステップＳ５０を、所定の時間内で複数回繰り返すことで、平均輝度値、明るい周囲ブロックの割合、弱いエッジのカウント数などの情報が、時系列で記憶部６０に蓄積される。本実施例では、１秒ごとに２０回、処理を行って情報を蓄積している。なお、この時間は付着物の種類や車速等の車両情報、その他の状態によって任意に設定できる。例えば、雨天時やオフロード走行中では、泥汚れが頻繁に付着するため、短時間で泥汚れの検知が可能であるとともに、迅速な警告が必要となる。そのため、時間を短く設定するのが好ましい。これに対して、晴天時やオンロード走行中では、泥汚れが付着しにくいため、高精度な検知を可能とするためには、長時間、情報を蓄積するのが好ましいため、時間を長く設定するのが好ましい。

（輝度変化抽出処理）
輝度変化抽出処理（ステップＳ７０）は、輝度変化抽出部３８によって行われる。輝度変化抽出処理の詳細を、図８の説明図を用いて説明する。レンズに付着した泥汚れは、時間が経過しても動きづらく、透過性が低いため、その領域内の時間方向（経時）における輝度値は変動が小さくなる。このような時間方向における画素値の変化を調べるために、記憶部６０には所定時間分の平均輝度値（ブロックの代表輝度値）が蓄積されている。すなわち、ステップＳ５０の輝度分布抽出処理で取得された平均輝度値が、ブロックごとに記憶部６０に蓄積されている。図８に、記憶部６０に記憶され蓄積された、時間ごとの各ブロックの平均輝度値のレコードのイメージを表す。

この蓄積された平均輝度値に基づいて、下記式（２）を用いて、ブロックごとの代表輝度値Ｅを算出する。下記式（２）中、Ｉ_aveはブロックの平均輝度値を表し、ｉはブロック番号を表し、Ｎは一定時間（処理を行った時間）を表わす。

次に、上記式（２）で算出されたブロックごとの平均輝度値に基づいて、下記式（３）を用いて、ブロックごとに時間方向の分散Ｖを算出する。つまり、現在を含め、所定時間内で過去に処理し蓄積した一サイクル分の代表輝度値を用いて、時間方向の分散を計算する。代表輝度値の時間方向の分散Ｖをブロックごとに算出する。下記式（３）中、Ｉ_aveはブロックの平均輝度値を表し、ｉはブロック番号を表し、Ｎは一定時間（処理を行った時間）を表わす。

（付着物判別処理）
蓄積情報の処理が終了すると、次に、付着物判別部３２により付着物判別処理（ステップＳ８０）が行われる。本実施例では、泥汚れの検知を行っているので、本処理では、「泥らしさ」のように、付着物を「泥」と限定して表現しているが、本願がこれに限定されるものではなく、「水滴らしさ」のように「泥」を各付着物に読み替えることができる。

付着物判別処理の詳細を、図２０のフローチャートを用いて説明する。まず、記憶部６０に蓄積された以下の情報に基づいて、ブロックごとに泥らしさスコアを算出する（ステップＳ８１）。
（ａ）弱いエッジのカウント数
（ｂ）周囲ブロックにおける明るい周囲ブロック数の割合
（ｃ）処理ブロックごとの平均輝度値の分散

具体的には、弱いエッジのカウント数が閾値より少ない注目ブロックでは、泥の付着率は低いため、泥らしさのスコアはカウントしない。さらに、周囲ブロックにおける明るいブロック数の割合が閾値よりも高い場合は、スコアの加算率は大きくなる。また、ブロックごとの平均輝度値の分散が所定の範囲内であれば、スコアの加算率は大きくなる。

次に、以下の情報に基づいて、泥汚れ判定を行う（ステップＳ８２）。以下の条件のいずれかを満たす場合は、泥汚れが有ると判断する。
（ａ）泥らしさスコアが閾値以上
（ｂ）処理ブロックごとの分散値が閾値以下

また、本実施例では、泥汚れを判定した後に、後述の出力情報生成処理で、泥汚れ情報を洗浄部５１や、車両検知、車線検知等の画像センシングアプリケーション部５２に送信するため、出力用の情報を生成している。この処理で用いるために、泥汚れ判定では、判定結果として以下に示す情報を算出している。この算出結果を記憶部６０に記憶する。
（ａ）処理ブロックごとの泥汚れ判定結果（泥汚れ付着有り／無し）
（ｂ）処理ブロック上における泥汚れ面積（単位：ブロック）

次に、泥汚れ判定結果に基づいて、以下に示す泥汚れ付着率を算出する（ステップＳ８３）。なお、以下の情報は、一例であり、汚れ付着情報を使用する画像センシングアプリケーション（移動体検知や駐車枠認識など）や汚れへの対処方法等によって、任意の情報を算出することができる。
（ａ）車線検知での処理領域における泥汚れ付着率
（ｂ）車両検知での処理領域における泥汚れ付着率
（ｃ）自動洗浄実施判断領域の処理ブロックにおける泥汚れ付着率

（出力情報生成処理）
出力情報生成処理（ステップＳ９０）は、出力情報生成部３４で行われる。ここでは、付着物判別処理によって算出された各種情報に基づいて、他のアプリケーションや装置等に送信するための出力情報を生成し、出力する。なお、車速判定処理（ステップＳ２０）で、Ｎｏと判定され処理がスキップされた場合は、レンズ付着物検知処理が行われなかった旨の出力情報（クリア情報など）が出力される。

レンズ付着物検知装置３０からの出力情報に基づいて、例えば、洗浄部５１がレンズの洗浄処理を行う。警告音発生部５３、表示部５４では、警告音の発生、警告ランプ、文字等の表示を行って、運転者に注意を促す。また、車両検知、車線検知などの画像センシングアプリケーション部５２では、出力情報を各処理の判断情報等に使用する。なお、これらの装置やアプリケーションのいずれに情報を送信し、いずれの処理を行うかは、任意であり、車両システム１０の構成に応じて適宜選択することができる。

以上、第１実施例では、泥汚れの付着の有無を高精度に検知することができる。そのため、レンズの汚れなどを確実に運転者や自動洗浄装置等に通知して、レンズ付着物の迅速な除去を可能とすることができ、カメラを用いた車両検知などの画像センシングアプリケーションを良好に実施することができ、高性能な車両走行が可能となる。また、輝度値および輝度値の経時変化の双方で付着物を検知しているため、経時で変化しにくい景色やガードレール、欄干、歩道など、レンズ付着物以外の撮像物体は注目領域から除外され、高精度な検知が可能となる。その結果、不必要に運転者に汚れを通知することや、不必要に自動洗浄を行うことがなく、効率的で無駄のない良好な車両走行が可能となる。

なお、第１実施例ではエッジ抽出処理や輝度分布処理で、各々抽出データを記憶部６０に記憶して蓄積し、一定時間が経過したところで、輝度変化抽出処理にて統計処理を行っている。しかし、本願がこれに限定されることはなく、エッジ抽出処理や輝度分布処理で抽出したデータを、輝度変化抽出処理が記憶するよう構成してもよい。さらに、輝度変化抽出処理がタイマにより時間を監視し、一定時間が経過したところで、統計処理を行うよう構成してもよい。

＜第２実施例＞
第２実施例に係るレンズ付着物検知装置を備えた車両システムについて以下に説明する。第２実施例の車両システムの構成は、誤検知を抑制するためのマスク処理部を設けたこと以外は、第１実施例の車両システムと同様の構成を有している。そのため、図２を使用して第２実施例の車両システムの構成を説明するとともに、第１実施例と同じ構成については、同一の符号を付し詳細な説明は省略する。

図２に示すように、第２実施例のレンズ付着物検知装置を備えた車両システム１０は、カメラ（撮像装置）２０と、レンズ付着物検知装置３０と、洗浄部５１と、画像センシングアプリケーション部５２と、警告音発生部５３と、表示部５４と、記憶部６０と、等を備えて構成されている。

第２実施例の画像処理部３１は、図２に実線および点線で示すように、処理領域取得部３５と、エッジ抽出部３６と、輝度分布抽出部３７と、輝度変化抽出部３８と、マスク処理部３９と、を有して構成されている。

以下、図面を用いて第２実施例に係るレンズ付着物検知装置３０における、レンズ付着物検知処理について説明する。本実施例でも、レンズ付着物として泥汚れを検知する。また、処理の説明においても、第１実施例と同様の処理については、同じ説明図および同じフローチャートを用いて説明する。

図２１のフローチャートに示すように、第２実施例のレンズ付着物検知処理は、各種車両情報取得処理（ステップＳ１１０）と、処理続行判定処理（ステップＳ１２０）と、処理領域取得処理（ステップＳ１３０）と、エッジ抽出処理（ステップＳ１４０）と、マスク処理（ステップＳ１５０）と、輝度分布抽出処理（ステップＳ１６０）と、処理時間判定処理（ステップＳ１７０）と、輝度変化抽出処理（ステップＳ１８０）と、付着物判別処理（ステップＳ１９０）と、出力情報生成処理（ステップＳ２００）と、を有する。これらの処理は、制御部（ＣＰＵ）によって制御されている。

（各種車両情報取得処理）
各種車両情報取得処理（ステップＳ１１０）では、まず、車両情報取得部３３により、車速情報、オンロードまたはオフロード情報、昼夜情報など、各種車両情報が取得される。また、晴れ、雨、雪などの天候情報を取得してもよい。オンロードかオフロードかの情報は、いずれの手段により取得してもよいが、例えば、カメラ２０の画像やＧＰＳ情報に基づいて判断してもよいし、カーナビ情報に基づいて判断してもよい。また、昼夜情報は、カメラ２０の撮像素子２２によって取得された画像に対する、ゲイン調整部２３によるゲイン調整値の状態によって判別する。画像に対するゲイン調整値が上げられた場合は、暗い画像が取得されたことを示し、夜であると判断できる。逆に、ゲイン調整値が下げられた場合は、明るい画像が取得されたことを示し、昼であると判断できる。車速情報は、速度センサからの信号情報により取得する。天候情報は、ウィンドワイパの駆動信号を利用して降雨の有無を判断してもよいし、通信機能を有するカーナビ情報等から取得することも可能である。

（処理続行判定処理）
処理続行判定処理（ステップＳ１２０）では、上記で取得した各種車両情報に基づいて、レンズ付着物検知処理を続行するか否かを判定する。まず、昼夜判定では、ゲイン調整値に基づいて、昼と判定されれば、次に洗浄状態判定を行い、昼以外（夜、その他）と判定されればステップＳ１３０〜Ｓ１９０の処理をスキップして、出力情報生成処理（ステップＳ２００）に進み、その後処理全体を終了する。

なお、第２実施例では、車両１のエンジンの始動や走行開始等をトリガーとして、レンズ付着検知処理が起動され、上述のようにレンズ付着物検知処理の続行、終了、中断の判定を、昼夜と洗浄状態に基づいて行っている。しかし、本願がこれに限定されることはなく、走行状況等に応じて、いずれの条件を判定対象としてもよい。例えば、第１実施例のように、車速に基づいて判定してもよい。また、オンロード、オフロードに基づいて判定し、例えば、オフロードのときに本処理を起動するようにしてもよい。

（処理領域取得処理）
処理領域取得処理（ステップＳ１３０）は、処理領域取得部３５により行われ、カメラ２０からの入力画像から、処理対象領域を設定し、ブロック化する。本実施例でも、車両検知での処理領域と、車線検知での処理領域と、自動洗浄判断領域とを包含する領域を処理対象領域としている。処理領域取得処理の概要は、第１実施例と同様であるため、説明を省略する。

（エッジ抽出処理）
エッジ抽出処理（ステップＳ１４０）は、エッジ抽出部３６およびマスク処理部３９により行われる。本実施例におけるエッジ抽出処理は、マスク処理部３９がレーンマーカー（以下、単に「レーン」と呼ぶ）をマスクした画像を用いて、エッジ抽出部３６がエッジ抽出（ステップＳ４２）でエッジを抽出すること以外は、第１実施例と同様の処理を行っている。そのため、同様の処理については説明を省略し、ここではレーンのマスク処理のみについて説明する。道路に表示されたレーンの映像は、通常はカメラ２０にくっきりと撮影されるため、通常は道路との境目に弱いエッジは検出されにくい。しかし、レーンが不鮮明であるときや汚れている場合は、縁の部分がぼやけ、弱いエッジが検出されることがあり、レンズ付着物の弱いエッジとの区別がつきにくくなる場合がある。そのため、レーンのマスク処理を行って、道路上のレーンによるレンズ付着物検知処理の検知精度を向上させるために行われる。

レーンのマスク処理について、図９、図１０の説明図を参照して説明する。図９（ｃ）に、車両の背後を撮影した画像（リアビュー）に映し出されるレーンのイメージ画像を示した。このように、消失点からハ字状に左右対称に現れるレーンＬ、Ｒのエッジ抽出を抑制するため、画像を左右に半分に分け、左用と右用にそれぞれ用意したフィルタを適用する。図９（ａ）に示す左領域用エッジフィルタ（右上から左下に向かって明るくなるエッジフィルタ）は、図９（ｃ）のＬ部分のレーンのエッジを抽出しないことを目的としたフィルタである。図９（ｂ）に示す右領域用エッジフィルタ（左上から右下に向かって明るくなるエッジフィルタ）は、図９（ｃ）のＲ部分のレーンのエッジを抽出しないことを目的としたフィルタである。また、フィルタサイズを大きくすることにより、ノイズエッジを減らすことも目的としている。

図１０に示すように、左右に分割した入力画像に、右領域用、左領域用フィルタを適用してレーンを抑制した後、右領域、左領域のそれぞれのエッジを抽出する。この右領域と左領域とで別個に得られたエッジ画像を結合して、エッジ画像を生成する。なお、レーンのマスクは、後述する光源等のマスク処理を行う際にまとめて行ってもよい。しかし、エッジ画像を抽出する工程でレーンのマスクを行うことにより、エッジ抽出処理の効率化や高速化を図ることができるだけでなく、以降の処理においても、不要なエッジをカウントする等がなく、これらの処理の効率化等も可能となる。

次に、上記で生成された弱エッジ画像に基づいて、閾値処理と二値化処理とを行い、ノイズ除去を行う（図１８のステップＳ４３、Ｓ４４参照）。これらの処理も第１実施例と同様であるため、詳細な説明は省略する。

（マスク処理）
マスク処理（ステップＳ１５０）は、マスク処理部３９によって行われる。本実施例では、わだちのマスク処理と、光源のマスク処理とを行っている。図１１、図１２の説明図を用いて、マスク処理の詳細を説明する。

まず、図１１に示す、わだちマスク画像作成のための各種処理について説明する。路面に発生するわだちには、雪によるわだちや雨によるわだち等がある。また、オフロードの場合には、路面に残ったタイヤの跡によるわだちが現れる。これらのわだちの輪郭が弱いエッジとして抽出されることがあり、泥汚れの弱エッジとの判別がつきにくいことがある。そのため、弱エッジ抽出の際に影響（ノイズ）を与えることがあり、弱エッジ抽出を効率的かつ高精度に行うためにわだちを含む領域をマスクする。なお、わだちは、天候が雪や雨等の際、オンロード走行中などに発生し易い。そのため、わだちが生じにくい晴天時、オンロード走行中などは、このわだち画像処理やわだちマスク処理をスキップしてもよい。また、これらの条件の違いにより、現れるわだちの濃淡も変化するため、条件の違いに対応して、マスク画像の生成処理で使用するパラメータを調整してもよい。

わだち検知では、図１１（ａ）に示すような入力画像において、わだちの輪郭位置を特定する。それには、所定時間分の入力画像を比較し、車両進行方向に、弱いエッジが、時間的、空間的に連続している領域を検出する。図１１（ｂ）では、処理対象領域を複数のフレームに小分割し、２フレーム連続してエッジを検出している画素を白で表示している。さらに、ワールド座標（ここではＸ軸は車幅方向、Ｙ軸は鉛直方向、Ｚ軸は車両の進行方向とする）上で、Ｚ軸方向にエッジが連続しているラインを抽出し、このラインをマスク対象領域としている。この処理によって作成されたマスク画像を、図１１（ｃ）に示している。これらの処理の詳細について以下に述べる。

まず、図１１（ｂ）のように、処理対象領域を複数のフレームに小分割し、フレーム内でのエッジの有無を確認し、カウントする。また、この処理と同時に、各フレームをワールド座標上でＺ軸、Ｘ軸上に並べた場合の投影を取得する。この場合、エッジ数でなく、エッジ有無（０／１）を投影する。

次に、上記わだち検知データに基づいて、ラインごとにわだちの有無判定を行う。わだちの判定には、Ｘ軸に投影したエッジ有領域数を用いて、以下の手順で行う。

（イ）わだち判定
この判定の際には、処理対象領域の外縁部と、外縁部以外とで、異なる判定を用いる。
なお、外縁部とは、Ｘ軸投影の左端側の所定領域、右端側の所定領域と定義する。外縁部以外の場合は、以下の条件（ａ）＆（ｂ）を満たす場合に、当該ラインにわだち有りと判定する。
外縁部の場合は、以下の条件（ｃ）を満たす場合に、当該ラインにわだち有りとする。
（ａ）当該ラインのエッジ有り領域数が、閾値１以上であること。
（ｂ）当該ラインの左右各２ラインに、エッジ有り領域数が閾値２未満のラインがあること。
（ｃ）当該ラインのエッジ有り領域数が、閾値３以上であること。

（ロ）わだち継続判定
上記（イ）の判定で、わだち無しと判定された場合（上記（イ）の条件を満たさない場合）かつ、直近にわだちを検出している場合、以下の条件（ｄ）および（ｅ）の双方を満たす場合に、当該ラインのわだち有り判定を継続する。なお、わだち有りを継続する期間は、２回（１秒間）とし、本処理によりわだち有り判定を継続した場合も、継続期間を再設定する。
（ｄ）当該ラインのエッジ有り領域数が、閾値１の１／２以上であること。
（ｅ）当該ラインの左右各２ラインに、エッジ有り領域数が、閾値２の１／２未満のラインがあること。

上記わだち検出結果に基づいて、わだち有りと判定したラインをマスクする画像を作成する。具体的には、以下の手順により、図１１（ｃ）に示すようなわだちマスク画像が作成される。
（ａ）出力画像を白色で塗りつぶす。
（ｂ）わだち有りと判定したラインがあれば、その領域を黒色で塗りつぶす。

次に、光源を含む領域をマスクするための各種処理について説明する。自車後方に、太陽などの光源が存在し、その光源の路面反射領域の境界で弱いエッジが抽出される。この光源による弱いエッジは、泥汚れの弱いエッジとの区別がつきにくく、レンズ付着物検知処理の性能に影響を与えることがある。光源のマスク処理は、この影響を抑制することを目的として行われる。図１２（ａ）に、光源と路面反射のイメージ画像を示し、図１２（ｂ）に、光源をマスクした光源マスク画像を示す。このような入力画像に対する光源のマスク画像作成手順を、以下に記載する。

光源領域の情報として、本実施例では、下記の情報を用いる。
（ａ）西日判定結果
（ｂ）拡散・反射領域
上記（ａ）、（ｂ）の情報は、所定値以上の輝度を有する領域であるため、入力画像を所定輝度値で二値化することで、光源領域を取得することができる。なお、光源領域の情報は、これらに限定されることはなく、他のいずれの情報を用いてもよい。このように、光源領域と重なる処理ブロックでは、泥汚れらしさスコアをクリアする。つまり、後述の付着物判別処理を行う際に、光源領域と重なる処理ブロックについて、カウントの対象外とすることにより、泥汚れ以外の領域（光源領域）がカウントされるのを防止することができる。

このように、本実施例では、わだちを含む領域と光源を含む領域とのマスク処理を行っているが、本願がこれに限定されることはなく、エッジ抽出をより効率的かつ高精度に行うために、ノイズとなり得るいずれの対象物をマスクしてもよい。マスク対象となる他の例として、図１２に示す自車影や、図１３に示す車体などが挙げられる。自車影をマスクするのは、自車影の輪郭で弱いエッジを検出してしまい、泥汚れのエッジの検出に影響を与えることがあるからである。そのため、本処理では、図１３に示すように、自車影の輪郭をマスクするためのマスク画像を作成する。なお、入力画像に現れる自車影は、固定ではなく、時刻や方角によって画像に現れる映像が異なる。この場合も、所定時間の入力画像を蓄積して、経時による変化のない部分の中から、自車影を特定することで、マスク画像を作成する。この自車影の特定は、例えば、映像の形状に基づいて行ってもよいし、予め用意した自車影のサンプル画像などに基づいて行ってもよい。また、天候によっても、光の強さによって影の輪郭が変化し、また、曇天等では影が現れない場合もある。そのため、天候情報に基づいて、自車影のマスク画像の生成処理を変えてもよいし、生成処理自体をスキップするなどしてもよい。

これに対して、車体の映像は、カメラ２０の取り付け位置等により、固定的に決まるため、経時処理を行う必要がなく、図１４に示すようなマスク画像を予め用意してもよい。または、レンズ付着物検知処理が起動されたときに、初期処理として、入力画像から車体の映像を取得し、マスク画像を生成してもよい。また、先述したように、レーンのマスク処理を、このステップで行ってもよい。図１５に、マスク処理を行う前の弱いエッジ画像と、マスク処理を行った後の弱いエッジ画像とのイメージ画像を示した。なお、図１５では、わだちマスク画像、自車影マスク画像、車体マスク画像を作成して、マスク処理を行ったイメージを示している。

（輝度分布抽出処理）
輝度分布抽出処理（ステップＳ１６０）は、輝度分布抽出部３７によって行われる。第２実施例における輝度分布抽出処理は、マスクされたブロックについて処理しないこと以外は、第１実施例の処理と同様の処理を行っている。そのため、同様の処理については説明を省略し、ここでは、第１実施例と異なる処理について説明する。

第１実施例では、注目ブロック、周囲ブロックの選択（ステップＳ５２）を行う際に、周囲ブロックとして、注目ブロックに隣接するブロックの外周に位置するブロックすべてを処理対象の周囲ブロックとして選択している。しかし、第２実施例では、図６（ｂ）に示すように、処理対象ブロック２０１ｃの中から、周囲ブロック２０１ｂを選択している。そのため、点線部分は周囲ブロック２０１ｂとして選択されない。この処理対象ブロック２０１ｃは、上記マスク処理（ステップＳ１５０）で、マスクされなかった部分である。つまり、マスクされた領域は、処理対象ブロックとしない。このような処理により、泥汚れ以外の暗いブロックをカウントするのを防止するとともに、処理対象ブロックがすくなくなるため、処理速度を向上させることができる。また、弱いエッジをカウントする処理（ステップＳ５５）でも、マスクされた部分の弱いエッジがカウントされないため、処理速度を向上させることができる。

（処理時間判定処理）
第２実施例に係る処理時間判定処理（ステップＳ１７０）では、一定時間が経過したかを判断するにあたり、オンロードかオフロードかによって、上記各処理および情報の蓄積を行う時間間隔を使い分けている。すなわち、オフロードの場合は、泥汚れが付着し易いため、短時間の蓄積情報で、泥汚れの有無を検知することができるため、時間間隔を短く設定している。これに対して、オンロードの場合は、オフロードに比べて泥汚れが付着しにくいため、時間間隔を長く設定して、長時間の情報を蓄積して判定するようにしている。なお、本実施例では、泥汚れの有無を検知しているので、オンロードかオフロードかで、情報蓄積の時間間隔を設定しているが、本願がこれに限定されることはない。例えば、水滴の検知の場合は、天候によって時間間隔を調整してもよい。また、泥汚れの有無検知も、道路状況だけでなく、天候によって時間間隔を調整してもよい。

（輝度変化抽出処理）
輝度変化抽出処理（ステップＳ１８０）は、輝度変化抽出部３８によって行われる。第２実施例における輝度変化抽出処理では、第１実施例の処理と同様の処理を行っている。そのため、処理の詳細な説明は省略する。なお、本処理においても、マスクされたブロックについては、処理が行われないので、処理速度の向上を図ることができる。

（付着物判別処理）
蓄積情報が十分取得されると、次に、付着物判別部３２により付着物判別処理（ステップＳ１９０）が行われる。第２実施例における付着物判別処理は、マスクされたブロックについてカウントしないこと以外は、第１実施例の処理と同様の処理を行っている。そのため、同様の処理については説明を省略し、ここでは、第１実施例と異なる処理について説明する。

ブロックごとに泥らしさスコアを算出する際に（ステップＳ８１）、前述した各マスク処理でマスクされたブロックについては、各処理でのカウント対象とはしない。すなわち、前述したように、光源領域と重なる処理ブロック、さらには、わだちと重なる処理ブロック、自車影と重なる処理ブロック、自車車体と重なる処理ブロックについて、泥汚れらしさのカウントの対象外とする。

（出力情報生成処理）
出力情報生成処理（ステップＳ２００）は、出力情報生成部３４で行われる。第２実施例における出力情報生成処理でも、第１実施例の処理と同様の処理を行っている。そのため、処理の詳細な説明は省略する。

以上のように、第２実施例では、泥汚れと誤認識しやすい路面状況（例えば、レーンマーカー、わだち、自車影）や、照明環境（例えば、太陽光や車両灯火類などの光源）が発生した場合でも、レンズ付着物以外の撮像物体を注目ブロックから除外するマスク処理を行っているため、泥汚れの付着の有無をより高精度に検知することができる。また、マスク領域を泥汚れ判定処理の対象外とすることで、レンズ付着物検知処理全体を高速かつ効率的に行うことが可能となる。

上記第１、第２実施例では、泥汚れの検知を行った例を説明したが、本願が泥汚れの検知に限定されることはなく、水滴、ほこり、塗料、鳥の糞など、他のいずれのレンズ付着物の検知装置、検知処理に用いてもよい。例えば、レンズに雨や霧などの水滴が付着した場合、撮影画像に歪みを生じる、焦点が合わなくなる、などの不具合を生じ、車両検知や車線検知などの画像センシングアプリケーションの作動に影響を与えることがある。そのため、水滴の付着も検知して、エア等で吹き飛ばすことや、運転者に注意を喚起することなどの対応を行う必要がある。

上記各実施例では、泥汚れを検知しているため、輝度分布抽出処理において注目ブロックの平均輝度値が周囲ブロックよりも低く、かつ、輝度変化抽出処理において平均輝度値の変化が小さい場合に、泥汚れの付着が有りと判断している。すなわち、泥汚れは光透過性が低く、黒っぽいため、輝度が小さくなるからである。これに対して、水滴は、光透過性が高く、周囲とほぼ同等の輝度となるが、輝度が時間とともに変化する傾向にある。また、水滴が付着した場合も、水滴の外周で弱いエッジが抽出されるが、このエッジ強度の度合いも泥汚れとは異なる場合がある。そのため、弱いエッジが検出された場合において、注目ブロックの平均輝度値が周囲ブロックと同等の場合や、輝度変化抽出処理において平均輝度値の変化が大きい場合に、水滴の付着有りと判断することができる。

したがって、水滴付着を検知する場合は、第１、第２実施例において、エッジ抽出処理で弱いエッジ強度を抽出する際に、水滴に好適な閾値を用いるよう構成するのが好ましい。また、輝度変化抽出処理で注目ブロックの平均輝度値を周囲ブロックと比較するときに、輝度が同等か否かで判断するよう構成する。また、輝度変化抽出処理で輝度変化が大きいか否かで判断するよう構成する。このように、付着物の種類に応じた処理を行うようなロジックで、レンズ付着物検知処理を構成するのが好ましい。さらには、付着物の種類や状態に応じて最適の処理を行うよう、車両システムを構築するのが好ましい。

また、第１実施例、第２実施例は本願の例示にしか過ぎないものであるため、本願は実施例の構成にのみ限定されるものではない。本願の要旨を逸脱しない範囲の設計の変更等があっても、本願に含まれることは勿論である。

１ 車両 １０ 車両システム ２０ カメラ（撮像部） ２１ レンズ
３０ レンズ付着物検知装置
３２ 付着物判別部 ３６ エッジ抽出部 ３７ 輝度分布抽出部
３８ 輝度変化抽出部 ３９ マスク処理部 ５１ 洗浄部
５３ 警告音発生部 ５４ 表示部 ５２ 画像センシングアプリケーション部
６０ 記憶部 １００，１０１ 入力画像 ２０１ ブロック（領域）
２０１ａ 注目ブロック（注目領域） ２０１ｂ 周囲ブロック（周囲領域）

Claims (13)

1. レンズを有する撮像装置からの入力画像に基づいてエッジ画像を作成し、前記エッジ画像を複数の画素を含む複数の領域に分割し、エッジ強度が閾値範囲の領域を注目領域として抽出するエッジ抽出部と、
   前記注目領域の輝度値および当該注目領域の周囲領域の輝度値を取得する輝度分布抽出部と、
   前記輝度分布抽出部で取得された前記注目領域の輝度値および前記周囲領域の前記輝度値を、所定時間間隔分取得し、当該所定時間間隔分の前記注目領域の前記輝度値に基づいて、前記注目領域の前記輝度値の時系列変化を取得する輝度変化抽出部と、
   前記注目領域の前記輝度値の時系列変化に基づいて、レンズ付着物の有無を判別する付着物判別部と、を備えたことを特徴とするレンズ付着物検知装置。
2. 前記エッジ抽出部で抽出した、前記エッジ強度が閾値範囲内の前記領域のうち、レンズ付着物以外の前記領域を前記注目領域から除外するマスク処理部を、さらに備えた請求項１に記載のレンズ付着物検知装置。
3. 前記マスク処理部は、前記入力画像の消失点に向かう方向に延びるエッジを含む領域を前記注目領域から除外するよう構成された請求項２に記載のレンズ付着物検知装置。
4. 前記マスク処理部は、前記入力画像に現れる路面に発生したわだちを含む領域を前記注目領域から除外するよう構成された請求項２または３に記載のレンズ付着物検知装置。
5. 前記マスク処理部は、前記入力画像に現れる、前記撮像装置を設置した被取付け部の影を含む領域を前記注目領域から除外するよう構成された請求項２〜４のいずれか一項に記載のレンズ付着物検知装置。
6. 前記マスク処理部は、前記入力画像に現れる光源の像を含む領域を前記注目領域から除外するよう構成された請求項２〜５のいずれか一項に記載のレンズ付着物検知装置。
7. 前記輝度分布抽出部によって取得された前記注目領域の前記輝度値が、周囲の前記領域と比較して、所定値より小さく、かつ、
   前記輝度変化抽出部によって取得された前記輝度値の時系列変化が、所定値より小さい場合、
   前記付着物判別部は、前記注目領域に、透過性の低い付着物が付着していると判定する請求項１に記載のレンズ付着物検知装置。
8. 前記輝度分布抽出部によって取得された前記注目領域の前記輝度値が、周囲の前記領域と比較して、所定値より大きく、かつ、
   前記輝度変化抽出部によって取得された前記輝度値の時系列変化が、所定値より大きい場合、
   前記付着物判別部は、前記注目領域に、透過性の高い付着物が付着していると判定する請求項１に記載のレンズ付着物検知装置。
9. 請求項１〜８のいずれか一項に記載のレンズ付着物検知装置で行われるレンズ付着物検知方法であって、
   入力画像に基づいてエッジ画像を作成し、前記エッジ画像を複数の画素を含む複数の領域に分割し、エッジ強度が閾値範囲の領域を注目領域として抽出するエッジ抽出処理と、
   前記注目領域の輝度値および当該注目領域の周囲領域の輝度値を取得する輝度分布抽出処理と、
   前記輝度分布抽出処理で取得された前記注目領域の輝度値および前記周囲領域の前記輝度値を、所定時間間隔分取得し、取得した前記所定時間間隔分の前記注目領域の前記輝度値に基づいて、前記注目領域の前記輝度値の時系列変化を取得する輝度抽出処理と、
   前記注目領域の前記輝度値の時系列変化に基づいて、レンズ付着物の有無を判別する付着物判別処理と、を有することを特徴とするレンズ付着物検知方法。
10. 少なくとも車速情報を含む車両情報を取得する車両情報取得処理を、さらに有し、
    前記車両情報取得処理が、前記車速情報に基づいて、車速が閾値以下であると判断したときに、すべての処理を終了する請求項９に記載のレンズ付着物検知方法。
11. 前記入力画像のゲイン調整値が、閾値以上であるとき、すべての処理を終了する請求項９または１０に記載のレンズ付着物検知方法。
12. 請求項１〜８のいずれか一項に記載のレンズ付着物検知装置と、
    車両に搭載され、レンズを有し前記車両の周辺を撮像する撮像装置と、
    前記撮像装置により撮影された入力画像に対して前記レンズ付着物検知装置が検知した前記レンズ付着物の検知情報に基づいて動作する、少なくとも一つのアプリケーション部と、を備えたことを特徴とする車両システム。
13. 前記レンズ付着物検知装置は、前記レンズにより撮影される入力画像のうち、前記アプリケーション部で使用する領域のみに対して前記レンズ付着物を検知する請求項１２に記載の車両システム。