JP5925314B2 - 車両周囲監視装置 - Google Patents

Description

本発明は，移動体に搭載されるカメラのレンズの汚れを検出する車両周囲監視装置に関する。

車両にカメラを搭載することにより，前方を走行している車両を検出したり，先行車両までの距離を検出する装置が知られている（例えば，特許文献１）。この装置に用いられるカメラは，主に車両走行中に用いられるため，レンズの前面に汚れが付着しやすい。レンズの汚れがひどくなると先行車両等の被写体を正確に検出することができなくなるため，車載カメラに付着した汚れを検出して，運転者に清掃を促したり，自動的に洗浄したりする手段を備えることが望まれている。

こうした問題を解決するために，カメラに付着した汚れを検出するための方法が考えられている（例えば，特許文献２）。この汚れ検出方法では，１台のカメラを用いて，複数タイミングで撮像した映像の差分を抽出することで，汚れ付着を検出する。この方法により汚れ付着を検出し，自動的に洗浄を行うことができる。

日本国特開２００１−１９９２６０号公報 日本国特開２００３−２５９３５８号公報

しかしながら，上述した従来の方法では，洗浄により除去できない汚れに対して，洗浄後に同様に汚れとして検出してしまい，何度も洗浄を繰り返すことになってしまう。本発明は，汚れ付着を記録し，起動時の汚れ付着の判定の短縮や無駄な洗浄を抑止する。

本発明の１の態様によると、車両周囲監視装置は、車両に設けた撮像部により車両周囲の画像を取得する撮像画像取得部と，撮像部のレンズに異物が付着している状態を判定する付着物検知部と，付着物検知部により異物が付着されていると判定された場合，画像認識の性能が低下するレンズ状態であると判定する状態判定部と，システム終了時にレンズ状態を記録部に記録するレンズ状態記録部と，システム起動時に記録部に記憶されたレンズ状態を読み出すレンズ状態読出部とを有する。
本発明の他の態様によると、車両周囲監視装置は、車両に設けた撮像部により車両周囲の画像を取得する撮像画像取得部と、撮像部のレンズに付着している付着物を検知する付着物検知部と、付着物検知部により検知された撮像部のレンズの付着物が増加したかどうかを判定する状態判定部と、状態判定部が撮像部のレンズの付着物が増加したと判定したとき、撮像部のレンズを洗浄する洗浄装置を起動する起動信号を出力し、状態判定部が撮像部のレンズの付着物が増加したと判定しないとき、撮像部のレンズを洗浄する洗浄装置を起動する起動信号を出力しないレンズ洗浄部とを備える。

本発明によれば，起動時の汚れ付着の判定の短縮や無駄な洗浄を抑止することなどができる。

本発明の第１の実施の形態による車両周囲監視装置の構成要素を表す図である。 車両周囲監視装置と周囲装置との関係を表す図である。 車両にカメラが搭載されている様子を示す図である。 レンズに対する付着物が画像中で観測される様子を示す図である。 付着情報テーブルを説明する図である。 付着物検知ロジックの検知結果テーブルを説明する図である。 本発明の第２の実施の形態による車両周囲監視装置に関する図である。 本発明の各実施の形態による車両周囲監視装置の動作に関するフローチャートの一例を示す図である。 図８の初期診断の処理に関するフローチャートの一例を示す図である。 図８の通常認識の処理に関するフローチャートの一例を示す図である。 ブロック単位で付着位置マスクを持つ変形例を説明する図である。 差分画像の生成方法について説明する図である。 形状判定について説明する図である。 本発明の第２の実施の形態の付着情報テーブルを説明する図である。 本発明の第３の実施の形態の付着情報テーブルを説明する図である。

次に，本発明の一実施の形態に係る車両周囲監視装置について図面を用いて説明する。

（第１の実施の形態）
本発明の第１の実施の形態では，まず，エンジン始動時に前回のエンジン停止時に記録されている付着物（異物，汚れ）の種類・付着量・付着部位（以下，付着物情報と呼ぶ）を読込む。次に，エンジン始動後の所定時間内の走行中（以下，初期診断時間内と呼ぶ）に，車載されたカメラで車両周辺を監視して，雨滴や泥，白濁，水滴痕，落ち葉などの付着物が付着していることを判定し，記録されている付着量よりも所定量以上増加していれば洗浄装置を駆動する。そして，エンジン停止時に付着物情報を記録するものである。

図１は，本発明の第１の実施の形態に係わる車両周囲監視装置の構成を説明する図である。車両周囲監視装置１００は，カメラレンズに付着した付着物を検知するためのものであり，図示していない画像処理ＥＣＵ（Ｅｌｅｃｔｒｉｃ ＣｏｎｔｒｏｌＵｎｉｔ）内に構成されている。車両周囲監視装置１００は，画像処理ＥＣＵ内に構成されるものに限定されず，専用のＥＣＵや，車載カメラ（図１には不図示）のＥＣＵ等の他の車載ＥＣＵに構成されていてもよく，また，複数のＥＣＵの組み合わせによって構成されていてもよい。

車両周囲監視装置１００は，図１に示すように，撮像画像取得部１０１と付着物検知部１０２とレンズ状態判定部１０３とレンズ洗浄部１０４とレンズ状態記録部１０５とレンズ状態読出部１０６と記録部１０７と車両情報取得部１０８とを備える。撮像画像取得部１０１は，車載カメラ（図１には不図示）によって予め設定された時間間隔をおいて撮像された撮像画像を取得する。付着物検知部１０２は，泥・水滴・白濁・落ち葉等の付着物のいずれか１つ以上の検出手段を持つ。レンズ状態判定部１０３は，後述するレンズ状態読出部１０６が後述する記録部１０７から読み出したレンズ状態と，付着物検知部１０２から得られたレンズ状態（詳細を後述する）とを比較して，画像認識の性能が低下するレンズ状態であると判定するために，レンズへの付着物が増加したか否かを判定する。ここで、画像認識とは、車両検知処理，歩行者検知処理，車線区分線認識処理，標識認識処理の少なくとも１つを含む。レンズ状態判定部１０３は，レンズへの付着物が増加した場合，画像認識が不能の状態又は画像認識の性能が低下するレンズ状態であると判定する。レンズ洗浄部１０４は，エア噴射やウォッシャ噴射，ワイパ駆動のいずれか１つ以上を実行するレンズ洗浄装置に向けて起動信号を送信してレンズ洗浄装置を起動してレンズ表面を洗浄する。車両情報取得部１０８は，車速，車輪速，舵角，イルミネーション情報，ワイパ駆動スイッチ情報，ヨーレート情報のうち，いずれか１つ以上の車両情報を取得する。レンズ状態記録部１０５は，エンジン停止時にレンズ状態を記録部１０７に送信して記録させる。レンズ状態読出部１０６は，エンジン始動時にレンズ状態を記録部１０７から読み出す。

図２は，車両周囲監視装置１００とその周囲装置との関係を表すブロック図である。図２には，前述した車両周囲監視装置１００を構成するＥＣＵとしてＥＣＵ１１０が図示されている。そして，車両周囲監視装置１００を構成するＥＣＵ１１０の入力側には，車載カメラ１１１と車速センサ１２１と舵角センサ１２２とイルミネーションセンサ１２３と車輪速センサ１２４とワイパ駆動スイッチ１２５とヨーレートセンサ１２６とが接続されている。車載カメラ１１１は，車両前方あるいは後方などの自車両周辺を観測することに用いられる。ＥＣＵ１１０は，車速センサ１２１から自車両の速度を得る。ＥＣＵ１１０は，舵角センサ１２２から自車両のハンドルの回転角度を得る。ＥＣＵ１１０は，イルミネーションセンサ１２３から，自車両のヘッドライトやウィンカといった灯火類の点灯状態を得る。ＥＣＵ１１０は，車輪速センサ１２４から，各車輪の回転速度を得る。ワイパ駆動スイッチ１２５は，ドライバーが手動で，もしくは窓ガラスへの雨滴付着に連動して自動で，フロントワイパまたはリアワイパを駆動する。ＥＣＵ１１０は，ヨーレートセンサ１２６から車両走行方向の変化を得る。

また，車両周囲監視装置１００を構成するＥＣＵ１１０の出力側には，警報音を出力するためのスピーカ１１２と，警報を出力した対象を表示するためのモニタ１１３と，レンズ洗浄装置１１５が接続されている。レンズ洗浄装置１１５は，レンズ洗浄部１０４から送信される起動信号に基づいて起動されて，エア噴射，ウォッシャ噴射，ワイパ駆動などを行い，車載カメラ１１１のカメラレンズを洗浄する。

車載カメラ１１１は，いわゆる単眼カメラであり，自車の周囲を撮像するために車両に取り付けられている。車載カメラ１１１は，車両後方を撮像するリアカメラに限定されるものではなく，車両前方を撮像するフロントカメラや，車両側方を撮像するサイドカメラであってもよく，これらを全て備えたものであってもよい。

また，モニタ１１３は，車載カメラ１１１の映像と画像認識結果を重畳して表示しても良いし，認識結果をアイコン化して表示しても良いし，ＬＥＤや電球等のランプのみで認識結果を通知するものであってもよく，これらを全て備えたものであっても良い。

車載カメラ１１１は，例えばＣＣＤカメラやＣＭＯＳカメラであって，レンズに入射した可視光や近赤外光や遠赤外光などを受光素子（不図示）で受光する。車載カメラ１１１は，受光素子（不図示）にて受光した光の強度等に応じて電荷を蓄積して蓄積電荷に応じた信号を増幅して出力する。近年はカメラ内に記憶素子とプロセッサを内蔵することにより，撮像後にカメラ内でレンズ歪みを補正し，出力するものもある。出力はアナログもしくはデジタル信号が使われることが多いが，第１の実施の形態ではアナログ信号を仮定して話を進める。出力されたアナログ映像信号は，撮像画像取得部１０１によってＡ／Ｄ変換されるが，その際，Ａ／Ｄ変換の電圧と輝度値のマッピングパラメータを変更することで，同一信号の映像をより明るく，もしくは，より暗い輝度値で取得してメモリ（不図示）に格納することも可能である。

こうしてメモリ（不図示）に格納された画像を用いて，付着物検知部１０２にて付着物検知をおこなう。この付着物検知部１０２は，水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知のうち少なくとも１つ以上を用いているが，複数の検知をそれぞれ行い，それぞれ結果を保持してもよい。各検知ロジックの概要については後述する。

付着物検知部１０２は，これらの検知ロジックの出力として，付着位置マスクと付着情報テーブルと称する情報を出力する。付着位置マスクは，詳細を後述するが，各検知ロジック毎に出力される。

図４（ｂ）には，図４（ａ）に例示される画面に対応する付着位置マスク１３４が例示されている。図４（ａ）には，検知ロジックにより検知された付着物１３２が例示されている。図４（ｂ）の付着位置マスク１３４には，それらの付着物１３２に対応する位置に付着物領域１３３が含まれている。

付着物検知部１０２は，図４（ａ）に例示されるような該検知ロジックに検知された付着物１３２に対応する図４（ｂ）に示される付着位置マスク１３４と，図５に示されるような画面内の付着物数と付着物面積を含む付着情報テーブル１３５とを出力する。

この付着物検知部１０２によって出力された付着位置マスク１３４と付着情報テーブル１３５は，エンジン停止時またはシステムへの電源供給途絶時に，図示しない蓄電池からの電源供給を用いて，今回走行のレンズ最終状態として記録するように、レンズ状態記録部１０５によって記録部１０７に送信されて記録される。ここではエンジン停止時にと記載したが，例えば，エンジン起動中の一定時間毎に記録動作を行い，エンジン停止時に結果的に今回走行のレンズ最終状態が記録されているようにレンズ状態記録部１０５を構成してもよく，その場合には前述の蓄電池が不要となるという効果がある。または，車速が一定以下に下がった時点をもって停車と見なしてレンズ状態記録部１０５が記録動作を開始してもよく，その場合にも前述の蓄電池が不要になるほか，記録部１０７での書込回数を更に減らせることから，記録装置の寿命を延ばせるという効果もある。

レンズ状態読出部１０６は，エンジン始動時またはシステムへの電源供給開始時に前回走行時のレンズ最終状態として，付着位置マスク１３４と付着情報テーブル１３５とをレンズ情報として読み出すものである。こちらもエンジン始動時にと記載したが，例えばエンジン始動後に初めて車速が所定の速度を超えた場合に読み出すようにすることで，頻繁な記録部１０７による読出回数を抑える効果が期待できる。

記録部１０７は，例えばＦｌａｓｈ−ＲＯＭやハードディスク，ソリッドステートディスクで構成されており，レンズ状態記録部１０５とレンズ状態読出部１０６からの要求に応じて，記録されている情報を送受信する。また，読み書き時のエラー状態を記録しておき，エラーが発生していない記録ブロックのみ使用する機能を持っていてもよい。

次に，レンズ状態判定部１０３では，付着物検知部１０２によって検知された付着位置マスクおよび付着情報テーブルと，レンズ状態読出部１０６によって読み出された以前のエンジン停止時に記録されている付着位置マスクおよび付着情報テーブルとを比較して，記録されている付着量よりも所定量以上増加しているとき，洗浄装置を駆動する信号を，レンズ洗浄部１０４に出力する。レンズ状態判定部１０３の説明において前述したレンズ状態は，付着位置マスクおよび付着情報テーブルを指す。

レンズ洗浄部１０４は，空気ノズル・ウォッシャノズル・ワイパーブレードの少なくとも１つ以上からなるレンズ洗浄装置１１５を制御して，レンズ状態判定部１０３からの信号により，レンズ洗浄装置１１５にレンズ洗浄を実施させる。

また，車両情報取得部１０８は，車速，車輪速，舵角，イルミネーション情報，ワイパ駆動スイッチ情報，ヨーレート情報のうち少なくとも１つ以上を車両からＣＡＮ（Ｃａｒ
Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して受信する。

次に図２を用いて，ＥＣＵ１１０とその周辺装置との連携について説明する。ＥＣＵ１１０は，車載カメラ１１１から映像を入力するとともに，そのときの自車挙動を算出するために，車速センサ１２１および舵角センサ１２２，イルミネーションセンサ１２３，車輪速センサ１２４，ワイパ駆動スイッチ１２５，ヨーレートセンサ１２６からのセンサ情報およびスイッチ情報を受信する。これらのセンサ類は自車挙動を算出するために使われるセンサであれば何でも良く，車輪速パルスセンサ，ハンドル角センサ，舵角動力補助装置，車高センサ，ＧＰＳセンサ，加速度センサなどを用いてもよい。また，イルミネーションセンサ１２３は，自車の灯火類の状態を示すセンサであり，例えばヘッドライトを照射する状況は，周囲が暗い環境であると判断することができる。ほかに自動ヘッドライト点灯装置に使われる照度センサなどを利用したり，車載カメラ１１１等から得られるブライトネス信号や，絞り情報およびシャッタ速度情報を利用しても周囲の明るさを取得可能である。

ＥＣＵ１１０は車両周囲監視を実行した結果をモニタ１１３に表示したり，必要に応じてドライバーに注意喚起を促すため，警報音をスピーカ１１２から鳴らしたり，例えば付着物量が多かったり，画像上で白線検知や車両検知などの画像認識ロジックの処理領域に該当する領域に付着物がある場合に，システムが動作不能であることをユーザに通知する。

次に図３，図４（ａ）および（ｂ），図５，および図６を用いて，記録部１０７が記録する，付着位置マスクと付着情報テーブルの内容について説明する。

図３は車両にカメラが搭載されている様子を示す図であり，図４（ａ）および（ｂ）はレンズに対する付着物が画像中で観測される様子を示す図であり，図５は付着情報テーブルを説明する図である。

車載カメラ１１１は，図３に示すように車両２１０に搭載されている車載カメラ２２０であり，車両走行時の巻き上げや，降雨や降雪により，泥・水滴・雨滴・氷粒・除雪剤などの付着物２３０がカメラレンズに付着する。こうした付着物２３０はその種類と光源によって透明・半透明・不透明に見え，更に走行中に動的に照明環境が変わることで，付着物を通して撮像される画像も変化する。また，昼夜状態によって付着物の見え方が異なるため，昼夜毎に各付着物の検知ロジックを準備することで，検知性能を向上できる効果がある。

図４（ａ）はカメラレンズ１３１の表面上に付着物１３２が存在する様子を示している。水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知などの検知ロジックによって，図４（ｂ）のように，撮像された画像上の付着物領域１３３が付着物１３２の位置に対応して特定され，これらの付着物領域１３３を付着位置マスク１３４として各検知ロジック毎に記録する。なお，この付着位置マスク１３４は必ずしも入力画像の解像度と同じである必要はなく，検知ロジックによってその解像度を変えても良い。解像度を変えることで，記録に必要な記憶容量を節約でき，さらに記録時に必要な書込時間を削減することができる効果がある。

図５に示すように，付着情報テーブル１３５には，各付着物検知ロジックの検知結果テーブル１３６を持っている。

各付着物検知ロジックによって，そのロジック特有の付着物が検出され，付着物の個数や面積，重心，付着時間が得られる。システムの起動後の一定時間内で検出された付着物を記憶しておき，それ以降の走行時に追加で付着した付着物と区別する。これにより，新規付着物に対しては洗浄動作を行い，最初からの付着物に対しては洗浄動作を抑止することで，無駄な洗浄動作を抑制することができるという効果がある。

図６に，付着物検知ロジックの検知結果テーブル１３６の一例を示す。図６に例示されるように，検知結果テーブル１３６には，各検知ロジックが検知対象としている付着物の種類，独立した付着物の数を表す付着物数，画像上で観測された付着物が覆うピクセル数に対応する付着面積，付着物が最初に観測されてからの経過時間に対応する付着時間，各付着物の重心や面積といった付着物詳細情報のうち少なくとも１つ以上の情報が含まれる。

第１の実施形態の車両周囲監視装置１００について，その作用を図８のフローチャートに基づいて説明する。この車両周囲監視装置１００は，初期診断処理を実行している状態と，通常認識処理を実行している状態の２つの状態を持っている。

まず，ステップＳ１０において，ＥＣＵ１１０は，車速・舵角・昼夜判定状態のうち１つ以上を用いて，初期診断を実行する条件が成立しているか否かを判定する。ＥＣＵ１１０は，初期診断を実行する条件が成立している場合には初期診断カウンタを０として，初期診断を実行するステップＳ２０へ進む。例えば，車速が３０ｋｍ／ｈ以上のときのように，安定した走行条件が成立している場合は，初期診断を実行する条件が成立していると判定されるものとする（ステップＳ１０のＹｅｓ）。安定した走行条件が成立していないと判定された場合（ステップＳ１０のＮｏ）は，ステップＳ２０の初期診断実行をスキップしてステップＳ３０に進む。例えば，車速が３０ｋｍ／ｈ以上であることを条件とすることで，付着物検知ロジックは移動する背景画像中で，変動の少ない領域を付着物として抽出することができ，付着物検知結果の信頼性を向上できるという効果がある。また，車速が大きく変化したり，舵角が大きい場合には，駐車場などを走行しているために周囲店舗の光源や太陽方向が変わる可能性が高く，そのような場合には初期診断の実行をスキップすることで，誤った初期診断を抑制する効果がある。さらに昼夜判定状態が昼から夜，または夜から昼に変わった場合，すなわちトンネルへの出入りなどが発生した場合には初期診断の実行（ステップＳ２０）をスキップすることで，誤った初期診断を抑制する効果がある。

次に，ステップＳ２０において，ＥＣＵ１１０は，初期診断を実行する。この初期診断は，付着物検知部１０２によって水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知などの付着物検知を実行する。ステップＳ２０の処理が行われるたびに，初期診断カウンタと称するカウンタがインクリメントされるものとする。

ステップＳ３０において，ＥＣＵ１１０は，エンジンが停止したか否かを判定する。ＥＣＵ１１０は，エンジンが停止されていない場合（Ｓ３０のＮｏ）には，ステップＳ４０に進み更に処理を継続する。エンジンが停止された場合（Ｓ３０のＹｅｓ）には，ＥＣＵ１１０は，もしその時点まで実行された初期診断において，得られた付着情報を用いて付着情報テーブル１３５を更新し、付着物情報記録を行うステップＳ８０に進む。

ステップＳ４０では，ＥＣＵ１１０は，初期診断が完了したか否かを判定する。初期診断完了の条件は，初期診断実行ロジック全てが所定回数もしくは所定時間の実行が行われ，検知結果が安定していることとする。ＥＣＵ１１０は，初期診断が完了していれば（Ｓ４０のＹｅｓ），初期診断を終了して通常認識に移る。ＥＣＵ１１０は，初期診断が完了していなければ（Ｓ４０のＮｏ），ステップＳ２０に進み，初期診断を実行する。なお，初期診断が開始されてから一定時間（例えば３分間など），すなわち初期診断カウンタが一定値以上になっている場合には，初期診断を完了としてもよい。

ステップＳ５０では，ＥＣＵ１１０は，付着物検知部１０２によって，車載カメラ１１１のレンズ表面上の水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知などの付着物検知を実行する。このときの付着物検知は，初期診断におけるステップＳ２０の時とパラメタを変更するとともに，付着位置マスク１３４を用いて，初期診断時に付着物が付着していない領域に対して，初期診断時からの付着物増加を検知することができる。これは，ステップＳ５０の付着物検知で検知された各付着物から付着位置マスク１３４における付着物領域１３３を除外し，残った領域のみ付着物量を集計することで，新たに増加した付着物のみを抽出する。ステップＳ５０では，レンズ上の付着物量と，新たに増加した付着物量とを出力する。

ステップＳ６０では，ＥＣＵ１１０は，ステップＳ５０で出力された付着物量を元に，洗浄システムへ付着物状態を通知する。ステップＳ６０の詳細につては後述する。

ＥＣＵ１１０は，ステップＳ７０において，エンジンが停止したか否かを判定する。ＥＣＵ１１０は，エンジンが停止されていない場合（ステップＳ７０のＮｏ）には，更に処理を継続する。ＥＣＵ１１０は，エンジンが停止された場合（ステップＳ７０のＹｅｓ）には，もしその時点まで実行された初期診断において得られた付着情報テーブル１３５を更新し、ステップＳ８０に進む。

ステップＳ８０では，ＥＣＵ１１０は，記録部１０７を用いて，付着位置マスクと付着情報テーブルの内容を記録する。

次に，第１の実施形態の車両周囲監視装置１００について，その初期診断時の処理を図９のフローチャートに基づいて説明する。本処理は，図８におけるステップＳ２０およびＳ３０の処理に相当しており，図９のステップＳ１６０が図８のステップＳ３０に対応している。図９の処理は，ＥＣＵ１１０により実行される。

初期診断処理は，まず，ステップＳ１１０において，車載カメラ１１１を用いて画像を取得し，ステップＳ１２０の画像蓄積処理へ進む。次に，ステップＳ１２０において，取得した画像を図示しないメモリに記録する。この画像蓄積は，例えばリングバッファのように一定枚数分が格納できる画像メモリに対して，古い蓄積画像を上書きするように新規画像を書き込む。例えば６枚分のリングバッファに，１００ｍｓｅｃに１回ずつ書き込むことで，常に最新画像から５００ｍｓｅｃ間の画像を保持することができる。次にステップＳ１３０において，処理領域を設定する。例えば，走行中の車両においては，画像中の路面領域が処理領域となるように設定する。

次にステップＳ１４０において，車載カメラ１１１から異なる時間に出力された複数の撮影画像に基づいて，ステップＳ１３０で設定した処理領域内での変化を検出する。以降，ステップＳ１４０で行うこの変化の検出のことを変化検出部Ｓ１４０と記載する。変化検出部Ｓ１４０は，複数の撮影画像から差分画像と称する画像を，検出結果として生成する。

図１２を用いて，差分画像の生成方法について説明する。差分画像は，最新の撮影画像と，基準画像との差分を算出することにより生成される。基準画像は，最新の撮影画像より前に車載カメラ１１１から時系列的に連続して出力された過去の撮影画像に基づいて生成される。

図１２には，時間変化を表す矢印が図示されており，その矢印の上にはカメラ１のフレームレートに従って時間ｔ０〜ｔ５が図示されている。時間変化を表す矢印の下には，時間ｔ０〜ｔ５においてそれぞれ車載カメラ１１１から出力される撮影画像Ａ０〜Ａ５が図示されている。撮影画像Ａ０〜Ａ５は，車載カメラ１１１から出力されるたびにメモリに蓄積される。そして，メモリへの撮影画像の蓄積は，時間ｔ０に開始したものとする。すなわち，図１２においては撮影画像Ａ０がメモリに蓄積された撮影画像のうち最も古い撮影画像であり，撮影画像Ａ５が最新の撮影画像である。

基準画像Ｂｉは，車載カメラ１１１から新たに撮影画像Ａｉが出力されたとき（たとえば，時間ｔ５），直前にメモリに蓄積された撮影画像Ａｉ−１（たとえば，撮影画像Ａ４）と，撮影画像Ａｉが出力された時点における基準画像Ｂｉ−１とを用いて，次式〔１〕および〔２〕により生成される。
Ｂｉ＝Ａｉ−１ （ｉ＝１のとき）・・・〔１〕
Ｂｉ＝ｋ×Ａｉ−１＋（１−ｋ）×Ｂｉ−１ （ｉ≧２のとき）・・・〔２〕
ここで，ｋは０＜ｋ≦１の係数であって，たとえばｋ＝０．１である。

変化検出部Ｓ１４０は，車載カメラ１１１から出力された最新の撮影画像（たとえば，撮影画像Ａ５）と，その最新の撮影画像が出力された時点での基準画像（たとえば，基準画像Ｂ５）との差分画像を生成する。

なお，変化検出部Ｓ１４０は，差分画像の生成のほかにも，カメラ露光状態や周囲光源環境・車速・舵角といった車両挙動情報を取得して，取得した情報に応じて差分画像の生成や，ステップＳ１５０における形状判定部の処理を制御することができる。

カメラ露光状態は，車載カメラ１１１の感度を監視することで取得されるものであって，車載カメラ１１１の感度が変更されたか（ゲイン調整されたか）否かを表す。車載カメラ１１１は，たとえば自車両がトンネルに進入したときなどに撮影画像の明るさが急激に変化したとき感度が変更される。車両周囲監視装置１００は，車載カメラ１１１の感度が変更された場合，撮影画像の変化が車載カメラ１１１の感度の変更によるものであるとして，付着物の誤検出を予防するため，差分画像による付着物の検出を行った後，所定の閾値以下の変化量を０に置き換える。これによりトンネル出入り口や，夜間に後続車のヘッドライトが当たった場合に生じる変化に起因する誤検出を抑制する効果が生じる。

周囲光源環境は，カメラ露光状態とカメラで得られた画像を元に取得されるものであって，周囲が昼間・夜間・暗夜のいずれであるかを判定するものである。暗夜とは，夜間の一種であり，夜間でも特に周囲に照明光源が少なく認識対象が見えにくい状況を指す。カメラ露光時間が閾値より短い場合，周囲環境が明るいとして昼間と判定する。カメラ露光時間が閾値より長い場合は夜間または暗夜である。カメラから得られた画像を所定の閾値で二値化し，白ラベル個数をカウントすることで，街灯や店舗・他車ヘッドライトなどの光源数を取得できるが，この光源数が所定の個数以下の場合には暗夜と判定し，所定の個数より大きい場合には夜間と判定する。

車両挙動情報は，急な加減速，すなわち閾値以上の車速変化がある場合に，一時的に変化検出を抑制し，差分画像中の差分に相当する領域をなしとして出力してもよい。これにより，加減速時の車体揺動が大きくために生じた画像変化に起因する誤検知を抑制する効果が生じる。舵角の大きい場合も同様であり，特に太陽等の光源位置が変わる場合に起因する誤検知を抑制する効果が生じる。なお，舵角の閾値は車速によって変動させてもよく，その場合は光源位置の変化量に応じて誤検知を抑制するのと等価になる。

図９のステップＳ１５０では，ステップＳ１４０が生成した差分画像に含まれる差分に相当する画素塊について，所定の形状を有するか否かに基づいて付着物か否かを判定する。以下，ステップＳ１５０で行うこの形状の判定のことを，形状判定部Ｓ１５０と記載する。この画素塊は，たとえば周知のエッジ検出処理，ラベリング処理などを用いて差分画像から検出される。形状判定部Ｓ１５０は，画像塊のアスペクト比，充填率（詳細を後述する），面積，凹み率（詳細を後述する）についてそれぞれ判定して，これらすべての判定において肯定判定された画像塊を，付着物の画像とみなす。形状判定部Ｓ１５０の出力としては，図４に示す付着位置マスク１３４と，図６に示す検知結果テーブル１３６が得られる。

（アスペクト比による形状判定）
図１３（ａ）を用いて，アスペクト比による形状判定について説明する。形状判定部Ｓ１５０は，差分画像に含まれる画素塊について，撮影画像の縦軸方向の長さＨと，撮影画像の横軸方向の長さＷとの比Ｈ／Ｗをアスペクト比として算出する。そして，形状判定部Ｓ１５０は，そのアスペクト比Ｈ／Ｗが所定の閾値Ｔｈ１以上かつ所定の閾値Ｔｈ２以下であるときアスペクト比による形状判定を肯定判定する。一方，アスペクト比Ｈ／Ｗが所定の閾値Ｔｈ１未満または所定の閾値Ｔｈ２より大きいとき形状判定部Ｓ１５０はアスペクト比による形状判定を否定判定する。閾値Ｔｈ１およびＴｈ２は，変化検出部Ｓ１４０等により調節される。

（充填率による形状判定）
図１３（ａ）を用いて，充填率による形状判定について説明する。充填率による形状判定では，形状判定部Ｓ１５０は，差分画像に含まれる画素塊について，撮影画像の縦軸方向の長さＨと横軸方向の長さＷとの積ＨＷと，その画素塊の面積Ｓとの比Ｓ／（ＨＷ）を充填率として算出する。そして，充填率Ｓ／（ＨＷ）が所定の閾値Ｔｈ３以上かつ所定の閾値Ｔｈ４以下であるとき充填率による形状判定を肯定判定する。一方，充填率Ｓ／（ＨＷ）が所定の閾値Ｔｈ３未満または所定の閾値Ｔｈ４より大きいとき形状判定部Ｓ１５０は充填率による形状判定を否定判定する。閾値Ｔｈ３およびＴｈ４は，変化検出部Ｓ１４０等により調節される。

（面積による形状判定）
面積による形状判定について説明する。形状判定部Ｓ１５０は，差分画像に含まれる画素塊について，その面積Ｓが所定の閾値Ｔｈ５以上かつ所定の閾値Ｔｈ６以下であるとき面積による形状判定を肯定判定する。一方，面積Ｓが所定の閾値Ｔｈ５未満または所定の閾値Ｔｈ６より大きいとき形状判定部Ｓ１５０は面積による形状判定を肯定判定する。閾値Ｔｈ５およびＴｈ６は，変化検出部Ｓ１４０等により調節される。

（凹み率による形状判定）
図１３（ｂ）を用いて，輪郭の凹み率による形状判定について説明する。形状判定部Ｓ１５０は，差分画像に含まれる画素塊について，その画素塊の輪郭（たとえば，図１３（ｂ）の輪郭５０）をその画素塊の最上点（たとえば，図１３（ｂ）の点５１）から反時計回りに順番になぞったときの接ベクトルの向きの変化に基づいて，画素塊の形状判定を行う。画素塊が円などの凸図形である場合に画素塊の輪郭を反時計回りになぞったとき，接ベクトルの向きは反時計回りに変化する。一方で，図１３（ｂ）の凹部５２のような部位では，接ベクトルの向きは時計回りに変化することがある。

形状判定部Ｓ１５０は，各画素塊の輪郭を構成する各画素について，輪郭の接ベクトルの向きを算出する。図１３（ｂ）では，画素塊の輪郭５０に対して向きを算出される接ベクトルの一部が例示されている。形状判定部Ｓ１５０は，各画素塊の輪郭に沿って，輪郭の反時計回り順に輪郭を構成する画素の接ベクトルの向きを取得して，直前に取得した画素の接ベクトルの向きと比較して，反時計回りに回転しているか時計回りに回転しているかを判定する。形状判定部Ｓ１５０は，各画素塊について，その輪郭を反時計回りに一周したときに接ベクトルの向きが反時計回り方向に回転した回数Ｍと，時計回り方向に回転した回数Ｎとを算出して，凹み率Ｎ／（Ｍ＋Ｎ）を算出する。形状判定部Ｓ１５０は，差分画像に含まれる各画素塊について，凹み率Ｎ／（Ｍ＋Ｎ）が所定の閾値Ｔｈ７以上かつ所定の閾値Ｔｈ８以下であるとき凹み率による形状判定を肯定判定する。一方，凹み率Ｎ／（Ｍ＋Ｎ）が所定の閾値Ｔｈ７未満または所定の閾値Ｔｈ８より大きいとき形状判定部Ｓ１５０は凹み率による形状判定を肯定判定する。閾値Ｔｈ７およびＴｈ８は，変化検出部Ｓ１４０の各部により調節される。

次に，図９のステップＳ１６０では，エンジンが停止されたか否かを判定する。これは，ＣＡＮ経由でエンジン切断信号を得ても良いし，車両周囲監視装置１００への電源供給が停止されたことをもって判定してもよい。電源供給が停止された場合は，速やかに図示しない車両周囲監視装置１００の内部蓄電池，もしくは外部接続された蓄電池からの電源供給に切り替えてもよい。また，エンジンが停止された場合と記述したが，必ずしもエンジン停止である必要はなく，単に車両周囲監視装置１００への終了信号で代用してもよく，いずれにしてもシステムをほぼ停止して電力消費を低減するモードに入ったことを検知できればよい。

エンジン停止された場合（Ｓ１６０のＹｅｓ）に，ステップＳ１７０において付着情報テーブルを更新する。この付着情報テーブルは，形状判定部Ｓ１５０で出力された付着位置マスク１３４と検知結果テーブル１３６を用いて，対応する情報を更新する。こうして得られた付着位置マスク１３４を用いることで，走行開始時点から付着していた固着物と，新規付着物とを分けて扱うことができるようになる。

次に，図８の通常認識時の処理を図１０のフローチャートに基づいて説明する。図１０のフローは，初期診断時のフローと類似しており，ステップＳ１１０，ステップＳ１２０，ステップＳ１３０，変化検出部Ｓ１４０，形状判定部Ｓ１５０までは同一である。

ステップＳ２６０においては，ＥＣＵ１１０は，新規付着物抽出処理として、通常認識時の形状判定部Ｓ１５０が付着位置マスク１３４（以降，付着位置画像）を出力した後に，初期診断時に形状判定部Ｓ１５０が出力する付着位置マスク１３４（以降，固着位置画像）を用いて，初期診断時に付着している付着物以外の新規付着物を算出する。これは，例えば，付着位置画像とそれに対応する固着位置画像とを左上からラスタスキャン方式で１画素ずつ比較し，付着位置画像で付着ありと判断され，固着位置画像で付着なしと判断された画素に対してのみ，付着面積・付着物重心などをカウントし，新規に付着した付着物に関する検知結果テーブル１３６を作成する。新規に付着した付着物に関する検知結果テーブル１３６を用いることで，画面内の一部に洗浄動作で除去できてない汚れが固着している場合であっても，新規に付着した同種または異種の汚れが付着した場合には，洗浄システムを稼働することができるようになるという効果がある。

次に，ステップＳ２７０では，エンジンが停止されたか否かを判定する。これは，ＣＡＮ経由でエンジン切断信号を得ても良いし，車両周囲監視装置１００への電源供給が停止されたことをもって判定してもよい。電源供給が停止された場合は，速やかに図示しない車両周囲監視装置１００の内部蓄電池，もしくは外部接続された蓄電池からの電源供給に切り替えてもよい。また，エンジンが停止された場合と記述したが，必ずしもエンジン停止である必要はなく，単に車両周囲監視装置１００への終了信号で代用してもよく，いずれにしてもシステムをほぼ停止して電力消費を低減するモードに入ったことを検知できればよい。

エンジン停止された場合（ステップＳ２７０のＹｅｓ）に，ステップＳ２８０において付着情報テーブル１３５を更新する。エンジンが停止し，洗浄システムが停止した後は，固着物はもちろん新規付着物も洗浄されないため，停止時の固着位置画像と付着位置画像とのいずれかに付着物がある座標に，付着物があると判断した付着位置マスク１３４を作成し（つまり固着位置画像と付着位置画像との論理和をとり），これを付着情報テーブル１３５に反映させる。これを次回の初期診断時に読み出すことで，初期診断時間の短縮を行ってもよい。

また，図示しない洗浄装置駆動情報を利用して，ステップＳ２６０において，洗浄装置が駆動している間は，画像認識ロジックの動作を一時的に止めておくことで，洗浄動作に伴う画像変化による誤検知を抑止することが可能となる。

以上で説明した第１の実施の形態によれば，次の作用効果を奏する。
車両周囲監視装置１００は，撮像画像取得部１０１と，付着物検知部１０２と，レンズ状態判定部１０３と，レンズ洗浄部１０４と，レンズ状態記録部１０５と，レンズ状態読出部１０６と，レンズ状態読出部１０６と，記録部１０７と，車両情報取得部１０８とを有する。このような構成を有することにより，無駄な洗浄を抑止することができる。

（第２の実施の形態）＜動作不能状態を持つ場合＞
本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、まず，エンジン始動時に前回のエンジン停止時に記録されている付着物情報に加えて，動作不能状態も読込む。次に，エンジン始動後の所定時間内の走行中（以下，初期診断時間内と呼ぶ）に，車載されたカメラで車両周辺を監視して，雨滴や泥，白濁，水滴痕，落ち葉などの異物が付着していることを判定し，記録されている付着量よりも所定量以上増加していれば洗浄装置を駆動する。そして，エンジン停止時に付着物情報と動作不能状態とを記録するものである。

すなわち，動作不能状態を読み込み，また記録する点が，第１の実施の形態とは異なっている。このため，第１の実施の形態と共通する部分については記載を省略し，差異のある部分について詳細に記載する。

第２の実施形態における車両周囲監視装置２００は，図７に示すように，撮像画像取得部１０１と，付着物検知部１０２と，レンズ状態判定部１０３と，レンズ洗浄部１０４と，レンズ状態記録部１０５と，レンズ状態読出部１０６と，記録部１０７と，車両情報取得部１０８と，認識状態判定部１０９とを有する。撮像画像取得部１０１は，車載カメラ（図７では不図示）によって予め設定された時間間隔をおいて撮像された撮像画像を取得する。付着物検知部１０２は，泥・水滴・白濁・落ち葉等の異物のいずれか１つ以上の検出手段を持つ。レンズ状態判定部１０３は，後述するレンズ状態読出部１０６が後述する記録部１０７から読み出したレンズ状態と，付着物検知部１０２から得られたレンズ状態とを比較して，画像認識が不能の状態又は画像認識の性能が低下するレンズ状態であると判定するために，レンズへの付着物が増加したか否かを判定する。レンズ洗浄部１０４は，エア噴射やウォッシャ噴射，ワイパを駆動のいずれか１つ以上を実行するレンズ洗浄装置に向けて起動信号を送信してレンズ洗浄装置を起動してレンズ表面を洗浄する。車両情報取得部１０８は，車速，車輪速，舵角，イルミネーション情報，ワイパ駆動スイッチ情報，ヨーレート情報のうち，いずれか１つ以上の車両情報を取得する。レンズ状態記録部１０５は，エンジン停止時にレンズ状態を記録部１０７に送信して記録させる。レンズ状態読出部１０６は，エンジン始動時にレンズ状態を記録部１０７から読み出す。認識状態判定部１０９は，画像認識が不能な状態であるか否か，あるいは画像認識の認識性能が低下している状態であるか否かを判定する。

図２は，車両周囲監視装置２００とその周囲装置との関係を表すブロック図である。図２には，車両周囲監視装置２００を構成するＥＣＵとしてＥＣＵ１１０が図示されている。そして，車両周囲監視装置２００を構成するＥＣＵ１１０の入力側には，車載カメラ１１１と，車速センサ１２１と，舵角センサ１２２と，イルミネーションセンサ１２３と，車輪速センサ１２４と，ワイパ駆動スイッチ１２５と，ヨーレートセンサ１２６とが接続されている。さらに，車両周囲監視装置２００を構成するＥＣＵ１１０の出力側には、スピーカ１１２と，モニタ１１３と，レンズ洗浄装置１１５と，動作不能状態警告灯１１４と，が接続されている。

動作不能状態警告灯１１４は，レンズが極度に汚れたり，照明環境が極度に悪化している場合にシステムが動作できないことをユーザに通知する。この動作不能状態警告灯１１４は，モニタ１１３に表示される映像に動作不能状態を重畳して表示したり，アイコン化して表示しても良い。また，モニタ１１３とは独立して，ＬＥＤや電球等のランプのみ，あるいは警報音や音声のみで認識結果を通知するものであってもよく，これらを全て備えたものであっても良い。

第２の実施の形態の場合，図１４に示すように，付着情報テーブル１３５には，各付着物検知ロジックの検知結果テーブル１３６，動作不能回数カウンタ１３７，動作不能要因履歴１３８，のうち少なくとも１つ以上を持っている。

動作不能回数カウンタ１３７には，動作不能状態が発生した場合に各要因毎に動作不能状態の回数が記録され，動作不能状態が解消された場合に動作不能状態の回数がクリアされる。エンジン停止後から次のエンジン始動までの間に，ユーザが手動でレンズを洗浄する可能性が考えられ，洗浄が行われたか否かの判定をエンジン始動後に速やかに行う必要がある。各要因毎の動作不能状態の回数を記録しておくことで，回数の多い要因の検知ロジックを優先的に実行し，速やかに前回の動作不能用要因が解消されたか否かを判定できるという効果がある。

なお，動作不能回数カウンタ１３７には，各要因毎に分けず，全ての要因での動作不能状態の回数のみを記録してもよい。通常，動作不能状態の判定は１枚の静止画像のみから行うことは困難であり，一定時間だけ画像を蓄積したり，判定結果を蓄積したりすることで，判定結果の安定性と確実性を高めるため，動作不能状態の結果が確定するまでに一定の時間を要する。エンジン始動後，この結果確定までの時間内に再度エンジンが停止されるなど，短時間の運転が繰り返される場合には動作不能状態の回数を加算し，一定回数を超えた場合には回数と動作不能要因履歴とをクリアする。これにより，通常は同一要因で動作不能状態になった場合には洗浄を抑制するが，一定回数以上の短時間の走行を繰り返した場合には，レンズに新規付着物が付着している可能性が高くなるため，レンズ診断結果によって洗浄動作が可能となり，レンズ状態が更に悪化することを抑止できるという効果がある。また，動作不能状態の結果が確定しないうちにエンジンが停止した際に，記録部の内容が未判定状態で消去され，次回走行時に無駄な洗浄動作をしてしまうことを防ぐことができる効果もある。

図１４に，動作不能要因履歴１３８の一例を示す。動作不能要因履歴１３８は，各要因毎に動作不能状態になったか否かを判定するためのフラグが含まれる。例えば、図１４では，要因「白濁」と要因「水滴痕」についてフラグがセットされている。このフラグは付着物検知ロジックの検知結果に基づいてセットされ，このフラグ状態に基づいて，同一要因で動作不能状態になった場合には洗浄を抑制する。これにより，前回と同じ動作不能用要因が継続されている場合には，無駄な洗浄動作を省き，新規の要因で動作不能状態になった場合に，当該要因に対応する適切な洗浄動作を行えるという効果がある。なお，上述したこの動作不能状態のことをフェール状態と呼んでも良い。

第２の実施形態の車両周囲監視装置２００について，その作用を図８のフローチャートに基づいて説明する。この車両周囲監視装置２００は，第１の実施の形態と同様に，初期診断処理を実行している状態と，通常認識処理を実行している状態の２つの状態を持っている。第２の実施の形態では，図８の処理は，車両周囲監視装置２００を構成するＥＣＵ１１０によって実行される。

まず，ステップＳ１０において，初期診断を実行する条件が成立しているか否かを判定し，成立している場合には初期診断カウンタを０としてステップＳ２０へ進む。この判定は，車速・舵角・昼夜判定状態のうち１つ以上を用いて，安定した走行条件が成立していると判定（Ｓ１０のＹｅｓ）されるものとする。安定した走行条件が成立していないと判定（Ｓ１０のＮｏ）された場合は初期診断実行をスキップする。

次に，ステップＳ２０において，初期診断を実行する。この初期診断は，水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知などの付着物検知を実行する。この実行が行われるたびに，初期診断カウンタがインクリメントされるものとする。

ステップＳ３０において，エンジンが停止したか否かを判定する。エンジンが停止されていない場合（ステップＳ３０のＮｏ）には，更に処理を継続する。エンジンが停止された場合（ステップＳ３０のＹｅｓ）には，その時点まで実行された初期診断において，動作不能状態の結果が出ていれば，付着情報テーブル１３５を更新し，ステップＳ８０に進む。これにより，汚れ付着量が一定量以上の場合，次回エンジン始動時に，画像認識の結果が出るのを待たずに，ユーザにレンズ汚れ状態を喚起するために，動作不能状態警告灯１１４を点灯することが可能となる。

ステップＳ４０では，初期診断が完了したか否かを判定する。初期診断が完了し場合は（ステップＳ４０がＹＥＳ）ステップＳ５０に進み通常認識の処理を開始する。初期診断が完了していない場合は（ステップＳ４０がＮＯ）ステップＳ２０に進み初期診断の処理を継続する。

ステップＳ５０では，通常認識処理として、車載カメラ１１１のレンズ表面上の水滴検知，泥検知，白濁検知，水滴痕検知，異物付着検知などの付着物検知を実行する。これらの処理は，第１の実施の形態と同様であるため割愛する。

ステップＳ６０では，ステップＳ５０で出力された付着物量を元に，洗浄システムおよび動作不能状態判定部への通知を行う。詳細の内容は後述する。動作不能状態判定部へも通知を行う点が第１の実施の形態との違いである。

ステップＳ７０において，エンジンが停止したか否かを判定する。エンジンが停止されていない場合（ステップＳ７０のＮｏ）には，更に処理を継続する。エンジンが停止された場合（ステップＳ７０のＹｅｓ）には，もしその時点まで実行された初期診断において，動作不能状態の結果が出ていれば，付着情報テーブル１３５を更新し，ステップＳ８０に進む。ステップＳ８０では，記録部１０７を用いて，付着位置マスクと付着情報テーブルの内容を記録する（付着物情報記録）。

また，第２の実施形態の車両周囲監視装置２００について，その初期診断時の処理を図９のフローチャートに基づいて説明する。概ね，第１の実施の形態と同様だが，ステップＳ１７０の動作を以下のように変えても良い。なお，第２の実施の形態では，図９の処理は，車両周囲監視装置２００を構成するＥＣＵ１１０によって実行される。

エンジン停止された場合（ステップＳ１６０のＹｅｓ）に，ステップＳ１７０において付着情報テーブルを更新する。この付着情報テーブルは，形状判定部Ｓ１５０で出力された付着位置マスク１３４と検知結果テーブル１３６を用いて，対応する情報を更新するほか，動作不能回数カウンタを変更する。

動作不能回数カウンタの動作について説明する。初期診断が終了するより前にエンジンが停止された場合，動作不能回数カウンタを１加算するが，その際に動作不能カウンタが一定値以上（例えば８）であれば，動作不能回数カウンタを０に戻すとともに動作不能要因履歴の内容をクリアする。また，初期診断中に動作不能状態が発生した場合には，動作不能回数カウンタを０に戻すとともに，動作不能要因履歴の内容に今回発生した動作不能状態を加える。

また，初期診断が完了した場合は，動作不能回数カウンタを０に戻すとともに動作不能要因履歴の内容を前回のまま変更しない。これにより，短距離ドライブを繰り返したり，エンジンのみ入切をするような場合，すなわち，初期診断中にエンジン停止が行われるような場合にも，動作不能状態を保持することができ，不要な洗浄動作を抑制することができる効果がある。また，短距離ドライブを一定回数以上繰り返した場合には，動作不能要因履歴を０クリアするため，再度汚れ検知結果を用いて洗浄動作を行うことができる。

また，本実施形態の車両周囲監視装置２００について，その通常実行時の処理を図１０のフローチャートに基づいて説明する。概ね，第１の実施の形態と同様だが，新規付着物抽出処理を行うステップＳ２６０の動作を以下のように変えても良い。なお，第２の実施の形態では，図１０の処理は，車両周囲監視装置２００を構成するＥＣＵ１１０によって実行される。

ステップＳ２６０において，初期診断時に付着していなかった領域に，通常走行時に付着量が増加した場合，その新規付着物の付着物情報を出力するほか，初期診断時の付着物情報と新規付着物の付着物情報を合わせて，つまり固着位置画像と付着位置画像との論理和で得られる付着位置画像（以下，付着物集計画像と呼ぶ）に対して，付着物情報を算出する。

これは，例えば，新規付着物用の付着物情報と，付着物集計画像用の付着物情報との，それぞれに対して記憶領域城に情報記憶用の領域を確保しておき，付着位置画像と付着物集計画像とをそれぞれ左上からラスタスキャン方式で１画素ずつ比較し，それぞれの画像で付着ありと判断された画素に対してのみ，付着面積・付着物重心などをカウントして検知結果テーブル１３６を作成する。これにより，洗浄動作への出力判断と，検知不能状態の判断とが，それぞれ適切に行えるようになるという効果がある。

（第３の実施の形態） ＜昼夜状態を持つ場合＞
本発明の第３の実施の形態について説明する。第３の実施の形態では，まず，エンジン始動時に前回のエンジン停止時に記録されている付着物情報を読み込む。次に，エンジン始動後の所定時間内の走行中（以下，初期診断時間内と呼ぶ）に，車載されたカメラで車両周辺を監視して，昼夜など周囲光源環境の異なる状況を判定し，その周囲光源環境に応じて，雨滴や泥，白濁，水滴痕，落ち葉などの異物が付着していることを判定し，記録されている付着量よりも所定量以上増加していれば洗浄装置を駆動する。そして，エンジン停止時に付着物情報を記録するものである。

すなわち，周囲光源環境の異なる状況毎に動作を変えることを特徴とする点が，第１の実施の形態とは異なっている。このため，第１の実施の形態と共通する部分については記載を省略し，差異のある部分について詳細に記載する。なお，第２の実施の形態と同様に，レンズが極度に汚れたり，照明環境が極度に悪化している場合に発生する動作不能状態を記録しても良い。

第３の実施の形態の場合，図１５に示すように，付着情報テーブル１３５には，前回走行時の昼夜判定結果，昼夜状態毎の各付着物検知ロジックの検知結果テーブル１３６，動作不能回数カウンタ１３７，動作不能要因履歴１３８，のうち少なくとも１つ以上を持っている。

画像認識によって，付着物を検知する場合，前述したように昼夜状態によって付着物の見え方が異なるため，付着物が検知されたときの昼夜判定状態に応じて，それぞれの検知結果を分けて記録しておいてもよい。分けて記録することで，例えば，水滴痕のように，夜間は検知しやすく，昼間は検知しにくいような付着物に対して，付着物が継続的に付着し続けているか否かを判定することができるようになるという効果がある。また，付着物によって，システムが本来認識したい車両検知や歩行者検知・車線区分線認識・標識認識といった認識ロジックが妨げられるが，照明環境によって付着物が認識ロジックを妨げる程度が異なる。このため，大量の付着物が付着していてシステムが稼働できない状態である動作不能状態についても，昼夜判定状態に応じて分けて記録することで，昼間のみシステムを稼働し，夜間はシステムが動作不能とでき，認識ロジックの稼働率を向上できるという効果がある。

以上で説明した実施の形態は，以下のように変形して実行できる。

（変形例１） 付着位置マスクは，図４に図示した付着位置マスク１３４だけに限定しない。たとえば，図１１（ｂ）のように，画素単位ではなく，ブロック単位で情報を持つことも可能である。このとき，画素単位の付着物領域１３３を包含するブロックを付着物ブロック２３３と扱うことができる。ブロック単位で付着物位置を扱うことで，付着物検知部の検知方法に依存する位置ずれを軽減することができる。

すなわち，例えば，付着物検知部Ｘが付着物のエッジを検出する画像処理手法を採用しており，付着物検知部Ｙが，汚れの時間的な輝度値変化を検出する画像処理手法を採用している場合，ピクセル単位では位置ずれが発生する。このため，適度なサイズ（例えば８ｘ８ピクセル）でブロック化を行って付着物ブロック２３３を生成することで，位置ずれを吸収し，複数の付着物検知部の検知結果統合を行うことができるようになるという効果がある。

（変形例２） 付着位置マスクは，図４に図示した付着位置マスク１３４だけに限定しない。たとえば，図１１（ｂ）のように，画素単位ではなく，画面単位で情報を持つことも可能である。すなわち，位置情報を持たず，ある種類の付着物が付着しているか否かを情報として持つようにする。画面単位で付着物種類の有無を持つことで，付着物検知部Ｘは画面下部を主な処理対象領域とし，付着物検知部Ｙは画面左右端を主な処理領域とするような場合，すなわち付着物検知部によって好適な処理領域や，好適な処理解像度が異なる場合にも，付着物検知部の検知結果統合を行うことができるようになるという効果がある。

以上で説明した実施の形態や変形例はあくまで例示に過ぎず，発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また，以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１２年第１４９８６９号（２０１２年７月３日出願）

１００ 車両周囲監視装置
１０１ 撮像画像取得部
１０２ 付着物検知部
１０３ レンズ状態判定部
１０４ レンズ洗浄部
１０５ レンズ状態記録部
１０６ レンズ状態読出部
１０７ 記録部
１０８ 車両情報取得部
１１１ 車載カメラ
１１２ スピーカ
１１３ モニタ
１１４ 動作不能状態警告灯
１１５ レンズ洗浄装置
１２１ 車速センサ
１２２ 舵角センサ
１２３ イルミネーションセンサ
１２４ 車輪速センサ
１２５ ワイパ駆動スイッチ
１２６ ヨーレートセンサ
１３１ カメラレンズ
１３２ 付着物
１３３ 付着物領域
１３４ 付着位置マスク
１３５ 付着情報テーブル
１３６ 検知結果テーブル
１３７ 動作不能回数カウンタ
１３８ 動作不能要因履歴
２００ 車両周囲監視装置
２２０ 車載カメラ
２３０ 付着物

Claims (4)

1. 車両に設けた撮像部により車両周囲の画像を取得する撮像画像取得部と，
   前記撮像部のレンズに付着している付着物を検知する付着物検知部と，
   前記付着物検知部により検知された前記撮像部のレンズの付着物の状態を判定する状態判定部と，
   システム終了時にレンズ状態を記録部に記録するレンズ状態記録部と，
   システム起動時に前記記録部に記憶された前記レンズ状態を読み出すレンズ状態読出部と，
   洗浄部を起動する起動信号を出力するレンズ洗浄部とを有し、
   前記レンズ状態記録部は、システム終了時に、前記付着物検知部により検知された前記撮像部のレンズの付着物の状態を記録部に記録し、
   前記レンズ状態読出部は、システム起動時に、前記記録部に記録された前記撮像部のレンズの付着物の状態を読み出し、
   前記付着物検知部は、システム起動時に、前記撮像部のレンズに付着している付着物を検知し、
   前記状態判定部は、システム起動時に、前記付着物検知部により検知された前記撮像部のレンズの付着物の状態と、前記レンズ状態読出部により読み出された前記撮像部のレンズの付着物の状態とに基づき、システム起動時にシステム終了時に比べて前記撮像部のレンズの付着物が増加したかどうかを判定し、
   前記レンズ洗浄部は、システム起動時に、前記状態判定部が前記撮像部のレンズの付着物が増加したと判定したとき、前記撮像部のレンズを洗浄する洗浄装置を起動する起動信号を出力し、前記状態判定部が前記撮像部のレンズの付着物が増加したと判定しないとき、前記撮像部のレンズを洗浄する洗浄装置を起動する起動信号を出力しない車両周囲監視装置。
2. 請求項１に記載の車両周囲監視装置において，
   前記レンズ状態読出部で読み出した前記レンズ状態に基づいて，前記画像に基づく画像認識の動作可否を判定する画像認識抑止部を更に有する車両周囲監視装置。
3. 請求項２に記載の車両周囲監視装置において，
   前記画像認識抑止部で認識処理の動作が可能と判定された場合，車両検知処理，歩行者検知処理，車線区分線認識処理，標識認識処理の少なくとも１つを実行する画像認識部を有する車両周囲監視装置。
4. 請求項１に記載の車両周囲監視装置において，
   前記付着物検知部は、取得した前記画像から周囲光源環境を判定する変化検知部を有し、前記周囲光源環境に基づいて、前記撮像部のレンズの付着物を検知し、
   前記レンズ状態記録部は、システム終了時にレンズ状態及び前記周囲光源環境の情報を記録部に記録し、
   前記レンズ状態読出部は、システム起動時に前記記録部に記憶された前記レンズ状態及び前記周囲光源環境の情報を読み出す車両周囲監視装置。

Images