JP6757271B2 - 車載用撮像装置 - Google Patents

Description

本発明は、自動車の車体に搭載され、自動車の外界を撮像可能な車載用撮像装置に関する。

近年、自動車の車体に搭載した車載カメラを用いて、自車両の前方、後方、側方の少なくともいずれか一方向、或いは全周囲方向を撮像し、撮像された画像を車内のモニタ画面に表示する車載用撮像装置が普及しつつある。また、車載カメラの撮像画像から自車両に接近する他の車両や歩行者を検知し、運転者に報知する警報装置などもある。

ところで、一部を除き、車載カメラは車体の外側に取り付けられる。そのため、車載カメラのレンズ（レンズ保護ガラス等を含む）の表面には雨滴や泥等の汚れが付着し易い。レンズ表面に汚れが付着すると、車載カメラの撮像画像に汚れが映り込み、景色が遮蔽されてしまう。

そこで、車載カメラのレンズが汚れたことをユーザーに通知するため、車載カメラで逐次撮像される撮像画像から、この車載カメラのレンズ表面に付着した汚れを検知する技術が開示されている（例えば、特開２０１２−３８０４８号公報参照）。

また、従来、車載カメラのレンズ表面に水や空気を吹き付け、レンズ表面に付着した汚れを取り除くレンズ汚れ除去装置（ウォッシャー、ブロアー）が知られており、特開２０１４−１１７８５号公報には、このレンズ汚れ除去装置が正常に機能したかを診断するレンズ汚れ除去診断技術が開示されている。この技術では、レンズ汚れ除去装置の作動の前後で、車載カメラの撮像画像を比較し、コントラストやエッジ強度の変化から汚れが除去されたことを診断する。

しかし、レンズ汚れ除去装置を有しない車載カメラは多く、この場合、ユーザーが手作業で車載カメラのレンズ表面を布や指で拭い、レンズ表面の汚れを取り除くことになるが、車載用撮像装置では、汚れ除去作業実施のタイミングが不明であるため、特開２０１４−１１７８５号公報のような汚れ除去作業の前後における撮像画像比較による汚れ除去の診断が不可能であった。

これに対応し、汚れ除去作業実施のタイミングが不明であっても汚れ除去の診断が可能な方法としてのレンズ汚れ除去逐次診断技術が特開２０１６−１５５８３号公報に開示されている。このレンズ汚れ除去逐次診断技術では、自車両が停車した直後に車載カメラで撮像された撮像画像を基準画像とし、この基準画像とそれ以降に車載カメラで撮像される撮像画像との差分画像を逐次生成し、差分画像を予め検出されている汚れの付着領域と比較し、汚れの付着領域の大部分で差分が検出された場合に、汚れが払拭されたと診断する。

特開２０１２−３８０４８号公報 特開２０１４−１１７８５号公報 特開２０１６−１５５８３号公報

しかしながら、手作業で車載カメラのレンズ表面を清掃した場合、清掃者がカメラに接近して映り込むため、画像全体に大きな変化が生じる。このため、特開２０１６−１５５８３号公報のように撮像画像の時間変化から汚れの払拭を検知する方式では、清掃者の映り込みによる変化を汚れの除去によるものと誤判定することが懸念される。

また、特開２０１６−１５５８３号公報のように停車時の撮像画像を基準画像として用いる場合、停車してから車載カメラのレンズ表面が清掃されるまでの時間が長くなり、差分をとる２つの画像の撮像時刻が離れることが想定される。この場合、環境光や周囲の移動体（歩行者や車両等）の変化が大きくなり、これも誤判定の一因となる。

本発明の目的は、車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することにある。

本発明は上記の目的を達成するために、レンズを介して画像を撮像する車載カメラと、前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、前記レンズの汚れの払拭を診断する汚れ払拭診断部と、前記レンズの汚れの管理を行う汚れ状態管理部と、を備え、前記汚れ払拭診断部は、前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、安定状態であるか否かを判定する安定状態判定部と、前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、を有し、前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、ことを特徴とする。

本発明によれば、車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る車載用撮像装置の概略構成を示すブロック図。 （ａ）、（ｂ）は車載カメラの撮像画像の一例を示す図。 車載カメラの撮像画像の差分画像の一例を示す図。 車載カメラの撮像画像の一例を示す図。 車載カメラの撮像画像の差分画像の一例を示す図。 安定状態判定部の処理のフローチャートの一例を示す図。 払拭領域抽出部の処理のフローチャートの一例を示す図。 本発明の実施例２に係る車載用撮像装置の概略構成を示すブロック図。 払拭領域抽出部の処理のフローチャートの一例を示す図。 本発明の実施例３に係る車載用撮像装置の概略構成を示すブロック図。 車載カメラの撮像画像の一例を示す図。 清掃状態判定部の処理のフローチャートの一例を示す図。 本発明の実施例４に係る車載用撮像装置の概略構成を示すブロック図。

以下、図面を参照して本発明に係る車載用撮像装置について説明する。

図１は、本発明の実施例１に係る車載用撮像装置の概略構成を示すブロック図である。

（車載用撮像装置１００の構成）
図１に示すように、本実施例の車載用撮像装置１００は、車載カメラ１と、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、を備える。また、汚れ払拭診断部２は、安定状態判定部２１と、払拭領域抽出部２２と、を備える。また、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、をレンズ汚れ払拭診断装置とも呼ぶ（以下の他の実施例においても同様である。）。

車載カメラ１は、不図示の車両に設置され、不図示のレンズ（レンズ保護ガラス等を含む）を介して車載カメラ１の前方の画像を撮像する。また、車載カメラ１は、当該車載カメラ１の前方を撮像した画像（撮像画像）を逐次出力する。例えば、フレームレートが20fpsであるとき、車載カメラ１は、50ミリ秒おきに、画像を撮像するとともにその撮像画像を出力する。

安定状態判定部２１は、車載カメラ１から出力される撮像画像を逐次取得し、都度、直前に取得した撮像画像からの変化（撮像画像の時間変化）を抽出し、その変化の大きさが所定値以下であれば、撮像画像が時間的に安定している状態（安定状態）と判定し、逆に所定値を超えれば、撮像画像が時間的に安定していない状態（非安定状態）と判定する。

なお、「撮像画像の時間変化」とは、ある時刻の撮像画像の画像データ（如何なる形式の画像データであってもよい。）と、一定時間経過後の撮像画像の画像データとの比較における差分（時間経過に伴う変化）、例えば撮像画像の各画素の変化（時間経過に伴う変化）を指し、「撮像画像の時間変化の大きさ」とは、例えば変化した領域の面積の大きさである場合があり、例えば画像データの画素それぞれにおける変化量である場合がある。また、「撮像画像の時間変化」の一例として、「撮像画像の特徴量の時間変化」を利用してもよい。

また、「撮像画像の時間変化の抽出」とは、撮像画像の全領域（画像全体）の中から、比較の結果で差分が生じている領域（すなわち時間経過により変化が生じている領域）を抽出することである場合があり、逐次撮像する多数の撮像画像の中から、比較の結果で差分が生じている撮像画像を抽出することである場合がある。

以下、撮像画像の画像データを指す場合でも単に撮像画像と記す場合があり、差分画像の画像データを指す場合でも単に差分画像と記す場合がある。

安定状態判定部２１は、最後に、判定結果を安定状態信号として出力する。なお、撮像画像に移動体（例えば、車載カメラ１のレンズの表面を清掃する人や他の車両等の移動体）が映っていない、又は撮像画像中の移動体の移動量が小さい場合に安定状態となる。

払拭領域抽出部２２は、安定状態判定部２１から出力される安定状態信号を参照し、安定状態においてのみ車載カメラ１から出力される撮像画像を逐次取得し、都度、直前の安定状態において取得した撮像画像からの変化を抽出する。これにより、撮像画像に移動体が映っていない、又は撮像画像中の移動体の移動量が小さい状態（安定状態）の撮像画像の変化（撮像画像の時間変化）が抽出される。そして、当該撮像画像内で大きな変化のあった領域を、車載カメラ１のレンズ表面に付着した汚れが払拭された領域（払拭領域）として後段の汚れ状態管理部４に出力する。

汚れ検知部３は、車載カメラ１から逐次出力される撮像画像から、当該車載カメラ１のレンズ表面に付着した汚れの付着領域（汚れ検知領域）を検出して出力する。これには特開２０１２−３８０４８号公報などに記載された公知の手法が利用できる。例えば、自車両の走行中に車載カメラ１が撮像した撮像画像から、長期間に亘って輝度変化の小さい領域を検出し、この領域を汚れ検知領域とする方式などがある。なお、方式によっては、汚れの付着領域ではなく、汚れの有無のみを検知するものがある。この場合、汚れ検知部３は、汚れ検知領域の代わりに、汚れの付着面積や濃度に対応する検知反応の強さ（汚れ検知強度）を出力する。

汚れ状態管理部４は、汚れ検知部３が機能している間、当該汚れ検知部３から出力される汚れ検知領域又は汚れ検知強度を参照し、車載カメラ１のレンズ表面に付着した汚れの付着領域を汚れ記憶領域として、汚れの有無を汚れ状態として管理する（汚れ記憶領域、汚れ状態を不揮発性の記憶部（不図示）に記憶する）。また、汚れ状態管理部４は、払拭領域抽出部２２から出力される払拭領域を参照し、管理する汚れ状態や汚れ記憶領域に反映する。例えば、汚れ状態管理部４は、払拭領域抽出部２２からの払拭領域が所定の面積を超えた場合に、記憶している汚れ状態を「汚れ有り」から「汚れ無し」に変更する。また例えば、汚れ状態管理部４は、記憶している汚れ記憶領域から、払拭領域抽出部２２からの払拭領域を消去する。

また、汚れ状態管理部４は、汚れの有無又は汚れ記憶領域の面積の大小を汚れ状態として記憶するものであってもよい。

さらに、汚れ状態管理部４は、管理している汚れ状態や汚れ記憶領域（レンズの汚れの管理状況）を、不図示の警告灯やスピーカーなどでユーザーに通知したり、車両を自律制御する自動運転システムなどの車両制御システム（不図示）に通知したりする機能も担う。

（安定状態判定部２１の処理）
図２（ａ）は、車載カメラ１のレンズ表面に水滴が付着した場合に、当該車載カメラ１で撮像される撮像画像の一例である。当該撮像画像の領域３１、３２にそれぞれ水滴が映り込み、その先の景色が遮られている。また、領域３１に映る水滴が取り除かれた場合の撮像画像を図２（ｂ）に示す。

図３は、図２（ａ）及び図２（ｂ）の２つの撮像画像の差分を取った差分画像である。図３の差分画像では、水滴が取り除かれた当該領域３１のみが抽出される。

しかし、車載カメラ１の撮像画像に、歩行者や車両などの動く移動体が映り込む場合、当該移動体が映る領域も差分画像において抽出されてしまう。図４は、車載カメラ１の前方に動く歩行者が現れた場合の撮像画像の一例である。当該撮像画像の領域３３に動く歩行者が映っている。また、図２（ａ）の撮像画像と図４の撮像画像との差分画像を図５に示す。図５の差分画像には、領域３３の歩行者だけでなく、領域３１の水滴も抽出されている。これは、当該領域３３の歩行者が当該領域３１の水滴に重なり、歩行者からの反射光によって当該領域３１の水滴の明るさが変化したためである。

そこで、安定状態判定部２１は、車載カメラ１に移動体が映らない状態を検知する。図６に、当該安定状態判定部２１の処理のフローチャートの一例を示す。

まず、車載カメラ１から逐次出力される撮像画像を取得し（ステップ２１０１）、都度、取得した撮像画像とその直前に取得した撮像画像との差分画像（逐次差分画像）を生成する（ステップ２１０２）。すなわち、取得した撮像画像の画像データと、その直前に取得した撮像画像の画像データとを比較し、比較結果の相互に異なる部分のみを残した画像データを差分画像の画像データとして生成する。次に、当該逐次差分画像において差分が所定値以上の領域を差分の大きな領域（逐次差分領域）として抽出し（ステップ２１０３）、当該逐次差分領域の面積（逐次差分面積）を導出する（ステップ２１０４）。なお、ステップ２１０３で抽出する差分の大きな領域の「大きな」は、撮像画像の画像データの雑音による誤差の差分などの、移動体の移動によって生じた差分以外のものを除外する程度の大きさのことであり、実機環境に応じて調整することが望ましい。また、「差分の大きな領域を抽出する」とは、撮像画像の全領域から、移動体の移動によって生じた差分を有する領域の候補を抽出することである。

そして、当該逐次差分面積が所定値以下か判定する（ステップ２１０５）。当該逐次差分面積が所定値以下であれば、移動体が映り込んでいない、又は移動体の動きが小さい状態（安定状態）と判定し（ステップ２１０６）、当該逐次差分面積が所定値を超過すれば、移動体が映り込んだ状態（非安定状態）と判定する（ステップ２１０７）。なお、移動体の動きが小さい状態の「小さい」は、移動体が写り込んでいたとしてもその移動体の動きが安定状態と見なせる程度の小ささのことであり、すなわち汚れの払拭と誤認しない程度の小さな動きであることを示し、実機環境に応じて調整することが望ましい。最後に、この判定結果を安定状態信号として出力する（ステップ２１０６、２１０７）。この一連の処理が、車載カメラ１による撮像画像が入力されるたびに繰り返し行われる。

（安定状態判定部２１の処理の拡張例１）
ところで、前記車載カメラ１から逐次出力される撮像画像ごとに安定状態信号を生成すると、当該撮像画像に映り込む移動体の動きが一時遅くなっただけで撮像画像が安定状態であると判定されてしまい、安定状態信号が安定しなくなる。

そこで、安定状態信号を安定化することが好ましい。その方法はいくつかあるが、いかなる方法を用いてもよい。例えば、図６のフローチャートのステップ２１０４において、前記逐次差分領域を一定期間に亘って累積し、累積された逐次差分領域の面積を前記逐次差分面積として導出する方法がある。

または、図６のフローチャートのステップ２１０５において、一定期間に亘って前記逐次差分面積の平均値又は最大値を算出し、その算出値が所定値以下に小さければ安定状態信号を安定状態とし、その算出値が所定値を超過して大きければ安定状態信号を非安定状態とする方法を用いてもよい。

他にも、図６のフローチャートのステップ２１０１において、車載カメラ１から逐次出力される撮像画像を間引いて取得する方法がある。撮像画像を間引くことで移動体の動きが捉えやすくなり、安定状態信号を安定化することができる。

（安定状態判定部２１の処理の拡張例２）
ところで、安定状態判定部２１は、車載カメラ１の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG（Histogram of Oriented Gradients）特徴量などの特徴量を抽出して（ここでは抽出結果を特徴量画像と呼ぶ）、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化を抽出されにくくすることができる。また、前記撮像画像から輝度やエッジ強度などの平均値を抽出して用いれば、処理するデータ量を大幅に削減することができる。

（払拭領域抽出部２２の処理）
前述したように、車載カメラ１の撮像画像の時間変化から当該車載カメラ１のレンズ表面に付着する汚れの払拭を検出できるが、当該車載カメラ１に移動体が映り込む場合にも撮像画像に時間変化が生じてしまう。

そこで、払拭領域抽出部２２は、車載カメラ１に移動体が映らない、又は映り込む移動体の動きが小さい状態である安定状態の撮像画像のみから前記撮像画像の時間変化を抽出し、汚れが払拭された領域を検出する。

図７に、払拭領域抽出部２２の処理のフローチャートの一例を示す。

まず、安定状態判定部２１が出力する安定状態信号を参照し、当該安定状態信号が安定状態を示しているかを判定する（ステップ２２０１）。当該安定状態信号が安定状態であれば、車載カメラ１による撮像画像を取得する（ステップ２２０２）。そして、取得した安定状態における当該撮像画像と、前の処理で取得した直前の安定状態における撮像画像との差分画像を生成する（ステップ２２０３）。そして、当該差分画像から差分の大きな領域（差分領域）を抽出し（ステップ２２０４）、その差分領域を汚れの払拭領域として出力する（ステップ２２０５）。なお、ステップ２２０４で抽出する差分の大きな領域とは差分が所定値以上である領域のことであり、この所定値はステップ２１０３の説明で用いた所定値と同じ値であってもよく、異なる値であってもよく、実機環境に応じて調整することが望ましい。この一連の処理を、車載カメラ１から撮像画像が出力されるたびに繰り返し実行する。

（払拭領域抽出部２２の処理の拡張例１）
ところで、車載カメラ１に例えば周辺車両のヘッドライトが照射されると、当該車載カメラ１のレンズ表面に付着した汚れ（水滴等）の明るさが変化し、前記ステップ２２０３において生成される前記差分画像では明るさの変化した汚れの領域が抽出されてしまう。また、ヘッドライトの照射が止み、当該汚れの明るさが元に戻る際にも、前記ステップ２２０３において生成される前記差分画像では当該汚れの領域が再び抽出される。

ここで、ヘッドライトの照射の開始時と終了時とでは、前記ステップ２２０３において生成される差分の符号が異なる。そこで、払拭領域抽出部２２は、前記ステップ２２０３と前記ステップ２２０４の間に、当該ステップ２２０３において生成される前記差分画像を一定期間加算して累積する処理を追加してもよい。ヘッドライトの照射の開始時と終了時を含む十分な期間、前記差分画像を加算すれば、ヘッドライトの一時的な照射による汚れの明るさの変化を、前記ステップ２２０３において生成される差分画像から相殺により取り除くことができる。ここで、当該差分画像を累積する期間は、差分が抽出されてから一定の期間とする方法や、車載カメラ１の照度が所定値以上となる期間とする方法、又は図示しないヘッドライト検知処理が車載カメラ１の撮像画像からヘッドライトを検知する期間とする方法などがある。ここで、ヘッドライト検知処理の一例としての簡単なヘッドライト検知は、撮像画像から高輝度の円形領域を検出することで実現できる。

なお、ヘッドライトが照射されると水滴等の汚れは極端に明るくなるため、極端に明るく変化した領域はヘッドライトが照射したことで明るさの変化した領域とし、汚れの払拭領域から除外することもできる。

（払拭領域抽出部２２の処理の拡張例２）
ところで、車載カメラ１のレンズ表面に付着した汚れは少しずつ段階的に取り除かれる場合もある。例えば、手作業によるレンズの清掃が不十分で一部の汚れが残ってしまい、何度も清掃を繰り返す場合や、一部の水滴が自重で流れ落ちた場合などである。これらの場合、前記ステップ２２０３で抽出される差分画像には、都度払拭される一部の汚れのみが抽出される。

そこで、前記ステップ２２０３と前記２２０４の間に、前記差分画像を一定期間累積する処理を追加してもよい。または、前記ステップ２２０５で前記差分領域を一定期間累積し、前記払拭領域としてもよい。これにより、汚れの払拭領域の取りこぼしを抑えることができる。

ここで、前記差分画像ないしは前記差分領域を累積する前記一定期間は、予め定めた所定の時間としてもよいが、汚れ状態管理部４が管理する汚れ状態が「汚れ無し」になるまで、ないしは汚れ検知部３が機能するまでとすることが好ましい。これにより、汚れの払拭領域の取りこぼしを避けることができる。なお、前記差分画像ないしは前記差分領域を累積している前記一定期間中も、汚れ状態管理部４が汚れの払拭状態を管理できるよう、逐次、前記払拭領域を出力することが好ましい。

（払拭領域抽出部２２の処理の拡張例３）
ところで、払拭領域抽出部２２においても、車載カメラ１の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG特徴量などの特徴量を抽出して（ここでは抽出結果を特徴量画像と呼ぶ）、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化が抽出されにくくすることができる。また、前記撮像画像から輝度やエッジ強度などの平均値を抽出して用いて、処理するデータ量を大幅に削減することもできるが、この場合、前記汚れの払拭領域が検出できないため、払拭領域の代わりに、払拭の確度情報を出力する。

（汚れ状態管理部４の処理）
汚れ状態管理部４は、車載カメラ１のレンズ表面に付着した汚れの有無を汚れ状態として、当該付着領域を汚れ記憶領域として管理する。

そこで、汚れ状態管理部４は、汚れ検知部３から出力される汚れ検知領域又は汚れ検知強度を参照し、前記汚れ状態や前記汚れ記憶領域を記憶する。

しかし、汚れ検知部３は、例えば自車両が停車している場合など、状況によっては機能しないことがある。この状態で車載カメラ１のレンズ表面の汚れが払拭されても、汚れ検知部３だけでは、当該汚れ状態管理部４が記憶している汚れ状態や汚れ記憶領域に、汚れの払拭が反映されない。

そこで、当該汚れ状態管理部４は、払拭領域抽出部２２から出力される払拭領域を参照し、当該汚れ状態管理部４が記憶している汚れ記憶領域から当該払拭領域を消去する。また、当該払拭領域が所定の面積を超えた場合に、記憶している汚れ状態を「汚れ有り」から「汚れ無し」に変更する。

なお、汚れ状態管理部４は、汚れ状態のみを管理する構成であってもよいし、汚れ記憶領域のみを管理する構成であってもよいし、汚れ状態及び汚れ記憶領域の両方を管理する構成であってもよい。汚れ状態管理部４が、汚れ状態及び汚れ記憶領域の両方を管理する場合においては、汚れ記憶領域が所定の面積未満になった場合に、記憶している汚れ状態を「汚れ有り」から「汚れ無し」に変更するようにしてもよい。

（汚れ状態管理部４の処理の拡張例１）
なお、払拭領域抽出部２２から出力される払拭領域は、車載カメラ１の撮像画像において時間変化のあった領域を抽出したものであり、汚れが新たに現れた領域を含む可能性がある。

そこで、汚れ状態管理部４が記憶する汚れ記憶領域にない領域が払拭領域抽出部２２から払拭領域として新たに出力された場合には、当該払拭領域を汚れの付着領域として当該汚れ記憶領域に新たに記憶してもよい。同様に、汚れ状態管理部４が記憶している汚れ状態が「汚れ無し」の場合に、前記払拭領域が所定の面積を超えた場合に、当該汚れ状態を「汚れ無し」から「汚れ有り」に変更してもよい。

（汚れ状態管理部４の処理の拡張例２）
ところで、車載カメラ１のレンズ表面に付着した汚れは少しずつ段階的に取り除かれる場合もある。例えば、手作業によるレンズの清掃が不十分で一部の汚れが残ってしまい、何度も清掃を繰り返す場合や、一部の水滴が自重で流れ落ちた場合などである。これらの場合、払拭領域抽出部２２から出力される払拭領域として、都度払拭される一部の汚れのみが出力される。

そこで、汚れ状態管理部４は、払拭領域抽出部２２が出力する払拭領域を累積し、累積した払拭領域が所定の面積を超過する場合に、記憶している汚れ状態を「汚れ有り」から「汚れ無し」、又は「汚れ無し」から「汚れ有り」に変化させることが好ましい。

一方、汚れ状態管理部４が前記汚れ記憶領域を管理している場合には、払拭領域抽出部２２から出力される払拭領域を当該汚れ記憶領域に逐次反映させればよい。

上述した本実施例を用いることで、車載用撮像装置において、車載カメラ１のレンズ表面を清掃する人やその他の移動体が当該車載カメラ１の撮像画像に映り込んだ場面を除外した上で、当該撮像画像の時間変化を抽出し、レンズ汚れの払拭を検知するレンズ汚れ払拭診断装置（汚れ払拭診断部２、汚れ検知部３、汚れ状態管理部４）を提供することができる。

すなわち、清掃者が車載カメラ１に接近して映り込んだ状態などでは安定状態判定部２１による安定状態信号が「非安定状態」になるため払拭領域抽出部２２での処理から除外され、一方、汚れの払拭については、汚れているときに「安定状態」があり、汚れが払拭された後にも「安定状態」があるため、この「安定状態」同士が払拭領域抽出部２２での処理の対象となり、汚れの払しょくを検知することが可能となる。

また、停車時の撮像画像を基準画像として用いなければならないという制限を受けず、随時、診断することができ、差分をとる２つの画像の撮像時刻が離れることを避け、誤判定が生じる虞を低減できる。

また、車載カメラ１のレンズ表面に付着した汚れを検知する汚れ検知部３が機能しない状況（例えば自車両の停車中）でも、当該車載カメラ１のレンズに付着した汚れの払拭を検知し、当該車載カメラ１のレンズに汚れが付着していたことで停止させていた車両の自律制御システム（例えば自動運転システム）を再開させることができる。

図８は、本発明の実施例２に係る車載用撮像装置の概略構成を示すブロック図である。なお、図８に示す車載用撮像装置２００において、図１に示した実施例１の車載用撮像装置１００と同一機能を有する構成部には同一の符号を付し、重複する説明は省略する。

（車載用撮像装置２００の構成）
図８に示すように、本実施例の車載用撮像装置２００は、車載カメラ１と、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、を備える。また、汚れ払拭診断部２は、安定状態判定部２１と、払拭領域抽出部２２と、を備える。また、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、をレンズ汚れ払拭診断装置とも呼ぶ。

本実施例の払拭領域抽出部２２は、車載カメラ１から出力される撮像画像、及び安定状態判定部２１から出力される安定状態信号の他に、汚れ状態管理部４が記憶している車載カメラ１のレンズ表面の汚れの付着領域（汚れ記憶領域）を参照する。

（払拭領域抽出部２２の処理）
図９は、実施例２における払拭領域抽出部２２の処理のフローチャートの一例である。

まず、汚れ状態管理部４が記憶する前記汚れ記憶領域を取得する（ステップ２２１０）。その後、安定状態判定部２１から出力される安定状態信号が安定状態を示していれば、車載カメラ１の撮像画像を取得し、当該撮像画像と、前の処理で取得した直前の安定状態における撮像画像との差分画像を生成する（ステップ２２０１〜２２０３）。そして、当該差分画像を累積し（ステップ２２１１）、累積した当該差分画像から差分の大きな領域（差分領域）を抽出する（ステップ２２１２）。次に、ステップ２２１０で取得した前記汚れ記憶領域と累積された当該差分領域を比較し（ステップ２２１３）、前記汚れ記憶領域の大部分が累積された当該差分領域となった場合は、累積された当該差分領域を汚れが払拭された領域（払拭領域）として出力する（ステップ２２０５）。一方、前記ステップ２２０１において前記安定状態信号が非安定状態を示している場合や、ステップ２２１３において前記汚れ記憶領域の大部分が累積された前記差分領域でない場合は、安定状態における新たな撮像画像を取得するため、一定時間停止した後に（ステップ２２１４）、ステップ２２０１から処理を再開する。

これにより、長期間に亘って段階的に汚れが払拭された場合でも、大部分の汚れが払拭され切るまで、ステップ２２１１において、差分画像を累積し続けることができる。

ここで、累積される差分領域には、差分の向き（符号）も記憶させることが好ましい。これにより、上記（払拭領域抽出部２２の処理の拡張例１）と同様、周辺車両のヘッドライトの一時的な照射など汚れの払拭によらない画像変化を前記差分画像ないしは前記払拭領域から除外できる。

なお、本実施例の払拭領域抽出部２２の処理は、図９に示すフローチャートに限定されない。例えば、ステップ２２１１を省略し、代わりにステップ２２１２で前記差分画像から差分の大きな領域を抽出し、さらに抽出した当該領域を累積し、累積された当該領域を差分領域としても同様の機能が得られる。

図１０は、本発明の実施例３に係る車載用撮像装置の概略構成を示すブロック図である。なお、図１０に示す車載用撮像装置３００において、図１に示した実施例１の車載用撮像装置１００と同一機能を有する構成部には同一の符号を付し、重複する説明は省略する。

（車載用撮像装置３００の構成）
図１０に示すように、本実施例の車載用撮像装置３００は、車載カメラ１と、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、を備える。また、汚れ払拭診断部２は、安定状態判定部２１と、払拭領域抽出部２２と、清掃状態判定部２３と、を備える。また、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、をレンズ汚れ払拭診断装置とも呼ぶ。

（清掃状態判定部２３の処理）
車載カメラ１のレンズを手作業で清掃する場合、当該車載カメラ１のレンズに布や指を押し当てることとなる。布や指を押し当てた領域では外界からの光が遮られるため、当該車載カメラ１の照度の低下や、焦点のずれが生じる。また、当該車載カメラ１の撮像画像において、布や指を押し当てた領域が暗くなる。

図１１は、車載カメラ１のレンズに布を押しあてた場合に当該車載カメラ１で撮像される撮像画像の一例である。図１１を参照すると、布を押しあてた領域である領域３４が暗く黒く表示されている。

そこで、清掃状態判定部２３は、車載カメラ１の照度を参照し、照度が所定値以上大きく低下した場合に、当該車載カメラ１のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力する。

（清掃状態判定部２３の処理の別例１）
また、清掃状態判定部２３は、車載カメラ１がオートフォーカス機能をもつ場合、図示しない当該車載カメラ１の焦点距離を参照し、焦点距離の変化量が所定値以上の場合に、当該車載カメラ１のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。

（清掃状態判定部２３の処理の別例２）
他に、清掃状態判定部２３は、車載カメラ１の撮像画像から平均輝度を算出し、当該平均輝度が所定値以上大きく低下した場合に、当該車載カメラ１のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。

（清掃状態判定部２３の処理の別例３）
また、清掃状態判定部２３は、車載カメラ１の撮像画像から所定値以下の輝度の領域（暗領域）を抽出し、当該暗領域の面積が所定値以上となった場合に、当該車載カメラ１のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。

（清掃状態判定部２３の処理の別例３の拡張例）
ところで、図１１の撮像画像に示すように、布を押し当てた領域である領域３４が画面全体に及ばない場合、当該領域３４の端には大きな輝度変化が生じる。

そこで、清掃状態判定部２３は、画面全体（撮像画像の全体）に及ばない暗領域が検出された場合に、当該暗領域の端に大きな輝度変化があるかを判定し、当該暗領域の端に所定値以上の輝度変化がある場合に、当該暗領域はレンズを清掃したことで生じたものと判定し、当該暗領域の端に所定値以上の輝度変化がない場合、当該暗領域はレンズを清掃したことで生じたものではないと判定する。これにより、清掃判定の誤検知を抑えることができる。

（清掃状態判定部２３の処理の別例４）
また、前記暗領域は輝度が低いだけでなく、エッジがないという特徴もある。そこで、清掃状態判定部２３は、車載カメラ１の撮像画像からエッジ強度が所定値以下の領域（非エッジ領域）を抽出し、当該非エッジ領域の面積が所定値以上となった場合に、当該車載カメラ１のレンズが清掃されていると判定し、当該判定の結果を清掃信号として出力してもよい。

（清掃状態判定部２３の処理の拡張例）
ところで、幾度かに分けて車載カメラ１のレンズを清掃した場合、１度の清掃では、当該車載カメラ１の照度の低下量や焦点距離の変化量、撮像画像の平均輝度の低下量、暗領域の面積、非エッジ領域の面積が十分大きくならず、当該車載カメラ１のレンズが清掃されていると判定されないことが懸念される。

そこで、清掃状態判定部２３は、前記照度の低下や焦点距離の変化、撮像画像の平均輝度の低下などが所定の期間よりも長く続く場合、車載カメラ１のレンズが清掃されたと判定すればよい。

また、前記暗領域の面積、前記非エッジ領域の面積から清掃状態を判定する場合、まず車載カメラ１の撮像画像から、前記暗領域ないしは前記非エッジ領域を、汚れが清掃された領域として検出する。そして、当該暗領域ないしは当該非エッジ領域を逐次累積し、累積された当該暗領域ないしは当該非エッジ領域の面積が所定値以上となった場合に、当該車載カメラ１のレンズが清掃されたと判定し、当該判定の結果を清掃信号として出力することが好ましい。

これらにより、幾度かに分けて車載カメラ１のレンズを清掃した場合でも、当該レンズが清掃されたことを検知することができる。

（払拭領域抽出部２２の処理）
車載カメラ１のレンズを清掃している間（清掃期間）は、当該車載カメラ１のレンズに押し当てた布や指などが当該車載カメラの撮像画像に大きく表示されるため、払拭領域抽出部２２は、当該車載カメラ１の撮像画像から、当該車載カメラ１のレンズ表面に付着した汚れを観測できない。また、当該清掃期間の直前と直後の撮像画像を比較すれば、当該車載カメラ１のレンズの清掃によって払拭された汚れの領域を検出することができる。

図１２は、本実施例における払拭領域抽出部２２の処理のフローチャートの一例である。

まず、安定状態判定部２１から出力される安定状態信号が安定状態を示しているかの判定（ステップ２２０１）と、清掃状態判定部２３から出力される清掃信号が清掃中を示しているかの判定を行う（ステップ２２２１）。そして、安定状態かつ清掃中でない（非清掃中である）場合に、車載カメラ１の撮像画像を取得する（ステップ２２０２）。その後、直前の処理において前記清掃信号が清掃中を示していたかを判定し（ステップ２２２２）、清掃中を示していた場合、ステップ２２０２で取得した撮像画像は清掃直後の安定状態における撮像画像であることが特定されるため、ステップ２２０２で取得した前記撮像画像と、以前の処理で取得した非清掃中の撮像画像との差分画像を生成する（ステップ２２２３）。当該差分画像が、清掃期間の直前と直後の撮像画像の差分である。その後、当該差分画像から差分の大きな領域（差分領域）を抽出し（ステップ２２０４）、当該差分領域を汚れの払拭された領域（払拭領域）として出力する（ステップ２２０５）。なお、ステップ２２０１で安定状態信号が非安定状態を示している場合や、ステップ２２２１で清掃信号が清掃中を示している場合、ステップ２２２２で直前の処理において前記清掃信号が清掃中を示していない場合は、一定時間処理を停止した後（ステップ２２２４）、ステップ２２０１から処理を再開する。

なお、払拭領域抽出部２２の処理のフローチャートは他の形であってもよい。例えば、ステップ２２２１とステップ２２０２の順序を逆転し、安定状態における前記撮像画像を全て取得した上で、前記清掃信号が清掃中から非清掃中に切り替わった場合にのみ、ステップ２２２３、２２０４、２２０５を実行しても、同様の機能を得ることができる。

（払拭領域抽出部２２の処理の拡張例１）
また、幾度かに分けて車載カメラ１のレンズを清掃した場合、何度か清掃期間が断続して続くことが想定される。

そこで、払拭領域抽出部２２は、ステップ２２０４において、前記差分画像を一定期間累積し、累積された当該差分画像において差分の大きな領域（差分領域）を抽出するようにしてもよい。または、ステップ２２０５において、前記差分領域を一定期間累積した後、累積された当該差分領域を前記払拭領域として出力するようにしてもよい。

ここで、当該差分画像ないしは当該差分領域を累積する期間は、予め定めた所定の期間としてもよいが、汚れ状態管理部４が管理する汚れ状態が「汚れ無し」になるまで、ないしは、汚れ検知部３が機能するまでとすることが好ましい。これにより、汚れの払拭領域の取りこぼしを避けることができる。なお、前記差分画像ないしは前記差分領域の累積期間中も、汚れの払拭状態を管理できるよう、払拭領域抽出部２２は、逐次、払拭領域を出力することが好ましい。

（払拭領域抽出部２２の処理の拡張例２）
さらに、払拭領域抽出部２２は、車載カメラ１の撮像画像をそのまま用いずに、当該撮像画像からエッジ画像やHOG特徴量などの特徴量を抽出して（ここでは抽出結果を特徴量画像と呼ぶ）、この特徴量画像を当該撮像画像の代わりに用いてもよい。適切な特徴量を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。例えば、HOG特徴量を用いた場合、移動体や環境光のわずかな揺らぎによる不要な画像変化を抽出されにくくすることができる。また、当該撮像画像から輝度やエッジ強度などの平均値を抽出して用いて、処理するデータ量を大幅に削減することもできるが、この場合、前記汚れの払拭領域が検出できないため、前記払拭領域の代わりに、払拭の確度情報を出力する。

本発明の実施例１及至３において、自車両の車速及び乗員の乗り降りに類する情報を検知すれば、汚れ払拭診断部２による汚れ払拭検知を行う期間を限定できる。本実施例では、自車両の車速、及び自車両の乗員の乗り降りに類する情報を取得し、利用する。

当該自車両の乗員の乗り降りに類する情報は、自車両のドア及び／又はウィンドウの開閉、又は車重の変化などに関する情報である。本実施例ではこれらの情報を検知、取得するセンサなどを備える。なお、車重によって車高も変化するため、車重の変化の代わりに車高の変化を検知してもよい。

本実施例のレンズ汚れ払拭診断装置は、車速が十分に落ちた状態でドアの開閉があった場合や、車重が減少した場合、車載カメラ１のレンズを清掃するために乗員が自車両から降車したと判断し、汚れ払拭診断部２の処理の開始トリガとする。

また、車載カメラ１が自車両の側面に設置されたサイドカメラである場合、当該車載カメラ１の付近のウィンドウが開いている間は、乗員が車内から当該車載カメラ１のレンズを清掃できるため、車速に関わらず、当該車載カメラ１の撮像画像に対して、汚れ払拭診断部２の処理を実行してもよい。

また、乗員が自車両から降車したと判断してから所定の時間が経過した後、ドアが再び開閉した場合や、車重が重くなった場合は、乗員が自車両に乗車したと判断し、汚れ払拭診断部２の処理を停止してもよい。また、車載カメラ１がサイドカメラの場合は、車載カメラ１の付近のウィンドウが閉じた場合に、当該車載カメラ１に対する汚れ払拭診断部２の処理を停止してもよい。

本発明の実施例１及至３において、自車両の周囲が暗く、車載カメラ１の撮像画像において汚れが視認できないような場合には、実施例４に記載の自車両の乗員の乗り降りに類する情報から、当該車載カメラ１のレンズの払拭を判定してもよい。

ただし、これだけでは、実際に汚れが払拭されたかを判定できない。そこで、周囲が暗く、車載カメラ１の撮像画像において汚れが視認できないような場合には、ユーザーに当該車載カメラ１のレンズ表面の汚れの有無を判定させる機構を設けることが好ましい。例えば、車載カメラ１の照度が極端に低い場合に、車内等のモニタに、当該車載カメラ１の撮像画像を表示すると共に、ユーザーに対して汚れの有無を確認して確認結果をモニタの入力手段（例えばタッチパネル）から入力するように促す表示を行い、ユーザーに汚れの有無を確認させる。そして、汚れが無いことがユーザーによって確認されて、ユーザーがその入力を行うと、これを受けて、汚れ状態管理部４は記憶している汚れ状態及び／又は汚れ記憶領域を初期化する。

ところで、自車両を停車して車載カメラ１のレンズを清掃する場合、ユーザーは停車した自車両のエンジンを切る可能性がある。その場合、不図示の車載バッテリーでレンズ汚れ払拭診断装置を動作させることもできるが、このバッテリーの充電切れが懸念されるため、レンズ汚れ払拭診断装置も直ちに停止される。この場合、実施例１及至５のレンズ汚れ払拭診断装置では、車載カメラ１のレンズに付着する汚れの払拭を検知することはできない。

（払拭領域抽出部２２の処理）
本実施例では、エンジン停止前、又はエンジン停止直後からレンズ汚れ払拭診断装置を停止させるまでの間に、レンズ汚れ払拭診断装置の払拭領域抽出部２２が、安定状態における撮像画像を不揮発な記憶部（不図示）に記憶する。当該記憶部（例えば、不揮発メモリ）は、電源の供給が途絶えても記憶を保持することができる。そして、エンジン再開時に、払拭領域抽出部２２は、当該記憶部に記憶しておいた撮像画像と、エンジン再開後に取得される最新の安定状態における撮像画像との差分画像を抽出し、汚れの払拭領域を検出する。なお、この場合、清掃状態判定部２３は不要となる。

（払拭領域抽出部２２の処理の拡張例１）
ただし、エンジンを停止した場合、エンジンを再開するまでの時間が長くなることが懸念される。そこで、車載カメラ１の撮像画像をそのまま用いずに、時間変化に強いエッジ画像やHOG特徴量を抽出して（ここでは抽出結果を特徴量画像と呼ぶ）、この特徴量画像を用いることが好ましい。

（払拭領域抽出部２２の処理の拡張例２）
エンジン停止時間が極端に長くなると、周囲の明るさが変わるだけでなく、移動可能な周囲の物体（車両等）の配置が変わることが懸念される。

そこで、エンジン停止時間が極端に長い場合には、車載カメラ１のレンズ表面の汚れの有無をユーザーに判定させる機構を設けることが好ましい。例えば、エンジンの停止時刻を不揮発な記憶部（不図示）に記憶し、エンジン再開時に、当該記憶部に記憶した前記エンジンの停止時刻と現在時刻との差としてエンジン停止時間を算出し、当該エンジン停止時間が所定値以上の場合、車内等のモニタに車載カメラ１の撮像画像を表示し、ユーザーに対して汚れの有無を確認して確認結果をモニタの入力手段（例えばタッチパネル）から入力するように促す表示を行い、ユーザーに汚れの有無を確認させる。そして、汚れが無いことがユーザーによって確認されて、ユーザーがその入力を行うと、これを受けて、汚れ状態管理部４は記憶している汚れ状態及び／又は汚れ記憶領域を初期化する。

本実施例によれば、停車時間が長くなり、差分をとる２つの画像の撮像時刻が離れ、周囲の明るさや物体の配置が変わる場合にも対処でき、誤判定が生じる虞を低減できる。

ところで、実施例４に記載したように、自車両の走行中に助手席の乗員がドアのウィンドウを開けて助手席側のサイドカメラのレンズを拭き取る場合など、自車両の走行中であっても、車載カメラ１のレンズが手作業で清掃される場合がある。ところが、単調な車道を走行していなければ、実施例３に記載の安定状態判定部２１は非安定状態を示す安定状態信号を出力し続け、汚れ払拭診断部２が機能しなくなり、汚れの払拭を検知できなくなってしまう。

そこで、自車両の車速が所定値以上の場合、清掃状態判定部２３だけで車載カメラ１のレンズが清掃されたことを判定する。

図１３は、本発明の実施例７に係る車載用撮像装置の概略構成を示すブロック図である。なお、図１３に示す車載用撮像装置４００において、図１０に示した実施例３の車載用撮像装置３００と同一機能を有する構成部には同一の符号を付し、重複する説明は省略する。

（車載用撮像装置４００の構成）
図１３に示すように、本実施例の車載用撮像装置４００は、車載カメラ１と、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、を備え、さらに、車速センサ５を備える。ここで、車速センサ５は、自車両の車速を検出し、出力する。また、汚れ払拭診断部２は、実施例３と同様、安定状態判定部２１、及び払拭領域抽出部２２の他に、清掃状態判定部２３を備える。ただし、本実施例では、安定状態判定部２１、及び払拭領域抽出部２２を省略することもできる。また、汚れ払拭診断部２と、汚れ検知部３と、汚れ状態管理部４と、をレンズ汚れ払拭診断装置としてもよいし、これに車速センサ５を含めてレンズ汚れ払拭診断装置としてもよい。

（汚れ払拭診断部２の処理）
汚れ払拭診断部２は、車速センサ５から出力される自車両の車速を取得し、当該車速が所定値以上となった場合、安定状態判定部２１及び払拭領域抽出部２２の処理を停止し、清掃状態判定部２３の出力する清掃信号を汚れ状態管理部４に出力する。

（汚れ状態管理部４の処理）
汚れ状態管理部４は、清掃状態判定部２３から出力される清掃信号が、「非清掃中」から「清掃中」に、さらに「清掃中」から「非清掃中」に変化した場合、車載カメラ１のレンズが清掃されたものとして、記憶している汚れ状態を「汚れ有り」から「汚れ無し」に変更する。また、汚れ記憶領域を削除（初期化）する。

（汚れ状態管理部４の処理の拡張例）
ただし、清掃状態判定部２３から出力される清掃信号は清掃の有無を示すだけで、実際に汚れが払拭されたかを当該清掃信号から判別することはできない。そのため、本実施例は不必要に実施しないようにすることが好ましい。

そこで、例えば車両からウィンドウの開閉情報を取得し、ウィンドウが十分に開いている場合にのみ、そのウィンドウ近辺に搭載された車載カメラ１に対して、清掃状態判定部２３の出力する清掃信号から汚れの払拭を判定する。これにより、本実施例が不必要に実施されないようにできる。

他にも、自車両の座席に荷重センサを備えて乗員の存在を検知し、付近の座席に乗員の存在する車載カメラ１に対してのみ本実施例を実施するなど、実施条件を制限することが好ましい。

車載カメラ１に周囲の物体が映り込む場合、物体が表示される領域には汚れが無いと判定できる。また、車載カメラ１の撮像画像には、汚れの輪郭が不鮮明に映ることが多く、鮮明な輪郭が現れた領域には汚れが無いと判定できる。

そこで、車載カメラ１の撮像画像に映る歩行者を検出する歩行者検知や当該撮像画像に映る車両を検出する車両検知などの物体認識部（不図示）によって物体が検出できる領域、又は車載カメラ１の撮像画像において鮮明な輪郭が検出される領域には汚れが無いと判定し、汚れ状態管理部４は、記憶する汚れ状態や汚れ記憶領域にこの判定を反映してもよい。

本実施例によれば、過去の汚れの付着領域や汚れ状態が未知でも、汚れの払拭領域を検出することができる。

＜付記１＞
なお、以上説明した本発明は、
１．
レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置、としたので、
・車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することができる。

また、本発明は、
２．
１．に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、都度、該取得した撮像画像と該取得した撮像画像の直前に取得した撮像画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置、としたので、
・差分の大きな領域の面積が所定値以下であるときに安定状態であると判定することで、安定状態を適切に判定することができる。

また、本発明は、
３．
１．に記載の車載用撮像装置において、
前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、該逐次取得した撮像画像から特徴量を抽出した特徴量画像を逐次生成し、都度、該生成した特徴量画像と該生成した特徴量画像の直前に生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
ことを特徴とする車載用撮像装置、としたので、
・特徴量画像を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。

また、本発明は、
４．
１．に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・安定状態での撮像画像を用いることで誤判定が生じる虞を低減することができる。

また、本発明は、
５．
１．に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像を一定期間累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・差分画像を累積することで、他の車両のヘッドライトの一時的な照射などによって汚れの明るさが変化した場合にも対応可能である。

また、本発明は、
６．
１．に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、前記汚れ状態管理部が記憶している汚れの有無又は汚れ付着領域を取得し、該取得した汚れが無くなる、又は該取得した汚れ付着領域の面積が所定値以下になるまで、該生成した差分画像を累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・差分画像を累積することで、汚れの払拭領域の取りこぼしを抑えることができる。

また、本発明は、
７．
１．に記載の車載用撮像装置において、
前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該逐次取得した安定状態での撮像画像から特徴量を抽出した特徴量画像を逐次生成し、該生成した特徴量画像と、以前に取得し生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
ことを特徴とする車載用撮像装置、としたので、
・特徴量画像を用いることで、検出性能を向上したり、処理するデータ量を削減したりできる。

また、本発明は、
８．
１．に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得し、記憶している汚れ付着領域から該取得した払拭領域を削除し、更新された汚れ付着領域又は該削除した払拭領域の面積に基づいて汚れ状態を更新する、
ことを特徴とする車載用撮像装置、としたので、
・レンズの汚れ状態の適切な管理を行うことができる。

また、本発明は、
９．
１．に記載の車載用撮像装置において、
前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得して一定期間累積し、該累積された払拭領域の面積が所定値以上の場合、記憶している汚れ状態を汚れ無しにする、
ことを特徴とする車載用撮像装置、としたので、
・汚れの払拭領域を累積することで、レンズ表面に付着した汚れが少しずつ段階的に取り除かれる場合などにも対応することができる。

また、本発明は、
１０．
１．に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況をユーザーに通知する、
ことを特徴とする車載用撮像装置、としたので、
・ユーザーが、レンズの汚れの管理状況を知ることができ、適切な対応を取ることができる。

また、本発明は、
１１．
１．に記載の車載用撮像装置において、
前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況を、車両を自律制御するシステムに通知する、
ことを特徴とする車載用撮像装置、としたので、
・自動運転などの自律制御するシステムにおいて、レンズの汚れの管理状況を知ることができ、適切な制御を行うことができる。

また、本発明は、
１２．
レンズを介して画像を撮像する車載カメラと、
前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
前記レンズの汚れの管理を行う汚れ状態管理部と、
を備え、
前記汚れ払拭診断部は、
前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
前記レンズが清掃されたことを判定する清掃状態判定部と、
前記安定状態判定部及び前記清掃状態判定部の判定に基づいて、前記レンズが清掃されている期間の前後それぞれにおける時間変化の小さい撮像画像を抽出し、該レンズが清掃されている期間の前後の２つの撮像画像の差分から汚れの払拭領域を抽出する払拭領域抽出部と、
を有し、
前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
ことを特徴とする車載用撮像装置、としたので、
・レンズの清掃状態を反映し、車載カメラのレンズ表面に付着した汚れを除去する作業の実施タイミングが不明であっても、レンズ表面の汚れが払拭されたことを診断するに際して、誤判定が生じる虞を低減できるレンズ汚れ払拭診断装置を有する車載用撮像装置を提供することができる。

また、本発明は、
１３．
１２．に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・輝度の低い暗領域を抽出することで、清掃状態を判定することができる。

また、本発明は、
１４．
１３．に記載の車載用撮像装置において、
前記清掃状態判定部は、前記抽出した暗領域が撮像画像の全体に及ばない場合に、該抽出した暗領域の端に大きな輝度変化があるかを判定し、端に大きな輝度変化のある暗領域のみをさらに抽出し、該抽出した端に大きな輝度変化のある暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・暗領域の端の輝度変化を判定することで、清掃状態をより正確に判定することができる。

また、本発明は、
１５．
１２．に記載の車載用撮像装置において、
前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域を累積し、該累積された暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
ことを特徴とする車載用撮像装置、としたので、
・暗領域を累積することで、幾度かに分けてレンズを清掃した場合でも、レンズが清掃されたことを検知することができる。

また、本発明は、
１６．
１．乃至１５．のいずれか一項に記載の車載用撮像装置において、
前記汚れ払拭診断部は、自車両の車速及び／又は自車両の乗降情報に類する情報を参照し、自車両の乗員が前記レンズを清掃可能な場合にのみ動作する、
ことを特徴とする車載用撮像装置、としたので、
・レンズの清掃が不可能な場合に動作を停止することで、処理負荷を低減することができる。

また、本発明は、
１７．
１．乃至１６．のいずれか一項に記載の車載用撮像装置において、
前記汚れ検知部、前記汚れ払拭診断部及び前記汚れ状態管理部は、レンズ汚れ払拭診断装置を成すものであって、
前記レンズ汚れ払拭診断装置は、エンジン停止直後から該レンズ汚れ払拭診断装置が停止するまでの間である停止時に前記車載カメラの撮像画像を記憶し、エンジンの再開時に、前記停止時に記憶した撮像画像を、前記レンズを清掃する前の過去の撮像画像として利用する、
ことを特徴とする車載用撮像装置、としたので、
・エンジン停止時にレンズ汚れ払拭診断装置を停止させる構成であってもレンズの汚れ状態の適切な管理を行うことができる。

また、本発明は、
１８．
１．乃至１７．のいずれか一項に記載の車載用撮像装置において、
前記車載カメラの撮像画像から物体を検出する物体認識部を備え、
前記汚れ状態管理部は、前記物体認識部が物体を検出した領域を汚れの払拭領域として抽出し、記憶している汚れ付着領域から該抽出した払拭領域を削除する、
ことを特徴とする車載用撮像装置、としたので、
・物体が検出された領域にはレンズの汚れがないと考えられることから、物体認識部による検出結果を反映することで、レンズの汚れ状態のより適切な管理を行うことができる。

また、本発明は、
１９．
１．乃至１８．のいずれか一項に記載の車載用撮像装置を備え、前記汚れ状態管理部が記憶する汚れ付着領域の面積が所定値以下に減少した場合に、車両の自律制御システムに、車両の自律制御を許可する、
ことを特徴とする車両制御システム、としたので、
・レンズの汚れの影響を受けずに車両の自律制御を行うことができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上述した個々の実施例の各要素のいかなる組合せも本発明に含むものである。

１…車載カメラ、２…汚れ払拭診断部、３…汚れ検知部、４…汚れ状態管理部、５…車速センサ、２１…安定状態判定部、２２…払拭領域抽出部、２３…清掃状態判定部、３１、３２…領域（水滴表示領域）、３３…領域（歩行者表示領域）、３４…領域（布表示領域）。

Claims (15)

1. レンズを介して画像を撮像する車載カメラと、
   前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
   前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
   前記レンズの汚れの管理を行う汚れ状態管理部と、
   を備え、
   前記汚れ払拭診断部は、
   前記車載カメラで逐次撮像された撮像画像の時間変化に基づき、安定状態であるか否かを判定する安定状態判定部と、
   前記車載カメラで逐次撮像された撮像画像のうち前記安定状態判定部による判定結果が安定状態であるときの撮像画像の時間変化に基づいて汚れの払拭領域を抽出する払拭領域抽出部と、
   を有し、
   前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
   ことを特徴とする車載用撮像装置。
2. 請求項１に記載の車載用撮像装置において、
   前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、都度、該取得した撮像画像と該取得した撮像画像の直前に取得した撮像画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
   ことを特徴とする車載用撮像装置。
3. 請求項１に記載の車載用撮像装置において、
   前記安定状態判定部は、前記車載カメラから出力される撮像画像を逐次取得し、該逐次取得した撮像画像から特徴量を抽出した特徴量画像を逐次生成し、都度、該生成した特徴量画像と該生成した特徴量画像の直前に生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した差分の大きな領域の面積が所定値以下であれば、該取得した撮像画像の時間変化が小さく安定状態であると判定し、前記差分の大きな領域の面積が所定値を超えれば、該取得した撮像画像の時間変化が大きく安定状態でないと判定する、
   ことを特徴とする車載用撮像装置。
4. 請求項１に記載の車載用撮像装置において、
   前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
   ことを特徴とする車載用撮像装置。
5. 請求項１に記載の車載用撮像装置において、
   前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、該生成した差分画像を一定期間累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
   ことを特徴とする車載用撮像装置。
6. 請求項１に記載の車載用撮像装置において、
   前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該取得した安定状態での撮像画像と、以前に取得した安定状態での撮像画像との差分画像を生成し、前記汚れ状態管理部が記憶している汚れの有無又は汚れ付着領域を取得し、該取得した汚れが無くなる、又は該取得した汚れ付着領域の面積が所定値以下になるまで、該生成した差分画像を累積し、該累積された差分画像から差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
   ことを特徴とする車載用撮像装置。
7. 請求項１に記載の車載用撮像装置において、
   前記払拭領域抽出部は、前記安定状態判定部による判定結果が安定状態での撮像画像を逐次取得し、該逐次取得した安定状態での撮像画像から特徴量を抽出した特徴量画像を逐次生成し、該生成した特徴量画像と、以前に取得し生成した特徴量画像との差分画像を生成し、該生成した差分画像に基づいて差分の大きな領域を抽出し、該抽出した領域を汚れの払拭領域とする、
   ことを特徴とする車載用撮像装置。
8. 請求項１に記載の車載用撮像装置において、
   前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得し、記憶している汚れ付着領域から該取得した払拭領域を削除し、更新された汚れ付着領域又は該削除した払拭領域の面積に基づいて汚れ状態を更新する、
   ことを特徴とする車載用撮像装置。
9. 請求項１に記載の車載用撮像装置において、
   前記汚れ状態管理部は、前記汚れ検知部が検出する汚れの有無又は汚れ付着領域を取得し、該取得した汚れ付着領域を汚れ記憶領域として記憶し、前記取得した汚れの有無又は該記憶した汚れ記憶領域の面積の大小を汚れ状態として記憶し、前記払拭領域抽出部が検出する汚れの払拭領域を取得して一定期間累積し、該累積された払拭領域の面積が所定値以上の場合、記憶している汚れ状態を汚れ無しにする、
   ことを特徴とする車載用撮像装置。
10. 請求項１に記載の車載用撮像装置において、
    前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況をユーザーに通知する、
    ことを特徴とする車載用撮像装置。
11. 請求項１に記載の車載用撮像装置において、
    前記汚れ状態管理部は、記憶している汚れの有無又は汚れ付着領域に基づいて、前記レンズの汚れの管理状況を、車両を自律制御するシステムに通知する、
    ことを特徴とする車載用撮像装置。
12. レンズを介して画像を撮像する車載カメラと、
    前記車載カメラで逐次撮像された撮像画像に基づき、前記レンズの汚れの有無又は汚れ付着領域を検出する汚れ検知部と、
    前記レンズの汚れの払拭を診断する汚れ払拭診断部と、
    前記レンズの汚れの管理を行う汚れ状態管理部と、
    を備え、
    前記汚れ払拭診断部は、
    前記車載カメラで逐次撮像された撮像画像に基づき、安定状態であるか否かを判定する安定状態判定部と、
    前記レンズが清掃されたことを判定する清掃状態判定部と、
    前記安定状態判定部及び前記清掃状態判定部の判定に基づいて、前記レンズが清掃されている期間の前後それぞれにおける時間変化の小さい撮像画像を抽出し、該レンズが清掃されている期間の前後の２つの撮像画像の差分から汚れの払拭領域を抽出する払拭領域抽出部と、
    を有し、
    前記汚れ状態管理部は、前記汚れ検知部が検出した汚れの有無又は汚れ付着領域を記憶し、前記払拭領域抽出部が抽出した汚れの払拭領域を、既に記憶してある汚れの有無又は汚れ付着領域に反映し、前記レンズの汚れの管理を行う、
    ことを特徴とする車載用撮像装置。
13. 請求項１２に記載の車載用撮像装置において、
    前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
    ことを特徴とする車載用撮像装置。
14. 請求項１３に記載の車載用撮像装置において、
    前記清掃状態判定部は、前記抽出した暗領域が撮像画像の全体に及ばない場合に、該抽出した暗領域の端に大きな輝度変化があるかを判定し、端に大きな輝度変化のある暗領域のみをさらに抽出し、該抽出した端に大きな輝度変化のある暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
    ことを特徴とする車載用撮像装置。
15. 請求項１２に記載の車載用撮像装置において、
    前記清掃状態判定部は、前記車載カメラの撮像画像から所定値以下の輝度の領域を暗領域として抽出し、該抽出した暗領域を累積し、該累積された暗領域の面積が所定値以上となった場合に、前記レンズが清掃されていると判定する、
    ことを特徴とする車載用撮像装置。

Images