JP7243546B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、撮像画像の輝度情報に基づいて、撮像装置のレンズに付着した付着物に対応する領域が所定面積以上となった場合に、付着物が有ることを検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１９－２９９４０号公報

しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、従来は、検出結果の確度を保つ観点から、付着物有りと検出するために、ある程度の広い面積の付着物領域が検出される必要があった。このため、従来は、少量付着を検出するために、より確度の高い付着物領域を検出する必要があった。

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、付着検出部と、移動付着検出部と、判定部とを備える。前記付着検出部は、撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する。前記移動付着検出部は、前記付着検出部によって検出された前記付着物領域のうち、車両が移動中に検出された前記付着物領域を移動付着物領域として検出する。前記判定部は、前記移動付着検出部によって検出された前記移動付着物領域の面積が第１閾値以上である場合であって、前記付着検出部によって検出された前記付着物領域の面積が前記第１閾値よりも大きい第２閾値以上である場合、付着物有りと判定する。

本発明によれば、付着物を高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３Ａは、付着検出部の処理内容を示す図である。 図３Ｂは、付着検出部の処理内容を示す図である。 図４Ａは、付着検出部の処理内容を示す図である。 図４Ｂは、付着検出部の処理内容を示す図である。 図５は、付着検出部による除外処理を示す図である。 図６は、付着検出部の判定処理を示す図である。 図７は、付着検出部による確定処理を示す図である。 図８は、付着検出部による確定処理を示す図である。 図９は、付着検出部による継続性の判定処理を示す図である。 図１０は、判定部による面積計算処理を示す図である。 図１１は、実施形態に係る付着物検出装置が実行する全体処理の処理手順を示すフローチャートである。 図１２は、実施形態に係る付着物検出装置が実行する検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラ（撮像装置の一例）のレンズに雨滴等の水滴が付着した状態で撮像された撮像画像Ｉを示している。

カメラのレンズに、泥や、埃、雨滴、雪片等の付着物が付着すると、撮像画像Ｉから車両の周囲の情報、例えば、駐車枠や、他車両や、人の情報を取得できず、駐車枠や、他車両や、人などを正確に検出することができなくなるおそれがある。なお、付着物は、泥、埃、雨滴および雪片に限定されるものではなく、付着物の領域がぼやけた領域となる付着物であればよい。

実施形態に係る付着物検出装置１（図２参照）は、付着物検出方法を実行することで、カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物に対応する付着物領域を検出する。さらに、実施形態に係る付着物検出装置１は、付着物領域が車両の移動中に継続して検出された場合には、当該付着物領域を移動付着物領域として検出する。

具体的には、まず、実施形態に係る付着物検出方法では、カメラで撮像された撮像画像Ｉの輝度情報に基づいて、カメラに付着した付着物に対応する付着物領域４００を検出する（ステップＳ１）。なお、付着物領域４００の検出方法は、例えば雨滴等のぼやけた領域を検出する方法や、泥等の黒つぶれ領域を検出する方法、雪等の乱反射によるざらざら領域を検出する方法等がある。

例えば、ぼやけた領域の場合、撮像画像Ｉの各画素から検出されるエッジに基づくパターンマッチングにより抽出した雨滴等の円形状の輪郭を含む矩形状の領域の輝度分布を解析することで、雨滴等のぼやけた領域を付着物領域４００として検出する。

例えば、黒つぶれ領域の場合、撮像画像Ｉを複数の小領域に分割して、小領域毎に輝度が低く、かつ、輝度情報の変動（過去との対比）が少ない小領域を、泥等の黒つぶれ領域である付着物領域４００として検出する。

例えば、ざらざら領域の場合、撮像画像Ｉの各画素から検出されるエッジの向きが様々な方向を向いている領域を、雪等のざらざら領域である付着物領域４００として検出する。

なお、以下に示す実施形態では、雨滴等のぼやけた領域を付着物領域４００として検出する場合を例に挙げて説明する。

つづいて、図１に示すように、実施形態に係る付着物検出方法では、検出した付着物領域４００のうち、車両が移動中に検出した付着物領域４００を移動付着物領域として検出する（ステップＳ２）。なお、付着物領域４００を移動付着物領域として検出する方法の詳細については、後述する。

つづいて、実施形態に係る付着物検出方法では、検出した移動付着物領域の面積が第１閾値以上である場合、付着物有りと判定する（ステップＳ３）。なお、実施形態に係る付着物検出方法では、付着物領域４００の面積が第２閾値以上である場合にも、付着物有りと判定する。そして、第１閾値は第２閾値よりも小さい値が設定される。

すなわち、実施形態に係る付着物検出方法では、付着物領域４００に比べて、移動付着物領域の方が、より少ない面積で付着物有りと判定する。換言すれば、移動付着物領域については、通常の付着物領域４００よりも少量付着で付着物有りと判定する。

このように第１閾値を第２閾値よりも低く設定できるのは、移動付着物領域の確度が高いためである。言い換えれば、移動付着物領域は、車両の移動によって撮像画像Ｉの背景（輝度情報）が変化しても移動付着物領域として検出されており、かつ、移動に伴う車両の振動でも除去されないほど強固に付着していることを示していることから付着物として確度が高い。

このように、実施形態に係る付着物検出方法では、確度の高い移動付着物領域を検出することで、少量付着であっても付着物有りと判定できる。従って、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

車速センサ１１は、車両の速度（車速）を検出するセンサである。車速センサ１１は、検出した車速の情報を付着物検出装置１へ出力する。なお、車速センサ１１を省略して、例えば、付着物検出装置１は、カメラ１０の時系列の画像に基づいて車速の情報を算出してもよい。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、付着検出部２２と、移動付着検出部２３と、付着検出部２２と、フラグ出力部２５とを備える。記憶部３は、起伏条件情報３１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、付着検出部２２、移動付着検出部２３、付着検出部２２およびフラグ出力部２５として機能する。

また、制御部２の画像取得部２１、付着検出部２２、移動付着検出部２３、付着検出部２２およびフラグ出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

記憶部３に記憶された起伏条件情報３１は、後述の付着検出部２２による処理の基準となる条件を含む情報であり、例えば、輝度分布（輝度平均の分布）の起伏のパターン条件を含む。なお、パターン条件とは、輝度平均の分布の起伏変化の変化パターンや、輝度分布における各画素（単位領域Ｒ）がとり得る輝度の閾値範囲である。なお、起伏条件情報３１を用いた処理については後述する。

画像取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、画像取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。

また、画像取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、画像取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部２１は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Ｉと記載する場合がある。

付着検出部２２は、画像取得部２１が取得した撮像画像Ｉの輝度情報に基づいて、付着物領域４００を検出する。輝度情報は、輝度の平均値や、輝度の標準編、エッジの情報等である。

まず、付着検出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、撮像画像Ｉの中から付着物領域４００の候補領域１００を抽出する。具体的には、まず、付着検出部２２は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０～２５５のパラメータで表現される。

また、付着検出部２２は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

そして、付着検出部２２は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

そして、付着検出部２２は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、付着検出部２２は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。

つづいて、付着検出部２２は、抽出した候補領域１００において連続する複数の画素列に関し、所定画素数を単位とする単位領域Ｒに分割し、単位領域Ｒ毎に輝度の平均値および輝度の標準偏差を算出する。

ここで、図３Ａ～図４Ｂを用いて、付着検出部２２の処理内容について説明する。図３Ａ～図４Ｂは、付着検出部２２の処理内容を示す図である。

図３Ａおよび図３Ｂに示すように、まず、付着検出部２２は、候補領域１００において連続する複数の画素列を帯領域１１０として設定する。かかる帯領域１１０は、後段の単位領域Ｒの分割処理および輝度情報（平均値および標準偏差）の算出処理の対象となる領域である。

具体的には、図３Ａに示すように、まず、付着検出部２２は、候補領域１００における水平方向の３列の画素列Ｈ１～Ｈ３と、垂直方向の３列の画素列Ｖ１～Ｖ３とを選択する。そして、付着検出部２２は、選択した各画素列について、当該画素列を含む複数の画素列を帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１を含む帯領域１１０を示している。なお、垂直方向の画素列を含む帯領域１１０の設定方法については、以下に説明する水平方向の画素列Ｈ１を含む帯領域１１０の設定方法とほぼ同様（画素列が水平方向か垂直方向かの違いのみ）であるため、記載を省略する。

図３Ｂに示すように、付着検出部２２は、選択した画素列Ｈ１を中心にして、垂直方向に連続する複数の画素列を帯領域１１０として設定する。換言すれば、付着検出部２２は、選択した画素列Ｈ１と当該画素列Ｈ１に平行な画素列であって、互いに隣接する複数の画素列とを帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する３本の画素列（計６本の画素列）と、１本の画素列Ｈ１とを含む計７本の画素列を帯領域１１０として設定する。

なお、帯領域１１０における画素列Ｈ１の位置は、帯領域１１０の中心でなくてもよく、垂直方向の上側および下側のいずれかに寄った位置であってもよい。また、画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する画素列は、２本以下でも、４本以上でもよい。

また、選択する画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３は、水平方向の画素列Ｈ１～Ｈ３、または、垂直方向の画素列Ｖ１～Ｖ３のいずれか一方の方向の画素列であってもよい。また、各方向において選択する画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３の本数は、３本に限らず、２本以下や、４本以上であってもよい。

つづいて、図４Ａに示すように、付着検出部２２は、設定した帯領域１１０において所定画素数を単位とする単位領域Ｒ１～Ｒ８に分割し、単位領域Ｒ１～Ｒ８毎に輝度の平均値および輝度の標準偏差を算出する。

なお、図４Ａでは、付着検出部２２は、帯領域１１０を等間隔（同じ画素数）で分割した８つの単位領域Ｒ１～Ｒ８を設定する場合を示しているが、単位領域Ｒの数は６つ以下でも、９つ以上でもよい。また、各単位領域Ｒに含まれる画素数は同じであっても、異なってもよい。

そして、付着検出部２２は、算出した輝度の標準偏差が所定値未満である場合、帯領域１１０における単位領域Ｒの代表値として輝度の平均値を設定する。

一方、図４Ｂに示すように、付着検出部２２は、算出した輝度の標準偏差が所定値以上である場合、帯領域１１０における輝度平均の分布として、単位領域Ｒの輝度平均に代えて、所定の異常値を単位領域Ｒの代表値に設定する。

図４Ｂに示す例では、付着検出部２２は、単位領域Ｒ８について、輝度の標準偏差が所定値以上である場合、単位領域Ｒ８の輝度の平均値に代えて、所定の異常値（例えば、最低値やゼロ等）を単位領域Ｒ８の代表値に設定する。

この異常値は、後段処理において付着物領域４００ではないと判定するための値である。例えば、付着検出部２２は、後段処理において、輝度平均の分布が所定のパターンに合致するか否かで付着物領域４００を判定する場合、かかる所定のパターンに合致しないような異常値を設定する。すなわち、付着検出部２２は、後段処理において単位領域Ｒの標準偏差が所定値以上である場合、候補領域１００が付着物領域４００ではないと判定する。これにより、ノイズ成分を含んだ候補領域１００を付着物領域４００として誤判定することを抑制できる。

さらに、付着検出部２２は、後段処理において付着物領域４００ではないと判定されるような異常値を設定することで、新たな処理を追加することなく付着物領域４００でない候補領域１００を除くことができるため、処理が複雑化することを抑制できる。

なお、付着検出部２２は、単位領域Ｒの代表値として、輝度の平均値を用いたが、例えば、単位領域Ｒ１～Ｒ８毎に輝度のヒストグラムを作成し、ヒストグラムにおける最頻値や中央値、平均値等を代表値として設定してもよい。

付着検出部２２は、付着検出部２２によって単位領域Ｒ毎に算出した輝度平均の分布における起伏に基づいて候補領域１００が付着物領域４００であるか否かを判定する。

まず、付着検出部２２は、候補領域１００に含まれる画素の輝度分布（輝度平均の分布）の起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。

ここで、付着検出部２２による候補領域１００の除外処理について図５を用いて説明する。図５は、付着検出部２２による除外処理を示す図である。図５では、所定の候補領域１００から算出された各帯領域１１０の輝度平均の分布を示している。図５では、候補領域１００に設定された各画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３に対応する帯領域１１０毎の輝度平均の分布を示している。例えば、図５において「Ｈ１」のグラフは、画素列Ｈ１を含む帯領域１１０における単位領域Ｒの輝度平均の分布を示す。

付着検出部２２は、各画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３に対応する帯領域１１０毎の輝度平均の分布における起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。

例えば、付着検出部２２は、帯領域１１０に含まれる単位領域Ｒの代表値に異常値が含まれる場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。換言すれば、付着検出部２２は、帯領域１１０において隣接する２つの単位領域Ｒの代表値の差分が所定値以上となる場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。

さらに言い換えれば、付着検出部２２は、帯領域１１０における単位領域Ｒの中に、代表値の標準偏差が所定値以上の単位領域Ｒ（つまり、異常値が設定された単位領域Ｒ）が含まれる場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。

すなわち、付着検出部２２は、輝度平均の分布における起伏の一部が、異常値により急激に凹凸した形状である場合、除外条件を満たすとして、当該候補領域１００を付着物領域４００の判定処理の対象から除外する。このように、付着検出部２２は、異常値に基づいて除外処理（付着物領域４００ではないと判定する処理ともいえる）を行うこと、付着物でない領域を高精度に除去できる。

また、図５の画素列Ｖ１～Ｖ３のグラフに示すように、付着検出部２２は、単位領域Ｒの輝度平均の分布における起伏が３つのグラフとも平坦、つまり、垂直方向の画素列Ｖ１～Ｖ３に対応する３つの帯領域１１０すべてについて、輝度平均の起伏変化が所定の範囲内である場合、候補領域１００を付着物領域４００の判定処理の対象から除外する。具体的には、候補領域１００がバックランプの光が壁に反射した場合、単位領域Ｒの輝度平均の分布が平坦になる傾向にあることが実験により判明した。そこで、輝度平均の起伏変化が所定の範囲内である場合は候補領域１００がバックランプの反射で生じたものであると判定し、付着物領域４００の判定処理の対象から除外する。

なお、図５では、垂直方向の画素列Ｖ１～Ｖ３における３つの輝度分布が平坦である場合を示したが、水平方向の画素列Ｈ１～Ｈ３における３つの輝度分布が平坦である場合や、垂直方向および水平方向の画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３における６つの輝度分布が平坦である場合に、候補領域１００を付着物領域４００の判定処理の対象から除外してもよい。つまり、付着検出部２２は、候補領域１００における垂直方向および水平方向の画素列のうち、少なくとも一方の画素列の輝度分布の起伏変化が所定の範囲内である場合、除外条件を満たすとし、候補領域１００を付着物領域４００の判定処理の対象から除外する。

このように、付着検出部２２は、候補領域１００における輝度分布の起伏が所定の除外条件を満たす場合に、かかる候補領域１００を付着物領域４００の判定処理の対象から除外することで、付着物領域４００の誤判定を減らすことができる。すなわち、付着物を高精度に検出することができる。

つづいて、付着検出部２２は、除外条件により除外した候補領域１００以外の候補領域１００について、付着物領域４００であるか否かの判定処理を行う。ここで、図６を用いて、付着検出部２２による判定処理について説明する。

図６は、付着検出部２２の判定処理を示す図である。まず、図６に示すように、付着検出部２２は、まず、各帯領域１１０について、隣接する単位領域Ｒ１～Ｒ８の輝度平均の変化量Ｄ１～Ｄ７を算出する。

そして、付着検出部２２は、候補領域１００における複数の帯領域１１０のうち、単位領域Ｒの輝度平均の分布における起伏変化のパターンが所定の変化パターンを満たす帯領域１１０が存在する場合に、候補領域１００が付着物領域４００であると判定する。例えば、付着検出部２２は、変化量Ｄ１～Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１に含まれる変化パターンの各値とを比較して判定処理を行う。なお、起伏条件情報３１に含まれる変化パターンとは、変化量Ｄ１～Ｄ７のとり得る最大値および最小値の閾値範囲である。

つまり、付着検出部２２は、算出した変化量Ｄ１～Ｄ７の各値が、起伏条件情報３１に含まれる変化量Ｄ１～Ｄ７それぞれの閾値範囲内である場合、候補領域１００が付着物領域４００であると判定する。

換言すれば、付着検出部２２は、隣接する単位領域Ｒ１～Ｒ８の輝度平均の変化量Ｄ１～Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす場合に、付着物領域４００であると判定する。

また、起伏条件情報３１において変化量Ｄ１～Ｄ７の最大値および最小値を設定して幅をもたせることで、輝度分布の起伏が多少ばらついても、付着物領域４００として検出することができる。

なお、図６では、起伏条件情報３１について、すべての変化量Ｄ１～Ｄ７の閾値範囲を設定した場合を示したが、例えば、小さいサイズの付着物領域４００を検出する場合には、変化量Ｄ１～Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。

なお、付着検出部２２は、付着物領域４００であると判定した候補領域１００について、所定領域における輝度変化量を算出し、かかる輝度変化量に基づいて付着物領域４００の判定結果を確定する確定処理を行ってもよい。かかる点について、図７および図８を用いて説明する。

図７および図８は、付着検出部２２による付着物領域４００の確定処理を示す図である。確定処理において、付着検出部２２は、まず、付着物領域４００であると判定した候補領域１００における所定の内部領域２００において所定方向に連続する複数画素の輝度変化量を算出する。

具体的には、図７に示すように、付着検出部２２は、まず、候補領域１００に対して内部領域２００を設定する。例えば、付着検出部２２は、候補領域１００を垂直方向および水平方向それぞれで所定数に分割する。図７では、候補領域１００を垂直方向および水平方向それぞれで４分割する場合を示すが、３分割以下でも、５分割以上でもよい。

そして、付着検出部２２は、所定数に分割した分割領域のうち、中央領域を内部領域２００として設定する。図７では、垂直方向および水平方向それぞれで４分割して生成された１６の分割領域のうち、中央領域である４つの分割領域を内部領域２００として設定する。

そして、付着検出部２２は、内部領域２００において複数画素の輝度変化量を算出する。図７では、付着検出部２２は、垂直方向に連続する３画素の輝度変化量を算出する。これは、路面反射の領域が垂直方向に延びる場合が多いためである。これにより、後段の判定処理により路面反射の領域を高精度に判定することができる。なお、付着検出部２２は、水平方向に連続する複数画素の輝度変化量を算出してもよい。

まず、付着検出部２２は、垂直方向に隣接する２つの画素の輝度差分値を第１差分として算出する。図７の中段には、１つの第１差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の中段において、１つのマスは垂直方向に隣接する２画素の輝度差分値、すなわち第１差分であり、垂直方向に隣接する２つのマスは、３画素から算出された２つの第１差分である。

つづいて、付着検出部２２は、垂直方向に連続する２つの第１差分の差分値である第２差分を算出する。図７の下段には、絶対値に変換した１つの第２差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の下段において、１つのマスは、３画素から算出された１つの第２差分（輝度変化量）である。換言すれば、第２差分は第１差分の変化量である。

このように、輝度が急激に上下する場合は路面の小さな傷等に起因して発生するケースが考えられ、路面反射の領域である可能性が高い。そこで、付着検出部２２は、第２差分を複数画素の輝度変化量として算出することで、後段処理において、付着物領域４００であるか路面反射の領域であるかを容易に判定することができる。具体的には、例えば、路面の小さな傷等に起因して、連続する３画素の輝度が急激に上下する領域（図７に示す「１８０」→「１６０」→「１８０」）では、第２差分が高くなる。すなわち、第２差分を算出することで、このような輝度が急激に上下する領域を容易に識別できるようになるため、後段処理において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。

なお、付着検出部２２は、第２差分を複数画素の輝度変化量としたが、第１差分を複数画素の輝度変化量としてもよい。第１差分を複数画素の輝度変化量とする場合、複数画素における画素数が２画素以上であればよい。具体的には、２画素の輝度変化量を算出する場合には、算出した１つの第１差分を輝度変化量としてもよく、３画素以上の輝度変化量を算出する場合には、算出した複数の第１差分の平均値を輝度変化量としてもよい。

つづいて、付着検出部２２は、算出結果である第２差分を複数画素の輝度変化量として確定処理を行う。具体的には、図８に示すように、付着検出部２２は、算出した複数画素の輝度変化量をヒストグラム化することで、候補領域１００が付着物領域４００であると確定する。

図８では、一の内部領域２００に含まれる複数の複数画素毎の輝度変化量のヒストグラムを示している。図８に示すヒストグラムでは、横軸を輝度変化量とし、縦軸を領域度数として示している。また、図８では、候補領域１００が付着物領域４００である場合のヒストグラムと、候補領域１００が路面反射の領域（付着物以外の領域）である場合のヒストグラムとを示している。

なお、領域度数とは、複数画素の数に対応した数であり、１つの度数が１つの複数画素に対応している。言い換えれば、１つの度数は、１つの複数画素における輝度変化量（すなわち、１つの輝度変化量）に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。つまり、図８に示すヒストグラムの領域度数の総和は、大きさの異なる各内部領域２００間で同じとなる。

図８に示すように、付着物領域４００のヒストグラムと、路面反射の領域のヒストグラムとを比較した場合、第１の範囲における領域度数は双方が類似しているものの、第２の範囲において、路面反射の領域の方が、付着物領域４００に比べて、領域度数の合計がわずかに多い。これは、路面反射の領域では、路面にできた傷や、汚れ等が第２の範囲の領域度数に影響しているためである。

かかる点に着目して、付着検出部２２は、輝度変化量が第１の範囲にある輝度変化量の数と、第１の範囲よりも輝度変化量が大きい第２の範囲にある輝度変化量の数とに基づいて候補領域１００が付着物領域４００であると確定する。

具体的には、付着検出部２２は、輝度変化量「０」を最小値とする第１の範囲にある領域度数の和と、第１の範囲の最大値よりも最小値が大きい第２の範囲にある領域度数の和とに基づいて候補領域１００が付着物領域４００であると確定する。

例えば、付着検出部２２は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値未満である場合、候補領域１００が付着物領域４００であると確定する。

一方、付着検出部２２は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値以上である場合、候補領域１００が付着物領域４００ではない（路面反射領域である）と確定する。

これにより、付着検出部２２は、候補領域１００の中から、路面反射の領域に対応する領域を除くことができるため、路面反射の領域を付着物領域４００として誤検出することを抑制することができる。

また、付着検出部２２は、第１の範囲にある領域度数の和が所定値未満である場合には、第２の範囲にある領域度数の和に関わらず、候補領域１００が付着物領域４００ではないと確定する。

そして、付着検出部２２は、候補領域１００について付着物領域４００として継続して判定（確定）されたか否かの継続性の判定処理を行う。なお、継続性の判定処理については、図９で後述する。

移動付着検出部２３は、付着検出部２２によって検出された付着物領域４００のうち、車両が移動中に検出された付着物領域４００を移動付着物領域として検出する。具体的には、移動付着検出部２３は、付着検出部２２による継続性の判定処理において、継続的に付着物領域４００と判定された領域の中から、移動付着物領域を検出する。

ここで、図９を用いて、付着検出部２２による継続性の判定処理について説明する。

図９は、付着検出部２２による継続性の判定処理を示す図である。図９では、各候補領域１００の状態を管理するためのステートマシンの図を示しており、候補領域１００の付着物に関する状態の遷移を示している。

図９に示すように、候補領域１００は、「ＩＤＬＥ」、「潜伏」、「付着」および「移動付着」の４つの状態に遷移し得る。詳細は後述するが、移動付着検出部２３は、「付着」の状態となった付着物領域４００が、車両の移動中も継続して付着物領域４００と判定された場合に、移動付着物領域（「移動付着」）として検出する。

以下、各状態について説明する。

「ＩＤＬＥ」は、付着物領域４００として判定されていない状態を示す。すなわち、「ＩＤＬＥ」は、付着物領域４００として一度も判定されていない候補領域１００であることを示す。

「潜伏」は、付着物が付着している可能性があることを示す状態である。すなわち、「潜伏」は、付着物領域４００であると判定されたものの、付着物領域４００として継続判定されている期間が所定期間未満の候補領域１００であることを示す。

「付着」は、付着物が付着していることを示す状態である。すなわち、「付着」は、付着物領域４００として継続判定されている期間が所定期間以上の候補領域１００であることを示す。付着検出部２２は、「付着」の状態の候補領域１００を付着物領域４００として確定する。

「移動付着」は、車両が移動中（車速が所定値以上）も継続して付着物が付着していることを示す状態である。すなわち、「移動付着」は、車両が移動中も、引き続き付着物領域４００として所定期間以上継続判定されている候補領域１００であることを示す。従って、移動付着検出部２３は、「移動付着」の状態に遷移した候補領域１００を移動付着物領域として検出する。

以下、各状態間の遷移について説明する。なお、状態の遷移は、判定処理の継続性を示すスコアに基づいて行うことができる。

＜「ＩＤＬＥ」→「潜伏」＞
例えば、付着検出部２２は、初めて付着物領域４００であると判定した候補領域１００について、「ＩＤＬＥ」から「潜伏」へ遷移させる。

＜「潜伏」→「ＩＤＬＥ」＞
例えば、付着検出部２２は、付着物領域４００として継続判定されている期間が所定期間未満である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域４００ではないと判定した場合に、「潜伏」から「ＩＤＬＥ」へ遷移させる。

＜「潜伏」→「付着」＞
例えば、付着検出部２２は、付着物領域４００として継続判定されている期間が所定期間以上となった場合に、「潜伏」から「付着」へ遷移させる。付着検出部２２は、「潜伏」から「付着」へ遷移した場合、「付着」の状態であることを紐付けた付着物領域４００の情報を判定部２４へ出力する。

＜「付着」→「ＩＤＬＥ」＞
例えば、付着検出部２２は、付着物領域４００として継続判定されている期間が所定期間以上である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域４００ではないと判定した場合に、「付着」から「ＩＤＬＥ」へ遷移させる。

＜「付着」→「移動付着」＞
例えば、付着検出部２２は、「付着」状態に遷移した後に、車両が移動中も付着物領域４００として継続判定されている期間が所定期間以上となった場合に、「付着」から「移動付着」へ遷移させる。そして、移動付着検出部２３は、「付着」から「移動付着」へ遷移した候補領域１００（付着物領域４００）を、移動付着物領域として検出し、「移動付着」の状態であることを紐付けた移動付着物領域の情報を判定部２４へ出力する。

＜「移動付着」→「ＩＤＬＥ」＞
例えば、付着検出部２２は、「移動付着」の状態で、車両の移動中に取得した現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「移動付着」から「ＩＤＬＥ」へ遷移させる。

なお、図９に示すステートマシンでは、「潜伏」から「移動付着」へ直接遷移できないようにしている。つまり、「潜伏」から「付着」に遷移した後の期間において、上記の条件を満たすことで、「移動付着」の状態となる。

換言すれば、移動付着検出部２３は、付着検出部２２によって付着物領域４００（「付着」）が検出された後の期間において、車両が移動中に継続して付着物領域４００として検出された場合、移動付着物領域を検出する。

このように、「付着」の状態になった後、「移動付着」を検出することで、より確度の高い移動付着物領域を検出することができる。

判定部２４は、付着検出部２２によって検出された付着物領域４００の面積および移動付着検出部２３によって検出された移動付着物領域の面積に基づいて、付着物の有無を判定する。

具体的には、判定部２４は、まず、付着物領域４００および移動付着物領域の検出位置に基づいて、所定の面積計算処理を行う。より具体的には、判定部２４は、付着物領域４００のうち、撮像画像Ｉの特定位置（例えば、後述する路面領域）における付着物領域４００の面積が所定値以上である場合、特定位置における付着物領域４００の面積については、判定処理の対象から除外する。かかる点について、図１０を用いて説明する。

図１０は、判定部２４による付着物領域４００の面積計算処理を示す図である。図１０に示すように、まず、判定部２４は、撮像画像Ｉの全体領域を所定の小領域５００で分割するとともに、小領域５００単位で、３つの領域５１０、５２０ａ、５２０ｂに区分けする。

具体的には、第１の領域５１０は、路面に対応する領域（路面領域）である。第２の領域５２０ａは、車体に対応する領域（車体領域）である。第３の領域５２０ｂは、上空（スカイ）に対応する領域である。

例えば、判定部２４は、撮像画像Ｉにおける水平線を検出し、当該水平線よりも上側の領域を第３の領域５２０ｂとして設定する。また、第２の領域５２０ａは、カメラ１０の取付位置に応じて予め設定される領域である。また、判定部２４は、撮像画像Ｉの全体領域のうち、第２の領域５２０ａおよび第３の領域５２０ｂを除いた領域を第１の領域５１０として設定する。

そして、判定部２４は、検出された付着物領域４００を小領域５００の単位に変換し、３つの領域５１０、５２０ａ、５２０ｂそれぞれにおける付着物領域４００（小領域５００単位）の面積比を算出する。例えば、判定部２４は、付着物領域４００全体を１（１００％）として、各領域５１０、５２０ａ、５２０ｂに位置する付着物領域４００の面積比を算出する。

例えば、判定部２４は、各領域５１０、５２０ａ、５２０ｂのうち、第１の領域５１０の面積比が他の領域５２０ａ、５２０ｂよりも所定値以上大きい場合、他の領域５２０ａ、５２０ｂの付着物領域４００（移動付着物領域を除く）の合計面積を面積計算処理の計算結果とする。つまり、判定部２４は、第１の領域５１０における付着物領域４００の面積が所定値以上である場合、第１の領域５１０における付着物領域４００の面積については、判定処理の対象から除外する。換言すれば、判定部２４は、付着物領域４００の全体面積から第１の領域５１０に存在する付着物領域４００の面積を減算した面積で付着物の有無を判定する。

一方、判定部２４は、各領域５１０、５２０ａ、５２０ｂにおける面積比が概ね同じ（領域５１０、５２０ａ、５２０ｂ間での面積比の差分が所定値未満）である場合、３つの領域５１０、５２０ａ、５２０ｂそれぞれの付着物領域の合計面積を面積計算処理の計算結果とする。すなわち、判定部２４は、第１の領域５１０における付着物領域４００の面積が所定値未満である場合、第１の領域５１０における付着物領域４００の面積を除外せずに、判定処理の対象とする。

これは、雨滴等の付着物の場合、撮像画像Ｉ全体に万遍なく付着する場合が多く、一方で、路面反射の領域は、撮像画像Ｉの路面領域に集中する場合が多いことに着目している。

つまり、判定部２４は、路面領域である第１の領域５１０に付着物領域４００が集中している場合、当該付着物領域４００が路面反射の領域であるとし、付着物領域４００全体から路面反射の領域を減算した面積を面積計算処理の計算結果とする。

なお、判定部２４は、路面領域である第１の領域５１０に付着物領域４００が集中している場合であっても、かかる付着物領域４００が移動付着物領域である場合には、付着物領域４００全体から第１の領域５１０の付着物領域４００（移動付着物領域）を減算しない。

つまり、判定部２４は、撮像画像Ｉの特定位置（第１の領域５１０）における付着物領域４００が移動付着物領域である場合には、判定処理の対象から除外しない。

これは、判定結果として確度が高い移動付着物領域が少量付着したことを検出するためである。つまり、路面領域である第１の領域５１０に確度が高い移動付着物領域が集中していた場合には、路面反射の領域ではなく付着物領域の可能性が高いため、判定処理の対象から除外しないようにする。

これにより、例えば、車両が移動中に少量付着した移動付着物領域が路面領域に集中した場合であっても、付着物有りとして高精度に検出する。

そして、判定部２４は、面積計算処理の計算結果として算出された面積が所定値以上である場合には、付着物有りと判定し、かかる面積が所定値未満である場合には、付着物無しと判定する。

具体的には、判定部２４は、移動付着物領域の面積が第１閾値以上である場合、付着物有りと判定し、一方、移動付着物領域の面積が第１閾値未満である場合、付着物無しと判定する。

また、判定部２４は、面積計算処理の計算結果として算出された付着物領域４００（「付着」および「移動付着」）の面積が第１閾値よりも大きい第２閾値以上である場合、付着物有りと判定する。一方、判定部２４は、付着物領域４００の面積が第２閾値未満である場合、付着物無しと判定する。

このように、判定部２４は、移動付着物領域の場合、第２閾値よりも小さい第１閾値を設定することで、判定結果の確度が高い移動付着物領域が少量付着した場合でも、高精度に検出することができる。

判定部２４は、付着物の有無を示す判定結果をフラグ出力部２５へ出力する。

フラグ出力部２５は、判定部２４の判定結果に応じた付着物フラグを各種機器５０へ出力する。具体的には、フラグ出力部２５は、判定部２４によって付着物有りと判定された場合、付着物フラグＯＮを出力し、付着物無しと判定された場合、付着物フラグＯＦＦを出力する。

次に、図１１を用いて、実施形態に係る付着物検出装置１が実行する全体処理の処理手順について説明する。図１１は、実施形態に係る付着物検出装置１が実行する全体処理の処理手順を示すフローチャートである。

図１１に示すように、まず、画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得し、取得した撮像画像Ｉに対してグレースケール化処理および間引き処理した後、縮小した撮像画像Ｉの画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１０１）。

つづいて、付着検出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０２）。

つづいて、付着検出部２２は、候補領域１００において連続する複数の画素列を含む帯領域１１０に関し、所定画素数を単位とする単位領域Ｒに分割する（ステップＳ１０３）。

つづいて、付着検出部２２は、単位領域Ｒの輝度情報を算出する（ステップＳ１０４）。輝度情報は、例えば、輝度の平均値および輝度の標準偏差である。

つづいて、付着検出部２２は、算出した輝度の標準偏差が所定値未満であるか否かを判定する（ステップＳ１０５）。

付着検出部２２は、輝度の標準偏差が所定値未満である場合（ステップＳ１０５：Ｙｅｓ）、単位領域Ｒの代表値として輝度の平均値（輝度平均）を設定する（ステップＳ１０６）。

一方、付着検出部２２は、輝度の標準偏差が所定値以上である場合（ステップＳ１０５：Ｎｏ）、単位領域Ｒの代表値として異常値を設定する（ステップＳ１０７）。

つづいて、付着検出部２２は、候補領域１００における単位領域Ｒの輝度平均の分布が所定の除外条件を満たす場合に当該候補領域１００を付着物領域の判定処理の対象から除外する除外処理を行う（ステップＳ１０８）。

つづいて、付着検出部２２は、候補領域１００における単位領域Ｒの輝度平均の分布における起伏変化が所定の変化パターンに合致する場合が継続することで、当該候補領域１００を付着物領域４００として検出する検出処理を行う（ステップＳ１０９）。

つづいて、移動付着検出部２３は、車両の移動中に継続して付着物領域４００として検出された場合、当該付着物領域４００を移動付着物領域として検出する検出処理を行う（ステップＳ１１０）。

つづいて、判定部２４は、付着物領域４００の面積に基づいて、付着物の有無を判定する判定処理を行う（ステップＳ１１１）。

つづいて、フラグ出力部２５は、判定部２４の判定結果に応じた付着物フラグを出力する出力処理を行い（ステップＳ１１２）、処理を終了する。

次に、図１２を用いて、実施形態に係る付着物検出装置１が実行する検出処理の処理手順について説明する。図１２は、実施形態に係る付着物検出装置１が実行する検出処理の処理手順を示すフローチャートである。

図１２に示すように、付着検出部２２は、候補領域１００が付着物領域４００として所定期間継続判定されたか否かを判定する（ステップＳ２０１）。

付着検出部２２は、候補領域１００が付着物領域４００として所定期間継続判定された場合（ステップＳ２０１：Ｙｅｓ）、当該候補領域１００を付着物領域４００として検出する（ステップＳ２０２）。一方、付着検出部２２は、付着物領域４００として所定期間継続判定されていない場合（ステップＳ２０１：Ｎｏ）、処理を終了する。

つづいて、移動付着検出部２３は、車両が移動中に付着物領域４００として所定期間継続判定されたか否かを判定する（ステップＳ２０３）。

移動付着検出部２３は、車両が移動中に付着物領域４００として所定期間継続判定された場合（ステップＳ２０３：Ｙｅｓ）、当該付着物領域４００を移動付着物領域として検出し（ステップＳ２０４）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、付着検出部２２と、移動付着検出部２３と、判定部２４とを備える。付着検出部２２は、撮像装置（カメラ１０）で撮像された撮像画像Ｉの輝度情報に基づいて、撮像装置に付着した付着物に対応する付着物領域４００を検出する。移動付着検出部２３は、車両が移動中に付着物領域４００が継続して検出された場合、当該付着物領域４００を移動付着物領域として検出する。判定部２４は、移動付着検出部２３によって検出された移動付着物領域の面積が第１閾値以上である場合、付着物有りと判定する。これにより、付着物を高精度に検出することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 車速センサ
２１ 画像取得部
２２ 付着検出部
２３ 移動付着検出部
２４ 判定部
２５ フラグ出力部
３１ 起伏条件情報
５０ 各種機器
１００ 候補領域
２００ 内部領域
４００ 付着物領域
Ｉ 撮像画像

Claims (4)

1. 撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する付着検出部と、
   前記付着検出部によって検出された前記付着物領域のうち、車両が移動中に検出された前記付着物領域を移動付着物領域として検出する移動付着検出部と
   前記移動付着検出部によって検出された前記移動付着物領域の面積が第１閾値以上である場合であって、前記付着検出部によって検出された前記付着物領域の面積が前記第１閾値よりも大きい第２閾値以上である場合、付着物有りと判定する判定部と
   を備えることを特徴とする付着物検出装置。
2. 前記判定部は、
   前記付着物領域のうち、前記画像の路面反射の領域が集中する路面領域における前記付着物領域の面積が所定値以上である場合、前記路面領域における前記付着物領域の面積については、判定処理の対象から除外する処理を行うものであって、
   前記路面領域における前記付着物領域が前記移動付着物領域である場合には、前記判定処理の対象から除外しないこと
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記移動付着検出部は、
   前記付着検出部によって前記付着物領域が検出された後の期間において、前記車両が移動中に継続して当該付着物領域として検出された場合、前記移動付着物領域を検出すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 撮像装置で撮像された画像の輝度情報に基づいて、前記撮像装置に付着した付着物に対応する付着物領域を検出する付着検出工程と、
   前記付着検出工程によって検出された前記付着物領域のうち、車両が移動中に検出された前記付着物領域を移動付着物領域として検出する移動付着検出工程と
   前記移動付着検出工程によって検出された前記移動付着物領域の面積が第１閾値以上である場合であって、前記付着検出工程によって検出された前記付着物領域の面積が前記第１閾値よりも大きい第２閾値以上である場合、付着物有りと判定する判定工程と
   を含むことを特徴とする付着物検出方法。

Images