JP7230507B2 - 付着物検出装置 - Google Patents

Description

本発明は、付着物検出装置に関する。

従来、車両等に搭載されたカメラによって撮像された撮像画像に基づいて、カメラレンズに付着した付着物を検出する付着物検出装置が知られている。付着物検出装置には、例えば、時系列の撮像画像の差分に基づいて付着物を検出するものがある（例えば、特許文献１参照）。

特開２０１２－０３８０４８号公報

しかしながら、従来技術では、付着物を早期に、かつ、高精度に検出する点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、付着物を早期に、かつ、高精度に検出することができる付着物検出装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、決定部と、抽出部と、検出部とを備える。決定部は、撮像装置によって撮像された撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域毎に決定する。抽出部は、決定部によって決定されたエッジ代表向きに基づき、所定の走査方向に沿って同一のエッジ代表向きが連続する配列パターンを抽出する。検出部は、抽出部によって抽出された配列パターンに基づいて撮像装置のレンズに付着物が付着した付着物領域を検出する。さらに抽出部は、第１の走査方向および第１の走査方向と交差する第２の走査方向に沿って、それぞれ配列パターンを抽出する。さらに検出部は、第１の走査方向における配列パターンと、第２の走査方向における配列パターンとの交点に基づいて付着物領域を検出する。

本発明によれば、付着物を早期に、かつ、高精度に検出することができる。

図１は、付着物検出方法の概要を示す図である。 図２は、付着物検出装置の構成を示すブロック図である。 図３は、決定部の処理内容を示す図である。 図４は、決定部の処理内容を示す図である。 図５は、配列パターンの具体例を示す図である。 図６は、検出部による処理内容を示す図である。 図７は、検出部による処理内容を示す図である。 図８は、付着物検出装置が実行する付着物の検出処理の処理手順を示すフローチャートである。 図９は、変形例に係る検出部の処理内容を示す図である。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、車載カメラのレンズ全面に雪が付着した状態で撮像された撮像画像Ｉを示している。実施形態に係る付着物検出方法は、付着物検出装置１（図２参照）によって実行され、車載カメラで撮像された撮像画像Ｉに基づいてカメラのレンズに付着した付着物を検出する。

なお、付着物は、雪に限定されるものではなく、例えば、色が薄い泥等でもよい。換言すれば、付着物は、撮像画像Ｉにおいて、被写体が映らない程度に遮蔽するが、ある程度の光は透過して、光の透過の多少によりわずかな輝度変化を生じさせるものであればよい。なお、カメラのレンズ全体が雪に埋もれた状態において撮像された撮像画像Ｉを示す。

ここで、従来の付着物検出装置では、時系列の撮像画像の差分に基づいて付着物を検出する技術があった。しかしながら、従来の技術では、例えば、レンズ全体が雪に埋もれた場合等、画像間の差分が生じにくくなるため、付着物を検出できないおそれがあった。さらに、従来は、時系列の撮像画像が必要となるため、付着物の検出に時間を要してしまう。

そこで、実施形態に係る付着物検出方法では、１枚の撮像画像Ｉから検出されるエッジの角度を利用して付着物を検出する。具体的には、図１に示すように、実施形態に係る付着物検出方法では、まず、撮像画像Ｉの画素領域１００に含まれる各画素ＰＸのエッジの角度（図１の画素ＰＸ内にあるベクトルの向き）に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域１００毎に決定する（ステップＳ１）。

例えば、画素領域１００は、画素ＰＸが４×４（計１６個の画素ＰＸ）で配列された領域である。なお、図１の上段には、１つの画素領域１００のみを示しているが、実際には、撮像画像Ｉ全体（あるいは、付着物の検出対象となる一部の領域）において、複数の画素領域１００が、２次元配列で設定される。

また、エッジ代表向きは、４×４の画素ＰＸそれぞれのエッジの角度を代表して表したエッジの向きであり、図１では、９０°の角度範囲毎に区切られた４つのエッジ代表向きのいずれかが決定される。なお、エッジ代表向きの決定処理については、図３および図４で後述する。また、図１では、説明の便宜上、エッジ代表向きを「（０）」～「（３）」でそれぞれ示す。すなわち、各画素領域１００には、「（０）」～「（３）」で示すエッジ代表向きが対応付けられる。

続いて、実施形態に係る付着物検出方法では、所定の走査方向に沿って同一のエッジ代表向きが連続する配列パターンを抽出する（ステップＳ２）。

図１に示す例では、走査方向が左右方向である場合を示し、「０」が左右方向に連続する配列パターン２００－０と、「１」が左右方向に連続する配列パターン２００－１とを示している。

なお、配列パターン２００－０および配列パターン２００－１を特に区別しない場合、符号の末尾を除いた配列パターン２００と記載する。また、走査方向は、左右方向に限定されず、上下方向を含み、左右方向の配列パターン２００と、上下方向の配列パターン２００とを組み合わせて付着物領域を検出するが、この点の詳細については、図６以降の図面を用いて後述する。

続いて、実施形態に係る付着物検出方法では、ステップＳ２にて抽出した配列パターン２００に基づいてカメラのレンズに付着物が付着した付着物領域を検出する（ステップＳ３）。

例えば、実施形態に係る付着物検出方法では、撮像画像Ｉを複数に分割した分割領域Ｓａ毎に付着物領域を検出する。分割領域Ｓａは、例えば、１０×１０の１００個の画素領域１００を含む領域であり、画素領域１００が４×４の１６個の画素ＰＸなので、分割領域Ｓａは、１６×１００の１６００個の画素ＰＸから構成される。

例えば、付着物として雪を検出する場合、レンズが雪で覆われた領域（以下、雪埋もれ領域と記載する）は、エッジが緩やかに変化するため、エッジの角度も緩やかに変化する。すなわち、雪埋もれ領域であれば、同じエッジ代表向きが連続して配列しやすい特徴を有する。

また、雪埋もれ領域であれば、レンズに積層する雪は凹凸形状を有するため、複数種類のエッジ代表向きに基づく配列パターン２００が１つの分割領域Ｓａ内に出現しやすい。さらに、雪の大きさ（上述の凹凸形状の大きさ）は、所定の大きさに限定されるため、雪埋もれ領域における配列パターン２００の長さが所定範囲内に収まるという特徴を有する。

言い換えれば、雪埋もれ領域であれば、１つの分割領域Ｓａに複数種類のエッジ代表向きに基づく配列パターン２００が含まれる。一方、雪領域以外の領域（以下、背景領域と記載する）では、各画素ＰＸのエッジは、背景画像によって変化し、上述の雪埋もれ領域の特徴を取りにくい。

そこで、実施形態に係る付着物検出方法では、検出条件の一例として、複数種類の配列パターン２００を含み、各配列パターン２００が所定の長さ条件を満たす分割領域Ｓａについて付着物領域として検出する。これにより、実施形態に係る付着物検出方法では、付着物領域として雪埋もれ領域を検出することができる。

このように、実施形態に係る付着物検出方法では、エッジ代表向きが連続する配列パターン２００に基づいて付着物を検出することで、画像間に差分が生じない場合であっても付着物を高精度に検出できる。

また、実施形態に係る付着物検出方法では、１枚の撮像画像Ｉを用いて付着物を検出することができる。従って、実施形態に係る付着物検出方法によれば、付着物を早期に、かつ、高精度に検出することができる。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、決定部２２と、抽出部２３と、検出部２４とを備える。記憶部３は、エッジ代表向き情報３１および閾値情報３２を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、決定部２２、抽出部２３および検出部２４として機能する。

また、制御部２の画像取得部２１、決定部２２、抽出部２３および検出部２４の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、エッジ代表向き情報３１、閾値情報３２や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

エッジ代表向き情報３１は、所定の角度範囲を単位とするエッジ代表向きに関する情報である。なお、エッジ代表向き情報３１の具体例については、図４を用いて後述する。閾値情報３２は、付着物領域を検出する際に用いる閾値に関する情報である。後述するように、閾値情報３２は、第１角度範囲における積の合計値および第２角度範囲における積の合計値に対する閾値に関する情報である。

制御部２は、撮像画像Ｉの画素領域１００毎にエッジ代表向きを決定するとともに、エッジ代表向きが連続する配列パターン２００を抽出し、抽出した配列パターン２００に基づいて付着物領域を検出する。

画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得する。画像取得部２１は、取得した撮像画像Ｉにおける各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行うとともに、各画素について平滑化処理を行って、決定部２２へ出力する。なお、平滑化処理には、例えば、平均化フィルタや、ガウシアンフィルタ等の任意の平滑化フィルタを用いることができる。また、グレースケール化処理や、平滑化処理については、省略されてもよい。

決定部２２は、画像取得部２１から取得した撮像画像Ｉの画素領域１００毎にエッジ代表向きを決定する。ここで、図３および図４を用いて、決定部２２によるエッジ代表向きの決定処理について具体的に説明する。

図３および図４は、決定部２２の処理内容を示す図である。図３に示すように、決定部２２は、まず、エッジ検出処理を行って、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジｅｘの強度と、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジｅｙの強度とを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

つづいて、決定部２２は、検出したＸ軸方向のエッジｅｘの強度と、Ｙ軸方向のエッジｅｙの強度に基づき、三角関数を用いることで、画素ＰＸのエッジの角度およびエッジの強さの情報を含むベクトルＶを算出する。具体的には、ベクトルＶにおけるエッジの角度は、ベクトルＶと正方向側のＸ軸との成す角度θで表され、エッジの強さは、ベクトルＶの長さＬで表される。

つづいて、決定部２２は、算出した各画素ＰＸのベクトルＶに基づき、画素領域１００におけるエッジ代表向きを決定する。具体的には、図４に示すように、決定部２２は、画素領域１００のおける各画素ＰＸのベクトルＶに基づいて、各画素ＰＸを－１８０°～１８０°を９０°毎に分割した「（０）」～「（３）」の符号に分類する。

具体的には、ベクトルＶにおけるエッジの角度が、－４５°以上４５°未満の角度範囲である場合には符号「（０）」に分類し、４５°以上１３５°未満の角度範囲である場合には符号「（１）」に分類し、１３５°以上１８０°未満、または－１８０°以上－１３５°未満の角度範囲である場合には符号「（２）」に分類し、－１３５°以上－４５°未満の角度範囲である場合には符号「（３）」に分類する。

そして、図４の下段に示すように、決定部２２は、各画素領域１００について、符号「（０）」～「（３）」を各階級とするヒストグラムを生成する。そして、決定部２２は、生成したヒストグラムにおいて、最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する符号（図４では、符号「（１）」）を画素領域１００におけるエッジ代表向きとして決定する。すなわち、決定部２２によるエッジ代表向きの決定処理は、各画素領域１００を符号化する処理ともいえる。

前述のヒストグラムの度数は、画素領域１００内における各画素ＰＸのうち、同一の角度範囲に分類された画素ＰＸのエッジの強さを足し合わせて算出する。具体的に、符号「（０）」の階級におけるヒストグラムの度数について考える。例えば、符号「（０）」に分類された画素ＰＸが３つあるとし、それぞれの画素ＰＸにおけるエッジの強さを１０，２０，３０とする。この場合、符号「（０）」の階級におけるヒストグラムの度数は、１０＋２０＋３０＝６０と算出される。

このようにして算出されたヒストグラムに基づき、決定部２２はエッジ強度を決定する。具体的にはエッジ強度は、ヒストグラムにおいて最も度数が高い階級の度数が所定の閾値ＴＨａ以上である場合に、かかる階級に対応する度数をエッジ強度とする。すなわち、決定部２２におけるエッジ代表強度の決定処理は、エッジ代表向きに対応した、画素領域１００内におけるエッジの強さに関する特徴を抽出する処理とも言える。

一方、決定部２２は、最も度数が高い階級の度数が所定の閾値ＴＨａ未満である場合、かかる画素領域１００の代表向きについては、「無効」、換言すれば、「代表向き無し」として扱う。これにより、各画素ＰＸのエッジの角度のばらつきが大きい場合に、特定のエッジ代表向きを誤って決定してしまうことを防止できる。

このように、決定部２２は、第１角度範囲および第２角度範囲それぞれで異なるエッジ代表向きを各画素領域１００に対応付ける。これにより、付着物領域の検出に用いるデータ数を増やすことができるので、付着物領域の検出精度を向上させることができる。

なお、図３および図４で示した決定部２２の決定処理は、一例であって、エッジ代表向きを決定可能な処理であれば、処理内容は任意であってよい。例えば、画素領域１００における各画素ＰＸのエッジの角度の平均値を算出し、かかる平均値に対応する角度範囲のエッジ代表向きを決定してもよい。

また、図４では、４×４の計１６個の画素ＰＸを１つの画素領域１００とする場合を示したが、画素領域１００における画素ＰＸの数は、任意に設定されてよく、また、３×５等のように、上下方向および左右方向の画素ＰＸの数が異なってもよい。

図２に戻って、抽出部２３について説明する。抽出部２３は、決定部２２によって決定されたエッジ代表向きに基づき、所定の走査方向に沿って、同一のエッジ代表向きが連続する配列パターン２００を抽出する。

具体的には、抽出部２３は、撮像画像Ｉの左右方向および上下方向に２次元配列された複数の画素領域１００について、左右方向および上下方向に走査し、配列パターン２００を抽出する。なお、左右方向および上下方向は、第１の走査方向および第２の走査方向の一例である。また、走査方向は、左右方向および上下方向に限られず、斜め方向であってもよい。

ここで、抽出部２３は、走査方向に沿って隣接する画素領域１００のエッジ代表向きが、配列パターン２００のエッジ代表向きと隣り合う向きである場合に、配列パターン２００として抽出する。図５は、配列パターン２００の具体例を示す図である。

なお、図５では、左右方向の走査方向であり、第１角度範囲に対応する配列パターン２００－１の抽出処理を例に挙げて説明するが、走査方向が上下方向および第２角度範囲に対応するエッジ代表向きの配列パターン２００の抽出処理について同様である。また、図５では、視覚的に分かりやすくするため、エッジ代表向きを矢印および上記の「（０）」～「（３）」を併せて示す。

図５に示すように、抽出部２３は、エッジ代表向きが「（１）」である４つの画素領域１００が連続する場合、かかる４つの画素領域１００の両隣に位置する画素領域１００のエッジ代表向きを参照し、配列パターン２００－１を抽出する。

具体的には、図５の上段に示すように、４つの「(１)」で構成された配列パターンの両隣のエッジ代表向きが、配列パターンのエッジ代表向き「(１)」と隣り合う向きである場合に、抽出部２３は、かかる配列パターンを配列パターン２００－１として抽出する。

一方、図５の下段に示すように、４つの「(１)」で構成された配列パターンの両隣のエッジ代表向きが、配列パターンのエッジ代表向き「(１)」と逆向きのエッジ代表向き「(３)」である場合、抽出部２３は、かかる配列パターンを配列パターン２００－１として抽出しない。

これは、上述のように、雪埋もれ領域では、エッジの角度が緩やかに変化しやすく、エッジの角度が連続的に変化するため、隣り合う画素領域１００が互いに逆向きのエッジ代表向きを取りにくいためである。

なお、抽出部２３は、配列パターンの両隣に位置する画素領域１００の少なくとも一方が、かかる配列パターンの代表向きと逆向きである場合に、かかる配列パターンを抽出しないことにしてもよい。

つまり、抽出部２３は、走査方向に沿って連続的に変化するエッジ代表向きを有する配列パターン２００のみを抽出し、走査方向に沿って不規則に変換する配列パターンを抽出対象から除外する。これにより、雪埋もれ領域に対応する配列パターン２００の抽出精度を向上させることが可能となる。

また、上述のように、雪埋もれ領域においては、エッジ代表向きが連続的に変化するため、１つの配列パターンの長さが所定範囲に収まるという特徴を有する。このため、抽出部２３は、長さが所定範囲に収まる配列パターン２００のみを抽出することも可能である。

ここでいう所定範囲とは、例えば、２４画素ＰＸ（３画素領域１００）～１００画素ＰＸ（２５画素領域１００）であるが、これに限定されるものではなく、任意に変更することができる。

これにより、雪埋もれ領域に対応する配列パターン２００のみを抽出することができる。言い換えれば、雪埋もれ領域の特徴に合致しない配列パターンを抽出しないので、付着物領域として雪埋もれ領域の検出精度を向上させることができる。

図２の説明に戻り、検出部２４について説明する。検出部２４は、抽出部２３によって抽出された配列パターン２００に基づいて付着物領域を検出する。検出部２４は、上下方向に沿って走査された配列パターン２００と、左右方向に沿って走査された配列パターンとの交点に基づいて付着物領域を検出する。

図６および図７は、検出部２４による処理内容を示す図である。なお、図６では、エッジ代表向きが「（１）」の配列パターン２００－１に対する検出部２４による処理について説明するが、他のエッジ代表向き「（０）」、「（２）」～「（７）」についても同様である。

図６に示すように、検出部２４は、上下方向に沿って、「１」が８個連続する配列パターン２００－１と、左右方向に沿って、「１」が７個連続する配列パターン２００－１との交点ＣＰを算出する。

続いて、検出部２４は、交点ＣＰを形成する双方の配列パターン２００－１の画素領域数の積を算出する。図６に示す例では、積が「８×７＝５６」である場合を示す。すなわち、本実施形態では、各交点ＣＰの積を求めることで、交点ＣＰに対応する同一のエッジ代表向きの集合体の大きさを概算することが可能となる。

各交点ＣＰの積が大きいほど、同一のエッジ代表向きが広範囲に連続して分布していることを意味する。つまり、交点ＣＰの積を求めることで、代表エッジ向きが連続した集合体（まとまり）の大きさを容易に算出することができる。

また、検出部２４は、配列パターン２００の交点ＣＰに基づいて付着物領域を検出することで、各画素領域１００を基準として、上下方向または左右方向の一方のみに延伸する配列パターン２００を除外することができる。すなわち、検出部２４は、各画素領域１００を基準として、放射状に広がる配列パターン２００のみを付着物領域の検出に用いることとなる。そして、検出部２４は、交点ＣＰにエッジ代表向きおよび、上記の積を示す交点情報を対応付ける。

なお、検出部２４は、交点ＣＰの積に代えて、エッジ代表向きの１つの塊を形成する画素領域１００の個数をカウントすることにしてもよい。この場合、例えば、左右方向に沿って抽出された配列パターン２００－１と、かかる配列パターン２００－１と上下方向に隣接する配列パターン２００－１との個数の和をエッジ代表向きの１つの塊の大きさとして算出することができる。

続いて、検出部２４は、図７に示すように、注目領域ＳａＴを設定し、注目領域ＳａＴを拡張した拡張領域Ｅａにおける交点ＣＰに基づいて注目領域ＳａＴが付着物領域か否かを判定する。

ここで、注目領域ＳａＴは、１つの分割領域Ｓａであり、拡張領域Ｅａは、注目領域ＳａＴの中心とする３×３の分割領域Ｓａである。なお、拡張領域Ｅａは、注目領域ＳａＴを中心とし、注目領域ＳａＴよりも広い領域であれば、その他の領域であってもよい。

検出部２４は、拡張領域Ｅａに含まれる交点情報に基づき、注目領域ＳａＴが付着物領域か否かを判定する。具体的には、図７に示すように、第１角度範囲および第２角度範囲のそれぞれに基づく積の和をエッジ代表向き毎に算出する。

図７に示す例では、第１角度範囲に基づくエッジ代表向き「（０）」～「（３）」の積の和がそれぞれ「８０」、「６７」、「７５」および「５８」であり、これらを足し合わせた合計値が「２８０」である場合を示す。

また、図７に示す例では、第２角度範囲に基づくエッジ代表向き「（４）」～「（７）」の積の和がそれぞれ「７３」、「４２」、「１８」および「３２」であり、これらを足し合わせた合計値が「１６５」である場合を示す。

検出部２４は、拡張領域Ｅａにおいて、全種類のエッジ代表向きの交点ＣＰがあり、かつ、第１角度範囲における積の合計値および第２角度範囲における積の合計値がいずれも所定の総和閾値を超える場合に、注目領域ＳａＴを付着物領域として検出する。

このように、交点ＣＰのエッジ代表向きの種類を検出条件に含めることで、多様なエッジ代表向きが含まれる雪埋もれ領域の特徴を容易に判定することができる。

検出部２４は、第１角度範囲および第２角度範囲のそれぞれの代表エッジ向きの積が「１」以上であり、第１角度範囲および第２角度範囲のそれぞれの合計値が所定の総和閾値を超える場合に、注目領域ＳａＴを付着物領域として検出する。

つまり、拡張領域Ｅａにおいて、全てのエッジ代表向きに基づく交点ＣＰを有し、かつ、それぞれのエッジ代表向きがある程度の大きさを有する分割領域Ｓａの集合体である場合に、注目領域ＳａＴについて付着物領域として検出する。

このように、各エッジ代表向きにおける積の和を導出することで、注目領域ＳａＴにおいて、各エッジ代表向きを有する画素領域１００が占める割合を容易に把握することができる。

また、第１角度範囲および第２角度範囲の双方において、検出条件を満たす場合に、注目領域ＳａＴを付着物領域として検出する。これにより、第１角度範囲および第２角度範囲のうち一方が出条件を満たす場合に、注目領域ＳａＴを付着物領域として検出する場合に比べて、付着物領域の誤検出を抑制することができる。

また、検出部２４は、注目領域ＳａＴを拡張した拡張領域Ｅａに含まれる交点ＣＰに基づいて注目領域ＳａＴが付着物領域か否かを判定する。これは、注目領域ＳａＴが雪埋もれ領域ならば、その周囲も雪埋もれ領域である可能性が高いためである。

言い換えれば、１つの注目領域ＳａＴのみが雪埋もれ領域となる可能性が低いためである。つまり、注目領域ＳａＴを拡張した拡張領域Ｅａに基づいて注目領域ＳａＴが付着物領域か否かを判定することで、雪埋もれ領域の検出精度を向上させることができる。

次に、図８を用いて、実施形態に係る付着物検出装置１が実行する処理手順について説明する。図８は、付着物検出装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、撮像画像Ｉの取得毎に制御部２によって繰り返し実行される。

図８に示すように、まず、付着物検出装置１は、撮像画像Ｉを取得すると（ステップＳ１０１）、画素領域１００毎に、エッジ代表向きを決定する（ステップＳ１０２）。続いて、付着物検出装置１は、エッジ代表向きが抽出条件を満たす配列パターン２００を抽出し（ステップＳ１０３）、交点ＣＰごとに積を算出する（ステップＳ１０４）。

続いて、付着物検出装置１は、注目領域ＳａＴを設定し（ステップＳ１０５）、注目領域ＳａＴを含む拡張領域Ｅａにおいて、エッジ代表向きがそれぞれ異なる交点ＣＰの種類が８種類か否かを判定する（ステップＳ１０６）。

付着物検出装置１は、ステップＳ１０６の判定処理において、交点ＣＰが８種類である場合（ステップＳ１０６，Ｙｅｓ）、第１角度範囲における積の合計値が総和閾値よりも大きいか否かを判定する（ステップＳ１０７）。

付着物検出装置１は、ステップＳ１０７の判定処理において、上記した積の合計値が総和閾値を超える場合（ステップＳ１０７，Ｙｅｓ）、続いて、第２角度範囲における積の合計値が総和閾値よりも大きいか否かを判定する（ステップＳ１０８）。

付着物検出装置１は、ステップＳ１０８の判定処理において、上記した積の合計値が総和閾値を超える場合（ステップＳ１０８，Ｙｅｓ）、注目領域ＳａＴを付着物領域として検出する（ステップＳ１０９）。

そして、付着物検出装置１は、ステップＳ１０５～ステップＳ１０９の処理を全ての分割領域Ｓａについて終了したか否かを判定し（ステップＳ１１０）、全ての分割領域Ｓａについて終了した場合（ステップＳ１１０，Ｙｅｓ）、処理を終了する。

一方、付着物検出装置１は、ステップＳ１１０の判定処理において、全ての画素領域１００について終了していない場合（ステップＳ１１０，Ｎｏ）、ステップＳ１０５の処理へ移行する。

また、付着物検出装置１は、ステップＳ１０６の判定処理において、交点が７種類以下であった場合（ステップＳ１０６，Ｎｏ）、ステップＳ１０７およびステップＳ１０８のそれぞれの判定処理において、積の合計値が閾値以下である場合（ステップＳ１０７／ステップＳ１０８，Ｎｏ）、ステップＳ１１０の処理へ移行する。

上述したように、実施形態に係る付着物検出装置１は、決定部２２と、抽出部２３と、検出部２４とを備える。決定部２２は、撮像装置によって撮像された撮像画像Ｉの画素領域１００に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを画素領域１００毎に決定する。

抽出部２３は、決定部２２によって決定されたエッジ代表向きに基づき、所定の走査方向に沿って同一のエッジ代表向きが連続する配列パターン２００を抽出する。検出部２４は、抽出部２３によって抽出された配列パターン２００に基づいて撮像装置のレンズに付着物が付着した付着物領域を検出する。したがって、実施形態に係る付着物検出装置１によれば、付着物を早期に、かつ、高精度に検出することができる。

ところで、上述した実施形態では、第１角度範囲および第２角度範囲の双方で、それぞれエッジ代表向きを決定する場合について説明したが、第１角度範囲または第２角度範囲の一方でエッジ代表向きを決定することにしてもよい。

図９は、変形例に係る検出部２４の処理内容を示す図である。なお、ここでは、第１角度範囲に基づくエッジ代表向きに基づいて付着物領域を検出する場合について説明するが、第２角度範囲に基づくエッジ代表向きに基づいて付着物領域を検出する場合についても同様である。

図９に示すように、検出部２４は、注目領域ＳａＴに含まれる交点ＣＰに基づき、代表エッジ向き「（０）」～「（３）」それぞれの積の和を求める。そして、検出部２４は、代表エッジ向き「（０）」～「（３）」ごとに、積の和が検出条件を満たすか否かを判定する。

例えば、検出部２４は、積の和が所定値を超えるものについて、判定結果を「ＯＫ」とし、積の和が所定値を下回るものについて、判定結果を「ＮＧ」とする。そして、検出部２４は、例えば、３種類以上のエッジ代表向きの判定結果が「ＯＫ」である場合に、注目領域ＳａＴを付着物領域Ｄａとして検出する。

一方、検出部２４は、判定結果が「ＯＫ」であるエッジ代表向きが３種類未満である場合、注目領域ＳａＴを付着物領域Ｄａとして検出しない。

つまり、検出部２４は、注目領域ＳａＴが複数種類のエッジ代表向きがそれぞれ所定の大きさの集合体を有する場合に、付着物領域として検出する。かかる場合であっても、付着物領域を迅速に検出することができる。

なお、検出部２４は、例えば、交点ＣＰに対応付けられている積が別途設定した閾値未満であるものについて、積の和への加算対象とすることにしてもよい。すなわち、積が大きすぎるものについては、上記の判定に用いないことにしてもよい。これにより、雪埋もれ領域の特徴に類似する交点ＣＰのみを用いて、上記の判定を行うことができるので、雪埋もれ領域の検出精度を向上させることができる。

なお、上述した実施形態および変形例では、０°～３６０°を９０°毎の角度範囲で分割した４つのエッジ代表向きを示したが、角度範囲は、９０°に限定されず、例えば、６０°毎の角度範囲に分割した６つのエッジ代表向きであってもよい。

また、第１エッジ代表向きおよび第２エッジ代表向きそれぞれの角度範囲の幅が異なってもよい。例えば、第１エッジ代表向きについては、９０°毎の角度範囲で分割し、第２エッジ代表向きについては、６０°毎の角度範囲で分割してもよい。

また、第１エッジ代表向きおよび第２エッジ代表向きについて、角度範囲の角度の境界を４５°ずらしたが、ずらす角度が４５°を超える、もしくは、４５°未満であってもよい。また、第１エッジ代表向きおよび第２エッジ代表向きの角度範囲の角度の境界も任意に設定可能である。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
２１ 画像取得部
２２ 決定部
２３ 抽出部
２４ 検出部
５０ 各種機器
１００ 画素領域
２００ 配列パターン
Ｉ 撮像画像
Ｓａ 分割領域
ＳａＴ 注目領域
Ｅａ 拡張領域
ＰＸ 画素

Claims (7)

1. 撮像装置によって撮像された撮像画像の画素領域に含まれる各画素のエッジの角度に基づき、所定の角度範囲を単位とするエッジ代表向きを前記画素領域毎に決定する決定部と、
   前記決定部によって決定された前記エッジ代表向きに基づき、所定の走査方向に沿って同一の前記エッジ代表向きが連続する配列パターンを抽出する抽出部と、
   前記抽出部によって抽出された前記配列パターンに基づいて前記撮像装置のレンズに付着物が付着した付着物領域を検出する検出部と
   を備え、
   前記抽出部は、
   第１の走査方向および前記第１の走査方向と交差する第２の走査方向に沿って、それぞれ前記配列パターンを抽出し、
   前記検出部は、
   前記第１の走査方向における前記配列パターンと、前記第２の走査方向における前記配列パターンとの交点に基づいて前記付着物領域を検出することを特徴とする付着物検出装置。
2. 前記検出部は、
   前記交点を形成する前記配列パターンの前記エッジ代表向きの種類に基づいて前記付着物領域を検出すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記検出部は、
   前記交点を形成するそれぞれの前記配列パターンの積の総和に基づいて前記付着物領域を検出すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 前記抽出部は、
   前記走査方向に沿って前記配列パターンの両隣に位置する前記画素領域の前記エッジ代表向きが前記配列パターンの前記エッジ代表向きと隣り合う向きである場合に、当該配列パターンを抽出すること
   を特徴とする請求項１～３のいずれか一つに記載の付着物検出装置。
5. 前記検出部は、
   複数の前記画素領域を統合した注目領域ごとに前記付着物領域を検出し、前記注目領域を拡張した拡張領域に含まれる前記配列パターンに基づき、当該注目領域について前記付着物領域か否かを判定すること
   を特徴とする請求項１～４のいずれか一つに記載の付着物検出装置。
6. 前記決定部は、
   第１角度範囲を単位とする第１エッジ代表向き、および、前記第１角度範囲とは異なる第２角度範囲を単位とする第２エッジ代表向きを前記画素領域毎に決定し、
   前記抽出部は、
   前記第１エッジ代表向きと前記第２エッジ代表向きとのそれぞれについて前記配列パターンを抽出すること
   を特徴とする請求項１～５のいずれか一つに記載の付着物検出装置。
7. 前記検出部は、
   前記エッジ代表向き毎に検出条件を満たすか否かを判定し、所定数以上の前記エッジ代表向きが前記検出条件を満たす場合に、前記付着物領域として検出すること
   を特徴とする請求項１～６のいずれか一つに記載の付着物検出装置。

Images