JP7059649B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

開示の実施形態は、付着物検出装置および付着物検出方法に関する。

従来、たとえば車両に取り付けられたカメラのレンズに付着した雨滴等の水滴を検出する付着物検出装置が知られている。かかる付着物検出装置は、撮像画像から付着物のエッジを抽出し、かかるエッジに基づいてレンズに付着した水滴を検出している（たとえば、特許文献１参照）。

特開２０１０－１４４９４号公報

しかしながら、上述の従来技術では、たとえば付着した水滴が垂れたりすることによってその形状が円状とは異なる場合などに検出精度が低下するおそれがあり、水滴の検出精度を向上させるうえで更なる改善の余地があった。

実施形態の一態様は、上記に鑑みてなされたものであって、水滴の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。

実施形態の一態様に係る付着物検出装置は、探索部と、検出部とを備える。前記探索部は、撮像装置によって撮像された撮像画像から、水滴を含む領域の中心領域に対して一の方向に放射状に輝度が変化する第１の画素群、および、前記中心領域に対して前記一の方向と逆方向に放射状に輝度が変化する第２の画素群を、探索する。前記検出部は、前記第１の画素群および該第１の画素群の両端に存在する前記第２の画素群からなる配列が前記探索部によって抽出された場合に、前記撮像装置へ付着した水滴を検出する。

実施形態の一態様によれば、水滴の検出精度を向上させることができる。

図１Ａは、付着物検出方法の基本的な考え方の説明図である。 図１Ｂは、水滴の形状が円状から崩れている場合の説明図である。 図１Ｃは、実施形態に係る付着物検出方法の概要説明図（その１）である。 図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その２）である。 図２は、実施形態に係る付着物検出装置のブロック図である。 図３は、ベクトルの算出方法を示す図である。 図４Ａは、代表値の算出方法の説明図（その１）である。 図４Ｂは、代表値の算出方法の説明図（その２）である。 図５Ａは、実施形態に係るテンプレートの一例を示す図（その１）である。 図５Ｂは、マッチング部によるマッチング処理の一例を示す図（その１）である。 図６は、検出部による検出処理の一例を示す図である。 図７Ａは、実施形態に係るテンプレートの一例を示す図（その２）である。 図７Ｂは、マッチング部によるマッチング処理の一例を示す図（その２）である。 図７Ｃは、マッチング部によるマッチング処理の一例を示す図（その３）である。 図７Ｄは、マッチング部によるマッチング処理の一例を示す図（その４）である。 図８Ａは、実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図８Ｂは、検出処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、自車の周囲を撮像するために車両に搭載されたカメラのレンズに付着した水滴を、付着物として検出する場合を例に挙げて説明する。

また、以下では、本実施形態に係る付着物検出方法の概要について図１Ａ～図１Ｄを用いて説明した後に、実施形態に係る付着物検出方法を適用した付着物検出装置１について、図２以降を用いて説明する。

まず、本実施形態に係る付着物検出方法の概要について図１Ａ～図１Ｄを用いて説明する。図１Ａは、付着物検出方法の基本的な考え方の説明図である。また、図１Ｂは、水滴の形状が円状から崩れている場合の説明図である。また、図１Ｃおよび図１Ｄは、実施形態に係る付着物検出方法の概要説明図（その１）および（その２）である。

付着物検出方法では基本的に、まずカメラ画像からエッジ情報を抽出する。ここで、エッジ情報は、たとえば、カメラ画像における各画素の輝度勾配を指す。付着物検出方法では、かかるエッジ情報に基づき、水滴の特徴を示すパターンの画素列をたとえばテンプレートマッチングなどの手法を用いることによってカメラ画像から探索して、探索した画素列の組み合わせにより、水滴が付着していると推定される領域を検出領域として検出する。

図１Ａに示すように、雨滴のような水滴は、形状が崩れていない場合、一般的に円状となる。かかる円状の水滴を検出する場合、付着物検出方法では、たとえば同図に示すように、円状の水滴を内包する矩形の各辺に対応する各画素のエッジ情報のパターンをテンプレートとして用いる。

なお、図１Ａでは、視覚的に分かりやすくするために、各画素の輝度勾配を、角度方向および明暗を含め、ピン状の記号を用いて模式的に示している。また、同図に示すのは、中心領域に向かって明るくなる水滴の場合の例である。中心領域に向かって暗くなる水滴の場合、同図の各辺パターンの角度方向がそれぞれ１８０°回転することとなる。

そして、付着物検出方法では、かかる各辺パターン、すなわち上辺パターン、下辺パターン、左辺パターンおよび右辺パターンに対し、たとえば異なる３辺以上で一致する画素列が抽出されたならば、前述の矩形を検出領域Ｒとして検出する。

ところで、図１Ｂに示すように、垂れた水滴のような、形状が円状とは異なる水滴が付着する場合がある。かかる場合、図１Ａに示した円状の水滴を想定した各辺パターンでは、たとえば前述の３辺以上の一致により検出領域Ｒを検出することは難しい。

かと言って、図１Ｂに示すように、たとえば図１Ａの下辺パターンと一致する複数の画素列の抽出で検出領域Ｒを検出することとしても、濡れた路面の反射や車のボディなどはカメラ画像中において垂れた水滴と似たような輪郭を描く場合がある。すなわち、図１Ｂに示すように、１辺のみでのマッチングでは、誤検出が多発するおそれがある。

そこで、本実施形態に係る付着物検出方法では、図１Ａに示した各辺パターンの両端に、角度方向が逆向きのパターンを配置したテンプレートを用いることとした。具体的には、図１Ｃに示すように、所定の中心領域に向けて輝度が明るくなるこれまでの各辺パターンの両端に、上記中心領域に対して放射状に輝度が暗くなるパターンを配置することとした。端的に言えば、同図に示すように、これまでの各辺パターンに対し、両端に角度方向が逆向きのパターンを配置することとした。

なお、中心領域に向かって暗くなる水滴の場合、中心領域に向けて輝度が暗くなる各辺パターンの両端に、上記中心領域に対して放射状に輝度が明るくなるパターンを配置することとなる。

換言すれば、本実施形態に係る付着物検出方法では、所定の中心領域に対して一の方向に放射状に輝度が変化する第１の画素群に対応するパターンの両端に、上記中心領域に対して上記一の方向とは逆方向に放射状に輝度が変化する第２の画素群に対応するパターンが配置されたテンプレートを用いる。

これは、図１Ｄに示すように、たとえば垂れた水滴などの輪郭周辺においては、各画素の中心領域に対する角度方向が、輪郭の内側と外側で逆方向となる特徴を示すためである。

したがって、図１Ｃに示した各辺パターンを下辺パターンとしたテンプレートマッチングを行い、図１Ｄに示すように、かかる下辺パターンに一致する画素列をたとえば連続的に複数抽出できれば、かかる画素列の長さを１辺とする検出領域Ｒを、垂れた水滴の付着領域として検出することができる。換言すれば、両端に逆向きパターンのあるマッチング範囲である配列が、中心領域に対して複数パターン（複数列もしくは多段）抽出されている１辺を有する矩形を検出領域Ｒとして検出することができる。すなわち、同図に示すように、１辺のみのマッチングでも誤検出を抑制することができる。

このように、本実施形態に係る付着物検出方法によれば、水滴の検出精度を向上させることができる。

以下、上述した付着物検出方法を適用した付着物検出装置１の実施形態について、さらに具体的に説明する。

図２は、本実施形態に係る付着物検出装置１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、付着物検出装置１は、たとえば、付着物除去装置１１および複数（ここでは、４台）のカメラ１０に接続される。

各カメラ１０は、たとえば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、たとえば車両の前方、後方、右側方および左側方を撮像する位置にそれぞれ取り付けられる。なお、付着物検出装置１をカメラ１０ごとにそれぞれ設けることとしてもよい。

付着物除去装置１１は、付着物検出装置１の検出結果に基づき、カメラ１０に付着した水滴を除去する。付着物除去装置１１は、たとえば圧縮した空気をカメラ１０へ向けて噴出することによって、水滴を除去する。なお、付着物除去装置１１は、たとえばウォッシャ液をカメラ１０へ向けて噴出させたり、ワイパーでカメラ１０を拭ったりしてもよい。

付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、変換部２３と、マッチング部２４と、検出部２５とを備える。また、記憶部３は、符号情報３１と、テンプレート情報３２と、検出情報３３とを記憶する。

制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、変換部２３、マッチング部２４および検出部２５として機能する。

また、制御部２の画像取得部２１、抽出部２２、変換部２３、マッチング部２４および検出部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、符号情報３１、テンプレート情報３２および検出情報３３や各種プログラム等を記憶することができる。

なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

画像取得部２１は、カメラ１０からカメラ画像を取得し、かかるカメラ画像をグレースケール化することによりグレースケール画像に変換する。また、画像取得部２１は、グレースケール画像を抽出部２２へ出力する。

なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。なお、かかるグレースケール化処理を省略することにしてもよい。

抽出部２２は、画像取得部２１から入力されるグレースケール画像にソベルフィルタを用いることで、グレースケール画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素の輝度勾配のＸ軸方向およびＹ軸方向における大きさ、すなわちエッジ強度を指す。

また、抽出部２２は、抽出したエッジ情報をグレースケール画像に対応付けて変換部２３に出力する。なお、抽出部２２は、ソベルフィルタに代えてたとえばラプラシアンフィルタ等の他のエッジ抽出法を用いることにしてもよい。

変換部２３は、抽出部２２から入力される各画素のＸ軸方向およびＹ軸方向のエッジ強度に基づいて各画素のエッジのベクトルを算出する。ここで、図３を用いてベクトルの算出方法について説明しておく。図３は、ベクトルの算出方法を示す図である。なお、図３では、Ｘ軸方向およびＹ軸方向におけるエッジ強度を示す。

上記したように、変換部２３は、抽出部２２から入力されるＸ軸方向のエッジ強度およびＹ軸方向のエッジ強度に基づいて各画素のベクトルを算出する。

具体的には、変換部２３は、図３に示すように、Ｘ軸方向およびＹ軸方向のエッジ強度に基づき、三角関数を用いることで、各画素のベクトルを算出する。以下では、同図に示す算出したベクトルと、正方向側のＸ軸との成す角度θを、「エッジ向き」と言い、ベクトルの長さＬを各画素の「エッジ強度」と言う。

なお、変換部２３は、全ての画素についてエッジ向きを算出する必要はなく、優先度の低い領域については、所定間隔の画素ごとにエッジ向きを算出するなど、処理を簡略化することにしてもよい。

図２の説明に戻る。また、変換部２３は、算出したエッジ向きをそれぞれ符号化する。符号化されたエッジ向きは、符号情報３１として記憶される。そして、変換部２３は、各画素を符号化したグレースケール画像をマッチング部２４に出力する。

ここで、付着物検出装置１では、たとえば、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化することにしている。この点の詳細については、図４Ａおよび図４Ｂを用いて後述する。

マッチング部２４は、変換部２３から入力される符号化されたグレースケール画像と水滴の特徴を示す符号パターンとの正規表現を用いたマッチング処理を行う。ここで、正規表現とは、符号列の集合を一つの符号で表したものである。

マッチング部２４は、正規表現を用いてマッチング処理を行うため、煩雑な処理を必要としない。このため、処理負荷を抑えつつ、水滴を検出することができる。

なお、水滴の特徴を示す符号パターンは、テンプレート情報３２に記憶される。かかる符号パターンの詳細については、図５Ａおよび図７Ａを用いて後述する。また、マッチング部２４による処理の詳細については、図５Ｂ、図７Ｂ～図７Ｄを用いて後述する。

検出部２５は、マッチング部２４が抽出した符号パターンに基づいてカメラ１０に付着した水滴を検出する。なお、検出部２５による検出処理については、図６を用いて後述する。

次に、図４Ａおよび図４Ｂを用いて変換部２３による符号化処理について説明する。図４Ａおよび図４Ｂは、代表値の算出方法の説明図（その１）および（その２）である。

まず、図４Ａを用いて代表値を算出する画素について説明する。ここでは、８×８ピクセルの画素を「セル」と言い、３×３セルを「ブロック」と言う。また、ブロックの中央のセルを「注目セル」と言う。

変換部２３は、ブロックごとに各画素のエッジ向きおよびエッジ強度を示すヒストグラムを作成する。かかるヒストグラムについては、図４Ｂを用いて説明する。ここで、変換部２３は、注目セルにおける中央の座標のエッジ向きをブロックにおけるヒストグラムから導出する。

そして、変換部２３は、１つのブロックにおいて注目セルの代表値を導出すると、ブロックを１つのセル分ずらしてヒストグラムを作成し、かかるブロックにおける注目セルの代表値を算出していく。

つまり、付着物検出装置１では、複数の画素ごとに代表値を算出することで、データ量を削減することができる。このため、マッチング部２４によるマッチング処理を簡略化することができる。なお、同図に示す例では、セルが８×８ピクセルであるため、データ量は１／６４に削減されることとなる。

なお、図４Ａに示したブロックおよびセルのピクセル数は一例であって、セルおよびブロックのピクセル数は、任意に設定することができる。この際、検出したい水滴の大きさに応じて各セルのピクセル数を変更することもできる。

たとえば、小さい水滴を検出したい場合、セルのピクセル数を少なく設定し、大きい水滴を検出したい場合は、セルのピクセル数を多く設定する。これにより、検出したい大きさの水滴を効率よく検出することができる。

また、変換部２３は、単にセルごとにヒストグラムを作成し、かかるヒストグラムに基づいて各セルの代表値を算出することにしてもよい。なお、変換部２３は、代表値を算出せず、全ての画素を符号化することにしてもよい。

次に、図４Ｂを用いてヒストグラムについて説明する。なお、同図では、縦軸にエッジ強度を示し、横軸にエッジ向きの階級を示す。同図に示すように、付着物検出装置１では、たとえば、エッジ向きを２０°ごとに１８段階の各階級に割り当ててヒストグラムを作成する。

具体的には、変換部２３は、ブロック内の各画素のエッジ強度をエッジ向きに対応する階級に加算していくことで、ブロックにおけるヒストグラムを作成する。続いて、変換部２３は、作成したヒストグラムからエッジ強度の和が最大となる階級を求める。

同図に示す例では、８０～１００°の階級が最大の値をとる場合を示している。このとき、変換部２３は、かかる階級においてエッジ強度の和が閾値以上である場合に、かかる階級を代表値とする。

同図に示す例では、８０～１００°の階級においてエッジ強度の和が閾値を超えているため、上記の条件を満たす。このため、かかるブロックにおける注目セルの階級は、８０～１００°となる。

つづいて、変換部２３は、注目セルを階級に応じて割り当てられた符号に変換する。ここで、各階級には、０～９およびＡ～Ｈの１８種類の符号がそれぞれ割り当てられる。なお、０～９およびＡ～Ｈは、０°から３６０°まで２０度刻みの各階級に割り当てられる符号である。また、代表値が閾値を超えなかった場合、すなわち、エッジ強度が低いセルには、Ｚの符号が割り当てられる。

このようにして、変換部２３は、全てのセルについて符号化を行う。これにより、符号化されたグレースケール画像において、符号が格子状に配列されることとなる。なお、変換部２３は、上記した代表値を算出する以外に、他の統計学的な算出方法を用いて代表値を算出することにしてもよい。

また、同図では、エッジ向きを１８段階に分類する場合について説明したが、これに限られず、１８段階より少なくする、あるいは、多くすることにしてもよい。また、同図では、符号がＡ～ＨおよびＺである場合を示したが、符号として、平仮名や数字など、他の文字、または図形等を用いることにしてもよい。

また、変換部２３は、たとえば、一つのブロックで閾値を超える複数の階級が存在した場合、かかる複数の階級に対応する符号をグレースケール画像に関連付けてマッチング部２４に出力することにしてもよい。

換言すると、変換部２３は、複数のエッジ向きの情報をグレースケール画像に関連付けることにしてもよい。かかる場合、水滴を検出するためのデータ量が増えるため、より精密に水滴を検出することが可能となる。

次に、図５Ａおよび図５Ｂを用いてマッチング部２４による処理について説明する。図５Ａは、実施形態に係るテンプレートの一例を示す図（その１）である。図５Ｂは、マッチング部２４によるマッチング処理の一例を示す図（その１）である。なお、ここでは説明の便宜上、まず水滴が円状である場合を例に挙げて説明する。垂れた水滴のように、円状とは異なる形状の水滴の検出を含む場合については、図７Ａ～図７Ｄを用いて後述する。

なお、図５Ａでは、視覚的に分かりやすくするために、テンプレートを上記した符号ではなく、図１Ａ～図１Ｄと同様に、実際のエッジ向きを模式的に示している。図５Ａに示すように、付着物検出装置１では、テンプレートとして水滴の特徴を示す符号列である符号パターンを有する。具体的には、たとえば、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

ここで、同図に示す各辺のパターンは、水滴を内包または水滴を外包する矩形の各辺を示す。また、同図では、各辺のパターンのエッジ向きが、それぞれ中央に向かう場合について示している。この場合、水滴の輝度が端部から中央に向けて大きくなる、すなわち、中央が明るく端部が暗い水滴の特徴を示す。

なお、付着物検出装置１は、水滴の輝度が中央から端部にかけて大きくなる、すなわち、中央が暗く端部が明るい水滴の特徴を示す各辺のパターンを備えることにしてもよい。このようにすることで、多様な水滴を検出することが可能となる。

なお、同図では、上下左右の４方のパターンを例示したが、斜め方向を含むパターンを用いることもできる。このようにすることで、水滴の検出精度を向上させることができる。

また、水滴の特徴を示す符号列は、たとえば、弧状に配列された各符号の並びであってもよい。また、マッチング部２４は、各辺のパターンに応じて正規表現を行う領域を限定することにしてもよい。

次に、図５Ｂを用いてマッチング部２４によるマッチング処理について説明する。なお、ここでは、説明の便宜上、図５Ａに示した上辺パターンをそれぞれＡ～Ｆの符号を用いて示す。また、同図のａおよびｂには、変換部２３によって符号化されたグレースケール画像の一部を模式的に示す。

同図のａに示すように、マッチング部２４は、符号パターンがＡ～Ｆの順に順序良く並んでいれば、かかる符号パターンを上辺パターンと一致すると判定する。

具体的には、マッチング部２４は、同図のａに示すように、たとえば、Ａが３回、Ｂ、Ｃ、ＤおよびＥがそれぞれ２回、そして、Ｆが３回など繰り返される配列を上辺パターンの各符号の配列順序を満たせば、上辺パターンとして抽出することにしている。

これは、水滴の大きさに応じて符号の繰り返し回数が異なるためである。すなわち、水滴が大きいほど、各符号列の長さが長くなるためである。このように、かかる符号の繰り返しを許容することで、１回のマッチング処理で、大きさが異なる複数の水滴を示す符号列を抽出することができる。

したがって、処理負荷を軽減しつつ、水滴を検出することができる。なお、マッチング部２４は、水滴の大きさに応じて符号列の長さが異なる複数の各辺のパターンを用意し、全てのかかるパターンを用いて符号列を抽出することにしてもよい。

また、水滴は一般的に円状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、マッチング部２４は、抽出した符号列の中で、バランスが悪い符号列を除外することにしている。

具体的には、同図のｂに示すように、マッチング部２４は、たとえば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。

このとき、マッチング部２４は、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列パターンを除外することにしている。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑えることができる。

また、マッチング部２４では、たとえば、抽出した符号列が閾値より長い場合、かかる符号列をマッチングから除外することもできる。これは、符号列が長い場合、水滴である可能性が低いためである。このため、水滴の誤検出を抑えることができる。なお、かかる閾値は、統計等によって最適な値を予め導出しておくものとする。

次に、図６を用いて検出部２５による検出処理について説明する。図６は、検出部２５による検出処理の一例を示す図である。なお、同図では、図５Ａと同様に、符号に代えて実際のエッジ向きを模式的に示す。

また、ここでは、マッチング部２４によって最初に上辺パターンが抽出された場合について説明する。まず、検出部２５は、抽出された上辺パターンの長さに基づき、略正方形状の検出領域Ｒ１を設定する。

つづいて、マッチング部２４によって検出領域Ｒ１から逸脱した位置に右辺パターンが抽出されたものとする。このとき、検出部２５は右辺パターンの検出領域Ｒ２の中心座標が検出領域Ｒ１内にあれば、双方の検出領域Ｒ１，Ｒ２を統合する処理を行う。

その後、検出部２５は、たとえば、統合した検出領域Ｒ３において、下辺パターンまたは左辺パターンが抽出された場合、統合した検出領域Ｒ３において水滴を検出する。換言すると、検出部２５は、検出領域Ｒ３において異なる３方向以上の各辺を示すパターンが抽出されることを検出条件（以下、「方向条件」と言う）として水滴を検出することにしている。

なお、検出部２５は、かかる方向条件以外に、たとえば、統合した検出領域Ｒ３において、各辺を示すパターンが所定回数（たとえば、上下左右を含めて４回）以上抽出されたことを水滴の検出条件（以下、「回数条件」と言う）とすることにしてもよい。

このように、検出条件として、３方向以上の方向条件や回数条件とすることで、上下左右の全ての辺が抽出されなくとも水滴を検出することとなる。すなわち、カメラ画像から見切れる水滴を検出することができる。

なお、たとえば、水滴を検出する領域に応じて方向条件を変更することにしてもよい。たとえば、カメラ画像の中央の領域については、方向条件を４方向に設定する。これにより、水滴の検出精度を向上させることができる。

また、たとえば、カメラ画像の４隅の領域については、方向条件を２回に設定する。これにより、カメラ画像の４隅に写る見切れた扇状の水滴を検出することが可能となる。

なお、同図では、上辺パターンの検出領域Ｒ１内に検出領域Ｒ２の中心座標がおさまる場合に、検出領域を統合する場合について示したが、これに限定されるものではない。すなわち、検出領域Ｒ１および検出領域Ｒ２の少なくとも一部が重なっていれば双方の検出領域を統合することにしてもよい。

また、統合した検出領域Ｒ３を、検出領域Ｒ１および検出領域Ｒ２の論理積とすることにしてもよいし、検出領域の論理和とすることにしてもよい。また、同図では、検出領域Ｒ１および検出領域Ｒ２が矩形状である場合を示したが、これに限られず、検出領域を円形状など他の形状とすることにしてもよい。

また、検出部２５は、複数フレームにおける検出結果に基づいて水滴を検出することにしてもよい。

次に、図７Ａ～図７Ｄを用いて、円状とは異なる形状の水滴の検出を含む場合のマッチング部２４による処理について説明する。図７Ａは、実施形態に係るテンプレートの一例を示す図（その２）である。図７Ｂ～図７Ｄは、マッチング部２４によるマッチング処理の一例を示す図（その２）～（その４）である。

なお、図７Ａでは、図５Ａと同様に、テンプレートを上記した符号ではなく、実際のエッジ向きを模式的に示している。図７Ａに示すように、付着物検出装置１では、テンプレートとして円状とは異なる形状の水滴の特徴を示す符号列である符号パターンを有する。たとえば、図５Ａと同様に、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

ただし、図５Ａとは異なり、円状とは異なる形状の水滴にも対応する各辺パターンは、所定の中心領域に対して一の方向に放射状に輝度が変化するパターンの両端に、上記一の方向とは逆方向に放射状に輝度が変化するパターンを有する（図７Ａ中の破線の閉曲線で囲まれた部分参照）。

なお、図７Ａでは、中心領域に向かって明るくなる場合の例を示しているが、中心領域に向かって暗くなる場合は、各辺パターンの各エッジ向きを１８０°回転させればよい。

かかる図７Ａのテンプレートを用いる場合、マッチング部２４は、符号パターンが、前述の逆方向のパターンを含んでも含まなくても、水滴の特徴を示す各辺パターンに一致するとして判定する。具体的には、図７Ｂに示すように、中心領域に向かって明るくなる水滴の下辺パターンを例とすると、まず同図のａに示すように、マッチング部２４は、マッチング処理により、両端に逆方向のパターンが配置された下辺パターンと一致する符号列を抽出する。

また、同図のｂおよびｃに示すように、マッチング部２４は、マッチング処理により、左端または右端のいずれかに逆方向のパターンが配置された下辺パターンと一致する符号列を抽出する。

また、同図のｄに示すように、マッチング部２４は、左端および右端のいずれにも逆方向のパターンが配置されていない下辺パターンと一致する符号列を抽出する。

これにより、円状に限らず、垂れた水滴のように、円状とは異なる形状の水滴についてもマッチングさせることができる。また、パターンに部分的な欠落がある場合でも、マッチングさせることができる。

なお、同図のａに示した例の、両端に逆方向のパターンが配置された下辺パターンと一致する符号列が抽出された場合、検出部２５は、かかる符合列が１辺のみについて連続的に複数抽出されているならば、かかる１辺を有する矩形を水滴の付着する検出領域Ｒとして検出することができる（図１Ｄ参照）。

また、同図のｂ～ｄに示した例の符合列が抽出された場合、検出部２５は、図６で説明した検出処理に沿って検出領域Ｒを検出する。

また、図７Ａのテンプレートを用いる場合でも、マッチング部２４は、抽出した符号列の中で、バランスが悪い符号列を除外することができる。

具体的には、図７Ｃに示すように、マッチング部２４は、たとえば、逆方向のパターンに対応する符号列のバランスを精査する。ここで、同図では、２～４で示すマッチング範囲の符合列が上記一の方向のパターンに対応し、１または５で示すマッチング範囲の符号列が、逆方向のパターンに対応する。

このとき、同図に示すように、マッチング部２４は、１のマッチング範囲の長さ＞２および３のマッチング範囲の長さの関係がある場合、たとえば１のマッチング範囲を除外する。また、図示していないが、同様に、５のマッチング範囲の長さ＞３および４のマッチング範囲の長さの関係がある場合、たとえば５のマッチング範囲を除外する。なお、除外するのは、除外対象となるマッチング範囲の全体であっても一部であってもよい。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑えることができる。

なお、検出部２５は、このようにマッチング範囲のバランスを整えたうえで、マッチング範囲の両端に逆向きのパターンが含まれ、かつ、かかるマッチング範囲が１辺のみについて連続的に複数抽出されているならば、かかる１辺を有する矩形を水滴の付着する検出領域Ｒとして確定することができる（図１Ｄ参照）。

また、図７Ａのテンプレートを用いる場合、マッチング部２４は、図７Ｄに示すように、カメラ画像Ｉ上の位置に応じてマッチングの対象とする辺を切り替える。具体的には、同図に示すように、マッチング部２４は、カメラ画像Ｉの上部では、「下辺」パターンへ切り替え、カメラ画像Ｉの下部では、「上辺」パターンへ切り替える。また、カメラ画像Ｉの左部では、「右辺」パターンへ切り替え、カメラ画像Ｉの右部では、「左辺」パターンへ切り替える。

これは、水滴の部分的な輪郭は、カメラ画像Ｉの中央方向へ向かって出現する特徴があることによる。このような切り替えを行うことによって、カメラ画像Ｉの端部に付着することで円状とは異なる形状となっている水滴を検出することが可能となる。

次に、実施形態に係る付着物検出装置１が実行する処理手順について、図８Ａおよび図８Ｂを用いて説明する。図８Ａは、実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。また、図８Ｂは、検出処理の処理手順を示すフローチャートである。なお、以下に示す処理は、制御部２によって繰り返し実行される。

図８Ａに示すように、まず、画像取得部２１は、カメラ１０からカメラ画像を取得し、かかるカメラ画像をグレースケール化する（ステップＳ１０１）。つづいて、抽出部２２は、グレースケール画像から各画素のエッジ情報を抽出する（ステップＳ１０２）。

その後、変換部２３は、抽出部２２によって抽出されたエッジ情報に基づいて図４Ａおよび図４Ｂに示したようにヒストグラムを作成し代表値を算出する（ステップＳ１０３）。その後、変換部２３は、セルごとに代表値を符号化する符号化処理を行う（ステップＳ１０４）。

つづいて、マッチング部２４は、符号化されたグレースケール画像に正規表現を用いてマッチング処理を行う（ステップＳ１０５）。そして、検出部２５は、図１Ｄおよび図６に示したように水滴を検出する検出処理を行う（ステップＳ１０６）。

具体的には、図８Ｂに示すように、検出部２５は、マッチング部２４の抽出したマッチング範囲の両端に逆向きパターンがあるか否かを判定する（ステップＳ２０１）。ここで、逆向きパターンがある場合（ステップＳ２０１，Ｙｅｓ）、検出部２５は、当該マッチング範囲が、各辺パターンの１辺のみについて複数抽出されているか否かを判定する（ステップＳ２０２）。すなわち、両端に逆向きパターンがあるマッチング範囲がマッチング部２４によって中心領域に対して複数パターン（複数列）抽出されているか否かを判定する。

ここで、複数抽出されている場合（ステップＳ２０２，Ｙｅｓ）、当該１辺を有する矩形を検出領域Ｒとして検出する（ステップＳ２０３）。かかる「複数抽出されている場合」は、たとえば図１Ｄに図示した例である。一方、ステップＳ２０１またはステップＳ２０２の判定条件を満たさない場合（ステップＳ２０１，Ｎｏ／ステップＳ２０２，Ｎｏ）、検出部２５は、マッチング範囲を１辺とする検出領域（たとえば、検出領域Ｒ１）を検出する（ステップＳ２０４）。

そして、検出部２５は、検出領域Ｒ１を他の検出領域（たとえば、検出領域Ｒ２）と統合し（ステップＳ２０５）、たとえば検出領域Ｒ３を検出する。

そして、全マッチング範囲について終了したか否かが判定される（ステップＳ２０６）。ここで、全マッチング範囲について終了でない場合（ステップＳ２０６，Ｎｏ）、ステップＳ２０１からの処理を繰り返す。また、全マッチング範囲について終了である場合（ステップＳ２０６，Ｙｅｓ）、処理を終了する。

上述してきたように、本実施形態に係る付着物検出装置１は、マッチング部２４（「探索部」の一例に相当）と、検出部２５とを備える。マッチング部２４は、所定の中心領域に対して一の方向に放射状に輝度が変化する第１の画素群、および、上記中心領域に対して上記一の方向と逆方向に放射状に輝度が変化する第２の画素群を、カメラ１０（「撮像装置」の一例に相当）によって撮像された撮像画像から探索する。検出部２５は、第１の画素群および第１の画素群の両端に存在する第２の画素群からなる配列がマッチング部２４によって抽出された場合に、カメラ１０へ付着した水滴を検出する。

したがって、本実施形態に係る付着物検出装置１によれば、円状とは異なる形状の水滴を検出することが可能となる。すなわち、水滴の検出精度を向上させることができる。

また、検出部２５は、撮像画像における矩形の検出領域Ｒのいずれか１辺について上記配列がマッチング部２４によって上記中心領域に対して複数列抽出された場合に、検出領域Ｒに水滴を検出する。

したがって、本実施形態に係る付着物検出装置１によれば、円状とは異なる形状の、たとえば垂れた水滴のような涙滴状の水滴であっても精度よく検出することができる。すなわち、水滴の検出精度を向上させることができる。

また、マッチング部２４は、第１の画素群に対する第２の画素群の長さが所定値以上である場合に、第２の画素群の全体または一部を除外する。

したがって、本実施形態に係る付着物検出装置１によれば、たとえば濡れた路面の反射などによって第２の画素群が長すぎる配列で抽出されてしまった場合などの誤検出を防ぐことができる。すなわち、水滴の検出精度を向上させることができる。

また、マッチング部２４は、上記矩形の検出領域の各辺について第１の画素群および第２の画素群を探索し、上記配列を複数列抽出する場合に、撮像画像中の探索位置に応じて探索対象とする各辺を切り替える。

したがって、本実施形態に係る付着物検出装置１によれば、カメラ画像Ｉの端部に付着することで円状とは異なる形状となっている水滴を検出することが可能となる。すなわち、水滴の検出精度を向上させることができる。

また、検出部２５は、上記配列以外の画素群がマッチング部２４によって抽出された場合に、当該画素群の長さに基づく１辺を有する検出領域Ｒ１を検出し、当該検出領域Ｒ１の少なくとも一部が他の検出領域Ｒ２と重なるならば、双方の検出領域Ｒ１，Ｒ２を統合する。

したがって、本実施形態に係る付着物検出装置１によれば、第１の画素群および第１の画素群の両端に存在する第２の画素群からなる配列以外の画素群についても、個々に検出領域Ｒを生成し、重なりがある場合には検出領域Ｒを統合することによって、検出領域Ｒに精度よく水滴を検出することができる。

（その他の実施形態）
なお、上述してきた付着物検出装置１は、自動駐車システムに適用することができる。自動駐車システムは、撮像画像に基づき、たとえば駐車場内で空いている駐車スペースを認識したならば、車両を自動的に駐車制御するものである。かかる駐車制御は、車両が備える駐車制御装置によって行われる。駐車制御装置は、図２の例では、付着物除去装置１１に代えて設けられ、駐車制御装置は、付着物検出装置１が付着物の付着を検出し確定させた場合に、安全のために車両の駐車制御を停止する。

すなわち、その他の実施形態では、カメラ１０は車両に搭載され、車両はカメラ１０の撮像画像に基づき車両の駐車制御を行う駐車制御装置（「駐車制御部」の一例に相当）を備える。駐車制御装置は、検出部２５によってカメラ１０への水滴の付着が検出された場合に、車両の駐車制御を停止する。したがって、その他の実施形態に係る付着物検出装置１によれば、安全性の高い自動駐車システムを実現することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 付着物除去装置
２１ 画像取得部
２２ 抽出部
２３ 変換部
２４ マッチング部
２５ 検出部
３１ 符号情報
３２ テンプレート情報
３３ 検出情報

Claims (7)

1. 撮像装置によって撮像された撮像画像から、水滴を含む領域の中心領域に対して一の方向に放射状に輝度が変化する第１の画素群、および、前記中心領域に対して前記一の方向と逆方向に放射状に輝度が変化する第２の画素群を、探索する探索部と、
   前記第１の画素群および該第１の画素群の両端に存在する前記第２の画素群からなる配列が前記探索部によって抽出された場合に、前記撮像装置へ付着した水滴を検出する検出部と
   を備えることを特徴とする付着物検出装置。
2. 前記検出部は、
   前記撮像画像における前記水滴を含む領域である矩形の検出領域のいずれか１辺について、前記配列が前記探索部によって、前記中心領域に対してその１辺が配置される方向に、複数列抽出された場合に、前記検出領域に前記水滴を検出する
   ことを特徴とする請求項１に記載の付着物検出装置。
3. 前記探索部は、
   前記矩形の検出領域の１辺に沿って配列された１列の画素群に含まれる前記第１の画素群及び前記第２の画素群について、その第１の画素群に対するその第２の画素群の、その１列の画素群における画素の配列の長さが所定値以上である場合に、その第２の画素群の全体または一部を除外する
   ことを特徴とする請求項２に記載の付着物検出装置。
4. 前記探索部は、
   前記矩形の前記検出領域の各辺について前記第１の画素群および前記第２の画素群を探索し、前記配列を複数列抽出する場合に、前記撮像画像中の探索位置に応じて探索対象とできる前記辺を制限する
   ことを特徴とする請求項２または３に記載の付着物検出装置。
5. 前記検出部は、
   前記矩形の検出領域の１辺に沿って配列された１列の画素群が、前記探索部によって、前記各辺のうちの異なる辺についてそれぞれ抽出された場合に、それらの画素群ごとに、その画素群の列の長さに基づく１辺を有する前記検出領域をそれぞれ検出し、それらの検出領域同士の少なくとも一部が重なるならば、双方の前記検出領域を統合する
   ことを特徴とする請求項２、３または４に記載の付着物検出装置。
6. 前記撮像装置は車両に搭載され、
   前記車両は前記撮像画像に基づき該車両の駐車制御を行う駐車制御部を備え、
   前記駐車制御部は、前記検出部によって前記撮像装置への前記水滴の付着が検出された場合に、前記車両の駐車制御を停止する
   ことを特徴とする請求項１～５のいずれか一つに記載の付着物検出装置。
7. 撮像装置によって撮像された撮像画像から、水滴を含む領域の中心領域に対して一の方向に放射状に輝度が変化する第１の画素群、および、前記中心領域に対して前記一の方向と逆方向に放射状に輝度が変化する第２の画素群を、探索する探索工程と、
   前記第１の画素群および該第１の画素群の両端に存在する前記第２の画素群からなる配列が前記探索工程によって抽出された場合に、前記撮像装置へ付着した水滴を検出する検出工程と
   を含むことを特徴とする付着物検出方法。

Images