JP7122364B2 - 付着物検出装置、付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、例えば車両に取り付けられたカメラのレンズに付着した雨滴等の水滴を検出する付着物検出装置がある。かかる付着物検出装置は、撮像画像から付着物のエッジを抽出し、レンズに付着した水滴を検出している（たとえば、特許文献１参照）。

特開２０１０－１４４９４号公報

しかしながら、従来技術では、例えば付着した水滴に光が反射する場合や、水滴の形状などによっては水滴の検出精度が低下するおそれがあり、水滴の検出精度を向上させるうえで更なる改善の余地があった。

本発明は、上記に鑑みてなされたものであって、水滴の検出精度を向上させることができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、付着物検出装置において、抽出部と、変換部と、マッチング部と、検出部とを備える。抽出部は、撮像装置によって撮像された撮像画像に含まれる各画素のエッジ情報を抽出する。変換部は、前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素を所定のデータ形式に変換する。マッチング部は、前記変換部によって前記データ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング処理を行う。検出部は、前記マッチング部によるマッチング結果に基づいて前記撮像装置に付着した水滴を検出する。

本発明に係る付着物検出装置によれば、水滴の検出精度を向上させることができる。

図１は、付着物検出方法の概要を示す図である。 図２は、第１の実施形態に係る付着物検出装置のブロック図である。 図３は、２値化閾値を示す図である。 図４は、第１の実施形態に係るテンプレートの一例を示す図である。 図５は、テンプレートの走査位置を示す図である。 図６は、マッチング部によるマッチング処理の一例を示す図である。 図７Ａは、検出部による検出処理を示す図（その１）である。 図７Ｂは、検出部による検出処理を示す図（その２）である。 図７Ｃは、検出部による検出処理を示す図（その３）である。 図７Ｄは、検出部による検出処理を示す図（その４）である。 図８は、第１の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図９は、第２の実施形態に係る付着物検出装置のブロック図である。 図１０は、抽出範囲を示す図である。 図１１Ａは、ベクトルの算出方法を示す図である。 図１１Ｂは、パラメータ情報の一例を示す図である。 図１２は、第２の実施形態に係るテンプレートの一例を示す図である。 図１３は、第２の実施形態に係る検出閾値を示す図である。 図１４は、第２の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図１５は、第３の実施形態に係る付着物検出装置のブロック図である。 図１６Ａは、代表値の算出方法を説明する図（その１）である。 図１６Ｂは、代表値の算出方法を説明する図（その２）である。 図１７Ａは、第３の実施形態に係るテンプレートの一例を示す図である。 図１７Ｂは、第３の実施形態に係るマッチング部によるマッチング処理の一例を示す図である。 図１８は、第３の実施形態に係る検出部による検出処理を示す図である。 図１９は、第３の実施形態に係る検出部による検出処理の除外例を示す図である。 図２０は、第３の実施形態に係る付着物検出装置が実行する処理手順を示すフローチャートである。 図２１は、第４の実施形態に係る付着物除去システムのブロック図である。 図２２Ａは、付着物検出部からの通知内容の一例を示す図である。 図２２Ｂは、検出情報ＤＢに含まれる検出エリアに関するデータ内容の一例を示す図である。 図２２Ｃは、検出エリアの状態の説明図である。 図２３Ａは、アルゴリズム間重なり判定部の処理説明図（その１）である。 図２３Ｂは、アルゴリズム間重なり判定部の処理説明図（その２）である。 図２３Ｃは、アルゴリズム間重なり判定部の処理説明図（その３）である。 図２３Ｄは、フレーム間重なり判定部および付着判定部の処理説明図である。 図２４Ａは、フレーム間重なり判定部の処理説明図（その１）である。 図２４Ｂは、フレーム間重なり判定部の処理説明図（その２）である。 図２４Ｃは、フレーム間重なり判定部の処理説明図（その３）である。 図２４Ｄは、フレーム間重なり判定部および付着判定部の処理説明図である。 図２４Ｅは、除去要否判定部の処理説明図である。 図２５は、第４の実施形態に係る付着物除去システムが実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、以下では、付着物として撮像装置であるカメラに付着した水滴を検出する場合について説明する。

まず、図１を用いて本願の開示する付着物検出方法の概要について説明する。図１は、付着物検出方法の概要を示す図である。

同図に示すように、付着物検出方法では、まず、カメラ画像Ｌからエッジ情報を抽出する（ステップＳ１）。ここで、エッジ情報とは、例えば、カメラ画像Ｌにおける各画素の図中横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）の輝度の勾配を示す。

その後、付着物検出方法では、かかるエッジ情報に基づいてカメラ画像Ｌにおける各画素を所定のデータ形式へ変換する（ステップＳ２）。ここで、本願の開示する付着物検出方法では、エッジ情報に基づいて各画素を所定のデータ形式へ変換することで、水滴の検出精度を向上させることにしている。

具体的には、カメラ画像Ｌにおける各画素のエッジ強度に基づいて各画素を２値化する。これにより、カメラ画像Ｌに写る水滴の輝度のムラの影響を受けにくくすることができる。すなわち、光が反射する水滴を精度よく検出することができる。この点の詳細については、図２～図８を用いて第１の実施形態として説明する。

また、本願の開示する付着物検出方法では、カメラ画像Ｌにおける各画素のエッジ向きと反対のエッジ向き同士が１の補数の関係となるパラメータを用いて各画素を所定のデータ形式に変換する。

これにより、各画素のエッジ向きの違いを鮮明にすることができる。このため、マッチング処理における認識精度を向上させることが可能となる。この点の詳細については、図９～図１４を用いて第２の実施形態として説明する。

また、本願の開示する付着物検出方法では、カメラ画像Ｌにおける各画素のエッジ向きにそれぞれ対応する符号を割り当てることにより、各画素を符号化する。

かかる場合に、水滴を示す符号列との正規表現を用いたマッチング処理を行う。これにより、カメラ画像Ｌにおいて、例えば、水滴に内包される矩形の各辺の符号列を抽出することが可能となる。

また、抽出された符号列の組み合わせにより、カメラに付着した水滴を検出することで、カメラ画像Ｌから見切れた水滴など、不定形状の水滴を検出することが可能となる。この点の詳細については、図１５～図２０を用いて第３の実施形態として説明する。

そして、付着物検出方法では、変換した各画素と、水滴を示すテンプレートとのマッチング処理を行い（ステップＳ３）、マッチング結果に基づいてカメラに付着した水滴を検出する（ステップＳ４）。なお、同図に示すカメラ画像Ｌ１では、付着物検出方法により水滴を検出した箇所に印Ｍをつけて示している。

このように、本願の開示する付着物検出方法では、エッジ情報に基づいてカメラ画像Ｌにおける各画素を所定のデータ形式に変換し、かかるデータ形式のテンプレートを用いたマッチング処理によってカメラに付着した水滴を検出する。

したがって、本願の開示する付着物検出方法によれば、水滴の検出精度を向上させることができる。

なお、本願の開示する付着物検出方法では、マッチング処理の走査位置に応じて水滴の異なる部分の部分形状を示すテンプレートを用いることにしている。この点の詳細については、図４および図５を用いて後述する。

また、第１～第３の実施形態に係る付着物検出装置による検出結果を組み合わせて水滴を検出することで、検出精度をさらに向上させることができる。かかる点の詳細については、図２１～図２５を用いて第４の実施形態にて詳細に説明する。

（第１の実施形態）
次に、第１の実施形態に係る付着物検出装置１の構成について説明する。図２は、第１の実施形態に係る付着物検出装置１のブロック図である。なお、図２には、カメラ１０および付着物除去装置１１を併せて示している。

同図に示すように、付着物検出装置１は、例えば、付着物除去装置１１および４台のカメラ１０に接続される。

４台の各カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、例えば車両の前方、後方、右側方および左側方を撮像する位置にそれぞれ取り付けられる。なお、付着物検出装置１をカメラ１０ごとにそれぞれ設けることとしてもよい。

付着物除去装置１１は、付着物検出装置１の検出結果に基づき、カメラ１０に付着した水滴を除去する。付着物除去装置１１は、例えば圧縮した空気をカメラ１０へ向けて噴出し水滴を除去する。なお、付着物除去装置１１は、例えばウォッシャ液をカメラ１０へ向けて噴出させたり、カメラワイパでカメラ１０を拭ったりしてもよい。

第１の実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、変換部２３と、マッチング部２４と、検出部２５とを備える。また、記憶部３は、２値化閾値情報３１と、テンプレート情報３２と、検出情報３３とを記憶する。

制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、変換部２３、マッチング部２４および検出部２５として機能する。

また、制御部２の画像取得部２１、抽出部２２、変換部２３、マッチング部２４および検出部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、２値化閾値情報３１、テンプレート情報３２および検出情報３３や各種プログラムの情報を記憶することができる。

なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

画像取得部２１は、カメラ１０からカメラ画像を取得し、かかるカメラ画像をグレースケール化することによりグレースケール画像に変換する。また、画像取得部２１は、グレースケール画像を抽出部２２へ出力する。

なお、グレースケール化とは、カメラ画像における各画素を輝度に応じて白から黒までの各階調で表現するように変換する処理である。なお、かかるグレースケール化処理を省略することにしてもよい。

抽出部２２は、画像取得部２１から入力されるグレースケール画像にソベルフィルタを用いることで、グレースケール画像における各画素のエッジ情報を抽出する。ここで、エッジ情報とは、各画素のＸ軸方向およびＹ軸方向におけるエッジ強度を指す。

また、抽出部２２は、抽出したエッジ情報をグレースケール画像に対応付けて変換部２３に出力する。なお、抽出部２２は、ソベルフィルタに代えて例えばラプラシアンフィルタ等の他のエッジ抽出法を用いることにしてもよい。

変換部２３は、抽出部２２から入力される各画素のエッジ情報に基づき、グレースケール画像を２値化する。具体的には、まず、変換部２３は、エッジ情報であるＸ軸方向およびＹ軸方向のエッジ強度をそれぞれ２乗した後に加算した値を各画素のエッジ量として算出する。

続いて、変換部２３は、算出したエッジ量が後述の２値化閾値ＴＨａ以上となる画素を「１」とし、２値化閾値ＴＨａ以下となる画素を「０」とすることで、グレースケール画像を２値化する。

このように、変換部２３は、エッジ量に基づいて各画素を２値化することでノイズの影響を排除することができる。このため、水滴の検出精度を向上させることができる。また、２値化することで水滴のエッジを全て等価にする。このため、マッチング部２４による処理負荷を抑えることができる。

なお、以下では、エッジ量に基づいて２値化する場合について説明するが、エッジ強度とエッジ量とは相関関係にある。このため、エッジ量に基づいて２値化することと、エッジ強度に基づいて２値化することとは同義である。

そして、変換部２３は、各画素を２値化した画像（以下、２値化画像という）をマッチング部２４へ出力する。ここで、第１の実施形態に係る付着物検出装置１では、２値化閾値ＴＨａの値をカメラ１０の周囲環境に応じて動的に設定することにしている。この点の詳細については、図３を用いて後述する。

なお、変換部２３は、「黒」、「白」以外にも「１」、「０」や他の文字や図形等を用いてグレースケール画像を２値化することにしてもよい。

マッチング部２４は、変換部２３から入力される２値化画像と水滴の特徴を示すテンプレートとのマッチング処理によって２値化画像とテンプレートとの類似度を算出する。また、マッチング部２４は、算出した類似度の値を２値化画像における各画素に対応付けて検出部２５へ出力する。

なお、マッチング部２４による処理の詳細については図６を用いて後述する。また、テンプレートは、記憶部３にテンプレート情報３２として記憶される。かかるテンプレートの詳細については図４を用いて後述する。

検出部２５は、マッチング部２４から入力される類似度に基づいてカメラ１０に付着した水滴を検出する。そして、検出部２５は、水滴を検出した場合、付着物除去装置１１や車両の自動運転を行う車両制御装置（図示略）へ通知する。

これにより、例えば、付着物除去装置１１では、カメラ１０に付着した水滴を除去することとなる。また、車両制御装置では、かかる付着した領域を避けて例えば、白線などの認識が行われることとなる。なお、検出部２５による検出処理の詳細については図７Ａ～７Ｄを用いて後述する。

次に、図３を用いて変換部２３による２値化閾値ＴＨａの設定方法について説明する。図３は、２値化閾値ＴＨａを示す図である。なお、図３の縦軸は、上記したエッジ量を示しており、横軸は、周囲の照度を示している。

図３に示すように２値化閾値ＴＨａは、例えば、周囲環境として照度に応じて動的に設定される。具体的には、２値化閾値ＴＨａは、エッジ量Ｓａを上限とし、エッジ量Ｓｂを下限として、例えば、周囲の照度が高いほど、２値化閾値ＴＨａが高くなるように設定される。

また、エッジ量が２値化閾値ＴＨａよりも高い画素は、２値化画像において「白」となり、エッジ量が２値化閾値ＴＨａ以下の画素は、２値化画像において「黒」で表される。

ここで、周囲の光源の光が水滴に反射する場合がある。かかる場合、水滴のエッジを示す画素のエッジ量は増加する。このとき、周囲の照度が高い、すなわち、周囲が明るいと、グレースケール画像には、水滴の他、背景の構造物や路面の白線などが写る。

このため、２値化閾値ＴＨａを高い値に設定することで、水滴のエッジを示す画素のみが「白」となるようにしている。換言すると、２値化閾値ＴＨａを高い値に設定することで、不要物のエッジを効率的に除去する。

一方、照度が低い、すなわち、周囲が暗いと、グレースケール画像に不要物が写りにくい。また、水滴に光が反射すると、水滴のエッジを示す画素のエッジ量は、不要物のエッジを示す画素に比べて増加しやすい。

また、光源の強さによっては、水滴のエッジ量がエッジ量Ｓａを超えない場合がある。かかる場合に、周囲が暗い場合の２値化閾値Ｔｈａを照度が高い場合と同様の２値化閾値Ｔｈａに設定すると、水滴のエッジ量が２値化閾値ＴＨａを下回る場合があり好ましくない。

これらのことより、周囲が暗い場合、２値化閾値ＴＨａを照度が高い場合よりも低い値に設定することで、光が反射する水滴のエッジを示す画素のみが「白」となるようにしている。換言すると、暗い場合は、光源の強さによらず、水滴のエッジを効率よく抽出することができる。

このように、第１の実施形態に係る付着物検出装置１では、周囲の状況に応じて２値化閾値ＴＨａを動的に設定することで、水滴のエッジのみを効率よく抽出することができる。

これにより、従来検出が困難であった夜間において、光が反射した水滴の検出や、昼間に強い光源が存在する場合における水滴の検出を精度よく行うことが可能となる。なお、変換部２３は、同図に示すように２値化閾値ＴＨａの値を例えば昼間と夜間で、それぞれエッジ量Ｓａおよびエッジ量Ｓｂに設定する。

かかる昼間と夜間の判別方法として、例えば、時間帯に応じて昼間と夜間とを判別する方法や、車両のヘッドライトに連動して昼間と夜間とを判別する方法を用いることができる。

例えば、変換部２３は、ヘッドライトがＯＮである場合、２値化閾値ＴＨａの値をエッジ量Ｓｂに設定し、ヘッドライトがＯＦＦである場合に、２値化閾値ＴＨａの値をエッジ量Ｓａに設定することができる。

また、例えば、車両に照度センサを備える場合、変換部２３は、かかる照度センサのセンサ値に基づいて２値化閾値ＴＨａの値を設定することもできる。

かかる場合に、変換部２３は、例えば、同図の破線で示すように、照度に応じて２値化閾値ＴＨａの値を順次設定することもできる。また、図示しない操作部に対するユーザ操作に応じて２値化閾値ＴＨａを切り替えることにしてもよい。

ここでは、周囲環境として照度に応じて２値化閾値ＴＨａを切り替える場合について例示したが、これに限られない。すなわち、周囲環境として位置情報に基づいて２値化閾値ＴＨａを切り替えることにしてもよい。

例えば、変換部２３は、ナビゲーション装置から位置情報を取得し、例えば、立体駐車場など、車両が屋内にいる場合に２値化閾値ＴＨａを高い値に設定することにしてもよい。

次に、図４を用いて第１の実施形態に係るテンプレートについて説明する。図４は、第１の実施形態に係るテンプレートの一例を示す図である。同図に示すように、第１の実施形態に係る付着物検出装置１では、黒地の背景に水滴の輪郭が白抜きのテンプレートが用いられる。

また、同図に示すように、第１の実施形態に係る付着物検出装置１では、水滴の輪郭の特徴を示す複数のテンプレートを有する。具体的には、同図のａに示すように、水滴の輪郭が略真円状のテンプレートや、同図のｂ～ｅに示すように、それぞれ水滴の部分形状を示す略半弧状のテンプレートを有する。

また、同図のｆに示すように、テンプレートは、略真円状や略半弧状に限られず、略楕円形状であってもよい。これは、カメラ１０に魚眼レンズなど凸型レンズを用いた場合、凸型レンズに付着した水滴が楕円形状となりやすいためである。

このように、第１の実施形態に係る付着物検出装置１では、複数のテンプレートを用いてマッチング処理を行うことで、水滴の検出精度を向上させることができる。また、図４のｂ～ｅに示した水滴の部分形状を示すテンプレートを用いることで、水滴が画像から見切れる場合であっても、かかる水滴を検出することが可能となる。

また、第１の実施形態に係る付着物検出装置１では、テンプレートの種類（同図のａ～ｆ）ごとにマッチング処理を行う領域を設定することにしている。この点の詳細については図５を用いて後述する。

なお、図４に示したテンプレートは、一例であってこれに限定されるものではない。例えば、カメラ１０の形状や、水滴の液だれなどを考慮してシミュレーションや統計等によって最適なテンプレートを導出することができる。

また、第１の実施形態に係る付着物検出装置１は、図４のa～ｆに示したテンプレートの縮尺が異なる複数のテンプレートを有する。これにより、大きさが異なる水滴を精度よく検出することができる。なお、マッチング部２４は、カメラ１０の周囲環境に応じて異なる大きさのテンプレートからマッチング処理を行うこともできる。

例えば、大雨のときには、大粒の雨がカメラ１０に付着しやすいため、マッチング部２４は、大粒の水滴用の大きなテンプレートからマッチング処理を開始し、徐々に小さなテンプレートを用いてマッチング処理を行う。

また、小雨のときには、カメラ１０に小さい水滴が付着しやすいため、小さいテンプレートからマッチング処理を開始し、徐々に大きなテンプレートを用いてマッチング処理を行う。

このようにすることで、車両の周囲状況に応じて効率よく水滴を検出することができる。また、第１の実施形態に係る付着物検出装置１では、テンプレートの大きさに応じて異なる検出閾値を設定している。この点の詳細については、図７Ａを用いて後述する。

次に、図５を用いてテンプレートと走査位置との関係について説明する。図５は、テンプレートと走査位置との関係を示す図である。図５に示す領域Ｒａ～Ｒｅは、図４のａ～ｅに示したテンプレートにそれぞれ対応するものとする。

具体的には、マッチング部２４は、図４のａに示した略真円状のテンプレートを２値化画像Ｌ２の中央部に位置する領域Ｒａを走査する場合に用いる。また、図４のｂに示した弧が図中下向きのテンプレートは、２値化画像Ｌ２の上部に位置する領域Ｒｂを走査する場合に用いられる。

また、図４のｃに示す弧が図中上向きのテンプレートは、２値化画像Ｌ２の下部に位置する領域Ｒｃを走査する場合に用いられる。同様に、図４のｄおよびｅに示した弧がそれぞれ図中左向きまたは右向きのテンプレートは、２値化画像Ｌ２の左右に位置する領域ＲｄおよびＲｅをそれぞれ走査する場合に用いられる。

このように、マッチング部２４は、２値化画像Ｌ２の走査位置に応じて異なるテンプレートを用いてマッチング処理を行うことができる。これにより、２値化画像Ｌ２における各領域に付着しやすい形状の水滴を効率よく検出することができる。

なお、マッチング部２４は、全ての種類のテンプレートを２値化画像Ｌ２における全領域を走査することにしてもよい。かかる場合に、水滴の検出漏れを抑えることができる。

また、カメラ１０が広角レンズである場合に、カメラ画像の端ほど、水滴が歪んで表示される。このため、端に行くほど、歪んだ水滴の輪郭の特徴を示すテンプレートを用いることにしてもよい。

次に、図６を用いてマッチング部２４によるテンプレートとマッチング処理について説明する。図６は、マッチング処理の一例を示す図である。

同図に示すように、まず、マッチング部２４は、例えば、テンプレートＧの左上が２値化画像Ｌ２における左上に位置する画素Ｐ１に配置する。

続いて、マッチング部２４は、かかる位置における２値化画像Ｌ２とテンプレートＧとの類似度を算出する。なお、かかる類似度の算出方法については、第２の実施形態で説明するため、ここでの説明は省略する。

続いて、マッチング部２４は、算出した類似度の値を例えば、テンプレートＧの左上に位置する画素Ｐ１に格納する。その後、テンプレートＧを１画素分右にずらして類似度を算出し、算出した類似度の値を画素Ｐ２に格納する。

マッチング部２４は、かかる類似度の算出を繰り返し、右端まで類似度の算出を終えると、テンプレートＧを１画素分だけ下にずらして算出処理を繰り返すことで全ての画素について類似度の算出を行う。これにより、マッチング部２４は、全ての画素について類似度の値を得る。

また、マッチング部２４は、種類や大きさが異なるテンプレートについても同様に類似度の算出を行うものとする。そして、マッチング部２４は、算出した類似度の値を画素の座標とあわせて検出部２５へ出力する。

ここで、マッチング部２４は、必ずしも全ての画素について類似度の値を算出する必要はなく、例えば、所定の間隔ごとに類似度を算出するなど、類似度の算出処理を簡略化して行うことにしてもよい。このようにすることで、マッチング部２４による処理負荷を軽減することができる。

また、例えば、同図に示す２値化画像Ｌ２の中央に位置する領域Ｒｇのように、水滴検出の優先度の高い領域から類似度の値を算出することにしてもよい。このようにすることで、優先度の高い領域において、付着した水滴を素早く検出することができる。

この際、２値化画像Ｌ２の上部の領域など、優先度が低い領域について、マッチング部２４は、類似度を算出しないことにしてもよい。これにより、マッチング部２４による処理負荷をさらに軽減することができる。

さらに、例えば、マッチング部２４は、優先度の高い領域について全ての画素について類似度の算出を行い、優先度の低い領域については類似度の算出処理を簡略化して行うことにしてもよい。

つまり、優先度の高い領域では、精度を高くして水滴を検出し、優先度の低い領域では、精度を荒くして水滴を検出することとしてもよい。これにより、処理負荷を抑えつつ、優先度の高い領域について水滴の検出漏れを抑制することができる。

次に、検出部２５による判定処理について図７Ａ～図７Ｄを用いて説明する。図７Ａ～図７Ｄは、検出部２５による判定処理を説明する図である。

まず、図７Ａを用いてテンプレートと検出閾値との関係について説明する。同図に示すように、検出部２５は、テンプレートの大きさに応じて異なる検出閾値を設けている。

なお、かかる検出閾値は、検出部２５がマッチング部２４から入力される類似度の値と比較するものである。そして、検出部２５は、類似度の値が検出閾値以上であれば、水滴が付着していると判定する。

同図に示すように、第１の実施形態に係る付着物検出装置１では、テンプレートが大きいほど、検出閾値を低く設定する一方、テンプレートが小さいほど、検出閾値を高く設定するようにしている。

これは、テンプレートが小さいほど、水滴以外の不要なエッジを水滴のエッジとして誤検出しやすいためである。つまり、テンプレートの大きさに応じて検出閾値を設定することで、水滴の誤検出を抑制することができる。

なお、同図には、テンプレートが図４のａに対応する略真円状である場合について示したが、図４のｂ～ｆに示した他のテンプレートについても同様である。また、テンプレートの種類に応じて異なる検出閾値を設けることにしてもよいし、あるいは、全てのテンプレートで同じ検出閾値を用いることにしてもよい。

次に、図７Ｂを用いて検出部２５が２値化画像Ｌ２の領域ごとに異なる検出閾値を設ける場合について説明する。上記したように、２値化画像Ｌ２の領域に応じて水滴を検出する優先度が異なる。

そこで、第１の実施形態に係る付着物検出装置１では、２値化画像Ｌ２の領域に応じて異なる検出閾値を設けることもできる。具体的には、例えば、車両から近い位置が写る領域Ｒｌについては、水滴検出の優先度を高く設定し、他の領域に比べて検出閾値を低く設定する。これにより、優先度の高い領域ＲIにおける水滴の検出漏れを抑制することができる。

一方、車両から遠い位置が写る領域Ｒｈについては、水滴検出の優先度を低く設定し、検出閾値を高く設定する。また、領域Ｒｌおよび領域Ｒｈの間に位置する領域Ｒｍについては、例えば、検出閾値が領域Ｒｌおよび領域Ｒｈの中間の値となるように設定する。

このように、２値化画像Ｌ２の領域に応じて異なる検出閾値を設定することで、優先度の低い領域Ｒｈにおいて水滴の誤検出を軽減しつつ、優先度の高い領域Ｒｌにおいて水滴を確実に検出することができる。

なお、図７Ｂでは、２値化画像Ｌ２を３つの領域に分割する場合について説明したが、分割する領域は、２つであっても４つ以上であってもよい。また、２値化画像Ｌ２を横方向や斜め方向や同心円状に分割して検出閾値を設定することにしてもよい。

また、上記した各領域の優先度は一例であって、水滴の検出目的に応じて優先度を変更することにしてもよい。また、検出部２５は、例えば、昼間および夜間で異なる検出閾値を設定することにしてもよい。

次に、図７Ｃを用いて検出部２５が複数フレームの２値化画像Ｌ２に基づいて水滴を検出する場合について説明する。ここでは、検出部２５が、例えば、図７Ａおよび図７Ｂで既に説明した検出処理を終えた場面を示す。

また、同図では、枠Ｆ１～Ｆ３が存在する領域において各枠の大きさに対応するテンプレートとの類似度が検出閾値よりも大きかったことを示す。

ここで、枠Ｆ１および枠Ｆ２のように、大きさが異なるテンプレートとの類似度が高かった領域であり、かつ、枠Ｆ１で囲われた領域内に枠Ｆ２が存在する領域がある場合、検出部２５は、かかる領域を水滴が付着していると判定する。これは、１つのテンプレートで類似度が高かった場合、大きさが近い他のテンプレートでも類似度が高くなる傾向があるためである。

また、検出部２５は、例えば、枠Ｆ３のように、近接する領域に１つの枠しか存在しない場合には、上記の条件を満たさないため、かかる枠Ｆ３の領域に水滴が付着していないと判定する。上述したように、１つのテンプレートで類似度が高かった場合、大きさが近い他のテンプレートでも類似度が高くなる傾向があるため、１つのテンプレートだけで類似度が大きく、他の（大きさの近い）テンプレートで類似度が大きくなければ、ノイズなどの影響で、たまたま１つのテンプレートで類似度が高くなっただけと判断できるためである。

つまり、検出部２５は、大きさの異なる複数のテンプレートとの類似度が高かった領域について水滴が付着していると判定する。このように、付着物検出装置１は、複数のテンプレートとの類似度に基づいて水滴を検出することで、水滴の誤検出を低減しつつ、水滴の検出精度の信頼性を向上させることができる。

なお、かかる場合に、検出部２５は、例えば、枠Ｆ１と枠Ｆ２との少なくとも一部が重なっていれば水滴が付着していると判定することにしてもよい。また、検出部２５は、例えば、近接する位置に複数の枠が存在する場合に、水滴が付着していると判定することにしてもよい。

次に、図７Ｄを用いて検出部２５が複数の２値化画像Ｌ２に基づいて水滴を検出する場合について説明する。同図では、紙面手前側ほど新しい２値化画像Ｌ２であることを示す。すなわち、２値化画像Ｌ２ｅから２値化画像Ｌ２ａの順に新しい２値化画像Ｌ２であることを示す。

また、同図に示す枠Ｆ４および枠Ｆ５は、図７Ｃと同様に、かかる枠の領域において枠の大きさに対応するテンプレートと類似度が高かったことを示すものとする。

同図に示すように、２値化画像Ｌ２ａ、２値化画像Ｌ２ｂおよび２値化画像Ｌ２ｃには、枠Ｆ４が存在し、２値化画像Ｌ２ａ、２値化画像Ｌ２ｃおよび２値化画像Ｌ２ｅには、枠Ｆ５が存在する。

このとき、検出部２５は、例えば、３つのフレームで連続して同じ位置に枠が存在した場合に、かかる領域に水滴が付着していると判定する。同図に示す例では、枠Ｆ４が３フレームにわたって連続して検出されているため、検出部２５は、枠Ｆ４の領域に水滴が付着していると判定する。

なお、検出部２５は、例えば、枠Ｆ５のように、５フレームの間に３回検出されていれば、枠Ｆ５の領域に水滴が付着していると判定することにしてもよい。

このように、検出部２５は、複数のフレームを用いて水滴の付着を判定することで、水滴の誤検知を抑制しつつ、検出精度を向上させることができる。なお、枠Ｆ４や枠Ｆ５の位置や大きさは、各フレームで厳密に一致している必要はなく、所定の誤差を許容するものとする。

また、同図では、検出部２５が３フレーム連続で同一の枠を検出する場合に、水滴を検出するようにしたが、これに限定されるものではなく、２フレーム以下であっても、４フレーム以上であってもよい。

なお、検出部２５は、水滴の検出に用いるフレーム数を上記した領域の優先度や、水滴の検出目的に応じて変更することにしてもよい。例えば、検出精度を優先する領域については、フレーム数を多くし、検出速度を優先する領域については、フレーム数を少なくすることもできる。

次に、第１の実施形態に係る付着物検出装置１が実行する処理手順について図８を用いて説明する。図８は、第１の実施形態に係る付着物検出装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理は、制御部２によって繰り返し実行される。

同図に示すように、まず、画像取得部２１は、カメラ１０からカメラ画像を取得し、かかるカメラ画像をグレースケール化する（ステップＳ１０１）。続いて、抽出部２２は、グレースケール画像から各画素のエッジ情報を抽出する（ステップＳ１０２）。

その後、変換部２３は、図３に示したように２値化閾値ＴＨａを設定し（ステップＳ１０３）、グレースケール画像を２値化する（ステップＳ１０４）。

続いて、マッチング部２４は、図６に示したように変換部２３によって２値化された２値化画像を用いてマッチング処理を行う（ステップＳ１０５）。そして、検出部２５は、図７Ａ～図７Ｄに示したようにカメラ１０に付着した水滴を検出する（ステップＳ１０６）。

上述してきたように、第１の実施形態に係る付着物検出装置１は、各画素のエッジ量に基づいて２値化することで、夜間や昼間において光る水滴を精度よく検出することができる。

ところで、上述したように、変換部２３による変換処理は、２値化処理に限定されない。そこで、次に、第２の実施形態として各画素をエッジの向きに応じて各画素をパラメータに変換する場合について説明する。

（第２の実施形態）
まず、図９を用いて第２の実施形態に係る付着物検出装置１Ｂの構成について説明する。図９は、第２の実施形態に係る付着物検出装置１Ｂのブロック図である。なお、以下の説明では、既に説明した部分と同様の部分については、既に説明した部分と同一の符号を付し、重複する説明は省略する。

図９に示すように、第２の実施形態に係る付着物検出装置１Ｂは、制御部２Ｂと、記憶部３Ｂとを備える。制御部２Ｂは、図２に示した変換部２３、マッチング部２４および検出部２５に代えて変換部２３Ｂ、マッチング部２４Ｂおよび検出部２５Ｂを備える。

また、記憶部３Ｂは、範囲情報３４と、パラメータ情報３１Ｂと、テンプレート情報３２Ｂと、検出情報３３Ｂとを記憶する。ここでは、画像取得部２１および抽出部２２の説明は省略し、変換部２３Ｂから説明する。

変換部２３Ｂは、抽出部２２から入力される各画素のエッジ情報に基づき、各画素のエッジの向きを算出し、かかるエッジ向きに３次元のパラメータを割り当てることにより、各画素をパラメータ化する。この点の詳細については、図１１Ａおよび図１１Ｂを用いて後述する。

また、変換部２３Ｂは、エッジの向きの算出に先立って、上記したエッジ量を算出し、算出したエッジ量に対してフィルタ処理を行う。かかる点の詳細については図１０を用いて後述する。

マッチング部２４Ｂは、変換部２３Ｂから入力されるパラメータ化されたグレースケール画像と水滴の特徴を示すテンプレートとのマッチング処理を行う。かかるマッチング処理については、図６を用いて既に説明したマッチング処理と同様の処理であるため、ここでの説明は省略する。

ここで、マッチング部２４Ｂは、ゼロ平均正規化相互相関(Zero-mean Normalized Cross-Correlation)を用いて類似度を算出する。かかるゼロ平均正規化相互相関では、類似度は－１から＋１の値をとる。

なお、マッチング部２４Ｂは、例えばＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）など他の計算手法を用いて類似度を算出することにしてもよい。

検出部２５Ｂは、マッチング部２４Ｂから入力される類似度の値に基づいてカメラ１０に付着した水滴を検出する。なお、検出部２５Ｂによる検出処理の詳細については、図１４を用いて後述する。

次に、図１０を用いて変換部２３Ｂによるフィルタ処理の詳細について説明する。図１０は、抽出範囲Ｗを示す図である。なお、同図の縦軸には、エッジ量を示す。また、同図では、抽出範囲Ｗにハッチング処理を施して示している。

同図に示すように、第２の実施形態に係る付着物検出装置１Ｂでは、例えば、夜間および昼間で異なる抽出範囲Ｗを設定する。具体的には、夜間の場合、エッジ量Ｓｃからエッジ量Ｓｅまでの範囲を抽出範囲Ｗ１として設定する。

また、昼間の場合、エッジ量Ｓｃよりも低いエッジ量Ｓｄからエッジ量Ｓｆまでの範囲を抽出範囲Ｗ２として設定する。これは、上記したように、周囲の明るさによらず、水滴のエッジのみを効率よく抽出するためである。

このように、フィルタ処理をすることで、水滴以外の不要なエッジを除去することができる。これにより、水滴の検出精度を向上させることができる。

なお、抽出範囲Ｗ１や抽出範囲Ｗ２の値は、シミュレーションや統計等を用いて最適な値を導出することができる。また、変換部２３Ｂは、検出部２５Ｂによる水滴の検出結果をフィードバックして抽出範囲Ｗを設定することにしてもよい。

例えば、検出部２５Ｂによって水滴が検出されなかった場合、抽出範囲Ｗが適切に設定されていなかったおそれがある。このため、変換部２３Ｂは、抽出範囲Ｗを変更して各画素を抽出しなおすことにしてもよい。これにより、水滴の検出漏れを抑制することができるため、水滴の検出精度を向上させることができる。

また、記憶部３Ｂに、夜間および昼間のそれぞれにおいて各画素におけるエッジ量の分布や平均値等の統計学的な値をそれぞれ記憶しておく。そして、変換部２３Ｂは、かかる統計学的な値と抽出したエッジ量を比較することで夜間と昼間とを判別して抽出範囲Ｗを設定することもできる。

これにより、周囲の状況にあわせて抽出範囲Ｗを適切に設定することもできる。なお、制御部２Ｂに学習機能を備えることとし、制御部２Ｂによってかかる統計学的な値を導出することにしてもよい。

次に、図１１Ａおよび図１１Ｂを用いて変換部２３Ｂによる処理について説明する。図１１Ａは、エッジのベクトルを示す図である。図１１Ｂは、パラメータ情報３１Ｂの一例を示す図である。

なお、図１１Ａでは、Ｘ軸方向およびＹ軸方向におけるエッジ強度を示す。上記したように、変換部２３Ｂは、抽出部２２から入力されるＸ軸方向のエッジ強度およびＹ軸方向のエッジ強度に基づいて各画素のベクトルを算出する。

具体的には、Ｘ軸方向およびＹ軸方向のエッジ強度に基づき、三角関数を用いることで、各画素のベクトルを算出する。以下では、同図に示す算出したベクトルと、正方向側のＸ軸との成す角度θを、エッジ向きといい、ベクトルの長さＬを各画素のエッジ強度という。なお、かかるエッジ強度については、第３の実施形態にて用いられる。

なお、変換部２３Ｂは、全ての画素についてエッジ向きを算出する必要はなく、優先度の低い領域については、所定間隔の画素ごとにエッジ向きを算出するなど、処理を簡略化することにしてもよい。

続いて、変換部２３Ｂは、図１１Ｂに示すパラメータ情報３１Ｂを用いて算出したエッジ向きをパラメータ化する。ここでは、変換部２３Ｂが、１２色相環の色ベクトルを用いてエッジ向きをパラメータ化する場合について説明する。

ここで、色ベクトルとは、ＲＧＢの色要素に応じて規定されるベクトルであり、ＲＧＢから成る３成分の各パラメータを有する。

なお、１２色相環において各パラメータは、レッド、グリーン、ブルーがそれぞれ１０進数で表記すれば、「０」、「１２８」あるいは「１２７」、および「２５５」の３つの値で表される。ここで、１２色相環において、補色の関係にあるＲＧＢの各値は、１６進数等の２進数表記で、１の補数の関係になる。

すなわち、第２の実施形態に係る変換部２３Ｂでは、対向する角度範囲同士のＲＧＢのそれぞれの値が１の補数の関係を満たすパラメータを用いて各画素を変換する。なお、かかるパラメータは、厳密に１の補数の関係を満たす必要はなく、所定の誤差を許容するものとする。

具体的には、変換部２３Ｂは、算出したエッジ向きに対応する角度範囲のＲＧＢのパラメータを画素に割り当てる。例えば、エッジ向きが７５°から１０５°の角度範囲となる場合、かかるエッジ向きのパラメータは、水色に対応するＲＧＢ（０、２５５、２５５）のパラメータが割り当てられる。

また、エッジ向きが、かかる角度範囲と対向する－７５°から－１０５°の角度範囲に存在する場合、水色の補色である赤色に対応するＲＧＢ（２５５、０、０）が割り当てられることとなる。

また、変換部２３Ｂは、エッジ量が抽出範囲Ｗから外れた画素に対して白色に対応するＲＧＢ（２５５、２５５、２５５）のパラメータを用いる。

このように、第２の実施形態に係る付着物検出装置１Ｂでは、対向するエッジ向き同士が１の補数の関係となるパラメータを用いて各画素を変換する。これにより、対向するエッジ向きの違いを鮮明にすることができる。

また、１２色相環の色ベクトルを用いることで、エッジ向きに対応する各角度範囲の違いを鮮明にすることが可能となる。このため、マッチング部２４Ｂによる認識精度を向上させることができる。

また、第２の実施形態に係る付着物検出装置１Ｂでは、エッジ強度によらず、エッジ向きが近ければ、同一のパラメータが割り当てられる。このため、縁のぼやけた水滴すなわち、エッジ強度が弱い水滴であっても、エッジ強度が強い水滴と同等の精度で検出することが可能となる。

これらのことより、第２の実施形態に係る付着物検出装置１Ｂでは、従来では検出が困難であったエッジ強度の弱い水滴、すなわち、カメラ画像にぼやけて写る水滴であっても精度よく検出することが可能となる。

また、変換部２３Ｂが参照するテーブルは、図１１Ｂに示す例に限られず、例えば、１２色のほか、２４色など角度範囲をより細かく分割することにしてもよいし、あるいは、９色など角度範囲をより大きく分割することにしてもよい。

また、ＲＧＢに限らず、例えば、パラメータとして行列を用いるなど、反対のエッジ向き同士が１の補数の関係を満たす他のパラメータを用いることにしてもよい。

次に、図１２を用いて第２の実施形態に係るテンプレートについて説明する。図１２は、第２の実施形態に係るテンプレートの模式図である。なお、同図では、説明を簡単にするため、テンプレートを簡略化して示す。

同図に示すように、第２の実施形態に係るテンプレートでは、水滴を模擬する円が複数の扇状の領域に分割される。そして、扇状の各領域には、円の中心について対向する領域の値が１の補数となる上記した角度範囲に対応するパラメータが割り当てられる。

また、同図のａに示すように、水滴の特徴を示す領域以外には、白色と灰色を示すＲＧＢのパラメータが割り当てられる。具体的には、テンプレートの中央部には白色に対応するＲＧＢ（２５５、２５５、２５５）のパラメータが割り当てられ、水滴の外部には、灰色に対応するＲＧＢ（１２８、１２８、１２８）のパラメータが割り当てられる。

なお、水滴の中央部および外部の各領域のパラメータは、一例であって、他の色に対応するパラメータを割り当てることとしてもよい。

また、同図のｂに示すように、全ての領域に中央部から放射状に各パラメータが割り当てられたテンプレートを用いることもできる。かかるテンプレートは、厚みが薄く、カメラ画像にぼやけて写る水滴を検出する場合に有効である。

また、同図のｃに示すように、テンプレートの中心部の白色の領域を大きくすることにしてもよい。かかるテンプレートを用いた場合、エッジが明るく輝く水滴を効率よく検出することができる。また、同図のｄに示すように、水滴を示す形状は楕円形状であってもよい。

このように、第２の実施形態に係る付着物検出装置１Ｂでは、反対のエッジ向き同士が１の補数の関係にあるパラメータに変換されたグレースケール画像に対して、かかるパラメータで水滴を示すテンプレートを用いる。

このため、各画素およびテンプレートのそれぞれで各エッジ向きの違いが鮮明となり、マッチング部２４Ｂによる認識精度を向上させることが可能となる。

また、第２の実施形態に係る付着物検出装置１Ｂは、図４のｂ～ｅで既に説明したように、半弧状のテンプレートを用いることにしてもよい。かかる場合に、図５で既に説明したように、走査位置に応じた部分形状の水滴を示すマッチング処理を行うこともできる。

なお、第２の実施形態に係る付着物検出装置１Ｂでは、端部から中央に向けて輝度が大きくなる場合、すなわち、エッジ向きが端部から中央を向く場合の水滴の特徴を示すテンプレートを用いてマッチング処理を行う。

しかしながら、これに限らず、中央から端部に向けて輝度が大きくなる場合、すなわち、エッジ向きが中央から端部を向く場合の水滴の特徴を示すテンプレートを用いることにしてもよい。

次に、図１３を用いて検出部２５Ｂによる検出処理について説明する。図１３は、検出閾値の具体例を示す図である。なお、同図の横軸は、類似度の値を示す。

上記したように、第２の実施形態に係る付着物検出装置１Ｂでは、テンプレートとの類似度が－１から＋１の値で算出される。ここで、類似度が＋１に近い場合は、テンプレートと類似していることを示す。すなわち、端部から中央に向かって輝度が大きくなる水滴と類似する。

また、類似度が－１に近い場合、テンプレートをいわゆるネガポジ反転させたものと類似していることを示す。すなわち、本実施例では、中央から端部に向かって輝度が大きくなる水滴を示す。

このため、図１３に示すように、第２の実施形態では、類似度に正と負の両方に検出閾値を設けることにしている。具体的には、同図に示すように、例えば、正の検出閾値を＋０．７とし、負の検出閾値を－０．８としている。

そして、検出部２５Ｂは、マッチング部２４Ｂから入力される類似度の値が正の検出閾値以上、すなわち、＋０．７以上である場合、または負の検出閾値以下、すなわち、－０．８以下である場合に、カメラ１０に水滴が付着していると判定する。

このように、第２の実施形態に係る付着物検出装置１Ｂでは、類似度の値に正および負の検出閾値を設ける。これにより、１種類のテンプレートを用いたマッチング処理によって、輝度が中央から端部に向かって大きくなる水滴および中央から端部に向かって輝度が大きくなる水滴の双方の水滴を検出することができる。

換言すると、処理負荷を維持しつつ、多様な水滴を検出することができる。なお、検出部２５Ｂは、図７Ａ～図７Ｄを用いて既に説明した処理を併用して水滴を検出することにしてもよい。

また、第２の実施形態に係る付着物検出装置１Ｂでは、上記したように正の検出閾値を負の検出閾値よりも絶対値が低い値に設定することにしている。これは、類似度が負の場合は、類似度が正の場合に比べて水滴の誤検出が多い傾向があるためである。

同図に示した検出閾値の各値は、一例であってこれに限定するものではない。例えば、正の検出閾値と、負の検出閾値との絶対値は、同じであってもよいし、正の検出閾値の絶対値を負の検出閾値の絶対値よりも大きくすることにしてもよい。

次に、図１４を用いて第２の実施形態に係る付着物検出装置１Ｂが実行する処理手順について説明する。図１４は、第２の実施形態に係る付着物検出装置１Ｂが実行する処理手順を示すフローチャートである。

ここで、第１の実施形態で既に説明したため、ステップＳ１０１、ステップＳ１０２については、説明を省略し、同図に示すステップＳ２０１から説明することとする。

まず、変換部２３Ｂは、抽出部２２から入力されるエッジ情報に基づいて各画素のエッジのベクトルを算出し（ステップＳ２０１）、図１１Ｂで説明したようにエッジ向きに基づいて各画素をパラメータ化する（ステップＳ２０２）。

続いて、マッチング部２４Ｂは、パラメータ化されたグレースケール画像とテンプレートとのマッチング処理を行う（ステップＳ２０３）。そして、検出部２５Ｂは、図１３に示した検出閾値に基づいて水滴を検出する（ステップＳ２０４）。

上述してきたように、第２の実施形態に係る付着物検出装置１Ｂは、各画素のエッジ向きに対応する１２色相環の各ＲＧＢのパラメータを用いることで、水滴を精度よく検出することができる。

また、第２の実施形態に係る付着物検出装置１Ｂは、一度のマッチング処理によって中央が輝く水滴と、端部が輝く水滴との双方の水滴を検出することができる。

（第３の実施形態）
次に、図１５～２０を用いて第３の実施形態に係る付着物検出装置１Ｃについて説明する。第３の実施形態に係る付着物検出装置１Ｃは、各画素のエッジの向きに応じて各画素を符号に変換し、正規表現を用いてマッチング処理を行うものである。

まず、図１５を用いて第３の実施形態に係る付着物検出装置１Ｃの構成について説明する。図１５は、第３の実施形態に係る付着物検出装置１Ｃのブロック図である。

図１５に示すように、第３の実施形態に係る付着物検出装置１Ｃは、制御部２Ｃと、記憶部３Ｃとを備える。制御部２Ｃは、図２に示した変換部２３、マッチング部２４および検出部２５に代えて変換部２３Ｃ、マッチング部２４Ｃおよび検出部２５Ｃを備える。また、記憶部３Ｃは、符号情報３１Ｃ、テンプレート情報３２Ｃおよび検出情報３３Ｃを記憶する。

なお、ここでは、画像取得部２１および抽出部２２については、図２および図９を用いて既に説明したため省略し、変換部２３Ｃから説明することとする。

変換部２３Ｃは、抽出部２２から入力される各画素のＸ軸方向およびＹ軸方向のエッジ強度に基づいて各画素のエッジのベクトルを算出し、エッジ向きをそれぞれ符号化する。かかるベクトルの算出方法については既に図１１Ａで説明したため、ここでの説明は省略する。

そして、変換部２３Ｃは、各画素を符号化したグレースケール画像をマッチング部２４Ｃに出力する。ここで、第３の実施形態に係る付着物検出装置１Ｃでは、例えば、複数の画素におけるエッジの代表値を求め、かかる代表値を符号化することにしている。この点の詳細については、図１６Ａおよび１６Ｂを用いて後述する。

マッチング部２４Ｃは、変換部２３Ｃから入力される符号化されたグレースケール画像と水滴の特徴を示す符号パターンとの正規表現を用いたマッチング処理を行う。ここで、正規表現とは、符号列の集合を一つの符号で表したものである。

マッチング部２４Ｃは、正規表現を用いてマッチング処理を行うため、例えば、上記したような類似度の算出など煩雑な処理を必要としない。このため、処理負荷を抑えつつ、水滴を検出することができる。

なお、水滴の特徴を示す符号パターンは、テンプレート情報３２Ｃに記憶される。また、かかる符号パターンの詳細については、図１７Ａを用いて後述する。また、マッチング部２４Ｃによる処理の詳細については、図１７Ｂを用いて後述する。

検出部２５Ｃは、マッチング部２４Ｃが抽出した符号パターンに基づいてカメラ１０に付着した水滴を検出する。なお、検出部２５Ｃによる検出処理については、図１８および１９を用いて後述する。

次に、図１６Ａおよび図１６Ｂを用いて変換部２３Ｃによる符号化処理について説明する。図１６Ａおよび図１６Ｂは、変換部２３Ｃによる処理を説明する図である。

まず、図１６Ａを用いて代表値を算出する画素について説明する。ここでは、８×８ピクセルの画素をセルといい、３×３セルをブロックという。また、ブロックの中央のセルを注目セルという。

変換部２３Ｃは、ブロックごとに各画素のエッジ向きおよびエッジ強度を示すヒストグラムを作成する。かかるヒストグラムについては、図１６Ｂを用いて説明する。ここで、変換部２３Ｃは、注目セルにおける中央の座標のエッジ向きをブロックにおけるヒストグラムから導出する。

そして、変換部２３Ｃは、１つのブロックにおいて注目セルの代表値を導出すると、ブロックを１つのセル分ずらしてヒストグラムを作成し、かかるブロックにおける注目セルの代表値を算出していく。

つまり、第３の実施形態に係る付着物検出装置１Ｃでは、複数の画素ごとに代表値を算出することで、データ量を削減することができる。このため、マッチング部２４Ｃによるマッチング処理を簡略化することができる。なお、同図に示す例では、セルが８×８ピクセルであるため、データ量は１／６４に削減されることとなる。

なお、図１６Ａに示したブロックおよびセルのピクセル数は一例であって、セルおよびブロックのピクセル数は、任意に設定することができる。この際、検出したい水滴の大きさに応じて各セルのピクセル数を変更することもできる。

例えば、小さい水滴を検出したい場合、セルのピクセル数を少なく設定し、大きい水滴を検出したい場合は、セルのピクセル数を多く設定する。これにより、検出したい大きさの水滴を効率よく検出することができる。

また、変換部２３Ｃは、単にセルごとにヒストグラムを作成し、かかるヒストグラムに基づいて各セルの代表値を算出することにしてもよい。なお、変換部２３Ｃは、代表値を算出せず、全ての画素を符号化することにしてもよい。

次に、図１６Ｂを用いてヒストグラムについて説明する。なお、同図では、縦軸にエッジ強度を示し、横軸にエッジ向きの階級を示す。同図に示すように、第３の実施形態に係る付着物検出装置１Ｃでは、例えば、エッジ向きを２０°ごとに１８段階の各階級に割り当ててヒストグラムを作成する。

具体的には、変換部２３Ｃは、ブロック内の各画素のエッジ強度をエッジ向きに対応する階級に加算していくことで、ブロックにおけるヒストグラムを作成する。続いて、変換部２３Ｃは、作成したヒストグラムからエッジ強度の和が最大となる階級を求める。

同図に示す例では、８０～１００°の階級が最大の値をとる場合を示している。このとき、変換部２３Ｃは、かかる階級においてエッジ強度の和が閾値以上である場合に、かかる階級を代表値とする。

同図に示す例では、８０～１００°の階級においてエッジ強度の和が閾値を超えているため、上記の条件を満たす。このため、かかるブロックにおける注目セルの階級は、８０～１００°となる。

続いて、変換部２３Ｃは、注目セルを階級に応じて割り当てられた符号に変換する。ここで、各階級には、０～９およびＡ～Ｈの１８種類の符号がそれぞれ割り当てられる。なお、０～９およびＡ～Ｈは、０°から３６０°まで２０度刻みの各階級に割り当てられる符号である。また、代表値が閾値を超えなかった場合、すなわち、エッジ強度が低いセルには、Ｚの符号が割り当てられる。

このようにして、変換部２３Ｃは、全てのセルについて符号化を行う。これにより、符号化されたグレースケール画像において、符号が格子状に配列されることとなる。なお、変換部２３Ｃは、上記した代表値を算出する以外に、他の統計学的な算出方法を用いて代表値を算出することにしてもよい。

また、同図では、エッジ向きを１８階級に分類する場合について説明したが、これに限られず、１８階級より少なくする、あるいは、多くすることにしてもよい。また、同図では、符号がＡ～ＨおよびＺである場合を示したが、符号として、平仮名や数字など、他の文字、または図形等を用いることにしてもよい。

また、変換部２３Ｃは、例えば、一つのブロックで閾値を超える複数の階級が存在した場合、かかる複数の階級に対応する符号をグレースケール画像に関連付けてマッチング部２４Ｃに出力することにしてもよい。

換言すると、変換部２３Ｃは、複数のエッジ向きの情報をグレースケール画像に関連付けることにしてもよい。かかる場合、水滴を検出するためのデータ量が増えるため、より精密に水滴を検出することが可能となる。

次に、図１７Ａおよび１７Ｂを用いて第３の実施形態に係るマッチング部２４Ｃによる処理について説明する。図１７Ａは、第３の実施形態に係るテンプレートの一例を示す模式図である。図１７Ｂは、マッチング部２４Ｃによるマッチング処理の一例を示す図である。

なお、図１７Ａでは、視覚的に分かりやすくするために、テンプレートを上記した符号ではなく、実際のエッジ向きを模式的に示す。図１７Ａに示すように、第３の実施形態に係る付着物検出装置１Ｃでは、テンプレートして水滴の特徴を示す符号列である符号パターンを有する。具体的には、例えば、上辺パターン、下辺パターン、左辺パターン、右辺パターンを有する。

ここで、同図に示す各辺のパターンは、水滴を内包または水滴を外包する矩形の各辺を示す。また、同図では、各辺のパターンのエッジ向きが、それぞれ中央に向かう場合について示している。この場合、水滴の輝度が端部から中央に向けて大きくなる、すなわち、中央が明るく端部が暗い水滴の特徴を示す。

なお、第３の実施形態に係る付着物検出装置１Ｃは、水滴の輝度が中央から端部にかけて大きくなる、すなわち、中央が暗く端部が明るい水滴の特徴を示す各辺のパターンを備えることにしてもよい。このようにすることで、多様な水滴を検出することが可能となる。

なお、同図では、上下左右の４方のパターンを例示したが、斜め方向を含むパターンを用いることもできる。このようにすることで、水滴の検出精度を向上させることができる。

また、水滴の特徴を示す符号列は、例えば、弧状に配列された各符号の並びであってもよい。また、マッチング部２４Ｃは、各辺のパターンに応じて正規表現を行う領域を限定することにしてもよい。

次に、図１７Ｂを用いてマッチング部２４Ｃによるマッチング処理について説明する。なお、ここでは、説明の便宜上、図１７Ａに示した上辺パターンをそれぞれＡ～Ｆの符号を用いて示す。また、同図のａおよびｂには、変換部２３Ｃによって符号化されたグレースケール画像の一部を模式的に示す。

同図のａに示すように、マッチング部２４Ｃは、符号パターンがＡ～Ｆの順に順序良く並んでいれば、かかる符号パターンを上辺パターンと一致すると判定する。

具体的には、マッチング部２４Ｃは、同図のａに示すように、例えば、Ａが３回、Ｂ、Ｃ、ＤおよびＥがそれぞれ２回、そして、Ｆが３回など繰り返される配列を上辺パターンの各符号の配列順序を満たせば、上辺パターンとして抽出することにしている。

これは、水滴の大きさに応じて符号の繰り返し回数が異なるためである。すなわち、水滴が大きいほど、各符号列の長さが多くなるためである。このように、かかる符号の繰り返しを許容することで、１回のマッチング処理で、大きさが異なる複数の水滴を示す符号列を抽出することができる。

したがって、処理負荷を軽減しつつ、水滴を検出することができる。なお、マッチング部２４Ｃは、水滴の大きさに応じて符号列の長さが異なる複数の各辺のパターンを用意し、全てのかかるパターンを用いて符号列を抽出することにしてもよい。

また、水滴は一般的に球状となるため、各符号の繰り返しの回数は、中心から線対称状となるはずである。このため、マッチング部２４Ｃは、抽出した符号列の中で、バランスが悪い符号列を除外することにしている。

具体的には、同図のｂに示すように、マッチング部２４Ｃは、例えば、両端に位置するＡとＦとのバランスを精査する。ここで、同図では、Ａが３回繰り返され、Ｆが１０回繰り返される場合を示している。

このとき、マッチング部２４Ｃは、ＡおよびＦの個数が２倍以上異なる場合に、配列順序を満たす場合であっても、かかる符号列パターンを除外することにしている。このようにすることで、水滴以外の不要な符号パターンの誤抽出を防ぐことができ、水滴の誤検出を抑えることができる。

また、マッチング部２４Ｃでは、例えば、抽出した符号列が閾値より長い場合、かかる符号列をマッチングから除外することもできる。これは、符号列が長い場合、水滴である可能性が低いためである。このため、水滴の誤検出を抑えることができる。なお、かかる閾値は、統計等によって最適な値を予め導出しておくものとする。

次に、図１８を用いて第３の実施形態に係る検出部２５Ｃによる検出処理について説明する。図１８は、第３の実施形態に係る検出部２５Ｃによる検出処理を説明する図である。なお、同図では、図１７Ａと同様に、符号に代えて実際のエッジ向きを模式的に示す。

また、ここでは、マッチング部２４Ｃによって最初に上辺パターンが抽出された場合について説明する。まず、検出部２５Ｃは、上辺パターンの幅に基づき、略正方形状の検出領域Ｒ１を設定する。

続いて、マッチング部２４Ｃによって検出領域Ｒ１から逸脱した位置に右辺パターンが抽出されたものとする。このとき、検出部２５Ｃは右辺パターンの検出領域Ｒ２の中心座標が検出領域Ｒ１内にあれば、双方の検出領域Ｒ１およびＲ２を統合する処理を行う。

その後、検出部２５Ｃは、例えば、統合した検出領域Ｒ３において、下辺パターンまたは左辺パターンが抽出された場合、統合した検出領域Ｒ３において水滴を検出する。換言すると、検出部２５Ｃは、検出領域Ｒ３において異なる３方向以上の各辺を示すパターンが抽出されることを検出条件（以下、方向条件という）として水滴を検出することにしている。

なお、検出部２５Ｃは、かかる方向条件以外に、例えば、統合した検出領域Ｒ３において、各辺を示すパターンが所定回数（例えば、上下左右を含めて４回）以上抽出されたことを水滴の検出条件（以下、回数条件という）とすることにしてもよい。

このように、検出条件として、３方向以上の方向条件や回数条件とすることで、上下左右の全ての辺が抽出されなくとも水滴を検出することとなる。すなわち、カメラ画像から見切れる例えば、半円状の水滴を検出することができる。

なお、例えば、水滴を検出する領域に応じて方向条件を変更することにしてもよい。例えば、カメラ画像の中央の領域については、方向条件を４方向に設定する。これにより、水滴の検出精度を向上させることができる。

また、例えば、カメラ画像の４隅の領域については、方向条件を２回に設定する。これにより、カメラ画像の４隅に写る見切れた扇状の水滴を検出することが可能となる。

なお、同図では、上辺パターンの検出領域Ｒ１内に検出領域Ｒ２の中心座標がおさまる場合に、検出領域を統合する場合について示したが、これに限定されるものではない。すなわち、検出領域Ｒ１および検出領域Ｒ２の少なくとも一部が重なっていれば双方の検出領域を統合することにしてもよい。

また、統合した検出領域Ｒ３を、検出領域Ｒ１および検出領域Ｒ２の論理積とすることにしてもよいし、検出領域の論理和とすることにしてもよい。また、同図では、検出領域Ｒ１および検出領域Ｒ２が矩形状である場合を示したが、これに限られず、検出領域を円形状など他の形状とすることにしてもよい。

なお、検出部２５Ｃは、図７Ｄで既に説明したように、複数フレームにおける検出結果に基づいて水滴を検出することにしてもよい。

次に、図１９を用いて検出部２５Ｃによる検出条件の除外処理について説明する。図１９は、検出条件から除外する条件を示す図である。また、同図には、グレースケール画像の一部を拡大し、エッジ向きを模式的に示す。

なお、同図に示す長さａ１は、長さａ２の例えば、１．５倍である。すなわち、長さａ２は、長さａ１の２／３の値となる。ここで、例えば、グレースケール画像の左２／３の領域（同図に示す破線より左側の領域）には、カメラ１０に水滴が付着していなくても左辺パターンが抽出されやすい傾向がある。

このため、検出部２５Ｃは、かかる領域において複数個の左辺パターンが抽出され、他の辺を示すパターンが抽出されなかった場合、上記した回数条件を満たす場合であっても、例外的に検出対象から除外する。

これにより、水滴の誤検出を抑えることができる。なお、ここでは、左辺パターンを例に挙げて説明したが、他の辺のパターンについても同様である。

次に、図２０を用いて第３の実施形態に係る付着物検出装置１Ｃが実行する処置手順について説明する。図２０は、第３の実施形態に係る付着物検出装置１Ｃが実行する処理手順を示すフローチャートである。ここでは、ステップＳ１０１およびステップＳ１０２については、既に説明したため省略し、同図に示すステップＳ３０１から説明する。

まず、変換部２３Ｃは、抽出部２２によって抽出されたエッジ情報に基づいて図１６Ａおよび図１６Ｂに示したようにヒストグラムを作成し代表値を算出する（ステップＳ３０１）。その後、変換部２３Ｃは、セルごとに代表値を符号化する符号化処理を行う（ステップＳ３０２）。

続いて、マッチング部２４Ｃは、符号化されたグレースケール画像に正規表現を用いてマッチング処理を行う（ステップＳ３０３）。そして、検出部２５Ｃは、図１８に示したように水滴を検出する（ステップＳ３０４）。

上述してきたように、第３の実施形態に係る付着物検出装置１Ｃでは、各画素を符号化し、正規表現を用いてマッチング処理を行う。これにより、マッチング処理を簡略化して行うことができる。つまり、処理負荷を抑えつつ、精度よく水滴を検出することができる。

また、第３の実施形態に係る付着物検出装置１Ｃでは、マッチング処理に正規表現を用いることにより、大きさの異なる水滴や、カメラ画像から見切れる水滴の検出精度を向上させることができる。

なお、第１～第３の実施形態に係る付着物検出装置１、１Ｂおよび１Ｃを適宜組み合わせて用いることもできる。例えば、図１６Ａに示した代表値の算出方法を第１および第２の実施形態に用いることにしてもよい。

また、第１～第３の実施形態に係る付着物検出装置１、１Ｂおよび１Ｃでは、水滴を検出する目的に応じて、カメラ１０からカメラ画像を取得するフレーム間隔を変更することもできる。例えば、車両の後進時に、カメラ画像を運転者に提示する場合、できるだけ早く水滴を検知する必要がある。

このため、かかる場合に、カメラ１０によって撮像されたフレームを全て取得し、かかる全てのフレームから水滴を検出する。一方、例えば、検出目的が自動駐車等のセンシング用途である場合、例えば、数フレーム毎にカメラ画像を取得することにしてもよい。

また、かかる場合に、１フレーム毎にリアカメラ→フロントカメラ→右カメラ→左カメラなどカメラ画像を取得するカメラ１０を切り替えて取得することにしてもよい。

また、第１～第３の実施形態に係る付着物検出装置１、１Ｂおよび１Ｃでは、カメラ画像の解像度を変更して水滴の検出処理を行うことにしてもよい。例えば、解像度を落として水滴の検出を行う場合、検出処理の処理負荷を軽減することができる。なお、かかる解像度を水滴の検出目的に応じて変更することもできる。

（第４の実施形態）
次に、第４の実施形態として、これまで説明してきた付着物検出装置１、１Ｂおよび１Ｃの機能を含んで構成され、付着物の検出から付着物を除去するまでの全体処理を制御する除去制御装置５０の構成について、図２１～図２５を用いて説明する。

図２１は、本実施形態に係る付着物除去システム１００のブロック図である。なお、図２１では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２１に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図２２Ａは、付着物検出部６１からの通知内容の一例を示す図である。また、図２２Ｂは、検出情報ＤＢ（データベース）７１に含まれる検出エリアＤａに関するデータ内容の一例を示す図である。また、図２２Ｃは、検出エリアＤａの状態の説明図である。

図２１に示すように、付着物除去システム１００は、カメラ１０と、付着物除去装置１１と、除去制御装置５０とを含む。カメラ１０および付着物除去装置１１については既に述べたため、ここでの説明を省略する。

除去制御装置５０は、制御部６０と、記憶部７０とを備える。制御部６０は、複数の付着物検出部６１と、除外部６２と、アルゴリズム間重なり判定部６３と、フレーム間重なり判定部６４と、付着判定部６５と、除去要否判定部６６と、指示部６７とを備える。

記憶部７０は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、検出情報ＤＢ７１を記憶する。

制御部６０は、除去制御装置５０全体を制御する。複数の付着物検出部６１は、それぞれカメラ１０からカメラ画像を１フレーム分ずつ取得し、それぞれに対応付けられた検出アルゴリズムを用いてカメラ画像の中から付着物が存在すると推定される検出エリアＤａを抽出する。また、付着物検出部６１は、抽出した検出エリアＤａを除外部６２へ通知する。

ここで、付着物検出部６１からの通知内容には、図２２Ａに示すように、例えば矩形で抽出された検出エリアＤａの左上座標（ｘ，ｙ）と、幅ｗと、高さｈとが含まれる。

除外部６２は、付着物検出部６１から通知される検出エリアＤａのそれぞれについて画像解析を行い、かかる検出エリアＤａに存在すると推定される付着物が本当に付着物であるか否かを判定する。

また、除外部６２は、その判定結果により付着物であると判定される検出エリアＤａについては、かかる検出エリアＤａをアルゴリズム間重なり判定部６３へ通知する。一方、除外部６２は、その判定結果により付着物でないと判定される検出エリアＤａについては、アルゴリズム間重なり判定部６３への通知を行わず、後段の処理対象から除外する。このように、無用の画像領域を除外することにより、付着物の検出の精度を高められるとともに、後段の処理負荷を軽減することができる。

例えば、除外部６２は、検出エリアＤａのエッジ強度、輝度および彩度のそれぞれにつき、「弱」、「中」、「強」の３階級で分類されたヒストグラムを生成する。そして、除外部６２は、生成した各ヒストグラムにおける階級それぞれの度数の割合に基づいて付着物であるか否かを判定し、付着物でないと判定される検出エリアＤａを除外する。

アルゴリズム間重なり判定部６３は、現フレームでの複数アルゴリズム間での検出エリアＤａの重なり、すなわち、付着物検出部６１のそれぞれで抽出された検出エリアＤａ間の重複部分の存否を判定する。また、アルゴリズム間重なり判定部６３は、その判定結果を各検出エリアＤａの「得点」として反映する。反映結果は、検出情報ＤＢ７１上で管理される。アルゴリズム間重なり判定部６３が実行する判定処理の詳細については、図２３Ａ～図２３Ｄを用いて後述する。

フレーム間重なり判定部６４は、現フレームに関するアルゴリズム間重なり判定部６３の処理結果すべてに対し、過去フレームで抽出済みである検出エリアＤａとの重なりの存否を判定する。また、フレーム間重なり判定部６４は、その判定結果を各検出エリアＤａの「得点」および「状態」に反映する。反映結果は、検出情報ＤＢ７１上で管理される。

ここで、検出情報ＤＢ７１は、図２２Ｂに示すように、例えば「検出エリアＩＤ」項目と、「エリア情報」項目と、「得点」項目と、「状態」項目とを含む。「検出エリアＩＤ」項目には、検出エリアＤａの識別子が格納され、検出情報ＤＢ７１は、かかる検出エリアＩＤごとに管理される。

「エリア情報」項目には、図２２Ａで示した検出エリアＤａの左上座標（ｘ，ｙ）や、幅ｗ、高さｈなどが格納される。「得点」項目には、検出エリアＤａそれぞれの現状の得点が格納される。「状態」項目には、検出エリアＤａそれぞれの現状の状態（ステート）が格納される。

図２２Ｃにステートマシン図として示すように、各検出エリアＤａは、「ＩＤＬＥ」、「潜伏」、「観察」、「ペナルティ」という４つの状態に遷移し得る。「ＩＤＬＥ」は、「未検出状態」、すなわち付着物が付着していない状態を指す。「潜伏」は、「付着物付着の可能性あり」の状態を指す。

「観察」は、付着物除去装置１１による付着物の除去動作が行われた「除去処理後の観察状態」を指す。「ペナルティ」は、「除去処理後も当該エリアで付着物が検出され続けている状態」、すなわち、除去不良か誤検出の状態を指す。

フレーム間重なり判定部６４は、判定した判定結果に応じ、検出情報ＤＢ７１上で各検出エリアＤａの「得点」を更新し、「状態」を遷移させる。

図２１の説明に戻る。付着判定部６５は、検出情報ＤＢ７１の検出エリアＤａの「状態」と「得点」に応じ、付着物の「付着確定」を判定する。

除去要否判定部６６は、付着判定部６５によって「付着確定」と判定された場合に、実際に付着物除去装置１１に付着物の除去動作を行わせるか否かを判定する。フレーム間重なり判定部６４、付着判定部６５および除去要否判定部６６が実行する処理の詳細については、図２４Ａ～図２４Ｅを用いて後述する。

指示部６７は、除去要否判定部６６によって、付着物の除去が必要と判定された場合に、付着物除去装置１１に除去動作を行わせる指示信号を生成して、かかる指示信号を付着物除去装置１１へ送出する。

次に、アルゴリズム間重なり判定部６３が実行する判定処理の詳細について、図２３Ａ～図２３Ｄを用いて説明する。図２３Ａ～図２３Ｄは、アルゴリズム間重なり判定部６３の処理説明図（その１）～（その４）である。

上でも既に述べたが、図２３Ａに示すように、アルゴリズム間重なり判定部６３は、現フレームでの複数アルゴリズム間での検出エリアＤａの重なりの存否を判定する。具体的には、図２３Ａに示すように、例えば付着物検出アルゴリズム－１の検出エリアＤａ－１のすべてと、付着物検出アルゴリズム－２の検出エリアＤａ－２のすべてとの重なりを判定する。これは、付着物検出アルゴリズム－１と付着物検出アルゴリズム－３との間、または、付着物検出アルゴリズム－２と付着物検出アルゴリズム－３との間についても同様である。

なお、図２３Ｂに示すように、例えば検出エリアＤａ－１と検出エリアＤａ－２との重なりは、それぞれの重心からの距離ｄによって判定される。

そして、図２３Ｃに示すように、アルゴリズム間重なり判定部６３は、例えば検出エリアＤａ－１と検出エリアＤａ－２との間に重なりがあると判定した場合に、検出エリアＤａ－１および検出エリアＤａ－２それぞれの得点に加点する。

これにより、重なりが存在しない検出エリアＤａに対し、重なりが存在する検出エリアＤａ－１および検出エリアＤａ－２の方が、付着物の存在する可能性が高いことを示すことができる。

また、図２３Ｄに示すように、例えば検出エリアＤａ－１および検出エリアＤａ－２に重なりが存在する場合に、アルゴリズム間重なり判定部６３は、これら検出エリアＤａ－１および検出エリアＤａ－２のエリア情報を更新する。

例えば図２３Ｄの（ａ）に示すように、検出エリアＤａ－１を優先して、検出エリアＤａ－１にエリア情報を統合する。また、図２３Ｄの（ｂ）に示すように、逆に検出エリアＤａ－２を優先して、検出エリアＤａ－２にエリア情報を統合する。

また、図２３Ｄの（ｃ）に示すように、論理積をとって、重なり部分のみの検出エリアＤａ－Ａにエリア情報を統合する。また、図２３Ｄの（ｄ）に示すように、検出エリアＤａ－１および検出エリアＤａ－２の論理和に対応する検出エリアＤａ－Ｓにエリア情報を統合してもよい。

また、図２３Ｄの（ｅ）に示すように、検出エリアＤａ－１および検出エリアＤａ－２のいずれをも含むように拡張した検出エリアＤａ－Ｅにエリア情報を統合してもよい。

次に、フレーム間重なり判定部６４、付着判定部６５および除去要否判定部６６が実行する処理の詳細について、図２４Ａ～図２４Ｅを用いて説明する。図２４Ａ～図２４Ｃは、フレーム間重なり判定部６４の処理説明図（その１）～（その３）である。

また、図２４Ｄは、フレーム間重なり判定部６４および付着判定部６５の処理説明図である。また、図２４Ｅは、除去要否判定部６６の処理説明図である。

上でも既に述べたが、図２４Ａに示すように、フレーム間重なり判定部６４は、現フレームに関するアルゴリズム間重なり判定部６３の処理結果すべてに対し、過去フレームで抽出済みである各検出エリアＤａとの重なりの存否を判定する。

具体的には、図２４Ｂに示すように、現フレームの検出エリアＤａ－Ｃのすべてと、過去フレームの検出エリアＤａ－Ｐのすべてとの重なりを判定する。なお、重なりについての考え方は、アルゴリズム間重なり判定部６３の場合と同様であってよい。

そして、図２４Ｂに示すように、フレーム間重なり判定部６４は、現フレームの検出エリアＤａ－Ｃと過去フレームの検出エリアＤａ－Ｐとの間に重なりがあると判定した場合に、検出エリアＤａ－Ｃおよび検出エリアＤａ－Ｐそれぞれの得点に加点する。

これにより、フレーム間重なり判定部６４は、例えば、フレームを隔ててなおカメラ１０のほぼ同一の領域に存在する付着物を示すことができる。

一方、図２４Ｃに示すように、フレーム間重なり判定部６４は、過去フレームの検出エリアＤａ－Ｐにつき、現フレームの検出エリアＤａ－Ｃのいずれとも重なりが存在しないものについては、得点を減点する。

また、フレーム間重なり判定部６４は、現フレームの検出エリアＤａ－Ｃにつき、過去フレームの検出エリアＤａ－Ｐのいずれとも重なりが存在しないものについては、新規の検出エリアＤａであるとして、検出情報ＤＢ７１へ新規登録する。

新規登録される検出エリアＤａは、図２４Ｄに示すように、「潜伏」状態となり、所定の得点を付与される。そして、かかる「潜伏」状態から、前述の「加点」や「減点」を経ることで変化する検出エリアＤａの得点に応じ、フレーム間重なり判定部６４および付着判定部６５は、検出エリアＤａの状態を遷移させる。

例えば、図２４Ｄに示すように、フレーム間重なり判定部６４は、「潜伏」状態にある検出エリアＤａの得点が所定点以下となった場合、かかる検出エリアＤａの状態を「潜伏」から「ＩＤＬＥ」へ遷移させる（ステップＳ１１）。これにより、例えば流れ落ちるなどして移動し、除去するまでもない雨滴等の付着物に対し、除去処理を行ってしまう誤反応を防止することができる。

また、「潜伏」状態にある検出エリアＤａの得点が所定点以上となった場合、付着判定部６５は、当該エリアに対する付着物の付着を確定（付着確定）させる（ステップＳ１２）。

また、付着判定部６５は、付着確定後、「潜伏」状態にあるすべての検出エリアＤａを「観察」状態へ遷移させる（ステップＳ１３）。これは、仮に１つの検出エリアＤａの付着確定に応じて除去処理が行われた場合、付着確定されていなかった「潜伏」状態の他の検出エリアＤａについても、通常であれば付着物は除去されたと推定されるためである。

なお、フレーム間重なり判定部６４は、除去処理が行われて「観察」状態にある検出エリアＤａの得点が所定点以上となった場合、検出エリアＤａを「ペナルティ」状態へ遷移させる（ステップＳ１４）。これにより、除去処理後も付着物が検出され続けている除去不良または誤検出を把握することができる。

また、フレーム間重なり判定部６４は、「観察」状態または「ペナルティ」状態にある検出エリアＤａの得点が所定点以下となった場合、検出エリアＤａを「ＩＤＬＥ」状態へ遷移させる（ステップＳ１５）。

なお、図２４Ｄにおいて「加点」および「減点」を示している矢印の傾きを調整することによって、付着確定までの反応速度を制御してもよい。例えば加点量および減点量を大きくして上記矢印の傾きを急にすることによって、付着物の検出から除去処理までの反応速度を上げることができる。

また、付着確定がなされた検出エリアＤａであっても、あえて除去動作を行わないようにしてもよい。例えば、除去要否判定部６６は、図２４Ｅに示すように、付着確定がなされた検出エリアＤａが、画面の外周にほぼ沿ったスキップ領域に存在するならば、除去処理の実行を不要と判定することができる。

このように、搭乗者の視認や運転動作に影響の少ない画像領域に付着した付着物についてはその除去処理自体をスキップすることで、システム全体の処理負荷を軽減することができる。

次に、本実施形態に係る付着物除去システム１００が実行する処理手順について、図２５を用いて説明する。図２５は、付着物除去システム１００が実行する処理手順を示すフローチャートである。

まず、複数の付着物検出部６１が、それぞれ１フレーム分のカメラ画像を取得する（ステップＳ４０１）。そして、例えば付着物検出部６１ａは、付着物検出アルゴリズム－１を用いて検出エリアＤａ－１を抽出する（ステップＳ４０２）。

また、例えば付着物検出部６１ｂは、付着物検出アルゴリズム－２を用いて検出エリアＤａ－２を抽出する（ステップＳ４０３）。また、例えば付着物検出部６１ｃは、付着物検出アルゴリズム－３を用いて検出エリアＤａ－３を抽出する（ステップＳ４０４）。

そして、除外部６２が、付着物検出部６１によって抽出され、通知される検出エリアＤａのそれぞれにつき、除外処理を行う（ステップＳ４０５）。すなわち、除外部６２は、検出エリアＤａに存在すると推定される付着物が本当に付着物であるか否かを判定し、付着物でなければ、これに対応する検出エリアＤａを後段の処理対象から除外する。

なお、かかる除外処理自体は、例えば省略されてもよい。これにより、システム全体に対する処理負荷を軽減することができる。

つづいて、アルゴリズム間重なり判定部６３が、アルゴリズム間重なり判定処理を行う（ステップＳ４０６）。すなわち、アルゴリズム間重なり判定部６３は、現フレームでの複数アルゴリズム間での検出エリアＤａの重なりの存否を判定し、その判定結果に応じて検出エリアＤａの得点を更新する。

そして、フレーム間重なり判定部６４が、フレーム間重なり判定処理を行う（ステップＳ４０７）。すなわち、フレーム間重なり判定部６４は、アルゴリズム間重なり判定部６３の処理結果すべてに対し、過去フレームで抽出済みである各検出エリアＤａとの重なりの存否を判定し、その判定結果に応じて検出エリアＤａの得点および状態を更新する。

そして、付着判定部６５が、付着判定処理を行う（ステップＳ４０８）。すなわち、付着判定部６５は、フレーム間重なり判定部６４によって更新された検出情報ＤＢ７１の検出エリアＤａの得点および状態に応じ、付着物の付着確定を判定する。

そして、除去要否判定部６６が、付着判定部６５によって「付着確定」と判定された場合に、実際に付着物除去装置１１による付着物の除去が必要か否かを判定する（ステップＳ４０９）。

ここで、「除去要」であると判定された場合（ステップＳ４０９，Ｙｅｓ）、指示部６７が、付着物除去装置１１へ指示信号を送出して、付着物除去装置１１に除去動作を行わせる除去処理を実行する（ステップＳ４１０）。一方、「除去要」でないと判定された場合（ステップＳ４０９，Ｎｏ）、指示部６７は、除去処理を実行しない。

そして、制御部６０が、処理終了イベントがあるか否かを判定する（ステップＳ４１１）。処理終了イベントは、例えばＩＧオフやＡＣＣオフなどに対応する。ここで、処理終了イベントがないと判定された場合（ステップＳ４１１，Ｎｏ）、ステップＳ４０１からの処理を繰り返す。また、処理終了イベントがあると判定された場合（ステップＳ４１１，Ｙｅｓ）、付着物除去システム１００は、処理を終了する。

上述してきたように、第４の実施形態では、複数の付着物検出アルゴリズムを用いてカメラ１０に付着した水滴を判定する。このため、水滴の誤検出を抑えるとともに、水滴の検出精度の信頼性を向上させることができる。

ところで、上述した実施形態では、付着物検出装置１、１Ｂおよび１Ｃが、カメラ画像Ｌの各画素の輝度の勾配をエッジ情報として抽出する場合について説明したが、これに限定されるものではない。

付着物検出装置１、１Ｂおよび１Ｃは、カメラ画像Ｌの各画素の彩度の勾配をエッジ情報として抽出し、かかるエッジ情報に基づいてカメラ１０に付着した水滴を検出することもできる。かかる場合に、付着物検出装置１、１Ｂおよび１Ｃは、カメラ１０に付着する泥や砂等が混じった濁った水滴を精度よく検出することが可能となる。

具体的には、例えば、付着物検出装置１、１Ｂおよび１Ｃの抽出部２２は、ＨＳＶ色空間に基づく場合、カメラ画像Ｌの各画素のＲ、Ｇ、Ｂの最大値をＩｍａｘ、最小値をＩｍｉｎとしたときに、彩度（Ｓ）＝（Ｉｍａｘ－Ｉｍｉｎ）／Ｉｍａｘにより彩度を抽出することができる。

また、ＨＳＬ色空間に基づく場合は、抽出部２２は、明度（Ｌ）＝（Ｉｍａｘ＋Ｉｍｉｎ）／２とし、Ｌ≦０．５のとき、彩度（Ｓ）＝（Ｉｍａｘ－Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）、Ｌ＞０．５のとき、彩度（Ｓ）＝（Ｉｍａｘ－Ｉｍｉｎ）／（２－Ｉｍａｘ－Ｉｍｉｎ）により彩度を抽出することができる。

続いて、第１の実施形態に係る変換部２３は、Ｘ軸方向およびＹ軸方向の彩度をそれぞれ２乗した後に加算した値を各画素の彩度に基づくエッジ量として算出する。そして、変換部２３は、かかるエッジ量と、図３に示したように２値化閾値ＴＨａとを比較することで、カメラ画像Ｌの各画素を２値化することができる。なお、かかる２値化閾値ＴＨａは、彩度用に最適化されたものを使用することができる。

その後、付着物検出装置１は、マッチング部２４および検出部２５による既に説明した処理を行うことで、カメラ１０に付着した濁った水滴を精度よく検出することができる。

また、第２の実施形態に係る変換部２３Ｂは、各画素の彩度に基づくエッジの向きを算出し、かかるエッジ向きに図１１Ａおよび図１１Ｂに示した３次元のパラメータを割り当てることにより、各画素をパラメータ化することができる。

続いて、マッチング部２４Ｂは、図１２に示したテンプレートを用いてマッチング処理を行う。このとき、濁った水滴であれば、彩度が中央に向けて大きくなる。このため、検出部２５Ｂは、マッチング部２４Ｂによって算出されたゼロ平均正規化相互相関の値が図１３に示した正の検出閾値を超える場合にのみ、濁った水滴を検出することができる。

すなわち、第２の実施形態に係る付着物検出装置１Ｂは、濁った水滴を検出する場合に、正の検出閾値のみを設定することで、濁った水滴の誤検出を抑制することができる。

また、第３の実施形態に係る変換部２３Ｃは、彩度の勾配の向きについて図１６Ａおよび図１６Ｂに示したようにカメラ画像Ｌの各画素を符号化する。そして、マッチング部２４Ｃは、正規表現を用いたマッチング処理により、水滴を示す符号列を抽出する。

そして、検出部２５Ｃは、マッチング部２４Ｃによって抽出された符号列に基づいてカメラ１０に付着した濁った水滴を検出する。このとき、上記したように、濁った水滴であれば、彩度が中央に向かって大きくなる。

このため、検出部２５Ｃは、マッチング部２４Ｃによって抽出された符号列に基づいて中央に向かって彩度が大きくなる符号列のパターンを検出することで、濁った水滴を精度よく検出することができる。

このように、付着物検出装置１、１Ｂおよび１Ｃは、エッジ情報として各画素の輝度に代えて、彩度を用いることで濁った水滴を精度よく検出することが可能となる。なお、付着物検出装置１、１Ｂおよび１Ｃは、例えば、輝度が中央に向かって大きくなる水滴と、彩度が中央に向かって大きくなる濁った水滴とを１回のマッチング処理により同時に検出するようにしてもよい。

また、上記した実施形態では、付着物検出装置１、１Ｂおよび１Ｃ、付着物除去システム１００をいずれも車載用のカメラ１０に適用する場合について示したが、例えば、建物の内外や路地等に設定される監視／防犯カメラなどのその他の種類のカメラに適用してもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。

１、１Ｂ、１Ｃ 付着物検出装置
１０ カメラ（撮像装置）
１１ 付着物除去装置
２１ 画像取得部
２２ 抽出部
２３、２３Ｂ、２３Ｃ 変換部
２４、２４Ｂ、２４Ｃ マッチング部
２５、２５Ｂ、２５Ｃ 検出部
５０ 除去制御装置
６１ 付着物検出部
６２ 除外部
６３ アルゴリズム間重なり判定部
６４ フレーム間重なり判定部
６５ 付着判定部
６６ 除去要否判定部
６７ 指示部
１００ 付着物除去システム

Claims (12)

1. 撮像装置によって撮像された時系列の撮像画像それぞれに含まれる各画素のエッジ情報を抽出する抽出部と、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素を所定のデータ形式に変換する変換部と、
   前記変換部によって前記データ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング処理を行うマッチング部と、
   前記マッチング部によるマッチング結果に基づいて前記撮像装置に付着した水滴を検出する検出部と、
   を備え、
   前記検出部は、
   時系列で連続する複数の前記撮像画像それぞれにおける前記マッチング部のマッチング結果に基づいて前記水滴を検出し、
   前記変換部は、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素のエッジの向きを算出し、反対向きの前記エッジの向き同士が変換後に１の補数の関係となるパラメータを用いて前記各画素を変換すること
   を特徴とする付着物検出装置。
2. 撮像装置によって撮像された時系列の撮像画像それぞれに含まれる各画素のエッジ情報を抽出する抽出部と、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素を所定のデータ形式に変換する変換部と、
   前記変換部によって前記データ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング処理を行うマッチング部と、
   前記マッチング部によるマッチング結果に基づいて前記撮像装置に付着した水滴を検出する検出部と、
   を備え、
   前記検出部は、
   時系列で連続する複数の前記撮像画像それぞれにおける前記マッチング部のマッチング結果に基づいて前記水滴を検出し、
   前記変換部は、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素のエッジの向きを算出し、当該エッジの向きにそれぞれ対応する符号を割り当てることにより、前記各画素を符号に変換し、
   前記マッチング部は、
   前記変換部によって前記符号に変換された前記各画素と、前記水滴を示す符号列との正規表現を用いたマッチング処理を行うこと
   を特徴とする付着物検出装置。
3. 前記検出部は、
   前記時系列で連続する複数の前記撮像画像のうち、前記マッチング部によって前記テンプレートと類似する領域が略同じ位置に検出された前記撮像画像が所定数以上である場合に、該領域を前記水滴として検出すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 前記検出部は、
   前記時系列で連続する複数の前記撮像画像のうち、前記マッチング部によって前記テンプレートと類似する領域が略同じ位置に検出された前記撮像画像が時系列で所定数以上連続する場合に、該領域を前記水滴として検出すること
   を特徴とする請求項１～３のいずれか１つに記載の付着物検出装置。
5. 前記変換部は、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素のエッジ強度を算出し、前記撮像装置の周囲環境に応じて異なる値をとる２値化閾値と当該エッジ強度とを比較することで前記各画素を２値化すること
   を特徴とする請求項１～４のいずれか１つに記載の付着物検出装置。
6. 前記変換部は、
   前記周囲環境の照度が低い場合には、前記照度が高い場合と比べて低い値の前記２値化閾値を用いること
   を特徴とする請求項５に記載の付着物検出装置。
7. 前記マッチング部は、
   前記水滴を模擬する円が複数の扇状の領域に分割され前記円の中心について対向する前記領域の値が１の補数の関係となる前記テンプレートを用いてマッチング処理を行うこと
   を特徴とする請求項１に記載の付着物検出装置。
8. 前記水滴の異なる部分の部分形状を示す複数の前記テンプレートを記憶する記憶部を備え、
   前記マッチング部は、
   前記マッチング処理の走査位置に応じた前記部分形状の前記テンプレートを用いること
   を特徴とする請求項１～７のいずれか１つに記載の付着物検出装置。
9. 前記変換部は、
   前記抽出部によって抽出された前記エッジ情報に基づいて前記各画素のエッジの向きを算出し、当該エッジの向きにそれぞれ対応する符号を割り当てることにより、前記各画素を符号に変換し、
   前記マッチング部は、
   前記変換部によって前記符号に変換された前記各画素と、前記水滴を示す符号列との正規表現を用いたマッチング処理を行うこと
   を特徴とする請求項１～８のいずれか１つに記載の付着物検出装置。
10. 前記マッチング部は、
    前記変換部によって符号化された前記各画素から、前記符号列により規定された配列順序を満たし、各符号を少なくとも一つ以上含む前記符号の配列を前記符号列として抽出すること
    を特徴とする請求項２に記載の付着物検出装置。
11. 撮像装置によって撮像された時系列の撮像画像それぞれに含まれる各画素のエッジ情報を抽出する抽出工程と、
    前記抽出工程によって抽出された前記エッジ情報に基づいて前記各画素を所定のデータ形式に変換する変換工程と、
    前記変換工程によって前記データ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング処理を行うマッチング工程と、
    前記マッチング工程によるマッチング結果に基づいて前記撮像装置に付着した水滴を検出する検出工程と、
    を含み、
    前記検出工程は、
    時系列で連続する複数の前記撮像画像それぞれにおける前記マッチング工程のマッチング結果に基づいて前記水滴を検出し、
    前記変換工程は、
    前記抽出工程によって抽出された前記エッジ情報に基づいて前記各画素のエッジの向きを算出し、反対向きの前記エッジの向き同士が変換後に１の補数の関係となるパラメータを用いて前記各画素を変換すること
    を特徴とする付着物検出方法。
12. 撮像装置によって撮像された時系列の撮像画像それぞれに含まれる各画素のエッジ情報を抽出する抽出工程と、
    前記抽出工程によって抽出された前記エッジ情報に基づいて前記各画素を所定のデータ形式に変換する変換工程と、
    前記変換工程によって前記データ形式に変換された前記各画素と、水滴を示す当該データ形式のテンプレートとのマッチング処理を行うマッチング工程と、
    前記マッチング工程によるマッチング結果に基づいて前記撮像装置に付着した水滴を検出する検出工程と、
    を含み、
    前記検出工程は、
    時系列で連続する複数の前記撮像画像それぞれにおける前記マッチング工程のマッチング結果に基づいて前記水滴を検出し、
    前記変換工程は、
    前記抽出工程によって抽出された前記エッジ情報に基づいて前記各画素のエッジの向きを算出し、当該エッジの向きにそれぞれ対応する符号を割り当てることにより、前記各画素を符号に変換し、
    前記マッチング工程は、
    前記変換工程によって前記符号に変換された前記各画素と、前記水滴を示す符号列との正規表現を用いたマッチング処理を行うこと
    を特徴とする付着物検出方法。

Images