JP5648712B2 - 付着物検出装置、移動体機器制御システム、及びプログラム - Google Patents

Description

本発明は、対象物に付着した付着物を検出する付着物検出装置、移動体機器制御システム、及びプログラムに関する。

従来より、自動車等の車両に搭載され、フロントガラスに付着した雨滴等の付着物を撮像手段を用いて検出する付着物検出装置が知られている。

一例として、雨滴検出領域を所定数のブロックに分割してブロック毎の照度を画像データより算出し、各ブロック間における照度のバラツキが所定の基準値以上の場合に雨滴検出領域内に異物が付着したと判断する装置を挙げることができる（例えば、特許文献１参照）。

他と例として、雨滴検出領域を所定数のブロックに分割してブロック毎の照度変化率を画像データより符号を付して算出し、照度変化率の符号が変化する間隔の差異に基づいて雨滴検出領域内の付着物を識別する装置を挙げることができる（例えば、特許文献２参照）。

しかしながら、上記に例示した装置では、環境の変化や検出器のばらつき等により変動するノイズについて十分に考慮されていないため、検出感度が低く、小さい付着物（例えば、1滴の雨滴）とノイズとを区別することが困難であった。

本発明は、上記の点に鑑みてなされたものであり、検出感度を向上させた付着物検出装置等を提供することを課題とする。

本付着物検出装置は、付着物が付着する対象物の所定領域に光を照射する光照射手段と、
前記光照射手段から照射された前記光の前記付着物からの反射光を複数の画素で受光し、受光した前記反射光を画像データに変換して出力する撮像手段と、前記撮像手段から得られた前記画像データを処理し、前記付着物の付着量情報を算出する付着量情報算出手段と、を有し、前記付着量情報算出手段は、前記付着物を検出するための画像領域を複数の参照領域に分割し、所定の時間毎に、各参照領域における付着物の量を示す領域別付着物情報を算出して所定の閾値と比較し、比較した結果を用いて前記領域別付着物情報を合算して前記付着量情報を算出する算出手段と、所定の時刻における付着量情報と前記所定の時刻より前の付着量情報に対して平均化処理を行って平均付着量情報を算出する平均化処理手段と、前記所定の時刻における付着量情報と前記平均付着量情報との何れかを選択して出力する選択手段と、を有することを要件とする。

開示の技術によれば、検出感度を向上させた付着物検出装置等を提供できる。

本実施の形態に係る移動体機器制御システムの概略構成を例示する模式図である。 本実施の形態に係る雨滴検出装置の概略構成を例示する模式図である。 図２の一部を拡大して例示する模式図である。 本実施の形態に係る光学フィルタを例示する図である。 撮像画像を例示する図である。 カットフィルタを例示する図である。 バンドパスフィルタを例示する図である。 本実施の形態の変形例に係る雨滴検出装置の概略構成を例示する模式図である。 画像解析ユニットの構成を例示する図である。 雨滴量情報算出手段を撮像ユニットに搭載した例を示す図である。 雨滴量情報算出手段と撮像装置の接続例を示す図である。 雨滴検出領域で検出される雨滴の信号輝度を例示する図である。 雨滴検出領域で検出される雨滴の各参照領域における画素値の総和を例示する図である。 フロントガラスに設ける雨滴検出領域の例を示す図である。 雨滴検出領域に対応する画像領域を複数の参照領域に分割する例を示す図である。 雨滴量情報算出手段の動作を説明するフローチャートの例である。 雨滴検出領域で検出される雨滴の各参照領域における画素値の和の経時変化を例示する図（その１）である。 画素値の総和と時間との関係を例示する図（その１）である。 移動平均処理の一例を示すブロック図である。 雨滴検出領域で検出される雨滴の各参照領域における画素値の和の経時変化を例示する図（その２）である。 画素値の総和と時間との関係を例示する図（その２）である。 雨滴情報の急激な変化に対応するための具体的な処理を例示するブロック図である。 微分計算手段での差分計算処理の結果を例示する図である。 図２２の処理を実行した場合の画素値の総和と時間との関係を例示する図である。 図２２の処理を説明するフローチャートの例（その１）である。 図２２の処理を説明するフローチャートの例（その２）である。 フロントガラスに付着した雨滴量に対する雨滴検出処理の出力をシミュレートしたグラフである。 加重平均処理を例示するブロック図である。 加重平均差分処理を行うことにより直流成分のノイズを除去した場合のグラフである。 加重平均差分処理を例示するブロック図である。 出力画素値に対して移動平均処理を加えた場合のグラフである。 雨滴情報の急激な変化（スプラッシュ）に対するシミュレーション結果を示すグラフ（その１）である。 雨滴情報の急激な変化（スプラッシュ）に対するシミュレーション結果を示すグラフ（その２）である。 雨滴情報の急激な変化に対応するための具体的な処理を説明するフローチャートの例（その１）である。 雨滴情報の急激な変化に対応するための具体的な処理を説明するフローチャートの例（その２）である。 雨滴情報の急激な変化に対応するための具体的な処理を例示するブロック図である。 フロントガラスに付着した雨滴量が急激に低下した場合をシミュレートしたグラフである。 クランプ処理を説明するフローチャートの例（その１）である。 クランプ処理を説明するフローチャートの例（その２）である。 クランプ処理導入時にフロントガラスに付着した雨滴量が急激に低下した場合をシミュレートしたグラフである。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

なお、以下の実施の形態では、付着物検出装置を自動車等の移動体に搭載し、移動体のフロントガラス等に付着した雨滴等の付着物を検出し、移動体機器を制御する移動体機器制御システムの例を示すが、これに限定されることはない。例えば、付着物検出装置を用いて、建物のガラス等に付着した雨滴等の付着物を検出すること等が可能である。なお、移動体機器とは、移動体に搭載された所定の機器を指し、例えば、移動体が自動車であれば、ワイパーやヘッドランプ等が移動体機器である。

［移動体機器制御システム］
まず、本実施の形態に係る移動体機器制御システムについて説明する。図１は、本実施の形態に係る移動体機器制御システムの概略構成を例示する模式図である。図１に示す移動体機器制御システム３００は、移動体の一例として車両（自動車）を例にしたものである。図１を参照するに、移動体機器制御システム３００は、付着物検出装置１０と、ヘッドランプ制御ユニット３１０と、ワイパー制御ユニット３２０と、車両走行制御ユニット３３０と、ヘッドランプ３５０と、ワイパー３６０とを有する。なお、図１において、４００は自動車等の自車両を示している。

移動体機器制御システム３００は、自車両４００に搭載された付着物検出装置１０の撮像装置４０（図２及び図３参照）で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、所定の制御を行う機能を有する。所定の制御としては、例えば、ヘッドランプの配光制御、ワイパーの駆動制御、自車両４００に搭載された他の機器の制御等を挙げることができる。

撮像装置４０で撮像された撮像画像データは、画像解析ユニット５０に入力される。画像解析ユニット５０は、撮像装置４０から送信される撮像画像データを解析することにより、例えば、自車両４００の前方に存在する他車両の位置や方角、距離等を算出する。

又、画像解析ユニット５０は、他車両のテールランプを識別することで自車両４００と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両４００とは反対方向へ進行する対向車両を検出したりする。又、画像解析ユニット５０は、フロントガラス１０１に付着する雨滴や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。

画像解析ユニット５０の解析結果は、ヘッドランプ制御ユニット３１０に送られる。ヘッドランプ制御ユニット３１０は、例えば、画像解析ユニット５０が算出した距離データから、自車両４００に搭載された機器であるヘッドランプ３５０を制御する制御信号を生成する。

具体的には、例えば、先行車両や対向車両の運転者の目に自車両４００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両４００の運転者の視界確保を実現する。そのために、ヘッドランプ３５０のハイビーム及びロービームの切り替えを制御したり、ヘッドランプ３５０の部分的な遮光制御を行ったりする。

画像解析ユニット５０の解析結果は、ワイパー制御ユニット３２０にも送られる。ワイパー制御ユニット３２０は、ワイパー３６０を制御して、自車両４００のフロントガラス１０１に付着した雨滴や異物等の付着物を除去する。ワイパー制御ユニット３２０は、画像解析ユニット５０が検出した付着物検出結果を受けて、ワイパー３６０を制御する制御信号を生成する。ワイパー制御ユニット３２０により生成された制御信号がワイパー３６０に送られると、自車両４００の運転者の視界を確保すべく、ワイパー３６０を稼動させる。

又、画像解析ユニット５０の解析結果は、車両走行制御ユニット３３０にも送られる。車両走行制御ユニット３３０は、例えば、画像解析ユニット５０が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両４００が外れている場合等に、自車両４００の運転者へ警告を報知する。又、車両走行制御ユニット３３０は、例えば、自車両４００のハンドルやブレーキを制御する等の走行支援制御を行ったりする。

［付着物検出装置］
次に、本実施の形態に係る付着物検出装置について説明する。本実施の形態に係る付着物検出装置は、雨滴や異物等の付着物を検出可能であるが、付着物の代表的な一例として雨滴を挙げ、付着物検出装置の代表的な一例として雨滴検出装置の例を挙げて以降の説明を行う。従って、付着物検出装置１０を雨滴検出装置１０と称する場合がある。

図２は、本実施の形態に係る雨滴検出装置の概略構成を例示する模式図である。図３は、図２の一部を拡大して例示する模式図である。図２及び図３を参照するに、雨滴検出装置１０は、撮像ユニット２０と、画像解析ユニット５０とを有する。なお、フロントガラス１０１は、本発明に係る付着物が付着する対象物の代表的な一例である。

撮像ユニット２０は、例えば、車両のフロントガラス１０１の近傍（例えば、図示しないルームミラー付近）に設置されている。撮像ユニット２０を、例えば、少なくともフロントガラス１０１側が透明なカバー１０４に収容した状態でフロントガラス１０１の近傍に設置してもよい。

又、フロントガラス１０１側が開口されたカバー１０４をフロントガラス１０１に密着させ、撮像ユニット２０をフロントガラス１０１とカバー１０４で覆うように配置してもよい。この場合には、フロントガラス１０１の内壁面が曇るような状況であっても、カバー１０４で覆われた部分のフロントガラス１０１が曇ることを防止できる。その結果、フロントガラス１０１の曇りによって画像解析ユニット５０が誤解析することを抑制でき、画像解析ユニット５０の解析結果に基づく各種制御動作を適切に行うことができる。

但し、例えば、フロントガラス１０１の曇りを撮像ユニット２０で検出して、自車両の空調設備を制御するような場合には、撮像ユニット２０に対向するフロントガラス１０１の部分が他の部分と同じ状況となるように、カバー１０４に空気の流路を形成すればよい。

撮像ユニット２０は、光源３０と、撮像装置４０とを有する。光源３０は、フロントガラス１０１に付着した雨滴を検出するために設けられた光源であり、フロントガラス１０１の一方の面側（内壁面側）からフロントガラス１０１に向けて光を照射する機能を有する。

光源３０は、フロントガラス１０１に付着した雨滴１０３を検出する雨滴検出領域１０２を少なくとも照射できる位置に配置されている。例えば、雨滴検出領域１０２がフロントガラス１０１の下端側であれば、光源３０は、少なくともフロントガラス１０１の下端側を照射できる位置に配置される。又、雨滴検出領域１０２がフロントガラス１０１の上端側及び下端側であれば、光源３０は、少なくともフロントガラス１０１の上端側及び下端側を照射できる位置に配置される。又、雨滴検出領域１０２がフロントガラス１０１の全面であれば、光源３０は、少なくともフロントガラス１０１の全面を照射できる位置に配置される。なお、雨滴検出領域１０２を確実に照射するため、複数の光源３０を配置してもよい。

光源３０としては、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）等を用いることができる。又、光源３０は所定の波長帯域で発光する。光源３０の発光波長としては、例えば、可視光や赤外光等を用いることができる。

但し、光源３０の光で対向車両の運転者や歩行者等を眩惑するのを回避する必要がある。そのため、光源３０の発光波長としては、可視光よりも波長が長く、かつ、後述の画像センサ４３の受光感度が及ぶ範囲の波長（例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長）を選択することが好ましい。

必要に応じて光源３０の後段にコリメートレンズを設け、光源３０からの照射光を略平行光とすることが望ましい。なお、光源３０は、本発明に係る光照射手段の代表的な一例である。但し、光照射手段は、コリメートレンズ等の光源３０からの照射光の形態を調整可能なレンズ等の構成要素を含んでもよい。又、雨滴検出領域１０２は、本発明に係る所定領域の代表的な一例である。

撮像装置４０は、フロントガラス１０１に対して光源３０と同じ側に配置されており、光源３０から雨滴１０３に照射された光の反射光や、車両外部からの入射光を撮像する機能を有する。本実施の形態では、撮像レンズ４１の光軸が水平方向を向くように配置しているが、これに限定されることはない。なお、光源３０は、光源３０から雨滴１０３に照射された光の反射光が撮像装置４０へ入射する位置に配置されている。

撮像装置４０は、撮像レンズ４１と、光学フィルタ４２と、画像センサ４３と、センサ基板４４と、信号処理部４５とを有する。撮像レンズ４１は、例えば、複数のレンズから構成され、焦点がフロントガラス１０１の位置よりも遠方に設定されている。撮像レンズ４１の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０１との間に設定することができる。

光学フィルタ４２は、画像センサ４３の前段に配置され、画像センサ４３に入射する光の波長帯域を制限する機能を有する。光学フィルタ４２は、光源３０の発光波長帯域の光を透過可能な材料を適宜選択して形成できる。例えば、光源３０の発光波長帯域が可視光域や赤外域である場合には、光学フィルタ４２の材料として、ガラス、サファイア、水晶等を用いることができる。光学フィルタ４２は、入射光のうちの所定の偏光成分（例えば、Ｐ偏光成分）のみを透過するように形成してもよい。

図４は、本実施の形態に係る光学フィルタ４２を例示する図であり、図４（ａ）は側面図、図４（ｂ）は正面図（画像センサ４３側から見た図）である。図４に示すように、光学フィルタ４２は基板４２ａを有し、基板４２ａの撮像レンズ４１側の面（Ａ側の面）には、赤外光及び可視光相当を透過する分光フィルタ層４２ｂが形成されている。又、基板４２ａの画像センサ４３側の面（Ｂ側の面）には、偏光フィルタ層４２ｃ、ＳＯＧ（Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）層４２ｄ、及び赤外光透過フィルタ４２ｅが順に形成されている。なお、図４において、１１１は車両検出用画像領域を示している。

本実施の形態では、偏光フィルタ層４２ｃは、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミ等の金属で構成された導電体線が特定ピッチで格子状に配列してなるものである。ワイヤグリッドの特定ピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べてかなり小さければ（例えば、２分の１以下）、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射する。そして、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させる。そのため、単一偏光を作り出す偏光子として使用できる。

図５は、撮像画像を例示する図である。図５に示すように、対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の画像は、主に撮像画像中央部に存在することが多い。又、撮像画像下部には自車両前方の直近の路面１１７の画像が存在し、撮像画像上部には空１１８の画像が存在することが通常である。つまり、対向車両のヘッドランプ（図示せず）及び先行車両１１５のテールランプ並びに白線１１６の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像上部及び撮像画像下部の情報はあまり重要ではない。

よって、単一の撮像画像データから、対向車両や先行車両１１５或いは白線１１６の検出と雨滴１０３の検出とを両立して行う場合には、図５に示すように、撮像画像中央部を車両検出用画像領域１１１とすることが好適である。そして、撮像画像上部及び撮像画像下部をそれぞれ雨滴検出用画像領域１１２及び１１３とすることが好適である。

従って、前述の図４に示すように、図５の雨滴検出用画像領域１１２に対応する撮像画像上部と、図５の雨滴検出用画像領域１１３に対応する撮像画像下部とに領域分割された赤外光透過フィルタ４２ｅを設けている。赤外光透過フィルタ４２ｅには、例えば、図６に示すような、光源３０の発光波長をほぼ透過し、光源３０の発光波長よりも短波長側を遮蔽するするカットフィルタを用いることができる。又、図７に示すような、光源３０の発光波長近傍のみを透過させるバンドパスフィルタを用いてもよい。なお、本実施の形態では、撮像画像上部は撮像領域の上側の高さ１／４に相当する部分であり、撮像画像下部は撮像領域の下側の高さ１／４に相当する部分である。

図２及び図３に戻り、画像センサ４３は、光学フィルタ４２を透過した光を受光する２次元配置された複数の画素で構成され、画素毎に入射光を光電変換する機能を有する。画像センサ４３は、センサ基板４４に搭載されている。画像センサ４３は、例えば、２次元配置された数十万個程度の画素で構成されている。画像センサ４３としては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。なお、画像センサ４３の入射側に、例えば、各画素に対応するマイクロレンズ等を設け、画像センサ４３への集光効率を上げる構成にしてもよい。

画像センサ４３の後段には信号処理部４５が設けられている。信号処理部４５は、画像センサ４３で光電変換されたアナログ電気信号（画像センサ４３の各画素への入射光量に対応した電気信号）を、撮影した画像の画素毎の明るさ（輝度）を示すデジタル電気信号に変換する。そして、画像データとして画像の水平・垂直同期信号とともに後段の画像解析ユニット５０へ出力する機能を有する。なお、画像センサ４３及び信号処理部４５は、本発明に係る撮像手段の代表的な一例である。

画像解析ユニット５０は、雨滴量情報算出手段６０を有する。雨滴量情報算出手段６０は、信号処理部４５から得られた画像データを処理し、フロントガラス１０１に付着する雨滴１０３の付着量情報等を算出する機能を有する。

雨滴量情報算出手段６０による処理は、例えば、プログラムとしてコンピュータに実行される。雨滴量情報算出手段６０は、例えば、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、ＦＲＯＭ等により構成できる。ＣＰＵは雨滴量情報算出手段６０としての機能を実現するとともに、光源３０や画像センサ４３を駆動する周辺ＩＣを制御する機能等を有してもよい。ＲＡＭは撮像情報や演算結果等を保持する機能を有する。ＲＯＭは制御プログラム等を格納する機能を有する。ＦＲＯＭは調整値等を保持させる不揮発性メモリである。なお、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＦＲＯＭ、周辺ＩＣ等は、例えば、バスを介して信号の送受信が可能とされている。なお、雨滴量情報算出手段６０は、本発明に係る付着量情報算出手段の代表的な一例である。

ここで、雨滴検出装置１０について、より詳しく説明する。フロントガラス１０１の外壁面に雨滴１０３が付着していない場合、光源３０から照射された光は、フロントガラス１０１の外壁面と外気との界面で反射し、その正反射光が撮像装置４０へ入射しないように構成されている。一方、図２に示すように、フロントガラス１０１の外壁面に雨滴１０３が付着している場合、フロントガラス１０１の外壁面と雨滴１０３との間における屈折率差は、フロントガラス１０１の外壁面と外気との間の屈折率差よりも小さくなる。

そのため、光源３０から照射された光は、フロントガラス１０１の外壁面と雨滴１０３の界面を透過し雨滴１０３に入射する。そして、雨滴１０３に入射した光は、雨滴１０３と空気との界面で反射し、その拡散反射光が撮像装置４０へ入射する。従って、雨滴１０３の存在によって撮像装置４０へ入射する光の量が増加する。雨滴１０３の有無によるこのような違いによって、雨滴量情報算出手段６０は、撮像装置４０から送信される撮像画像データから、フロントガラス１０１に付着する雨滴１０３の有無を検出できる。

ここで、雨滴検出装置の別の構成である雨滴検出装置１０Ａについて説明する。図８は、本実施の形態の変形例に係る雨滴検出装置の概略構成を例示する模式図である。図８に示すように、雨滴検出装置１０Ａは、フロントガラス１０１の内側に導光部材６５が追加された点が、雨滴検出装置１０（図１等参照）と相違する。

雨滴検出装置１０Ａにおいて、フロントガラス１０１の外壁面に雨滴１０３が付着していない場合（図示せず）、光源３０から照射された光は、例えばプリズムのような導光部材６５により導光され、フロントガラス１０１の外壁面と外気との界面で全反射し、その反射光が撮像装置４０へ入射する。一方、図８に示すように、フロントガラス１０１の外壁面に雨滴１０３が付着している場合、フロントガラス１０１の外壁面と雨滴１０３との間における屈折率差は、フロントガラス１０１の外壁面と外気との間の屈折率差よりも小さくなる。

そのため、光源３０から照射された光は、フロントガラス１０１の外壁面で全反射されることなく、フロントガラス１０１の外壁面と雨滴１０３の界面を透過する。従って、雨滴１０３の存在によって撮像装置４０へ入射する光の量が減少する。雨滴１０３の有無によるこのような違いによって、雨滴量情報算出手段６０は、撮像装置４０から送信される撮像画像データから、フロントガラス１０１に付着する雨滴１０３の有無を検出できる。

本実施の形態では、撮像レンズ４１の焦点位置は、無限遠又は無限遠とフロントガラス１０１との間に設定している。これにより、画像解析ユニット５０は、雨滴量情報算出手段６０が雨滴１０３の検出を行う場合だけでなく、画像解析ユニット５０内の他の部分が先行車両や対向車両の検出や白線の検出等を行う場合も、撮像装置４０の撮像画像データから適切な情報を取得できる。

但し、無限遠に撮像レンズ４１の焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する場合は、画像センサ４３において、テールランプの光を受光する画素が１個程度になる場合がある。この場合、テールランプを認識できず、先行車両の検出ができない虞がある。

このような不具合を回避するため、撮像レンズ４１の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する画素の数を増やすことができる。その結果、テールランプの認識精度が上がるため、先行車両の検出精度を向上できる。

なお、光源３０は、赤外光透過フィルタ４２ｅの領域にのみ照射するように配置することができる。これにより、車両検出用領域からのノイズ成分を回避することができる。又、複数の光源３０を設けてもよい。複数の光源３０を設けた場合は、偏光フィルタ層４２ｃの各領域の偏光子パターンを所定の偏光成分のみを透過するように設定することが好ましい。所定の偏光成分とは、複数の光源３０のうち偏光子パターンへの入射光量が最も大きい光源がフロントガラス１０１へ向かって出射する光の光軸と、撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分である。

光源３０の発光方法としては、連続発光（ＣＷ発光ともいう）の他、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。又、複数の光源３０を設置した場合には、複数の光源３０を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングを同期することにより、外乱光による影響をより減少させることができる。

図９は、画像解析ユニットの構成を例示する図である。図９を参照するに、画像解析ユニット５０は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、ハードウェアロジック５４と、デジタルシグナルプロセッサ５５と、Ｉ／Ｏポート５６と、通信インターフェース５７とを有する。

雨滴量情報算出手段６０による処理は、例えば、ＣＰＵ５１のプログラムとして、又は、ハードウェアロジック５４として、或いは、その混合形態として、画像解析ユニット５０に搭載される。Ｉ／Ｏポート５６及び通信インターフェース５７は、必要な情報に応じて、図１に示す各ユニットへ接続される。

雨滴量情報算出手段６０は、撮像ユニット２０の撮像装置４０から送信されてくる撮像画像データを受け、フロントガラス１０１に付着する雨滴１０３を検出し、検出結果をワイパー制御ユニット３２０に送る。ワイパー制御ユニット３２０は、その結果に基づき、ワイパー３６０を稼動させる。

なお、図１に示した各ユニットは、独立したハードウェアとして車両に搭載してもよいし、各ユニットを例えば一つの基板上に搭載してもよい。又、画像解析ユニット５０は、雨滴量算出、ヘッドランプ制御、フロント画像認識等の複数の機能を有するが、各々の機能を分散して、雨滴量算出の機能を（雨滴量情報算出手段６０を）を撮像ユニット２０やワイパー制御ユニット３２０に搭載しても構わない。搭載のスペースやコストに応じて適宜搭載形態を変更することができる。

図１０は、雨滴量情報算出手段を撮像ユニットに搭載した例を示す図である。図１０の例では、雨滴量情報算出手段６０は、物理的に撮像装置４０と一体化されている（例えば、撮像装置４０と雨滴量情報算出手段６０を構成するＣＰＵ等が一つの基板上に搭載されている）。

図１１は、雨滴量情報算出手段と撮像装置の接続例を示す図である。図１１を参照するに、雨滴量情報算出手段６０は、ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、ハードウェアロジック６４と、Ｉ／Ｏポート６６ａ及び６６ｂと、通信インターフェース６７ａ及び６７ｂとを有する。このように、雨滴量情報算出手段６０における処理は、ＣＰＵ６１のプログラムとして、又は、ハードウェアロジック６４として、或いは、その混合形態として実現できる。

雨滴量情報算出手段６０では、Ｉ／Ｏポート６６ａで撮像装置４０と画像データの送受信を行い、通信インターフェース６７ａで撮像装置４０の制御コマンドの送受信を行う。又、Ｉ／Ｏポート６６ｂ及び通信インターフェース６７ｂは、必要な情報に応じて、図１に示すワイパー制御ユニット３２０へ接続される。なお、ワイパー制御ユニット３２０への接続は、画像解析ユニット５０を経由して行ってもよい。

［雨滴量情報算出手段］
次に、本実施の形態に係る雨滴量情報算出手段について説明する。本実施の形態では、高い検出感度で雨滴１０３を検出できるように雨滴量情報算出手段６０を構成している。雨滴量情報算出手段６０による処理の詳細を説明する前に、基本的な思想について説明する。

図１２は、雨滴検出領域で検出される雨滴の信号輝度を例示する図である。まず、図１２（ａ）に示すように、雨滴検出領域１０２を複数の参照領域に分割しない場合を考える。ここで、雨滴検出領域１０２において、ノイズＮが均一に存在しており、かつ、雨滴１０３から検出される信号Ｓが１つ参照領域のみに存在すると仮定する。この場合、画素値の総和（輝度の総和）はＳ＋Ｎとなり、ＳＮ比はＳ／Ｎとなる。

なお、本願において、任意の１つの参照領域内の全画素値を加算したものを『画素値の和』と称し、各参照領域における画素値の和を合算したものを『画素値の総和』と称する。つまり、ｐ個（ｐは２以上の自然数）の参照領域がある場合、画素値の総和＝第１の参照領域の画素値の和＋第２の参照領域の画素値の和＋・・・＋第ｐの参照領域の画素値の和となる。但し、上記例では、雨滴１０３から検出される信号Ｓが１つ参照領域のみに存在するので、その参照領域の画素値の和＝画素値の総和である。又、画素値は輝度を示しているため、画素値の和は輝度の和と同義であり、画素値の総和は輝度の総和と同義である。

次に、図１２（ｂ）に示すように、雨滴検出領域１０２をｐ個（ｐは２以上の自然数）の参照領域１０２_１〜１０２_Ｐに分割する場合を考える。この場合、雨滴検出領域１０２において、ノイズＮが均一に存在しているとすると、参照領域１０２_１〜１０２_Ｐの各々におけるノイズはＮ／ｐとなる。

図１２（ｂ）では、参照領域１０２_４に雨滴１０３から検出される信号Ｓが存在している。参照領域１０２_４において、画素値の和はＳ＋Ｎ／ｐとなり、ＳＮ比はＳ／（Ｎ／ｐ）＝ｐＳ／Ｎとなる。このように、雨滴検出領域１０２をｐ個の参照領域１０２_１〜１０２_Ｐに分割することにより、感度がｐ倍となる。

すなわち、雨滴検出領域１０２をｐ個の参照領域１０２_１〜１０２_Ｐに分割することにより、余計なノイズ量を足しこむことなく、雨滴１０３からの少量の信号Ｓを感度よく検出することが可能となる。なお、各参照領域の大きさは、雨滴１０３の直径を含む大きさとすることが好ましい。１滴の雨滴１０３からの信号Ｓを取りこぼさないようにするためである。

なお、参照領域の数は適宜設定可能であるが、光源に対応する数にしてもよい。すなわち、例えば、光源（例えば、発光ダイオード（ＬＥＤ））が８個である場合、参照領域の数も８個とすることができる。これにより、各光源に対応して雨滴信号をより感度よく検出できる。

ここで、参照領域の数を８（ｐ＝８）とした場合を例にして、雨滴１０３がフロントガラス１０１に付着していることを判定する方法について説明する。図１３は、雨滴検出領域で検出される雨滴の各参照領域における画素値の和を例示する図である。図１３に示すように、雨が降り始め雨滴１０３がフロントガラス１０１に付着し始めると、参照領域１０２_１〜１０２_８の各々の画素値の和（又は、画素値の平均値でもよい）がランダムに増加し始める。

雨であることを判定するための手段として、候補判定のための閾値Ｔｈ０を予め決めておく。参照領域１０２_１〜１０２_８の各々の画素値の和（輝度の和）が閾値Ｔｈ０を超えた場合に、その参照領域では雨滴１０３がフロントガラス１０１に付着していると判定し、閾値Ｔｈ０を超えた参照領域の画素値の和を加算して画素値の総和を求め、雨滴量情報とする。つまり、この場合の雨滴量情報とは、閾値Ｔｈ０を超えたものだけを雨滴信号として採用し総和したものを表し、雨量を代替する特性量である。

但し、参照領域１０２_１〜１０２_８の各々の画素値の平均値を算出し、参照領域１０２_１〜１０２_８の各々の画素値の平均値が閾値Ｔｈ０を超えた場合に、その参照領域では雨滴１０３がフロントガラス１０１に付着していると判定してもよい。この場合には、閾値Ｔｈ０を超えた参照領域の画素値の平均値を合算して画素値の平均値の和を求め、雨滴量情報とすることができる。図１３の場合には、参照領域１０２_２、１０２_４、１０２_５、及び１０２_８の各々の画素値の和を採用してそれらを合算し、雨滴量情報を算出できる。

閾値Ｔｈ０を設ける理由は次の通りである。各参照領域から検出される画素値の和は、雨滴の付着に基づく情報とは限らない。例えば、砂、粉塵、花粉、鳥の糞等の雨滴以外の異物の付着に基づく情報も含まれている。しかし、通常、これらの異物の付着に基づく画素値の和は、雨滴の付着に基づく画素値の和ほど大きくはならない。

そのため、異物の付着に基づく画素値の和と雨滴の付着に基づく画素値の和とを分離できるように閾値Ｔｈ０を設ければ、異物の付着に基づくと考えられる情報をノイズと判断して除去できる。その結果、各参照領域における雨滴情報を精度よく検出でき、それに基づく雨滴検出領域１０２全体の雨滴量情報も精度よく算出できる。

なお、本願において、雨滴情報は各参照領域における雨量の情報であり、雨滴量情報は雨滴検出領域１０２全体（全参照領域）における雨量の情報である。つまり、雨滴情報は画素値の和に対応し、雨滴量情報は画素値の総和に対応する。又、雨滴情報（画素値の和）は、本発明に係る領域別付着物情報の代表的な一例であり、雨滴量情報（画素値の総和）は、本発明に係る付着量情報の代表的な一例である。

閾値Ｔｈ０は、例えば、雨滴の付着に基づく画素値の和、及び、様々な異物の付着に基づく画素値の和の各々に関するデータを多数取得し、取得したデータを分析することにより決定できる。参照領域毎に異なる閾値を設けてもよい。

なお、互いに敷き詰められた参照領域の境目を跨いで雨滴１０３からの信号が出現する場合がある。雨滴１０３からの信号が参照領域の境目を跨ぐと、信号が隣接する２つの参照領域に分解されてしまい、隣接する２つの参照領域各々において画素値の和が閾値Ｔｈ０に到達せず、雨滴１０３が検出されないおそれがある。その場合には、参照領域の境目をカバーする参照領域を更に設置すればよい。これにより、雨滴１０３がどこに付着したとしても、必ず何れかの参照領域で検出することが可能となる。

又、各参照領域において雨滴情報を取得する際には、光源３０を点灯しときに得られる画像の画素値の和から光源３０を消灯しときに得られる画像の画素値の和を差し引くことが好ましい。光源３０を点灯したときに得られる画像に含まれるバックグラウンド（背景）を取り除き、雨滴信号だけを抽出するためである。

又、閾値Ｔｈ０と比較する前に、各参照領域の内部の画素値の和（雨滴情報）にゲインを乗じることが好ましい。光源３０として用いられる発光ダイオード（ＬＥＤ）等のばらつきやコリメートレンズ等の持つ周辺光量を補正し各参照領域で同じ雨滴を同じ画素値で得られるようにするためである。更に、各参照領域で光学的に生じるフレア等の既に存在が分かっているノイズを予め除去しておくために、各参照領域の内部の画素値の和（雨滴情報）にゲインを乗じた後にオフセットを減じることが好ましい。

ここで、フローチャートを参照しながら、雨滴量情報算出手段６０の具体的な動作について説明する。前提として、本実施の形態では、一例として、図１４に示すように、雨滴検出領域１０２を画像センサ４３の下端側に設ける。

画像センサ４３の画素数は任意のものでよいが、例えば、一般的なＶＧＡサイズ（６４０×４８０画素）とすることができる。その場合、雨滴検出領域は６４０×３０画素程度にすると、通常の撮像領域（車両の前方撮像用）と雨滴検出領域の確保とのバランスがよい。又、演算処理のやりやすさを考慮し、２のべき乗になるように、例えば、５１２×３２や５１２×６４画素等にしてもよい。

又、本実施の形態では、一例として、図１５に示すように、雨滴検出領域１０２に対応する画像センサ４３の画像領域を、互いに隙間なく敷き詰めた８個の参照領域１０２_１〜１０２_８に分割する。そして、更に、隣接する参照領域の境目を包含する７個の参照領域１０２_９〜１０２_１５を設けるものとする。又、各参照領域を画像センサ４３の３０画素×８０画素の領域に対応させるものとする。なお、図１５では、図を見やすくするために、便宜上、参照領域１０２_１〜１０２_８と参照領域１０２_９〜１０２_１５とを上下にずらして図示している。

なお、上記のように、本実施の形態では、一例として、雨滴検出領域１０２に対応する画像センサ４３の画像領域を、互いに隙間なく敷き詰めた参照領域に分割したが、最小の雨滴を検出できれば参照領域間に隙間があってもよい。

図１６は、雨滴量情報算出手段の動作を説明するフローチャートの例である。図１６に示すフローチャートに対応するプログラムは、例えば、雨滴量情報算出手段６０のＲＯＭ６２に格納することができ、雨滴量情報算出手段６０のＣＰＵ６１により実行することができる。或いは、雨滴量情報算出手段６０を画像解析ユニット５０内に設け、雨滴量情報算出手段６０による処理を、例えば、画像解析ユニット５０のＣＰＵ５１のプログラムとして、又は、ハードウェアロジック５４として、或いは、その混合形態として実行してもよい。

まず、ステップＳ１０１では、雨滴量情報算出手段６０は、例えば車両の走行時に光源３０を点灯して光源３０で照射された雨滴検出領域１０２の撮像情報を取得し、参照領域１０２_１〜１０２_１５の各々において画素値の和Ｐｉ（ｉ＝１〜１５）を算出する。なお、ここでは、1画素（ピクセル）当たりの画素値（輝度）を１０ビット（０〜１０２３）で表すものとする。つまり、各画素の画素値（輝度）は、０〜１０２３の何れかの数値として表される。

次に、ステップＳ１０２では、雨滴量情報算出手段６０は、例えば車両の走行時に光源３０を消灯して雨滴検出領域１０２の撮像情報を取得し、参照領域１０２_１〜１０２_１５の各々において画素値の和Ｑｉ（ｉ＝１〜１５）を算出する。

次に、ステップＳ１０３では、雨滴量情報算出手段６０は、ステップＳ１０１での光源３０点灯時の画素値の和Ｐｉ（ｉ＝１〜１５）からステップＳ１０２での光源３０消灯時の画素値の和Ｑｉ（ｉ＝１〜１５）を減じ、雨滴情報Ａｉ（ｉ＝１〜１５）を算出する。このとき、Ａｉ＜０である場合には、Ａｉ＝０として取り扱う。なお、ここでは、1画素（ピクセル）当たりの画素値（輝度）を１０ビット（０〜１０２３）で表しているので、各Ａｉを表すためには１０２３×３０×８０＝２２ビット必要である。

次に、ステップＳ１０４では、雨滴量情報算出手段６０は、ステップＳ１０３で算出した各Ａｉにゲインを乗じ、オフセットを減じる。各Ａｉにどの程度の範囲のゲインを乗じるかは適宜決定できるが、例えば、乗算器を用いて８ビット（０〜２５５）のゲインを乗じることができる。

各Ａｉが２２ビットである場合、８ビットのゲインを乗じ、下位６ビットを除去することにより、実質的に０倍〜約４倍の範囲でゲイン調整を行うことができる。なお、ゲインは、参照領域毎に設定することができる。ゲインを乗じた後の各Ａｉからどの程度の範囲のオフセットを減じるかは適宜決定できるが、例えば、減算器を用いて２４ビット（０〜１６７７７２１６）のオフセットを減じることができる。

次に、ステップＳ１０５では、ステップＳ１０４でゲインを乗じオフセットを減じたＡｉ（ｉ＝１〜１５）を、予め設定した閾値Ｔｈ０と順次比較し、Ａｉ＞Ｔｈ０である場合のＡｉのみを加算して画素値の総和Ａを算出する。例えば、参照領域１０２_２、１０２_４、１０２_５、及び１０２_８の各々の雨滴情報Ａ_２、Ａ_４、Ａ_５、及びＡ_８のみがＴｈ０を超えている場合には、画素値の総和Ａ＝Ａ_２＋Ａ_４＋Ａ_５＋Ａ_８となる。なお、各Ａｉが２２ビットである場合、画素値の総和Ａを表すためには、１０２３×３０×８０×１５×４＝２８ビット必要である。ここで、１５は参照領域の数、４はゲインの最大値である。

このようにして、雨滴量情報を表す画素値の総和Ａを算出できる。なお、画素値の総和Ａを更に所定の閾値（例えば、５つの閾値Ｔｈ１〜Ｔｈ５）と比較することにより、雨滴量のレベルを知ることができる。

このように、本実施の形態では、雨滴検出領域１０２に対応する画像センサ４３の画像領域（例えば、３０画素×６４０画素の領域）を、互いに隙間なく敷き詰められた複数の参照領域１０２_１〜１０２_８に分割する。そして、更に、参照領域１０２_１〜１０２_８のうち隣接する参照領域の境目を包含する参照領域１０２_９〜１０２_１５を設けて、各参照領域における雨滴情報を算出する。そして、各参照領域における雨滴情報を所定の閾値Ｔｈ０と比較して所定の閾値Ｔｈ０を超えた雨滴情報のみに基づいて雨滴量情報を算出する。

これにより、閾値Ｔｈ０を超えない雨滴情報、すなわち、砂、粉塵、花粉、鳥の糞等の雨滴以外の異物の付着に基づくと考えられる情報をノイズと判断して除去することができる。その結果、精度のよい雨滴情報、及びそれに基づく雨滴量情報を算出可能となる。すなわち、検出感度を向上可能な雨滴検出装置及び雨滴検出方法を実現できる。

又、参照領域１０２_１〜１０２_８のうち隣接する参照領域の境目を包含する参照領域１０２_９〜１０２_１５を設けたことにより、互いに敷き詰められた参照領域１０２_１〜１０２_８の境目を跨いで雨滴からの信号が出現する場合も、雨滴の検出が可能となる。つまり、雨滴が雨滴検出領域１０２の何れに付着したとしても、必ず何れかの参照領域で検出することが可能となる。

又、本実施の形態では、各参照領域において雨滴情報を取得する際に、光源３０を点灯しときに得られる画像の画素値の和から光源３０を消灯しときに得られる画像の画素値の和を差し引いている。これにより、光源３０を点灯したときに得られる画像に含まれるバックグラウンド（背景）を取り除き、雨滴からの信号だけを抽出できる。

又、本実施の形態では、各参照領域における雨滴情報を所定の閾値Ｔｈ０と比較する前に、雨滴情報にゲインを乗じ、オフセットを減じている。ゲインを乗じることにより、光源３０として用いられる発光ダイオード（ＬＥＤ）等のばらつきやコリメートレンズ等の持つ周辺光量を補正し各参照領域で同じ雨滴を同じ画素値で得られるようになる。又、オフセットを減じることにより、各参照領域で光学的に生じるフレア等のノイズを予め除去できる。

［スプラッシュへの対応］
ここで、雨滴量情報算出手段において、より安定した雨滴検出を可能とすると共に、雨滴情報の急激な変化（スプラッシュ）に対しても反応速度を落とさずに雨滴検出を可能とする例を示す。

図１７は、図１３のように雨滴検出領域１０２を８つの参照領域１０２_１〜１０２_８に分割した場合の各参照領域の画素値の和の、時刻ｔ＝Ｔ０からＴ４までの状態を例示する模式図である。時刻ｔ＝Ｔ０からＴ４は、雨滴を検出する画像が撮像され、最終計算結果（雨滴量情報）が得られるタイミングを示している。画像が撮像される時間間隔は、例えば、１００ｍｓ程度とすることができる。

図１７（ａ）は、時刻ｔ＝Ｔ０で降雨がない状態を表しており、Ｋｎ０は定常的に発生しているノイズである。ノイズの原因としてはフロントガラスから入り込む太陽光に起因するものや電気的なノイズ等がある。Ｔｈ０は、前述のように、画素値に対する閾値であり、参照領域１０２_１〜１０２_８の内部の画素値の和（輝度の和）が閾値Ｔｈ０を超えた場合に、その参照領域では雨滴１０３がフロントガラス１０１に付着していると判定し、雨滴量情報の算出に用いる。

図１７（ｂ）は、時刻ｔ＝Ｔ１において、雨滴が参照領域１０２_１に現れた状態を表している。又、図１７（ｃ）は、時刻ｔ＝Ｔ２において、ノイズレベルが上がった状態を表している。又、図１７（ｄ）は、時刻ｔ＝Ｔ３において、雨滴が参照領域１０２_８に現れた状態を表している。又、図１７（ｅ）は、時刻ｔ＝Ｔ３において参照領域１０２_８に現れた画素値の和が時刻ｔ＝Ｔ３だけで発生するノイズであり、そのノイズが時刻ｔ＝Ｔ４において消滅した場合を示している。

図１８は、画素値の総和と時間との関係を例示する図である。図１８（ａ）は、図１６に示す処理を行っていない場合において、単位時間当たりに一定量の降雨（雨滴付着）があった場合の画像センサ４３が出力する画素値の総和（輝度値の総和）と時間の関係を示している。なお、破線で示すＫｎ０×８は、参照領域１０２_１〜１０２_８で定常的に発生しているノイズの総和である。

図１８（ｂ）は、図１６に示す処理を行った場合において、降雨が図１７（ａ）から図１７（ｄ）に示す時間変化をし、それ以降は一定の降雨があった場合の参照領域１０２_１〜１０２_８の画素値の総和の時間的変化を示すグラフである。

図１８（ｂ）では、時刻ｔ＝Ｔ１までは何れの参照領域においても画素値の和が閾値Ｔｈ０を超えないので画素値の総和は０である。そして、時刻ｔ＝Ｔ１で参照領域１０２_１において画素値の和が閾値Ｔｈ０を超えるため、参照領域１０２_１における画素値の和が画素値の総和として出力される。なお、時刻ｔ＝Ｔ２において、出力（画素値の総和）の変化はない。

時刻ｔ＝Ｔ３で参照領域１０２_８において画素値の和が閾値Ｔｈ０を超えるため、参照領域１０２_１における画素値の和に参照領域１０２_８における画素値の和が加算されて、画素値の総和として出力される。以降の状態については図示しないが、参照領域１０２_１〜１０２_８毎に段階的に画素値の和が増加し、全て参照領域で画素値の和が閾値Ｔｈ０を越えたときに、図１８（ａ）と同様に画素値の総和が変化していくことになる。このように、図１６に示す処理を行うことにより、ノイズレベル（Ｋｎ０×８領域分）に埋もれた雨滴による画素値も検出できる。

ところで、図１７（ｄ）で説明したように、時刻ｔ＝Ｔ３での参照領域１０２_８における画素値の和が雨滴情報ではなく、時刻ｔ＝Ｔ３だけで発生するノイズである場合もあり得る。この場合には、図１７（ｅ）で説明したように、時刻ｔ＝Ｔ４で参照領域１０２_８のノイズがなくなるため、図１８（ｃ）に示すように、画素値の総和は時刻ｔ＝Ｔ２時点と同一レベルに戻る。

図１６に示す処理では、参照領域毎の画素値の和が閾値Ｔｈ０を超えるまで計算対象にならず、閾値Ｔｈ０を超えた途端に計算対象となるため、このような急激な変動を拾いやすい。このような結果に基づいて車のワイパーを動作させた場合、時刻ｔ＝Ｔ３のノイズに反応してワイパーが早く動いてしまい、その後すぐに停止する等の不安定な動作になるおそれがある。

このような不安定な動作のおそれは、現在及び過去の状況も考慮した演算を行い急激な変化を抑えるようにすることで解消できる。具体的には、画素値の総和に対する平均化処理を行うことにより解消できる。平均化処理の一例としては、移動平均処理を挙げることができる。移動平均処理等の平均化処理を行った場合、例えば、図１８（ｄ）に示す画素値の総和と時間との関係のように、時刻ｔ＝Ｔ４での画素値の総和の変化を図１８（ｃ）の場合よりも押さえることができる。なお、図１８（ｄ）において、時刻ｔ＝Ｔ１の立上りが多少なまるが、雨滴検出はされているので、閾値Ｔｈ０を下げれば最小雨滴検出についても問題は生じない。

図１９に移動平均処理の一例を示す。図１９の例では、時刻ｔにおける画素値の総和ＫＳ（ｔ）と1つ前の画素値の総和ＫＳ（ｔ−１）と更に1つ前の画素値の総和ＫＳ（ｔ−２）を用いて、ＫＨ（ｔ）＝１／３×ＫＳ（ｔ−２）＋１／３×ＫＳ（ｔ−１）＋１／３×ＫＳ（ｔ）を計算している。但し、ノイズの状況に応じて平均を取る画素値の総和の数を変化させてもよい。又、係数は１／３、１／３、１／３以外でもよく、実現したいフィルタの特性を考慮して、例えば、１／４、１／２、１／４等としてもよい。又、図示しない公知の平均化処理（ＩＩＲフィルタ等）を使用してもよい。

次に、短時間の間に図２０（ａ）〜図２０（ｃ）のように変化した場合を考える。図２０（ａ）は、時刻ｔ＝Ｔ４で降雨がない状態を表しており、Ｋｎ０は定常的に発生しているノイズである。図２０（ｂ）は、時刻ｔ＝Ｔ５で雨滴が全ての参照領域に現れた場合を示している。図２０（ｃ）は、時刻ｔ＝Ｔ６で全ての参照領域に現れた雨滴の量が更に増えた場合を示している。

図２０（ｃ）の後は、再び図２０（ａ）に示す時刻ｔ＝Ｔ４の状態に戻る場合もあるし、全ての参照領域に現れた雨滴の量が更に増える場合もある。図２０（ｃ）の後に図２０（ａ）に示す時刻ｔ＝Ｔ４の状態に戻る場合としては、例えば、対向車が深い水溜り上を走行したときのフロントガラス１０１への水はねや、急な夕立等が考えられる。

図２１は、上記の場合（時刻ｔ＝Ｔ４の状態に戻る場合）の画素値の総和と時間との関係を例示する図である。但し、図２１（ａ）は、図１９に示す移動平均処理（フィルタ処理）を行っていない場合の画素値の総和（雨滴量情報）であり、図２１（ｂ）は、図１９に示す移動平均処理（フィルタ処理）を行っている場合の画素値の総和（平均雨滴量情報）である。なお、平均雨滴量情報は、本発明に係る平均付着量情報の代表的な一例である。

図２１（ａ）に示すように、移動平均処理を行っていない場合には、時刻ｔ＝Ｔ５及び時刻ｔ＝Ｔ６で一気に画素値の総和が増えるため、時刻ｔ＝Ｔ４から時刻ｔ＝Ｔ５及びＴ６にかけて画素値の総和が急激に変化（上昇）する。このような場合には、フロントガラス１０１に大量の雨滴が付着して視界をさえぎるため、直ぐにワイパーを動作させる必要がある(スプラッシュ対応動作)。

一方、図２１（ｂ）に示すように、移動平均処理を行っている場合には、立上りがなまった波形（グラフ）となるため、直ぐにワイパーを動作させることができなくなる場合もあり得る。そこで、画素値の総和が急激に変化する場合には、画素値の総和と時間との関係を示す波形（グラフ）がなまらないようにすることが好ましい。

図２２は、雨滴情報の急激な変化に対応するための（波形（グラフ）がなまらないようにするための）具体的な処理を例示するブロック図である。図２２では、まず、移動平均処理手段７１で前述の移動平均処理を行うと共に、微分計算手段７２で差分計算処理を行う。差分計算処理とは、付着量情報の時間に対する変化の度合いを示す微分信号を計算することである。

具体的には、微分計算手段７２では、時刻ｔにおける画素値の総和ＫＳ（ｔ）と1つ前の画素値の総和ＫＳ（ｔ−１）との差分（単位時間の変化量）であるＫＤ（ｔ）＝−１×ＫＳ（ｔ−１）＋ＫＳ（ｔ）を計算する。微分計算手段７２での計算結果は比較手段７３のＡ端子に入力され、比較手段７３のＢ端子に入力される第２閾値ＴＨｓと比較される。

比較手段７３は、微分計算手段７２での計算結果が第２閾値ＴＨｓ以上の場合にはＣ端子から『１』をセレクタとして機能する選択手段７４のＳ端子に出力し、第２閾値ＴＨｓ未満の場合にはＣ端子から『０』を選択手段７４のＳ端子に出力する。なお、選択手段７４のＡ端子には移動平均処理後の画素値の総和（平均雨滴量情報）である移動平均値ＫＨ（ｔ）が入力されており、Ｂ端子には移動平均処理前の画素値の総和である時刻ｔにおける画素値の総和ＫＳ（ｔ）が入力されている。

選択手段７４は、比較手段７３からＳ端子に入力される信号が『０』の場合には、端子Ｃから出力ＫＯ（ｔ）として移動平均値ＫＨ（ｔ）を出力する。又、選択手段７４は、比較手段７３からＳ端子に入力される信号が『１』の場合には、端子Ｃから出力ＫＯ（ｔ）として時刻ｔにおける画素値の総和ＫＳ（ｔ）を出力する。このように、本実施の形態では、雨量の単位時間の変化量が第２閾値ＴＨｓ以上の場合には、移動平均処理後の画素値の総和を選択せずに、移動平均処理前の画素値の総和（現在の画素値の総和）を選択するようにしている。

図２３は、微分計算手段での差分計算処理の結果を例示する図である。図２３に示すように、第２閾値ＴＨｓを移動平均処理に影響を与えない程度に高めに設定することで、時刻ｔ＝Ｔ５及びＴ６では図２１（ｂ）の画素値の総和に代えて図２１（ａ）の画素値の総和が選択されるため、図２４の実線のような波形（グラフ）となる。つまり、なまることのない急激な変化が出力される。なお、図２４の破線は、比較用として、図２１（ｂ）の波形（グラフ）を示している。

なお、図２２の微分計算手段７２での差分計算処理は、検出したい変化に応じて係数を変えたり、使用する画素の範囲を広げたりしても構わない。又、差分計算処理に代えて、図示しない公知のラプラシアンフィルタ等の２次微分検出を行ってもよい。

以上の処理を、図２５及び図２６にまとめた。図２５に示すように、まず、ステップＳ２０１において、雨滴量情報算出手段６０は、所定の時間毎に（時刻ｔ＝Ｔ０、Ｔ１、Ｔ２、・・・）処理する画像フレームを読み込む。次に、ステップＳ２０２において、雨滴量情報算出手段６０は、画像センサ４３の雨滴検出領域１０２の画素を切り出す。

次に、雨滴量情報算出手段６０は、図１６に示した処理と同様にして各参照領域の画素値の和を算出し、更に画素値の総和を求め（ステップＳ２０３）、ｔ番目の画像フレームの画素値の総和ＫＳ（ｔ）を記憶する（ステップＳ２０４）。

次に、ステップＳ２０５において、雨滴量情報算出手段６０は、移動平均処理を実行する。例えば、図２６（ａ）のステップＳ３０１に示すように、移動平均処理手段７１は、４つの画像フレームの画素値の総和ＫＳ（ｔ−３）、ＫＳ（ｔ−２）、ＫＳ（ｔ−１）、及びＫＳ（ｔ）の平均を計算して移動平均値ＫＨ（ｔ）を算出する（式１）。但し、過去４つの画像フレームから移動平均値を算出するのは一例であり、過去２つ又は３つ、或いは過去５つ以上の画像フレームから移動平均値を算出しても構わない。

ＫＨ（ｔ）＝１／４ＫＳ（ｔ−３）＋１／４ＫＳ（ｔ−２）＋１／４ＫＳ（ｔ−１）＋１／４ＫＳ（ｔ）・・・・式１
次に、ステップＳ２０６において、雨滴量情報算出手段６０は、差分計算処理、比較、及び選択を実行する。例えば、図２６（ｂ）のステップＳ４０１に示すように、微分計算手段７２は、差分計算処理を行う。具体的には、式２に示すように、時刻ｔにおける画素値の総和ＫＳ（ｔ）から時刻ｔ−１における画素値の総和ＫＳ（ｔ−１）を減算し、時刻ｔにおける差分ＫＤ（ｔ）を算出する。但し、式２において、ｔ＞＝２、ＫＤ（１）＝０である。

ＫＤ（ｔ）＝ＫＳ（ｔ）−ＫＳ（ｔ−１）・・・・式２
そして、例えば、図２６（ｂ）のステップＳ４０２に示すように、比較手段７３は、差分ＫＤ（ｔ）と第２閾値ＴＨｓとを比較し、差分ＫＤ（ｔ）が第２閾値ＴＨｓ以上の場合には比較結果として『１』を出力する。又、差分ＫＤ（ｔ）が第２閾値ＴＨｓ未満の場合には比較結果として『０』を出力する。

そして、選択手段７４は、比較手段７３から『１』が入力された場合には、出力ＫＯ（ｔ）として、時刻ｔにおける画素値の総和ＫＳ（ｔ）を出力する。又、比較手段７３から『０』が入力された場合には、出力ＫＯ（ｔ）として、移動平均値ＫＨ（ｔ）を出力する。つまり、ＫＤ（ｔ）≧ＴＨｓのときはＫＯ（ｔ）＝ＫＳ（ｔ）であり、ＫＤ（ｔ）＜ＴＨｓのときはＫＯ（ｔ）＝ＫＨ（ｔ）である。

次に、ステップＳ２０７において、雨滴量情報算出手段６０は、全ての画像フレームの読み込みが終了したか否かを判定し、終了していない場合（Ｎｏの場合）にはステップＳ２０１〜Ｓ２０６の処理を繰り返す。又、全ての画像フレームの読み込みが終了した場合（Ｙｅｓの場合）には処理を終了する。

このように、画素値の総和に対する移動平均処理を導入することにより、雨滴情報の時間で変動するノイズ成分を除去して安定した雨滴検出が可能となる。又、移動平均処理前の画素値の総和と移動平均処理後の画素値の総和とを降雨量の大小に応じて適宜選択することにより、雨滴情報の急激な変化（スプラッシュ）に対しても反応速度を落とさずに雨滴検出が可能となる。

［スプラッシュへの対応とノイズの影響の低減］
ところで、図１８（ａ）では、各参照領域におけるノイズレベルを一定値であるＫｎ０としたが、実際のノイズレベルは環境や検出器のばらつきで変動するため一定値とはならない。そこで、例えば、変動するノイズレベルを測定し、その最大値を予測して、予測した最大値のノイズレベルを設定していた。そのため、実際の使用環境においてはノイズレベルが小さい場合でも、予め設定した最大値のノイズレベル以下の雨滴量を検出できない問題があった。

つまり、図１８（ａ）に示した各参照領域におけるノイズレベルＫｎ０は、予め予測した最大値のノイズレベルであり、実際のノイズレベルがＫｎ０よりも小さい場合でも、Ｋｎ０以下の雨滴量を検出できない問題があった。この問題は、加重平均処理（重み付け加算平均処理）を導入することにより解決できる。以下、この問題の解決方法について詳細に説明する。

図２７は、フロントガラスに付着した雨滴量に対する雨滴検出処理の出力をシミュレートしたグラフである。図２７において、縦軸は画素値の総和であり、横軸は単位時間である。単位時間とは、画像センサ４３が画像をサンプリングする時間（１フレーム毎の時間）であり、例えば１００ｍｓ程度とすることができる。単位時間が１００ｍｓである場合、図２７における横軸の最大値は、３１×１００ｍｓ＝３．１ｓとなる。

図２７において、ＫＳは画素値の総和を、Ｎは単位時間当たりのノイズ画素値を、Ｓは単位時間当たりの画素値を示している。ここで、画素値の総和は、前述のように、画像センサ４３において光電変換されたフロントガラス上の雨滴の付着量（面積）情報を、画素データに変換した値の総和であり、各参照領域における付着物の量を示す領域別付着物情報（画素値の和）を合算した値である。そこで、画素値の総和を合算付着物情報と称する場合がある。

又、単位時間当たりのノイズ画素値とは、単位時間毎に現れる電気的ノイズや外光ノイズ等のランダムノイズを表している。又、単位時間当たりの画素値とは、画像センサ４３から単位時間毎にサンプリングされた１フレーム毎の画素値を表している。時刻ｔにおける画素値の総和ＫＳ（ｔ）は、単位時間当たりの画素値Ｓ（ｔ）と単位時間当たりのノイズ画素値Ｎ（ｔ）との累積和となる。但し、実際には、単位時間のノイズ画素値Ｎは未知であり、単位時間当たりの画素値Ｓとの和になっているため、図２７に示すグラフのように分離することはできない。

なお、雨滴検出領域１０２の全領域に雨滴１０３が付着すると、それ以上画素値は上がらないため、画素値の総和は飽和状態となる。図２７では、時刻ｔ＝９の近辺で画素値の総和ＫＳが飽和状態となっている。

加重平均値ＫＪは、例えば、図２８に示す加重平均処理に関するブロック図により算出でき、以下の式３のように表される。

ＫＪ（ｔ）＝Ｆ × ＫＳ（ｔ）＋（１−Ｆ） × ＫＳ（ｔ−１） （ｔ≧２、ＫＪ（１）＝ＫＳ（１）、Ｆ：０〜１）・・・・式３
なお、各時刻の画素値の総和ＫＳを予めメモリに記憶させておくことにより、所定の時刻よりも後の情報を使って加重平均値ＫＪを算出することができる。又、加重平均値ＫＪは、３つ以上の時刻の画素値の総和から算出してもよい。

図２９は、加重平均差分処理を行うことにより直流成分のノイズを除去した場合のグラフである。図２９では、画素値の総和ＫＳ（ｔ）の変動の影響を小さくするため、式３においてＦ＝１／３２としている。図２９において、ＫＳは画素値の総和を、ＫＪは加重平均した画素値（加重平均値）を、ＫＯＳは出力画素値を示している。

図２９において、出力画素値ＫＯＳから直流分のノイズが除去されているのがわかる。なお、画素値の総和ＫＳの飽和状態が続くと徐々に出力画素値ＫＯＳは低下するが、通常はワイパー３６０が動作してフロントガラス１０１に付着していた雨滴１０３が除去され、雨滴の付着量がリセットされるので問題とはならない。

出力画素値ＫＯＳ（加重平均差分値）は、例えば、図３０に示す加重平均差分処理のブロック図により算出でき、以下の式４のように表される。

ＫＯＳ（ｔ）＝ＫＳ（ｔ）−ＫＪ（ｔ） （ＫＯＳ（ｔ）＜０のときは ＫＯＳ（ｔ）＝０とする）・・・・式４
図３１は、図２９の状態で、更に、出力画素値に対して移動平均処理を加えた場合のグラフである。図３１の出力画素値ＫＯＳ（加重平均差分値の移動平均値）では、図２９の出力画素値ＫＯＳ（加重平均差分値）と比べて、細かいノイズ(高周波ノイズ)が減衰していることがわかる。

図３２及び図３３は、雨滴情報の急激な変化（スプラッシュ）に対するシミュレーション結果を示すグラフである。図３２は、出力画素値に対して移動平均処理を加えているが、図２２で説明した差分計算処理を導入していない場合のグラフである。又、図３３は、出力画素値に対して移動平均処理を加え、更に図２２で説明した差分計算処理を導入した場合のグラフである。

図３２では、差分計算処理を導入していないため、単位時間当たりの画素値Ｓが時刻ｔ＝１１、１２、１３で飽和直前まで上昇しているにもかかわらず、出力画素値ＫＯＳはなだらかに変化している。

一方、図３３では、差分計算処理を導入しているため、差分計算処理の結果が所定の閾値以上の場合には、移動平均処理後の画素値の総和を選択せずに、移動平均処理前の画素値の総和（現在の画素値の総和）を選択する。そのため、図３３では、図３２に比べて、時刻ｔ＝１０、１１近辺における出力画素値ＫＯＳの波形なまりが解消され、時刻ｔ＝１１で出力画素値ＫＯＳは入力画素値である画素値の総和ＫＳに追従している。

なお、図３３において、時刻ｔ＝１２、１３以降では、出力画素値ＫＯＳが図３２と同様の状態に戻るが、通常はワイパー３６０が動作してフロントガラス１０１に付着していた雨滴１０３が除去され、雨滴の付着量がリセットされるので問題とはならない。

図３４及び図３５は、図３３の処理（雨滴情報の急激な変化に対応するための具体的な処理）を説明するフローチャートの例である。又、図３６は、図３３の処理を例示するブロック図である。なお、図３４において、図２５と同一処理の部分については同一符号を付し、その説明を省略する。図３６において、図２２と同一処理の部分については同一符号を付し、その説明を省略する。

図３４に示すフローチャートは、図２５に示すフローチャートのステップＳ２０４とステップＳ２０５との間に、ステップＳ５０１が追加されたものである。図３４のステップＳ５０１の具体的な処理は、図３５のステップＳ６０１に示されている。ステップＳ６０１において、図３６に示す加重平均差分処理手段７５は、図２８及び図３０並びに式３及び４で示したように、加重平均値ＫＪ（ｔ）を算出し、更に画素値の総和ＫＳ（ｔ）から加重平均値ＫＪ（ｔ）を減算して出力画素値ＫＯＳ（ｔ）を算出する。図３４におけるステップＳ５０１以前の処理及び以降の処理は、図２２及び図２５で説明した通りである。

ところで、ワイパー動作時やウィンドウガラスを拭いて雨滴を拭った場合等には、雨滴量が急激に低下するため、それに対応して画素値の総和も急激に低下する。図３７は、フロントガラスに付着した雨滴量が急激に低下した場合をシミュレートしたグラフであり、画素値の総和がゼロになった場合の出力画素値及び加重平均値の時間的変化を示している。

図３７において、時刻ｔ＝１１で画素値の総和ＫＳがゼロになったにもかかわらず、出力画素値ＫＯＳ及び加重平均値ＫＪはすぐにゼロにはならない。又、時刻ｔ＝１５では、画素値の総和ＫＳはゼロではないが、出力画素値ＫＯＳはゼロになっている。これは過去の画素値の総和を参照して加重平均値及び出力画素値を計算しているためである。

この場合、時刻ｔ＝１１〜１３では、画素値の総和ＫＳがゼロで雨滴がない（降雨状態ではない）にもかかわらず、出力画素値ＫＯＳは雨滴がある（降雨状態）という出力をし、時刻ｔ＝１５〜１７ではその逆の出力をしていることになる。そうすると、意図しない時にワイパーが動作する等の問題が起こり得る。

この問題は、雨滴量が急激に低下した場合に、出力画素値ＫＯＳをリセットすることにより解決できる。リセットとは、例えば、出力画素値ＫＯＳを所定の値にクランプするクランプ処理を意味する。図３８及び図３９は、クランプ処理を説明するフローチャートの例である。なお、図３８において、図３４と同一処理の部分については同一符号を付し、その説明を省略する。

図３８に示すフローチャートは、図３４に示すフローチャートのステップＳ２０６とステップＳ２０７との間に、ステップＳ７０１が追加されたものである。図３８のステップＳ７０１の具体的な処理は、図３９のステップＳ８０１〜ステップＳ８０３に示されている。まず、ステップＳ８０１において、雨滴量情報算出手段６０は、雨滴が払われたか否かを判定する。例えば、図１１に示すＣＰＵ６１が図１に示すワイパー制御ユニット３２０へワイパー３６０を動作させる信号や命令を送信する場合等に、雨滴が拭われたと判定される。

次に、ステップＳ８０１で雨滴が払われたと判定された場合（ＹＥＳの場合）には、ステップＳ８０２において、雨滴量情報算出手段６０は、移動平均処理を所定時間リセットする。例えば、移動平均処理の出力を所定時間ゼロに保持する。所定時間は、タップ数（乗算器の数）の時間以上とすることが好ましい。過去の時間の影響（後述の図４０の時刻ｔ＝９及び１０の影響）をリセットするためである。なお、図１９の例では、タップ数は３である。

次に、ステップＳ８０３において、雨滴量情報算出手段６０は、加重平均処理をリセットする。例えば、加重平均処理の出力をゼロに保持する。図３８におけるステップＳ７０１以前の処理及び以降の処理は、図２５で説明した通りである。なお、ステップＳ８０１で雨滴が払われていないと判定された場合（ＮＯの場合）には、ステップＳ８０２及びＳ８０３の処理は実行されない。

図３８及び図３９に示すクランプ処理を実行することにより、図３７のグラフは図４０のように変化する。図４０において、時刻ｔ＝１１で画素値の総和ＫＳがゼロになり、それに追従して出力画素値ＫＯＳ及び加重平均値ＫＪもゼロになっている。又、時刻ｔ＝１３から、画素値の総和ＫＳに追従して、出力画素値ＫＯＳが立ち上がっている。これにより、意図しない時にワイパが動作する等の問題が解消できる。

なお、図３４及び図３５並びに図３８及び３９に示した雨滴量情報算出手段６０による処理に対応するプログラムは、例えば、図１１に示す雨滴量情報算出手段６０のＲＯＭ６２に格納することができ、ＣＰＵ６１により実行することができる。或いは、雨滴量情報算出手段６０を画像解析ユニット５０内に設け、雨滴量情報算出手段６０による処理を、画像解析ユニット５０のＣＰＵ５１のプログラムとして、又は、ハードウェアロジック５４として、或いは、その混合形態として実行してもよい。

或いは、上記プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。或いは、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。又、上記プログラムを、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

このように、画素値の総和に対する加重平均差分処理を導入することにより、ノイズの影響の低減した（Ｓ／Ｎを向上した）雨滴検出が可能となる。又、加重平均差分処理後の画素値の総和（出力画素値）に対して移動平均処理を実行することにより、雨滴情報の時間で変動するノイズ成分を除去して安定した雨滴検出が可能となる。

更に、移動平均処理を実行した加重平均差分処理後の画素値の総和（出力画素値）と、移動平均処理を実行していない加重平均差分処理後の画素値の総和（出力画素値）とを、降雨量の大小に応じて適宜選択するようにする。これにより、雨滴情報の急激な変化（スプラッシュ）に対しても反応速度を落とさずに雨滴検出が可能となる。

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

例えば、上記実施の形態では、各参照領域の各々の画素値の和に基づいて雨滴情報を算出したが、各参照領域の各々の画素値の平均値に基づいて雨滴情報を算出してもよい。この場合にも、上記実施の形態と同様の効果が得られる。

又、上記実施の形態では、参照領域の各々の画素値の和が閾値Ｔｈ０を超えた場合に、その参照領域では雨滴がフロントガラスに付着していると判定した。しかし、参照領域の各々の画素値の和が閾値Ｔｈ０以上の場合に、その参照領域では雨滴がフロントガラスに付着していると判定してもよいことは言うまでもない。

１０、１０Ａ 雨滴検出装置
２０ 撮像ユニット
３０ 光源
４０ 撮像装置
４１ 撮像レンズ
４２ 光学フィルタ
４２ａ 基板
４２ｂ 分光フィルタ層
４２ｃ 偏光フィルタ層
４２ｄ ＳＯＧ（Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）層
４２ｅ 赤外光透過フィルタ
４３ 画像センサ
４４ センサ基板
４５ 信号処理部
５０ 画像解析ユニット
５１、６１ ＣＰＵ
５２、６２ ＲＯＭ
５３、６３ ＲＡＭ
５４、６４ ハードウェアロジック
５５ デジタルシグナルプロセッサ
５６、６６ａ、６６ｂ Ｉ／Ｏポート
５７、６７ａ、６７ｂ 通信インターフェース
６０ 雨滴量情報算出手段
６５ 導光部材
７１ 移動平均処理手段
７２ 微分計算手段
７３ 比較手段
７４ 選択手段
７５ 加重平均差分処理手段
１０１ フロントガラス
１０２ 雨滴検出領域
１０２_１〜１０２_Ｐ 参照領域
１０３ 雨滴
１０４ カバー
１１１ 車両検出用画像領域
１１２、１１３ 雨滴検出用画像領域
１１５ 先行車両
１１６ 白線
１１７ 路面
１１８ 空
３００ 移動体機器制御システム
３１０ ヘッドランプ制御ユニット
３２０ ワイパー制御ユニット
３３０ 車両走行制御ユニット
３５０ ヘッドランプ
３６０ ワイパー
４００ 自車両

特開平１０−１４８６１８号公報 特開平１０−２６１０６４号公報

Claims (17)

1. 付着物が付着する対象物の所定領域に光を照射する光照射手段と、
   前記光照射手段から照射された前記光の前記付着物からの反射光を複数の画素で受光し、受光した前記反射光を画像データに変換して出力する撮像手段と、
   前記撮像手段から得られた前記画像データを処理し、前記付着物の付着量情報を算出する付着量情報算出手段と、を有し、
   前記付着量情報算出手段は、
   前記付着物を検出するための画像領域を複数の参照領域に分割し、所定の時間毎に、各参照領域における付着物の量を示す領域別付着物情報を算出して所定の閾値と比較し、比較した結果を用いて前記領域別付着物情報を合算して前記付着量情報を算出する算出手段と、
   所定の時刻における付着量情報と前記所定の時刻より前の付着量情報に対して平均化処理を行って平均付着量情報を算出する平均化処理手段と、
   前記所定の時刻における付着量情報と前記平均付着量情報との何れかを選択して出力する選択手段と、を有する付着物検出装置。
2. 付着物が付着する対象物の所定領域に光を照射する光照射手段と、
   前記光照射手段から照射された前記光の前記付着物からの反射光を複数の画素で受光し、受光した前記反射光を画像データに変換して出力する撮像手段と、
   前記撮像手段から得られた前記画像データを処理し、前記付着物の付着量情報を算出する付着量情報算出手段と、を有し、
   前記付着量情報算出手段は、
   前記付着物を検出するための画像領域を複数の参照領域に分割し、所定の時間毎に、各参照領域における付着物の量を示す領域別付着物情報を算出して所定の閾値と比較し、比較した結果を用いて前記領域別付着物情報を合算して合算付着物情報を算出し、
   更に、所定の時刻における合算付着物情報と所定の時間範囲の合算付着物情報に対して加重平均処理を行って加重平均値を算出し、所定の時刻における合算付着物情報から前記加重平均値を減算した加重平均差分値を前記付着量情報とする付着物検出装置。
3. 前記選択手段が出力した前記所定の時刻における付着量情報と前記平均付着量情報との何れかを、複数の閾値と比較する手段を有する請求項１記載の付着物検出装置。
4. 前記平均化処理は、移動平均処理である請求項１又は３記載の付着物検出装置。
5. 前記平均化処理は、ＩＩＲフィルタによる処理である請求項１又は３記載の付着物検出装置。
6. 前記付着量情報算出手段は、所定の時間毎に算出した前記付着量情報の時間に対する変化の度合いを示す微分信号を計算する微分計算手段と、
   前記微分計算手段の計算した前記微分信号を第２の閾値と比較し、比較結果を前記選択手段に出力する比較手段と、を有し、
   前記選択手段は、前記比較結果に基づいて、所定の時刻における付着量情報と前記平均付着量情報との何れかを選択する請求項１、３、４、又は５記載の付着物検出装置。
7. 前記加重平均差分値を複数の閾値と比較する手段を有する請求項２記載の付着物検出装置。
8. 前記所定の時間範囲の合算付着物情報は、前記所定の時刻より前の合算付着物情報である請求項２又は７記載の付着物検出装置。
9. 前記付着量情報算出手段は、前記付着物が除去された場合に、前記加重平均処理をリセットする請求項２、７、又は８記載の付着物検出装置。
10. 前記付着量情報算出手段は、
    所定の時刻における加重平均差分値と前記所定の時刻より前の加重平均差分値に対して移動平均処理を行って移動平均値を算出し、前記移動平均値を前記付着量情報とする請求項２、７、８、又は９記載の付着物検出装置。
11. 前記付着量情報算出手段は、前記付着物が除去された場合に、前記移動平均処理をリセットする請求項１０記載の付着物検出装置。
12. 前記付着量情報算出手段は、所定の時刻における加重平均差分値と前記移動平均値との何れかを選択して出力する選択手段を有する請求項１０又は１１記載の付着物検出装置。
13. 前記付着量情報算出手段は、所定の時間毎に算出した前記加重平均差分値の時間に対する変化の度合いを示す微分信号を計算する微分計算手段と、
    前記微分計算手段の計算した前記微分信号を第２の閾値と比較し、比較結果を前記選択手段に出力する比較手段と、を有し、
    前記選択手段は、前記比較結果に基づいて、所定の時刻における加重平均差分値と前記移動平均値との何れかを選択する請求項１２記載の付着物検出装置。
14. 前記付着量情報算出手段は、隣接する前記参照領域の境目を包含する他の参照領域に基づいて前記付着量情報を算出する請求項１乃至１３の何れか一項記載の付着物検出装置。
15. 請求項１乃至１４の何れか一項記載の付着物検出装置を移動体に搭載し、前記付着物検出装置で検出した前記付着量情報に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御システム。
16. 対象物に付着する付着物の付着量情報の算出をコンピュータに実行させるためのプログラムであって、
    付着物が付着する対象物の所定領域に光を照射する光照射ステップと、
    前記光照射ステップで照射された前記光の前記付着物からの反射光を複数の画素で受光し、受光した前記反射光を画像データに変換して出力する撮像ステップと、
    前記撮像ステップで得られた前記画像データを処理し、前記付着物の付着量情報を算出する付着量情報算出ステップと、を有し、
    前記付着量情報算出ステップは、
    前記付着物を検出するための画像領域を複数の参照領域に分割し、所定の時間毎に、各参照領域における付着物の量を示す領域別付着物情報を算出して所定の閾値と比較し、比較した結果を用いて前記領域別付着物情報を合算して前記付着量情報を算出するステップと、
    所定の時刻における付着量情報と前記所定の時刻より前の付着量情報に対して平均化処理を行って平均付着量情報を算出するステップと、
    前記所定の時刻における付着量情報と前記平均付着量情報との何れかを選択して出力するステップと、を有することを特徴とするプログラム。
17. 対象物に付着する付着物の付着量情報の算出をコンピュータに実行させるためのプログラムであって、
    付着物が付着する対象物の所定領域に光を照射する光照射ステップと、
    前記光照射ステップで照射された前記光の前記付着物からの反射光を複数の画素で受光し、受光した前記反射光を画像データに変換して出力する撮像ステップと、
    前記撮像ステップで得られた前記画像データを処理し、前記付着物の付着量情報を算出する付着量情報算出ステップと、を有し、
    前記付着量情報算出ステップは、
    前記付着物を検出するための画像領域を複数の参照領域に分割し、所定の時間毎に、各参照領域における付着物の量を示す領域別付着物情報を算出して所定の閾値と比較し、比較した結果を用いて前記領域別付着物情報を合算して合算付着物情報を算出し、
    更に、所定の時刻における合算付着物情報と所定の時間範囲の合算付着物情報に対して加重平均処理を行って加重平均値を算出し、所定の時刻における合算付着物情報から前記加重平均値を減算した加重平均差分値を前記付着量情報とすることを特徴とするプログラム。

Images