JP4257627B2

JP4257627B2 - Raindrop detector

Info

Publication number: JP4257627B2
Application number: JP33003099A
Authority: JP
Inventors: 祐一高橋; 太田崎
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 1999-11-19
Filing date: 1999-11-19
Publication date: 2009-04-22
Anticipated expiration: 2019-11-19
Also published as: JP2001147278A

Description

【０００１】
【発明の属する技術分野】
本発明は、雨滴検出装置に関し、特に車両のフロントガラスに付着する雨滴を検出し、車両に備えられるワイパを自動的に駆動させることが可能な雨滴検出装置に関するものである。
【０００２】
【従来の技術】
車両、例えば自動車には、フロントガラスに付着した雨滴を払拭し、前記フロントガラスにおける視界状況を回復させるワイパが備えられている。車両運転者は車両に備えられているワイパスイッチを操作することによって手動により前記ワイパを動かすことが現状である。しかしながら、ここ最近では、前記ワイパスイッチを操作しなくとも前記フロントガラスに付着した雨滴を払拭する雨滴検出装置が開発されている。
【０００３】
このような雨滴検出装置には、光学式雨滴センサを用いたものや振動検出式雨滴センサを備えたものがある。前記光学式雨滴センサを用いた雨滴検出装置は、車両の所定箇所（例えばボンネット）に受光素子及び発光素子を有する光学式センサを備え、受光素子及び発光素子間の光路を遮る雨滴を前記受光素子の受光状態により検出し雨量を推定するものである。また、前記振動検出式雨滴センサを用いた雨滴検出装置は、車両の所定箇所（例えばボンネット）に感圧センサを備え、前記感圧センサに衝突する雨滴を前記感圧センサの電圧出力により検出し雨量の推定を行うものである。
【０００４】
【発明が解決しようとする課題】
前述した光学式センサや振動式センサを備える雨滴検出装置は、何れにしてもフロントガラスに直接付着した雨滴を検出するものではなく、このため前記各センサからの出力状態と実際の前記フロントガラスに付着した雨量とで差が生じ、適切なワイパ制御が得られないといった問題点を有している。
【０００５】
そこで、本発明は、前述した問題点に着目し、フロントガラスに付着した雨滴を実際に検出し、適切な雨量の検出が可能な雨滴検出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明は、前記課題を解決するため、車両のフロントガラスを払拭するワイパの払拭領域を含むように前記フロントガラス越しに前記車両の前方を撮影する撮影手段と、前記撮影手段によって撮影された過去の画像データと、前記撮影手段によって撮影された今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づき前記フロントガラスに付着した雨滴を検出する雨滴判定手段と、を備えた雨滴検出装置であって、前記雨滴判定手段は、前記移動方向の判定において、少なくとも上方方向であると判断した場合に前記フロントガラスに付着した前記雨滴として検出してなるものである。
【０００７】
また、車両のフロントガラスを払拭するワイパの払拭領域を含むように前記フロントガラス越しに前記車両の前方を撮影する撮影手段と、前記撮影手段によって撮影された雨滴を含む画像においてエッジの抽出を行い、前記エッジ抽出された領域について２値化処理を行い、２値化された領域をグループ化するとともに、前記グループ化された領域に基づき複数の形状特徴量を求め、これらの前記形状特徴量の比較結果に基づいて前記フロントガラスに付着した前記雨滴となる画像データを求める第１雨滴判定を行い、前記第１雨滴判定に伴う過去の画像データと、前記第１の雨滴判定に伴う今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づき前記フロントガラスに付着した前記雨滴を検出する第２雨滴判定を行う雨滴判定手段と、を備えた雨滴検出装置であって、前記雨滴判定手段は、前記移動方向の判定において、少なくとも上方方向であると判断した場合に前記フロントガラスに付着した前記雨滴として検出してなるものである。
【０００８】
また、前記撮影手段により取り込まれる画像の切り出し範囲を、前記車両が走行する路面に設定してなるものである。
【０００９】
また、前記雨滴判定手段は、前記切り出し範囲内において、前記雨滴の個数、もしくは前記雨滴と判断された領域の面積の総和によって前記フロントガラスに付着した前記雨滴の量を検出してなるものである。
【００１０】
また、前記雨滴判定手段の前記第１雨滴判定において、前記グループ化された領域の輪郭に接する包囲領域を求めるとともに、前記包囲領域の長手方向の長さに基づいて基準領域を求め、前記基準領域の面積と、前記グループ化された領域の面積とを比較し、この比較結果に基づき前記フロントガラスに付着した前記雨滴を検出してなるものである。
【００１１】
また、前記雨滴判定手段の前記第１の雨滴判定において、前記グループ化された領域の長手方向の長さに基づき基準領域を求め、前記基準領域の面積と、前記グループ化された領域の面積とを比較し、この比較結果に基づき前記フロントガラスに付着した前記雨滴を検出してなるものである。
【００１２】
また、前記雨滴判定手段によって求められる前記雨滴の量に応じて、前記ワイパの動作を制御するワイパ制御手段を備えてなるものである。
【００１３】
また、前記ワイパ制御手段は、前記雨滴判定手段によって求められる前記雨滴の量に応じて、前記ワイパにおけるオン／オフ動作，前記ワイパの間欠動作と連続動作との切り換え，前記間欠動作の時間調整及び前記連続動作における動作スピードの調整の少なくとも一つを制御してなるものである。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面に基づき説明する。
【００１５】
図１において、雨滴検出装置１は、ＣＣＤカメラ（撮影手段）２と、雨滴判定手段３とワイパ制御手段４とから構成されている。
【００１６】
ＣＣＤカメラ２は、車両（例えば、自動車）５内に配設されるルームミラー（図示しない）の近傍に配設され、フロントガラス６越しに車両５の前方画像を撮影する。ＣＣＤカメラ２は、図２及び図３に示すように、例えば６４０×４８０画素からなる検出領域を有し、この内、前方画像の路面Ｒ部分のみの画像データを取り込む、例えば１６０×１２０画素からなる撮像エリア７を備えている。尚、撮像エリア７の切り出し範囲は、雨滴判定手段４によって設定されるもので、車両５に備えられるワイパ８によるフロントガラス６の払拭領域で、かつ路面Ｒ部分に設定される。尚、図３は、フロントガラス６に付着した雨滴９を示すものである。
【００１７】
雨滴判定手段３は、画像処理手段３ａと、雨滴検出装置１における制御手段であるＣＰＵ３ｂと、ＲＯＭ３ｃと、ＲＡＭ３ｄとから構成される。
【００１８】
画像処理手段３ａは、撮像エリア７によりフロントガラス６越しに撮影される前方画像、即ち、雨滴９を含む画像をフィルタ処理（平均値フィルタ）してノイズ除去するとともに、取り込まれた画像における強エッジ領域のエッジ抽出を行い、前記エッジ抽出された領域について２値化処理を行うものである。
【００１９】
ＣＰＵ３ｂは、画像処理手段３ａにより２値化された領域を所定の画素単位でグループ化（後で詳述する）し、前記グループ化された領域に基づき複数の形状特徴量を求め、これらの形状特徴量の比較処理を行うことでフロントガラス６に付着した雨滴９である画像データを求める第１雨滴判定を行い、前記第１雨滴判定に伴う過去の画像データと、前記第１雨滴判定に伴う今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づきフロントガラス６に付着した雨滴９を検出する第２雨滴判定（後で詳述する）を行って、フロントガラス６に付着した雨滴９を検出するとともに、フロントガラス６に付着した雨量を求め、この雨量に基づきフロントガラス６を払拭するワイパ８をワイパ制御手段４を介し制御するものである。
【００２０】
ＲＯＭ３ｃは、前述したＣＰＵ３ｂによる第１，第２雨滴判定や雨量判定等を実行するためのプログラムが記憶され、このプログラムは必要に応じてＣＰＵ３ｂによって読み出される。
【００２１】
ＲＡＭ（記憶手段）３ｄは、ＣＰＵ３ｂの演算結果や、前記第１雨滴判定の判定結果等を一時的に記憶するものである。
【００２２】
ワイパ制御手段４は、雨滴判定手段３から出力される制御信号に基づきワイパ８を動作させる駆動モータを制御するものであり、ワイパ８のオン／オフ動作、ワイパ８の間欠駆動と連続駆動との切り換え、前記間欠駆動における時間間隔可変制御または前記連続駆動における駆動速度可変制御（動作スピードの調整）等を雨滴判定手段３の雨量の判定結果に基づきコントロールするものである。
【００２３】
次に、図４から図８を用いて、雨滴検出装置１における雨滴判定手段３の雨滴検出及び雨量判定の処理手順を説明する。
【００２４】
雨滴判定手段３は、車両５に搭載される自動切換スイッチ１０による入力の有無を確認し、自動雨量検出モードであるか否かの判定を行い（ステップＳ１）、自動雨量検出モードであると判断すると、図３で示す撮像エリア７内の雨滴９を含む風景を画像データとして取り込み、前記画像データの平均処理（平均値フィルタ処理）を行うことでノイズ除去処理を実行する（ステップＳ２）。
【００２５】
雨滴判定手段３は、ノイズ除去処理を施した後、撮像エリア７の雨滴９を含む画像において、エッジ強度の計算（微分処理）を行うとともに、強エッジ領域の抽出を行うエッジ抽出処理を実行する（ステップＳ３）。
【００２６】
雨滴判定手段３は、エッジ抽出処理で求めたエッジ強度が、所定値以上である画素を黒画素とし、それ以外の画素を白画素とする２値化処理を実行する（ステップＳ４）。図５は、撮像エリア７の雨滴９を含む画像を２値化処理した例を示すものである。
【００２７】
雨滴判定手段３は、図５のように２値化処理された撮像エリア７内において、上下方向，左右方向並びに斜め方向に連なるように存在する全ての黒画素についてグループ化するラベリング処理を実行する（ステップＳ５）。雨滴判定手段４は、このラベリング処理において、黒画素が連なるように存在する場合は、そのブロックを１グループ化し、また、白画素を隔てて黒画素が連なるように存在する場合は、それぞれのブロックに分けてグループ化するものである。
【００２８】
雨滴判定手段３は、ラベリング処理の実行後、撮像エリア７内における２値化されたグループ（以下、２値化領域という）において、１グループ単位毎に形状特徴量を求める（ステップＳ６）。本発明の実施の形態における形状特徴量の算出方法は以下の通りである。
【００２９】
雨滴判定手段３は、図５及び図６に示すようなグループ化された２値化領域１１について、１グループ単位毎に、輪郭に接する正方形もしくは長方形形状の包囲領域１２を求めるとともに、包囲領域１２の各辺における長手方向となる長辺ａの長さの２乗の面積ｓ１（＝ａ×ａ）となる基準領域１３を求め、この基準領域１３の面積（形状特徴量）ｓ１と、２値化領域１１の面積（形状特徴量）ｓ２とから、下記に示す式によって非線分度Ｌを算出する（ステップＳ７）。
【００３０】
非線分度Ｌ＝グループ化された２値化領域の面積（黒画素数）／基準領域の面積
【００３１】
本発明において、非線分度Ｌを算出することは、フロントガラス６に付着した雨滴の形状が円もしくは楕円であることに着目し、正方形の面積（基準領域１２の面積）に対する雨滴の面積（グループ化された２値化領域１１の面積）の比（非線分度Ｌ）、即ち基準領域１３の面積ｓ１に対する２値化領域１１の面積ｓ２の比を求めることによって、撮像エリア７における円もしくは楕円形状の雨滴９のみを検出することを目的とするものである。
【００３２】
次に、雨滴判定手段３は、ステップＳ７で求められた非線分度Ｌから雨滴９であるか否かの第１雨滴判断を行う（ステップＳ８）。雨滴判定手段３は、非線分度が０．５以上の場合（Ｌ≧０．５）、撮像エリア７内におけるフロントガラス６に付着した雨滴９であると判断し（円や楕円形状の場合は非線分度Ｌは０．５以上になる）、また非線分度が０．５を下回る場合（Ｌ＜０．５）、撮像エリア７内における撮像が路面の白線やその他の物体等の線状物体によるノイズであると判断する。
【００３３】
雨滴判定手段３は、ステップＳ８において、非線分度Ｌが０．５以上であると判断した２値化領域（画像データ）１１について、第２雨滴判定を実行すべく２値化領域１１の移動方向を算出する（ステップＳ９）。
【００３４】
尚、雨滴判定手段４は、ステップＳ８において、非線分度Ｌの判定により２値化領域１１が雨滴でないと判断した場合は（Ｌ＜０．５）、この２値化領域１１を非雨滴領域として判断し無視する（ステップＳ１０）。
【００３５】
ステップＳ１１における第２雨滴判定について図７及び図８を用いて説明する。図７は、雨滴判定手段３がステップＳ８により雨滴９であると判断した２値化領域１１が、路面Ｒに描かれている文字や白線等によるノイズである場合を示す図であって、図８は、雨滴判定手段３がステップＳ８により雨滴９であると判断した２値化領域１１が、実際の雨滴である場合を示す図である。
【００３６】
雨滴判定手段３は、前回（過去）のステップＳ８による第１雨滴判定において、雨滴９と判断された２値化領域（過去の画像データ）１１ａ（以下、前回の２値化領域という）と、今回のステップＳ８による雨滴判定において、雨滴９と判断された２値化領域（今回の画像データ）１１ｂ（以下、今回の２値化領域という）とを比較し、前回の２値化領域１１ａより今回の２値化領域１１ｂが、例えば下方方向に移動している場合（図７（ａ），（ｂ）参照）、路面Ｒに描かれている文字や白線等によるノイズである非雨滴領域であると判断し、ステップＳ１０に進む（ステップＳ１１）。
【００３７】
また、雨滴判定手段３は、前回の２値化領域１１ａと、今回の２値化領域１１ｂとを比較し、前回の２値化領域１１ａより今回の２値化領域１１ｂが、例えば上方方向に移動している場合（図８（ａ），（ｂ）参照）、フロントガラス６に付着している雨滴９であると判断する。
【００３８】
尚、前述したステップＳ１１の第２雨滴判定は、撮像エリア７により入力される画像データが、路面Ｒを含むデータであるため、車両５が走行している場合において路面Ｒに関する撮像（２値化領域１１）が撮像エリア７における下方方向へ移動することなり、これに対し車両５が走行している場合において雨滴（２値化領域１１）９が、フロントガラス６に付着した位置で止まっているか、上方方向に移動もしくは水平方向の移動の何れかであることに着目した判定である。従って、ステップＳ８の第２雨滴判定において、上方方向を雨滴であると判定しているが、その場で止まっている２値化領域や水平方向に移動した２値化領域に関しても雨滴９であると判定する。
【００３９】
ステップＳ１１における雨滴判定手段３の移動方向の判定において、例えば形状マッチングによる移動ベクトルの推定によって雨滴９であるか否かの判定を行うものである。例えば、撮像エリア７内において、第１雨滴判定によって求められた前回の２値化領域１１ａの検出位置に最も近い距離で、かつ前回の２値化領域１１ａと総面積が略同等な２値化領域を予め定められた領域内において捜査することで、今回の２値化領域１１ｂが何れの方向に移動したが判定できることになる。
【００４０】
前述した第２雨滴判定により、雨滴９であると判断された２値化領域１１は、雨滴判定手段３により次なる処理が施される。雨滴判定手段３は、雨滴９と判定した２値化領域１１の面積ｓ２もしくは２値化領域１１における画素数を求め、雨滴判定手段３が有するＲＡＭ３ｄに一時的に保管するとともに、撮像エリア７内において雨滴９であると判断された２値化領域１１における総面積もしくは総画素数（ΣＳ）を求める（ステップＳ１２）。
【００４１】
雨滴判定手段３において、総面積もしくは総画素数の算出は、撮像エリア７内の全ての２値化領域１１における判定（第１雨滴判定及び第２雨滴判定）が終了するまで繰り返し（ステップＳ６〜ステップＳ１２）実行される（ステップＳ１３）。
【００４２】
雨滴判定手段３は、撮像エリア７内における全てのグループ化した２値化領域１１の判定が終了し、撮像エリア７内における総面積もしくは総画素数の算出が終了すると、フロントガラス６に付着した雨量の判定を行う（ステップＳ１４）。この雨量判定は、ワイパ８における間欠動作及び連続動作の切換制御を行うことを目的とするものである。
【００４３】
雨滴判定手段３は、ステップＳ１４における雨量判定において、ステップＳ１２で算出された総面積もしくは総画素数と、雨滴判定手段３が有するＲＯＭ３ｃに予め記憶された設定値Ａとを比較し、総面積もしくは総画素数が設定値Ａ以上（ΣＳ≧Ａ）であると判断した場合、ワイパ８が連続駆動する制御信号をワイパ制御手段４に出力し（ステップＳ１５）、また、総面積もしくは総画素数と設定値Ａとを比較し、総面積もしくは総画素数が設定値Ａより小さい（ΣＳ＜Ａ）と判断した場合、ワイパ８が間欠駆動する制御信号をワイパ制御手段４に出力することで（ステップＳ１６）、ワイパ９の連続駆動と間欠駆動と切り換えるものである。
【００４４】
前述した処理を所定周期により繰り返し実行することで、雨滴９の検出及び雨量判定に伴うワイパ８の自動制御を可能とする。
【００４５】
尚、ステップＳ１４からステップＳ１６において、雨滴判定手段３はワイパ８の連続動作と間欠動作を単に切り換えるものであるが、雨滴判定手段３は、ステップＳ１４において、ワイパ８の駆動方式を間欠動作と連続動作との何れかであると判断した後、それぞれの駆動方式において細分化した複数の設定値を設け、これらの設定値と、グループ化した２値化領域１１の総面積もしくは総画素数とを比較処理することによって、ワイパ８の間欠駆動の時間間隔可変制御及び連続駆動の駆動速度可変制御が可能となるものである。また、ステップＳ１４の雨量判定後において、単なるワイパ８のオン／オフ（動作／停止）制御とすることも可能である。
【００４６】
かかる雨滴検出装置１は、ＣＣＤカメラ２により車両のフロントガラス６越しに前方風景を撮影し、ＣＣＤカメラ２によって取り込まれた画像においてエッジの抽出を行い、前記エッジ抽出された領域について２値化処理を行うとともに、前記２値化された領域をグループ化し、前記グループ化された２値化領域１１に基づき複数の形状特徴量を求め、こられの形状特徴量の比較結果に基づいてフロントガラス６に付着した雨滴９を検出する第１雨滴判定を行い、前記第１雨滴判定に伴う過去の画像データと、前記第１雨滴判定に伴う今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づき前記フロントガラス６に付着した雨滴９を検出する第２雨滴判定を行うようにしているため、フロントガラス６に付着した実際の雨滴９を適切に検出することができ、雨量の判定も容易に行うことができるため、ワイパ８の自動駆動制御を良好に行うことが可能となる。
【００４７】
また、雨滴検出装置１は、フロントガラス６に付着した雨滴が円や楕円形状であることに着目し、グループ化された２値化領域１１の輪郭に接する包囲領域１２を求めるとともに、包囲領域１２の長手方向の長さ、即ち包囲領域１２の各辺における長手方向となる長辺ａの長さの２乗の面積ｓ１となる基準領域１３を求め、この基準領域１３の面積ｓ１と、２値化領域１１の面積ｓ２とを比較し、正方形の基準領域１３の面積ｓ１に対する２値化領域１１の面積ｓ２の比を求めることによって、撮像エリア７における円もしくは楕円形状の雨滴９のみを検出することが可能となる。
【００４８】
また、雨滴検出装置１は、グループ化された２値化領域１１の画素数（雨滴の個数）、もしくは２値化領域１１の面積の総和（雨滴と判断された領域の面積の総和）によってフロントガラス６に付着した雨滴９の量（雨量）を検出することで、ワイパ８におけるオン／オフ動作、ワイパ８の間欠動作及び連続動作の切り換え、前記間欠駆動の時間間隔可変制御、連続駆動の駆動速度可変制御等をワイパ制御手段４を介して制御することができる。
【００４９】
また、雨滴検出装置１は、ＣＣＤカメラ２により取り込まれる画像の切り出し範囲を、フロントガラス６を払拭するワイパ８の払拭領域で且つ車両５が走行する路面Ｒに設定することで、雨滴９以外の標識や看板等のノイズとなる物体を撮影することが無くなることから、雨滴判定手段３による雨滴判定における誤判定を防止することが可能となる。
【００５０】
尚、本発明の実施の形態では、雨滴判定手段３によってグループ化された２値化領域１１の輪郭に接する包囲領域１２を求めるとともに、包囲領域１２の各辺における長手方向となる長辺ａの長さの２乗から求まる面積ｓ１となる基準領域１３を求めるようにしたが、本発明は、グループ化された２値化領域１１の長手方向の長さ、例えば２値化領域１１の最も長手方向となる対角線の長さの２乗から求まる面積から基準領域を求め、この基準領域の面積と、前記グループ化された２値化領域１１の面積とを比較し、この比較結果に基づきフロントガラス６に付着した雨滴９を検出するようにしても良い。
【００５１】
また、本発明の実施の形態における雨滴判定手段３は、面積を形状特徴量としたが、例えば、楕円の縦の長さと横の長さとをそれぞれ形状特徴量とし、この縦横比に基づく楕円の扁平率によって雨滴９も検出するものであってもよい。また他の形状特徴量としては、包囲領域１２の対角線長や２値化領域１１の円周長等が挙げられる。
【００５２】
また、本発明の実施の形態における雨滴判定手段３の第１雨滴判定において、ステップＳ６により形状特徴量の算出を行っているが、この処理中において、包囲領域１２の長手方向となる長辺ａの長さに、許容範囲（例えば、４画素≦長辺ａ≦３２画素）を設け、この許容範囲に長辺ａが入っているか否かの判定を加えることで、雨滴９以外の撮像が除去が可能となり、更に適切な雨滴検出が可能となる。
【００５３】
また、本発明の実施の形態における雨滴判定手段３では、第２雨滴判定において、形状マッチングによる移動ベクトルの推定によって２値化領域の移動方向を求めるものであったが、この他に画像データである輝度データに基づいたオプティカルフローによって２値化領域の移動方向を求めることができる。
【００５４】
また、本発明の実施の形態では、雨滴判定手段３による第１，第２雨滴判定によってフロントガラス６に付着した雨滴９を検出する雨滴検出装置１であったが、本発明は、雨滴検出装置の使用環境によっては、ＣＣＤカメラ等の撮影手段によって撮影された過去の画像データと、前記撮影手段によって撮影された今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づき前記フロントガラスに付着した雨滴を検出するだけのものであっても良い。
【００５５】
【発明の効果】
本発明は、車両のフロントガラスを払拭するワイパの払拭領域を含むように前記フロントガラス越しに前記車両の前方を撮影する撮影手段と、前記撮影手段によって撮影された過去の画像データと、前記撮影手段によって撮影された今回の画像データとを比較し、前記過去の画像データに対する前記今回の画像データの移動方向を求め、前記移動方向に基づき前記フロントガラスに付着した雨滴を検出する雨滴判定手段と、を備えた雨滴検出装置であって、前記雨滴判定手段は、前記移動方向の判定において、少なくとも上方方向であると判断した場合に前記フロントガラスに付着した前記雨滴として検出する雨滴検出装置であり、前記フロントガラスに付着した実際の雨滴を適切に検出することができ、雨量の判定も容易に行うことができるため、ワイパの自動駆動制御を良好に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示す雨滴検出装置のブロック図。
【図２】同上実施の形態の撮像手段により撮影される画像を示す図。
【図３】同上実施の形態の前記画像における切り出し範囲を示す図。
【図４】同上実施の形態の雨滴判定手段による処理方法を示す図。
【図５】同上実施の形態の第１雨滴判定を示す図。
【図６】同上実施の形態の第１雨滴判定を示す拡大図。
【図７】同上実施の形態の第２雨滴判定を示す図。
【図８】同上実施の形態の第２雨滴判定を示す図。
【符号の説明】
１雨滴検出装置
２ＣＣＤカメラ（撮影手段）
３雨滴判定手段
３ａ画像処理手段
３ｂＣＰＵ
３ｃＲＯＭ
３ｄＲＡＭ
４ワイパ制御手段
５車両
６フロントガラス
７撮像エリア
８ワイパ
９雨滴
１１グループ化された２値化領域
１１ａ過去の２値化領域（過去の画像データ）
１１ｂ今回の２値化領域（今回の画像データ）
１２包囲領域
１３基準領域
ｓ１基準領域の面積
ｓ２２値化領域の面積
Ｌ非線分度
Ｒ路面[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a raindrop detection device, and more particularly to a raindrop detection device capable of detecting raindrops attached to a windshield of a vehicle and automatically driving a wiper provided in the vehicle.
[0002]
[Prior art]
A vehicle, for example, an automobile, is provided with a wiper that wipes raindrops attached to a windshield and restores the visibility of the windshield. Currently, a vehicle driver manually moves the wiper by operating a wiper switch provided in the vehicle. However, recently, a raindrop detection device has been developed that wipes raindrops adhering to the windshield without operating the wiper switch.
[0003]
Such raindrop detection devices include those using an optical raindrop sensor and those equipped with a vibration detection raindrop sensor. The raindrop detection apparatus using the optical raindrop sensor includes an optical sensor having a light receiving element and a light emitting element at a predetermined location (for example, a hood) of a vehicle, and the light receiving element receives raindrops that block an optical path between the light receiving element and the light emitting element. The amount of rain is detected and detected according to the light receiving state. The raindrop detection apparatus using the vibration detection type raindrop sensor includes a pressure sensor at a predetermined position (for example, a hood) of a vehicle, and detects a raindrop that collides with the pressure sensor by a voltage output of the pressure sensor. Estimate rainfall.
[0004]
[Problems to be solved by the invention]
In any case, the raindrop detection device including the optical sensor and the vibration sensor described above does not detect raindrops directly attached to the windshield. Therefore, the output state from each sensor and the actual windshield are not detected. There is a problem that a difference occurs between the amount of attached rain and appropriate wiper control cannot be obtained.
[0005]
Therefore, the present invention focuses on the above-described problems and provides a raindrop detection apparatus that can actually detect raindrops attached to a windshield and detect an appropriate amount of rain.
[0006]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides a photographing means for photographing the front of the vehicle through the windshield so as to include a wiper wiping region for wiping the windshield of the vehicle, and a past photographed by the photographing means. And the current image data photographed by the photographing means to obtain a moving direction of the current image data with respect to the past image data, and raindrops attached to the windshield based on the moving direction A raindrop determination device for detecting the raindrop , wherein the raindrop determination means is the raindrop adhering to the windshield when it is determined that the raindrop determination means is at least upward in the determination of the moving direction. It is something that is detected .
[0007]
Further, an edge is extracted in an image including raindrops photographed by the photographing means and photographing means for photographing the front of the vehicle through the windshield so as to include a wiper wiping region for wiping the windshield of the vehicle. , Binarization processing is performed on the edge extracted region, the binarized region is grouped, a plurality of shape feature amounts are obtained based on the grouped region, and the shape feature amount Based on the comparison result, the first raindrop determination for obtaining the image data to be the raindrops attached to the windshield is performed, the past image data accompanying the first raindrop determination, and the current image accompanying the first raindrop determination. Data is compared, the movement direction of the current image data with respect to the past image data is obtained, and the windshield is determined based on the movement direction. A raindrop detecting device including a raindrop judging means, for performing a second raindrops determination for detecting the wear was the raindrop, the raindrop determining means in the determination in the movement direction, when it is determined that the least upper direction And detected as the raindrops adhering to the windshield .
[0008]
In addition, a cutout range of an image captured by the photographing unit is set on a road surface on which the vehicle travels.
[0009]
The raindrop determining means detects the amount of the raindrops adhering to the windshield based on the total number of the raindrops or the area of the area determined to be the raindrops within the cutout range. .
[0010]
Further, in the first raindrop determination by the raindrop determination means, an enclosing area that is in contact with an outline of the grouped area is obtained, a reference area is obtained based on a longitudinal length of the enclosing area, and the reference area And the area of the grouped region are compared, and the raindrops adhering to the windshield are detected based on the comparison result.
[0011]
Further, in the first raindrop determination of the raindrop determination means, a reference region is obtained based on a length in a longitudinal direction of the grouped region, and the area of the reference region, the area of the grouped region, And the raindrops adhering to the windshield are detected based on the comparison result.
[0012]
In addition, wiper control means for controlling the operation of the wiper according to the amount of the raindrop determined by the raindrop determination means is provided.
[0013]
Further, the wiper control means is configured to switch on / off operation of the wiper between the intermittent operation and continuous operation of the wiper according to the amount of the raindrop determined by the raindrop determination means, time adjustment of the intermittent operation, and It controls at least one of the adjustments of the operation speed in the continuous operation.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0015]
In FIG. 1, the raindrop detection apparatus 1 includes a CCD camera (photographing means) 2, a raindrop determination means 3, and a wiper control means 4.
[0016]
The CCD camera 2 is disposed in the vicinity of a room mirror (not shown) disposed in a vehicle (for example, an automobile) 5 and photographs a front image of the vehicle 5 through the windshield 6. As shown in FIGS. 2 and 3, the CCD camera 2 has a detection area composed of, for example, 640 × 480 pixels. Among these, the image data of only the road surface R portion of the front image is captured, for example, from 160 × 120 pixels. An imaging area 7 is provided. The cutout range of the imaging area 7 is set by the raindrop determination unit 4 and is set in the wiping area of the windshield 6 by the wiper 8 provided in the vehicle 5 and in the road surface R portion. FIG. 3 shows raindrops 9 adhering to the windshield 6.
[0017]
The raindrop determination unit 3 includes an image processing unit 3a, a CPU 3b that is a control unit in the raindrop detection apparatus 1, a ROM 3c, and a RAM 3d.
[0018]
The image processing means 3a removes noise by filtering (an average value filter) a forward image taken through the windshield 6 by the imaging area 7, that is, an image including raindrops 9, and a strong edge in the captured image Region extraction is performed, and binarization processing is performed on the edge extracted region.
[0019]
The CPU 3b groups the areas binarized by the image processing unit 3a in predetermined pixel units (to be described in detail later), obtains a plurality of shape feature amounts based on the grouped areas, and determines these shapes. A first raindrop determination for obtaining image data as raindrops 9 adhering to the windshield 6 is performed by performing feature amount comparison processing, and past image data associated with the first raindrop determination and the first raindrop determination are performed. Compared with the current image data, a moving direction of the current image data with respect to the past image data is obtained, and a second raindrop determination for detecting raindrops 9 adhering to the windshield 6 based on the moving direction (details later) ) To detect raindrops 9 attached to the windshield 6, determine the amount of rain attached to the windshield 6, and wipe the windshield 6 based on this amount of rain. 8 is for controlling over the wiper control unit 4.
[0020]
The ROM 3c stores a program for executing the first and second raindrop determination, the rainfall amount determination, and the like by the CPU 3b described above, and this program is read by the CPU 3b as necessary.
[0021]
The RAM (storage means) 3d temporarily stores the calculation result of the CPU 3b, the determination result of the first raindrop determination, and the like.
[0022]
The wiper control means 4 controls a drive motor that operates the wiper 8 based on a control signal output from the raindrop determination means 3. The wiper control means 4 performs on / off operation of the wiper 8, intermittent drive and continuous drive of the wiper 8. Switching, time interval variable control in the intermittent drive, drive speed variable control (operation speed adjustment) in the continuous drive, and the like are controlled based on the rain amount determination result of the raindrop determination means 3.
[0023]
Next, processing procedures for raindrop detection and rain amount determination of the raindrop determination means 3 in the raindrop detection apparatus 1 will be described with reference to FIGS.
[0024]
The raindrop determining means 3 confirms whether or not there is an input from the automatic changeover switch 10 mounted on the vehicle 5 and determines whether or not it is in the automatic rain detection mode (step S1), and determines that it is in the automatic rain detection mode. Then, a landscape including raindrops 9 in the imaging area 7 shown in FIG. 3 is taken in as image data, and noise removal processing is executed by performing average processing (average value filter processing) on the image data (step S2).
[0025]
After performing the noise removal processing, the raindrop determination unit 3 performs edge strength calculation (differentiation processing) and an edge extraction processing for extracting a strong edge region in an image including the raindrop 9 in the imaging area 7. (Step S3).
[0026]
The raindrop determination means 3 executes a binarization process in which the pixels whose edge intensity obtained by the edge extraction process is equal to or greater than a predetermined value are black pixels and the other pixels are white pixels (step S4). FIG. 5 shows an example in which an image including raindrops 9 in the imaging area 7 is binarized.
[0027]
The raindrop determination means 3 executes a labeling process for grouping all black pixels existing in a row in the vertical direction, the horizontal direction, and the diagonal direction within the binarized imaging area 7 as shown in FIG. (Step S5). In the labeling process, the raindrop determining means 4 groups the blocks into groups if black pixels exist in series, and if there are black pixels in series with white pixels separated, They are divided into groups.
[0028]
After executing the labeling process, the raindrop determination unit 3 obtains a shape feature amount for each group in a binarized group (hereinafter referred to as a binarized region) in the imaging area 7 (step S6). The calculation method of the shape feature amount in the embodiment of the present invention is as follows.
[0029]
The raindrop determining means 3 obtains a square or rectangular surrounding area 12 in contact with the outline for each group of the binarized areas 11 grouped as shown in FIGS. A reference area 13 having a square area s1 (= a × a) of the length of the long side a in each longitudinal direction is obtained, and the area (shape feature amount) s1 of this reference area 13 and binary values are obtained. The non-linearity L is calculated from the area (shape feature amount) s2 of the conversion region 11 by the following formula (step S7).
[0030]
Non-linearity L = area of grouped binarized region (number of black pixels) / area of reference region
In the present invention, the calculation of the non-linearity L is based on the fact that the shape of the raindrops attached to the windshield 6 is a circle or an ellipse, and the raindrop area (area of the reference region 12) relative to the square area (area of the reference region 12). The ratio (area L of non-linear segment L) of the grouped binarized regions 11, that is, the ratio of the area s 2 of the binarized region 11 to the area s 1 of the reference region 13, thereby obtaining a circle in the imaging area 7. Alternatively, the object is to detect only the elliptical raindrop 9.
[0032]
Next, the raindrop determination means 3 performs a first raindrop determination as to whether or not it is a raindrop 9 from the non-linearity L determined in step S7 (step S8). The raindrop determination means 3 determines that the raindrop 9 is attached to the windshield 6 in the imaging area 7 when the non-linearity is 0.5 or more (L ≧ 0.5) (in the case of a circle or an ellipse) Is a non-linear segment L of 0.5 or more), and when the non-linear segment is less than 0.5 (L <0.5), the imaging within the imaging area 7 is a white line on the road surface, other objects, etc. It is determined that the noise is due to the linear object.
[0033]
In step S8, the raindrop determination means 3 performs the second raindrop determination on the binarized area (image data) 11 for which the non-linear segment L is determined to be 0.5 or more. The moving direction is calculated (step S9).
[0034]
If the raindrop determination unit 4 determines in step S8 that the binarized area 11 is not a raindrop by the determination of the non-linear segment L (L <0.5), the raindrop determination section 4 uses the binarized area 11 as a non-raindrop. The area is determined and ignored (step S10).
[0035]
The second raindrop determination in step S11 will be described with reference to FIGS. FIG. 7 is a diagram showing a case where the binarized area 11 determined by the raindrop determination means 3 to be the raindrop 9 in step S8 is noise due to characters or white lines drawn on the road surface R. 8 is a diagram illustrating a case where the binarized area 11 that the raindrop determination unit 3 has determined as the raindrop 9 in step S8 is an actual raindrop.
[0036]
The raindrop determining means 3 includes a binarized area (past image data) 11a (hereinafter referred to as the previous binarized area) determined as the raindrop 9 in the first (previous) step S8 first raindrop determination, In the raindrop determination at step S8 this time, the binarized area (current image data) 11b (hereinafter referred to as the current binarized area) determined to be raindrop 9 is compared and compared with the previous binarized area 11a. If the binarized area 11b this time is moving downward, for example (see FIGS. 7A and 7B), it is a non-raindrop area that is noise caused by characters or white lines drawn on the road surface R. It judges that there exists, and progresses to step S10 (step S11).
[0037]
Further, the raindrop determination means 3 compares the previous binarized area 11a with the current binarized area 11b, and the current binarized area 11b is, for example, in the upward direction from the previous binarized area 11a. When it is moving (see FIGS. 8A and 8B), it is determined that the raindrop 9 is attached to the windshield 6.
[0038]
In the second raindrop determination in step S11 described above, the image data input from the imaging area 7 is data including the road surface R. Therefore, when the vehicle 5 is traveling, imaging (binarization) is performed on the road surface R. The region 11) moves downward in the image pickup area 7, and when the vehicle 5 is traveling, the raindrop (binarized region 11) 9 stops at the position where it adheres to the windshield 6. The determination is focused on whether the movement is upward or horizontal. Therefore, in the second raindrop determination in step S8, it is determined that the upper direction is a raindrop. However, the binarized area stopped on the spot or the binarized area moved in the horizontal direction is also the raindrop 9. Is determined.
[0039]
In the determination of the moving direction of the raindrop determining means 3 in step S11, it is determined whether or not it is a raindrop 9 by estimating a movement vector by shape matching, for example. For example, in the imaging area 7, the binarization is the distance closest to the detection position of the previous binarized area 11a obtained by the first raindrop determination, and the total area is substantially the same as the previous binarized area 11a. By investigating the area within a predetermined area, it is possible to determine in which direction the current binarized area 11b has moved.
[0040]
The binarized area 11 determined to be the raindrop 9 by the second raindrop determination described above is subjected to the following processing by the raindrop determination means 3. The raindrop determination means 3 obtains the area s2 of the binarized area 11 determined to be the raindrop 9 or the number of pixels in the binarized area 11, temporarily stores it in the RAM 3d of the raindrop determination means 3, and also within the imaging area 7 In step S12, the total area or the total number of pixels (ΣS) in the binarized region 11 determined to be raindrops 9 is obtained.
[0041]
In the raindrop determination means 3, the calculation of the total area or the total number of pixels is repeated until the determination in all the binarized areas 11 in the imaging area 7 (first raindrop determination and second raindrop determination) is completed (steps S6 to S6). Step S12) is executed (Step S13).
[0042]
The raindrop determining means 3 adheres to the windshield 6 when the determination of all the grouped binarized areas 11 in the imaging area 7 is completed and the calculation of the total area or the total number of pixels in the imaging area 7 is completed. The rain amount is determined (step S14). The purpose of this rainfall determination is to perform switching control between the intermittent operation and the continuous operation in the wiper 8.
[0043]
The raindrop determination means 3 compares the total area or the total number of pixels calculated in step S12 with the set value A stored in advance in the ROM 3c of the raindrop determination means 3 in the rain amount determination in step S14. When it is determined that the total number of pixels is equal to or greater than the set value A (ΣS ≧ A), a control signal for continuously driving the wiper 8 is output to the wiper control means 4 (step S15), and the total area or the total number of pixels By comparing with the set value A and determining that the total area or the total number of pixels is smaller than the set value A (ΣS <A), a control signal for intermittent driving of the wiper 8 is output to the wiper control means 4 (step S16), the wiper 9 is switched between continuous driving and intermittent driving.
[0044]
By repeatedly executing the above-described processing at a predetermined cycle, the wiper 8 can be automatically controlled in accordance with the detection of the raindrop 9 and the rain amount determination.
[0045]
In step S14 to step S16, the raindrop determination unit 3 simply switches between the continuous operation and the intermittent operation of the wiper 8, but the raindrop determination unit 3 continuously switches the driving method of the wiper 8 to the intermittent operation in step S14. After determining that it is one of the operations, a plurality of setting values subdivided in each driving method are provided, and these setting values and the total area or the total number of pixels of the binarized region 11 grouped are set. By performing the comparison process, the time interval variable control of the intermittent drive of the wiper 8 and the drive speed variable control of the continuous drive can be performed. In addition, after the rain amount determination in step S14, simple wiper 8 on / off (operation / stop) control may be performed.
[0046]
The raindrop detection apparatus 1 captures a front landscape through a windshield 6 of a vehicle by a CCD camera 2, extracts an edge from an image captured by the CCD camera 2, and binarizes the edge extracted region. The binarized regions are grouped, a plurality of shape feature amounts are obtained based on the grouped binarized regions 11, and the windshield 6 is based on the comparison result of these shape feature amounts. The first raindrop determination for detecting the raindrop 9 attached to the first raindrop is performed, the past image data associated with the first raindrop determination is compared with the current image data associated with the first raindrop determination, and the past image data is compared. The moving direction of the current image data is obtained, and a second raindrop determination for detecting the raindrop 9 attached to the windshield 6 based on the moving direction is performed. Are for the actual raindrops 9 attached to the windshield 6 can be properly detected, it is possible to carry out even easier determination of rainfall, it is possible to perform automatic driving control of the wiper 8 good.
[0047]
In addition, the raindrop detection apparatus 1 pays attention to the fact that the raindrops attached to the windshield 6 have a circular or elliptical shape, and obtains the surrounding region 12 that touches the outline of the binarized region 11 that is grouped. A reference area 13 that is an area s1 of the square of the length of the long side a in the longitudinal direction of each side of the surrounding area 12 is obtained, and an area s1 of the reference area 13 and a binary value are obtained. By comparing the area s2 of the binarized area 11 and obtaining the ratio of the area s2 of the binarized area 11 to the area s1 of the square reference area 13, only the circular or elliptical raindrop 9 in the imaging area 7 is detected. It becomes possible.
[0048]
Further, the raindrop detection apparatus 1 is configured to display the front of the grouped binarized area 11 based on the number of pixels (the number of raindrops) or the total area of the binarized areas 11 (the total area of the areas determined to be raindrops). By detecting the amount of raindrops 9 (rainfall amount) adhering to the glass 6, on / off operation in the wiper 8, switching between intermittent operation and continuous operation of the wiper 8, time interval variable control of the intermittent drive, continuous drive drive Variable speed control or the like can be controlled via the wiper control means 4.
[0049]
In addition, the raindrop detection device 1 sets the cutout range of the image captured by the CCD camera 2 to the wiping area of the wiper 8 that wipes the windshield 6 and the road surface R on which the vehicle 5 travels, so Since it is not necessary to photograph an object that causes noise, such as a sign or a signboard, it is possible to prevent erroneous determination in raindrop determination by the raindrop determination means 3.
[0050]
In the embodiment of the present invention, the surrounding area 12 in contact with the outline of the binarized area 11 grouped by the raindrop determining means 3 is obtained, and the long side a that is the longitudinal direction of each side of the surrounding area 12 is determined. Although the reference region 13 having the area s1 obtained from the square of the length is obtained, the present invention is the length in the longitudinal direction of the grouped binarized regions 11, for example, the longest length of the binarized region 11 A reference region is obtained from the area obtained from the square of the length of the diagonal line, and the area of this reference region is compared with the area of the grouped binarized region 11, and the windshield is based on the comparison result. Alternatively, the raindrop 9 attached to 6 may be detected.
[0051]
Moreover, although the raindrop determination means 3 in the embodiment of the present invention uses the area as the shape feature amount, for example, the vertical length and the horizontal length of the ellipse are the shape feature amounts, respectively, and the ellipse shape based on this aspect ratio is used. The raindrop 9 may also be detected by the flatness. Other shape feature amounts include the diagonal length of the surrounding region 12 and the circumferential length of the binarized region 11.
[0052]
Further, in the first raindrop determination of the raindrop determination means 3 in the embodiment of the present invention, the shape feature amount is calculated in step S6. During this process, the long side a that is the longitudinal direction of the surrounding region 12 is calculated. By providing a permissible range (for example, 4 pixels ≦ long side a ≦ 32 pixels) and determining whether the long side a is included in the permissible range, imaging other than raindrops 9 is removed. And more appropriate raindrop detection.
[0053]
In addition, in the raindrop determination means 3 in the embodiment of the present invention, in the second raindrop determination, the movement direction of the binarized region is obtained by estimating the movement vector by shape matching. The moving direction of the binarized area can be obtained by an optical flow based on certain luminance data.
[0054]
In the embodiment of the present invention, the raindrop detection device 1 detects the raindrop 9 attached to the windshield 6 by the first and second raindrop determination by the raindrop determination means 3, but the present invention is not limited to the raindrop detection device. Depending on the usage environment, the past image data photographed by the photographing means such as a CCD camera is compared with the current image data photographed by the photographing means, and the current image data relative to the past image data is compared. The moving direction may be obtained and only the raindrops attached to the windshield may be detected based on the moving direction.
[0055]
【The invention's effect】
The present invention provides a photographing means for photographing the front of the vehicle through the windshield so as to include a wiper wiping region for wiping the windshield of the vehicle, past image data photographed by the photographing means, and the photographing Raindrop determination means for comparing the current image data taken by the means, obtaining a moving direction of the current image data relative to the past image data, and detecting raindrops attached to the windshield based on the moving direction; The raindrop detection device is a raindrop detection device that detects the raindrops attached to the windshield when it is determined that the raindrop determination means is at least the upward direction in the determination of the moving direction . The actual raindrops adhering to the windshield can be detected appropriately and the amount of rainfall can be easily determined. Therefore, it is possible to perform automatic driving control of the wiper good.
[Brief description of the drawings]
FIG. 1 is a block diagram of a raindrop detection apparatus showing an embodiment of the present invention.
FIG. 2 is a view showing an image photographed by the imaging means of the embodiment.
FIG. 3 is a diagram showing a cutout range in the image according to the embodiment.
FIG. 4 is a view showing a processing method by raindrop determination means of the embodiment.
FIG. 5 is a diagram showing first raindrop determination according to the embodiment.
FIG. 6 is an enlarged view showing first raindrop determination according to the embodiment.
FIG. 7 is a diagram showing second raindrop determination according to the embodiment;
FIG. 8 is a diagram showing second raindrop determination according to the embodiment;
[Explanation of symbols]
1 Raindrop detector 2 CCD camera (photographing means)
3 Raindrop determination means 3a Image processing means 3b CPU
3c ROM
3d RAM
4 Wiper Control Means 5 Vehicle 6 Windshield 7 Imaging Area 8 Wiper 9 Raindrop 11 Grouped Binary Area 11a Past Binary Area (Past Image Data)
11b This binarized area (current image data)
12 Enclosed area 13 Reference area s1 Area of reference area s2 Area of binarized area L Non-linear segment R Road surface

Claims

Photographing means for photographing the front of the vehicle through the windshield so as to include a wiper wiping region for wiping the windshield of the vehicle;
The past image data photographed by the photographing means is compared with the current image data photographed by the photographing means, the moving direction of the current image data with respect to the past image data is obtained, and the moving direction is A raindrop detection means for detecting raindrops adhering to the windshield based on, a raindrop detection device comprising:
The raindrop detection device detects the raindrops attached to the windshield when it is determined that the raindrop determination means is at least upward in the determination of the moving direction .

Photographing means for photographing the front of the vehicle through the windshield so as to include a wiper wiping region for wiping the windshield of the vehicle;
Edge extraction is performed on an image including raindrops photographed by the photographing means, binarization processing is performed on the edge extracted region, the binarized region is grouped, and the grouped region A plurality of shape feature amounts are obtained based on the first feature, and first raindrop determination for obtaining image data as the raindrops attached to the windshield is performed based on a comparison result of the shape feature amounts, and accompanying the first raindrop determination The past image data is compared with the current image data associated with the first raindrop determination, the movement direction of the current image data with respect to the past image data is obtained, and the image data is attached to the windshield based on the movement direction. A raindrop detection device for performing second raindrop determination for detecting the raindrop , and a raindrop detection device comprising:
The raindrop detection device detects the raindrops attached to the windshield when it is determined that the raindrop determination means is at least upward in the determination of the moving direction .

The raindrop detection apparatus according to claim 1, wherein a cutout range of an image captured by the photographing unit is set on a road surface on which the vehicle travels.

The raindrop determining means detects the amount of the raindrops attached to the windshield based on the total number of the raindrops or the area of the region determined to be the raindrops within the cutout range. The raindrop detection apparatus according to claim 3 .

In the first raindrop determination by the raindrop determination means, an encircling area in contact with an outline of the grouped area is obtained, a reference area is obtained based on a length in a longitudinal direction of the enclosing area, and an area of the reference area The raindrop detection apparatus according to claim 2, wherein the raindrops adhering to the windshield are detected based on a result of the comparison.

In the first raindrop determination by the raindrop determination means, a reference region is obtained based on the length of the grouped region in the longitudinal direction, and the area of the reference region is compared with the area of the grouped region. The raindrop detection apparatus according to claim 2, wherein the raindrop attached to the windshield is detected based on the comparison result.

The raindrop detection apparatus according to claim 4 , further comprising a wiper control unit that controls the operation of the wiper according to the amount of the raindrop obtained by the raindrop determination unit.

The wiper control means switches on / off operation in the wiper, switching between the intermittent operation and continuous operation of the wiper, time adjustment of the intermittent operation, and the continuous operation according to the amount of the raindrop determined by the raindrop determination unit. The raindrop detection device according to claim 7 , wherein at least one of adjustment of operation speed in operation is controlled.