JPH10148681A - 雨滴検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 周囲の明るさの影響を受けることなく常に正
確に雨滴の存在を検出し得る雨滴検出方法を提供する。 【解決手段】 フロントガラス１上に設定された雨滴検
出領域１６内の雨滴を撮像して得られた画像データに基
づいて雨滴検出領域１６内の雨滴の有無を検出する雨滴
検出方法であって、画像データより雨滴検出領域１６の
照度を算出し、画像データの単位画素当たりの照度変化
量を前記照度に基づいて算出した閾値によって識別して
雨滴の輪郭を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両用の雨滴検出
方法に関し、特に、ウインドシールドの表面に付着した
雨滴を検出するための雨滴検出方法に適用して有効な技
術に関するものである。

【０００２】

【従来の技術】近年、車載設備の自動化の一貫として、
気象状況を感知して自動的にワイパーを作動させたり、
その動作速度を変化させたりする、いわゆるオートワイ
パシステムを装備した車両の開発が行われている。この
オートワイパシステムでは、降雨状況の感知のため、例
えば自動車にあっては、その前面のフロントガラス等の
ウインドシールドやラジエターグリル、フロントバンパ
ー等に、雨滴を感知する雨滴検出装置が設けられてい
る。この場合、特にウインドシールドに付着した雨滴を
検出するものは、運転者の視界と直接関連したデータが
得られるため、ワイパ制御には有効であり、多くの車両
に採用されつつある。

【０００３】このようなウインドシールド用の雨滴検出
装置としては、従来より、基板上に付着した水滴によっ
て生じる抵抗値の変化を検出するものや、ガラス面を車
室内から画像認識して水滴の有無を検出するものがあ
る。この場合、抵抗値の変化により雨滴検出を行うもの
は、車両外部に電気回路の一部が常に露出することにな
るため、その汚損やメンテナンスの面から、車室内より
画像認識により雨滴検出を行う後者の装置が注目されて
いる（例えば実公昭６３−２５２５２号公報参照）。

【０００４】このような画像認識による雨滴検出装置
は、例えば自動車においては、図５に示すように、ウイ
ンドシールドのひとつであるフロントガラス５１の一部
に雨滴検出領域５２を設け、その車室内側に雨滴検出用
のＣＣＤカメラ５３を設置した構成のものが一般的であ
る。この場合、ＣＣＤカメラ５３は、フード５４の内部
に収容された状態でフロントガラス５１に対向して取り
付けられており、フード５４の先端側には磨りガラス状
のスクリーン５５が設けられている。また、スクリーン
５５はフロントガラス５１の内面に密着して設けられて
おり、ＣＣＤカメラ５３は、このスクリーン５５に投影
された雨滴検出領域５２上の雨滴の影を撮像する。そし
て、ＣＣＤカメラ５３によって得られた画像データを画
像処理装置５６に送り雨滴を検出している。

【０００５】一方、画像処理装置５６では次のようにし
て前記画像データから雨滴が検出される。すなわち、ま
ず画面全体をいくつかの単位画素に分割すると共に、そ
れをＸ軸方向およびＹ軸方向に走査して微分処理を行い
単位画素間の照度変化量を算出する。この場合、雨滴の
前後ではスクリーン５５の照度が変化しその変化量が大
きいことから、その変化量のうちある閾値以上を持った
箇所を抽出することにより雨滴の輪郭が抽出される。そ
して、この抽出された輪郭に基づき雨滴像を確定しその
存在を検出するようにしている。

【０００６】

【発明が解決しようとする課題】ここで、各画素間の照
度変化量は、図６に示すように明るい画像では小さくノ
イズも少ない。一方、暗い画像では照度変化量は大きい
反面ノイズも多い。すなわち、直射光がフロントガラス
５１に差し込んでいる場合等、スクリーン５５が明るい
場合には、雨滴と雨滴が付着していない部分との照度差
が少なく雨滴の存在が検出されにくい。一方、夜間等ス
クリーン５５が暗い場合には、雨滴と雨滴が付着してい
ない部分との照度差が大きく、しかも傷等による雨滴以
外の細かな照度差までも相当の照度差が存在する。

【０００７】これに対し、従来の雨滴検出装置では、雨
滴の輪郭を抽出するために画像処理装置５６に設定され
た閾値が一つの固定値であったため、周囲が明るい場
合、本来検出されるべき雨滴が照度差が少ないため検出
されない場合があった。また、周囲が暗い場合、ノイズ
成分のうちには前記閾値を超えるものも多数あり、それ
らをも雨滴と検出してしまい実際よりも多くの雨滴が存
在するものと誤認する場合もあった。このように、従来
の雨滴検出装置では、周囲の明るさの変化によって雨滴
を正確に検出できない場合がありその改善が望まれてい
た。

【０００８】本発明の目的は、周囲の明るさの影響を受
けることなく常に正確に雨滴の存在を検出し得る雨滴検
出方法を提供することにある。

【０００９】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述および添付図面から明らかに
なるであろう。

【００１０】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。

【００１１】すなわち、本発明の雨滴検出方法は、車両
のウインドシールド上に設定された雨滴検出領域内の雨
滴を車室側から撮像して得られた画像データに基づいて
雨滴検出領域内の雨滴の有無を検出する雨滴検出方法で
あり、前記画像データより雨滴検出領域の照度を算出
し、画像データの単位画素当たりの照度変化量を前記照
度に基づいて算出した閾値によって識別して雨滴の輪郭
を検出することを特徴としている。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００１３】図１は、本発明にかかる雨滴検出方法を適
用した雨滴検出装置を備えたワイパ制御システムの一実
施の形態の構成を示したブロック図である。なお、本実
施の形態では、自動車のフロントガラス（ウインドシー
ルド）上に付着する雨滴を払拭するワイパ装置の制御に
用いられる雨滴検出装置を例にとって説明する。

【００１４】図１において、１はウインドシールドとし
てのフロントガラスであり、その内側（車室内側）には
雨滴検出用のＣＣＤカメラ（撮像手段）２が設置されて
いる。このＣＣＤカメラ２は、フード３の内部に収容さ
れた状態でフロントガラス１に対向して取り付けられて
おり、フード３の先端側には磨りガラス状のスクリーン
４が設けられている。この場合、スクリーン４はフロン
トガラス１の内面に密着して設けられて雨滴検出領域１
６を形成し、ＣＣＤカメラ２は、このスクリーン４に投
影された雨滴の影を撮像する。

【００１５】一方、ＣＣＤカメラ２は、雨滴画像処理部
（画像処理手段）５とワイパ駆動部６およびこれらを統
括制御すると共に雨滴付着量の検出を行う中央制御処理
部７とからなるワイパ制御装置８に接続されている。な
お、当該実施の形態ではＣＣＤカメラ２と雨滴画像処理
部５および中央制御処理部７が本発明による雨滴検出方
法を適用した雨滴検出装置に該当するが、当該ワイパ制
御装置８においては、雨滴検出とワイパ制御は一体不可
分の関係にあるため、中央制御処理部７はワイパの動作
制御機能をも含んだ形となっている。しかしながら、こ
れが本発明による雨滴検出装置がワイパ制御機能をも必
須の構成要件とすることを意味しないことは言うまでも
ない。

【００１６】次に、ＣＣＤカメラ２からの画像信号は、
雨滴画像処理部５に送られ、そこでスクリーン照度の検
出や雨滴輪郭の検出等の画像処理が行われて雨滴画像デ
ータが作成され中央制御処理部７に送信される。そし
て、中央制御処理部７は、この雨滴画像データに基づき
雨滴付着状況を判断し、ワイパ駆動部６に働きかけワイ
パ動作の開始や停止、動作速度等をこれに応じて制御す
る。

【００１７】ここで、雨滴画像処理部５は、ＣＣＤカメ
ラ２からの画像信号を入力する画像入力部９と、雨滴輪
郭の検出等の画像処理を行う画像処理部１０と、処理し
たデータを格納する画像情報記憶部１１と、画像処理部
１０における画像処理手順等を格納しておくＲＯＭ１２
とを有する構成となっている。この場合、画像入力部９
に入力された画像信号は、所定の信号形式に調整されて
画像処理部１０に入力される。画像処理部１０ではこの
信号に基づいて後述する手順により画像処理を行って画
像信号中から雨滴のみを抽出した雨滴画像データが作成
され、これが中央制御処理部７に送られる。なお、雨滴
画像データは画像情報記憶部１１に適宜格納される。

【００１８】一方、中央制御処理部７は、画像処理部１
０を制御すると共に、雨滴画像データを取得してＲＡＭ
１３に格納する。また、ＲＡＭ１３に蓄積された雨滴画
像データに基づき、または送られてきた雨滴画像データ
そのものを用いて雨滴付着状況を検出する。そして、こ
の検出結果に基づきワイパ駆動部６に指令を発し、ワイ
パモータ１４を適宜制御してワイパ動作を制御する。な
お、中央制御処理部７による一連の処理動作の手順等は
ＲＯＭ１５に格納されている。

【００１９】次に、当該雨滴検出装置における雨滴検出
処理について説明する。図２は、その処理手順を示した
フローチャートである。

【００２０】まず、画像処理部１０は、ＣＣＤカメラ２
からの画像信号を画像入力部９を介して取り込む（Ｓ
１）。そして、画像信号から画像全体の照度（スクリー
ン４の照度）を測光して（Ｓ２）画面照度を算出する
（Ｓ３）。すなわち、得られた画面の明るさを算出し
て、それが明るい画面なのか暗い画面なのかを算出す
る。

【００２１】この場合、画像処理部１０は、雨滴検出領
域１６を例えば１６３×１６３個の画素（単位画素）に
分割し、それぞれの照度を例えば２５６階調に分別処理
する。この結果の一例を、横軸に照度レベル（階調）、
縦軸にその度数をとってヒストグラムで示したものが図
３であり、（ａ）は画面が明るい場合、（ｂ）は中程度
の場合、（ｃ）は暗い場合におけるデータである。この
場合、ＣＣＤカメラ２における基画像は、図３（ａ）の
場合には、直接光を受けて画像がほとんど白飛びした状
態であり、雨滴の輪郭が識別しにくい状態にある。ま
た、図３（ｂ）の場合には、外光が斜めに当たっている
状態等、雨滴の輪郭がはっきりとわかる基画像となって
いる。さらに、図３（ｃ）の場合には、外光が大きな入
射角で当たっていたり外が暗い場合等、画面全体が暗く
雨滴の輪郭がはっきりしている基画像となっているが、
スクリーン４上の明るさの濃淡のバラツキが大きくなっ
ている。

【００２２】そこで改めて図３（ａ）〜（ｃ）を参照す
ると、基画像が明るいほど各ヒストグラムの幅が狭くな
っている。これは、基画像が明るいほど各画素間での照
度のバラツキが小さいこと、差がないことを示してお
り、基画像の照度により雨滴の認識性が変わることがわ
かる。一方、ピーク値は画面の照度によって変化する。
すなわち、画面が明るい場合には図３（ａ）のようにレ
ベル２１４にてピークを示し、これが画面が暗くなるに
従って、ピーク値はそれぞれ１８６（図３（ｂ））、１
２０（図３（ｃ））と小さくなって行く。このため当該
雨滴検出装置ではこのピーク値の変化に着目し、この値
を画面照度を表す値として算出している。

【００２３】次に、画面照度に応じて、雨滴画像データ
作成の際に用いられる閾値を算出すると共に（Ｓ４）、
画像信号を微分処理した上で（Ｓ５）閾値処理を行う
（Ｓ６）。

【００２４】ここで図４に、ＣＣＤカメラ２からの画像
信号を微分処理して各画素間の照度の変化量を求め、そ
れをヒストグラム化したものを示す。図４において、
（ａ）は図３（ａ）の場合の画像信号を微分処理したも
のであり、（ｂ）、（ｃ）はそれぞれ、図３（ｂ）、
（ｃ）の場合の画像信号を微分処理したものである。図
４からわかるように、基画像が明るいほど微分値のヒス
トグラムは左寄りとなりその幅が狭くなっている。これ
は、基画像が明るいほど雨滴と雨滴がない部分との照度
差が小さいためであり、これからも従来のように一定の
閾値によって雨滴輪郭を検出していたのでは、正確な雨
滴検出が行えないことがわかる。

【００２５】すなわち、図４（ａ）ではピーク値が4.
５, レベル幅が１8.２であるのに対して、図４（ｂ）で
はピーク値4.５, レベル幅３6.４、図４（ｃ）ではピー
ク値8.２, レベル幅４1.８となっている。この場合、発
明者の実験によれば、図４（ｂ）においてヒストグラム
がピーク値を超えフラットになり始めたあたりを閾値と
して設定すると雨滴の輪郭が明確に得られる。そこで、
閾値をそれに合わせて例えば「１８」と設定し、変化量
が１８以上を雨滴の輪郭と判断すると、図４（ａ）では
雨滴がほとんどないと判断されてしまう。一方、図４
（ｃ）では、レベル２５０近傍のノイズ成分も含め、雨
滴が相当数存在すると判断されてしまい、何れの場合に
も実際の雨滴付着状況が反映されない。

【００２６】そこで、本発明による雨滴検出装置では、
先にＳ３において算出した画面照度を示すデータを用い
て雨滴検出の閾値を適宜変化させて、画面照度の変化に
よる影響を除去するようにしている。そして、この閾値
を用いて画像認識処理を行って、雨滴の輪郭を検出し雨
滴像のみを取り出した雨滴画像データを作成する（Ｓ
７）。

【００２７】これを前記の例を用いて説明すると、Ｓ４
において、例えば基準値＝３６、係数ｋ＝0.１とし、Ｓ
３において求めた照度ピーク値を用いて各回毎に閾値を
算出する。これを図４（ａ）に当てはめると、３６−0.
１×２１４で閾値は「１4.６」となる。すなわち、基画
像が明るい場合には照度変化量の小さい画素間をも雨滴
が存在するとして認識するように閾値が設定される。そ
して、この閾値を用いて画像認識処理を行い、雨滴の輪
郭を検出して雨滴画像データを作成する。この場合、発
明者の実験では、閾値を「１８」とした場合には、２６
５６９画素中２０６画素分が雨滴と判断されたが、当該
処理によれば２６５６８画素中６４２画素分が雨滴と判
断され、雨滴認識率が向上してより実際の雨滴付着状況
に近い雨滴画像データが得られた。

【００２８】一方、図４（ｃ）の場合には、３６−0.１
×１２０で閾値は「２４」となる。すなわち、基画像が
暗い場合には照度変化量の大きい画素間のみを雨滴が存
在するとして認識するように閾値が設定される。なお、
図４（ａ）の場合も含め、レベル１００以上はノイズ成
分であることが明らかであるため、１００以上のデータ
もカットする。この場合も、閾値を「１８」とした場合
には、２６５６９画素中１１１４画素分が雨滴と判断さ
れたが、当該処理によれば２６５６８画素中８６７画素
分が雨滴と判断され、雨滴以外のノイズ成分がカットさ
れている。なお、この時の閾値「２４」は、図４（ｃ）
において、ヒストグラムがピーク値を超えフラットにな
り始めたあたりに位置しており、図４（ｃ）のみから単
独で閾値を決定した場合でも妥当な数値である。

【００２９】このように、本発明による雨滴検出方法を
適用した雨滴検出装置によれば、周囲の明るさに左右さ
れることなく、実際の雨滴付着状況により近い形で雨滴
画像データを得ることが可能となる。従って、明るさに
よる雨滴検出精度のバラツキを抑えることができ、雨滴
があるにもかかわらずワイパが作動しなかったり、降雨
量の割にワイパ速度が遅いなどの作動不良を防止するこ
とができる。

【００３０】なお、このようにして作成された雨滴画像
データは、画像情報記憶部１１に格納されると共に中央
制御処理部７に送られ、ＲＡＭ１３に格納されると共
に、このデータにより雨滴付着量が演算される。そし
て、所定値以上の雨滴が付着している場合にはワイパ動
作を開始させたり、降雨量が多いと判断してワイパの速
度を上げたりする。また、雨滴付着量が所定値以下とな
った場合には、ワイパ速度を落としたり間欠作動にした
り、さらに停止させたりする。

【００３１】以上、本発明者によってなされた発明を実
施の形態に基づき具体的に説明したが、本発明は前記実
施の形態に限定されるものではなく、その要旨を逸脱し
ない範囲で種々変更可能であることはいうまでもない。

【００３２】たとえば、当該雨滴検出装置では雨滴検出
領域１６を１６３×１６３の２６５６９の画素に分割し
２５６階調の照度に分別して雨滴検出を行っているが、
分割数や階調数はこれに限られない。また、閾値の値や
係数ｋの値も一例でありこれに限定されるものではな
い。さらに、前記の雨滴検出処理では、画面照度をヒス
トグラムのピーク値を用いて決定しているが、これを全
画面のデータの平均値により決定することも可能であ
る。

【００３３】加えて、雨滴画像処理部５における画像デ
ータの処理等を中央制御処理装置７によって行うことも
可能である。また、撮像手段としてＣＣＤ方式以外のカ
メラを用いることもできる。

【００３４】なお、前記の雨滴検出処理やワイパの制御
等、ＲＯＭ１２やＲＯＭ１５に格納されている制御プロ
グラムを所定の媒体に格納して別途取り扱うことができ
るのは勿論である。

【００３５】以上の説明では主として本発明者によって
なされた発明をその利用分野である自動車に適用した場
合について説明したが、これに限定されるものではな
く、たとえば、鉄道車両や産業機械等の他の車両にも適
用できる。

【００３６】

【発明の効果】本願において開示される発明のうち、代
表的なものによって得られる効果を簡単に説明すれば、
以下のとおりである。

【００３７】すなわち、画像データより算出した雨滴検
出領域の照度により、雨滴画像データ作成の際に用いら
れる閾値を適宜変更することにより、周囲の明るさに左
右されることなく、実際の雨滴付着状況により近い形で
雨滴画像データを得ることが可能となる。従って、明る
さによる雨滴検出精度のバラツキを抑えることができ、
雨滴があるにもかかわらずワイパが作動しなかったり、
降雨量の割にワイパ速度が遅いなどの作動不良を防止す
ることができる。

【図面の簡単な説明】

【図１】本発明にかかる雨滴検出方法を適用した雨滴検
出装置を用いたワイパ制御システムの一実施の形態の構
成を示したブロック図である。

【図２】本発明の雨滴検出方法を適用した雨滴検出装置
における雨滴検出処理動作を示すフローチャートであ
る。

【図３】雨滴検出領域の照度の分布状況を示すヒストグ
ラムであり、（ａ）は画面が明るい場合、（ｂ）は中程
度の場合、（ｃ）は暗い場合におけるデータである。

【図４】ＣＣＤカメラからの画像信号を微分処理した結
果を示すヒストグラムであり、（ａ）は図３（ａ）の場
合、（ｂ）は図３（ｂ）の場合、（ｃ）は図３（ｃ）の
場合の画像信号を微分処理したものである。

【図５】従来の雨滴検出装置の構成を示した説明図であ
る。

【図６】画面の照度変化量を示すグラフであり、（ａ）
は画面が明るい場合、（ｂ）は画面が暗い場合の照度変
化量である。

【符号の説明】

１ フロントガラス ２ ＣＣＤカメラ（撮像手段） ３ フード ４ スクリーン ５ 雨滴画像処理部（画像処理手段） ６ ワイパ駆動部 ７ 中央制御処理部 ８ ワイパ制御装置 ９ 画像入力部 １０ 画像処理部 １１ 画像情報記憶部 １２ ＲＯＭ １３ ＲＡＭ １４ ワイパモータ １５ ＲＯＭ １６ 雨滴検出領域 ５１ フロントガラス ５２ 雨滴検出領域 ５３ ＣＣＤカメラ ５４ フード ５５ スクリーン ５６ 画像処理装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】 車両のウインドシールド上に設定された
   雨滴検出領域内の雨滴を撮像して得られた画像データに
   基づいて前記雨滴検出領域内の雨滴の有無を検出する雨
   滴検出方法であって、 前記画像データより前記雨滴検出領域の照度を算出し、
   前記画像データの単位画素当たりの照度変化量を前記照
   度に基づいて算出した閾値によって識別して雨滴の輪郭
   を検出することを特徴とする雨滴検出方法。