JP6565619B2 - 雨滴検出装置、車両ワイパ装置及び雨滴検出方法 - Google Patents

Description

本発明は、雨滴検出装置、車両ワイパ装置及び雨滴検出方法に関するものである。

近年、車両ワイパ装置としては、雨滴検出装置にて雨滴を検出し、ワイパを自動的に駆動させるものが開発されている。このような雨滴検出装置としては、車両内部から車両ウィンドを撮像して得られた画像データに基づいて雨滴の有無を判定するものが提案されている（例えば、特許文献１参照）。

特開平１０−１４２３５３号公報

ところで、車両ウィンドに付着した雨滴は、例えば、走行風の影響等によって、ちらついて見えることがあり、撮像するタイミングによっては背景と雨滴との境目が判別不能となり、雨滴を精度良く検出することが困難となる。例えば、順次（例えば１秒間に３０フレーム）撮像される画像データ中のエッジを抽出し、画像データの過去の数回（数フレーム）で同じ位置にエッジが存続していることに基づいて雨滴が存在していると判定するような処理では、ちらつきによってエッジが断続的に検出されることで雨滴が付着していても雨滴が存在していないと判定される虞がある。

本発明は上記問題点を解消するためになされたものであって、その目的は、雨滴の存在を精度良く検出することができる雨滴検出装置、車両ワイパ装置、及び雨滴検出方法を提供することにある。

上記課題を解決する雨滴検出装置は、車両内部から車両ウィンドを撮像して画像データを取得するウィンド面検出センサと、前記画像データに基づいて雨滴の有無を判定する雨滴判定部とを備えた雨滴検出装置であって、前記雨滴判定部は、順次撮像される前記画像データ中のエッジを抽出するエッジ抽出処理を行い、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あると、エッジが存続したと判定する存続判定処理をｑ段階（但しｑは複数）繰り返して、最終的に存続したと判定されたエッジに基づいて雨滴の有無を判定する。

同構成によれば、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あるとエッジが存続したと判定する存続判定処理がｑ段階（但しｑは複数）繰り返されて、最終的に存続したと判定されたエッジに基づいて雨滴の有無が判定される。このようにすると、例えば、走行風の影響等により雨滴がちらついて見えるような場合でも、そのちらつきを考慮して雨滴が存在していることを精度良く検出することができる。

上記雨滴検出装置において、前記雨滴判定部は、前記ｍ、ｐ、ｑの値を車両状況に応じて、雨滴のちらつきの要素が除去されるように設定することが好ましい。
同構成によれば、雨滴判定部は、前記ｍ、ｐ、ｑの値を車両状況に応じて、雨滴のちらつきの要素が除去されるように設定するため、車両状況に応じて雨滴が存在していることをより精度良く検出することができる。

上記雨滴検出装置において、前記雨滴判定部は、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行うことが好ましい。

同構成によれば、雨滴判定部は、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行うため、例えば、背景における車線のような人工物に基づいたエッジの群を雨滴として誤判定してしまうことを回避することができる。

上記雨滴検出装置において、前記ウィンド面検出センサは、撮像素子とレンズとを有し、前記撮像素子の撮像面と前記レンズの主面とは、前記撮像面を含む平面と前記主面を含む平面と前記車両ウィンドの外表面を含む平面とが一直線上で交わるように、傾けて設けられることが好ましい。

同構成によれば、撮像素子の撮像面とレンズの主面とは、撮像面を含む平面と主面を含む平面と車両ウィンドの外表面を含む平面とが一直線上で交わるように、傾けて設けられるため、シャインプルーフの原理によって、焦点（ピント）を車両ウィンドの外表面に沿った広い範囲に合わせることができる。よって、例えば、車両ウィンドと正対しない位置であって搭乗者の視界の邪魔にならない位置に配置しても、車両ウィンドの外表面に焦点が合うとともに背景には焦点が合っていない（背景がぼけた）画像データを得ることができる。そして、背景についてはエッジが抽出され難くなり、雨滴についてはエッジが抽出され易くなるため、以後の判定で、雨滴の存在を精度良く検出することができるようになる。

上記課題を解決する車両ワイパ装置は、上記雨滴検出装置と、前記雨滴判定部による雨滴の有無の判定に基づいて、ワイパモータを駆動制御するワイパ制御部とを備える。
同構成によれば、雨滴検出装置にて雨滴が存在していることを精度良く検出して、ワイパ制御部にて精度良くワイパモータを駆動制御させることができ、良好に車両ウィンドを払拭することができる。

上記課題を解決する雨滴検出方法は、車両内部から車両ウィンドを撮像して画像データを取得し、前記画像データに基づいて雨滴の有無を判定する雨滴検出方法であって、順次撮像される前記画像データ中のエッジを抽出するエッジ抽出処理を行い、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あると、エッジが存続したと判定する存続判定処理をｑ段階（但しｑは複数）繰り返して、最終的に存続したと判定されたエッジに基づいて雨滴の有無を判定することを特徴とする雨滴検出方法。

同方法によれば、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あるとエッジが存続したと判定する存続判定処理がｑ段階（但しｑは複数）繰り返されて、最終的に存続したと判定されたエッジに基づいて雨滴の有無が判定される。このようにすると、例えば、走行風の影響等により雨滴がちらついて見えるような場合でも、そのちらつきを考慮して雨滴が存在していることを精度良く検出することができる。

本発明の雨滴検出装置、車両ワイパ装置、及び雨滴検出方法では、雨滴の存在を精度良く検出することができる。

一実施形態における車両の模式断面図。 一実施形態における雨滴判定部が行う処理のフローチャート。 一実施形態におけるカメラにて撮像された画像。 一実施形態における複数段階の存続判定処理を説明するための説明図。

以下、雨滴検出装置を備えた車両ワイパ装置の一実施形態を図１〜図４に従って説明する。
図１に示すように、車両Ｃには、ルーフパネル１の車両前方側端部から車両前方側に向かって斜め下方に延びるように車両ウィンドとしてのフロントガラス２が設けられている。又、車両Ｃにおけるルーフパネル１の下面には、運転席３から後方を確認するためのバックミラー４が支持されている。

又、車両Ｃには、車両Ｃの内部からフロントガラス２を撮像してカラーの画像データを順次（例えば１秒間に３０フレーム）得るためのウィンド面検出センサとしてのカメラ１１が設けられている。カメラ１１は、筐体１２と、筐体１２内に収容保持された撮像素子としてのＣＭＯＳ（イメージ）センサ１３と筐体１２から外部に露出するように保持されたレンズ１４とを有する。カメラ１１は、バックミラー４の車両前方側に配置されるように、本実施形態ではルーフパネル１に固定されている。

そして、ＣＭＯＳセンサ１３の撮像面１３ａとレンズ１４の主面１４ａとは、前記撮像面１３ａを含む平面と前記主面１４ａを含む平面とフロントガラス２の外表面２ａを含む平面とが一直線Ｌ上で交わるように、傾けて設けられている。尚、フロントガラス２の外表面２ａは、実際は湾曲しており平面ではないが、その湾曲面に最も近い平面を用いて、ＣＭＯＳセンサ１３の撮像面１３ａとレンズ１４の主面１４ａとの傾きが設定されている。又、図１は、車両Ｃを側方（車両幅方向）から見た模式断面図であって、前記撮像面１３ａを含む平面を直線Ｓ１として図示し、前記主面１４ａを含む平面を直線Ｓ２として図示し、フロントガラス２の外表面２ａを含む平面を直線Ｓ３として図示し、一直線Ｌは紙面直交方向に延びるため、点で図示している。

又、車両Ｃには、カメラ１１に接続された制御回路２１が設けられている。制御回路２１は、前記画像データに基づいて雨滴の有無を判定する雨滴判定部２２と、雨滴判定部２２による雨滴の有無の判定に基づいて、ワイパモータＭを駆動制御するワイパ制御部２３とを有する。

次に、雨滴判定部２２が行う処理について説明する。
図２に示すように、制御回路２１の雨滴判定部２２は、ステップＳ１０１において、カラーの画像データをカメラ１１から取得し、ステップＳ１０２に移行する。

ステップＳ１０２において、雨滴判定部２２は、取得したカラーの画像データをグレースケールの画像データに変換するグレースケール演算を行い、ステップＳ１０３に移行する。尚、図３は、グレースケールの画像の例である。

ステップＳ１０３において、雨滴判定部２２は、各画素に関する微分演算を行い、ステップＳ１０４に移行する。
ステップＳ１０４において、雨滴判定部２２は、前記ステップＳ１０３における微分演算の結果を用いて、予め記憶していた閾値を越えるか否かを判定することで、画像データ中のエッジ（明るさが鋭敏に変化している箇所）を抽出し、ステップＳ１０５に移行する。

ステップＳ１０５において、雨滴判定部２２は、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行い、ステップＳ１０６に移行する。即ち、ここでは、抽出された多数のエッジの中から、雨滴の可能性が低く、車線３１（図３参照）や建物のような人工物である可能性が高い直線性を有するエッジの群を、雨滴であると誤判定しないように、抽出したエッジの中から除去する。

ステップＳ１０６において、雨滴判定部２２は、車速等の車両状況の情報Ｚを図示しない車両ＥＣＵ等から取得し、ステップＳ１０７に移行する。
ステップＳ１０７において、雨滴判定部２２は、取得した車速等の車両状況の情報Ｚに応じて、後述するｍ、ｐ、ｑの値を、雨滴のちらつきの要素が除去されるように（最適な値に）設定し、ステップＳ１０８に移行する。尚、このｍ、ｐ、ｑの値は、予め記憶させておいたマップや演算式等を用いて決定する値であって、ｍは複数、ｐはｍ未満の整数、ｑは複数である。

ステップＳ１０８において、雨滴判定部２２は、前記直線性の高いエッジの群が除去されたエッジのデータに基づいて、同じ位置におけるエッジが過去ｍ回中にｐ回あるとエッジが存続したと判定する存続判定処理を行い、ステップＳ１０９に移行する。

具体的には、例えば、図４に示すように、ｍが「３」でｐが「２」に設定された場合、（１段階目の）存続判定処理では、同じ位置におけるエッジが過去３回中（最新を含む過去３フレーム中）に２回あると、エッジが存続した（図４中、「有」）と判定し、エッジが過去３回中に２回ないと、エッジが存続していない（図４中、「無」）と判定する。

ステップＳ１０９において、雨滴判定部２２は、前記存続判定処理をｑ段階行ったか否かを判定し、ｑ段階行っていないとステップＳ１０８に移行し、ｑ段階行っているとステップＳ１１０に移行する。

具体的には、例えば、図４に示すように、ｑが「３」に設定された場合、前述したように１段階目の存続判定処理を行って得た結果から、２段階目の存続判定処理を行い、更にその結果から、３段階目の存続判定処理を行って、次のステップＳ１１０に移行する。

ステップＳ１１０において、雨滴判定部２２は、前記存続判定処理の結果であって、最終的に（ｑ段階の存続判定処理を行って）存続したと判定されたエッジに基づいて雨滴の有無を判定し、その判定結果を前記ワイパ制御部２３に送信して処理を終了する。

すると、ワイパ制御部２３は、雨滴判定部２２による雨滴の有無の判定に基づいて、ワイパモータＭを駆動制御する。具体的には、本実施形態のワイパ制御部２３は、例えば、雨滴判定部２２にて判定された雨滴の量に応じたモード（低速モードや高速モードや間欠モード等）でワイパモータＭを駆動させる。

次に、上記のように構成された車両ワイパ装置の作用について説明する。
例えば、車内に設けられたレバースイッチＳＷがオート位置に操作されていると、カメラ１１によって車両Ｃの内部からフロントガラス２が定期的に撮像される。尚、図１では、カメラ１１による撮像範囲（角度）を破線で図示している。そして、雨滴判定部２２によって、撮像した画像データに基づいてフロントガラス２上に雨滴等が付着していると判定されると、ワイパ制御部２３によってワイパモータＭが駆動されて図示しないワイパによってフロントガラス２が払拭され、自動的に雨滴等が除去される。

次に、上記実施形態の特徴的な効果を以下に記載する。
（１）雨滴判定部２２によって、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あるとエッジが存続したと判定する存続判定処理がｑ段階（但しｑは複数）繰り返されて、最終的に存続したと判定されたエッジに基づいて雨滴の有無が判定される。このようにすると、例えば、走行風の影響等により雨滴がちらついて見えるような場合でも、そのちらつきを考慮して雨滴が存在していることを精度良く検出することができる。

（２）雨滴判定部２２は、前記ｍ、ｐ、ｑの値を車両状況（車速等）に応じて、雨滴のちらつきの要素が除去されるように設定するため、車両状況に応じて雨滴が存在していることをより精度良く検出することができる。

（３）雨滴判定部２２は、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行うため、例えば、背景における車線３１のような人工物に基づいたエッジの群を雨滴として誤判定してしまうことを回避することができる。

（４）カメラ１１は、バックミラー４の車両前方側に配置されるため、搭乗者の視界の邪魔になることが防止される。又、ＣＭＯＳセンサ１３の撮像面１３ａとレンズ１４の主面１４ａとは、撮像面１３ａを含む平面と主面１４ａを含む平面とフロントガラス２の外表面２ａを含む平面とが一直線Ｌ上で交わるように傾けて設けられるため、シャインプルーフの原理によって、焦点（ピント）をフロントガラス２の外表面２ａに沿った広い範囲Ｘに合わせることができる。尚、図１では、焦点の合う範囲Ｘを模式的に２点鎖線で図示している。よって、フロントガラス２と正対しない位置であって搭乗者の視界の邪魔にならない位置に配置しても、フロントガラス２の外表面２ａに焦点が合うとともに背景には焦点が合っていない（背景がぼけた）画像データを得ることができ、フロントガラス２の外表面２ａの情報（雨滴の輪郭等）を高精細に得ることができる。そして、背景についてはエッジが抽出され難くなり、雨滴についてはエッジが抽出され易くなるため、以後の判定で、雨滴の存在を精度良く検出することができるようになる。その結果、例えば、フロントガラス２上に雨滴等が付着しているか否かの判定を高精度に行うことができ、ワイパ制御部２３にて精度良くワイパモータＭを駆動制御させることができ、良好にフロントガラス２を払拭することができる。

上記実施形態は、以下のように変更してもよい。
・上記実施形態のｍ、ｐ、ｑの値は、複数段階の存続判定処理にて雨滴のちらつきの要素が除去される（ちらつきの影響を排除できる）ように設定されればよく、車両状況の情報Ｚは、例えば、車速の他に操舵角度や車両周囲の明るさ等がある。例えば、車速が速いときには、短時間でちらつきが発生する虞が高いため、分母となるｍを大きな値に設定することで、雨滴のちらつきの要素が除去されるようにすることができる。また、その他の車両状況に応じても雨滴のちらつきの要素が除去されるように（理論的に、又は実験から導き出して最適な値に）前記ｍ、ｐ、ｑの値を設定すればよい。即ち、ｍ、ｐ、ｑの値は、雨滴が存在しているのに存在していないと判定される誤判定や、雨滴が存在していないのに存在していると判定される誤判定を減らすことができる値に設定すればよい。また、例えば、ｍ、ｐ、ｑの値は、車両状況（情報Ｚ）に関わらず一定としてもよい。尚、勿論、ｍ、ｐ、ｑの値は、カメラ１１のフレームレートに応じて設定を変更してもよい。

・上記実施形態では、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行うとしたが、これに限定されず、直線除去処理を省略してもよい。

・上記実施形態では、ＣＭＯＳセンサ１３の撮像面１３ａとレンズ１４の主面１４ａとは、撮像面１３ａを含む平面と主面１４ａを含む平面とフロントガラス２の外表面２ａを含む平面とが一直線Ｌ上で交わるように傾けて設けられるとしたが、これに限定されず、前記撮像面１３ａと前記主面１４ａとが正対したカメラ１１を用いてもよい。尚、この場合、例えば、カメラ１１（詳しくは前記撮像面１３ａと前記主面１４ａ）をフロントガラス２に正対させることが好ましい。勿論、カメラ１１は、ルーフパネル１以外の他の位置に固定してもよい。また、カメラ１１（詳しくは前記撮像面１３ａと前記主面１４ａ）をフロントガラス２に正対させる場合、撮像する範囲は小さくしてもよい。

・上記実施形態では、カメラ１１は、車両Ｃの内部からフロントガラス２を撮像するとしたが、リヤガラス等、他の車両ウィンドを撮像するようにしてもよい。
・上記実施形態では、撮像素子をＣＭＯＳセンサ１３としたが、これに限定されず、例えばＣＣＤ（イメージ）センサ等の他の撮像素子に変更してもよい。

・上記実施形態では、雨滴判定部２２による雨滴の有無の判定に基づいて、ワイパモータＭを駆動制御するとしたが、判定の結果を他の用途に用いるようにしてもよい。
・上記実施形態では、カメラ１１は、単純に外部に露出したレンズ１４だけを備えたように記載したが、これに限定されず、筐体１２の内部にもレンズを備えたカメラとしてもよく、それらのレンズ（主面）と撮像面１３ａとを傾けて、シャインプルーフの原理によって、焦点をフロントガラス２の外表面２ａに沿った広い範囲Ｘに合わせてもよい。

２…フロントガラス（車両ウィンド）、１１…カメラ（ウィンド面検出センサ）、１３…ＣＭＯＳセンサ（撮像素子）、１３ａ…撮像面、１４…レンズ、１４ａ…主面、２２…雨滴判定部、２３…ワイパ制御部、Ｃ…車両、Ｌ…一直線、Ｍ…ワイパモータ。

Claims (6)

1. 車両内部から車両ウィンドを撮像して画像データを取得するウィンド面検出センサと、
   前記画像データに基づいて雨滴の有無を判定する雨滴判定部と
   を備えた雨滴検出装置であって、
   前記雨滴判定部は、順次撮像される前記画像データ中のエッジを抽出するエッジ抽出処理を行い、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あると、エッジが存続したと判定する存続判定処理をｑ段階（但しｑは複数）繰り返して、最終的に存続したと判定されたエッジに基づいて雨滴の有無を判定することを特徴とする雨滴検出装置。
2. 請求項１に記載の雨滴検出装置であって、
   前記雨滴判定部は、前記ｍ、ｐ、ｑの値を車両状況に応じて、雨滴のちらつきの要素が除去されるように設定することを特徴とする雨滴検出装置。
3. 請求項１又は２に記載の雨滴検出装置であって、
   前記雨滴判定部は、抽出されたエッジのデータに基づいて、直線性の高いエッジの群は雨滴の判定から除去する直線除去処理を行うことを特徴とする雨滴検出装置。
4. 請求項１乃至３のいずれか１項に記載の雨滴検出装置であって、
   前記ウィンド面検出センサは、撮像素子とレンズとを有し、
   前記撮像素子の撮像面と前記レンズの主面とは、前記撮像面を含む平面と前記主面を含む平面と前記車両ウィンドの外表面を含む平面とが一直線上で交わるように、傾けて設けられたことを特徴とする雨滴検出装置。
5. 請求項１乃至４のいずれか１項に記載の雨滴検出装置と、
   前記雨滴判定部による雨滴の有無の判定に基づいて、ワイパモータを駆動制御するワイパ制御部と
   を備えたことを特徴とする車両ワイパ装置。
6. 車両内部から車両ウィンドを撮像して画像データを取得し、前記画像データに基づいて雨滴の有無を判定する雨滴検出方法であって、
   順次撮像される前記画像データ中のエッジを抽出するエッジ抽出処理を行い、同じ位置におけるエッジが過去ｍ回（但しｍは複数）中にｐ回（但しｐはｍ未満の整数）あると、エッジが存続したと判定する存続判定処理をｑ段階（但しｑは複数）繰り返して、最終的に存続したと判定されたエッジに基づいて雨滴の有無を判定することを特徴とする雨滴検出方法。