JP5785565B2 - デジタル画像における滴を検出する方法および装置ならびにこの方法を実行するためのコンピュータプログラム - Google Patents

Description

本発明は、１または複数のデジタル画像における滴を検出する方法、コンピュータプログラムおよび装置に関する。

デジタル画像における滴を検出する必要性は、様々な用途で現れる。この必要性は、第一に、プロセス中に滴の凝縮および形成があるかどうかを判断することが必要または重要である工業プロセスに存在し得る。他の重要な用途は、車両の運転である。車両の移動において雨が降っている場合、フロントガラスは滴で覆われる。雨が降り始めた際、フロントガラスのワイパーを自動的に作動させるため、又は、車両の制御システムに情報を送信して検出された雨の状況に車両の動作を適合させるために、滴の存在を検出してこの変化を考慮することは、関心を引くものになり得る。

より一般的に、画像における滴の検出は、画像における滴の存在によって問題または混乱が生じやすい、デジタル画像を実行するあらゆる方法において重要になり得る。例えば、ビデオ監視システムは、画像における滴の検出工程と後続の画像補正工程を統合した画像処理方法によって改善することができる。

周知のように、その唯一の機能が滴（または雨）の検出であり、主として検出器に接続された赤外線送信器によって構成された雨検出器が、滴検出装置として搭乗車両にて用いられている。この組立て品は、フロントガラスに装着されて配置される。送信器は、フロントガラスの方向に赤外線を送信し、検出器は、フロントガラスによって返送された信号を受信する。フロントガラスの外面上に水滴が存在する場合、フロントガラスが赤外線をいくらか反射し、この反射が検出され得る。

これらは一般に信頼できるが、いくつかの短所がある。第１に、滴の検出は、フロントガラスの小区画でのみ可能である。次に、これらのセンサは、フロントガラスに付着した滴の数に関する定量的な情報を提供しない。最後に、これらのセンサは、通常、中央のバックミラーの高さで車内に配置され、かつ車両に搭載され埋め込まれた多数のアプリケーションによりスペースを占める。

また、画像における滴を検出する方法が、非特許文献１に示されている。

この出版物は、デジタル画像における滴を検出する方法を示している。この方法には、主な要素の解析によって、大規模データベースからの滴の特性の学習を可能にするという、先行静的学習段階が含まれる。次に、そのような方法は、照合段階中に実行されるが、その間に、画像部分は、滴を識別するために基準画像と照合されるか、または少なくとも比較される。

このシステムは、本質的には、比較的一体となった背景、例えば空の画像に対してのみ優れた結果をもたらす。しかしながら、複雑なレベル、例えば都市環境を表す画像において堅調さを欠いている。

‘Ｒａｉｎｙ Ｗｅａｔｈｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ Ｉｎ−ｖｅｈｉｃｌｅ Ｃａｍｅｒａ Ｉｍａｇｅｓ ｆｏｒ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ’，ＭＭ．Ｋｕｒｉｈａｔａ ｅｔ ａｌ．，Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，ＩＥＥＥ，ｐｐ．２０５−２１０，２００５

したがって、本発明の第１の目的は、画像取得システムによって透明な壁を通して取得されたデジタル画像に現れる滴を検出する堅調な方法を提案することであり、その方法は滴の存在だけでなく滴の位置の検出も可能にするものである。

この目的は、以下の工程を含む、滴の検出方法によって達成される。
ｂ） 各画素に、その画素の位置における勾配値を割り当てることによって、デジタル画像から勾配画像を確立する；
ｃ） 画素の近傍にランク（ｒａｎｋ）フィルタを適用して取得した値を各画素に割り当てることにより上記勾配画像をフィルタリングして、フィルタリングされた画像を取得する；
ｄ） 上記デジタル画像において検出された滴の位置を表すマスクであって、上記マスクにおいて、フィルタリングされた画像における画素値と勾配画像における画素値との差が所定値を超える画素は活性化されているマスクを決定する。

「マスク」は、二進法画像として理解され、その画素は、０（非活性画素）または１（活性化された画素）のいずれかに等しい。画像取得システムは、特に、写真カメラまたはデジタルビデオカメラとすることができる。

本方法には、中間画像、勾配画像、およびフィルタリングされた画像の作成用に２つの工程ｂ）およびｃ）が含まれ、マスクの生成工程ｄ）の間に、これらの画像から滴の存在に関する情報が抽出される。

ランクフィルタリングの工程は、フィルタリングされた画像の各画素に関し、画素の所定の近傍（例えば、検討される画素を中心にした１５×１５画素または２１×２１画素のボックス）について、その値未満に画素の所定の一部（パーセンテージ）が存在し、かつ相補的にその値より上に画素の相補的な所定の一部があるという値を決定する。例えば、目的は、その値未満に、検討された近傍における画素の９５％が見出されるという値を決定することである。この値は、フィルタリングされた画像において、検討された画素に割り当てられる。

フィルタリングされた画像は、勾配画像のローカル「ノイズ」が低減された画像である。近傍サイズとしては、滴のサイズよりかなり大きなサイズ、例えば、両方向において滴のサイズの３倍または４倍が選択されるのが好ましい。

また、勾配画像からフィルタリングされた画像を減じることによって、滴による勾配の変化量を可視化することが可能になる。

結果として本方法に十分な堅牢性がもたらされ、例えば都市環境などの複雑な風景を表す画像等に対しても、優れた性能を発揮することができる。

本発明の第２の目的は、複数のデジタル画像からの滴を検出する堅調な方法を提案することであり、その方法は画像取得システムによって透明な壁を通して取得された複数のデジタル画像に現れる滴の検出を可能にする。

この目的は、以下の工程を含む方法によって達成される。
− 先に規定した方法によって、上記デジタル画像から複数のマスクを連続的に取得する；
− 工程ｈ）の間、取得されたマスクの少なくとも所定の割合に現れる滴を含む確定マスクが設定される。この方法において、本方法が実行される基となる複数のデジタル画像を様々に利用できることが分かる。特に、
− 各デジタル画像についてマスクを計算する。または、
− 複数の画像においてデジタル画像のグループを形成する。各グループに対してマスクを取得し、次に、これらのマスクに基づいて確定マスクを取得する。

本発明の第３の目的は、開始（入力）データとしてプログラムに供給された１または複数のデジタル画像における滴を検出するために、コンピュータまたは計算機上で実行することができるコンピュータプログラムを提案することである。

この目的は、先に規定した滴の検出方法の１つを実行するための指令を有するコンピュータプログラムによって達成される。

本発明の第４の目的は、画像における滴の存在を堅固に検出するための、かつ、標準的画像取得システムによって実行できる、滴の検出装置を提案することである。

この目的は、画像取得システム、及び、画像取得システムによって取得された画像を受信するための、画像取得システムに接続された計算機を有する装置によって達成され、該計算機は、先に規定した方法を実行するのに適したものである。特に、本発明は、フロントガラス上の雨の滴を検出するための装置として使用されるこの種の装置に関する。ここで、計算機は、コンピュータまたは専用電子コンポーネント、特に、その物理的アーキテクチャ（ハードウェア）が、ソフトウェアによっても実行できるいくつかの機能を実行するコンポーネントを意味する。

したがって、本発明は、特に、画像取得システムと、画像取得システムによって取得された画像を受信するための、画像取得システムに接続されたかかる計算機とを有する装置に関し、上記計算機には、以下の手段が含まれる。
− 勾配画像を構成するために、画素の位置における勾配値を各画素に割り当てるのに適した、上記デジタル画像から勾配画像を確立するための手段；
− 勾配画像における画素の近傍にランクフィルタを適用することによって取得した値を各画素に割り当てることによりフィルタリングされた画像を構成するのに適したフィルタリング手段；
− 上記デジタル画像における検出された滴の位置を表すマスクであって、フィルタリングされた画像における画素値と勾配画像における画素値との差が所定値を超える画素が活性化されているマスクを確立するための手段。

計算機は、主として中央ユニットを有することができるが、しかしまたいくつかの分散計算ユニットで構成することもできる。

実施形態において、計算機は、隣接する活性化された画素間に位置する、活性化されていない画素をマスクにおいて活性化することによって、マスクを完成するための手段をさらに有する。

実施形態において、計算機は、結合する画素のグループの特性に関する所定の除去基準を１つ以上満足する、活性化された結合する画素のグループをマスクにおいて非活性化することによりマスクを精製するための手段をさらに有する。

実施形態において、計算機は、取得されたマスクにおける滴を特定するための手段をさらに有し、各滴は活性化された結合する画素のグループに対応する。

本発明は、特に、前述のような装置であって、デジタル画像から複数のマスクを連続的に生成するように構成され、かつ計算機が、先に取得したマスクの少なくとも所定の割合に現れる滴を、（「確定マスク」と呼ばれる）マスクにおいて選択するのに適したマスク確定手段をさらに有する装置に関する。

実施形態において、装置は、制御信号をマシンに送信するための送信手段をさらに有し、前記信号は、１または複数のデジタル画像上で識別された滴の数または密度の関数である。ここで、滴の密度は、識別された滴の数と、滴が検出されたガラス板の表面との比（密度は、滴の数／ｍ^２と表現することができる）、または、識別された滴の数と、画像における１以上の関心領域の画素で表現された表面との比（密度は、滴の数／画素もしくは滴の数／Ｍ画素と表現することができる）を示す。

この種の装置は、特に、ウィンドワイパーシステムに制御（または作動）信号を送信するようにさせることができる。

非限定的な例によって表された、下記の実施形態の詳細な説明から、本発明は、より明確に理解され、その利点はより明確に浮かび上がるであろう。その説明は、添付の図面を参照する。

本発明にかかる方法が実行される起点となる初期画像を示す。 検出された滴を黒で示すことによって取得された最終画像を示す。 車両に配置された、本発明にかかる装置の斜視図である。 本発明にかかる、滴の検出方法の概略全体図である。 デジタル画像セットから取得された部分デジタル中間画像の図である（方法の工程ａ））。 図５の画像から取得されたデジタル勾配画像の図である（方法の工程ｂ））。 ランクフィルタリングによって図６の画像から取得されたデジタルのフィルタリングされた画像の図である（方法の工程ｃ））。 図６および図７の画像から減算および閾値処理によって取得されたマスクの図である（方法の工程ｄ））。 図５のマスクから取得された、確定マスクの図である（方法の工程ｈ））。

図１〜３は、本発明の重要な用途、特に車両のフロントガラス上の滴の検出を示す。

図１および２は、図３に示す滴の検出用の装置１００によって取得されたデジタル画像を示す。

図１は、例えばカメラによって提供される生画像を示す。図２は、本方法によって取得されたマスクを生画像に重ねることによって、本方法の完了時に形成される画像を示す。検出された滴の画素は黒で現れる。有利なことに、この第２の画像によって、フロントガラス上に存在する滴の数および密度の即時的評価が可能になる。

図３は、この結果をもたらすために用いられる、本発明にかかる滴検出用装置１００を概略的に示す。この装置１００は車両１０２に取り付けられ、車内１０６に配置されたカメラ１０４、および、カメラ１０４が接続される計算機１０８または搭載コンピュータを有する。カメラ１０４は、風景の明瞭な画像を提供するために無限焦点である。無限焦点ゆえに、車両の環境の明瞭な画像の取得は、計算機１０８によって実行される画像処理（以下で規定される処理）の有効性に寄与する。これに対し、フロントガラスに合焦されて、環境の明瞭な画像を提供しないであろうカメラは、滴の検出に所望の効率をもたらさないことになろう。

また、カメラの無限焦点は、車両の環境の明瞭な画像をもたらす。これらの画像は、道路標識の検出などの他の有用な処理のために利用することができる。

カメラによって連続的に取得された画像から滴を検出する方法を実行する、本発明にかかるプログラムは、計算機１０８上で実行される。

計算機１０８は、フロントガラス上の滴の存在に関して取得された情報に応じて、必要な場合にはフロントガラスのワイパー１１０を作動させる電動機１０９を始動させる。

ここで、図４〜９を参照し、本発明にかかる滴の検出方法の実施形態を説明する。図４は方法の概略全体図を示し、図５〜９は方法の工程ａ）〜ｅ）をそれぞれ示す。

本方法は、ＣＣＤやＣＭＯＳマトリックスビデオカメラなどの標準的デジタルビデオカメラによって生成されたデジタル画像のシーケンスから実行される。

この画像シーケンスは、画像グループに構成される。これらの画像グループは、以下で詳述する例のようにグループ間の重複なしか、または、画像が２以上のグループに共通し得ることを意味するグループ間の重複を伴うという、異なる様式で構成できる。例えば、画像Ｉ１、Ｉ２、Ｉ３、Ｉ４等がカメラによって連続的に取得される場合に、画像グループは以下のように構成することができる。第１のグループに画像Ｉ１〜Ｉ５を含むことができ、第２のグループに画像Ｉ２〜Ｉ６を含むことができ、第３のグループに画像Ｉ３〜Ｉ７を含むことができる、等である。

図４〜９によって示す実施形態において、２０画像のシーケンスＩ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５が示されている。

最初に、画像は、５画像のグループ（これは、５ではなく任意の整数とすることが可能である）によってグループ化される。したがって、これにより、画像の４つのグループＩ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５が構成される。

これらのグループのそれぞれに対して、方法の第１の工程ａ）では、グループのデジタル画像から中間画像を決定する。したがって、画像Ｉ１１−Ｉ１５から中間画像Ｉ１６が形成され、画像Ｉ１１１−Ｉ１１５から中間画像Ｉ１１６が形成される、等である。各中間画像において、各画素には、検討された画像グループの画像における画素に割り当てられた中間値が割り当てられる。

画像Ｉ１１−Ｉ１５、Ｉ１１１−Ｉ１１５等がカラー画像である場合、中間画像はグレー画像に変換される。

次に、得られた各中間画像に対しマスク（Ｉ２０、Ｉ１２０、Ｉ２２０、Ｉ３２０）を生成する一連の操作（方法の工程ｂ）〜ｇ））が実行される。これらのマスクは、二進法画像であり、滴の存在が検出された画素が活性化される（すなわち値１である）。

図５〜９は、方法の工程ａ）〜ｅ）中に取得されたデジタル画像を示す。よりよく理解するために、方法のこれらの工程は、１８行および２７列しか含まない部分画像によって示されている。当然、完全な画像は、通常、より大きな寸法、例えば４８０行および６４０列を有する。

別段の定めがない限り、以下の説明は、画像Ｉ１１−Ｉ１５からなされた処理についてのものである。

既に言及したように、方法の最初の工程ａ）（図５）において、複数のデジタル画像（この場合、画像Ｉ１１−Ｉ１５）が平均されて中間画像Ｉ１６が得られる。該画像は、本方法の後続工程が実行される基礎となるデジタル画像を形成するものである。

図５は、画像Ｉ１１−Ｉ１５の中間値を画素ごとに計算することによって取得された中間画像Ｉ１６を示す。中間画像における画素値の決定は、いくつかの画像中の画素の中間値を計算するための様々な既知の式を用いて行うことができる。

図５に示すデジタル画像は、底部の第１の暗いエリア６０（道路）、次いで直上の中間グレーの第２エリア６２、次いで第３エリア６４、および、最後に第４エリア６６（空、光）からなる風景を示す。

この画像は、４つの滴Ａ、Ｂ、Ｃ、Ｄの存在によって変更される。これらの滴は、それぞれ３×４画素の寸法のエリアを占める。滴は、反映するシーンの色調を反対に表す。すなわち、反映された風景（エリア６０、６２、６４、６６）とは逆に、上方に暗い画素および下方に明るい画素を含む。

本方法の次の工程ｂ）（図６）では、中間画像Ｉ１６から勾配画像Ｉ１７を確立する。

画像Ｉ１７を確立するために、まず、「Ｘにおける」第１の勾配画像が形成される。該画像では、各画素は、以下の式によって決定された値を取る。
Ｇ_ｘ（ｘ，ｙ）＝｜Ｉ_１６（ｘ，ｙ）−Ｉ_１６（ｘ−１，ｙ）｜
式中、｜．．．｜は、絶対値関数を表し、Ｉ_１６（ｘ，ｙ）は、画像Ｉ１６における行ｘおよび列ｙの画素が取る値である。「Ｙにおける」第１の勾配画像は、
Ｇ_ｙ（ｘ，ｙ）＝｜Ｉ_１６（ｘ，ｙ）−Ｉ_１６（ｘ，ｙ−１）｜
として同様に計算される。

勾配画像Ｉ１７は、値、
Ｇ（ｘ，ｙ）＝√（Ｇ_ｘ（ｘ，ｙ）^２＋Ｇ_ｙ（ｘ，ｙ）^２）
を各画素に割り当てることによって得られる。式中、√は、関数「平方根」を表す。他の類似の勾配の関数を、本発明の範囲内で用いることができる。

当然、色調の変化量が勾配画像Ｉ１７に現れる。したがって、２画素の幅を有する３つの水平帯６８、７０、７２を識別することができる。これらは、エリア６０、６２、６４、および６６間の色調の各変化量に対応する。

また、各滴について、滴Ａ、Ｂ、Ｃ、Ｄの上側部分および下側部分にそれぞれ対応する２つのエリア７４Ａ、７６Ａ、７４Ｂ、７６Ｂ、７４Ｃ、７６Ｃ、７４Ｄ、７６Ｄを特定することができる。画像は、その下部においてより対照的になるので、滴ＣおよびＤの勾配値が、滴ＡおよびＢの勾配値より高いことに気付くことができる。結果として、滴ＣおよびＤのエリア７４Ｃ、７４Ｄ、および、７６Ｃ、７６Ｄが、滴ＡおよびＢの対応エリアより暗くなる。

本方法の次の工程ｃ）（図７）では、ランクフィルタリングによって取得した値を各画素に割り当てることにより、勾配画像Ｉ１７をフィルタリングして、フィルタリングされた画像Ｉ１８を取得する。周知のように、ランクフィルタリングは、各画素について、検討対象の画素の近傍に位置する画素の値のうち所定のパーセンテージがその値未満（または超）に存在する、という値を割り当てることである。提示した方法は、その値未満に１５×１５または２１×２１画素のボックスによって構成された近傍における画素の９５％が存在するという値を、フィルタリングされた画像における各画素に割り当てることによって検証された。

フィルタリングされた画像Ｉ１８において、下側の暗いエリア７８および上側のより明るいエリア８０を認識することができる。下側エリア７８は、勾配画像Ｉ１７における暗いエリア６８、７０、７４Ｃ、７６Ｃ、７４Ｄおよび７６Ｄの存在から本質的にもたらされる。

本方法の次の工程ｄ）（図８）では、検出された滴の位置を表すマスクＩ１９を確立する。これは、２工程で行われる。最初に、勾配画像Ｉ１７とフィルタリングされた画像Ｉ１８との間の減算によって、画像が形成される。

次に、マスクＩ１９が、閾値処理、つまり、フィルタリングされた画像における画素値と勾配画像における画素値との間の差が所定値を超える画素だけを活性化させることにより、確立される。マスクＩ１９は、「高勾配画像」と見なすことができる。

このマスクＩ１９において、滴Ａ、Ｂ、ＣおよびＤについて、活性化された結合する画素の上側および下側のグループにそれぞれ対応する、エリア８４Ａ、８６Ａ、８４Ｂ、８６Ｂ、８４Ｃ、８６Ｃ、８４Ｄ、８６Ｄを認識することができる。

本方法の利点は、異なる勾配エリア（７４Ａ、７６Ａ、７４Ｂ、７６Ｂ、７４Ｃ、７６Ｃ、７４Ｄ、７６Ｄ）が、マスクＩ１９において有効に検出および活性化されるということである。これは、工程ｄ）において、フィルタリングされた画像を勾配画像から減算する演算によって可能になり、勾配値からローカルな成分を除去することにつながる。画像における滴の位置を検出するために勾配型の関数だけが使用された場合には、この結果は取得できなかった可能性がある。

実際に、エリア７８（エリア７４Ｃ、７６Ｃ、７４Ｄおよび７６Ｄに対応する）の値を有する閾値を用いて、勾配画像Ｉ１７の閾値処理を実行しても、滴ＡおよびＢの検出は可能にならない。かかる閾値を用いると、エリア８４Ａ、８６Ａ、８４Ｂ、および８６Ｂは、閾値処理画像に現れない。反対に、エリア８０（エリア７４Ａ、７６Ａ、７４Ｂおよび７６Ｂに対応する）の値を有する閾値を用いて、勾配画像Ｉ１７の閾値処理を実行することは、滴ＣおよびＤからエリア７０および６８を区別できるようにすることなく、滴Ａ、Ｂ、ＣおよびＤに加えて、エリア７０および６８を保持することになったであろう。

結果として、フィルタリングされた画像Ｉ１８を工程ｃ）およびｄ）中で用いることによって、有利なことに、４つの滴Ａ、Ｂ、ＣおよびＤ、これらだけを勾配画像Ｉ１７において特定することが可能になる。

本方法の次の工程ｅ）（図９）では、隣接する活性化された画素間に位置する非活性画素をマスクにおいて活性化することにより、マスクを完成する。

この工程の目的は、画像に存在する同じ滴における異なる部分に実は対応する、隣接する活性化された画素の複数のエリアを、同一の滴であると特定できるように、マスクにおける「穴」を満たすことである。

「隣接する活性化された画素間に位置する」なる表現において、用語「間」は、広い意味を有するとみなされなければならない。実際に、工程ｅ）では、画素が、活性化された画素によって包囲されるかまたは取り囲まれた（少なくとも部分的に）場合に、画素を活性化する。より正確には、この工程は、活性化基準を満たす各画素を活性化する。この活性化基準は、検討対象の画素の近傍に位置する活性化された画素の数、距離、および／または、位置の関数である。

検討される画素の近傍は、様々に、また、選択された活性化基準に応じて、規定することができる。

実施形態において、この近傍には、検討される画素に近い全ての画素、すなわち画像における滴のサイズ未満（場合によっては、滴の最大サイズ）の距離、またはこの距離の一部だけ離れた全ての画素が含まれる。活性化基準は、この近傍において少なくとも所定数の活性化された画素を有する全ての画素を活性化する。

他の実施形態において、近傍の形態およびサイズを指定することができる。

例えば、検討対象の画素の上および下の４画素を近傍として用いることができる。前述の実施形態におけるように、この場合の活性化基準では、活性化された画素を所定数以上自身の近傍（そのように規定された）に有する画素を活性化させる。図示した例において、検討される画素の活性化を可能するために、最低２つの活性化された画素が検討される画素の近傍に存在しなければならない。画像Ｉ２０は、この関数がＩ１９に適用されたことを示す。

このようにして完成されたマスクの例が図９に示されている。図９は、４つの検出された滴Ａ、Ｂ、ＣおよびＤに対応する、活性化された結合する画素の４つのエリアを示す。

本方法の次の工程ｆ）では、結合する画素のグループの特性に関連した所定の除去基準を１つ以上満足する、活性化された結合する画素のグループを、マスクにおいて非活性化することによりマスクを精製する。この工程の目的は、フロントガラス上に存在する滴に対応しない、活性化された結合する画素のグループをいずれもマスクから除去することである。このため、液体の物理的特性に基づき、滴の延伸または偏心の他にも、滴のサイズを固定最小値および固定最大値間で変化させる。

したがって、異なる除去基準を（場合によっては同時に）用いることができる。提示の例において、以下の基準が同時に用いられる。
− 活性化された結合する画素のグループの画素数が、第１の所定値未満であり、および／または、第２の所定値より大きい（従って、これは滴の表面に関する基準である）場合、その場合にのみ、第１の除去基準が満たされる；
− 活性化された結合する画素のグループの高さと幅の比率が、第３の所定値未満であり、および／または、第４の所定値より大きい場合、その場合にのみ、第２の除去基準が満たされる；
− 活性化された結合する画素のグループの偏心率が所定値未満である場合、その場合にのみ、第３の除去基準が満たされる。偏心率は、図示の実施形態において、周囲の長さの平方と表面との比率として定義されるが、他の定義を用いることもできる。

本方法の次の工程ｇ）では、取得されたマスクにおいて滴を識別する。各滴は、活性化された結合する画素のグループに対応する。この工程の目的は、情報を離散化すること、および、画像に存在する滴に関する情報を滴リストの形態で提供することである。好ましくは、画像における滴の位置（行および列番号）などの情報が、滴ごとに抽出される。当然、滴の位置は、例えばその重心、中点など、様々に定義することができる。各滴に対して、表面、周囲など、異なる幾何学的変数もまた計算することができる。

この情報は、場合によっては本方法のこの段階から活用することができる。

しかしながら、この情報が活用される前に、先の工程中に識別された滴のいくつかを除去して情報を精製または純化することが好ましい。なぜなら、これらが、実は人工物であり滴ではないことが明らかであるためである。

このために、本方法には、「確定」マスクＩ２１を生成することによって、取得された情報をさらに精製するという次の工程ｈ）が含まれる。この工程ｈ）は、滴は一般的に、それが位置する表面の一定位置に留まるという知識に基づいている。また、滴は、全画像または少なくとも大部分において、この位置で検出されなければならない。この原理は、移動している車両のフロントガラス上に形成された滴の場合に、当然、特に効果的である。なぜなら、対照的に、風景の要素を特徴づける画素の値は絶えず変化するからである。

この原理に基づいて、確定マスクＩ２１は、先に取得されたマスクＩ２０、Ｉ１２０、Ｉ２２０、Ｉ３２０の所定の割合以上に現れる滴だけをこのマスクに保持することにより、決定される。この場合、確定マスクＩ２１に滴を保持するために選択される基準では、先の工程中に取得されたマスクの１００％において滴が検出されることが要求される。

ここで、提示の例において、３つの滴が、取得された４つのマスクＩ２０−Ｉ３２０において体系的に検出されたが、１つ（画像の右上に位置する、図５〜９における滴「Ｂ」）は、マスクＩ３２０において検出も保持もされなかった。この滴「Ｂ」が、確定マスクＩ２１（図４）から除去されることになる。

実際には、提示の方法において、この要件は、以下のように検証される。
− 全ての検出された滴の中点の位置が、検討される各マスク（Ｉ２０−Ｉ１２０−Ｉ２２０−Ｉ３２０）において決定される。
− 検討される一連のマスクの第１のマスク（Ｉ２０）に存在する任意の滴に対して、次の事項が検証される。すなわち、後続の工程で取得されたマスク（Ｉ１２０−Ｉ２２０−Ｉ３２０）のそれぞれにおいて、検討される滴の中点から所定の距離だけ中点が離れた滴が１以上あることが検証される。この特性が、後続の工程で取得されたマスクのそれぞれに対して実証された場合には、滴は、確定マスク（Ｉ２１）に維持される。反対の場合に、滴は人工物と見なされて削除され、マスクＩ２１の対応する画素は非活性化される。

ひとたび、確定マスクＩ２１が取得されると、方法の工程ｇ）中に生成された、検出された滴に関する情報（検出された滴の位置、表面、周囲等）が、必要な場合には更新される。

次に、確定マスクＩ２１から、検出された滴の総数８８が評価される。各滴は、従って、活性化された結合する画素のグループに対応する。提示の例において、４０の滴が、図１の全画像上で検出された。

最後に、方法の工程ｉ）において、制御信号がマシンに送信される。上記信号は、先の工程で特定された滴の数または密度の関数である（この数は、マスク確認工程中に、その初期値に対して減少している可能性がある）。

状況に応じて、送信される情報は、滴の数自体であったり、異なる関心領域において、関心領域の面積で滴の数を割って取得された滴の密度であったり、または、滴もしくは雨の欠如／存在の二進法表示であったりする。この後者の場合に、指標の値を１に切り換えるための基準が選択される。例えば、滴の数が所定数より大きい場合に、雨が降っている（滴の存在）と見なすことができる。

図によって示す用途において、滴の数の情報は、電子制御ユニット１０８に送信される。電子制御ユニット１０８は、フロントガラスのワイパー１１０を作動させること、または、場合によっては、フロントガラスのワイパー１１０の速度および／もしくは作動頻度を適合させることが必要か否かを導き出す。この場合、４０の滴がフロントガラス上に存在するとの情報を受信すると、制御ユニット１０８は、フロントガラスのワイパーを始動させるわけであるが、作動命令を電動機１０９に送信し、電動機１０９がフロントガラスのワイパー１１０を操作する。電動機１０９およびフロントガラスのワイパー１１０に接続された制御ユニット１０８は、ウィンドワイパーシステムを構成する。

この実施形態によって示す方法は、画像シーケンスの使用によって特徴付けられる。該シーケンスによって、第１に、中間画像Ｉ１６−Ｉ１１６−Ｉ２１６−Ｉ３１６を決定すること、次に、マスクＩ２０−Ｉ１２０−Ｉ２２０−Ｉ３２０を取得すること、最後に、確定マスクＩ２１を取得することが可能になる。当然、本発明にかかる方法は、単一画像から実行することができる。また、開始画像Ｉ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５のそれぞれに対してマスクを計算するために実行することができる。また、シーケンスＩ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５の画像セットをまず平均することによっても実行することができる。しかしこの場合には、本方法の工程ｈ）中におけるマスクの確認は行わない。

１００ 滴検出用装置
１０２ 車両
１０４ カメラ
１０６ 車内
１０８ 計算機（制御ユニット）
１０９ 電動機
１１０ ワイパー
Ｉ１１、Ｉ１２、Ｉ１３、Ｉ１４、Ｉ１５ 画像
Ｉ１１１、Ｉ１１２、Ｉ１１３、Ｉ１１４、Ｉ１１５ 画像
Ｉ２１１、Ｉ２１２、Ｉ２１３、Ｉ２１４、Ｉ２１５ 画像
Ｉ３１１、Ｉ３１２、Ｉ３１３、Ｉ３１４、Ｉ３１５ 画像
Ｉ１６、Ｉ１１６、Ｉ２１６、Ｉ３１６ 中間画像
Ｉ１７ 勾配画像
Ｉ１８ フィルタリングされた画像
Ｉ１９ マスク
Ｉ２０、Ｉ１２０、Ｉ２２０、Ｉ３２０ マスク
Ｉ２１ 確定マスク
Ａ、Ｂ、Ｃ、Ｄ 滴
６０、６２、６４、６６ エリア
６８、７０、７２ 水平帯
７４Ａ、７４Ｂ、７４Ｃ、７４Ｄ、７６Ａ、７６Ｂ、７６Ｃ、７６Ｄ エリア
７８、８０ エリア
８４Ａ、８４Ｂ、８４Ｃ、８４Ｄ、８６Ａ、８６Ｂ、８６Ｃ、８６Ｄ エリア
８８ 検出された滴の総数

Claims (12)

1. 画像取得システム（１０４）によって透明な壁を通して取得されたデジタル画像（Ｉ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５）に現れる滴（Ａ、Ｂ、Ｃ、Ｄ）を検出する方法であって、以下の工程：
   ｂ） 各画素に、前記画素の位置における勾配値を割り当てることによって、デジタル画像（Ｉ１６）から勾配画像（Ｉ１７）を確立する工程；
   を含み、
   前記方法が、さらに以下の工程：
   ｃ） 前記画素の近傍にランクフィルタを適用して取得した値を各画素に割り当てることにより前記勾配画像をフィルタリングして、フィルタリングされた画像（Ｉ１８）を取得する工程と；
   ｄ） 前記デジタル画像において検出された滴の位置を表すマスク（Ｉ１９）であって、前記フィルタリングされた画像における画素値と前記勾配画像における画素値との差が所定値を超える画素は活性化されているマスクを確立する工程
   とを含むことを特徴とする方法。
2. さらに以下の工程：
   ｅ） マスクにおいて、隣接する活性化された画素間に位置する活性化されていない画素を活性化することによってマスク（Ｉ２０）を完成する工程
   を含む、請求項１に記載の方法。
3. さらに以下の工程：
   ｆ） マスクにおいて、結合する画素のグループの特性に関する所定の除去基準を１以上満足する、活性化された結合する画素のグループを非活性化することによって、マスクを精製する工程
   を含む、請求項１または２に記載の方法。
4. 活性化された結合する画素のグループの画素数が第１の所定値未満であり、および／または、第２の所定値より大きい場合、その場合にのみ、工程ｆ）で考慮される除去基準が満たされる、請求項３に記載の方法。
5. 活性化された結合する画素のグループの高さと幅の比率が第３の所定値未満であり、および／または、第４の所定値より大きい場合、その場合にのみ、工程ｆ）で考慮される除去基準が満たされる、請求項３または４に記載の方法。
6. 活性化された結合する画素のグループの偏心率が所定値未満である場合、その場合にのみ、工程ｆ）で考慮される除去基準が満たされる、請求項３〜５のいずれか一項に記載の方法。
7. 複数のデジタル画像から滴を検出する方法であって、
   最初の工程ａ）において、前記複数のデジタル画像を平均化して、デジタル画像を形成するための中間画像（Ｉ１６）を取得することを特徴とする、請求項１〜６のいずれか一項に記載の方法。
8. さらに以下の工程：
   ｇ） 取得されたマスクにおける滴（Ａ、Ｂ、Ｃ、Ｄ）が特定される工程であって、各滴は活性化された結合する画素のグループに対応するものである工程
   を含む、請求項１〜７のいずれか一項に記載の滴を検出する方法。
9. 画像取得システム（１０４）によって透明な壁を通して取得された複数のデジタル画像（Ｉ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５）に現れる滴を検出する方法であって、
   前記方法が、以下の工程：
   − 複数のマスク（Ｉ２０、Ｉ１２０、Ｉ２２０、Ｉ３２０）が、請求項８で規定された方法によって前記デジタル画像から連続的に確立される工程と；
   − 工程ｈ）の間、このようにして取得されたマスクの少なくとも所定の割合に現れる滴を含む確定マスク（Ｉ２１）が確立される工程
   とを含む方法。
10. さらに以下の工程、
    ｉ） 制御信号をマシン（１０８、１０９、１１０）に送信する工程であって、前記信号が、特に前記マシンがウィンドウワイパーシステムである場合に、工程ｇ）で識別された滴の数または密度の関数である工程
    を含む、請求項８または９に記載の滴を検出する方法。
11. 請求項１〜１０のいずれか一項に記載の滴を検出する方法を実行するための指示を有するコンピュータプログラム。
12. 画像取得システム（１０４）と、
    前記画像取得システム（１０４）によって透明な壁を通して取得された画像（Ｉ１１−Ｉ１５、Ｉ１１１−Ｉ１１５、Ｉ２１１−Ｉ２１５、Ｉ３１１−Ｉ３１５）を受信するために前記画像取得システム（１０４）に接続された計算機（１０８）
    とを有する、滴を検出する装置（１００）であって、
    前記計算機に請求項１〜１０のいずれか一項に記載の方法を実行するためのコンピュータプログラムが組み込まれた装置（１００）。

Images