JP4210431B2 - 光を通す窓ガラスの上にある物体を検出する方法と装置 - Google Patents

Description

【０００１】
この発明は、光を通す窓ガラス、例えば自動車の風防ガラス上の物体を識別する分野に関する。特に、この発明は光センサアレーを含む検出ユニットを使用して光を通す窓ガラス上に存在する物体を検出する方法に関する。更に、この発明は光を通す窓ガラス上に存在する照明された物体を検出する装置、照明装置から放出されて反射された光ビームを検出するため光センサアレーを備えた検出ユニットおよび評価ユニットに関する。
【０００２】
この種の方法は、例えばワイパーのモータを制御するため自動車の風防ガラス上に存在する雨滴の検出用に使用される。これに関連する装置はそれに合わせて雨センサと称されている。米国特許第 4 867 561号明細書によりそのような方法およいそのような雨センサは周知である。この明細書に開示されている検出方法は風防ガラスの外側での全反射を利用した反射原理に従って動作する。このため、雨センサは照明装置として形成された赤外線ダイオード（ＩＲダイオード）を有し、このダイオードの放出した光ビームは内側で観察すべき風防ガラスの一部に指向している。検出ユニットとしては光センサアレーが使用され、このアレーには感光面上にＩＲダイオードを結像するためレンズが前置接続されている。照明ユニットと検出ユニットは発光ダイオードから放出され、風防ガラスの全反射により反射した光ビームが風防ガラス上に物がない時センサアレー上に結像するように互いに配置されている。この周知の方法は、風防ガラス上に物体が存在しない場合、照明装置から放出された光ビームの前記全反射が風防ガラスの外側でセンサアレーに向けて行われるという事実を利用している。これに反して、雨滴が風防ガラスの外側にあるなら、光ビームが雨滴から取り出されるので、光ビームの一部しかセンサアレーの方に反射しない。従って、センサアレーで検出できる光強度は、雨滴が風防ガラス上に存在する場合、全反射で検出される光強度に比べて少ない。
【０００３】
センサアレーの信号はセンサアレーに後続する評価ユニット中で先ず濾波され、照明装置から放出された光ビームに付属していない信号成分を更に評価しないようにしている。このため、フィルタは波長に固有に調整されている。次に、濾波されたセンサアレーの出力信号は比較回路に導入され、この中で検出した光強度が所定のしきい値と比較される。検出した光強度がしきい値信号より小さいなら、比較回路の出力端にワイパーモータを駆動するマイクロコンピュータに印加する制御信号が出力する。
【０００４】
この明細書に開示されている方法あるいはこの明細書に開示されている装置は古いものに比べて改善された検出を可能にする場合でも、この方法は誤差の影響を受けている。自動車の車体あるいは風防ガラスで屈折した太陽光線もしくは他の光ビームも乱れの要因と見なせる。この屈折では赤外線成分も生じて、これがセンサアレーに印加する。センサアレーで検出された光強度の評価はしきい値を予め指定することにより照明装置の放出した光強度に合わせてあるので、この種の二次的な影響は風防ガラス上に付着している雨滴による光ビームの取出が重なるので、得られた評価結果は実際の状況にはもはや一致していない。
【０００５】
更に、周知の方法は光ビームを取り出さない風防ガラス上の物体、例えば塵等のような物体を検出するのには不適切である。
【０００６】
上に考察した従来の技術を前提として、この発明の課題は先ず第一に風防ガラス上に存在する物体を正確に検出することを保証し、同時に関連のない光信号あるいは擾乱の影響を抑制する、光を通す窓ガラス上に存在する物体を検出する方法を提供することにある。更に、この発明の課題はそれに対応する装置を提供することにある。
【０００７】
方法に関連する課題は、この発明により、一つまたはそれ以上の光センサアレーを含む検出ユニットを使用して光を通す窓ガラスの上にあり、照明時に光の反射を発生する物体を検出する方法であって、以下の過程、
−窓ガラスを照明し、検出ユニットを配置した窓ガラス側の窓ガラスの上に存在
する物体で光の反射を発生させ、
−像の対を形成する窓ガラスの一部の二つの像を処理して検出ユニットを用いて
照明された窓ガラスの一部を像で検出し、窓ガラスの上に存在する物体の照明
で発生した光の反射の両方の像をそれぞれ異なる位置の画素上に配置し、
−窓ガラスの一部の一方の像の同じ位置の画素の内容を窓ガラスの一部の他方の
像の同じ位置の画素の内容から引算して像の対の両方の画像の差動像を求め、
−次に個々の画素に付属する内容に関して求めた差動像を評価する、
を実施する方法によって解決されている。
【０００８】
装置に関する課題は、検出ユニットとしてセンサアレーで検出された窓ガラスの一部の観察すべき窓ガラスの表面がセンサアレーの受光面に生じる窓ガラスの一部の結像の焦点範囲内にあるように窓ガラスに対して配置されているただ一つのセンサアレーを使用することによって解決されている。
【０００９】
更に、装置に関する課題は、検出ユニットが立体配置の互いに間隔を保って配置された二つの光センサアレーを有し、この配置ではセンサアレーで検出された窓ガラスの一部の観察すべき窓ガラスの表面がセンサアレーの受光面に生じる窓ガラスの一部の結像の焦点範囲内にあり、前期光センサアレーが窓ガラスの一部を監視するために配置され、監視する窓ガラスに対して一定間隔内にあるバックグランドが両方のセンサアレー上の同じ位置の画素に結像することによって解決されている。
【００１０】
提案する方法によれば、観察する窓ガラスの一部の評価はただ一つの像に基づいたりあるいはその画素の内容に基づくだけでなく、その構成に関連してそれぞれ窓ガラスの一部の像として、そして共通に像の対として称される個々の二つの像に基づいて行われる。その場合、窓ガラスの一部の二つの像で同じ窓ガラスの一部が再現できるが、窓ガラスの上に存在する物体の照明で発生した光の反射が窓ガラスの一部の各像の中で位置の異なる画素あるいは窓ガラスの一部の像上にのみ結像し、これに反して、窓ガラス上に存在する物体の照明で発生した光の反射に起因しない影響は窓ガラスの一部の両方の像内でそれぞれ位置の等しい画素上に結像される。検出すべき窓ガラスの一部の像の照明は既存の周囲の光（日光）によるか、あるいは付加的な照明装置により行われる。窓ガラスの一部の二つの像からの差動像を求める次の過程では、等しい位置の画素の内容どうしが互いに引算される。結果として、これは同じ像内容を持つ等しい位置の画素を引算した結果となる画素の内容は値０を有する差動像となる。これに反して、像内容が例えば位置の異なっる光の反射を検出して異なっている差動像の画素は０とは異なる値、例えば値１を得る。乱れの影響は一般にバックグラウンドから生じるので、これは窓ガラスの一部の両方の像については等しい位置の画素上に結像され、差動像を求めると消える。その結果、主に窓ガラス上に付着した物体に帰属させるべき信号を次に評価する。
【００１１】
窓ガラスの一部の二つの像は、例えば同じ光センサアレーで時間的に連続して検出されることにより処理されるが、窓ガラスの一部の像の各々は照明装置から放出された光ビームの窓ガラスへの入射方向に関して異なった照明配置で検出される。そのような構成では、最初に検出した像の対の窓ガラスの一部の像は、像の対の窓ガラスの一部の第二の像を検出するまで像記憶器に保管されている。更に、窓ガラスの一部の二つの像はセンサアレーの立体配置を使用しても処理できる。センサアレーのこの立体配置はこのアレーから一定の間隔以降、このセンサアレー配置により検出されるバックグランドが同じ位置の画素上に結像されるように調整されている。これに関連する距離としては、例えばボンネットの前方端部から風防ガラスまでの距離を使用する。窓ガラスの一部の二つの像を二つのセンサアレーで同時に検出すると合理的である。このセンサアレー配置は十分な周囲の光が存在している場合能動的な照明装置なしでも動作させることができる。周囲の光が十分でないなら、この立体センサアレー配置に窓ガラスあるいはその上の検出すべき物体を照明する共通の照明装置を付属させている。この配置では、上に述べたバックグランドの結像に関する要請が与えられている限り、同じ窓ガラスの一部を必ずしも観察する必要はない。
【００１２】
説明した装置を用いると、選んだ焦点深度に応じて窓ガラスの外側表面あるいは窓ガラスの内側表面あるいは窓ガラスの両方の表面を観察できる。
【００１３】
求めた差動像の評価は、例えば本出願人のドイツ特許第 197 36 584.1 号明細書に開示するような差動像エネルギ測定によるエネルギ予測方法で行われる。この方法もここではこの明細書の対象内容である。
【００１４】
求めた差動像の評価はその中に含まれている明暗境界（縁部分）に関しても行える。そのような評価では評価方法が縁部分演算子を用いて差動像を処理することを有すると有効であり、この縁部分処理では、同じ面を同時に抑制して縁部分を強調する。基本的には縁部分処理として、例えば勾配形成、あるいは微分あるいは確率的な演算子の使用を採用できる。その場合、確率的な処理の使用が有利である。
【００１５】
望ましくないパルス雑音を除去するため、次に差動像に大して中位程度の濾波を行う。差動像を更に処理するため、およびあり得る残留擾乱の影響を更に除去するため、求めた差動像の評価には更に時間的な低域濾波がある。このような低域濾波では、検出すべき窓ガラス上の物体を多数の像シーケンスあるいは同じ画素上の像周期により検出できることを前提としている。それ故、この濾波では、例えば風防ガラスの引っかき傷によるものであり、個々の像シーケンス内だけに含まれている強い光または反射が除去される。
【００１６】
差動像の評価は次の過程で求めて処理した差動像の画素内容から二進像データセットを作成することを含むので、結果として差動像の各画素に値０または値１が割り当てられる。二進像データセットの形成は画素内容を所定のしきい値と比較して行われる。この過程には全像エネルギ計算が続く。この計算では縁部分あるいは明暗境界（＝検出した光反射）に関する情報を得るため全ての画素の値が積算される。他の比較過程では比較回路内で全像エネルギと一定あるいは適応性のしきい値との比較が行われる。この比較回路は、しきい値を越えた時、アクチエータ、例えばワイパーのモータを駆動する信号を出力する。
【００１７】
全像エネルギ計算による上記の評価の外に、値１の隣接する画素のクラスター形成による評価も行われる。その時、形成されたクラスターは通常の統計方法の補助処置で評価できる。統計的なクラスター評価の結果が全エネルギ計算に引き続き比較過程を実施するために必要なしきい値の設定に使用される評価方法は特に好ましい。これにより比較回路のしきい値を検出する物体の大きさに合わせることができる。
【００１８】
この発明の他の利点は他の従属請求項および図面の説明から明らかになる。
【００１９】
図１に示す窓ガラス、ここでは風防ガラス２の上に存在する雨滴３を検出する検出ユニット１には、光ラインセンサ４，例えばＣＣＤの列、このラインセンサ４に前置された凸レンズ５およびピンホール絞り６がある。検出ユニット１は風防ガラス４の外側に焦点合わせされている。その場合、ピンホール絞り６によりラインセンサ４の受光面上に結像する風防ガラスの一部の焦点深度範囲も風防ガラス２の外側表面のやや上の、および風防ガラス２の内側表面の範囲内にある領域を有する。風防ガラス２の上に付着した雨滴３で光の反射を生じるようにするため、照明装置７を設ける。この装置は、図示する実施例の場合、二つのＩＲダイオード８，９で構成されている。
【００２０】
風防ガラス２の上にある雨滴３の照明装置７によりその都度生じる光の反射が位置の異なる画素にある窓ガラスの一部の二つの像を処理するため、窓ガラスの一部の第一像は、雨滴３を照明する場合、ＩＲダイオード８のみで検出される。この状況は図１の左半分に表題「照明右」にして示してある。発光ダイオード８から放出された光ビームが雨滴３で反射して生じる光の反射Ｒ_l はラインセンサ４の所要結像鮮明度であるいはその数画素で検出される。次いで、窓ガラスの一部の第二像は風防ガラス２を発光ダイオード９で照明する場合に検出されるので、この照明により生じる光の反射Ｒ_r はラインセンサ４の十分な結像鮮明度であるいはその若干の画素で検出される。この検出状況は図１の右半分に表題「照明右」にして示してある。
【００２１】
両方のＩＲダイオード８，９は、図１から分かるように、両ダイオードから放出された光ビームが異なった入射方向から風防ガラス２を照明し、それに応じて雨滴３の異なった位置で光反射Ｒ_l もしくはＲ_r を発生する。それ故、ラインセンサ４で検出され、雨滴３で発生した光の反射Ｒ_l ，Ｒ_r がラインセンサ４の少なくとも部分的に異なった画素上に結像する。説明のため、センサ列４はその上に結像する光の反射Ｒ_l ，Ｒ_r を図１の下部に重ねて配置して検出した窓ガラスの一部の像に対して同意語として表してある。第一処理過程で窓ガラスの一部の二つの像から差動像が形成されると、参照符号Ｄで模式的に示すように仮想的な差動像が生じる。この差動像Ｄでは、左から照明して検出された窓ガラスの一部の下部像の同じ位置の画素の内容が右から照明して検出された窓ガラスの一部の像のそれから引算されている。同じ位置の画素は同じ内容を有するので値０となり、差動像Ｄ内に黒で示してある。同じ位置の画素の間の数値の相違はそれに合わせて照明された画素として差動像Ｄ内に示してある。窓ガラスの一部の両方の像で検出された光の反射Ｒ_l ，Ｒ_r は、図示する実施例の場合、部分的に交差しているので、この領域では差動像Ｄ内でも黒くなっている。こうして、この差動像検出の結果は両方の光の反射Ｒ_l ，Ｒ_r あるいはその光反射成分Ｒ_l'，Ｒ_r'を表す。
【００２２】
異なった照明入射方向の窓ガラスの一部の両方の像を処理することにより、実際の物体、例えば雨滴３が風防ガラス２に付着している時のみ当然検出ユニット１で検出されることが分かる。これに反して、風防ガラス２上に物体が存在しないなら、時間的に合い前後して検出した窓ガラスの一部の両方の像内にはそれぞれ同じバックグランドが検出されているので、差動像を形成した後には差動像の画素内容は全部値０となる。照明によりバックグランドで生じうる光の反射は検出ユニット１で検出されるが、この光の反射は風防ガラス２との間隔より非常に大きいので一方で光強度を低くし、他方で同じ位置の画素上に結像される。
【００２３】
図２に模式的に示すブロック回路図では、検出ユニット１は照明時間調整装置１０により露光時間を制御されていることが分かる。ＩＲダイオード８とＩＲダイオード９を交互に点灯することにより検出ユニット１により同時にそれぞれ一つの窓ガラスの一部の像が撮影される。処理すべき一対の像の最初に撮影された窓ガラスの一部の像は像記憶器１１の中に保管され、次いで窓ガラスの一部の第二の像を検出ユニット１で検出した時にこの記憶器から再び呼び出される。次いで、一対の像の窓ガラスの一部の両方の像を差動像形成部１２に入れる。この中では窓ガラスの一部の両方の像を基に上に説明したように差動像Ｄを求める。
【００２４】
次いで、差動像Ｄあるいは差動像Ｄの個々の画素に含まれる情報が評価される。第一評価過程では、縁部分処理回路１３内で縁部分処理が行われ、この縁部分処理により差動像Ｄの縁部分の強調あるいは明暗境界の強調が同時に同じ面を抑制して行われる。縁部分処理演算子として確率論的な演算子を使用すると有利である。
【００２５】
縁部分処理に続き、差動像は存在しうるパルス雑音を抑制するため中程度フィルタ１４中で濾波される。フィルタ長は、図示する実施例の場合、三つの画素となる。当然、適当な他のフィルタ長も使用できる。中位に濾波された差動像は更なる評価過程では低域通過濾波器１５中で時間的に低域濾波されるので、この濾波の後、所定数の像周期にわたり検出求めた差動像の画素には０とは異なる値が含まれている。従って、この低域濾波器１５により、例えば個々の像周期内のみ存在する近づいて来る乗物あるいは風防ガラスの引っかき傷による強い光が濾波される。
【００２６】
次いで、濾波された差動像は入力側に入力する差動像から二進像データの組を発生する判定回路１６に導入される。その結果、この過程までに処理された差動像の各画素は値０または値１の何れかになる。判定回路１６の上記の機能は同じものに所定のしきい値を加えて達成される。
【００２７】
更なる像処理は二つの処理分岐路内で行われる。つまり、像エネルギ計算とそれに続くしきい値比較およびクラスター処理とそれに続く統計学的な評価が行われる。像エネルギ計算は像エネルギ計算回路１７中で行われる。この回路では値１となる二進像データの組としてある差動像の画素の数を求める。つまり、窓ガラスの一部の像の各々に対して使用される照明手段の個数に応じて、風防ガラス２上で検出された雨滴の実際の個数に関する情報が得られる。この値は比較回路１８に導入され、この回路の出力は図示していないアクチエータ、例えばワイパーモータを制御するため、マイクロプロセッサ１９の入力端に入力する。比較回路１８にはしきい値が入力し、このしきい値は、図示する実施例の場合、調節可能である。
【００２８】
像エネルギ計算部内で求めた反射数を更に評価するため、これに並列な評価過程で先ず、値１となる画素の内容の位置に依存するクラスター化が行われる。所定のクラスター化の条件により、クラスター化条件を満たす画素を一つのクラスターとして集める。この処理過程はクラスター回路２０の中で行われる。クラス回路２０には出力側で形成されたクラスターの数を統計学的に評価する統計学的評価回路２１が接続している。結果として検出した雨滴の大きさの評価が可能である。統計学的評価の結果は、図示する実施例の場合、比較回路１９に入力するしきい値を合わせるために使用される。こうして、検出された物体の形態的に変化する特性の直接的な帰還がそれに合わせたアクチエータの駆動に関して行われる。
【００２９】
図３は二つのカメラ２３，２４から成る他の検出ユニット２２を示す。両方のカメラセンサ２３，２４は、図１の光センサアレーと同じように、それぞれ一つの光学系と前置接続された一つのピンホール絞りを有する。カメラセンサ２３，２４は制限されることなく集束するが、風防ガラス２の外側および内側の表面が結像の焦点範囲内にある。両方のカメラセンサの光軸Ｏ₁ またはＯ₂ は互いに平行で、互いに間隔を保って配置されている。図１の配置の場合と同じように、この検出ユニット２２では雨滴３で発生した光の反射をカメラセンサ２３と２４の異なった画素に結像させる。これに反して、他の距離の風防ガラス２に関して結像されたバックグランドの影響が同じ位置の画素に入力する。これにより焦点深度の検出に対する不一致予測が行われる。前に説明したように、同時に検出された窓ガラスの一部の二つの像を前提にして差動像の形成が行われる。
【００３０】
図４は模式的なブロック回路図内に露出時間制御された検出ユニット２２をもう一度示す。両方のカメラセンサ２３，２４の出力は差動像１２に直接入力する。更なる評価は図２に付いて説明した評価方法に応じて行われる。
【００３１】
この発明の説明から、二つの個別像から差動像を求めることにより低経費で、例えばデータが非常に信頼性のある雨センサを設置できる。光センサアレーとしてはラインカメラや面カメラも使用できる。図３と４に示す立体センサアレー配置は雨センサの検出ユニット２２として機能の外に他の監視機能も引き受ける。
【００３２】
この発明の説明から、更に窓ガラスの一部の像の評価は図面に示す回路技術的な評価の代わりにソフトウェヤ的に行えることは明らかである。
【００３３】
【図面の簡単な説明】
【図１】 だだ一つの光センサアレーを使用して光を通す窓ガラス上に存在する物体を検出する装置の模式図、
【図２】 光を通す窓ガラス上に存在する物体を検出する方法を表す模式的なブロック回路図、
【図３】 立体光センサアレー配置を使用して光を通す窓ガラス上に存在する物体を検出する他の装置の模式図、
【図４】 図３で説明した装置により窓ガラスの一部の像から差動像を求める模式的なブロック回路図を示す。
【符号の説明】
１ 検出ユニット
２ 風防ガラス
３ 雨滴
４ ラインセンサ
５ 凸レンズ
６ ピンホール絞り
７ 照明装置
８ ＩＲダイオード
９ ＩＲダイオード
１０ 露光時間調整回路
１１ 像記憶器
１２ 差動像形成部
１３ 縁部分処理回路
１４ 中位濾波器
１５ 低域濾波器、時間的に動作する
１６ 判定回路
１７ 像エネルギ計算回路
１８ 比較回路
１９ マイクロプロセッサ
２０ クラスター回路
２１ 統計的な評価回路
２２ 検出ユニット
２３ カメラセンサ
２４ カメラセンサ
Ｄ 差動像
Ｏ₁ 光軸
Ｏ₂ 光軸
Ｒ_r 右照明の反射
Ｒ_l 左照明の反射
Ｒ_r' 右照明の反射成分
Ｒ_l' 左照明の反射成分

Claims (9)

1. −検出ユニット（１，２２）を配置した窓ガラス側から窓ガラス（２）を照明して、窓ガ ラスの上に存在する物体（３）で光の反射（Ｒ_l,Ｒ_r ）を発生させ、
   −検出ユニット（１，２２）を用いて照明された窓ガラスの一部を映像で検出する、
   過程を実施する、少なくとも一つの光センサアレーを含む検出ユニット（１，２２）を使用して光を通す窓ガラス（２）の上に存在し、照明時に光の反射を発生する物体（３）を検出する方法において、
   −像の対を形成する窓ガラスの一部の二つの像を処理し、窓ガラス（２）の上に存在する 物体（３）の照明で発生した光の反射（Ｒ_l,Ｒ_r ）の両方の像をそれぞれ異なる位置の 画素上に配置し、
   −窓ガラスの一部の一方の像の同じ位置の画素の内容を窓ガラスの一部の他方の像の同じ 位置の画素の内容から引算して像の対の両方の像の差動像（Ｄ）を求め、
   −次に個々の画素に付属する内容に関して求めた差動像を評価し、
   −窓ガラスの一部の両方の像が、同じ光センサアレー（４）で検出されるが、窓ガラス（ ２）への入射方向の異なるそれぞれ異なった照明配置で検出される、
   ことを特徴とする方法。
2. 窓ガラスの一部の両方の像は、共通の照明装置を使用して互いに間隔を保って配置された光センサアレー（２３，２４）を用いて検出されることを特徴とする請求項１に記載の方法。
3. 求めた差動像（Ｄ）の評価には縁部分処理があり、この処理では縁部分を際立たせる増幅を行うと同時に同じ面を抑制することを特徴とする請求項１または２に記載の方法。
4. 縁部分の強調は確率論的な演算子を使用して行われることを特徴とする請求項３に記載の方法。
5. 求めた差動像（Ｄ）の評価には時間的な低域通過濾波があることを特徴とする請求項１〜４の何れか１項に記載の方法。
6. 求めた差動像（Ｄ）の評価には差動像の画素の内容から二進像データの組を作成する過程があり、各画素には値０か値１が付属していることを特徴とする請求項１〜５の何れか１項に記載の方法。
7. 求めた差動像（Ｄ）の評価には全像のエネルギ計算があり、この計算では差動像（Ｄ）の全ての画素の値が積算され、エネルギ計算の過程には比較過程が続き、この比較過程では求めた全像のエネルギを一つまたはそれ以上のしきい値と比較することを特徴とする請求項６に記載の方法。
8. 求めた差動像（Ｄ）の評価には値１を持つ隣接する画素をクラスター化することがあり、このクラスター化には発生したクラスターを統計学的に評価することが続くことを特徴とする請求項６に記載の方法。
9. 請求項７に記載の全像のエネルギ計算に続き比較過程を実施するために必要なしきい値は、請求項８に記載の統計学的なクラスター評価の結果に応じて設定されることを特徴とする方法。

Images