JP6246808B2 - カメラ及び照明を用いたガラス面の雨滴検出 - Google Patents

カメラ及び照明を用いたガラス面の雨滴検出 Download PDF

Info

Publication number
JP6246808B2
JP6246808B2 JP2015525742A JP2015525742A JP6246808B2 JP 6246808 B2 JP6246808 B2 JP 6246808B2 JP 2015525742 A JP2015525742 A JP 2015525742A JP 2015525742 A JP2015525742 A JP 2015525742A JP 6246808 B2 JP6246808 B2 JP 6246808B2
Authority
JP
Japan
Prior art keywords
filter
glass
camera
image sensor
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015525742A
Other languages
English (en)
Other versions
JP2015527847A5 (ja
JP2015527847A (ja
Inventor
クレーケル・ディーター
ファイ・ヴォルフガング
コズベク・クリストファー
ラントラー・マルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE201210108316 external-priority patent/DE102012108316A1/de
Priority claimed from DE102013100292.7A external-priority patent/DE102013100292A1/de
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2015527847A publication Critical patent/JP2015527847A/ja
Publication of JP2015527847A5 publication Critical patent/JP2015527847A5/ja
Application granted granted Critical
Publication of JP6246808B2 publication Critical patent/JP6246808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833Optical rain sensor
    • B60S1/0844Optical rain sensor including a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0874Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means characterized by the position of the sensor on the windshield
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Description

本発明は、照明光源およびカメラを用いたガラス面の雨滴検出のための装置および方法に関する。
US7,259,367B2には、ガラス板を用い、カメラ画角の透過ウインドを広範囲に照射するカメラを用いた雨センシング方法が、提案されている。カメラは、略無限大にフォーカスされているため、ドライバー・アシスタント・アプリケーションにも同時に用いることができる。遠距離部の結像であるため、雨滴は、画像の障害としてのみ認識され、ピクセル・タクトとシンクロするようパルスする、或いは、モジュレーションされた光により撮影された画像の煩雑な差異測定によって検知されなければならない。
WO 2012/092911 A1には、雨を認識するための手段、並びに、方法が、開示されている。このカメラは、ガラスの裏、特に、車両内部、フロントガラスの裏に配置され、該ガラス板前面の遠距離領域にフォーカスされている。ガラスに向けられた少なくとも一本の光線を得るための照明光源は、少なくとも一本のガラス外側で反射された光線が、外側光反射、或いは、外反射として、カメラに当たるように、ガラスに照射される。カメラに当たる少なくとも一本の光線の、具体的には、光反射の光量は、カメラによって測定することができる。更に、照明光源は、少なくとも一本の光線をガラスに対して、ガラス内側および外側において反射した光線が、少なくとも二本の空間的に分離光線としてカメラに到達するように向けられる。カメラに当たる少なくとも二本の光線(外反射と内反射)の光量は、カメラによって測定することができる。ガラス内側において(直接)反射しカメラに到達する光線は、ガラス外側上の雨滴の有無に関わらず一定であるため、基準シグナルとされる。
バックグラウンド影響を避け、SN比(信号対雑音比)を改善するために、画面信号周波数のタクトにおける照明の経時的変調が提案される。
100%の変調とは、ある画像が、完全に照明され、その次の画像は、照明されないことを意味している。双方の撮影画像間で、光景が変化しなかった場合、双方の画像間の除算により、バックグラウンド影響を完全に取り除くことができ、評価用としては、フロントガラスから反射した光だけが残る。
しかし現実では、二枚の撮影画像間の理想化された変化の無いバックグラウンドは、限定的にしか該当しない。走行中、特に、カーブをしている場合、バックグラウンドは、多かれ少なかれ、激しく変化し、バックグラウンド影響を十分に相殺することはできない。該影響は、本来の雨シグナルに被さり、雨シグナルの誤評価の要因となり得る。ワイパーの誤作動を回避するために、濡れたフロントガラスを検出するための閾値に十分な許容値を与えることはできるが、これに伴う鈍感な挙動は、避けることができない。
DE 602 04 567 T2には、重なるモザイクのように描写する雨センサーが、開示されているが、ここでは、該雨センサーは、第一波長の光線によってガラスを照らすための照明手段を包含し、第一波長によって照らされた画像、並びに、第二波長の光線の周辺画像を同時に捉え、湿潤シグナルを作成するために互いを比較している。またここでは、RGBフィルターの代わりに、赤外線・帯域フィルターのモザイク状、乃至、ストライプ状のマトリックスが採用されている。
US7,259,367B2 WO 2012/092911 A1 DE 602 04 567 T2
よって、本発明の課題は、従来の技術において既知の装置、並びに、方法の上記問題点を解消することにある。
この課題は、請求項1に記載の:
雨(4)を認識するための装置において、
当該装置は、1つのカメラと1つの照明光源(3)とを備え、
−前記カメラは、画像センサーと、この画像センサー(5)のピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
−前記照明光源(3)が、単色光(h)を発生させ、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
−前記照明光源(3)がガラス(2)に照射する単色光(r1,r2′)から信号を取得できるように、前記カメラ及び前記照明光源(3)が構成されていて且つ配置されている当該装置によって解決される、
さらに、この課題は、請求項10に記載の:
カメラ(1)によって雨を認識するための方法において、
前記カメラは、画像センサーと、この画像センサーのピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
単色光(h)が、照明光源(3)によって発生され、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
前記カメラが、前記単色光(r1,r2′)から信号を取得できるように、ガラス(2)が、前記単色光(h)によって照射される当該方法によって解決される。
この解決策の出発点は、カラーフィルターを備えた画像センサーの採用である。普及しているのは、三原色、緑、赤、青をカラーフィルターとして、既知の配置、即ち、赤・緑・緑・青に並べたバイエル・パターンである。赤外線は、通常、カラー解像度を最適化するための一般的な赤外線遮蔽フィルターを通過できないため一般的なドライバー・アシスタント用カメラによっては検知できないが、可視の波長領域の照明には、そのスペクトル領域ならそのようなドライバー・アシスタント用カメラによっても完全に捉えることができると言う長所がある。
本発明に係る雨を認識するための装置は、画像センサーと該画像センサーのピクセル用の複数のフィルター原色からなるカラーフィルターを備えたカメラ、並びに、第一フィルター原色の単色光を発生させるための照明光源を包含している。該単色光は、第一フィルター原色を透過し、他のフィルター原色からは、ブロックされる可視の波長領域に属している。尚これらフィルター原色は、それぞれ異なる可視の波長領域に属していることが好ましい。該照明光源の光は、第一フィルター原色に合わせた波長領域に属している。これにより、従来のカラー解像性カメラを用いることが可能になる。該カメラは、画像センサーによって赤外線が捉えられないように、赤外線遮蔽フィルターを包含していることが好ましい。
該カメラ、並びに、該照明光源は、該カメラが、該照明光源がガラスを照らしている単色光のシグナルを捉えることができるように構成され、配置されている。この際該カメラによって検出されたシグナルは、特に、ガラス内側面、或いは、外側面、及び/或いは、雨滴で反射された、及び/或いは、散乱された該照明光源の単色光と相関関係を有している。
該カメラは、ガラスの後ろに配置されていることが好ましく、特に、車両の内部、例えば、フロントガラスの後ろに配置されていることが好ましい。
該カメラは、例えば、CCDセンサー、或いは、COMSセンサーなどの画像センサー、並びに、該画像センサー上に電磁線をフォーカスするためのレンズユニットを包含していることが好ましい。
また、該カメラは、無限大、乃至、ガラス前方にある遠距離領域にフォーカスされていることが好ましい。
単色光を発生させるための該照明光源は、その少なくとも一本の光線を、少なくとも一本のガラス外側から反射された光線(或いは、ガラスに向けられた光線の部分光線)が、好ましくは、ガラスの内側から反射されカメラに当たる部分光線とは重ならないように、カメラに当たるようにガラスに向けて照射している。
該照明光源は、一つ乃至複数の発光ダイオード(LED)或いは発光バンドとして構成されることができる。
少なくとも一本のカメラに当たる一色の光線の照明反射は、カメラによって測定することができる。
好ましい実施形態では、照明光源は、少なくとも一本の一色の光線をガラスに対して、ガラス内側および外側において反射した光線が、少なくとも二本の空間的に分離光線としてカメラに到達するように向けられる。特に内側で反射された光線に関しては、該光線の全体が、カメラの画像センサーに映る必要はない。カメラに当たる少なくとも二本の光線の一色の照明反射は、カメラによって空間的に分離して測定することができる。
ガラス内側において(直接)反射しカメラに到達する光線は、ガラス外側上の雨滴の有無に関わらず一定であるため、好ましくは、基準シグナル候補とされることが好ましい。
本発明の基本的アイデアは、一色の、例えば、青色の光で照明することである。これにより、赤色と緑色のピクセルは、青色の光に対して透明ではないため、対応する(青色の)ピクセルにおいてのみ、雨に依存する、或いは、ウェッティングに依存するシグナルが検出されるようにすることができる。
これは、隣接する青色ではないピクセルおいて、ピクセル精度に割出すことのできる、バックグランウドの同時撮影が実施されると言う長所を有している。
本発明は、更に、カメラを用いた雨の検出方法にも関するが、該カメラは、画像センサー、並びに、該画像センサーの画像ピクセル用の複数のフィルター原色のカラーフィルターを包含している。
照明光源からは、第一フィルター色の単色光が発生される。この単色光により、該カメラが、該単色光のシグナルを捕捉できるように、ガラスが照射される。
ある有利な実施形態では、第一フィルター原色の第一画像センサーピクセルの輝度が割出される。また付加的に、第一画像センサーピクセルを取り巻き、第一フィルターピクセル色とは異なる色を有するピクセルの輝度も割出される。第一画像センサーピクセルを取り巻き、第一フィルターピクセル色とは異なる色を有するピクセルの割出された輝度から、第一画像センサーピクセルのバックグラウンド輝度が割出される。
これは、ピクセル精度のバックグラウンド・シグナルを考慮することを可能にする。即ち、ウェッティング・シグナルの有意に改善された空間的解像度が達成される。
尚好ましくは、青色のピクセルを取り巻く八つの赤色と緑色のピクセルの輝度が同時に測定される。これらの輝度は、バックグラウンドのみから影響されている。これらのピクセルの輝度からは、例えば、平均値を計算することで、青色のピクセルのバックグラウンド・シグナルが推測される。代案的に、バックグラウンドの特定のスペクトル分布を考慮すべく、赤色と緑色の割合を重み付けすることも可能である。
尚ここでは、バックグラウンドの青色の割合のみを、青色のピクセルのシグナルから除算するのであるから、このバックグラウンド値を更に適切に重み付けすることも好ましい。
適した重み付け用の割合ファクターは、例えば、経験的に割出すことが可能である。しかしながら、多くのシナリオにおいて、ある程度等分配されたスペクトル分布によって、青色のバックグラウンド割合を、良好に推定できることが示された。
但し、バックグラウンドにおいてある色、例えば、赤色が優勢である場合、青色のピクセルから多すぎる青色分が、差し引かれることになる。このようなスペクトル分布のシフトは、赤色対緑色の比からも算出することができるため、重み付けの際に、ファクターに考慮することができる。
付加的に、これらの重み付けファクターは、照明されていない状態における更なる測定によって検証する、或いは、ふさわしく調整することができる。ただし、この測定は、時間的に異なる撮影画像において実施されるため、ここでは、バックグラウンドがほとんど、或いは、僅かにだけ変化したことを確認しなければならない(例えば、停車時)。代案的には、可能な限り歪曲されていないバックグラウンドをファクター計算のために得ることができるように、画像処理技術に基づく方法によって、観察される部分を経時的に追跡(「トラッキング」)することも可能である。
照明光源として青色の光を使う代わりに、赤色の光も好ましく、同じピクセルカラーパターンにおいて採用できる。バックグラウンドの計算は、同様に、青色と緑色のピクセルから実施される。
代案的に緑色の光を照明光源として用いる場合は、それぞれ二つの青色と赤色の直接隣接するピクセルからバックグラウンドが計算されなければならない。
ある好ましい実施形態では、バイエル・フィルターの代わりに、他のカラーパターンを用いることもできるが、本発明に係る方法用としては、二色の原色(例えば、赤色と青色)のみからなるカラーフィルターで十分である。
良好且つ同時に実施されるバックグラウンドの考慮に対しては、色が、使用されている照明光に対して高い透過率を有すると共に、該照明光が、他のカラーピクセルから良好にブロックされるカラーパターンを採用することが特に好ましい。
本発明の好ましい発展形態では、リアルタイムなバックグラウンド処理済みの測定シグナルの標準化は、乾いたガラスのバックグラウンド処理済みの測定シグナルに対して実施される。全ての(例えば、青色の)ピクセルの標準化は、特に、ピクセルのリアルタイムなバックグラウンド処理済みの輝度を、乾いたガラスの同じピクセルのバックグラウンド処理済みの輝度で割ることによって実施できる。乾いたガラスのバックグラウンド処理済みの輝度は、イニシャル・キャリブレーションの範囲において割出し、セーブしておくことができる、或いは、乾いたガラスが認識された時に、時折、自動的に再較正することもできる。
影響を受けていない(乾いたガラスに相当する)基準シグナルは、何時でも、ガラス内側の鏡像から同様な方法によって得ることができる(WO 2012/092911 A1)。これの外側の鏡像との差は、 − 外側の鏡像も影響を受けていない間は − そのより高い輝度のみである。このファクターは、一定であるため、一度割出しておけば、比を計算する際に考慮することができる。
以下、本発明を、図面と実施例に基づいて詳しく説明する。
バイエル式カラーフィルター配置を示す。 青色のピクセルを取り巻く赤色と緑色のピクセルを、青色のピクセルのバックグラウンド・シグナルを計算するために使用することを示す。 ある可能な照明光源とカメラの配置と、ガラス面に雨がある状態における光路の基本原理を、模式的に示す。 カメラの画像センサーによってとらえられたガラスに雨がついていることを示唆するシグナルを示す。 乾いたガラス用のバックグラウンド・シグナルを差しい引いた後の照明斑点の空間的分布を示す。 ガラスが、直径1mm未満の細かな雨滴によってウェッティングされている時の、バックグラウンド・シグナルを差しい引いた後の空間的シグナル分布を示す。 図6のシグナル分布を、図5の影響を受けていないシグナル分布に対して標準化したものを示している。
画像センサー用のカラーフィルターとして非常に普及しているのは、図1に示す、米国特許3971065から既知のバイエル模様(乃至、パターン)であり、ここでは、三原色である緑(G)、赤(R)、青(B)が、カラーフィルターとして、赤・緑・緑・青(RGGB)のフィルターピクセル・マトリクス配置において使用されている。
バイエル・パターンの一部を示している図2を用いて、本発明の第一実施形態を詳しく説明する。
バックグラウンドの同時撮影を達成するため、青色の光によって、照明される。これにより、赤色と緑色のピクセルは、青色の光に対して透明ではないため、青色のピクセル(B、斜線)においてのみ、雨に依存する、或いは、ウェッティングに依存するシグナルが検出されるようにすることができる。
これと同時に、青色のピクセルを取り巻く八つの赤色(R)と緑色(G)のピクセルの輝度も測定される。即ち、図2では、中央の青いピクセル(太字のB)を取り巻く四つの赤色(R)と四つの緑色(G)のピクセル(太線のグリッド内)の輝度が、測定される。これらの輝度は、バックグラウンドのみから影響されている。これらのピクセルの輝度からは、例えば、平均値を計算することで、青色のピクセル(B)のバックグラウンド・シグナルが推測される。代案的に、バックグラウンドの特定のスペクトル分布を考慮すべく、赤色と緑色を異なる割合で重み付けすることも可能である。
尚ここでは、バックグラウンドの青色の割合のみを、青色のピクセル(B)のシグナルから除算するので、このバックグラウンド値を更に適切に重み付けしている。
これらのファクターは、例えば、経験的に割出すことができる。しかしながら、多くのシナリオにおいて、ある程度等分配されたスペクトル分布によって、青色のバックグラウンド割合を、良好に推定できることが示された。
但し、バックグラウンドにおいてある色、例えば、赤色が優勢である場合、青色のピクセル(B)から多すぎる青色分が、差し引かれることになる。このようなスペクトル分布のシフトは、赤色対緑色の比からも算出することができるため、重み付けの際に、ファクターに考慮することができる。
付加的に、これらの重み付けファクターは、照明されていない状態における更なる測定によって検証する、或いは、ふさわしく調整することができる。ただし、この測定は、時間的に異なる撮影画像において実施されるため、ここでは、バックグラウンドがほとんど、或いは、僅かにだけ変化したことを確認しなければならない(例えば、停車時)。代案的には、可能な限り歪曲されていないバックグラウンドをファクター計算のために得ることができるように、画像処理技術に基づく方法によって、観察される部分を経時的に追跡(「トラッキング」)することも可能である。
図3は、遠距離領域にフォーカスされたカメラ(1)と、一本の、或いは、複数の青色の光線(h)を発生する照明手段(3)を示している。
照明光源(3)が発した光線(h)の一本は、ガラス内側(2.1)と外側(2.2)において反射された光線が、空間的に分離した光線(r1,r2’)として、レンズ、乃至、カメラ(1)に当たるように、ガラス(2)に対する向きが調整されている。遠距離領域に焦点が合わされているため、光線束の輪郭は、画像チップ(5)には、ぼけた状態でしか映らない。しかし、光線(r1,r2’)は、十分に分離されており、それぞれの照明反射は、画像センサー(5)で検出可能である。
この実施形態では、照明光源(3)の主光線(h)が、用いられるため、該照明光源の光は、収束されていることが好ましい。空気・ガラス・境界面(即ち、ガラス内面(2.1))で反射された、主光線の一部(r1)は、基準光線として用いられる。ガラスを透過する一部(t1)のうち、ガラス・雨滴・境界面(即ち、ガラス外側(2.2))で反射し、カメラ(1)に当たる一部が、測定光線(r2’)である。尚、光線の内、ガラス(2)内で複数回反射した割合は、示されていない(ガラス外側(2.2)ガラス・空気面で反射した後、ガラス内部(2.1)ガラス・雨滴面で再び反射)。
即ち、ここに示したごとく、雨天時(4)に、フロントガラス(2)の外側(2.2)が」濡れた場合、光の大部分(t1)がアンカップリングされ、反射される割合(r2’)は、これに伴って弱くなる(図2参照)。内側(2.1)で反射される光線(r1)は、影響を受けない。
双方の光線の検出された照明光反射(8;9)の比較(r1とr2’)から、双方の照明光反射シグナルの一定な互いの比が既知の場合は、降雨(4)によって弱まったシグナル(r2’)を測定し、ワイパーを適切に制御することができる。
ガラス(2)外側(2.2)の照明光反射(9)のみの評価から、如何に雨を信頼性高く検知できるかについては、後に、図5から7を用いて説明する。
カメラは、図1に示す如くバイエル・カラーフィルターを有しており、測定されたシグナルは、図2に示す如く、評価される。
図4には、雨検知用に用いられている画像センサー(5)の上部(6)に、例えば、七つの青LEDを照明光源(3)とする七つのペアの照明光の反射(8,9)が、示されている。これはらは、カメラ(1)の焦点が無限大に合わせられているため、鮮明には映らないが、認識はできる。特に、輝度は、測定可能である。上の照明光反射(8)は、フロントガラス(2)内側(2.1)で反射した光線(r1)から、一方、下の照明光反射(9)は、フロントガラス外側で反射した光線(r2’)から生じたものである。
即ち、図4は、画像チップ(5)上で、ドライバー・アシスタント範囲(7)と雨検知範囲(6)を分ける例を示している。雨滴(4)がついているフロントガラス外側の照明光反射(9)は、輝度が弱まっている。照明光反射(9)は、フロントガラス(2)の外側(2.2)で反射した光線(r2’)によるものであるが、フロントガラス(2)を透過した光線(t1)の大部分は、雨滴を介して、フロントガラスからアンカップリング(t2’)してしまうため、カメラ(1)に向かって反射(r2’)されない。該照明光反射(9)は、雨(4)が、ガラス(2)の外側(2.2)に存在するか否かと言う情報を包含しており、その光量のみを、測定シグナルとして用いることができる。
図5から7に示す如く、バックグラウンドのピクセル精度での除算(図2による説明参照)と、影響を受けていないシグナルへの標準化とを行った後は、(乾いたガラス面では)最小の雨滴すらも検出することができるようになる。
図5は、乾いたガラスにおける、ピクセル精度で(それぞれ、各々の青色のピクセルを取り巻く緑色と赤色のピクセルから求めた)バックグラウンド・シグナルを差し引いた後の照明斑点の空間的分散(9; 青色のピクセルの測定シグナル)を示している。個々の青色のピクセルの青色の光の反射輝度を、ここでは、恣意的な単位の二つの画像座標(それぞれ0から30)に、恣意的な単位の0から800の範囲でプロットしている。これにより図5は、乾いたガラス用の現実的なアウトプット・シグナルを表している。
雨によってガラスがウェッティングすることによるシグナルの低下は、ウェッティングしている面の大きさと厚さに依存する。図6は、ガラスが、直径1mm未満の小さな雨滴(4)によってウェッティングした際のこれに応じて低下した照明斑点(9)の(図5と同様にプロットした)空間的シグナル分布を示している。
図5の影響を受けていないシグナル分布によってカバーされたボリュームに対しての、図6の「輝度光景(intensity scene)」によってカバーされたボリュームの変化を計算することにより、小さな雨滴に敏感に反応できるだけでなく、雨の種類(雨滴の大きさ)、或いは、ウェッティング、並びに、雨量も割出すことができる。
図7は、図6のシグナル分布を、図5の影響を受けていないシグナル分布に対して標準化したものを示している。青色の光の標準化された反射輝度は、ここでは、単位の無い0から1の範囲でプロットされている。ここでは、小さな雨滴(4)のシグナル影響は、(標準化された最小値が、約0.6から0.7の)対称な凹みとして明確に見ることができる。雨滴(4)が、照明光線(h)に影響を与えていない箇所では、標準化された輝度値は、約1である。
1 カメラ
2 ガラス
2.1 ガラス内側
2.2 ガラス外側
3 照明光源
4 雨、雨滴
5 画像センサー
6 雨センサー領域
7 ドライバー・アシスタント領域
8 ガラス内側での照明反射
9 ガラス外側での照明反射
10 雨滴がある際のシグナルの変化
h 光線
r1 ガラス内側で反射されるhの割合
t1 ガラス内側を透過するhの割合
r2’ ガラス外側で反射するt1の割合(雨天時)
t2’ ガラス外側を透過するt1の割合(雨天時)
R 赤色の波長領域の光を透過させるフィルター・エレメント
G 緑色の波長領域の光を透過させるフィルター・エレメント
B 青色の波長領域の光を透過させるフィルター・エレメント

Claims (15)

  1. 雨(4)を認識するための装置において、
    当該装置は、1つのカメラと1つの照明光源(3)とを備え、
    −前記カメラは、画像センサー(5)と、この画像センサー(5)のピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
    −前記照明光源(3)が、単色光(h)を発生させ、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
    −前記照明光源(3)がガラス(2)に照射する単色光(r1,r2′)から、前記カメラが信号を取得できるように、前記カメラ及び前記照明光源(3)が構成されていて且つ配置されている当該装置。
  2. 前記カメラは、ガラス(2)の後ろに配置されていて、このガラス(2)の前方にある遠距離領域に焦点合わせされている請求項1に記載の装置。
  3. 前記ガラス(2)の外側(2.2)から反射した少なくとも一本の単色光線(r2’)が、前記カメラの前記画像センサー(5)に当たるように、前記照明光源(3)が、単色光を発生させるために少なくとも一本の単色光線(h)を前記ガラス(2)へ向ける請求項2に記載の装置。
  4. 前記ガラス(2)の外側(2.2)から反射した少なくとも一本の光線(r2’)が、前記ガラス(2)の内側(2.1)で反射される光線(r1)と重ならないで前記カメラの前記画像センサー(5)に当たる請求項3に記載の装置。
  5. 前記ガラスの前記内側(2.1)と前記外側(2.2)とから反射した光線が、空間的に分離された少なくとも2つの光線(r1,r2’)として前記カメラの前記画像センサー(5)に当たるように、前記照明光源(3)が、前記少なくとも一本の単色光線(h)を前記ガラス(2)へ向ける請求項3又は4に記載の装置。
  6. 異なる2つの原色から成る透過フィルターが、前記画像センサー(5)のピクセル用のカラーフィルターとして設けられている請求項1〜5のいずれか1項に記載の装置。
  7. 前記透過フィルターは、当該2つの原色である赤及び青(B)から成る請求項6に記載の装置。
  8. 前記照明光源(3)は、青色の波長領域内にある光(h)を発生させる請求項1〜7のいずれか1項に記載の装置。
  9. 前記カメラ(1)は、赤外線遮断フィルターを有する結果、赤外線が、前記画像センサー(5)によって検出され得ない請求項1〜8のいずれか1項に記載の装置。
  10. カメラ(1)によって雨を認識するための方法において、
    前記カメラは、画像センサーと、この画像センサーのピクセル用の複数のフィルター原色(R;G;B)から成るカラーフィルターとを備え、前記フィルター原色(R;G;B)が、可視の波長領域内にあり、
    単色光(h)が、照明光源(3)によって発生され、この単色光(h)は、可視の波長領域内にあり、この可視の波長領域は、第1フィルター原色によって透過され、少なくとも1つの他のフィルター原色によってブロックされ、
    前記カメラが、前記照明光源(3)がガラスに照射する単色光(r1,r2′)から信号を取得できるように、前記ガラス(2)が、前記照明光源(3)によって発生される前記単色光(h)によって照射される当該方法。
  11. 前記第1フィルター原色の第1画像センサーピクセルの輝度が算出され、
    前記第1画像センサーピクセルを包囲し、第1フィルターピクセル色とは異なるフィルターピクセル色を有する複数のピクセルの輝度が算出され、
    前記第1画像センサーピクセルのバックグラウンド輝度が、前記第1画像センサーピクセルを包囲し、前記第1フィルターピクセル色とは異なるフィルターピクセル色を有する複数のピクセルの当該算出された輝度から算定される請求項10に記載の方法。
  12. バックグラウンド輝度を算出するために、前記第1画像センサーピクセルを包囲し、第一フィルターピクセル色とは異なる色を有する複数のピクセルの輝度の平均値が算出されることを特徴とする請求項11に記載の方法。
  13. バックグラウンド輝度を算出する際に、バックグラウンドの特定のスペクトル分布を考慮するために、第二フィルターピクセル色を有する周辺ピクセルの輝度が、第三フィルターピクセル色を有する周辺ピクセルの輝度とは異なる重み付けを受けることを特徴とする請求項10〜12のいずれか1項に記載の方法。
  14. 周辺ピクセルの平均された、或いは、重み付け平均された輝度のうち、第一フィルター原色のカラー割合のみが、第一画像センサーピクセルの(第一フィルター原色の)算出された輝度から、バックグラウンド輝度を相殺するために差し引かれることを特徴とする請求項12又は13に記載の方法。
  15. リアルタイムなバックグラウンド処理済みの測定シグナルの標準化が、乾いたガラス(2)のバックグラウンド処理済みの測定シグナルに対して実施されることを特徴とする請求項10〜14のいずれか1項に記載の方法。
JP2015525742A 2012-08-06 2013-08-02 カメラ及び照明を用いたガラス面の雨滴検出 Active JP6246808B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
DE102012107198.5 2012-08-06
DE102012107198 2012-08-06
DE102012108316.9 2012-09-07
DE201210108316 DE102012108316A1 (de) 2012-08-06 2012-09-07 Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102013100292.7A DE102013100292A1 (de) 2013-01-11 2013-01-11 Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102013100292.7 2013-01-11
PCT/DE2013/200094 WO2014023307A1 (de) 2012-08-06 2013-08-02 Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung

Publications (3)

Publication Number Publication Date
JP2015527847A JP2015527847A (ja) 2015-09-17
JP2015527847A5 JP2015527847A5 (ja) 2017-06-29
JP6246808B2 true JP6246808B2 (ja) 2017-12-13

Family

ID=50067433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015525742A Active JP6246808B2 (ja) 2012-08-06 2013-08-02 カメラ及び照明を用いたガラス面の雨滴検出

Country Status (6)

Country Link
US (1) US20150321644A1 (ja)
EP (1) EP2879919B1 (ja)
JP (1) JP6246808B2 (ja)
KR (1) KR102081747B1 (ja)
CN (1) CN104080663B (ja)
WO (1) WO2014023307A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013225156A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
DE102013225155A1 (de) 2013-12-06 2015-06-11 Conti Temic Microelectronic Gmbh Beleuchtung zur Detektion von Regentropfen auf einer Scheibe mittels einer Kamera
JP6468482B2 (ja) 2014-11-26 2019-02-13 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
KR101684782B1 (ko) * 2015-05-11 2016-12-08 한국오므론전장주식회사 우적 감응형 와이퍼 장치
DE102015209410B4 (de) * 2015-05-22 2018-05-09 Sirona Dental Systems Gmbh Kamera und Verfahren zur dreidimensionalen Vermessung eines dentalen Objekts
US9781361B2 (en) * 2015-09-01 2017-10-03 Delphi Technologies, Inc. Integrated camera, ambient light detection, and rain sensor assembly
CN105966358B (zh) * 2015-11-06 2018-06-08 武汉理工大学 一种汽车前挡风玻璃上雨滴的检测算法
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method
KR101746531B1 (ko) * 2016-10-19 2017-06-14 주식회사 오디텍 차량용 레인센서 및 이를 구비하는 차량의 와이퍼 구동 장치
CN106872406B (zh) * 2017-02-21 2023-12-19 中国水利水电科学研究院 基于数字图像处理技术的区域降雨均匀度测量系统及方法
CN106772700B (zh) * 2017-02-21 2023-12-19 中国水利水电科学研究院 一种基于近景摄影测量原理的区域降雨均匀度测量系统及方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JP2713996B2 (ja) * 1988-06-17 1998-02-16 キヤノン株式会社 カラー画像信号記録装置
US5398077A (en) * 1992-05-19 1995-03-14 Eastman Kodak Company Method for adjusting the luminance of a color signal
US5923027A (en) * 1997-09-16 1999-07-13 Gentex Corporation Moisture sensor and windshield fog detector using an image sensor
US6313454B1 (en) * 1999-07-02 2001-11-06 Donnelly Corporation Rain sensor
US6603137B2 (en) * 2001-04-16 2003-08-05 Valeo Electrical Systems, Inc. Differential imaging rain sensor
US6573490B2 (en) * 2001-06-28 2003-06-03 Valeo Electrical Systems, Inc. Interleaved mosaic imaging rain sensor
DE50301758D1 (de) * 2002-05-18 2005-12-29 Elmos Semiconductor Ag Regensensor
DE102004015040A1 (de) * 2004-03-26 2005-10-13 Robert Bosch Gmbh Kamera in einem Kraftfahrzeug
JP2006044380A (ja) * 2004-08-02 2006-02-16 Nissan Motor Co Ltd 車間距離制御装置
US7212214B2 (en) * 2004-09-03 2007-05-01 Seiko Epson Corporation Apparatuses and methods for interpolating missing colors
US20060072319A1 (en) * 2004-10-05 2006-04-06 Dziekan Michael E Method of using light emitting diodes for illumination sensing and using ultra-violet light sources for white light illumination
KR100649016B1 (ko) * 2004-12-30 2006-11-27 동부일렉트로닉스 주식회사 시모스 이미지 센서 및 그의 제조방법
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4547462B1 (ja) * 2009-11-16 2010-09-22 アキュートロジック株式会社 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置
DE102010023593A1 (de) * 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Optische Vorrichtung mit einem bifokalen optischen Element und einem Spiegelelement
EP2646802A1 (de) 2010-11-30 2013-10-09 Conti Temic Microelectronic GmbH Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
WO2012085863A1 (en) * 2010-12-21 2012-06-28 Zamir Recognition Systems Ltd. A visible light and ir hybrid digital camera
JP5423697B2 (ja) * 2011-02-09 2014-02-19 株式会社ニコン 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法
JP5054857B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
US8946638B2 (en) * 2011-09-06 2015-02-03 Basil Henry Scott Subpixel resolution by interpolation of crosstalk from adjacent pixels
US9939386B2 (en) * 2012-04-12 2018-04-10 KLA—Tencor Corporation Systems and methods for sample inspection and review
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition

Also Published As

Publication number Publication date
EP2879919B1 (de) 2018-06-20
WO2014023307A1 (de) 2014-02-13
KR102081747B1 (ko) 2020-02-26
US20150321644A1 (en) 2015-11-12
CN104080663A (zh) 2014-10-01
KR20150041607A (ko) 2015-04-16
CN104080663B (zh) 2017-06-20
EP2879919A1 (de) 2015-06-10
JP2015527847A (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
JP6246808B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
JP2015527847A5 (ja)
JP5944405B2 (ja) カメラ及び照明による窓ガラス上の雨滴の検出
JP6333238B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
JP2014502360A5 (ja)
KR102432765B1 (ko) Tof 카메라 시스템 및 그 시스템과의 거리를 측정하는 방법
US7259367B2 (en) Rain sensor device for detecting the wetting and/or soiling of a windscreen surface
US10574909B2 (en) Hybrid imaging sensor for structured light object capture
CN113272624A (zh) 包括具有多个通带的带通滤波器的三维传感器
KR20110101177A (ko) 차창의 상태를 검출하기 위한 카메라 장치
CN104024827A (zh) 图像处理装置、图像捕捉方法和车辆
US8480246B2 (en) System and method for reduction of optical noise
US8421037B2 (en) System and method for reduction of optical noise
US10368063B2 (en) Optical test device for a vehicle camera and testing method
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
JP2008064630A (ja) 付着物検知機能付き車載用撮像装置
US20090115993A1 (en) Device and Method for Recording Distance Images
JP2015187832A (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP6268190B2 (ja) カメラを用いたガラス面の雨滴検出のための照明
JPH0937147A (ja) 視覚装置
JP2017505002A (ja) カメラを用いた窓ガラス上にある雨滴を検出するための照明
US20010048520A1 (en) Device and method for detecting depth and color information of an object to be surveyed
WO2023085403A1 (ja) センシングシステム
CN104603586B (zh) 用于求取颜色信息的光检测
JP2015169567A (ja) 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160706

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161004

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170207

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20170406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171115

R150 Certificate of patent or registration of utility model

Ref document number: 6246808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250