JP3641250B2

JP3641250B2 - Foreign object detection device on translucent surface

Info

Publication number: JP3641250B2
Application number: JP2002120125A
Authority: JP
Inventors: 英樹塚岡
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-04-23
Filing date: 2002-04-23
Publication date: 2005-04-20
Anticipated expiration: 2022-04-23
Also published as: JP2003315256A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば車両のウインドシールドなどの透光体表面に付着した雨滴や汚れなどの異物を検出する場合などに好ましく用いることができる透光体表面の異物検出装置に関するものである。
【０００２】
【従来の技術】
従来、車両のフロントウィンドウについた雨滴を検出する装置としては、例えば特開２００１−２０６２０１号公報などに記載された発明がある。この技術では、撮像手段を用いてフロントウィンドウの後方からウインドシールド表面部の情報を画像入力し、撮像された画像を用い、所定時間経過した前後の撮像データ相互を比較して、両者で一致している撮像データに基づいて雨滴量の判定を行うように構成されている。
【０００３】
また特開昭６４−２５０３６号公報に記載された発明では、図１４に示すように透光体であるウインドシールド１の内側のダッシュボード２内に配設された発光手段３ａ、３ｂから発光され、ウインドシールド１で反射された反射光を、イメージ検出手段４で検出し、信号処理部５で、検出された信号のうち所定のレベル範囲内にある信号の数を計数することで液体の付着状態を判定するように構成されている。なお、６はワイパーブレードであり、信号処理部５で雨滴が検出されたときに自動的に作動を開始するように構成されている。
【０００４】
【発明が解決しようとする課題】
前者の特開２００１−２０６２０１号公報に記載の発明においては、所定時間経過した前後の撮像デ−タで、一致している部分に基づいて雨滴量の判定を行うように構成されているため、背景によって検出精度に影響がある。また、撮像手段の焦点距離は一様なため、雨滴を検出するように焦点距離を調節すると、他の画像処理に適した焦点距離に設定できないという問題点があった。
【０００５】
また後者の特開昭６４−２５０３６号公報に記載の発明では、図１４の断面図に示すように、発光手段３ａ、３ｂを用いることで、背景の影響の少ない雨滴検出が可能であるが、撮像手段を雨滴検出以外の目的に使用することは困難であった。
【０００６】
この発明は上記のような従来技術の課題を解消するためになされたもので、撮像手段を他の用途に使用することを可能にしたまま、車両のウインドシールドなどの透光体の表面の異物検出を精度高く行うことができる透光体表面の異物検出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
この発明による透光体表面の異物検出装置は、撮像素子と外方の情景を集光する集光要素とを有し透光体の内側から外方を撮像するように配設されて外方の情景を上記撮像素子の撮像領域に結像させる撮像手段と、上記透光体の内側に配設されて採光し上記透光体の外表面部の情景を上記集光要素を介して上記撮像素子の撮像領域の一部に結像させるピント調節機能部を有する光学手段と、上記撮像素子によって得られる上記透光体の外表面部に対応する情報から上記透光体の外表面部の異物を検出する検出手段とを備えるようにしたものである。
【０００８】
また、光学手段は、透光体の内側に配設され該透光体の外表面部に向けて参照光を出射する発光手段と、撮像手段の視野の少なくとも一部に配設され、透光体の外表面部で反射した参照光を撮像素子の撮像領域の一部に結像させる集光手段とを備え、検出手段は、上記参照光の光量に基づいて異物を検出するものである。
【０００９】
また、集光手段は、透光体の内側表面部に固定され、透光体の外表面で反射した参照光の入力面と、この入力面から入射した参照光を集光させる少なくとも一つの凹面状の反射面と、この反射面で反射した参照光を出射する出力面とを有するプリズムからなるものである。
【００１０】
また、光学手段は、撮像手段の視野の一部に配設され、透光体の外表面部の情景を撮像素子の撮像領域の一部に結像させる凹面鏡または凸レンズを用いるようにしたものであるものである。
【００１１】
また、凹面鏡または凸レンズは、撮像手段に対し透光体表面部の細長い帯状の領域に焦点が合うように形成されてなるものである。
【００１２】
また、透光体の外表面部に向けて参照光を出射する発光手段を備えたものである。
【００１３】
さらに、光学手段は、透光体の内側に配設され該透光体の外表面部に向けて参照光を出射する発光手段、ならびに、撮像素子の前方に配設され透光体の外方から入射される外来光及び透光体の外表面部で内側に反射された参照光を分離するビームスプリッタを有する反射面とこのビームスプリッタを有する反射面で分離された参照光画像を一方向に圧縮しつつ細長い形状に変形させ撮像素子の撮像領域の一部に結像させる集光反射面とを有する分光プリズムを備えたものである。
【００１４】
また、透光体の外表面で反射した参照光と可視光のそれぞれの光路中に、個別の光学フィルタを備えたものである。
【００１５】
また、発光手段は、撮像手段の撮像タイミングに同期して発光され、また発光時間は撮像時間に応じて変化させるものである。
【００１６】
さらに、発光手段は、撮像手段の撮像周期に同期して発光と消灯を繰り返すことを特徴とするものである。
【００１７】
【発明の実施の形態】
実施の形態１．
図１、および図２はこの発明の実施の形態１に係る透光体表面の異物検出装置の要部を模式的に示すもので、図１は光路の構成図、図２は用いる出力用プリズムを拡大して示す側面図である。なお、各図を通じて同一符号は同一もしくは相当部分を示すものとする。図において、１は自動車の前方窓ガラスであるウインドシールド（透光体）、１ａはこのウインドシールド１の外表面部、１ｂはウインドシールド１の内表面部である。なお、上記外表面部１ａは図示を省略しているウィンドウワイパの払拭範囲の中にある。
【００１８】
７は撮像手段であり、ＣＣＤ撮像素子などの２次元の撮像素子７１と、前方の情景を集光し、撮像素子７１に結像させるレンズ７２などからなる集光要素により構成されている。上記撮像素子７１は、ＮＴＳＣ規格（National Television System Committee）に基づいて動作している。７３は前記撮像手段７の視野の境界線であり、撮像素子７１の撮像領域に略合致している。８は上記撮像素子７１の出力信号を処理して異物を検知するマイコン（ＭＰＵ）を用いた検出手段である。
【００１９】
９はウインドシールド１の内側に配設され該ウインドシールド１の外表面部１ａ、ないしはその近傍に焦点を合わせて上記撮像素子７１の撮像領域の一部に結像するように構成された光学手段であり、この実施の形態１では例えば赤外線など可視光と区別しやすい波長の参照光Ｌを出射する発光手段９１と、この発光手段９１からの参照光をウインドシールド１の内部に入射させる入力用プリズム９２と、ウインドシールド１内部の外表面部１ａで１回以上反射した参照光を取り出す出力用プリズム９３とから構成されている。
【００２０】
上記出力用プリズム９３は、発光手段９１から出射され外表面部１ａにて反射した参照光を採光し、撮像素子７１の撮像領域の一部に結像するように構成された集光手段を構成しており、図２に示すように図の上端部のウインドシールド１に対向する側に参照光の入力面９３ａが形成され、この参照光入力面９３ａの部分において、ウインドシールド１の内表面部１ｂに該ウインドシールド１と同様の屈折率をもつ接着剤（図示省略）により接着固定されている。ウインドシールド１の内部に出射された参照光Ｌは、上記入力面９３ａから取り込まれ、第１の反射面９３ｂ、第２の反射面９３ｃを経て出力面９３ｄから出力される。参照光の出力面９３ｄから出力された参照光は、撮像素子７１の撮像領域の一端部に入るように構成されている。
【００２１】
ここで第１、第２の反射面９３ｂ、９３ｃの少なくとも一方は、撮像手段７で参照光を撮像できるようにピントを調節する機能を持たせるため、凹面状に形成され、光学手段９におけるピント調節機能部を構成している。また９３ｅは非接着面であり、上記ウインドシールド１に対しては接着されず、若干の隙間を保持して離間されており、該ウインドシールド１の内表面部１ｂの内部で参照光が全反射するのを妨げない様になっている。
【００２２】
上記出力用プリズム９３はこのような非接着面９３ｅを設けることで撮像範囲内に設けることができ、小型化に寄与している。また、上記図１に示すように構成された異物検出装置は、運転者の視界を妨げない位置、例えば、ウインドシールド１の上端部、あるいは下端部内側のダッシュボード内に沈める等、適宜の位置に固定されている。
【００２３】
次に上記のように構成された実施の形態１の動作について、発光と撮像のタイミングを説明する図３を参照して説明する。発光手段９１で発光した参照光Ｌは、入力用プリズム９１を介してウインドシールド１内部に入射され、ウインドシールド１の外表面部１ａで１回以上反射した後に、出力用プリズム９３を介して、撮像素子７１の撮像領域の一部（図では上端部）に結像される。
【００２４】
ウインドシールド１の外表面部１ａに雨滴や汚れなどの異物（図示省略）が付着すると、参照光Ｌの一部が該異物により散乱ないしは吸収され、撮像手段７によって検出される参照光の光量に変化が現れるので、検出手段８でこの変化量に基づいて雨滴や汚れなどの異物が付着したことを検出する。具体的には、検出される参照光の光量のレベルが下がるので、該光量のレベルの時間変化を検出することにより異物が付着したことを容易に検知できる。
【００２５】
なお、図３において、１０は撮像素子７１の撮像周期、１１は撮像タイミングである電子シャッター（図示省略）の動作、１２は発光手段９１の動作を示し、共通の横軸は時間軸を示している。撮像素子７１は、例えば３３ミリ秒毎に新しい画像を撮像し、その撮像時間（電子シャッターのスピード）は可視光の画像を撮影するのに最適となるように自動的に調節されている。発光手段９１は前記電子シャッターの開いている間に発光させるべくＯＮされ、また、一画面ごとにＯＮしないように制御されている。つまり２ｎ番目の画面を撮像中にはＯＮ、２ｎ−１番目の画面を撮像中にはＯＦＦのままとなる。
【００２６】
以上のように発光手段９１が制御された状態で、雨滴検出に使用される参照光画像は、参照光ＯＮの画面から参照光ＯＦＦの画面を差し引くことにより得られる。つまり、
ｎ番目の参照光画像＝［２ｎ番目の画像］−［（２ｎ−１）番目の画像］
となる。
【００２７】
このように、検出手段８により参照光画像の光量の時間的変化を監視し、該光量が予め設定された所定のレベルを下回ったときに雨滴などの異物が存在すると判定することで、背景や外乱の影響をほとんど受けることなく、ウインドシールド１の外表面部１ａに付着した雨滴や汚れを精度よく検出することができる。なお、光量の変化を監視して雨滴や汚れを検出する具体的な方法は特に限定されるものではなく、例えば特開昭６３−５３４４４号公報などに記載されている一般的に知られている公知の従来技術を特別な制限なく用いることができる。
【００２８】
なお、撮像手段７で得られる残部の可視光画像は例えば道路上の白線検出、前方車両の検出などといった他の画像処理に使用することができるので、１つの撮像手段７により、雨滴などの異物検知と前方監視の双方を行うことができ、装置の小型化・低価格化が可能となるとともに、前記撮像手段７で得られた画像を他の用途に用いることができるので、汎用性や経済性を向上する効果が得られる。
【００２９】
実施の形態２．
図４は実施の形態２に係る透光体表面の異物検出装置の要部構成を示す光路構成図である。図において、９１は撮像手段７と一体構成となっている発光手段、９２は入力用プリズムであり発光手段９１からの参照光Ｌを受光してウインドシールド１の内部に導くように反射させる反射面９２ａが設けられている。
【００３０】
９３は出力用プリズムであり、この実施の形態２ではその大部分が撮像手段７の視野の境界線７３の外側に位置するように配設され、実施の形態１で用いた出力用プリズムに比べて非接着面９３ｅが設けられておらず、その分実施の形態１よりも小型に形成されている。そして、第２の反射面９３ｃ及び参照光出力面９３ｄの部分のみが撮像手段７の視野の境界線７３の内側に近接して入るように配設され、ウインドシールド１の内表面部１ｂに接着、固定されている。なお、第１の反射面９３ｂ、第２の反射面９３ｃの少なくとも一方が集光機能を有する点など、その他の構成は実施の形態１と同様であるので説明を省略する。
【００３１】
上記のように構成された実施の形態２においては、発光手段９１で発光した参照光Ｌは、入力用プリズム９２の反射面９２ａで反射した後、ウインドシールド１内部に入射され、ウインドシールド１の外表面部１ａで１回以上反射した後に、出力用プリズム９３を介して、撮像素子７１の撮像領域の一端部に結像される。ウインドシールド１の外表面部１ａに雨滴や汚れなどの異物が付着すると、該異物による参照光の吸収や散乱により、撮像手段７によって検出される参照光の光量が減少するので、実施の形態１と全く同様に検出手段８でこの変化量によって雨滴や汚れが付着したことが検出される。
【００３２】
この実施の形態２においては、上記実施の形態１の構成と比較して、撮像手段の視野の中心部を含む主領域内にプリズムが配設されていないことで、前方の路上の白線などの情景がより鮮明な画像で得られる構成となっている。また、発光手段９１のために配線を伸ばす必要がないという利点がある。また、入力用プリズム９２は発光手段９１から離れた位置にある構成となっている。
【００３３】
以上の説明では、透光体であるウインドシールド１の内部で反射した参照光を撮像素子の撮像領域の一部に入力し、受光される光量に応じた量で検出するように構成した場合について説明したが、以下の実施の形態に示すように、外表面部１ａに付着した雨滴や汚れなどの異物を撮像手段により撮影し、得られる画像情報を処理することにより、異物を検出するように構成することもできる。この場合には、参照光を省くこともできる。
【００３４】
実施の形態３．
図５ないし図９は実施の形態３になる透光体表面の異物検出装置を説明するもので、図５は要部を示す光路構成図、図６は撮像画像の例を模式的に示す図、図７は画像処理の例を示す説明図、図８は参照画像の処理ステップの骨子を示すフロー図、図９は雨滴量の算出ステップを概略的に示すフロー図である。図において、９７は撮像手段７の視野の境界線７３の内側近傍に配設された集光手段としての凹面鏡であり、ウインドシールド１の外表面部１ａで反射した参照光画像を映して、撮像素子７１の撮像領域の一端部（図では下端部）に結像するように構成されている。
【００３５】
上記凹面鏡９７の取付角度は、ウインドシールド１と撮像素子７１のなす角度をθとしたとき、該凹面鏡９７の光軸９７ａがウインドシールド１に対してθ／２の角度で設定することにより、広い範囲でピントの合った参照画像を得ることができる。
【００３６】
図６は撮像された画像の一例を示し、７４は撮像素子７１によって撮像された画像、７４ａは凹面鏡９７によって撮像領域の一端部（図では上端部）に横長に結像されたウインドシールド１の外表面部１ａの参照光画像、７４ｂはウインドシールド１の前方の道路等の遠景画像である。なお、該遠景画像７４ｂは例えば道路上の白線検知など他の画像処理に用いられるものであり、そのためにレンズ７２は遠景画像７４ｂに適した焦点距離に設定され、さらに検知手段８には遠景画像７４ｂについての処理機能を備えているが、それらの構成はこの発明とは直接関係ない付随的部分であるので説明を省略する。
【００３７】
９６ａは撮像素子７１上の可視光画像受光部７１ａの前方に設けられた赤外線領域の波長の光をカットし、可視光を通過させる可視光用フィルタ、９６ｂは撮像素子７１上の参照光画像受光部７１ｂの前方に設けられた可視光線をカットし赤外線を通過させる参照光用フィルタである。
【００３８】
次に、上記のように構成された実施の形態３の動作について、参照光画像から雨滴を検出し、例えば図示を省略しているワイパを制御するように構成した例を説明する。
【００３９】
図７（ａ）に示す１３は参照光画像７４ａを受光する撮像素子の一端部の画素列であり、この例では理解を容易にするために、水平方向×垂直方向＝３２０（Ｈ）×４（Ｖ）画素からなり、図の左側から順に、１、２、３、・・・、ｎ、・・・、３２０列目までの画素が配列されている様子を示している。１３ｎは前記画素列のうち、ｎ列目の一列のみを抜き出したものである。
【００４０】
図７（ｂ）のグラフｂ１〜ｂ３は横軸を共通の時間軸ｔとした計測例を模式的に示すものであり、グラフｂ１は、図８のステップＳ１にてｎ列目の各画素（ここでは計４画素）について得られる明るさに対応した電気量に応じた値の合計値Ｌｎを求め、縦軸を前記合計値Ｌｎとしたときの、Ｌｎの時間的変化１４を示す図、グラフｂ２は、ステップＳ２にて前記Ｌｎの時間変化量の絶対値Ｌｎ'を求め、縦軸を該絶対値Ｌｎ'としたときの、Ｌｎ'の時間的変化１５を示す図、グラフｂ３は、ステップＳ３にて前記絶対値Ｌｎ'の積分値Ａｎ（雨滴量）を求め、縦軸を該積分値Ａｎとしたときの、Ａｎの時間的変化１６を示す図である。
【００４１】
なお、上記Ｌｎの変化量の絶対値Ｌｎ’はここでは演算を一定時間ごとに行うようにしているので、離散的な値をとっている、つまり時刻ｔにおける変化量をＬｎ'（ｔ）とすると、Ｌｎ’（ｔ）は今回の演算で求められた画素の合計値Ｌｎ（ｔ）から、前回の演算で求められた画素の合計値Ｌｎ（ｔ−１）を差し引いて求められる。
【００４２】
Ｌｎ'の積分値（雨滴量）Ａｎは、時間ｔ１〜ｔ２におけるワイパ（図示省略）の払拭期間Ｔｗにリセットされる。上記のようにしてｎ列目の雨滴量Ａｎが求められる。図９は、求められた雨滴量からワイパを制御する場合のシーケンスの概要を示したフロー図である。
【００４３】
図９においてステップＳ１１で全ての画素列（１〜３２０列目）における雨滴量Ａ１〜Ａ３２０を求め、ステップＳ１２でＡ１からＡ３２０の平均Ａ_ａｖｅを求め、ステップＳ１３でＡ_ａｖｅを所定のしきい値Ａ_ｔｈと比較し、Ａ_ａｖｅ＞Ａ_ｔｈが真（Ｔｒｕｅ）ならステップＳ１４でワイパを速く動かすように指示を出し、偽（Ｆａｌｓｅ）なら、即ちＡ_ａｖｅ≦Ａ_ｔｈならステップＳ１５でワイパを遅く動かすように指示を出す。ここでＡ_ｔｈは車のドライバがウインドシールド１越しに前方を見やすいように設定されたしきい値であり、予め実験的に定められた値である。
【００４４】
上記のように、実施の形態３によれば、撮像素子７１の一端部に結像されたウインドシールド１の外表面部１ａの広い範囲の参照光画像のそれぞれの画素について時間的変化を監視することにより、一つの撮像素子７１で前方を遠景画像７４を監視（詳細説明、及び図示省略）しつつ、同時に外表面部１ａに付着した雨滴や汚れなどの異物を外乱の影響を受けることなく精度よく検出することができる。また可視光画像についても、フィルタ９６ａを設けたことにより参照光の影響を受けにくく鮮明な可視光画像が得られる。
【００４５】
なお、上記集光手段としての凹面鏡９７は、例えば凸レンズと反射鏡を用いたものなどに置き換えても同様の効果が期待できる。また、参照光Ｌを発光させる発光手段９１、フィルタ９６ａ、９６ｂは必ずしも必須のものではなく、例えば昼間の明るい時間帯ではこれらを省いた構成でも外表面部１ａの異物を検知することができるので、装置を特に安価に提供しようとする目的では有効である。因みに、発光手段９１等を省いた場合においても、該表面部１ａに雨滴などの異物が存在しない場合は、図６の参照光画像７４ａに相当する部分は、明るい空白以外、実質的に「何も見えない」状態であるのに対し、異物が付着するとその大きさ、密度等に応じた斑点状の映像が見えるようになることにより、検知可能である。
【００４６】
実施の形態４．
上記実施の形態３では、凹面鏡９７を、ウインドシールド１の広い範囲に焦点距離が合うように構成した場合について説明したが、ウインドシールド１の外表面上の細い帯状の領域のみ焦点距離が合うように構成してもよい。図１０は、実施の形態４になる透光体表面の異物検出装置における凹レンズによる集光範囲を説明する平面図である。図において、斜線で示す細い帯状の領域１ｃはウインドシールド１の外表面部１ａにおける、凹面鏡９７のピントが合う採光部分を示す。その他の構成は上記実施の形態３と同様であるので説明を省略する。
【００４７】
上記のように構成された実施の形態４においては、検出精度が若干下がるものの、光学系を簡単な構成とすることができるので、装置をより安価に提供することができる効果が得られる。
【００４８】
実施の形態５．
図１１及び図１２はこの発明の実施の形態５に係る透光体表面の異物検出装置の要部を示すもので、図１１は光路構成図、図１２は用いる分光プリズムの拡大側面図である。図において、９４は集光手段を兼ねる分光プリズムであり、断面三角形状の斜辺部分には入射した光線のうち可視光を透過し、参照光を反射するビームスプリッタを有する反射面９４ａが設けられており、さらにその下方部分には上記反射面９４ａで反射された参照光画像を一方向に圧縮変形しながら反射する凹面状の反射面９４ｂが設けられ、全体が一体的に構成されている。
【００４９】
撮像素子７１は、分光プリズム９４によって分離された可視光と参照光を、それぞれ可視光画像受光部７１ａと参照光画像受光部７１ｂで別々に受光する。なお、９１ａは参照光Ｌに対する撮像素子７１の視野を示す。その他の符号は実施の形態１と同様であるので説明を省略する。
【００５０】
次に上記のように構成された実施の形態４の動作について説明する。ウインドシールド１の前方の情景は可視光として分光プリズム９４をそのまま真っ直ぐに通過して撮像素子７１の可視光画像受光部７１ａに結像される。一方、発光手段９１から出射された赤外光線からなる参照光はウインドシールド１の外表面部１ａで反射してレンズ７２、分光プリズム９４に入射し、反射面９４ａで図の下方向に分光・反射され、集光反射面９４ｂにて一方向に圧縮変形されながら反射され、撮像素子７１上の参照光画像受光部７１ｂに細長い帯状に結像する。
【００５１】
このようにして得られた画像のそれぞれの画素について信号処理部８にて、上記実施の形態３と同様に時間的変化を監視することで、ウインドシールド１の外側の表面部１ａの広い範囲に付着した雨滴や汚れを精度よく検出することが可能となる。
【００５２】
実施の形態６．
図１３は実施の形態６になる透光体表面の異物検出装置の要部を示す光路構成図である。上記実施の形態５では、１つの撮像素子７１に可視光画像受光部７１ａと参照光画像受光部７１ｂを設けたが、この実施の形態６では撮像素子を２つ設けるようにしたものである。図１３において、９５は分光プリズムであり、可視光を通過させ、参照光を反射させるビームスプリッタ９５ａを備えている。７１Ａはウインドシールド１の前方の道路などの遠景画像を可視光として受光する第１の撮像素子、７１Ｂは、分光プリズム９５のビームスプリッタ９５ａ部で反射して図の下方向に偏向された参照光を受光する第２の撮像素子である。その他の構成は実施の形態５と略同様である。
【００５３】
上記のように構成された実施の形態６においては、可視光画像、参照光画像とも、第１の撮像素子７１Ａ、及び第２の撮像素子７１Ｂにより、それぞれ個別に全画面を撮像することが可能であるため、より精度の高い雨滴検出が可能となる。また発光手段の発光タイミングは、実施例１の装置と同様、撮像手段に同期させてＯＮ／ＯＦＦすることで、外乱光の影響をより受けにい雨滴や汚れなどの異物の検出が可能となる。なお、参照光を出射する発光手段９１は、必ずしも設けなくても差し支えない。
【００５４】
ところで、上記実施の形態の説明では、検出手段８の機能として、外表面部１ａの異物を検知することのみについて述べたが、例えば検知結果に応じてウインドシールド１に洗浄液を吹き付けたり、ワイパーを動作させるなどの機能を付加させるなど、適宜所望の機能を付加できることは言うまでもない。また発光手段９１の発光タイミング、異物検出のシーケンスや、フロー図、光学手段９の構成などは一例を示したに過ぎず、実施の形態のものに限定されるものではない。その他この発明の範囲内で種々の変形や変更、置換ができることは当然である。
【００５５】
さらに、異物が雨滴やごみの場合について説明したが、それらに限定されず、例えば、雪や、水しぶきのようなものなどであっても同様に検知することができる。また、透光体が自動車のウインドシールドの場合について説明したが、自動車に限定されるものではなく、例えば鉄道車両、航空機、船舶などの移動体のウインドシールド、各種情報監視カメラなどを包囲し保護する固定物のウインドシールド、その他各種用途に用いることができることは勿論である。
【００５６】
【発明の効果】
以上説明したとおり、この発明によれば次のような効果が得られる。
【００５７】
請求項１に記載した第１の発明によれば、簡単な光学系と検出手段を用いることによって、外方の情景を撮像素子の撮像領域に結像させるとともに透光体の外表面部の情景を撮像素子の撮像領域の一部に結像させ、一つの撮像手段により透光体の外表面部の異物検出を精度高く行いつつ、前方監視など他の用途に併用することができる。
【００５８】
請求項２に記載した第２の発明によれば、光学手段として、参照光の発光手段と、集光手段とを備えたものを用い、検知手段で光量に基づいて異物を検知するようにしたことにより、第１の発明の効果に加え、簡単な構成による検知手段で透光体表面の異物検出を精度高く行うことができる。
【００５９】
請求項３に記載した第３の発明によれば、集光手段を凹面状の反射面を有するプリズムとしたことにより、透光体外表面部の異物検出を精度高く行いつつ、光学系の取付を簡単にした異物検知装置を提供できる。
【００６０】
請求項４に記載した第４の発明によれば、光学手段を凹面鏡または凸レンズで構成したことにより、光学手段を容易に構成でき、装置を安価にできる。
【００６１】
請求項５に記載した第５の発明によれば、凹面鏡または凸レンズを、撮像手段に対し透光体表面部の細長い帯状の領域に焦点が合うように構成したことにより、光学手段を一層簡単、かつ安価に構成できる。
【００６２】
請求項６に記載した第６の発明によれば、参照光を出射する発光手段を設けるようにしたので、第４の発明の効果に加えて、外光がない夜間などでも透光体表面の雨滴や汚れなどの異物を精度高く検出することができる効果が得られる。
【００６３】
請求項７に記載した第７の発明によれば、装置を小型にすることができるとともに、撮像手段で得られた画像は一部も欠けることなく、完全な形で他の用途に用いることができる効果がある。
【００６４】
請求項８に記載した第８の発明によれば、参照光と可視光のそれぞれの光路中に、個別の光学フィルタを備えるよう構成したので、外乱光の影響を受けにくく、また鮮明な可視光画像を得ることができる効果がある。
【００６５】
請求項９に記載した第９の発明によれば、発光手段は、撮像手段の撮像タイミングに同期して発光し、また発光時間は撮像時間に応じて変化するよう構成したので、撮像手段により効率よく参照光を撮像することができ、背景や外乱光の影響を受けにくい異物検出装置が得られる効果がある。
【００６６】
請求項１０に記載した第１０の発明によれば、発光手段は、撮像手段の撮像周期に同期して発光と消灯を繰り返すよう構成されているので、背景や外乱光を除去することができるので、さらに外乱光の影響を受けにくくする効果がある。
【図面の簡単な説明】
【図１】実施の形態１による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図２】図１の出力用プリズムを拡大して示す側面図である。
【図３】実施の形態１における発行手段の発光と撮像のタイミングを説明する図である。
【図４】実施の形態２による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図５】実施の形態３による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図６】実施の形態３による撮像画像の例を模式的に示す図である。
【図７】実施の形態３による画像処理の例を示す説明図である。
【図８】実施の形態３による参照画像の処理ステップの骨子を示すフロー図である。
【図９】実施の形態３による雨滴量の算出ステップを概略的に示すフロー図である。
【図１０】実施の形態４による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図１１】実施の形態５による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図１２】図１１の分光プリズムを拡大して示す側面図である。
【図１３】実施の形態６による透光体表面の異物検出装置の要部構成を示す光路構成図である。
【図１４】従来の光学式雨滴検出装置の一例を示す断面図である。
【符号の説明】
１透光体（ウインドシールド）、１ａ外表面部、７撮像手段、７１撮像素子、７３撮像手段の視野の境界線、８検出手段、９光学手段、９１発光手段、９２入力用プリズム、９３集光手段（出力用プリズム）、９３ａ入力面、９３ｂ、９３ｃ（凹面状の）反射面、９３ｄ出力面、９４集光手段（分光プリズム）、９４ｂ集光反射面、９６ａ、９６ｂ光学フィルタ、９７集光手段（凹面鏡）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a foreign object detection device on a surface of a light transmitting body that can be preferably used for detecting foreign objects such as raindrops and dirt attached to the surface of the light transmitting body such as a windshield of a vehicle.
[0002]
[Prior art]
Conventionally, as an apparatus for detecting raindrops on a front window of a vehicle, for example, there is an invention described in JP-A-2001-206201. In this technology, information on the surface of the windshield is input from the rear of the front window using the imaging means, and the captured images are compared with each other before and after a predetermined period of time. The raindrop amount is determined based on the captured image data.
[0003]
In the invention described in Japanese Patent Application Laid-Open No. 64-25036, light is emitted from the light emitting means 3a and 3b disposed in the dashboard 2 inside the windshield 1 which is a translucent body as shown in FIG. The reflected light reflected by the windshield 1 is detected by the image detection means 4, and the signal processing unit 5 counts the number of signals within a predetermined level range among the detected signals, thereby adhering the liquid. It is configured to determine the state. A wiper blade 6 is configured to automatically start operation when raindrops are detected by the signal processing unit 5.
[0004]
[Problems to be solved by the invention]
In the invention described in the former Japanese Patent Application Laid-Open No. 2001-206201, since it is configured to determine the amount of raindrops based on the matching portion in the imaging data before and after a predetermined time has elapsed, The detection accuracy is affected by the background. In addition, since the focal length of the imaging means is uniform, there is a problem that if the focal length is adjusted so as to detect raindrops, it cannot be set to a focal length suitable for other image processing.
[0005]
In the latter invention disclosed in Japanese Patent Laid-Open No. 64-25036, as shown in the sectional view of FIG. 14, it is possible to detect raindrops with little influence of the background by using the light emitting means 3a and 3b. It has been difficult to use the imaging means for purposes other than raindrop detection.
[0006]
The present invention has been made in order to solve the above-described problems of the prior art. The foreign matter on the surface of a light transmitting body such as a windshield of a vehicle can be used while the imaging means can be used for other purposes. An object of the present invention is to provide a foreign object detection device on the surface of a translucent body capable of performing detection with high accuracy.
[0007]
[Means for Solving the Problems]
An apparatus for detecting foreign matter on a surface of a light transmitting body according to the present invention includes an imaging element and Outside And a condensing element that condenses the scene of the light, and is arranged to image the outside from the inside of the translucent body Outside Imaging means for forming an image of the above scene on the imaging area of the imaging device, and taking a picture of the outer surface portion of the translucent body, which is disposed inside the translucent body, through the light collecting element Form an image on part of the imaging area of the element Has a focus adjustment function Optical means and detection means for detecting foreign matter on the outer surface portion of the light transmitting body from information corresponding to the outer surface portion of the light transmitting body obtained by the imaging device are provided.
[0008]
The optical means is disposed on the inner side of the light transmitting body and emits reference light toward the outer surface of the light transmitting body. Condensing means for forming an image of the reference light reflected by the outer surface of the body on a part of the imaging region of the imaging device, and the detecting means detects the foreign matter based on the amount of the reference light.
[0009]
The condensing means is fixed to the inner surface portion of the translucent body, the reference light input surface reflected by the outer surface of the translucent body, and at least one concave surface that condenses the reference light incident from the input surface And a prism having an output surface for emitting reference light reflected by the reflecting surface.
[0010]
The optical means is arranged in a part of the field of view of the imaging means, and uses a concave mirror or a convex lens that forms an image of the scene of the outer surface portion of the translucent body on a part of the imaging area of the imaging device. There is something.
[0011]
Further, the concave mirror or the convex lens is formed so as to be focused on an elongated band-like region on the surface of the transparent body with respect to the imaging means.
[0012]
In addition, a light emitting unit that emits reference light toward the outer surface portion of the translucent body is provided.
[0013]
Further, the optical means includes a light emitting means disposed on the inner side of the light transmitting body and emitting reference light toward the outer surface portion of the light transmitting body, and an outer side of the light transmitting body disposed in front of the imaging element. A reflection surface having a beam splitter that separates external light incident from the light and reference light reflected inward by the outer surface portion of the transparent body, and a reference light image separated by the reflection surface having the beam splitter in one direction A spectral prism having a condensing reflection surface that is deformed into an elongated shape while being compressed and forms an image on a part of an imaging region of the imaging element.
[0014]
Further, individual optical filters are provided in the optical paths of the reference light and the visible light reflected by the outer surface of the light transmitting body.
[0015]
The light emitting means emits light in synchronization with the imaging timing of the imaging means, and the light emission time is changed according to the imaging time.
[0016]
Furthermore, the light emitting means repeats light emission and extinction in synchronization with the imaging cycle of the imaging means.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
1 and 2 schematically show a main part of a foreign matter detecting device on a surface of a light transmitting body according to Embodiment 1 of the present invention. FIG. 1 is a configuration diagram of an optical path, and FIG. 2 is an output prism to be used. It is a side view which expands and shows. Note that the same reference numerals denote the same or corresponding parts throughout the drawings. In the figure, 1 is a windshield (translucent body) which is a front window glass of an automobile, 1a is an outer surface portion of the windshield 1, and 1b is an inner surface portion of the windshield 1. In addition, the said outer surface part 1a exists in the wiping range of the window wiper which is abbreviate | omitting illustration.
[0018]
Reference numeral 7 denotes an image pickup unit, which includes a two-dimensional image pickup device 71 such as a CCD image pickup device and a light collecting element including a lens 72 that collects a front scene and forms an image on the image pickup device 71. The image sensor 71 operates based on the NTSC standard (National Television System Committee). Reference numeral 73 denotes a boundary line of the visual field of the image pickup means 7 and substantially matches the image pickup area of the image pickup element 71. Reference numeral 8 denotes detection means using a microcomputer (MPU) that processes the output signal of the image sensor 71 to detect foreign matter.
[0019]
Reference numeral 9 denotes an optical means disposed inside the windshield 1 so as to focus on the outer surface portion 1a of the windshield 1 or in the vicinity thereof and to form an image on a part of the imaging region of the imaging device 71. In the first embodiment, for example, light emitting means 91 that emits reference light L having a wavelength that is easily distinguishable from visible light, such as infrared rays, and input light that causes the reference light from the light emitting means 91 to enter the inside of the windshield 1 The prism 92 includes an output prism 93 that extracts the reference light reflected at least once by the outer surface portion 1 a inside the windshield 1.
[0020]
The output prism 93 constitutes a condensing unit configured to collect the reference light emitted from the light emitting unit 91 and reflected by the outer surface portion 1 a and form an image on a part of the imaging region of the imaging element 71. As shown in FIG. 2, an input surface 93a for reference light is formed on the side of the upper end of the figure facing the windshield 1, and the inner surface portion of the windshield 1 is formed at the reference light input surface 93a. It is bonded and fixed to 1b with an adhesive (not shown) having the same refractive index as that of the windshield 1. The reference light L emitted to the inside of the windshield 1 is taken in from the input surface 93a, and is output from the output surface 93d through the first reflecting surface 93b and the second reflecting surface 93c. The reference light output from the output surface 93 d of the reference light is configured to enter one end of the imaging region of the imaging element 71.
[0021]
Here, at least one of the first and second reflecting surfaces 93b and 93c is formed in a concave shape so as to have a function of adjusting the focus so that the imaging means 7 can capture the reference light. The focus adjustment function part in the optical means 9 is configured. ing. Reference numeral 93e denotes a non-adhesive surface, which is not adhered to the windshield 1 and is spaced apart with a slight gap, so that the reference light is totally reflected inside the inner surface portion 1b of the windshield 1. It does not prevent you from doing.
[0022]
The output prism 93 can be provided within the imaging range by providing such a non-adhesive surface 93e, which contributes to downsizing. Further, the foreign object detection device configured as shown in FIG. 1 is provided at an appropriate position such as a position that does not obstruct the driver's field of view, for example, sinking into the upper end of the windshield 1 or the dashboard inside the lower end. It is fixed to.
[0023]
Next, the operation of the first embodiment configured as described above will be described with reference to FIG. 3 for explaining the timing of light emission and imaging. The reference light L emitted from the light emitting means 91 is incident on the inside of the windshield 1 through the input prism 91 and reflected by the outer surface 1a of the windshield 1 at least once, and then through the output prism 93. The image is formed on a part (upper end portion in the drawing) of the imaging region of the imaging element 71.
[0024]
When a foreign matter (not shown) such as raindrops or dirt adheres to the outer surface 1a of the windshield 1, a part of the reference light L is scattered or absorbed by the foreign matter, and the amount of the reference light detected by the imaging means 7 is increased. Since a change appears, the detection means 8 detects that a foreign substance such as a raindrop or dirt has adhered based on the amount of change. Specifically, since the level of the detected reference light amount is lowered, it is possible to easily detect that a foreign object has adhered by detecting a temporal change in the light amount level.
[0025]
In FIG. 3, 10 is the imaging cycle of the image sensor 71, 11 is the operation of an electronic shutter (not shown) that is the imaging timing, 12 is the operation of the light emitting means 91, and the common horizontal axis is the time axis. Yes. The image sensor 71 captures a new image every 33 milliseconds, for example, and the image capturing time (electronic shutter speed) is automatically adjusted to be optimal for capturing a visible light image. The light emitting means 91 is turned on so as to emit light while the electronic shutter is open, and is controlled not to turn on every screen. That is, it remains ON while the 2n-th screen is being imaged, and remains OFF while the 2n-1-th screen is being imaged.
[0026]
In the state where the light emitting means 91 is controlled as described above, the reference light image used for raindrop detection is obtained by subtracting the reference light OFF screen from the reference light ON screen. That means
nth reference light image = [2nth image] − [(2n−1) th image]
It becomes.
[0027]
As described above, the detection means 8 monitors the temporal change in the light amount of the reference light image, and determines that there is a foreign object such as a raindrop when the light amount falls below a predetermined level. Raindrops and dirt adhering to the outer surface portion 1a of the windshield 1 can be accurately detected without being affected by disturbances. A specific method for detecting changes in the amount of light and detecting raindrops and dirt is not particularly limited, and is generally known, for example, as described in JP-A-63-53444. Known prior art can be used without any particular limitation.
[0028]
Note that the remaining visible light image obtained by the imaging unit 7 can be used for other image processing such as detection of a white line on the road, detection of a preceding vehicle, and the like. Both detection and forward monitoring can be performed, the apparatus can be reduced in size and price, and the image obtained by the imaging means 7 can be used for other purposes. The effect which improves property is acquired.
[0029]
Embodiment 2. FIG.
FIG. 4 is an optical path configuration diagram showing a main configuration of the foreign object detection device on the surface of the light transmitting body according to the second embodiment. In the figure, 91 is a light emitting means integrated with the imaging means 7, 92 is an input prism, and receives the reference light L from the light emitting means 91 and reflects it so as to guide it to the inside of the windshield 1. 92a is provided.
[0030]
Reference numeral 93 denotes an output prism. In the second embodiment, the output prism is disposed so that most of the prism is located outside the boundary line 73 of the field of view of the imaging means 7, and is compared with the output prism used in the first embodiment. Thus, the non-adhesive surface 93e is not provided, and the size is smaller than that of the first embodiment. Then, only the second reflecting surface 93 c and the reference light output surface 93 d are disposed so as to be close to the inside of the boundary line 73 of the field of view of the imaging means 7, and are adhered to the inner surface portion 1 b of the windshield 1. It has been fixed. Since other configurations are the same as those in the first embodiment, such as that at least one of the first reflecting surface 93b and the second reflecting surface 93c has a light collecting function, description thereof is omitted.
[0031]
In the second embodiment configured as described above, the reference light L emitted by the light emitting means 91 is reflected by the reflecting surface 92a of the input prism 92 and then enters the windshield 1 to After being reflected at the outer surface portion 1 a at least once, an image is formed on one end portion of the imaging region of the imaging device 71 via the output prism 93. When a foreign matter such as raindrops or dirt adheres to the outer surface portion 1a of the windshield 1, the amount of reference light detected by the imaging means 7 decreases due to absorption or scattering of the reference light by the foreign matter. In exactly the same manner, the detecting means 8 detects that raindrops or dirt have adhered by this amount of change.
[0032]
In the second embodiment, as compared with the configuration of the first embodiment, the prism is not disposed in the main region including the central portion of the field of view of the imaging unit, so that the white line on the road ahead The scene can be obtained with a clearer image. Further, there is an advantage that it is not necessary to extend the wiring for the light emitting means 91. In addition, the input prism 92 is located away from the light emitting means 91.
[0033]
In the above description, the reference light reflected inside the windshield 1 that is a translucent body is input to a part of the imaging area of the imaging device and is detected in an amount corresponding to the amount of light received. As described in the following embodiment, the foreign matter such as raindrops and dirt attached to the outer surface portion 1a is photographed by the imaging means, and the obtained image information is processed to detect the foreign matter. It can also be configured. In this case, the reference light can be omitted.
[0034]
Embodiment 3 FIG.
FIGS. 5 to 9 are diagrams for explaining the foreign substance detecting device on the surface of the transparent body according to the third embodiment. FIG. 5 is an optical path configuration diagram showing a main part, and FIG. 6 is a diagram schematically showing an example of a captured image. 7 is an explanatory diagram showing an example of image processing, FIG. 8 is a flowchart showing the outline of the reference image processing step, and FIG. 9 is a flowchart schematically showing a raindrop amount calculating step. In the figure, reference numeral 97 denotes a concave mirror as a condensing means disposed near the inside of the boundary line 73 of the visual field of the image pickup means 7, which captures the reference light image reflected by the outer surface 1 a of the windshield 1 An image is formed at one end (the lower end in the figure) of the imaging region of the element 71.
[0035]
The mounting angle of the concave mirror 97 is wide by setting the optical axis 97a of the concave mirror 97 at an angle of θ / 2 with respect to the windshield 1 when the angle formed by the windshield 1 and the image sensor 71 is θ. It is possible to obtain a reference image that is in focus within the range.
[0036]
FIG. 6 shows an example of a captured image, 74 is an image captured by the image sensor 71, 74 a is the windshield 1 imaged horizontally at one end (upper end in the figure) of the imaging region by the concave mirror 97. Reference light image 74b of the outer surface portion 1a is a distant view image of a road or the like in front of the windshield 1. The distant view image 74b is used for other image processing such as detection of a white line on the road. For this purpose, the lens 72 is set to a focal length suitable for the distant view image 74b. Although the processing function for 74b is provided, the configuration thereof is an ancillary part not directly related to the present invention, and thus the description thereof is omitted.
[0037]
Reference numeral 96a denotes a visible light filter that cuts off light having a wavelength in the infrared region provided in front of the visible light image light receiving portion 71a on the image pickup device 71, and allows visible light to pass therethrough. This is a reference light filter that cuts visible light and passes infrared light provided in front of the portion 71b.
[0038]
Next, with respect to the operation of the third embodiment configured as described above, an example will be described in which raindrops are detected from the reference light image and, for example, a wiper not shown is controlled.
[0039]
Reference numeral 13 shown in FIG. 7A denotes a pixel row at one end of the imaging device that receives the reference light image 74a. In this example, for easy understanding, horizontal direction × vertical direction = 320 (H) × 4. (V) It consists of pixels, and shows the state in which pixels up to the first, second, third,..., N,. 13n is a pixel column extracted from the nth column.
[0040]
Graphs b1 to b3 in FIG. 7B schematically show measurement examples in which the horizontal axis is a common time axis t, and the graph b1 represents each pixel in the nth column (step S1 in FIG. 8). A graph and graph showing a temporal change 14 of Ln when a total value Ln of values corresponding to the amount of electricity corresponding to the brightness obtained for a total of four pixels is obtained and the vertical axis is the total value Ln. b2 is a diagram showing the time change 15 of Ln ′ when the absolute value Ln ′ of the time change amount of Ln is obtained in step S2 and the vertical axis is the absolute value Ln ′, and the graph b3 is a step b3. It is a figure which shows the time change 16 of An when the integral value An (raindrop amount) of the said absolute value Ln 'is calculated | required in S3, and the vertical axis | shaft is set to this integral value An.
[0041]
Note that the absolute value Ln ′ of the amount of change of Ln is calculated at a constant time here, and thus takes a discrete value, that is, the amount of change at time t is expressed as Ln ′ (t). Then, Ln ′ (t) is obtained by subtracting the total pixel value Ln (t−1) obtained in the previous calculation from the total pixel value Ln (t) obtained in the current calculation.
[0042]
The integrated value (raindrop amount) An of Ln ′ is reset to a wiper (not shown) wiping period Tw at times t1 to t2. As described above, the raindrop amount An in the n-th column is obtained. FIG. 9 is a flowchart showing an outline of a sequence in the case of controlling the wiper from the obtained raindrop amount.
[0043]
In FIG. 9, raindrop amounts A1 to A320 in all pixel columns (1st to 320th columns) are obtained in step S11, and an average A of A1 to A320 is obtained in step S12. _ave In step S13, A _ave To a predetermined threshold A _th Compared with A _ave > A _th If true, it is instructed to move the wiper quickly in step S14, and if false, that is, A _ave ≦ A _th In step S15, an instruction is issued to move the wiper slowly. Where A _th Is a threshold value set so that the driver of the car can easily see the front through the windshield 1, and is a value experimentally determined in advance.
[0044]
As described above, according to the third embodiment, a temporal change is monitored for each pixel of the reference light image in a wide range of the outer surface portion 1a of the windshield 1 imaged on one end portion of the image sensor 71. Thus, it is possible to monitor the distant view image 74 in the forward direction with one image pickup device 71 (detailed explanation and illustration are omitted), and at the same time, accurately prevent foreign matter such as raindrops and dirt adhering to the outer surface portion 1a without being affected by disturbance. Can be detected well. As for the visible light image, the provision of the filter 96a makes it possible to obtain a clear visible light image that is hardly affected by the reference light.
[0045]
It should be noted that the same effect can be expected if the concave mirror 97 as the light condensing means is replaced with, for example, one using a convex lens and a reflecting mirror. Further, the light emitting means 91 and the filters 96a and 96b for emitting the reference light L are not necessarily essential. For example, in a bright daytime, foreign matter on the outer surface portion 1a can be detected even in a configuration in which these are omitted. It is effective for the purpose of providing the device at a particularly low cost. Incidentally, even when the light emitting means 91 and the like are omitted, if there is no foreign matter such as raindrops on the surface portion 1a, the portion corresponding to the reference light image 74a in FIG. It can be detected by the appearance of a spotted image corresponding to the size, density, etc., when a foreign substance adheres, while it is in a state of “not visible”.
[0046]
Embodiment 4 FIG.
In the third embodiment, the case where the concave mirror 97 is configured so that the focal length is adapted to a wide range of the windshield 1 is described. However, the focal length is adapted only to a thin band-like region on the outer surface of the windshield 1. You may comprise. FIG. 10 is a plan view for explaining a condensing range by the concave lens in the foreign object detection device on the surface of the light transmitting body according to the fourth embodiment. In the figure, a thin band-like region 1c indicated by diagonal lines indicates a daylighting portion on the outer surface portion 1a of the windshield 1 where the concave mirror 97 is in focus. Since other configurations are the same as those of the third embodiment, description thereof is omitted.
[0047]
In the fourth embodiment configured as described above, although the detection accuracy is slightly lowered, the optical system can be configured simply, so that an effect that the apparatus can be provided at a lower cost is obtained.
[0048]
Embodiment 5 FIG.
11 and 12 show the main part of the foreign object detection device on the surface of a light transmitting body according to Embodiment 5 of the present invention. FIG. 11 is a configuration diagram of an optical path, and FIG. 12 is an enlarged side view of a spectral prism used. . In the figure, 94 is a spectroscopic prism also serving as a condensing means, and a reflective surface 94a having a beam splitter that transmits visible light and reflects reference light is provided on the hypotenuse part having a triangular cross section. Further, a concave reflecting surface 94b for reflecting the reference light image reflected by the reflecting surface 94a while compressing and deforming it in one direction is provided at a lower portion thereof, and the whole is integrally formed.
[0049]
The image sensor 71 receives the visible light and the reference light separated by the spectroscopic prism 94 separately by the visible light image light receiving unit 71a and the reference light image light receiving unit 71b, respectively. Reference numeral 91a denotes a field of view of the image sensor 71 with respect to the reference light L. Since other reference numerals are the same as those in the first embodiment, description thereof is omitted.
[0050]
Next, the operation of the fourth embodiment configured as described above will be described. The scene in front of the windshield 1 passes straight through the spectroscopic prism 94 as visible light and forms an image on the visible light image light receiving portion 71a of the image sensor 71. On the other hand, the reference light composed of infrared rays emitted from the light emitting means 91 is reflected by the outer surface portion 1a of the windshield 1 and enters the lens 72 and the spectral prism 94, and the reflection surface 94a splits the spectral light in the downward direction in the figure. The light is reflected and reflected while being compressed and deformed in one direction on the condensing / reflecting surface 94 b, and forms an image on the reference light image light receiving portion 71 b on the image sensor 71 in a long and narrow band shape.
[0051]
In the signal processing unit 8, the temporal change is monitored for each pixel of the image thus obtained in the same manner as in the third embodiment, so that a wide range of the surface portion 1 a outside the windshield 1 can be obtained. It is possible to accurately detect attached raindrops and dirt.
[0052]
Embodiment 6 FIG.
FIG. 13 is an optical path configuration diagram showing the main part of the foreign object detection device on the surface of the transparent body according to the sixth embodiment. In the fifth embodiment, the visible light image light receiving unit 71a and the reference light image light receiving unit 71b are provided in one image pickup device 71. In the sixth embodiment, two image pickup devices are provided. In FIG. 13, reference numeral 95 denotes a spectroscopic prism, which includes a beam splitter 95a that transmits visible light and reflects reference light. 71A is a first image sensor that receives a distant view image such as a road ahead of the windshield 1 as visible light, and 71B is a reference light that is reflected by the beam splitter 95a of the spectroscopic prism 95 and deflected downward in the figure. Is a second image sensor that receives light. Other configurations are substantially the same as those of the fifth embodiment.
[0053]
In Embodiment 6 configured as described above, both the visible light image and the reference light image can be individually captured on the entire screen by the first image sensor 71A and the second image sensor 71B. Therefore, it is possible to detect raindrops with higher accuracy. Similarly to the apparatus of the first embodiment, the light emission timing of the light emission means is turned ON / OFF in synchronization with the image pickup means, thereby making it possible to detect foreign matters such as raindrops and dirt that are less susceptible to the influence of ambient light. . Note that the light emitting means 91 that emits the reference light is not necessarily provided.
[0054]
By the way, in the description of the above-described embodiment, as the function of the detecting means 8, only the detection of the foreign matter on the outer surface portion 1a has been described. However, for example, a cleaning liquid is sprayed on the windshield 1 according to the detection result, or a wiper is used. Needless to say, a desired function can be added as appropriate, such as adding a function such as an operation. Further, the light emission timing of the light emitting means 91, the foreign substance detection sequence, the flow diagram, the configuration of the optical means 9 and the like are merely examples, and are not limited to those in the embodiment. It goes without saying that various modifications, changes and substitutions can be made within the scope of the present invention.
[0055]
Furthermore, although the case where the foreign matter is raindrops or dust has been described, the present invention is not limited thereto, and for example, it can be similarly detected even if it is snow or splashes. Moreover, although the case where the transparent body is a windshield of an automobile has been described, the invention is not limited to an automobile. For example, a windshield of a moving body such as a railway vehicle, an aircraft, a ship, and various information surveillance cameras are surrounded and protected. Of course, it can be used for a windshield of a fixed object to be fixed, and other various uses.
[0056]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
[0057]
According to the first invention described in claim 1, by using a simple optical system and detection means, Outside The image of the outer surface portion of the translucent body is imaged on a part of the imaging area of the image sensor, and the foreign matter on the outer surface portion of the translucent body is formed by one imager. While performing detection with high accuracy, it can be used in other applications such as forward monitoring.
[0058]
According to the second aspect of the present invention, the optical means is provided with a reference light emitting means and a light collecting means, and the detecting means detects the foreign matter based on the amount of light. Thus, in addition to the effects of the first invention, the detection of the foreign matter on the surface of the translucent body can be performed with high accuracy by the detection means having a simple configuration.
[0059]
According to the third aspect of the present invention, the condensing means is a prism having a concave reflecting surface, so that the optical system can be attached while detecting the foreign matter on the outer surface of the transparent body with high accuracy. A simplified foreign object detection device can be provided.
[0060]
According to the fourth aspect of the present invention, since the optical means is constituted by a concave mirror or a convex lens, the optical means can be easily constituted and the apparatus can be made inexpensive.
[0061]
According to the fifth aspect of the present invention, the concave mirror or the convex lens is configured such that the imaging means is focused on the elongated strip-shaped region of the surface of the light transmitting body, thereby further simplifying the optical means. And it can be configured at low cost.
[0062]
According to the sixth aspect of the present invention, since the light emitting means for emitting the reference light is provided, in addition to the effect of the fourth aspect of the invention, the surface of the translucent body can be obtained even at night without external light. There is an effect that foreign matters such as raindrops and dirt can be detected with high accuracy.
[0063]
According to the seventh aspect of the present invention, the apparatus can be miniaturized, and the image obtained by the image pickup means can be used for other purposes in a complete form without missing a part. There is an effect that can be done.
[0064]
According to the eighth aspect of the present invention, since the individual optical filters are provided in the respective optical paths of the reference light and the visible light, the visible light is not easily affected by the disturbance light. There is an effect that an image can be obtained.
[0065]
According to the ninth aspect of the present invention, the light emitting means emits light in synchronization with the imaging timing of the imaging means, and the light emission time changes according to the imaging time. There is an effect that a foreign object detection device can be obtained in which the reference light can be well imaged and hardly affected by the background and disturbance light.
[0066]
According to the tenth aspect of the present invention, since the light emitting means is configured to repeat light emission and extinction in synchronization with the imaging period of the imaging means, the background and disturbance light can be removed. In addition, it has the effect of making it less susceptible to disturbance light.
[Brief description of the drawings]
FIG. 1 is an optical path configuration diagram showing a main configuration of a foreign object detection device on a surface of a light transmitting body according to Embodiment 1. FIG.
FIG. 2 is an enlarged side view showing the output prism of FIG. 1;
FIG. 3 is a diagram for explaining the timing of light emission and imaging of an issuing unit in the first embodiment.
FIG. 4 is an optical path configuration diagram showing a main configuration of a foreign object detection device on the surface of a light transmitting body according to a second embodiment.
FIG. 5 is an optical path configuration diagram showing a main configuration of a foreign object detection device on the surface of a light transmitting body according to a third embodiment.
FIG. 6 is a diagram schematically illustrating an example of a captured image according to the third embodiment.
7 is an explanatory diagram illustrating an example of image processing according to Embodiment 3. FIG.
FIG. 8 is a flowchart showing the outline of a reference image processing step according to the third embodiment.
FIG. 9 is a flowchart schematically showing a step of calculating a raindrop amount according to the third embodiment.
FIG. 10 is an optical path configuration diagram showing a main configuration of a foreign object detection device on the surface of a transparent body according to a fourth embodiment.
FIG. 11 is an optical path configuration diagram showing a main configuration of a foreign object detection device on the surface of a light transmitting body according to a fifth embodiment.
12 is an enlarged side view showing the spectral prism of FIG. 11. FIG.
FIG. 13 is an optical path configuration diagram showing a main configuration of a foreign object detection device on the surface of a transparent body according to a sixth embodiment.
FIG. 14 is a cross-sectional view showing an example of a conventional optical raindrop detection apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Light-transmitting body (windshield), 1a Outer surface part, 7 Imaging means, 71 Imaging element, 73 Boundary line of visual field of imaging means, 8 Detection means, 9 Optical means, 91 Light emitting means, 92 Input prism, 93 Collection Light means (output prism), 93a input surface, 93b, 93c (concave) reflection surface, 93d output surface, 94 light collection means (spectral prism), 94b light collection reflection surface, 96a, 96b optical filter, 97 collection Light means (concave mirror).

Claims

An image sensor and a condensing element for condensing the outside scene are arranged so as to image the outside from the inside of the translucent body, and the outside scene is imaged on the imaging region of the image sensor. An image pickup means and a focus adjustment that is arranged inside the light transmitting body and performs daylighting and forms an image of a scene of the outer surface portion of the light transmitting body on a part of an image pickup area of the image pickup element through the light collecting element An optical means having a functional part, and a detecting means for detecting a foreign matter on the outer surface part of the light transmitting body from information corresponding to the outer surface part of the light transmitting body obtained by the imaging element. An apparatus for detecting foreign matter on the surface of a transparent body

The optical means is disposed on the inner side of the translucent body, the light emitting means for emitting reference light toward the outer surface of the translucent body, and at least part of the field of view of the imaging means. Condensing means for forming an image of the reference light reflected by the outer surface portion on a part of the imaging region of the imaging device, and the detecting means detects foreign matter based on the amount of the reference light. Item 1. A foreign matter detecting device for a surface of a transparent body according to Item 1.

The condensing means is fixed to the inner surface portion of the translucent body, and has an input surface for the reference light reflected by the outer surface of the translucent body, and at least one concave shape for condensing the reference light incident from the input surface. 3. The foreign object detection device for a translucent surface according to claim 2, comprising a prism having a reflecting surface and an output surface for emitting the reference light reflected by the reflecting surface.

The optical means is provided in a part of the field of view of the imaging means, and uses a concave mirror or a convex lens that forms an image of the scene of the outer surface portion of the light transmitting body on a part of the imaging area of the imaging device. The foreign object detection device on the surface of the light transmitting body according to claim 1.

5. The foreign object detection device for a translucent surface according to claim 4, wherein the concave mirror or the convex lens is formed so as to be focused on an elongated band-like region of the translucent surface portion with respect to the imaging means.

6. A foreign matter detecting device for a surface of a light transmitting body according to claim 4, further comprising light emitting means for emitting reference light toward an outer surface portion of the light transmitting body.

The optical means is disposed inside the translucent body and emits reference light toward the outer surface of the translucent body, and the optical means is disposed in front of the imaging element and is incident from the outside of the translucent body. The reflection surface having a beam splitter for separating the external light and the reference light reflected inward by the outer surface portion of the transparent body and the reference light image separated by the reflection surface having the beam splitter are deformed into a band shape 2. The foreign object detection device for a translucent surface according to claim 1, further comprising a spectroscopic prism having a condensing reflection surface that forms an image on a part of an imaging region of the imaging device.

The foreign object detection on the surface of the light transmitting body according to claim 6 or 7, further comprising an individual optical filter in each optical path of the reference light and the visible light reflected by the outer surface of the light transmitting body. apparatus.

The light emitting means emits light in synchronization with the imaging timing of the imaging means, and the light emission time is changed according to the imaging time. An apparatus for detecting foreign matter on a surface of a translucent material according to claim 1.

10. The foreign object detection device for a translucent surface according to claim 9, wherein the light emitting means repeats light emission and extinction in synchronization with an imaging cycle of the imaging means.