JP3807331B2 - カメラの汚れ検出装置およびカメラの汚れ検出方法 - Google Patents
カメラの汚れ検出装置およびカメラの汚れ検出方法 Download PDFInfo
- Publication number
- JP3807331B2 JP3807331B2 JP2002060114A JP2002060114A JP3807331B2 JP 3807331 B2 JP3807331 B2 JP 3807331B2 JP 2002060114 A JP2002060114 A JP 2002060114A JP 2002060114 A JP2002060114 A JP 2002060114A JP 3807331 B2 JP3807331 B2 JP 3807331B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- dirt
- difference
- image
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、移動体に搭載されるカメラのレンズの汚れを検出する装置および汚れを検出する方法に関する。
【０００２】
【従来の技術】
車両にカメラを搭載することにより、前方を走行している車両を検出したり、先行車両までの距離を検出する装置が知られている（例えば、特開２００１−１９９２６０号公報）。この装置に用いられるカメラは、主に車両走行中に用いられるため、レンズの前面に汚れが付着しやすい。レンズの汚れがひどくなると、先行車両等の被写体を正確に検出することができなくなるので、車載カメラに付着する汚れを検出して、運転者に清掃を促したり、自動的に洗浄したりする手段を備える必要がある。
【０００３】
上述した特開平２００１−１９９２６０号公報では、同一の撮像範囲を有する２台のカメラを備え、それぞれのカメラで撮像される画像を比較することによって、レンズに付着した汚れを検出する方法が開示されている。すなわち、２台のカメラにより撮像された画像の輝度分布を比較し、両者の一致度が低く、かつ、このような状態が連続する場合には、レンズの表面に汚れが付着しているか、レンズに傷があると判断する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、同一の撮像範囲の輝度分布を比較するために複数台のカメラの撮像範囲が重なるように設置しなければならず、カメラの設置の自由度を確保することができなかった。
【０００５】
本発明の目的は、カメラの設置の自由度を確保することができるカメラの汚れ検出装置およびカメラの汚れ検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
一実施の形態を示す図１，図２を参照して本発明を説明する。
（１）請求項１の発明は、移動体１０に設置され、所定範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメラの汚れ検出装置において、移動体１０が移動している時に、異なるタイミングにてカメラ１ａ，１ｂにて撮像された複数の映像の差分を抽出する差分抽出手段２と、差分抽出手段２により抽出された映像の差分を積算する差分積算手段２と、差分積算手段２により積算された映像の差分に基づいて、カメラ１ａ，１ｂの汚れを検出する汚れ検出手段２とを備えることにより、上記目的を達成する。
（２）請求項２の発明は、請求項１のカメラの汚れ検出装置において、差分抽出手段２は、複数の映像の濃度値の差分を抽出し、汚れ検出手段２は、差分積算手段２により積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（３）請求項３の発明は、請求項２のカメラの汚れ検出装置において、汚れ検出手段２は、差分積算手段２により積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ１ａ，１ｂに汚れが存在すると判断してカメラの汚れを検出することを特徴とする。
（４）請求項４の発明は、請求項１〜３のいずれかのカメラの汚れ検出装置において、移動体１０の移動速度を検出する速度検出手段６をさらに備え、差分積算手段２は、移動体１０の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
（５）請求項５の発明は、請求項１〜３のいずれかのカメラの汚れ検出装置において、移動体１０の移動速度を検出する速度検出手段６をさらに備え、差分抽出手段２は、移動体１０の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とする。
（６）請求項６の発明は、移動体１０に設置され、所定範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメラの汚れ検出方法において、カメラ１ａ，１ｂにより異なるタイミングにて複数の映像を撮像し、複数の映像の差分を抽出し、抽出した複数の映像の差分を積算することにより、カメラの汚れを検出することにより、上記目的を達成する。
（７）請求項７の発明は、請求項６のカメラの汚れ検出方法において、複数の映像の差分の抽出は、複数の映像の濃度値の差分を抽出し、積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（８）請求項８の発明は、請求項７のカメラの汚れ検出方法において、積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ１ａ，１ｂに汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（９）請求項９の発明は、請求項６〜８のいずれかのカメラの汚れ検出方法において、移動体１０の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
（１０）請求項１０の発明は、請求項６〜９のいずれかのカメラの汚れ検出方法において、移動体１０の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とする。
【０００７】
なお、上記課題を解決するための手段の項では、本発明をわかりやすく説明するために実施の形態の図１，図２と対応づけたが、これにより本発明が実施の形態に限定されるものではない。
【０００８】
【発明の効果】
本発明によれば、次のような効果を奏する。
（１）請求項１〜１０の発明によれば、１台のカメラを用いてカメラのレンズに付着する汚れを検出することができるので、カメラの設置の自由度を確保することができる。
（２）請求項３および８の発明によれば、濃度がほとんど変化しない微小領域を汚れ領域であると誤検知することを防ぐことができる。
（３）請求項４，５，９，１０の発明によれば、移動体の速度に関わらず、正確にカメラのレンズの汚れを検出することができる。
【０００９】
【発明の実施の形態】
本実施の形態におけるカメラの汚れ検出装置に用いられる２台のカメラ１ａ，１ｂは、図１に示すように、それぞれ車両１０のフロントサイド左右に設置される。カメラ１ａは車両進行方向の右側を、カメラ１ｂは車両進行方向の左側をそれぞれ撮像するものである。本実施の形態では、このカメラ１ａ，１ｂを用いて、図１に示すように、交差点で交差する道路の左右奥行き方向を撮影し、撮影した画像に対して画像処理を施すことによって自車両１０に接近する車両の存在を検出する車両周辺監視装置を例に挙げて説明する。この車両周辺監視装置により、接近車両を検出したときは、警告表示やブザー等によって接近車両をドライバに報知する。
【００１０】
図２は、本発明によるカメラの汚れ検出装置の一実施の形態の構成を示す図である。一実施の形態のカメラの汚れ検出装置は、２台のカメラ１ａ，１ｂと、画像処理コントローラ２と、オーディオビジュアルコントロール装置３（以下、単にコントロール装置３と呼ぶ）と、ディスプレイ４と、ナビゲーション装置５と、車速センサ６と、ブザー７と、側方検知スイッチ８とを備える。
【００１１】
車両１０のフロントサイド左右に設置されたＣＣＤカメラ１ａ，１ｂにより撮像された画像は、映像信号Ｓａ，Ｓｂとして画像処理コントローラ２に送られる。画像処理コントローラ２は、映像信号Ｓａ，Ｓｂに対してフィルタリング処理や各種演算処理等を実行する。また、画像処理コントローラ２は、ＣＣＤカメラ１ａまたは１ｂのいずれか一方により撮像される画像に基づいた映像信号Ｓ１、または双方のカメラ１ａ，１ｂにより撮像される画像を合成して得られる映像信号Ｓ１をコントロール装置３に出力する。さらに画像処理コントローラ２は、映像信号Ｓａ，Ｓｂに画像処理を施した結果に基づいて、必要な情報を報知信号Ｓｄとしてコントロール装置３に出力する。
【００１２】
ナビゲーション装置５は、ＧＰＳ等を利用して自車両の位置を検出する機能や、自車両の現在地から目的地までのルートを検索する機能を有する。コントロール装置３は、ナビゲーション装置５により検出される自車位置や、車両周辺地図、誘導経路などのいわゆるナビゲーション情報やオーディオビジュアル機能を制御するための表示や、ＣＣＤカメラ１ａ，１ｂにより撮像される車両周囲の画像表示などの様々な情報表示を制御する機能を備えている。コントロール装置３は、画像処理コントローラ２から出力される画像の切替や、画像処理の実行を指令するための制御信号Ｓｃを画像処理コントローラ２に出力する。また、ディスプレイ４に表示させるための映像信号Ｓ２をディスプレイ４に出力する。
【００１３】
ディスプレイ４は、車室内にてドライバが視認できる位置に備えられ、コントロール装置３から入力される映像信号Ｓ２に基づいて、ナビゲーション情報やＣＣＤカメラ１ａ，１ｂで撮像される映像を表示する。車速センサ６は、自車両の走行速度を計測し、計測した速度に比例したパルスをコントロール装置３に出力する。ブザー７は、後述する方法により自車両に接近してくる車両を検知した場合等、ドライバに警告を促す必要がある場合に、アラーム音を発生する。
【００１４】
側方検知スイッチ８は、ＣＣＤカメラ１ａ，１ｂによる撮像を開始したり、撮像された画像情報に基づいて側方から接近する車両を検知するためのプログラムを起動するためのスイッチであり、ドライバ等によって操作される。側方検知スイッチ８がオンの時に後述する条件が満足されると、画像処理コントローラ２により側方検知制御が行われる。また、側方検知スイッチ８がオフの時には、後述する条件が満たされていても、側方検知制御は行われない。
【００１５】
図３は、画像処理コントローラ２の内部構成を示す図である。画像処理コントローラ２は、デコーダ２ａと、画像処理専用ＩＣと、エンコーダ２ｃと、画像メモリ２ｄと、ＲＯＭ２ｅと、画像処理制御ＣＰＵ２ｆとを備える。ＣＣＤカメラ１ａ，１ｂから出力された映像信号Ｓａ，Ｓｂは、デコーダ２ａに入力される。デコーダ２ａは、入力された映像信号Ｓａ，Ｓｂをそれぞれデジタルデータに変換して、画像処理専用ＩＣ２ｂに出力する。画像処理専用ＩＣ２ｂは、Ａ／Ｄ変換処理が行われた画像データに対して各種の演算処理を実行する。演算処理が行われた画像データは、エンコーダ２ｃに出力される。エンコーダ２ｃは、演算処理が行われた画像データにＤ／Ａ変換処理を施す。Ｄ／Ａ変換処理が行われた後の映像信号Ｓ１は、コントロール装置３に出力される。
【００１６】
上述した画像処理専用ＩＣ２ｂと、画像メモリ２ｄ、ＲＯＭ２ｅ、画像処理制御ＣＰＵ２ｆとは、それぞれ共通のバスにより接続されている。画像メモリ２ｄには、入力された画像データや処理実行中のデータを一次的に保存することができる。なお、画像メモリ２ｄには、処理に必要な複数の画像を記憶するための所定容量が用意される。ＲＯＭ２ｅには、ＣＣＤカメラ１ａ，１ｂにより撮像された画像に基づいて自車両に接近してくる車両を検出するためのプログラムや、ＣＣＤカメラ１ａ，１ｂのレンズの汚れを検出するためのプログラムを含む画像処理プログラムが格納されている。画像処理制御ＣＰＵ２ｆは、コントロール装置３から送信されてくる制御信号Ｓｃに基づいて、画像処理の実行を行うタイミングや各種信号の入出力を制御する。
【００１７】
図４（ａ），（ｂ）は、図１に示すようにカメラ１ａ，１ｂを搭載した車両１０がＴ地路にさしかかった時に、カメラ１ａにて進行方向右側を撮影した画像を示す図である。図４（ａ），（ｂ）には、自車両に接近してくる車両２０や建物３０等がそれぞれ示されている。図４（ａ）はＣＣＤカメラ１ａが正常な状態、すなわち、レンズに汚れが付着していない状態で撮影された画像であり、図４（ｂ）はＣＣＤカメラ１ａのレンズに汚れが付着している状態で撮影された画像である。この汚れは、車両の走行中に泥などが付着することにより生じるものである。
【００１８】
ここでレンズに付着している汚れ領域を図４（ｂ）に示すように、Ａ，Ｂとする。以下では、ＣＣＤカメラ１ａまたは１ｂにて撮影された画像に基づいて、レンズに付着している汚れ領域Ａ，Ｂを抽出することにより、カメラ１ａ，１ｂの汚れを検出する方法について説明する。
【００１９】
図５は、例えば、自車両１０が見通しの悪いＴ地路や交差点にさしかかった時に、カメラ１ａ，１ｂを用いて、側方から接近してくる車両を検出するための制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ２内に設けられている画像処理専用ＩＣ２ｂおよびコントロール装置３により行われる。ステップＳ１０から始まる制御は、図示しないイグニッションスイッチがオンとなることにより始まる。
【００２０】
ステップＳ１０では、後述するカメラの汚れを検出するプログラムをスタートさせるための汚れ検知タイマをセットして、ステップＳ２０に進む。ステップＳ２０では、ナビゲーション装置５からコントロール装置３に入力されるナビゲーション情報のうち、コントロール装置３で選択される地図情報や自車位置情報等の情報をディスプレイ４に表示する。すなわち、ドライバ等が図示しない操作ボタンを操作することにより、ドライバ等が表示を要求する情報がコントロール装置３で選択されて、ディスプレイ４に表示される。コントロール装置３で選択された情報がディスプレイ４に表示されると、ステップＳ３０に進む。
【００２１】
ステップＳ３０では、コントロール装置３が、車速センサ６から入力されるパルスに基づいて、自車両の車速を算出する。なお、コントロール装置３で算出された車速データは、制御信号Ｓｃとして画像処理コントローラ２に随時出力される。車速が検出されるとステップＳ４０に進む。ステップＳ４０では、ステップＳ３０で検出した車速が所定値以上であるか否かを判定する。この所定値は、ステップＳ２０でディスプレイ４に表示したナビゲーション画面を継続して表示するための条件値であり、本実施の形態では１０ｋｍ／ｈとする。すなわち、ステップＳ４０で車速が所定値以上であると判定するとステップＳ２０に戻り、ナビゲーション画面を継続してディスプレイ４に表示する。一方、車速が所定値未満であると判定するとステップＳ５０に進む。
【００２２】
ステップＳ５０では、側方検知スイッチ８からコントロール装置３に入力される信号に基づいて、側方検知スイッチ８がオンであるか否かを判定する。オンであると判定するとステップＳ６０に進み、オンではないと判定するとステップＳ２０に戻る。ステップＳ５０で判定された結果、すなわち、側方検知スイッチ８のオン／オフの状態は、制御信号Ｓｃとして画像処理コントローラ２に送られる。
【００２３】
ステップＳ６０では、後述する制御プログラムによる行われるカメラの汚れ判定処理の結果に基づいて、カメラ１ａ，１ｂのレンズに汚れが付着しているか否かを判定する。汚れが付着していると判定するとステップＳ１１０に進み、汚れが付着していないと判定するとステップＳ７０に進む。ステップＳ７０では、図４（ａ）に示すように、カメラ１ａにより撮像された画像をディスプレイ４に表示する。すなわち、画像処理コントローラ２は、カメラ１ａから入力される映像信号Ｓａに基づいた映像信号Ｓ１をコントロール装置Ｓ１に出力する。コントロール装置３が、映像信号Ｓ１に基づいた映像信号Ｓ２をディスプレイ４に出力することにより、撮像画像をディスプレイ４に表示する。なお、ディスプレイ４に表示する画像は、カメラ１ｂにより撮像されたものでもよい。
【００２４】
カメラ１ａで撮像された画像をディスプレイ４に表示するとステップＳ８０に進む。ステップＳ８０では、ディスプレイ４に表示された画像の中から、自車両に接近する車両が存在するか否かを判定するための側方接近車両検知処理を実行する。この処理は、画像処理制御ＣＰＵ２ｆが行う信号の入出力制御に基づいて画像処理コントローラ２に入力された画像データに対して、画像処理専用ＩＣ２ｂが各種の処理を施すことにより行われる。自車両に接近してくる移動体の検出アルゴリズムについては、背景差分法やオプティカルフロー法などの公知の方法を用いるため、詳しい説明は省略する。
【００２５】
ステップＳ９０では、ステップＳ８０で行った接近車両検知処理の結果に基づいて、自車両に接近してくる車両があるか否かを判定する。自車両に接近してくる車両が存在すると判定するとステップＳ１００に進み、存在しないと判定するとステップＳ５０に戻る。ステップＳ１００では、ディスプレイ４に、接近車両が存在することを知らせる表示を行うとともに、ブザー７から警告音を出力させる。
【００２６】
図６は、接近車両２０が存在することを知らせるためのアラーム表示を示す図である。図６に示すように、カメラ１ａで撮像された画像に対して、接近車両２０を示すための枠４０が重ねられている。この処理は、撮像された画像のうち、ステップＳ８０の接近車両検知処理にて検知された接近車両の部分に対して、画像処理コントローラ２の画像処理専用ＩＣが画像処理を施すことにより行われる。画像処理後の画像は、映像信号Ｓ１としてコントロール装置３に出力され、ディスプレイ４に表示される。また、接近車両が検知された場合には、画像処理コントローラ２から報知信号Ｓｄがコントロール装置３に入力されるので、この報知信号Ｓｄに基づいてブザー７から警告音が発せられる。接近車両２０が存在する旨のアラーム表示をディスプレイ４に行うと、ステップＳ５０に戻る。
【００２７】
ステップＳ６０でカメラ１ａのレンズが汚れていると判定されてステップＳ１１０に進むと、ディスプレイ４にカメラ１ａのレンズが汚れている旨のアラーム表示が行われる。すなわち、画像処理コントローラ２の画像処理専用ＩＣ２ｂが後述する方法によりカメラ１ａのレンズに汚れが付着していると判定すると、汚れが付着している旨の報知信号Ｓｄがコントロール装置３に出力される。コントロール装置３は、この報知信号Ｓｄに基づいて、図７に示すようなアラーム表示をディスプレイ４に表示する。カメラが汚れている旨のアラーム表示を行うとステップＳ５０に戻り、再度側方検知スイッチ８がオンになっているか否かの判定が行われる。
【００２８】
図８は、カメラのレンズの汚れの有無を判定する制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ２内に設けられている画像処理専用ＩＣ２ｂにより行われる。上述したように、図５に示すフローチャートによる制御が開始されると、汚れ検知タイマがセットされる（ステップＳ１０）。このタイマは任意に設定することができるが、本実施の形態では６０秒とする。従って、図５に示すフローチャートによる制御が行われている時でも、６０秒ごとにステップＳ２００以後の処理（以下では、割り込み処理と呼ぶ）が行われるものとする。
【００２９】
ステップＳ２００では、画像メモリ２ｄの所定領域に設定されている、後述する画像積算メモリをクリアしてステップＳ２１０に進む。ステップＳ２１０では、車速センサ６から入力されるパルスに基づいて、自車両の車速が所定値以上であるか否かを判定する。後述するステップＳ２５０では、異なるタイミングで撮像された２枚の画像の差分画像を求めるが、この２枚の画像の差異が明確に現れるように、車速の判定しきい値である所定値を定めておく。本実施の形態では、この所定値を３０ｋｍ／ｈとする。車速が所定値以上であると判定するとステップＳ２２０に進む。一方、車速が所定値未満であると判定すると、カメラの汚れを正確に検出することができないので、割り込み処理を終了する。
【００３０】
ステップＳ２２０では、カメラ１ａにより撮像された画像ＦＴｎを画像処理コントローラ２に入力してステップＳ２３０に進む。ステップＳ２３０では、画像の入力周期を管理するタイマをセットして、ステップＳ２４０に進む。ステップＳ２４０では、ステップＳ２２０で入力された画像ＦＴｎを画像メモリ２ｄに記憶して、ステップＳ２５０に進む。
【００３１】
ステップＳ２５０では、ステップＳ２４０で記憶された画像ＦＴｎと、前回の入力タイミングにて入力・記憶された画像ＦＴｎ−１との差分処理を行うことにより、差分画像ＦＳｎを求める。差分処理では、画像ＦＴｎの全領域の濃度と画像ＦＴｎ−１の全領域の濃度との差を求める。差分画像ＦＳｎを求めるとステップＳ２６０に進む。ステップＳ２６０では、ステップＳ２５０で求めた差分画像ＦＳｎを、画像メモリ２ｄの所定領域に設定されている画像積算メモリに加算して、積算画像Ｆｓｕｍを求め、記憶する。積算画像Ｆｓｕｍを求めるとステップＳ２７０に進む。
【００３２】
ステップＳ２７０では、ステップＳ２６０で差分画像ＦＳｎを画像積算メモリに加算する回数が所定回数行われたか否かを判定する。本実施の形態では、この所定回数を４回とする。すなわち、画像積算メモリに差分画像ＦＳｎを４回加算して最終的な積算画像Ｆｓｕｍを求めるまでは、上述したステップＳ２１０〜ステップＳ２６０の処理が繰り返し行われる。ステップＳ２６０で行う加算処理が所定回数行われたと判定するとステップＳ２９０に進み、所定回数行われていないと判定するとステップＳ２８０に進む。
【００３３】
ステップＳ２８０では、次のタイミングにて撮像画像を入力するためにステップＳ２３０でセットされたタイマが所定時間を経過したか否かを判定する。上述したステップＳ２５０では、２枚の画像の差分画像ＦＳｎを求めているが、後述するように２枚の画像の差異は明確であることが好ましい。従って、本実施の形態では、このタイマ時間を１秒とする。ステップＳ２３０でセットしたタイマが所定時間である１秒を経過していないと判定すると、所定時間を経過するまでステップＳ２８０で待機する。一方、タイマが所定時間を経過したと判定するとステップＳ２１０に戻り、次の撮像画像を入力するための処理が行われる。
【００３４】
上述した処理を図９（ａ）〜（ｅ）および図１０（ａ）〜（ｅ）に示す画像を用いて説明する。これらの画像は、２５６階調（８ビット）の白黒画像とし、白が濃度０、黒が濃度２５５で表現されるものとする。画像積算メモリに記憶されている画像をクリア（ステップＳ２００）した後に車速が所定値以上であると判定すると（ステップＳ２１０）、カメラ１ａにて撮像した画像を取得して画像メモリ２ｄに記憶する（ステップＳ２４０）。図９（ａ）は、画像積算メモリのクリア後に、最初に画像メモリ２ｄに記憶された画像ＦＴ１を示す図であり、建物が示されている。
【００３５】
次に、図９（ｂ）に示すように、所定時間経過後（ステップＳ２８０）の画像ＦＴ２を取得して画像メモリ２ｄに記憶する。本実施の形態では、自車両の車速が３０ｋｍ／ｈ以上であり、また、画像ＦＴ１を取得してから１秒経過後に、次の画像ＦＴ２を取得しているので、自車両の移動量に応じて、画像ＦＴ１と画像ＦＴ２とは異なるものとなる。図９（ａ），（ｂ）では、両画像ＦＴ１，ＦＴ２には同じ建物が移っているが、視点位置は異なっている。画像処理専用ＩＣ２ｂは、画像ＦＴ２と画像ＦＴ１との差分処理を行い（ステップＳ２５０）、求めた差分画像ＦＳ２を画像積算メモリに記憶する（ステップＳ２６０）。
【００３６】
図１０（ａ）は、図９（ａ）に示す画像ＦＴ１と図９（ｂ）に示す画像ＦＴ２との差分処理により求めた差分画像ＦＳ２を示している。画像フレーム間で差分処理を行うと、同一の濃度情報を有する領域は濃度差がゼロであるので、差分画像ＦＳ２の中では、この領域は白色（濃度０）で表現される。すなわち、カメラ１ａのレンズに存在する汚れ領域ＡおよびＢは、画像ＦＴ１およびＦＴ２において、同一の位置に同一の形状・大きさにて存在するので、差分画像ＦＳ２において、濃度ゼロの領域となる。
【００３７】
また、汚れ領域Ａ，Ｂ以外の領域でも、同一の建物の壁や窓、同一の路面などの濃度が同一となる領域や濃度が非常に近い領域が存在する。差分画像ＦＳ２においてこれらの領域は、濃度がゼロ、あるいは、濃度値が非常に小さい領域Ｃ，Ｄ，Ｅ，Ｆとして表される。領域Ａ〜Ｆ以外の領域においても、両画像ＦＴ１とＦＴ２の濃度差による濃淡画像が得られる。図１０（ａ）では、図の明確化のために、領域Ａ〜Ｆ以外の領域は同一色にて表現しているが、実際には濃淡が異なるランダムなパターンとなる。
【００３８】
さらに次のタイミングにて、図９（ｃ）に示される画像ＦＴ３を取得して画像メモリ２ｄに記憶する。差分画像ＦＳ２を求めた時と同様の方法により、画像ＦＴ３と画像ＦＴ２を用いて差分画像ＦＳ３を求め、画像積算メモリに加算・記憶する。図１０（ｂ）は、差分画像ＦＳ３を示す図である。差分画像ＦＳ３においても、領域ＡおよびＢの濃度はゼロである。図９（ａ）には、領域ＡおよびＢ以外に、濃度がゼロ、あるいは、濃度値が非常に小さい領域Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌが示されている。
【００３９】
画像積算メモリには、前回の処理で求められた差分画像ＦＳ２が記憶されているので、この差分画像ＦＳ２に新たに求めた差分画像ＦＳ３を加算して積算画像Ｆｓｕｍを求める（ステップＳ２６０）。なお、差分画像ＦＳ２を求めた時には、画像積算メモリは予めクリアされているので（ステップＳ２００）、差分画像ＦＳ２が積算画像Ｆｓｕｍとして画像積算メモリに記憶される。
【００４０】
上述した方法により、順次画像ＦＴ４（図９（ｃ））、画像ＦＴ５（図９（ｄ））を取得し、差分画像ＦＳ４（図１０（ｃ））、差分画像ＦＳ５（図１０（ｄ））を求める。また、求めた差分画像ＦＳ４，ＦＳ５を、画像積算メモリに記憶されている積算画像Ｆｓｕｍに加算することにより、新たな積算画像Ｆｓｕｍを順次求める。本実施の形態では、画像積算メモリに差分画像ＦＳｎを４回加算することにより（ステップＳ２７０）、最終的な積算画像Ｆｓｕｍを求めている。最終的に得られる積算画像Ｆｓｕｍを図１０（ｅ）に示す。
【００４１】
上述したように、差分画像ＦＳ２〜ＦＳ５において、汚れ領域ＡおよびＢの濃度はゼロである。従って、これらの差分画像ＦＳ２〜ＦＳ５を加算して得られる最終的な積算画像Ｆｓｕｍにおける汚れ領域ＡおよびＢの濃度もゼロとなる。また、濃度ゼロ以外の領域においては、画像ＦＳ２〜ＦＳ５における濃度情報が順次積算されていくので、最終的な積算画像Ｆｓｕｍにおける濃度値は高いものとなる。ただし、図１０（ｅ）に示すように、領域ＡおよびＢ以外にも、濃度値が小さい領域が存在する。図１０（ｅ）では、領域Ａ，Ｂや濃度値の小さい領域以外の領域を同一色にて表現しているが、実際には濃淡が異なるランダムなパターンであり、濃度情報は一様ではない。
【００４２】
再び図８に示すフローチャートに戻って説明を続ける。ステップＳ２９０では、画像積算メモリに記憶されている積算画像Ｆｓｕｍから、所定濃度値以下の領域を抽出する。本実施の形態では、この所定濃度値を３０とする。図１０（ｅ）に示す積算画像Ｆｓｕｍにおいて、領域ＡおよびＢ等の白色で示される領域の濃度値が３０以下であれば、これらの領域が全て抽出される。所定濃度値以下の領域を抽出するとステップＳ３００に進む。
【００４３】
ステップＳ３００では、ステップＳ２９０で抽出した領域の中に、所定面積以上の領域があるか否かを判定する。この所定面積は、接近車両等を検知するための画像処理に影響を与える面積を考慮して予め定めておく。図１０（ｅ）に示される積算画像Ｆｓｕｍでは、比較的面積の大きい領域ＡおよびＢが抽出されるものとする。ステップＳ２９０で抽出した領域の中に、所定面積以上の領域があると判定するとステップＳ３１０に進み、所定面積以上の領域が存在しないと判定すると、この割り込み処理を終了する。ステップＳ３１０では、カメラ１ａのレンズが汚れていることを示す汚れ付着判定信号を報知信号Ｓｄに載せて、コントロール装置３に出力し、本割り込み処理を終了する。
【００４４】
図１１は、画像の濃度情報の変化を説明するための図である。図１１（ａ）〜（ｄ）は、それぞれ差分画像の濃度情報を示す図であり、図１１（ｅ）は、図１１（ａ）〜図１１（ｄ）に示す差分画像を積算して得られる積算画像Ｆｓｕｍの濃度情報を示す図である。図中の数字は、濃度値を示している。例えば、図１１（ａ）に示す差分画像において、領域ａ０の濃度値は１０、領域ａ１の濃度値は０、領域ａ２の濃度値は５である。
【００４５】
図１１（ｅ）に示す積算画像Ｆｓｕｍの領域ｅ１は、図１１（ａ）〜（ｄ）にそれぞれ示される、同一の位置、形状および大きさを有する領域ａ１，ｂ１，ｃ１，ｄ１の濃度値を加算した領域であり、濃度値はゼロである。領域ｅ１を除く領域ｅ０，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６の濃度値は、図１１（ｅ）に示す通りである。この場合、濃度値が３０以下の領域ｅ１（濃度値０）が、汚れ領域の候補として抽出され、所定面積以上の大きさであれば、汚れ領域であると判定される。
【００４６】
上述したカメラの汚れ検出制御によれば、画像積算メモリをクリア（ステップＳ２００）した後、自車両の車速が所定値以上であればカメラ１ａにて撮像される画像ＦＴｎを取得する（ステップＳ２１０，Ｓ２２０）。次の画像ＦＴｎ＋１を取り込むタイミングを管理するタイマをセットし（ステップＳ２３０）、取得した画像ＦＴｎを画像メモリ２ｄに記憶する（ステップＳ２４０）。この画像ＦＴｎと前回の処理にて取得した画像ＦＴｎ−１との差分処理を行うことにより差分画像ＦＳｎを求め（ステップＳ２５０）、画像積算メモリに加算して積算画像Ｆｓｕｍを求め、画像積算メモリに記憶する（ステップＳ２６０）。
【００４７】
ステップＳ２６０で行う加算処理が所定回数行われていないと判定すると（ステップＳ２７０）、ステップＳ２３０でセットしたタイマが所定時間経過した後に、ステップＳ２１０〜ステップＳ２６０までの処理を繰り返す。加算処理を所定回数行うと、最終的な積算画像Ｆｓｕｍから所定濃度値以下の領域を抽出し（ステップＳ２９０）、抽出した領域の中に所定面積以上の領域があるか否かを判定する（ステップＳ３００）。所定面積以上の領域がある場合には、汚れ付着判定信号を報知信号Ｓｄに載せてコントロール装置３に出力する（ステップＳ３１０）。
【００４８】
このような制御により、カメラを搭載した車両の移動時においても、カメラのレンズの汚れを正確に検出することができる。また、カメラ１ａ，１ｂを用いて接近車両や自車両周辺の建造物を検出する車両周辺監視装置が元々備えている画像処理機能を用いることができるので、低コストにてレンズの汚れを検出することができる。さらに、レンズの汚れを検出するために複数台のカメラを用いる必要がないので、低コスト・小スペースを実現することができるとともに、カメラ１ａ，１ｂの設置場所の自由度を確保することができる。
【００４９】
また、所定濃度値以下の領域を抽出（ステップＳ２９０）した後、抽出した領域のうち所定面積以上の領域が存在する場合に（ステップＳ３００）、汚れ付着判定信号をコントロール装置３出力しているので（ステップＳ３１０）、積算画像Ｆｓｕｍの中に濃度値が小さく、かつ、画像処理に影響を与えない微少面積が存在する場合にまで、汚れ付着判定信号を出力して、ディスプレイ４にアラーム表示を行うことを防ぐことができる。さらに、車両の走行中に、本来の車両周辺監視機能の動作と同時にレンズの汚れを検出することができるので、ドライバはカメラに汚れが付着する等の異常が発生して、車両周辺監視装置が正常に動作しなくなる可能性があることを直ちに認知することができる。
【００５０】
本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、カメラの汚れ検出装置を、自車両１０のフロントエンドに設置されたカメラ１ａ，１ｂを用いて、フロント側方から接近してくる車両を検出する車両周囲監視装置に適用した例について説明したが、カメラの設置場所、および、対象とするシステムはこれに限定されることはない。例えば、車両の後方部に設置したカメラを用いて、自車両の後方から接近してくる隣接車線走行車両を検知してドライバに報知する後側方警報装置にも、本発明のカメラの汚れ検出装置を適用することができる。ただし、この場合には、自車両が高速走行していても撮像した画像の路面領域が著しい変化を伴わない場合があるので、差分画像ＦＳｎを積算する回数を多くすることが望ましい。
【００５１】
上述した一実施の形態では、カメラの汚れ検出装置を車両に搭載した例について説明したが、車両は乗用車や、トラック等の大型車等の車種に制限されることはない。また、車両に限らず、船舶や飛行機などの移動する物体にも適用することができる。
【００５２】
上述した一実施の形態では、差分画像ＦＳｎを求めるために次の画像を取得するタイミングを管理するタイマを１秒としたが（ステップＳ２３０）、タイマ時間は任意に設定することができる。すなわち、１秒以外の任意の時間に設定してもよいし、自車両の車速に応じた可変の値としてもよい。自車両の車速に応じてタイマ時間を変える場合には、車速が遅い程タイマ時間を長くするように設定しておけば、車速に関わらず２枚の画像の差異が明確となる画像を取得することができる。
【００５３】
さらに、上述した一実施の形態では、画像メモリ２ｄの所定領域に設定されている画像積算メモリに差分画像ＦＳｎを加算する回数を４回としたが、この回数も任意に定めることができる。この場合、加算回数を増やすほど、汚れ領域以外の濃度が同一ではない領域の濃度値は増加するので、濃度値に変化が無い領域を抽出しやすくなる。また、タイマ時間と同様に、車速が速い程加算回数を多くするように設定しておけば、車速に関わらず汚れ領域を正確に検出することが可能となる。
【００５４】
また、接近車両が存在することを報知する際（ステップＳ１００）や、カメラのレンズに汚れが付着していることを報知する際（ステップＳ１１０）にブザー７から警告音を発したが、警告音以外に合成音声を用いてもよい。
【００５５】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、画像処理コントローラ２が差分抽出手段と差分積算手段と汚れ検出手段を、速度センサ６が速度検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】カメラの搭載位置を示す図
【図２】本発明によるカメラの汚れ検出装置の一実施の形態の構成を示す図
【図３】画像処理コントローラの一実施の形態の詳細な構成を示す図
【図４】図４（ａ）は、カメラのレンズに汚れが付着していない場合の撮像画像を示す図、図４（ｂ）は、レンズに汚れが付着している場合の撮像画像を示す図
【図５】カメラを用いて、側方から接近してくる車両を検出する制御手順を示す一実施の形態のフローチャート
【図６】接近車両が存在することを知らせるためのアラーム表示を示す図
【図７】カメラに汚れが付着していることを知らせるためのアラーム表示を示す図
【図８】カメラの汚れを検出する制御手順を示す一実施の形態のフローチャート
【図９】カメラの汚れを検出する制御手順を説明するための画像を示す図であって、図９（ａ）〜（ｅ）は画像ＦＴ１〜ＦＴ５をそれぞれ示す
【図１０】図１０（ａ）〜（ｄ）は差分画像ＦＳ２〜ＦＳ５を、図１０（ｅ）は積算画像をそれぞれ示す
【図１１】図１１（ａ）〜（ｄ）は差分画像ＦＳ２〜ＦＳ５に含まれる濃度情報を示す図であり、図１１（ｅ）は積算画像Ｆｓｕｍに含まれる濃度情報を示す図
【符号の説明】
１ａ，１ｂ…ＣＣＤカメラ、２…画像コントローラ、２ａ…デコーダ、２ｂ…画像処理専用ＩＣ、２ｃ…エンコーダ、２ｄ…画像メモリ、２ｅ…ＲＯＭ、２ｆ…画像処理制御ＣＰＵ、３…オーディオビジュアルコントロール装置、４…ディスプレイ、５…ナビゲーション装置、６…車速センサ、７…ブザー、８…側方検知スイッチ、１０…自車両、２０…接近車両、３０…建物、４０…接近車両を示すための枠
【発明の属する技術分野】
本発明は、移動体に搭載されるカメラのレンズの汚れを検出する装置および汚れを検出する方法に関する。
【０００２】
【従来の技術】
車両にカメラを搭載することにより、前方を走行している車両を検出したり、先行車両までの距離を検出する装置が知られている（例えば、特開２００１−１９９２６０号公報）。この装置に用いられるカメラは、主に車両走行中に用いられるため、レンズの前面に汚れが付着しやすい。レンズの汚れがひどくなると、先行車両等の被写体を正確に検出することができなくなるので、車載カメラに付着する汚れを検出して、運転者に清掃を促したり、自動的に洗浄したりする手段を備える必要がある。
【０００３】
上述した特開平２００１−１９９２６０号公報では、同一の撮像範囲を有する２台のカメラを備え、それぞれのカメラで撮像される画像を比較することによって、レンズに付着した汚れを検出する方法が開示されている。すなわち、２台のカメラにより撮像された画像の輝度分布を比較し、両者の一致度が低く、かつ、このような状態が連続する場合には、レンズの表面に汚れが付着しているか、レンズに傷があると判断する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、同一の撮像範囲の輝度分布を比較するために複数台のカメラの撮像範囲が重なるように設置しなければならず、カメラの設置の自由度を確保することができなかった。
【０００５】
本発明の目的は、カメラの設置の自由度を確保することができるカメラの汚れ検出装置およびカメラの汚れ検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
一実施の形態を示す図１，図２を参照して本発明を説明する。
（１）請求項１の発明は、移動体１０に設置され、所定範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメラの汚れ検出装置において、移動体１０が移動している時に、異なるタイミングにてカメラ１ａ，１ｂにて撮像された複数の映像の差分を抽出する差分抽出手段２と、差分抽出手段２により抽出された映像の差分を積算する差分積算手段２と、差分積算手段２により積算された映像の差分に基づいて、カメラ１ａ，１ｂの汚れを検出する汚れ検出手段２とを備えることにより、上記目的を達成する。
（２）請求項２の発明は、請求項１のカメラの汚れ検出装置において、差分抽出手段２は、複数の映像の濃度値の差分を抽出し、汚れ検出手段２は、差分積算手段２により積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（３）請求項３の発明は、請求項２のカメラの汚れ検出装置において、汚れ検出手段２は、差分積算手段２により積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ１ａ，１ｂに汚れが存在すると判断してカメラの汚れを検出することを特徴とする。
（４）請求項４の発明は、請求項１〜３のいずれかのカメラの汚れ検出装置において、移動体１０の移動速度を検出する速度検出手段６をさらに備え、差分積算手段２は、移動体１０の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
（５）請求項５の発明は、請求項１〜３のいずれかのカメラの汚れ検出装置において、移動体１０の移動速度を検出する速度検出手段６をさらに備え、差分抽出手段２は、移動体１０の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とする。
（６）請求項６の発明は、移動体１０に設置され、所定範囲を撮像するカメラ１ａ，１ｂの汚れを検出するカメラの汚れ検出方法において、カメラ１ａ，１ｂにより異なるタイミングにて複数の映像を撮像し、複数の映像の差分を抽出し、抽出した複数の映像の差分を積算することにより、カメラの汚れを検出することにより、上記目的を達成する。
（７）請求項７の発明は、請求項６のカメラの汚れ検出方法において、複数の映像の差分の抽出は、複数の映像の濃度値の差分を抽出し、積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（８）請求項８の発明は、請求項７のカメラの汚れ検出方法において、積算された濃度値が一定濃度値を示す面積が所定面積以上である場合に、カメラ１ａ，１ｂに汚れが存在すると判断してカメラ１ａ，１ｂの汚れを検出することを特徴とする。
（９）請求項９の発明は、請求項６〜８のいずれかのカメラの汚れ検出方法において、移動体１０の移動速度が速い程、映像の差分を積算する回数を多くすることを特徴とする。
（１０）請求項１０の発明は、請求項６〜９のいずれかのカメラの汚れ検出方法において、移動体１０の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とする。
【０００７】
なお、上記課題を解決するための手段の項では、本発明をわかりやすく説明するために実施の形態の図１，図２と対応づけたが、これにより本発明が実施の形態に限定されるものではない。
【０００８】
【発明の効果】
本発明によれば、次のような効果を奏する。
（１）請求項１〜１０の発明によれば、１台のカメラを用いてカメラのレンズに付着する汚れを検出することができるので、カメラの設置の自由度を確保することができる。
（２）請求項３および８の発明によれば、濃度がほとんど変化しない微小領域を汚れ領域であると誤検知することを防ぐことができる。
（３）請求項４，５，９，１０の発明によれば、移動体の速度に関わらず、正確にカメラのレンズの汚れを検出することができる。
【０００９】
【発明の実施の形態】
本実施の形態におけるカメラの汚れ検出装置に用いられる２台のカメラ１ａ，１ｂは、図１に示すように、それぞれ車両１０のフロントサイド左右に設置される。カメラ１ａは車両進行方向の右側を、カメラ１ｂは車両進行方向の左側をそれぞれ撮像するものである。本実施の形態では、このカメラ１ａ，１ｂを用いて、図１に示すように、交差点で交差する道路の左右奥行き方向を撮影し、撮影した画像に対して画像処理を施すことによって自車両１０に接近する車両の存在を検出する車両周辺監視装置を例に挙げて説明する。この車両周辺監視装置により、接近車両を検出したときは、警告表示やブザー等によって接近車両をドライバに報知する。
【００１０】
図２は、本発明によるカメラの汚れ検出装置の一実施の形態の構成を示す図である。一実施の形態のカメラの汚れ検出装置は、２台のカメラ１ａ，１ｂと、画像処理コントローラ２と、オーディオビジュアルコントロール装置３（以下、単にコントロール装置３と呼ぶ）と、ディスプレイ４と、ナビゲーション装置５と、車速センサ６と、ブザー７と、側方検知スイッチ８とを備える。
【００１１】
車両１０のフロントサイド左右に設置されたＣＣＤカメラ１ａ，１ｂにより撮像された画像は、映像信号Ｓａ，Ｓｂとして画像処理コントローラ２に送られる。画像処理コントローラ２は、映像信号Ｓａ，Ｓｂに対してフィルタリング処理や各種演算処理等を実行する。また、画像処理コントローラ２は、ＣＣＤカメラ１ａまたは１ｂのいずれか一方により撮像される画像に基づいた映像信号Ｓ１、または双方のカメラ１ａ，１ｂにより撮像される画像を合成して得られる映像信号Ｓ１をコントロール装置３に出力する。さらに画像処理コントローラ２は、映像信号Ｓａ，Ｓｂに画像処理を施した結果に基づいて、必要な情報を報知信号Ｓｄとしてコントロール装置３に出力する。
【００１２】
ナビゲーション装置５は、ＧＰＳ等を利用して自車両の位置を検出する機能や、自車両の現在地から目的地までのルートを検索する機能を有する。コントロール装置３は、ナビゲーション装置５により検出される自車位置や、車両周辺地図、誘導経路などのいわゆるナビゲーション情報やオーディオビジュアル機能を制御するための表示や、ＣＣＤカメラ１ａ，１ｂにより撮像される車両周囲の画像表示などの様々な情報表示を制御する機能を備えている。コントロール装置３は、画像処理コントローラ２から出力される画像の切替や、画像処理の実行を指令するための制御信号Ｓｃを画像処理コントローラ２に出力する。また、ディスプレイ４に表示させるための映像信号Ｓ２をディスプレイ４に出力する。
【００１３】
ディスプレイ４は、車室内にてドライバが視認できる位置に備えられ、コントロール装置３から入力される映像信号Ｓ２に基づいて、ナビゲーション情報やＣＣＤカメラ１ａ，１ｂで撮像される映像を表示する。車速センサ６は、自車両の走行速度を計測し、計測した速度に比例したパルスをコントロール装置３に出力する。ブザー７は、後述する方法により自車両に接近してくる車両を検知した場合等、ドライバに警告を促す必要がある場合に、アラーム音を発生する。
【００１４】
側方検知スイッチ８は、ＣＣＤカメラ１ａ，１ｂによる撮像を開始したり、撮像された画像情報に基づいて側方から接近する車両を検知するためのプログラムを起動するためのスイッチであり、ドライバ等によって操作される。側方検知スイッチ８がオンの時に後述する条件が満足されると、画像処理コントローラ２により側方検知制御が行われる。また、側方検知スイッチ８がオフの時には、後述する条件が満たされていても、側方検知制御は行われない。
【００１５】
図３は、画像処理コントローラ２の内部構成を示す図である。画像処理コントローラ２は、デコーダ２ａと、画像処理専用ＩＣと、エンコーダ２ｃと、画像メモリ２ｄと、ＲＯＭ２ｅと、画像処理制御ＣＰＵ２ｆとを備える。ＣＣＤカメラ１ａ，１ｂから出力された映像信号Ｓａ，Ｓｂは、デコーダ２ａに入力される。デコーダ２ａは、入力された映像信号Ｓａ，Ｓｂをそれぞれデジタルデータに変換して、画像処理専用ＩＣ２ｂに出力する。画像処理専用ＩＣ２ｂは、Ａ／Ｄ変換処理が行われた画像データに対して各種の演算処理を実行する。演算処理が行われた画像データは、エンコーダ２ｃに出力される。エンコーダ２ｃは、演算処理が行われた画像データにＤ／Ａ変換処理を施す。Ｄ／Ａ変換処理が行われた後の映像信号Ｓ１は、コントロール装置３に出力される。
【００１６】
上述した画像処理専用ＩＣ２ｂと、画像メモリ２ｄ、ＲＯＭ２ｅ、画像処理制御ＣＰＵ２ｆとは、それぞれ共通のバスにより接続されている。画像メモリ２ｄには、入力された画像データや処理実行中のデータを一次的に保存することができる。なお、画像メモリ２ｄには、処理に必要な複数の画像を記憶するための所定容量が用意される。ＲＯＭ２ｅには、ＣＣＤカメラ１ａ，１ｂにより撮像された画像に基づいて自車両に接近してくる車両を検出するためのプログラムや、ＣＣＤカメラ１ａ，１ｂのレンズの汚れを検出するためのプログラムを含む画像処理プログラムが格納されている。画像処理制御ＣＰＵ２ｆは、コントロール装置３から送信されてくる制御信号Ｓｃに基づいて、画像処理の実行を行うタイミングや各種信号の入出力を制御する。
【００１７】
図４（ａ），（ｂ）は、図１に示すようにカメラ１ａ，１ｂを搭載した車両１０がＴ地路にさしかかった時に、カメラ１ａにて進行方向右側を撮影した画像を示す図である。図４（ａ），（ｂ）には、自車両に接近してくる車両２０や建物３０等がそれぞれ示されている。図４（ａ）はＣＣＤカメラ１ａが正常な状態、すなわち、レンズに汚れが付着していない状態で撮影された画像であり、図４（ｂ）はＣＣＤカメラ１ａのレンズに汚れが付着している状態で撮影された画像である。この汚れは、車両の走行中に泥などが付着することにより生じるものである。
【００１８】
ここでレンズに付着している汚れ領域を図４（ｂ）に示すように、Ａ，Ｂとする。以下では、ＣＣＤカメラ１ａまたは１ｂにて撮影された画像に基づいて、レンズに付着している汚れ領域Ａ，Ｂを抽出することにより、カメラ１ａ，１ｂの汚れを検出する方法について説明する。
【００１９】
図５は、例えば、自車両１０が見通しの悪いＴ地路や交差点にさしかかった時に、カメラ１ａ，１ｂを用いて、側方から接近してくる車両を検出するための制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ２内に設けられている画像処理専用ＩＣ２ｂおよびコントロール装置３により行われる。ステップＳ１０から始まる制御は、図示しないイグニッションスイッチがオンとなることにより始まる。
【００２０】
ステップＳ１０では、後述するカメラの汚れを検出するプログラムをスタートさせるための汚れ検知タイマをセットして、ステップＳ２０に進む。ステップＳ２０では、ナビゲーション装置５からコントロール装置３に入力されるナビゲーション情報のうち、コントロール装置３で選択される地図情報や自車位置情報等の情報をディスプレイ４に表示する。すなわち、ドライバ等が図示しない操作ボタンを操作することにより、ドライバ等が表示を要求する情報がコントロール装置３で選択されて、ディスプレイ４に表示される。コントロール装置３で選択された情報がディスプレイ４に表示されると、ステップＳ３０に進む。
【００２１】
ステップＳ３０では、コントロール装置３が、車速センサ６から入力されるパルスに基づいて、自車両の車速を算出する。なお、コントロール装置３で算出された車速データは、制御信号Ｓｃとして画像処理コントローラ２に随時出力される。車速が検出されるとステップＳ４０に進む。ステップＳ４０では、ステップＳ３０で検出した車速が所定値以上であるか否かを判定する。この所定値は、ステップＳ２０でディスプレイ４に表示したナビゲーション画面を継続して表示するための条件値であり、本実施の形態では１０ｋｍ／ｈとする。すなわち、ステップＳ４０で車速が所定値以上であると判定するとステップＳ２０に戻り、ナビゲーション画面を継続してディスプレイ４に表示する。一方、車速が所定値未満であると判定するとステップＳ５０に進む。
【００２２】
ステップＳ５０では、側方検知スイッチ８からコントロール装置３に入力される信号に基づいて、側方検知スイッチ８がオンであるか否かを判定する。オンであると判定するとステップＳ６０に進み、オンではないと判定するとステップＳ２０に戻る。ステップＳ５０で判定された結果、すなわち、側方検知スイッチ８のオン／オフの状態は、制御信号Ｓｃとして画像処理コントローラ２に送られる。
【００２３】
ステップＳ６０では、後述する制御プログラムによる行われるカメラの汚れ判定処理の結果に基づいて、カメラ１ａ，１ｂのレンズに汚れが付着しているか否かを判定する。汚れが付着していると判定するとステップＳ１１０に進み、汚れが付着していないと判定するとステップＳ７０に進む。ステップＳ７０では、図４（ａ）に示すように、カメラ１ａにより撮像された画像をディスプレイ４に表示する。すなわち、画像処理コントローラ２は、カメラ１ａから入力される映像信号Ｓａに基づいた映像信号Ｓ１をコントロール装置Ｓ１に出力する。コントロール装置３が、映像信号Ｓ１に基づいた映像信号Ｓ２をディスプレイ４に出力することにより、撮像画像をディスプレイ４に表示する。なお、ディスプレイ４に表示する画像は、カメラ１ｂにより撮像されたものでもよい。
【００２４】
カメラ１ａで撮像された画像をディスプレイ４に表示するとステップＳ８０に進む。ステップＳ８０では、ディスプレイ４に表示された画像の中から、自車両に接近する車両が存在するか否かを判定するための側方接近車両検知処理を実行する。この処理は、画像処理制御ＣＰＵ２ｆが行う信号の入出力制御に基づいて画像処理コントローラ２に入力された画像データに対して、画像処理専用ＩＣ２ｂが各種の処理を施すことにより行われる。自車両に接近してくる移動体の検出アルゴリズムについては、背景差分法やオプティカルフロー法などの公知の方法を用いるため、詳しい説明は省略する。
【００２５】
ステップＳ９０では、ステップＳ８０で行った接近車両検知処理の結果に基づいて、自車両に接近してくる車両があるか否かを判定する。自車両に接近してくる車両が存在すると判定するとステップＳ１００に進み、存在しないと判定するとステップＳ５０に戻る。ステップＳ１００では、ディスプレイ４に、接近車両が存在することを知らせる表示を行うとともに、ブザー７から警告音を出力させる。
【００２６】
図６は、接近車両２０が存在することを知らせるためのアラーム表示を示す図である。図６に示すように、カメラ１ａで撮像された画像に対して、接近車両２０を示すための枠４０が重ねられている。この処理は、撮像された画像のうち、ステップＳ８０の接近車両検知処理にて検知された接近車両の部分に対して、画像処理コントローラ２の画像処理専用ＩＣが画像処理を施すことにより行われる。画像処理後の画像は、映像信号Ｓ１としてコントロール装置３に出力され、ディスプレイ４に表示される。また、接近車両が検知された場合には、画像処理コントローラ２から報知信号Ｓｄがコントロール装置３に入力されるので、この報知信号Ｓｄに基づいてブザー７から警告音が発せられる。接近車両２０が存在する旨のアラーム表示をディスプレイ４に行うと、ステップＳ５０に戻る。
【００２７】
ステップＳ６０でカメラ１ａのレンズが汚れていると判定されてステップＳ１１０に進むと、ディスプレイ４にカメラ１ａのレンズが汚れている旨のアラーム表示が行われる。すなわち、画像処理コントローラ２の画像処理専用ＩＣ２ｂが後述する方法によりカメラ１ａのレンズに汚れが付着していると判定すると、汚れが付着している旨の報知信号Ｓｄがコントロール装置３に出力される。コントロール装置３は、この報知信号Ｓｄに基づいて、図７に示すようなアラーム表示をディスプレイ４に表示する。カメラが汚れている旨のアラーム表示を行うとステップＳ５０に戻り、再度側方検知スイッチ８がオンになっているか否かの判定が行われる。
【００２８】
図８は、カメラのレンズの汚れの有無を判定する制御手順を示す一実施の形態のフローチャートである。この制御は、画像処理コントローラ２内に設けられている画像処理専用ＩＣ２ｂにより行われる。上述したように、図５に示すフローチャートによる制御が開始されると、汚れ検知タイマがセットされる（ステップＳ１０）。このタイマは任意に設定することができるが、本実施の形態では６０秒とする。従って、図５に示すフローチャートによる制御が行われている時でも、６０秒ごとにステップＳ２００以後の処理（以下では、割り込み処理と呼ぶ）が行われるものとする。
【００２９】
ステップＳ２００では、画像メモリ２ｄの所定領域に設定されている、後述する画像積算メモリをクリアしてステップＳ２１０に進む。ステップＳ２１０では、車速センサ６から入力されるパルスに基づいて、自車両の車速が所定値以上であるか否かを判定する。後述するステップＳ２５０では、異なるタイミングで撮像された２枚の画像の差分画像を求めるが、この２枚の画像の差異が明確に現れるように、車速の判定しきい値である所定値を定めておく。本実施の形態では、この所定値を３０ｋｍ／ｈとする。車速が所定値以上であると判定するとステップＳ２２０に進む。一方、車速が所定値未満であると判定すると、カメラの汚れを正確に検出することができないので、割り込み処理を終了する。
【００３０】
ステップＳ２２０では、カメラ１ａにより撮像された画像ＦＴｎを画像処理コントローラ２に入力してステップＳ２３０に進む。ステップＳ２３０では、画像の入力周期を管理するタイマをセットして、ステップＳ２４０に進む。ステップＳ２４０では、ステップＳ２２０で入力された画像ＦＴｎを画像メモリ２ｄに記憶して、ステップＳ２５０に進む。
【００３１】
ステップＳ２５０では、ステップＳ２４０で記憶された画像ＦＴｎと、前回の入力タイミングにて入力・記憶された画像ＦＴｎ−１との差分処理を行うことにより、差分画像ＦＳｎを求める。差分処理では、画像ＦＴｎの全領域の濃度と画像ＦＴｎ−１の全領域の濃度との差を求める。差分画像ＦＳｎを求めるとステップＳ２６０に進む。ステップＳ２６０では、ステップＳ２５０で求めた差分画像ＦＳｎを、画像メモリ２ｄの所定領域に設定されている画像積算メモリに加算して、積算画像Ｆｓｕｍを求め、記憶する。積算画像Ｆｓｕｍを求めるとステップＳ２７０に進む。
【００３２】
ステップＳ２７０では、ステップＳ２６０で差分画像ＦＳｎを画像積算メモリに加算する回数が所定回数行われたか否かを判定する。本実施の形態では、この所定回数を４回とする。すなわち、画像積算メモリに差分画像ＦＳｎを４回加算して最終的な積算画像Ｆｓｕｍを求めるまでは、上述したステップＳ２１０〜ステップＳ２６０の処理が繰り返し行われる。ステップＳ２６０で行う加算処理が所定回数行われたと判定するとステップＳ２９０に進み、所定回数行われていないと判定するとステップＳ２８０に進む。
【００３３】
ステップＳ２８０では、次のタイミングにて撮像画像を入力するためにステップＳ２３０でセットされたタイマが所定時間を経過したか否かを判定する。上述したステップＳ２５０では、２枚の画像の差分画像ＦＳｎを求めているが、後述するように２枚の画像の差異は明確であることが好ましい。従って、本実施の形態では、このタイマ時間を１秒とする。ステップＳ２３０でセットしたタイマが所定時間である１秒を経過していないと判定すると、所定時間を経過するまでステップＳ２８０で待機する。一方、タイマが所定時間を経過したと判定するとステップＳ２１０に戻り、次の撮像画像を入力するための処理が行われる。
【００３４】
上述した処理を図９（ａ）〜（ｅ）および図１０（ａ）〜（ｅ）に示す画像を用いて説明する。これらの画像は、２５６階調（８ビット）の白黒画像とし、白が濃度０、黒が濃度２５５で表現されるものとする。画像積算メモリに記憶されている画像をクリア（ステップＳ２００）した後に車速が所定値以上であると判定すると（ステップＳ２１０）、カメラ１ａにて撮像した画像を取得して画像メモリ２ｄに記憶する（ステップＳ２４０）。図９（ａ）は、画像積算メモリのクリア後に、最初に画像メモリ２ｄに記憶された画像ＦＴ１を示す図であり、建物が示されている。
【００３５】
次に、図９（ｂ）に示すように、所定時間経過後（ステップＳ２８０）の画像ＦＴ２を取得して画像メモリ２ｄに記憶する。本実施の形態では、自車両の車速が３０ｋｍ／ｈ以上であり、また、画像ＦＴ１を取得してから１秒経過後に、次の画像ＦＴ２を取得しているので、自車両の移動量に応じて、画像ＦＴ１と画像ＦＴ２とは異なるものとなる。図９（ａ），（ｂ）では、両画像ＦＴ１，ＦＴ２には同じ建物が移っているが、視点位置は異なっている。画像処理専用ＩＣ２ｂは、画像ＦＴ２と画像ＦＴ１との差分処理を行い（ステップＳ２５０）、求めた差分画像ＦＳ２を画像積算メモリに記憶する（ステップＳ２６０）。
【００３６】
図１０（ａ）は、図９（ａ）に示す画像ＦＴ１と図９（ｂ）に示す画像ＦＴ２との差分処理により求めた差分画像ＦＳ２を示している。画像フレーム間で差分処理を行うと、同一の濃度情報を有する領域は濃度差がゼロであるので、差分画像ＦＳ２の中では、この領域は白色（濃度０）で表現される。すなわち、カメラ１ａのレンズに存在する汚れ領域ＡおよびＢは、画像ＦＴ１およびＦＴ２において、同一の位置に同一の形状・大きさにて存在するので、差分画像ＦＳ２において、濃度ゼロの領域となる。
【００３７】
また、汚れ領域Ａ，Ｂ以外の領域でも、同一の建物の壁や窓、同一の路面などの濃度が同一となる領域や濃度が非常に近い領域が存在する。差分画像ＦＳ２においてこれらの領域は、濃度がゼロ、あるいは、濃度値が非常に小さい領域Ｃ，Ｄ，Ｅ，Ｆとして表される。領域Ａ〜Ｆ以外の領域においても、両画像ＦＴ１とＦＴ２の濃度差による濃淡画像が得られる。図１０（ａ）では、図の明確化のために、領域Ａ〜Ｆ以外の領域は同一色にて表現しているが、実際には濃淡が異なるランダムなパターンとなる。
【００３８】
さらに次のタイミングにて、図９（ｃ）に示される画像ＦＴ３を取得して画像メモリ２ｄに記憶する。差分画像ＦＳ２を求めた時と同様の方法により、画像ＦＴ３と画像ＦＴ２を用いて差分画像ＦＳ３を求め、画像積算メモリに加算・記憶する。図１０（ｂ）は、差分画像ＦＳ３を示す図である。差分画像ＦＳ３においても、領域ＡおよびＢの濃度はゼロである。図９（ａ）には、領域ＡおよびＢ以外に、濃度がゼロ、あるいは、濃度値が非常に小さい領域Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌが示されている。
【００３９】
画像積算メモリには、前回の処理で求められた差分画像ＦＳ２が記憶されているので、この差分画像ＦＳ２に新たに求めた差分画像ＦＳ３を加算して積算画像Ｆｓｕｍを求める（ステップＳ２６０）。なお、差分画像ＦＳ２を求めた時には、画像積算メモリは予めクリアされているので（ステップＳ２００）、差分画像ＦＳ２が積算画像Ｆｓｕｍとして画像積算メモリに記憶される。
【００４０】
上述した方法により、順次画像ＦＴ４（図９（ｃ））、画像ＦＴ５（図９（ｄ））を取得し、差分画像ＦＳ４（図１０（ｃ））、差分画像ＦＳ５（図１０（ｄ））を求める。また、求めた差分画像ＦＳ４，ＦＳ５を、画像積算メモリに記憶されている積算画像Ｆｓｕｍに加算することにより、新たな積算画像Ｆｓｕｍを順次求める。本実施の形態では、画像積算メモリに差分画像ＦＳｎを４回加算することにより（ステップＳ２７０）、最終的な積算画像Ｆｓｕｍを求めている。最終的に得られる積算画像Ｆｓｕｍを図１０（ｅ）に示す。
【００４１】
上述したように、差分画像ＦＳ２〜ＦＳ５において、汚れ領域ＡおよびＢの濃度はゼロである。従って、これらの差分画像ＦＳ２〜ＦＳ５を加算して得られる最終的な積算画像Ｆｓｕｍにおける汚れ領域ＡおよびＢの濃度もゼロとなる。また、濃度ゼロ以外の領域においては、画像ＦＳ２〜ＦＳ５における濃度情報が順次積算されていくので、最終的な積算画像Ｆｓｕｍにおける濃度値は高いものとなる。ただし、図１０（ｅ）に示すように、領域ＡおよびＢ以外にも、濃度値が小さい領域が存在する。図１０（ｅ）では、領域Ａ，Ｂや濃度値の小さい領域以外の領域を同一色にて表現しているが、実際には濃淡が異なるランダムなパターンであり、濃度情報は一様ではない。
【００４２】
再び図８に示すフローチャートに戻って説明を続ける。ステップＳ２９０では、画像積算メモリに記憶されている積算画像Ｆｓｕｍから、所定濃度値以下の領域を抽出する。本実施の形態では、この所定濃度値を３０とする。図１０（ｅ）に示す積算画像Ｆｓｕｍにおいて、領域ＡおよびＢ等の白色で示される領域の濃度値が３０以下であれば、これらの領域が全て抽出される。所定濃度値以下の領域を抽出するとステップＳ３００に進む。
【００４３】
ステップＳ３００では、ステップＳ２９０で抽出した領域の中に、所定面積以上の領域があるか否かを判定する。この所定面積は、接近車両等を検知するための画像処理に影響を与える面積を考慮して予め定めておく。図１０（ｅ）に示される積算画像Ｆｓｕｍでは、比較的面積の大きい領域ＡおよびＢが抽出されるものとする。ステップＳ２９０で抽出した領域の中に、所定面積以上の領域があると判定するとステップＳ３１０に進み、所定面積以上の領域が存在しないと判定すると、この割り込み処理を終了する。ステップＳ３１０では、カメラ１ａのレンズが汚れていることを示す汚れ付着判定信号を報知信号Ｓｄに載せて、コントロール装置３に出力し、本割り込み処理を終了する。
【００４４】
図１１は、画像の濃度情報の変化を説明するための図である。図１１（ａ）〜（ｄ）は、それぞれ差分画像の濃度情報を示す図であり、図１１（ｅ）は、図１１（ａ）〜図１１（ｄ）に示す差分画像を積算して得られる積算画像Ｆｓｕｍの濃度情報を示す図である。図中の数字は、濃度値を示している。例えば、図１１（ａ）に示す差分画像において、領域ａ０の濃度値は１０、領域ａ１の濃度値は０、領域ａ２の濃度値は５である。
【００４５】
図１１（ｅ）に示す積算画像Ｆｓｕｍの領域ｅ１は、図１１（ａ）〜（ｄ）にそれぞれ示される、同一の位置、形状および大きさを有する領域ａ１，ｂ１，ｃ１，ｄ１の濃度値を加算した領域であり、濃度値はゼロである。領域ｅ１を除く領域ｅ０，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６の濃度値は、図１１（ｅ）に示す通りである。この場合、濃度値が３０以下の領域ｅ１（濃度値０）が、汚れ領域の候補として抽出され、所定面積以上の大きさであれば、汚れ領域であると判定される。
【００４６】
上述したカメラの汚れ検出制御によれば、画像積算メモリをクリア（ステップＳ２００）した後、自車両の車速が所定値以上であればカメラ１ａにて撮像される画像ＦＴｎを取得する（ステップＳ２１０，Ｓ２２０）。次の画像ＦＴｎ＋１を取り込むタイミングを管理するタイマをセットし（ステップＳ２３０）、取得した画像ＦＴｎを画像メモリ２ｄに記憶する（ステップＳ２４０）。この画像ＦＴｎと前回の処理にて取得した画像ＦＴｎ−１との差分処理を行うことにより差分画像ＦＳｎを求め（ステップＳ２５０）、画像積算メモリに加算して積算画像Ｆｓｕｍを求め、画像積算メモリに記憶する（ステップＳ２６０）。
【００４７】
ステップＳ２６０で行う加算処理が所定回数行われていないと判定すると（ステップＳ２７０）、ステップＳ２３０でセットしたタイマが所定時間経過した後に、ステップＳ２１０〜ステップＳ２６０までの処理を繰り返す。加算処理を所定回数行うと、最終的な積算画像Ｆｓｕｍから所定濃度値以下の領域を抽出し（ステップＳ２９０）、抽出した領域の中に所定面積以上の領域があるか否かを判定する（ステップＳ３００）。所定面積以上の領域がある場合には、汚れ付着判定信号を報知信号Ｓｄに載せてコントロール装置３に出力する（ステップＳ３１０）。
【００４８】
このような制御により、カメラを搭載した車両の移動時においても、カメラのレンズの汚れを正確に検出することができる。また、カメラ１ａ，１ｂを用いて接近車両や自車両周辺の建造物を検出する車両周辺監視装置が元々備えている画像処理機能を用いることができるので、低コストにてレンズの汚れを検出することができる。さらに、レンズの汚れを検出するために複数台のカメラを用いる必要がないので、低コスト・小スペースを実現することができるとともに、カメラ１ａ，１ｂの設置場所の自由度を確保することができる。
【００４９】
また、所定濃度値以下の領域を抽出（ステップＳ２９０）した後、抽出した領域のうち所定面積以上の領域が存在する場合に（ステップＳ３００）、汚れ付着判定信号をコントロール装置３出力しているので（ステップＳ３１０）、積算画像Ｆｓｕｍの中に濃度値が小さく、かつ、画像処理に影響を与えない微少面積が存在する場合にまで、汚れ付着判定信号を出力して、ディスプレイ４にアラーム表示を行うことを防ぐことができる。さらに、車両の走行中に、本来の車両周辺監視機能の動作と同時にレンズの汚れを検出することができるので、ドライバはカメラに汚れが付着する等の異常が発生して、車両周辺監視装置が正常に動作しなくなる可能性があることを直ちに認知することができる。
【００５０】
本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、カメラの汚れ検出装置を、自車両１０のフロントエンドに設置されたカメラ１ａ，１ｂを用いて、フロント側方から接近してくる車両を検出する車両周囲監視装置に適用した例について説明したが、カメラの設置場所、および、対象とするシステムはこれに限定されることはない。例えば、車両の後方部に設置したカメラを用いて、自車両の後方から接近してくる隣接車線走行車両を検知してドライバに報知する後側方警報装置にも、本発明のカメラの汚れ検出装置を適用することができる。ただし、この場合には、自車両が高速走行していても撮像した画像の路面領域が著しい変化を伴わない場合があるので、差分画像ＦＳｎを積算する回数を多くすることが望ましい。
【００５１】
上述した一実施の形態では、カメラの汚れ検出装置を車両に搭載した例について説明したが、車両は乗用車や、トラック等の大型車等の車種に制限されることはない。また、車両に限らず、船舶や飛行機などの移動する物体にも適用することができる。
【００５２】
上述した一実施の形態では、差分画像ＦＳｎを求めるために次の画像を取得するタイミングを管理するタイマを１秒としたが（ステップＳ２３０）、タイマ時間は任意に設定することができる。すなわち、１秒以外の任意の時間に設定してもよいし、自車両の車速に応じた可変の値としてもよい。自車両の車速に応じてタイマ時間を変える場合には、車速が遅い程タイマ時間を長くするように設定しておけば、車速に関わらず２枚の画像の差異が明確となる画像を取得することができる。
【００５３】
さらに、上述した一実施の形態では、画像メモリ２ｄの所定領域に設定されている画像積算メモリに差分画像ＦＳｎを加算する回数を４回としたが、この回数も任意に定めることができる。この場合、加算回数を増やすほど、汚れ領域以外の濃度が同一ではない領域の濃度値は増加するので、濃度値に変化が無い領域を抽出しやすくなる。また、タイマ時間と同様に、車速が速い程加算回数を多くするように設定しておけば、車速に関わらず汚れ領域を正確に検出することが可能となる。
【００５４】
また、接近車両が存在することを報知する際（ステップＳ１００）や、カメラのレンズに汚れが付着していることを報知する際（ステップＳ１１０）にブザー７から警告音を発したが、警告音以外に合成音声を用いてもよい。
【００５５】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、画像処理コントローラ２が差分抽出手段と差分積算手段と汚れ検出手段を、速度センサ６が速度検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】カメラの搭載位置を示す図
【図２】本発明によるカメラの汚れ検出装置の一実施の形態の構成を示す図
【図３】画像処理コントローラの一実施の形態の詳細な構成を示す図
【図４】図４（ａ）は、カメラのレンズに汚れが付着していない場合の撮像画像を示す図、図４（ｂ）は、レンズに汚れが付着している場合の撮像画像を示す図
【図５】カメラを用いて、側方から接近してくる車両を検出する制御手順を示す一実施の形態のフローチャート
【図６】接近車両が存在することを知らせるためのアラーム表示を示す図
【図７】カメラに汚れが付着していることを知らせるためのアラーム表示を示す図
【図８】カメラの汚れを検出する制御手順を示す一実施の形態のフローチャート
【図９】カメラの汚れを検出する制御手順を説明するための画像を示す図であって、図９（ａ）〜（ｅ）は画像ＦＴ１〜ＦＴ５をそれぞれ示す
【図１０】図１０（ａ）〜（ｄ）は差分画像ＦＳ２〜ＦＳ５を、図１０（ｅ）は積算画像をそれぞれ示す
【図１１】図１１（ａ）〜（ｄ）は差分画像ＦＳ２〜ＦＳ５に含まれる濃度情報を示す図であり、図１１（ｅ）は積算画像Ｆｓｕｍに含まれる濃度情報を示す図
【符号の説明】
１ａ，１ｂ…ＣＣＤカメラ、２…画像コントローラ、２ａ…デコーダ、２ｂ…画像処理専用ＩＣ、２ｃ…エンコーダ、２ｄ…画像メモリ、２ｅ…ＲＯＭ、２ｆ…画像処理制御ＣＰＵ、３…オーディオビジュアルコントロール装置、４…ディスプレイ、５…ナビゲーション装置、６…車速センサ、７…ブザー、８…側方検知スイッチ、１０…自車両、２０…接近車両、３０…建物、４０…接近車両を示すための枠
Claims (10)
- 移動体に設置され、所定範囲を撮像するカメラの汚れを検出するカメラの汚れ検出装置において、
前記移動体が移動している時に、異なるタイミングにて前記カメラにて撮像された複数の映像の差分を抽出する差分抽出手段と、
前記差分抽出手段により抽出された映像の差分を積算する差分積算手段と、
前記差分積算手段により積算された映像の差分に基づいて、前記カメラの汚れを検出する汚れ検出手段とを備えることを特徴とするカメラの汚れ検出装置。 - 請求項１に記載のカメラの汚れ検出装置において、
前記差分抽出手段は、前記複数の映像の濃度値の差分を抽出し、
前記汚れ検出手段は、前記差分積算手段により積算された前記濃度値が所定の濃度値以下の領域に汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出装置。 - 請求項２に記載のカメラの汚れ検出装置において、
前記汚れ検出手段は、前記差分積算手段により積算された前記濃度値が一定濃度値を示す面積が所定面積以上である場合に、前記カメラに汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出装置。 - 請求項１〜３のいずれかに記載のカメラの汚れ検出装置において、
前記移動体の移動速度を検出する速度検出手段をさらに備え、
前記差分積算手段は、前記移動体の移動速度が速い程、前記映像の差分を積算する回数を多くすることを特徴とするカメラの汚れ検出装置。 - 請求項１〜３のいずれかに記載のカメラの汚れ検出装置において、
前記移動体の移動速度を検出する速度検出手段をさらに備え、
前記差分抽出手段は、前記移動体の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とするカメラの汚れ検出装置。 - 移動体に設置され、所定範囲を撮像するカメラの汚れを検出するカメラの汚れ検出方法において、
カメラにより異なるタイミングにて複数の映像を撮像し、
前記複数の映像の差分を抽出し、
前記抽出した複数の映像の差分を積算することにより、カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。 - 請求項６に記載のカメラの汚れ検出方法において、
前記複数の映像の差分の抽出は、前記複数の映像の濃度値の差分を抽出し、
前記積算された濃度値が所定の濃度値以下の領域に汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。 - 請求項７に記載のカメラの汚れ検出方法において、
前記積算された前記濃度値が一定濃度値を示す面積が所定面積以上である場合に、前記カメラに汚れが存在すると判断して前記カメラの汚れを検出することを特徴とするカメラの汚れ検出方法。 - 請求項６〜８のいずれかに記載のカメラの汚れ検出方法において、
前記移動体の移動速度が速い程、前記映像の差分を積算する回数を多くすることを特徴とするカメラの汚れ検出方法。 - 請求項６〜９のいずれかに記載のカメラの汚れ検出方法において、
前記移動体の移動速度が遅い程、時間間隔の大きいタイミングにて撮像された２つの映像の差分を抽出することを特徴とするカメラの汚れ検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002060114A JP3807331B2 (ja) | 2002-03-06 | 2002-03-06 | カメラの汚れ検出装置およびカメラの汚れ検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002060114A JP3807331B2 (ja) | 2002-03-06 | 2002-03-06 | カメラの汚れ検出装置およびカメラの汚れ検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259358A JP2003259358A (ja) | 2003-09-12 |
| JP3807331B2 true JP3807331B2 (ja) | 2006-08-09 |
Family
ID=28669568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002060114A Expired - Lifetime JP3807331B2 (ja) | 2002-03-06 | 2002-03-06 | カメラの汚れ検出装置およびカメラの汚れ検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3807331B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10686991B2 (en) | 2018-09-11 | 2020-06-16 | Sony Corporation | Techniques for improving photograph quality for fouled lens or sensor situations |
| US10701352B2 (en) | 2017-08-03 | 2020-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
| US10791252B2 (en) | 2017-08-01 | 2020-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4798576B2 (ja) * | 2005-12-26 | 2011-10-19 | ダイハツ工業株式会社 | 付着物検出装置 |
| JP4611899B2 (ja) * | 2006-01-12 | 2011-01-12 | アルパイン株式会社 | カメラのレンズ汚れ検出装置及び画像表示システム |
| JP4881050B2 (ja) * | 2006-04-11 | 2012-02-22 | パナソニック株式会社 | 車載用撮像装置 |
| JP2007293672A (ja) * | 2006-04-26 | 2007-11-08 | Toyota Motor Corp | 車両用撮影装置、車両用撮影装置の汚れ検出方法 |
| EP2031557B1 (en) * | 2006-06-08 | 2017-12-27 | Fujitsu Ltd. | Uncleanness detecting device |
| GB0717986D0 (en) * | 2007-09-14 | 2007-10-24 | Cnh Belgium Nv | A method and apparatus for detecting errors in electronically processed images |
| JP5240585B2 (ja) * | 2007-09-21 | 2013-07-17 | コニカミノルタアドバンストレイヤー株式会社 | 撮像方法及び撮像装置 |
| JP5207057B2 (ja) * | 2008-11-28 | 2013-06-12 | サクサ株式会社 | 撮影装置の汚れを検知する汚れ検知装置及び同検知方法 |
| JP2012038048A (ja) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | 車両用障害物検出装置 |
| JP5902049B2 (ja) | 2012-06-27 | 2016-04-13 | クラリオン株式会社 | レンズ白濁状態診断装置 |
| JP6117634B2 (ja) * | 2012-07-03 | 2017-04-19 | クラリオン株式会社 | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム |
| WO2014007153A1 (ja) | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
| US9804386B2 (en) | 2012-07-27 | 2017-10-31 | Nissan Motor Co., Ltd. | Camera device, three-dimensional object detection device, and lens cleaning method |
| JP6149616B2 (ja) * | 2013-08-30 | 2017-06-21 | トヨタ自動車株式会社 | 運転支援装置 |
| JP2016033729A (ja) * | 2014-07-31 | 2016-03-10 | クラリオン株式会社 | 周囲環境認識装置 |
| US10188036B2 (en) * | 2015-10-23 | 2019-01-29 | Carnegie Mellon University | System for evaluating agricultural material |
| US10172285B2 (en) | 2015-10-23 | 2019-01-08 | Carnegie Mellon University | System for evaluating agricultural material |
| JP6672202B2 (ja) * | 2017-03-03 | 2020-03-25 | 株式会社デンソーアイティーラボラトリ | 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム |
| CN108765424B (zh) * | 2018-04-03 | 2021-06-08 | 迈克医疗电子有限公司 | 污点区域检测方法和装置、分析仪器和存储介质 |
| JP6973298B2 (ja) | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
| TWI805725B (zh) | 2018-06-07 | 2023-06-21 | 日商索尼半導體解決方案公司 | 資訊處理裝置、資訊處理方法及資訊處理系統 |
| CN110031911A (zh) * | 2019-05-10 | 2019-07-19 | 同方威视技术股份有限公司 | 车辆底盘检查装置、方法及车辆扫描系统 |
| CN110166769B (zh) * | 2019-06-27 | 2020-10-02 | 信利光电股份有限公司 | 检测摄像模组输出错位的方法、装置、系统及存储介质 |
| CN111147761A (zh) * | 2019-12-28 | 2020-05-12 | 中国第一汽车股份有限公司 | 一种车用摄像设备清洗方法、系统、车辆及存储介质 |
| JP6946541B1 (ja) * | 2020-12-25 | 2021-10-06 | 株式会社クボタ | 河川監視装置、河川監視システム |
| JP7537314B2 (ja) | 2021-03-01 | 2024-08-21 | トヨタ自動車株式会社 | 車両用周辺監視装置及び車両用周辺監視システム |
| CN114778558B (zh) * | 2022-06-07 | 2022-09-09 | 成都纵横通达信息工程有限公司 | 基于视频图像的桥梁监测装置、系统及方法 |
| JP2024032176A (ja) * | 2022-08-29 | 2024-03-12 | 三菱重工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2002
- 2002-03-06 JP JP2002060114A patent/JP3807331B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10791252B2 (en) | 2017-08-01 | 2020-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
| US10701352B2 (en) | 2017-08-03 | 2020-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
| US10686991B2 (en) | 2018-09-11 | 2020-06-16 | Sony Corporation | Techniques for improving photograph quality for fouled lens or sensor situations |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259358A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
| JP5421072B2 (ja) | 接近物体検知システム | |
| JP6045889B2 (ja) | 車載用制御装置 | |
| JP2005001570A (ja) | 駐車支援装置 | |
| JP7229804B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| JP2008027309A (ja) | 衝突判定システム、及び衝突判定方法 | |
| JP2007221200A (ja) | 車両周辺監視装置 | |
| JP4826355B2 (ja) | 車両周囲表示装置 | |
| JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
| JP2009071539A (ja) | 車両用撮像装置 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP4930432B2 (ja) | 車両用周辺監視装置 | |
| JPH0552562A (ja) | 先行車追尾用車間距離検出装置 | |
| JP2005309660A (ja) | 車両用右左折支援装置 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP4635245B2 (ja) | 交差点における停止車両の発進状態計測装置 | |
| JP2009147906A (ja) | 車両周辺監視装置 | |
| JP2004200864A (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
| JP2008042759A (ja) | 画像処理装置 | |
| CN113538965A (zh) | 显示控制装置、显示控制方法及记录有程序的记录介质 | |
| JP4182665B2 (ja) | 接近物体検出装置 | |
| JP4585191B2 (ja) | ノーズビューシステム | |
| JPH08221698A (ja) | 車両用障害物検出装置 | |
| JP2003288678A (ja) | 中央線変移対応処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060508 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3807331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140526 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |