JP4245452B2 - レンズの汚れ判定方法及び装置 - Google Patents

Description

本発明は、レンズの汚れ判定方法及び装置に関し、特に撮像装置に用いられるカメラのレンズの汚れ判定を行う方法及び装置に関するものである。

車両等の移動体から特定文字やパターンを検出・認識するための画像処理装置等においては撮像装置が用いられ、この撮像装置におけるカメラのレンズ又はその前面パネルの汚れ（以下、レンズと総称する。）等によって画像処理能力の低下を招く場合がある。

このような撮像装置におけるレンズの汚れを判定する方法及び装置の従来技術としては次のようなものがあった。

(1)塗膜欠陥検出において、CCDカメラから前回取り込まれた画像と今回取り込まれた画像とを比較し、両画像の同一位置に欠陥がある場合に、これをレンズの汚れと判定するもの（例えば、特許文献1参照。）。

(2)車両検出時において、予め汚れ等問題の無いレンズで取り込んだ画像を保存しておき、運用時に取り込んだ画像との輝度差を同一領域について比較し、大きな輝度差が在る時にレンズの汚れと判定するもの（例えば、特許文献2参照。）。
特開平６−１４８０８３号公報 特開平２００１−５２１８５号公報

しかしながら、このような従来技術においては、野外等、環境が変化するために不特定又は不安定となる画像を用いてレンズの汚れ判定を行う場合には、背景に物が存在するのかレンズの汚れなのかを正確に判定することが困難であるため、人間が定期的に点検保守を行う必要があり、これに伴って多大な点検保守工数を必要としていた。また、全システムの定期点検の間隔によっては、性能が低下したままシステムが稼動しているような状態になる場合があった。

従って、本発明は、不特定の画像を処理する画像処理装置に用いられる撮像装置におけるレンズの汚れを正確に判定し、必要な箇所を迅速且つ効率良く保守できるようにすることを目的とする。

上記の目的を達成するため、本発明に係るレンズの汚れ判定方法は、撮像装置をズームアウト制御する過程で撮像した複数の画像を2値化して黒領域と白領域に変換する第1のステップと、前記複数の画像のうち一定枚数以上の同一領域に前記黒領域が存在しかつ該黒領域の大きさが一定値以上の場合、レンズの汚れ有りと判定する第2のステップと、を画像処理装置に実行させることを特徴としている。

すなわち本発明では撮像装置をズームアウトする過程で撮像した画像（以下、ズームアウト画像と称することがある。）を複数枚用いて撮像装置におけるカメラのレンズ（又はその前面パネル）の汚れ判定を行おうとするものである。この概念を図1及び図2を用いて以下に説明する。

今、図1(1)に示すように撮像装置1が前方の物体5及び6を撮映する時、撮像装置1のレンズに汚れが付着していない正常な状態における画像が、同図(2)及び(3)に示されている。

特に同図(2)は、撮像装置1が物体5及び6に対してズームインした時の画像を示しており、従って物体5及び6が拡大して近くに見えているが、同図(3)に示すズームアウト画像では、物体5及び6が縮小されて遠くに見える。

この場合、同図(3)に示すズームアウト画像では、撮像装置1のレンズの画角を広げる（ズームアウトする）ため被写界深度が深く（焦点が合う距離が長く）なり、レンズ付近の汚れに焦点が合うようになる。

すなわち、図2(1)に示すように、撮像装置1が物体6を撮影する場合、同図(2)に示すようにズームインする場合には、レンズ付近の汚れ7のように撮像面に近いものは焦点が合わなくぼやけた画像（図面では灰領域として示す。）になるが、同図(3)に示すようにズームアウトすると、レンズ付近の汚れ7に焦点が合うことになり、この汚れ7がはっきり見える画像（図面では黒領域として示す。）となる。そして、このズームアウト中の画像では、複数枚において同一位置で且つ汚れ領域分の画素数の画像が得られることになる。

上記の第1のステップでは、ズームアウト制御の代わりにパン制御（又はチルト制御）を行ってもよい。これを図3及び図4を参照して説明する。

図3(1)に示す状態で、撮像装置1が物体5及び6を撮像するとき、レンズに汚れが付着していなければ、同図(2)に示すようにパンする前は物体5及び6は右半分に位置しているが、同図(3)に示すようにパンした後には画面の左半分に移動した画像となる。

これに対し、図4(1)に示すように撮像装置1が物体6を撮像するときに、レンズに汚れ7が付着している場合には、同図(2)に示すパン前の画像において示されている汚れ7の黒領域は、同図(3)に示すパン後の画像においても物体6が左に移動しているにも関わらず、同じ位置に留っていることが分かるので、この黒領域が汚れ領域画素数以上で規定枚数以上、入力画像の同一領域に存在する場合にはレンズの汚れ有りと判定することができることになる。

なお、上記の第3ステップでレンズの汚れ有りと判定したときには、第4ステップで該レンズの汚れを除去することができる。

さらに上記の第3のステップでの判定結果を、第5のステップで、例えばネットワーク回線4を経由して画像処理装置2はセンタ装置3へ通知することができる。

さらに、上記の第1のステップから第4のステップを所定回数繰り返しても依然として上記第3のステップでレンズの汚れ有りと判定したときには、第6のステップにおいてレンズ異常と判定してもよい。

一方、夜間にレンズの汚れ判定を行う場合は、夜間用LED（発光ダイオード）照明をレンズに直接当てるようにすると、近くのものに強い光が当たることにより黒い物体でも白く光るので、上記の場合に黒領域と判定されたレンズの汚れは白領域となる。

この性質を用いることにより、本発明によるレンズの汚れ判定方法では、画像処理装置が、夜間用LED照明を撮像装置のレンズに直接当てた後、上記と同様に撮像装置からの入力画像を2値化して黒領域と白領域に変換し、上記の白領域が汚れ領域画素数以上で規定枚数以上、上記の入力画像の同一領域に存在する場合、レンズの汚れ有りと判定することができる。
なお、画像処理装置は、前記第1および第2のステップを繰り返し実行し、前記第2のステップにおけるレンズの汚れ有りとの判定が所定回数を越えない場合に撮像装置のワイパーを動作させ、所定回数を超えた場合にレンズ異常通知を送出することができる。

上記のレンズの汚れ判定方法を実現する装置としては、撮像装置をズームアウト制御する過程で該撮像装置から複数の画像を取り込む手段と、前記複数の画像を2値化して黒領域と白領域に変換した変換画像のうち一定枚数以上の同一領域に前記黒領域が存在しかつ該黒領域の大きさが一定値以上の場合、レンズの汚れ有りと判定する手段と、を有する画像処理装置を備えている。

この画像処理装置においても、ズームアウト制御の代わりにパン又はチルト制御を行うことができる。

また、上記の画像処理装置がレンズの汚れ有りと判定したとき、該レンズの汚れを除去する手段をさらに設けてもよい。

また、上記の画像処理装置が、判定結果をセンタ装置に通知する手段をさらに設けてもよい。

さらに、上記の画像処理装置が所定回数処理を繰り返しても依然としてレンズの汚れ有りと判定したとき、レンズ異常と判定する手段をさらに設けてもよい。

さらに本発明では、撮像装置と夜間用LED照明と該撮像装置のレンズに直接当て、該撮像装置からの入力画像を2値化して黒領域と白領域に変換すると共に、該白領域が汚れ領域画素数以上で規定枚数以上、該入力画像の同一領域に存在する場合、レンズの汚れ有りと判定する画像処理装置と、を備えたレンズの汚れ判定装置を提供することもできる。

本発明においてレンズの汚れを判定する場合、次の効果が得られる。

・環境の変化が大きい屋外の画像等の不特定な画像を処理する場合でも正確な汚れ判定
ができる。

・レンズ汚れ判定時にワイパーを自動で作動させることで、レンズに付着した汚れを自
動除去することができる。

・レンズ異常をセンタ装置を介してユーザに自動通知することで、システム性能が低下
したまま放置されることなく早急に対処できるので、システムを高品質に稼動維持できる。

・自動でレンズの汚れや異常を検出することで人間が定期的に行っていた保守点検の必
要がなくなり、効率的な保守を行うことができる。

図5は、本発明に係るレンズの汚れ判定方法を実現する装置の一実施例を示したものである。この実施例において、撮像装置1は、図1(1)〜図4(1)にも示したように、画像処理装置2に接続されており、この画像処理装置2はネットワーク回線4を経由してセンタ装置3と接続されている。

撮像装置1は、カメラ11と、このカメラ11のレンズ（図示せず）の汚れを除去するためのワイパー12と、このカメラ11の夜間照明用のLED13とを備えている。

また、画像処理装置2は、撮像装置1からの画像信号T1を取り込む画像取込部21と、この画像取込部21で取り込んだ複数枚の画像を輝度閾値以下の領域（以下、黒領域と称する。）と、輝度閾値以上の領域（以下、白領域と称する。）に分割する領域分割部22と、この領域分割部22で分割した画像を保存する演算画像格納部23と、この演算画像格納部23に保存された画像に基づいてレンズの汚れ判定を行う汚れ判定部24と画像取込部21で取り込んだ画像と汚れ判定部24による判定結果に基づいて制御信号T2を発生し、撮像装置1を制御する撮像装置制御部25とで構成されている。

また、センタ装置3は、ネットワーク回線4を経由して汚れ判定部24から送られて来る判定結果通知T3を取り込む通知取込部31と、この通知取込部31で取り込んだ通知を表示する通知表示部32とで構成されている。

図6は、図5に示した本発明に係るレンズの汚れ判定装置の動作をフローチャートで示したものである。以下、図5の実施例の動作を図6のフローチャートに沿って説明する。

まず、画像処理装置2の撮像装置制御部25は、撮像装置1のカメラ11に対して、制御を開始する（図6のステップS1）。この場合、図2(3)に示したようにズームアウト制御を行っても良いし、或いは、図4(3)に示したようにパン制御（又はチルト制御）を行ってもよい。

この後、画像処理装置2は、画像取込部21においてカメラ11からのズームアウト画像信号T1を取り込む（同ステップS2）。

そして、領域分割部22において画像信号T1の2値化変換を行って黒領域と白領域に分割する（同ステップS3）。これは図7に示すように、同図(1)の実際のズームアウト画像において黒く塗りつぶした部分の輝度を閾値に基づいて2値化変換を行うと、黒領域を“1”、それ以外を“0”とした2値化変換画像（黒/白領域分割画像）が同図(2)に示すように得られる。

このようにして得られた図7(2)の変換画像を演算画像格納部23に格納する（同ステップS4）。そして、このズームアウト画像の格納を所定の回数分（例えばサンプリング回数分）だけ実行する(同ステップS5)。

このようにして、演算画像格納部23に所定の保存回数分2値化変換画像を格納した後、撮像装置制御部25はカメラ11に対する制御を停止し(同ステップS6)、カメラ制御前の状態に戻す(同ステップS7)。

すなわち、上記のステップS1においてズームアウト又はパン/チルト制御を行っているので、カメラ制御開始前の通常の状態に戻す必要があるためである。

この後、汚れ領域が存在するか否かを判定する（同ステップS8）。まず、下記のように数値を設定する。

・画像保存回数：5回
・汚れ有り判定枚数：4枚
・ワイパー動作回数：5回
・レンズ異常判定回数：3回
・汚れ領域判定画素数：3領域
図8は、演算画像格納部23に格納される図7(2)の2値化変換画像を上記の如く5枚分とって且つ部分的に示したものである。このように、5枚保存した変換画像の内、撮像装置のレンズに汚れが付着しているため、輝度値が閾値より低い黒領域(“1”の領域)が、例えば図8に太線内で示す同一領域に一定枚数（上記の汚れ有り判定枚数「4」）以上存在し、且つ黒領域の大きさが一定値（上記の汚れ領域判定画素数「3」）以上の場合は汚れ有りと汚れ判定部24が判定することになる。

そしてこのように、汚れ有りと判定された場合において、この「汚れ有り」の判定結果が規定回数（レンズ異常判定回数「3」）を超えない場合は（同ステップS9）、撮像装置制御部25がワイパー12を起動することにより(同ステップS10)、レンズの汚れを落とすが、上記の規定回数を超えた場合には（同ステップS9）、取れない汚れや傷等であり、従って「レンズ異常」と汚れ判定部24は判定し(同ステップS11)、例えばセンタ装置3に対して判定結果通知T3としてレンズ異常通知を送ることになる。

図8の例では、2値化値“1”の同一黒領域は６画素分あり、4枚に渡って存在している。よって、レンズの汚れと判定し、ワイパーを5回作動して汚れを除去する。この処理を3回連続行っても「汚れあり」と判定される場合は「レンズ異常」と判定し、ネットワーク回線4を介してセンタ装置3にアラームを上げる。

センタ装置3ではこのレンズ異常通知を通知取込部31から通知表示部32へ送り、例えばレンズ異常をユーザに知らせることができる。
（付記１）
撮像装置をズームアウト制御する第1のステップと、
該撮像装置からの入力画像を2値化して黒領域と白領域に変換する第2のステップと、
該黒領域が汚れ領域画素数以上で規定枚数以上、該入力画像内の同一領域に存在する場合、該撮像装置のレンズの汚れ有りと判定する第3のステップと、
を備えたことを特徴とするレンズの汚れ判定方法。
（付記２）付記１において、
該第1のステップで、ズームアウト制御の代わりにパン又はチルト制御を行うことを特徴とするレンズの汚れ判定方法。
（付記３）付記１において、
該第3のステップでレンズの汚れ有りと判定したとき、該レンズの汚れを除去する第4のステップをさらに備えたことを特徴とするレンズの汚れ判定方法。
（付記４）付記１において、
該第3のステップでの判定結果をセンタ装置に通知する第5のステップをさらに備えたことを特徴とするレンズの汚れ判定方法。
（付記５）付記３において、
該第1から4のステップを所定回数繰り返しても依然として該第3のステップでレンズの汚れ有りと判定したとき、レンズ異常と判定する第6のステップをさらに備えたことを特徴とするレンズの汚れ判定方法。
（付記６）
夜間用LED照明を撮像装置のレンズに直接当てるステップと、
該撮像装置からの入力画像を2値化して黒領域と白領域に変換するステップと、
該白領域が汚れ領域画素数以上で規定枚数以上、該入力画像の同一領域に存在する場合、レンズの汚れ有りと判定するステップと、
を備えたことを特徴とするレンズの汚れ判定方法。
（付記７）付記１から６のいずれか１つにおいて、
該レンズが、その前面パネルを含むことを特徴とするレンズの汚れ判定方法。
（付記８）
撮像装置と、
該撮像装置をズームアウト制御し、該撮像装置からの入力画像を2値化して黒領域と白領域に変換すると共に、該黒領域が汚れ領域画素数以上で規定枚数以上、該入力画像内の同一領域に存在する場合、該撮像装置のレンズの汚れ有りと判定する画像処理装置と、
を備えたことを特徴とするレンズの汚れ判定装置。
（付記９）付記８において、
該画像処理装置が、ズームアウト制御の代わりにパン又はチルト制御を行うことを特徴とするレンズの汚れ判定装置。
（付記１０）付記８において、
該画像処理装置が、レンズの汚れ有りと判定したとき、該レンズの汚れを除去する手段をさらに備えたことを特徴とするレンズの汚れ判定装置。
（付記１１）付記８において、
該画像処理装置が、判定結果をセンタ装置に通知する手段をさらに備えたことを特徴とするレンズの汚れ判定装置。
（付記１２）付記１０において、
該画像処理装置が、該レンズの汚れを除去するまでの処理を所定回数繰り返しても依然としてレンズの汚れ有りと判定したとき、レンズ異常と判定する手段をさらに備えたことを特徴とするレンズの汚れ判定装置。
（付記１３）
撮像装置と、
夜間用LED照明と、
該撮像装置のレンズに直接当て、該撮像装置からの入力画像を2値化して黒領域と白領域に変換すると共に、該白領域が汚れ領域画素数以上で規定枚数以上、該入力画像内の同一領域に存在する場合、レンズの汚れ有りと判定する画像処理装置と、
を備えたことを特徴とするレンズの汚れ判定装置。
（付記１４）付記８から１３のいずれか１つにおいて、
該レンズが、その前面パネルを含むことを特徴とするレンズの汚れ判定装置。

撮像装置がズーム機能を用いたときにレンズ汚れが付着していない場合のズームイン画像及びズームアウト画像を示した図である。 撮像装置がズーム機能を用いたときにレンズ汚れが付着している場合のズームイン画像及びズームアウト画像を示した図である。 撮像装置がパン/チルト機能を用いたときにレンズ汚れが付着していない場合のズームイン画像及びズームアウト画像を示した図である。 撮像装置がパン/チルト機能を用いたときにレンズ汚れが付着している場合のズームイン画像及びズームアウト画像を示した図である。 本発明に係るレンズの汚れ判定方法を実現するための装置の一実施例を示したブロック図である。 図5に示した画像処理装置の動作例を示したフローチャート図である。 撮像装置で撮像したズームアウト画像を2値化変換画像に変換する例を示した図である。 2値化変換して保存した汚れ付着時の画像の一部を例示した図である。

符号の説明

1 撮像装置
2 画像処理装置
3 センタ装置
4 ネットワーク回線
5,6 物体
11 カメラ
12 ワイパー
13 夜間照明用LED
21 画像取込部
22 画像分割部
23 演算画像格納部
24 汚れ判定部
25 撮像装置制御部
31 数値取込部
32 数値表示部
図中、同一符号は同一又は相当部分を示す。

Claims (4)

1. 撮像装置をズームアウト制御する過程で撮像した複数の画像を2値化して黒領域と白領域に変換する第1のステップと、
   前記複数の画像のうち一定枚数以上の同一領域に前記黒領域が存在しかつ該黒領域の大きさが一定値以上の場合、レンズの汚れ有りと判定する第2のステップと、
   を画像処理装置に実行させることを特徴とするレンズの汚れ判定方法。
2. 前記画像処理装置は、前記第1および第2のステップを繰り返し実行し、前記第2のステップにおけるレンズの汚れ有りとの判定が所定回数を超えない場合に前記撮像装置のワイパーを動作させ、所定回数を超えた場合にレンズ異常通知を送出することを特徴とする請求項1記載のレンズの汚れ判定方法。
3. 撮像装置をズームアウト制御する過程で該撮像装置から複数の画像を取り込む手段と、 前記複数の画像を2値化して黒領域と白領域に変換した変換画像のうち一定枚数以上の同一領域に前記黒領域が存在しかつ該黒領域の大きさが一定値以上の場合、レンズの汚れ有りと判定する手段と、
   を有する画像処理装置を備えたことを特徴とするレンズの汚れ判定装置。
4. 前記画像の取り込み及び前記汚れの判定を繰り返し実行すること、および、該汚れ判定部が、レンズの汚れ有りとの前記判定が所定回数を超えない場合に前記撮像装置のワイパーを動作させ、所定回数を超えた場合にレンズ異常通知を送出することを特徴とする請求項3記載のレンズの汚れ判定装置。

Images