JP6777012B2 - 撮像装置、レンズ汚れ検出方法およびレンズ汚れ検出プログラム - Google Patents

Description

本発明は、撮像装置のレンズの汚れを検出する技術に関する。

屋外撮影用カメラや車載カメラの場合、レンズが汚れやすいため、カメラで撮影した映像を人が見て、レンズ汚れを疑う状況であれば人手で清掃をしていた。カメラが取り付けられる場所や使用形態は多岐にわたるため、レンズ清掃の自動化が求められている。

特許文献１には、カメラの撮影領域内に遮光領域を設け、遮光領域を撮影した画像に基づき、撮影レンズに付着した付着物を検出し、付着物を除去する動作を行う車載装置が開示されている。また、特許文献２には、撮像窓を介して撮像された画像信号の評価値に応じて撮像窓の水滴付着を判定し、付着した水滴を除去する撮像装置が開示されている。

特開２０１４−１３４４９号公報 特開２０１５−４６８５１号公報

特許文献１に記載の車載装置は、遮光領域を撮影した画像に基づき、付着物を検出することにより、付着物の画像が他の画像に紛れてしまい誤検出されることを抑止する。しかし、カメラレンズの汚れの程度を精度良く判定することは難しい。たとえば、異物が付着している状態は比較的容易に検出することができるが、細かい霧状の一様な汚れに対しては検出精度が不十分であった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラレンズの汚れの程度を精度良く判定する技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像装置は、１次元または２次元に明暗差をもつ複数のエリアを有する基準パターンを被写体の一部として撮像した撮像画像から前記基準パターンのエリア毎の輝度信号レベルを示す特徴量を抽出し、抽出された特徴量を基準値と比較することによりレンズ汚れを判定する判定部（５０）と、前記判定部によるレンズ汚れの判定結果にもとづいてレンズの洗浄を指示する信号を出力する洗浄指示出力部（８０）とを含む。

本発明の別の態様は、レンズ汚れ検出方法である。この方法は、１次元または２次元に明暗差をもつ複数のエリアを有する基準パターンを被写体の一部として撮像した撮像画像から前記基準パターンのエリア毎の輝度信号レベルを示す特徴量を抽出するステップと、抽出された特徴量を基準値と比較することによりレンズ汚れを判定する判定ステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、カメラレンズの汚れの程度を精度良く判定することができる。

実施の形態に係る撮像装置の外観図である。 図２（ａ）および図２（ｂ）は、遮光部の裏側に設けられる基準パターンの一例を説明する図である。 図３（ａ）および図３（ｂ）は、撮像装置による撮像画像を説明する図である。 撮像装置の機能構成図である。 図２（ａ）の黒白市松模様の基準パターンの撮像時に得られる信号波形を示す図である。 図６（ａ）および図６（ｂ）は、撮像装置によるレンズ汚れ検出処理のフローチャートである。

図１は、実施の形態に係る撮像装置１００の外観図である。撮像装置１００は、一例として天井や壁に設置されており、室内の照明装置による光が撮像装置１００のレンズに直接入り込まないよう遮蔽するために遮光部１１０が備えられる。遮光部１１０があるため、撮像装置１００の撮影画角１３０に対して、符号１４０で示した領域は遮光領域となる。遮光領域１４０では外界の撮影が遮断され、遮光部１１０の裏側（撮像装置１００のレンズに面する側）が撮影される。遮光部１１０の裏側には基準パターン１２０が設けられる。

図２（ａ）および図２（ｂ）は、遮光部１１０の裏側に設けられる基準パターン１２０の一例を説明する図である。基準パターン１２０は、１次元または２次元に明暗差をもつ複数のエリアを有するパターンであり、たとえば図２（ａ）のように黒と白の市松模様、図２（ｂ）のように黒と白の縞模様である。明暗差がはっきりしていれば、黒と白に限らず、たとえば赤と白などであってもよい。基準パターン１２０は遮光部１１０の内側の全面に設けられてもよく、遮光部１１０の内側の一部に設けられてもよい。

図３（ａ）および図３（ｂ）は、撮像装置１００による撮像画像３００を説明する図である。図３（ａ）は、参考のため、遮光部１１０に基準パターン１２０が設けられていない場合の撮像画像３００を示す。撮像画像３００の上部の領域３１０は、図１の遮光領域１４０を撮影した画像であり、外界が撮影されず、遮光部１１０の内側が写り込んでいる。

図３（ｂ）は、遮光部１１０に図２（ａ）で示した基準パターン１２０が設けられている場合の撮像画像３００を示す。撮像画像３００の上部の領域３２０は、遮光部１１０の内側に設けられた基準パターン１２０が写り込んでいる。

撮像装置１００は、撮像画像３００の一部に写り込んだ基準パターン１２０の画像を解析して、撮像装置１００の光学系に生じたＭＴＦ（変調伝達関数；Modulation Transfer Function）の低下を検出することにより、撮像装置１００のレンズ汚れを判定する。ＭＴＦは、レンズの結像性能を評価する指標であり、被写体のもつコントラストを再現できる度合いを空間周波数特性として表したものである。

図１には図示されていないが、撮像装置１００のレンズを洗浄するための洗浄装置が設けられ、レンズ汚れが検出された場合、洗浄装置が撮像装置１００のレンズを洗浄する。洗浄装置は、さらに遮光部１１０に設けられた基準パターン１２０を洗浄する機能を有してもよい。洗浄装置は、たとえばワイパーや洗浄液を噴射するノズルなどを含む。

図４は、撮像装置１００の機能構成図である。レンズ１０は、被写体からの光を集光し、イメージセンサ２０に結像させる。イメージセンサ２０は、光電変換センサであり、受光した被写体像を電気信号に変換する。信号処理部３０は、イメージセンサ２０からのセンサ出力を映像信号に整える。映像信号出力部４０は、信号処理部３０から供給される映像信号を外部機器に出力する。

制御部６０は、撮像装置１００の各機能ブロックの動作を制御する。制御部６０が行う制御には、撮像素子の露光時間などの撮影条件の調整が含まれる。駆動部７０は、制御部６０からの指示にしたがってレンズのズーム、フォーカス、アイリスを駆動する。

レンズ汚れ判定部５０は、信号処理部３０からの画像信号を解析し、撮像画像内の基準パターン１２０の画像からコントラストを示す特徴量を抽出し、光学撮像系のＭＴＦの低下を評価し、レンズ汚れを判定する。レンズ汚れ判定部５０は、ＭＴＦの低下によりレンズ汚れを判定した場合、制御部６０にレンズ汚れの発生を通知する。

制御部６０は、レンズ汚れ判定部５０からレンズ汚れ発生通知を受け取ると、洗浄指示出力部８０に洗浄命令を供給する。洗浄指示出力部８０は洗浄指示信号を洗浄装置制御部２１０に供給する。

洗浄装置制御部２１０は、撮像装置１００からの洗浄指示信号にもとづいて洗浄装置２００の動作を制御し、洗浄装置２００にレンズ１０または基準パターン１２０の洗浄を行わせる。

以下、レンズ汚れ判定部５０によるレンズ汚れ検出方法について詳しく説明する。

レンズの汚れは、レンズ表面に異物が付着することで発生するが、これには、
（Ａ）レンズのごく一部分の限定された領域に異物が付着する場合と、
（Ｂ）細かく霧状に一様に付着物が付く場合とがある。
いずれの場合でもレンズ汚れとして検出・判定する必要がある。

レンズ汚れ判定部５０は、レンズ汚れがない基準状態で基準パターン１２０を撮像した画像から得られる信号波形の特徴量を算出し、基準値としてあらかじめ記憶しておく。実際のレンズ汚れの評価実施時には、レンズ汚れ判定部５０は、基準パターン１２０を撮影した画像から信号波形の特徴量を抽出し、抽出された特徴量をあらかじめ記憶された基準値と比較することにより、レンズ汚れの状態を評価する。

信号波形の特徴量として、コントラスト（明暗比）やＭＴＦなどレンズの空間周波数特性を示す特徴量を画像から抽出する。

レンズ汚れ判定部５０は、撮像装置１００が稼働している間、撮像装置１００の撮像画像内の基準パターン１２０の画像領域から信号波形の特徴量を抽出し、抽出された特徴量と基準値の差が所定の閾値を超えた場合、レンズ汚れと判定し、洗浄指示出力部８０が洗浄指示信号を出力する。

基準パターン１２０は、黒白市松模様のような明暗差のあるパターンであるため、基準パターン１２０の撮像画像からコントラストを示す特徴量や空間周波数成分量を算出することができる。

基準パターン１２０が撮像された１フレームの画像から基準パターンの明暗差のあるエリア毎に輝度信号レベルを示す特徴量を算出する。エリア毎の輝度信号レベルの特徴量は、輝度信号レベルの最大値・最小値、平均輝度レベル、輝度値の分布を示すヒストグラム、輝度信号に含まれる周波数成分のヒストグラム、コントラスト値などから抽出する。

図２（ａ）のような黒白市松模様の基準パターン１２０の場合、基準パターン１２０のエリアの輝度信号の最大値は白ピーク値であり、輝度信号の最小値は黒ボトム値である。平均輝度レベルはエリア内の輝度値の平均値である。輝度信号レベルの最大値と最小値は撮像装置１００に通常備わる最小値／最大値のサンプルホールド機能により取得することができる。

基準パターン１２０のエリア内の各輝度値とその輝度値をもつ画素数を集計したヒストグラムは、エリア内の輝度値の分布を示す。輝度信号レベルのヒストグラムとして、エリア内で所定の閾値より大きな輝度値をもつ画素数または所定の閾値より小さな輝度値をもつ画素数を計数したものを利用してもよい。基準パターン１２０のエリア毎の輝度信号レベルのヒストグラムにより、輝度信号の高周波成分量を原画像領域で評価することができる。一方、輝度信号の周波数成分のヒストグラムは、原画像を空間周波数変換し、高周波成分量を周波数領域で評価することにより得られる。

基準パターン１２０のコントラスト値は輝度信号レベルの最大値と最小値の差として得られる。基準パターン１２０のエリアの明暗差が大きいほど、コントラスト値が大きくなる。レンズ表面が一様に汚れた場合、基準パターン１２０のエリアの明暗差は低下し、コントラスト値が小さくなる。

ここで輝度信号レベルの最大値は白ピーク値であるが、撮像時の環境条件によって輝度信号レベルに相違が生じる。環境条件の違いによる影響を排除することを目的として、撮影時の白ピーク値があらかじめ記憶している基準値と同じレベルになるように、たとえば、測定値をスケーリングする演算を施すか、電子シャッタによるイメージセンサ２０の露光時間などの撮像条件を調整する。これにより、環境条件の違いをなくして、白ピーク値を揃えた状態で特徴量の測定値と基準値を比較することができる。

レンズ表面に異物が付着した場合、レンズの一部の特定領域に付着した異物により、イメージセンサへの入射光量が低下し、当該特定領域での遮光が発生するため、特定領域における信号波形の特徴量が基準値から外れる。基準値からの変化を検出することにより、異物付着の判定が可能である。

一方、レンズ表面に霧状の水滴が一様に付着した場合、レンズへの入射光はレンズ表面の水滴群により乱反射し、イメージセンサを介して得られる画像は白ピーク値が減衰して全体に白っぽく靄（もや）がかかったような画像になり、画像の黒部分では画像の黒い部分が灰色に見える「黒浮き」が生じる。また、レンズ表面に砂ほこり等が一様に付着した場合でも同様であるが、砂による遮光効果のため、白ピーク値が若干減衰することがみられる。

このように、霧や砂など細かな粒子がレンズ表面に一様に汚れとして付着する場合、レンズ光学系のＭＴＦを測定すると、空間周波数特性において特に高周波帯の伝達特性が低下する変化が生じ、それにより信号の矩形波に「なまり」が発生する。また、光の遮光・散乱による白レベル低下、黒浮き現象も発生する。このようなＭＴＦの低下を検出することにより、レンズ表面に一様な汚れを判定することができる。

レンズ光学系のＭＴＦ低下による波形なまりを検出する方法を詳細に説明する。

図５は、図２（ａ）の黒白市松模様の基準パターンの撮像時に得られる信号波形を示す図である。市松模様の格子のサイズをＮ画素×Ｎ画素とする。同図は、第ｉ行（ｉ＝１，…，Ｎ）の画素列について画素の輝度値をグラフにしたものであり、横軸は画素列の画素番号であり、縦軸は輝度値である。ここでは白格子、黒格子と続く２つの明暗差のあるエリアにおける輝度変化を示す。白格子のエリアは高輝度エリアであり、黒格子のエリアは低輝度エリアである。

黒白市松模様の基準パターンを撮像した際に得られる信号波形は、光学撮像系の伝達特性により決まる。伝達特性が高周波帯域まで十分に良好であれば、信号波形は矩形波となり、高周波帯域のＭＴＦが低下していれば、矩形波の高調波成分が減衰し、信号波形は基本周波数の正弦波に近い形状となる。

グラフＧ１は、レンズ表面に汚れ付着がない場合の信号波形であり、標準状態としてほぼ矩形波であり、白格子のエリアでは輝度値はピーク値２．０を取り、黒格子のエリアでは輝度値はボトム値０を取る。

矩形波は、周波数面から見た場合、基本周波数の基本波と各次高調波を合成した構造を有するが、レンズ光学系に一様な汚れが付着しＭＴＦが低下すると、矩形波の周波数面で見た構成が変化し、高周波成分が減衰することにより、波形なまりが発生する。

グラフＧ２〜グラフＧ７は、レンズ光学系に付着した一様な汚れが増していった場合の信号波形を示す。グラフＧ１の矩形波から高周波成分が減衰することにより、格子の境界において信号がなまり、エリアの境界がはっきりしなくなる。また、一様な汚れが増すにつれ、白ピーク値が２．０よりも小さくなっていく一方、黒ボトム値が０よりも大きくなっていく。

原画像において矩形波の周波数成分を評価する方法を説明する。矩形波と正弦波を識別するには、高輝度エリアにおいて高レベル画素計数用閾値より大きな信号レベルを有する有効画素数、および、低輝度エリアにおいて低レベル画素計数用閾値より小さな信号レベルを有する有効画素数を特徴量として比較すればよい。高輝度エリアにおける有効画素数および低輝度エリアにおける有効画素数が大きいほど、高周波成分量を多く含みことから、矩形波に近い信号として検出可能である。言い換えれば、コントラストが大きい高輝度／低輝度エリアに存在する画素数をカウントすることにより、画像信号の高周波成分の減衰の程度を推し量ることができる。

具体的には、図５に示すように、レンズ汚れのない基準状態での白ピーク値２．０よりも小さい第１閾値ａを設定し、白エリア毎に第１閾値ａより大きな信号レベルを有する画素数を有効画素数として計数し、基準状態での黒ボトム値０より大きい第２閾値ｂを設定し、黒エリア毎に第２閾値ｂより小さな信号レベルを有する画素数を有効画素数として計数する。第ｉ行の画素列について水平Ｎ画素毎に高輝度エリアの有効画素数、低輝度エリアの有効画素数を計数し、ｉ＝１，…、Ｎについて積算することにより、各白格子の有効画素数、各黒格子の有効画素数を得ることができる。

グラフＧ１のようにレンズ汚れがない基準状態の場合、矩形波であるから、基準パターン１２０の白格子、黒格子ともにエリア毎の有効画素数はＮ×Ｎ個であり、これが基準値となる。グラフＧ２〜Ｇ７のようにレンズ表面の一様な汚れが増していくと、波形なまりが徐々に強くなり、エリア毎の有効画素数は減っていく。白エリアにおける有効画素数、黒エリアにおける有効画素数をそれぞれ基準値と比較することにより、波形なまりの度合いを評価することができる。

別の判定方法として、輝度信号レベルの最大値と最小値の差をコントラスト値として評価し、コントラスト値の大小により、波形なまりの度合いを判定してもよい。図５に示すように、レンズ汚れのない基準状態では、輝度信号レベルの最大値は白ピーク値の２．０、最小値は黒ボトム値の０であるから、コントラスト値は２．０である。レンズ汚れが発生すると、白ピーク値は小さくなり、黒ボトム値は大きくなる。たとえば、高輝度エリアで白ピーク値が１．８に減り、低輝度エリアで黒ボトム値が０．２に増えた場合、コントラスト値は１．６になる。コントラスト値の低下により、レンズ汚れの度合いを評価することができる。

高周波成分の減衰を原画像領域において検出する方法を説明したが、別の方法として、画像信号を離散コサイン変換などにより空間周波数領域に変換して周波数ヒストグラムを取得し、直接的に高周波成分の減衰を測定してもよい。具体的にはレンズ汚れがない基準状態において黒白市松模様の基準パターンを撮像し、画像信号に対して空間周波数変換を施し、空間周波数成分を基準値として記憶しておく。レンズ汚れが発生した場合、画像信号の高調波成分が減衰するため、基準値と比較することによって、レンズ汚れを検出することができる。あるいは、１以上の特定の空間周波数成分をフィルタリングして取り出し、その量を計測することにより、空間周波数成分の構成の変化を検出してもよい。

レンズ汚れ判定の前処理として、信号処理部３０は自動利得制御、自動ホワイトバランス制御などを行い、良好な撮像結果が常に安定して得られるようにする。レンズ汚れ判定時は、光が遮光された基準パターンの領域のみを自動利得制御対象の領域にすることで、昼夜天候に依らず常に正しく判定することができる。

上述のような判定方法により、明暗差のある既知の基準パターンを撮像した結果を評価することにより、レンズ汚れによる光学系のＭＴＦの低下を検出することが可能である。ＭＴＦ低下をレンズ汚れと解釈することにより、霧、砂などの一様な汚れの付着を検出することが可能となる。上述の判定方法は、レンズ表面の一様な汚れだけでなく、レンズの一部に異物が付着した場合も検出できる。

図６（ａ）および図６（ｂ）は、撮像装置１００によるレンズ汚れ検出処理のフローチャートである。図６（ａ）のレンズ汚れ検出処理は、レンズ汚れが判定されると、直ちにレンズ洗浄を行う。図６（ｂ）のレンズ汚れ検出処理は、レンズ汚れが判定された後、まず基準パターンを洗浄し、依然としてレンズ汚れが判定された場合にレンズ洗浄を行う。

図６（ａ）を参照する。イメージセンサ２０を駆動し、１フレームを撮像し、映像信号を取得する（Ｓ１０）。レンズ汚れ判定部５０は、基準パターンエリアの映像信号からコントラストを示す特徴量を算出する（Ｓ１２）。

レンズ汚れ判定部５０は、特徴量を基準値と比較することにより、レンズ汚れの状態を判定する（Ｓ１４）。レンズ汚れではないと判定した場合（Ｓ１４のＮＯ）、ステップＳ１０に戻り、次のフレームを撮像して、次のフレームの基準パターンエリアの映像信号から特徴量を算出する。

レンズ汚れであると判定した場合（Ｓ１４のＹＥＳ）、洗浄指示出力部８０は、洗浄装置制御部２１０に洗浄指示信号を供給し、洗浄装置制御部２１０は洗浄装置２００を駆動して、レンズ１０を洗浄させる（Ｓ１６）。洗浄装置制御部２１０は洗浄装置２００を駆動して基準パターン１２０も合わせて洗浄させることもできる。

図６（ｂ）を参照する。イメージセンサ２０を駆動し、１フレームを撮像し、映像信号を取得する（Ｓ２０）。レンズ汚れ判定部５０は、基準パターンエリアの映像信号からコントラストを示す特徴量を算出する（Ｓ２２）。

レンズ汚れ判定部５０は、特徴量を基準値と比較することにより、レンズ汚れの状態を判定する（Ｓ２４）。レンズ汚れではないと判定した場合（Ｓ２４のＮＯ）、ステップＳ１０に戻り、次のフレームを撮像して、次のフレームの基準パターンエリアの映像信号から特徴量を算出する。

レンズ汚れであると判定した場合（Ｓ２４のＹＥＳ）、洗浄指示出力部８０は、洗浄装置制御部２１０に基準パターン１２０を洗浄する洗浄指示信号を供給し、洗浄装置制御部２１０は洗浄装置２００を駆動して、基準パターン１２０を洗浄させる（Ｓ２６）。

イメージセンサ２０を駆動し、１フレームを撮像し、映像信号を取得する（Ｓ２８）。レンズ汚れ判定部５０は、基準パターンエリアの映像信号からコントラストを示す特徴量を算出する（Ｓ３０）。

レンズ汚れ判定部５０は、特徴量を基準値と比較することにより、レンズ汚れの状態を判定する（Ｓ３２）。レンズ汚れではないと判定した場合（Ｓ３２のＮＯ）、ステップＳ１０に戻り、それ以降のステップを繰り返す。

レンズ汚れであると判定した場合（Ｓ３２のＹＥＳ）、洗浄指示出力部８０は、洗浄装置制御部２１０にレンズ１０を洗浄する洗浄指示信号を供給し、洗浄装置制御部２１０は洗浄装置２００を駆動して、レンズ１０を洗浄させる（Ｓ３４）。

図６（ｂ）の場合、画像信号の特徴量からレンズ汚れであると判定しても、直ちにレンズ１０を洗浄せず、まず基準パターン１２０を洗浄する。これは、レンズ１０は汚れておらず、基準パターン１２０が汚れている場合を想定している。洗浄装置２００がレンズ１０を洗浄する間は、被写体の撮影ができず、映像が途切れる。レンズ１０を洗浄する前に基準パターン１２０を洗浄するステップを加えることで、レンズ１０が汚れていない場合にレンズ１０の洗浄をすることで映像が途切れるのを防ぐことができる。

基準パターン１２０は、遮光部１１０の裏側に設けられているため、基準パターン１２０を撮影するのに適した露出時間などの撮影条件は、外界の被写体を撮影するときの撮影条件とは異なることがある。そこで、撮影モードを以下の３つの場合に分けて説明する。

（１）露光時間を変化させた撮像を行わず、被写体エリアと基準パターンエリアの両方を同時撮像することによりレンズ汚れ判定を行う場合
通常の撮影を行い、その過程でレンズ汚れ判定も実施する。被写体全体の明度を評価し、それが良好に維持できるようイメージセンサ２０の露光時間を制御する。撮影モードを切り替える必要がないため、最も簡単であるが、外界が極端に明るく、遮光部１１０の裏側が暗い場合には、基準パターン１２０の画像が暗くなるため、汚れ検出の精度に影響を与えることもある。

（２）通常撮像モードとは別にレンズ汚れ判定用撮影モードを設ける場合
「通常撮影モード」とは別に、基準パターンエリアを良好に撮像でき、かつ、レンズ汚れを判定するに適した露出時間などの撮影条件を設定した「レンズ汚れ判定用撮影モード」を設け、通常撮影モードからレンズ汚れ判定用撮影モードに切り替えて、基準パターンエリアを撮影し、レンズ汚れ判定を行う。たとえば、基準パターンを撮像して得られる信号波形の振幅が所定の値になるよう露光時間や信号処理を調整した「レンズ汚れ判定用撮影モード」を設定する。

通常撮影モードからレンズ汚れ判定用撮影モードに移行するルールは、撮像装置１００が使われる環境に合わせて設定する。たとえば、車のバックカメラとして利用される場合は、車のギアがバックに入っていないときに、汚れ判定モードに移行し、車のギアがバックに入っている間は、常に通常撮影モードになるように制御する。

（３）通常撮像モードの中で画像のダイナミックレンジに応じて露光時間を変更してレンズ汚れ判定を行う場合
一般に、広ダイナミックレンジ撮像を行う場合、イメージセンサの露光時間をフレーム毎に長短変更し、長露光画像と短露光画像を合成することで広ダイナミックレンジの画像を生成する。広ダイナミックレンジ撮像の方法を利用すれば、二つの露光条件を独立に設定して二種類の露光画像を取得することができる。外界の被写体と基準パターンの明度の違いに応じて、外界の被写体に適した短い露光時間で短露光画像を撮像し、基準パターンに適した長い露光時間で長露光画像を撮像する。このようにすれば、上記の（２）の「レンズ汚れ判定用撮影モード」と同様に、露光時間などの撮影条件を遮光部１１０の裏側に設けられた基準パターンに合わせて調整し、レンズ汚れ判定を良好に行うことができる。

上記の（１）の通常撮像モードによって被写体エリアと基準パターンエリアの両方を同時撮像する方法では、被写体エリアの明度と基準パターンエリアの明度との間に大きな差がある場合、上記の（２）の「レンズ汚れ判定用撮影モード」のように基準パターンに適した信号レベルに設定することができない。そのため、レンズ汚れを評価する際に、被写体の明度に応じて閾値などのパラメータを適宜変更する制御が必要になる。それに対して、上記の（３）の広ダイナミックレンジ撮像を利用する方法では、被写体エリアの明度と基準パターンエリアの明度にそれぞれ合わせて露光時間などの撮影条件を独立に調整し、被写体エリアと基準パターンエリアをそれぞれ良好に撮像することができる。また、上記の（２）のように撮影モードを切り替える制御は不要であり、被写体エリアを撮像すると同時に基準パターンエリアにおいてレンズ汚れを評価することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態では、基準パターン１２０を遮光部１１０の裏側に設けて基準パターン１２０を撮影したが、撮像装置１００に遮光部１１０が設けられない場合、基準パターン１２０をたとえば壁や床などに設置しておき、外界の被写体の一部として撮影された基準パターン１２０の画像からレンズ汚れを判定してもよい。あるいは、壁などに設置された基準パターン１２０を撮影できるように撮像装置１００の向きを制御し、基準パターン１２０に焦点を合わせて撮影し、基準パターン１２０の画像からレンズ汚れを判定してもよい。

なお、実施の形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

１０ レンズ、 ２０ イメージセンサ、 ３０ 信号処理部、 ４０ 映像信号出力部、 ５０ レンズ汚れ判定部、 ６０ 制御部、 ７０ 駆動部、 ８０ 洗浄指示出力部、 １００ 撮像装置、 １１０ 遮光部、 １２０ 基準パターン、 ２００ 洗浄装置、 ２１０ 洗浄装置制御部。

Claims (7)

1. １次元または２次元に明暗差をもつ複数のエリアを有する基準パターンを被写体の一部として撮像した撮像画像から前記基準パターンのエリア毎の輝度信号レベルを示す特徴量を抽出し、抽出された特徴量を基準値と比較することによりレンズ汚れを判定する判定部と、
   前記判定部によるレンズ汚れの判定結果にもとづいてレンズの洗浄を指示する信号を出力する洗浄指示出力部とを含むことを特徴とする撮像装置。
2. 前記基準パターンは、カメラの遮光部に設けられることを特徴とする請求項１に記載の撮像装置。
3. 前記基準パターンは、縞模様または市松模様であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記判定部は、前記基準パターンのエリア毎に所定の閾値と比較して有意である輝度信号レベルをもつ有効画素数を計数し、エリア毎の有効画素数を特徴量として基準値と比較することを特徴とする請求項１から３のいずれかに記載の撮像装置。
5. 前記洗浄指示出力部は、レンズの洗浄に先立ち、前記基準パターンの洗浄を指示する信号を出力することを特徴とする請求項１から４のいずれかに記載の撮像装置。
6. １次元または２次元に明暗差をもつ複数のエリアを有する基準パターンを被写体の一部として撮像した撮像画像から前記基準パターンのエリア毎の輝度信号レベルを示す特徴量を抽出するステップと、
   抽出された特徴量を基準値と比較することによりレンズ汚れを判定する判定ステップとを含むことを特徴とするレンズ汚れ検出方法。
7. １次元または２次元に明暗差をもつ複数のエリアを有する基準パターンを被写体の一部として撮像した撮像画像から前記基準パターンのエリア毎の輝度信号レベルを示す特徴量を抽出するステップと、
   抽出された特徴量を基準値と比較することによりレンズ汚れを判定する判定ステップとをコンピュータに実行させることを特徴とするレンズ汚れ検出プログラム。

Images