JP5423570B2 - 画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置 - Google Patents

Description

本発明は、例えば、撮像光学系とイメージセンサ間における付着物による画像への影響を補正する画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置に関する。

従来より、Charge Coupled Device(CCD)センサまたはComplementary Metal Oxide Semiconductor(CMOS)センサなどの固体撮像素子を用いた撮像装置が普及している。このような撮像装置では、固体撮像素子に物体の像を結像する撮像光学系と固体撮像素子の間で光路内にゴミが付着すると、そのゴミにより光束の一部が遮られる。そのため、画像の一部の領域に含まれる画素の輝度が低下する。特に、ゴミが固体撮像素子の表面から離れたところに付着した場合、ゴミによって光束が遮られる固体撮像素子上の範囲がゴミのサイズよりも広くなるので、画像上で輝度が低下する領域も広くなる。そこで、画像上で付着したゴミにより影響を受ける画素を検知し、その画素を補正する技術が提案されている（例えば、特許文献１を参照）。

特開２００４−２２２２３１号公報

しかしながら、撮像装置に加わえられた衝撃、または撮像光学系を撮像装置から取り外し、その撮像光学系を再度取り付けるなどの機械的な操作により、付着したゴミが脱落することがある。このような場合、ゴミが取れた後も撮像装置が付着したゴミの影響を除去するための補正処理を行うと、ゴミによる影響を受けていた領域の輝度が過剰に強調されるので、補正された画像におけるその領域に不自然なアーティファクトが生じてしまうおそれがあった。

そこで本明細書は、撮像光学系とイメージセンサ間に付着した付着物が脱落した場合に、その付着物による影響を除去する画像補正処理を停止可能な画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置を提供することを目的とする。

一つの実施形態によれば、画像処理装置が提供される。この画像処理装置は、イメージセンサにより生成された、撮像光学系によりそのイメージセンサ上に結像された物体の像の画像に基づいて、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつその領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、参照画像における付着物により影響される領域内の画素値とその周辺領域内の画素値とを比較することにより付着物が脱落したか否かを判定する判定部とを有する。

また他の実施形態によれば、撮像装置が提供される。この撮像装置は、光路を規定する撮像光学系と、撮像光学系により結像された物体の像の画像を生成するイメージセンサと、イメージセンサにより生成された画像に基づいて、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつその領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、参照画像における付着物により影響される領域内の画素値とその周辺領域内の画素値とを比較することにより付着物が脱落したか否かを判定する判定部とを有する。

また他の実施形態によれば、画像処理方法が提供される。この画像処理方法は、イメージセンサから、撮像光学系によりそのイメージセンサ上に結像された物体の像の画像を取得し、イメージセンサから取得した画像に基づいて、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつその周辺領域内に含まれる画素値が一様な参照画像を生成し、参照画像における付着物により影響される領域内の画素値とその周辺領域内の画素値とを比較することにより付着物が脱落したか否かを判定することを含む。

さらに他の実施形態によれば、コンピュータに画像処理を実行させる画像処理用コンピュータプログラムが提供される。このコンピュータプログラムは、イメージセンサから取得した、撮像光学系によりそのイメージセンサ上に結像された物体の像の画像に基づいて、撮像光学系とイメージセンサとの間において撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつその周辺領域内に含まれる画素値が一様な参照画像を生成し、参照画像における付着物により影響される領域内の画素値とその周辺領域内の画素値とを比較することにより付着物が脱落したか否かを判定する、ことをコンピュータに実行させる命令を有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置は、撮像光学系とイメージセンサ間に付着した付着物が脱落した場合に、その付着物による影響を除去する画像補正処理を停止することができる。

一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。 （ａ）は、撮像光学系に付着した付着物が存在する場合の画像の一例を示す図である。（ｂ）は、（ａ）に示された画像に対して付着物による影響を除去する補正処理を行った画像の一例である。（ｃ）は、付着物が脱落した後に撮影された画像に対して（ｂ）に示された画像に対する補正処理と同様の補正処理を行った画像の一例である。 制御部の概略構成図である。 （ａ）は、付着物が脱落したか否かの判定に適した画像の一例を示す図であり、（ｂ）は、（ａ）に示された画像上で補正領域を横断する一つのラインのプロファイルを示す図である。 （ａ）は、付着物が脱落したか否かの判定に適さない画像の一例を示す図であり、（ｂ）は、（ａ）に示された画像上で補正領域を横断する一つのラインのプロファイルを示す図である。 統計的代表値が算出される補正領域及び周辺着目領域の一例を示す図である。 付着物脱落判定処理の動作フローチャートを示す。 付着物脱落判定処理の動作フローチャートを示す。

以下、図を参照しつつ、一つの実施形態による、画像処理装置について説明する。
この画像処理装置は、撮像装置が有する撮像光学系とイメージセンサ間に付着した付着物による影響を受けた画像上の領域に対して、その影響を打ち消すような補正処理を実行する。またこの画像処理装置は、撮像装置にて撮像された画像から、その領域及びその周辺で画素値の分布が一様な参照画像を生成し、その参照画像を解析することにより、付着物が脱落したか否かを判定する。そしてこの画像処理装置は、付着物が脱落したと判定した場合に補正処理を停止することで、画像に対して過剰な補正処理が行われることを防止する。

図１は、一つの実施形態による画像処理装置を搭載した撮像装置の概略構成図である。撮像装置１は、撮像光学系２と、イメージセンサ３と、メモリ４と、ユーザインターフェース５と、制御部６とを有する。なお、撮像装置１は、例えば、デジタルカメラ、カメラ付携帯電話、監視カメラあるいはテレビ電話用カメラ若しくはWebカメラの何れかとすることができる。さらに撮像装置１は、撮像装置１を通信ネットワークまたは他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。

撮像光学系２は、イメージセンサ３上に物体の像を結像する。そのために、撮像光学系２は、例えば、少なくとも1枚のレンズと、開口絞りとを有する。また撮像光学系２は、画像上でモアレなどによる擬似像が発生することを防止するためのローパスフィルタを有していてもよい。なお、開口絞りは、シャッター絞りと一体的に形成されていてもよい。さらに撮像光学系２は、単焦点レンズであってもよく、あるいは、ズームレンズであってもよい。また撮像光学系２は、撮像装置１に対して取り外し自在であってもよい。そして撮像光学系２は、イメージセンサ３に集光される光束が通る光路２ａを規定する。

イメージセンサ３は、撮像光学系２により結像された像が写った画像を生成する。そのために、イメージセンサ３は、２次元状に配列された固体撮像素子、例えば、CCDイメージセンサまたはCMOSイメージセンサを有する。イメージセンサ３により生成される画像の画素数は、例えば、30万、100万、200万、800万あるいは1200万若しくは1800万とすることができる。またイメージセンサ３により生成される画像はカラー画像であり、本実施形態では、画素ごとに赤色(R)、緑色(G)及び青色(B)の３色の成分を持つ。各色成分は、例えば、0〜255の何れかの値をとり、色成分値が大きいほど、その色の輝度が高い。
イメージセンサ３は、生成した画像を制御部６へ出力する。

メモリ４は、例えば、読み書き可能な不揮発性の半導体メモリを有する。そしてメモリ４は、制御部６から受け取った画像及びその画像が撮影された際の撮影条件を記憶する。またメモリ４は、撮像装置１に対して取り外し自在であってもよい。

ユーザインターフェース５は、シャッタースイッチなど、１以上の操作スイッチ及び液晶ディスプレイなどの表示装置を有する。そしてユーザインターフェース５は、操作スイッチの操作に応じた信号を制御部６へ出力する。そのため、ユーザは、ユーザインターフェース５を操作することにより、所定の物体に焦点を合わせるよう撮像光学系２の少なくとも一部を光軸に沿って移動させたり、撮像装置１に撮影を行わせることができる。またユーザは、シャッター速度、絞りなどの撮影条件または画像サイズを設定できる。さらにユーザは、メモリ４に記憶されている画像を消去したり、図示しない通信インターフェースを介して接続された他の機器へ、メモリ４に記憶されている画像を出力させることができる。

制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部６は、撮像装置１の各部と信号線を介して接続されており、撮像装置１全体を制御する。例えば、制御部６は、ユーザインターフェース５からシャッタースイッチが押下されたことを示す信号を受け取ると、設定された撮影条件で撮影を行い、イメージセンサ３から画像を受け取る。

撮像光学系２とイメージセンサ３の間において、光路２ａ内にゴミなどの付着物が存在すると、画像上の一部の画素に入射する光束の一部がその付着物により遮られることがある。なお、撮像光学系２とイメージセンサ３の間に付着した付着物には、撮像光学系２が有するレンズ、ローパスフィルタなどの光学素子の何れかに付着した付着物、及びイメージセンサ３の表面に付着した付着物も含まれる。

図２（ａ）は、そのような付着物が光路内に存在する場合に撮影された画像の一例を示す図である。画像２００の略中央部の領域２０１は、付着物による影響を受けている。図２に示されるように、領域２０１内の輝度は、領域２０１の周囲の領域の輝度よりも低下している。また、領域２０１内の色調も、その周囲の領域の色調と異なっている。
図２（ｂ）は、図２（ａ）に示された画像２００の領域２０１を、付着物による影響を打ち消すように補正した補正画像の一例を示す図である。補正画像２１０では、領域２０１内の輝度分布が領域２０１の周囲の輝度分布と等しくなるように、領域２０１内の各画素の輝度値に対して1よりも大きい値を持つ補正係数が乗じられている。そのため、補正画像２１０では、付着物による影響は消失している。
図２（ｃ）は、付着物が脱落した後に撮影された画像に対して、図２（ｂ）に示された補正画像に対して行われた補正処理と同様の補正処理が行われた画像の一例を示す図である。図２（ｃ）に示された補正画像２２０では、領域２０１内の画素の輝度値に1よりも大きい値を持つ補正係数が乗じられているため、領域２０１内の輝度分布は、領域２０１の周囲の輝度分布よりも過剰に高くなっている。
このように、付着物が脱落した後にまで、撮像装置１が画像に対して付着物が存在する場合と同様に補正処理を行うと、その補正処理によって画像上にアーティファクトが生じてしまう。

そこで制御部６は、画像処理装置の一例として、イメージセンサ３から取得した画像において光路内に付着した付着物による影響を受けた画素について、色成分ごとに補正する。また制御部６は、イメージセンサ３から取得した画像を解析することによりその付着物が脱落したか否か判定し、付着物が脱落したと判定した場合には、補正処理を停止する。
図３は、画像処理装置としての機能に関する制御部６の概略構成図である。制御部６は、補正情報記憶部６１と、補正部６２と、参照画像生成部６３と、適正判定部６４と、脱落判定部６５とを有する。
補正情報記憶部６１、補正部６２、参照画像生成部６３、適正判定部６４及び脱落判定部６５は、それぞれ別個の回路として形成される。あるいは補正情報記憶部６１、補正部６２、参照画像生成部６３、適正判定部６４及び及び脱落判定部６５は、その各部に対応する回路が集積された一つの集積回路として制御部６に実装されてもよい。さらに、補正部６２、参照画像生成部６３、適正判定部６４及び及び脱落判定部６５は、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。また、補正情報記憶部６１は、制御部６が有する読み書き可能な不揮発性の半導体メモリであってもよい。さらにまた、補正情報記憶部６１、補正部６２、参照画像生成部６３、適正判定部６４及び及び脱落判定部６５は、制御部６とは独立した回路として撮像装置１に実装されてもよい。

補正情報記憶部６１は、画像上で付着物による影響を受ける領域である補正領域を表す情報及び補正領域内の各画素について求められた色成分ごとの補正係数を記憶する。また補正情報記憶部６１は、補正部６２からの読み出し要求に応じて、記憶している補正領域を表す情報及び補正係数を補正部６２へ出力する。
さらに、補正情報記憶部６１は、制御部６が後述する付着物脱落判定処理を実行する際に参照画像生成部６３により生成された参照画像、参照画像を生成する途中で求められた中間画像及び各種のフラグなどを記憶する。

補正領域は、例えば、明度及び色調が一様な基準物体を撮像装置１が撮影して得られた基準画像をユーザが観察して補正領域の外縁の座標をユーザインターフェース５を介して入力することにより、設定される。
あるいは、補正領域は、基準画像上で検出される、周囲の領域に含まれる画素が持つ輝度分布と異なる輝度分布を持つ領域として設定されてもよい。例えば、制御部６は、基準画像を複数のブロックに分割する。そして制御部６は、ブロックごとに各画素の輝度値の平均値を算出する。そして制御部６は、着目するブロックに含まれる各画素の輝度値とその着目ブロックの輝度値の平均値との差の絶対値が、着目ブロックに対して定められた閾値よりも大きい画素を抽出し、抽出された画素の集合を補正領域としてもよい。なお閾値は、例えば、付着物による影響が無い撮像装置を用いて撮影された基準画像における各ブロックごとの輝度平均値と、そのブロック内の最大輝度値または最小輝度値との差の絶対値に設定される。
補正領域を表す情報は、例えば、補正領域を囲む外接四角形の対角線上の二つのコーナーの座標を含む。また補正領域を表す情報は、補正領域の重心の座標と、その重心を中心とする補正領域の外接円の半径を含む。

また補正係数は、例えば、補正領域内に含まれる各画素の色成分ごとに、付着物による影響が無い場合の色成分値の推定値である基準値と、実際の色成分との比として求められる。
基準値を求めるために、制御部６は、例えば、補正領域の上端から下端まで順に、水平方向に１ラインずつ、基準画像の各色成分のプロファイルを求める。そして制御部６は、色成分ごとに、各ライン上で補正領域の一端に近接する１以上の画素と、補正領域の他端に近接する１以上の画素とを抽出する。そして制御部６は、例えば、抽出された画素を通る線形近似関数を求める。制御部６は、その線形近似関数に補正領域内の画素の座標を入力することにより得られる色成分値を、その画素の基準値とする。
あるいは、制御部６は、補正領域に含まれていない複数の画素の色成分値及びその画素の座標値に基づいて、基準画像の着目するラインの色成分ごとのプロファイルを近似する２次以上の多項式によって表される高次曲線を求めてもよい。なお、制御部６は、最小二乗法を用いてその高次曲線を求めることができる。制御部６は、着目する色成分に関する高次曲線に補正領域内の画素の座標を入力することによって求められる色成分値を、その画素の着目する色成分についての基準値とする。

補正領域内の各画素の補正係数は、例えば、色成分ごとに次式に従って算出される。
なお、C_a(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またS_a(x,y)は、水平座標x、垂直座標yの画素についての色成分aの基準値を表す。そしてB_a(x,y)は、基準画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。

補正部６２は、撮影モードにおいて取得された画像である原画像の補正領域に含まれる各画素に対して、色成分ごとに補正情報記憶部６１に記憶されている補正係数を用いて補正する。具体的には、補正部６２は、着目画素に対して色成分ごとに次式に従って補正処理を実行する。
なお、C_a(x,y)は、水平座標x、垂直座標yの画素についての色成分a(a∈R,G,B)の補正係数を表す。またI_a(x,y)は、原画像の水平座標x、垂直座標yの画素についての色成分aの値を表す。そしてP_a(x,y)は、補正された画像における水平座標x、垂直座標yの画素についての色成分aの値を表す。
補正部６２が補正画像を作成すると、制御部６は、その補正画像をメモリ４に記憶させる。

制御部６は、補正部６２による画像補正処理が実行されるよう設定されている間、制御部６がイメージセンサ３から取得した画像に基づいて、付着物が脱落したか否かを判定する。そして制御部６は、付着物が脱落したと判定した場合には、その判定以降に撮影された画像に対する補正部６２による画像補正処理を停止する。そのために、補正部６２による画像補正処理が実行されるよう設定されている間、参照画像生成部６３、適正判定部６４及び脱落判定部６５による処理が実行される。

参照画像生成部６３は、付着物が脱落したか否かの判定に用いるための参照画像を生成する。
画像上で付着物による影響を受ける補正領域及びその周辺での輝度及び色成分の分布は、画像上に写る像に依存する。例えば、補正領域及びその周辺において、輝度または色成分が空間的に短い周期で変動し、かつその変動幅が付着物に起因する輝度または色成分の低下量以上となることがある。このような場合、制御部６は、その画像に基づいて付着物が脱落したか否かを判定することが困難となる。そのため、参照画像上の補正領域及び補正領域の周辺の領域において輝度及び色調ができるだけ一様になっていることが好ましい。

図４（ａ）は、付着物が脱落したか否かの判定に適した画像の一例を示す図である。図４（ａ）に示される画像４００では、付着物により輝度が低下した補正領域４０１及びその周辺における輝度及び色調が一様となっている。
図４（ｂ）は、図４（ａ）に示された画像４００上で補正領域４０１を横断する一つのライン４０２の赤色成分のプロファイルを示す。図４（ｂ）において、横軸は水平座標を表し、縦軸は赤色成分の強度を表す。そしてグラフ４１１は、ライン４０２上の赤色成分のプロファイルを表す。この場合、補正領域４０１内の赤色成分の値の変動は小さい。また補正領域４０１の両端の近傍領域における赤色成分の値の変動も小さい。そのため、補正領域４０１内の赤色成分がその周囲の領域の赤色成分よりも低くなっていることが明らかである。したがって、制御部６は、このような画像の補正領域及びその周辺における輝度または色成分の分布を解析することにより、補正領域が付着物による影響を受けていることが容易に分かる。そしてもし、付着物が脱落すれば、このような補正領域及びその近傍で輝度値及び色調が一様な画像では、補正領域内の輝度及び色調と、その近傍領域内の輝度及び色調との差がなくなることも容易に観察される。したがって、このような画像を用いることにより、制御部６は、付着物が脱落したか否かを正確に判定できる。

図５（ａ）は、付着物が脱落したか否かの判定に適さない画像の一例を示す図である。図５（ａ）に示される画像５００では、付着物により輝度が低下した補正領域５０１及びその周辺に、輝度及び色調が一様でない物体の像が写っている。
図５（ｂ）は、図５（ａ）に示された画像５００上で補正領域５０１を横断する一つのライン５０２の赤色成分のプロファイルを示す。図５（ｂ）において、横軸は水平座標を表し、縦軸は赤色成分の強度を表す。そしてグラフ５１１は、ライン５０２上の赤色成分のプロファイルを表す。この場合、画像５００上に写っている像により、補正領域５０１及びその周辺において、赤色成分が補正領域の幅よりも小さい周期で、かつ付着物による赤色成分の低下量よりも大きく変動している。そのため、画像５００に基づいて補正領域５０１が付着物による影響を受けているか否かを判定することは非常に困難である。したがって、このような画像は、付着物が脱落したか否かの判定に利用するには適さない。

そこで参照画像生成部６３は、イメージセンサ３から取得した画像の画素ごとに、色成分値の平均値を求める。さらに参照画像生成部６３は、イメージセンサ３から取得した所定枚数の画像間で対応する画素ごとに、色成分の平均値をさらに平均し、算出された平均値を、参照画像におけるその画素の画素値とする。なお、所定枚数は、少なくとも2枚であり、例えば、50枚に設定される。
参照画像の生成に利用される複数の画像に異なるシーンが写っていれば、上記のように参照画像を生成することにより、参照画像上の画素値の空間的な変動が抑制される。そのため、参照画像生成部６３は、補正領域及びその周辺の領域に含まれる画素値の変動が小さい参照画像を生成できる。
あるいは、参照画像生成部６３は、画素ごとに、所定枚数の画像間で何れか一つの色成分を平均した値、例えば、補正領域内の色成分ごとの補正係数の平均値が最大となる色成分の平均値を算出し、その平均値を参照画像の画素の値としてもよい。
また、参照画像生成部６３は、参照画像において後述する統計的代表値を算出する領域に含まれる画素についてのみ、その画素値を算出してもよい。これにより、参照画像生成部６３は、参照画像の生成に要する演算量を削減できる。

さらに、補正情報記憶部６１に記憶されている参照画像が存在する場合、参照画像生成部６３は、忘却係数を用いて、記憶されている参照画像と新たに生成した参照画像の対応画素間で画素値を加重平均することにより、参照画像を更新してもよい。この場合、更新される参照画像の着目画素(x,y)の画素値R_n(x,y)は次式により表される。
R_n(x,y) = αR(x,y)+(1-α)R_n-1(x,y)
ただし、R(x,y)は、イメージセンサ３から受け取った画像を用いて新たに生成された参照画像の画素(x,y)の画素値を表し、R_n-1(x,y)は補正情報記憶部６１に記憶されている参照画像の画素(x,y)の画素値を表す。またαは忘却係数であり、例えば、αは、0.3〜0.7の何れかに設定される。
参照画像生成部６３は、参照画像を適正判定部６４へ渡す。

適正判定部６４は、参照画像における補正領域内の画素値分布及び補正領域周囲の領域内の画素値分布を調べることにより、参照画像が、付着物が脱落したか否かの判定に用いるのに適しているか否かを判定する適正判定処理を実行する。
適正判定部６４は、例えば、補正領域の重心または補正領域内で補正係数が最大となる画素を通る水平方向または垂直方向の所定画素幅を持つラインを着目ラインとして設定する。そして適正判定部６４は、補正領域の一端に近接し、着目ラインに沿って所定幅を持つ領域と、補正領域の他端に近接し、着目ラインに沿って所定幅を持つ領域とを、それぞれ周辺着目領域に設定する。なお、着目ラインの幅は、例えば、1画素から数画素程度に設定される。また周辺着目領域の所定幅は、画素値の分布を調べるために十分な数の画素が周辺着目領域に含まれるように設定される。例えば、その所定幅は、着目ラインに沿った補正領域の幅と等しい幅、あるいは50〜100画素の何れかに設定される。

図６は、適正判定処理に使用され、画素値の分布の統計的代表値が算出される補正領域及び周辺着目領域の一例を示す図である。図６において、横軸は参照画像の水平座標を表し、縦軸は参照画像の画素値を表す。そしてグラフ６００は、着目するラインにおける参照画像の画素値のプロファイルを表す。二つの周辺着目領域６０１、６０２は、補正領域６０３の両端に隣接するように設定されている。

適正判定部６４は、参照画像の補正領域内の画素値の分布の統計的代表値として、例えば、補正領域内の着目ライン上の画素値の最大値と最小値を算出する。同様に、適正判定部６４は、各周辺着目領域内の画素値の分布の統計的代表値として、例えば、各周辺着目領域内の画素値の最大値と最小値を算出する。あるいは、適正判定部６４は、補正領域内の画素値の分布の統計的代表値として、補正領域内の着目ライン上の画素値の分散を算出してもよい。同様に、適正判定部６４は、各周辺着目領域内の画素値の分布の統計的代表値として、各周辺着目領域内の画素値の分散を算出してもよい。

適正判定部６４は、補正領域及び各周辺着目領域について算出された画素値の分布の統計的代表値が、画素値の分布が一様であることを表す条件を満たすか否か判定する。なお、本実施形態において、画素値の分布が一様であるとは、その分布に関する画素値の変動量が、付着物による画素値の変動量よりも小さいことをいう。そして適正判定部６４は、補正領域及び各周辺着目領域内のそれぞれについて算出された統計的代表値がその条件を満たす場合、参照画像は付着物が脱落したか否かの判定に用いるのに適していると判定する。一方、補正領域について算出された統計的代表値が上記の条件を満たさないか、各周辺着目領域について算出された統計的代表値が上記の条件を満たさない場合、適正判定部６４は、参照画像は付着物が脱落したか否かの判定に用いるのに適していないと判定する。
さらに、補正領域について算出された統計的代表値が上記の条件を満たし、かつ何れか一方の周辺着目領域について算出された統計的代表値が上記の条件を満たすことがある。このような場合、そのような参照画像をより多くの画像を用いて更新することで、更新された参照画像が付着物の脱落判定に適した画像となる可能性がある。そこで適正判定部６４は、補正領域について算出された統計的代表値と何れか一方の周辺着目領域について算出された統計的代表値が上記の条件を満たす参照画像を補正情報記憶部６１に一時的に記憶してもよい。さらに、適正判定部６４は、補正領域について算出された統計的代表値が上記の条件を満たし、かつ両方の周辺着目領域について算出された統計的代表値が上記の条件を満たさない参照画像も、補正情報記憶部６１に記憶してもよい。また、適正判定部６４は、付着物の脱落判定に適していると判定された参照画像も、より多くの画像を用いて更新するために補正情報記憶部６１に記憶してもよい。

具体的には、適正判定部６４は、補正領域及び周辺着目領域のそれぞれについて、画素値の最小値に対する最大値の比が所定の閾値Th1未満である場合、画素値の分布が一様であるとする条件が満たされると判定する。
なお、閾値Th1は、例えば、1.1に設定される。あるいは、閾値Th1は、補正領域内の各画素について設定された補正係数の平均値あるいは最大値に設定される。これにより、補正領域内の画素値の分布が一様か否かの判定基準が付着物の影響による画素値の変動幅に応じて設定されるので、適正判定部６４は参照画像が適切か否かを正確に判定できる。

あるいは、適正判定部６４は、補正領域及び周辺着目領域のそれぞれについて、画素値の分散が所定の閾値未満である場合、画素値の分布が一様であるとする条件が満たされると判定してもよい。さらにまた、適正判定部６４は、補正領域及び周辺着目領域のそれぞれについて、画素値の最大値と最小値の差が所定の閾値未満である場合に画素値の分布が一様であるとする条件が満たされると判定してもよい。
適正判定部６４は、参照画像に対する適正判定の結果を制御部６へ通知する。

脱落判定部６５は、適正判定部６４により、参照画像が付着物が脱落したか否かの判定に用いるのに適していると判定されている場合、その参照画像に基づいて、付着物が脱落したか否かを判定する。そして脱落判定部６５は、付着物が脱落したと判定した場合、その判定以降にイメージセンサ３により生成された画像に対して補正部６２により実行される画像補正処理を停止する。
付着物が脱落したか否かを判定するために、脱落判定部６５は、参照画像の補正領域内の画素値の統計的代表値として、例えば、補正領域を通るように設定された着目ライン上の補正領域内の画素値の平均値を算出する。同様に、脱落判定部６５は、各周辺着目領域内の画素値の統計的代表値として、例えば、それぞれの周辺着目領域内の画素値の平均値を算出する。あるいは、脱落判定部６５は、補正領域内の画素値の統計的代表値として、補正領域内の着目ライン上の画素値の最大値、最小値、中央値または最頻値を算出してもよい。同様に、脱落判定部６５は、各周辺着目領域内の画素値の統計的代表値として、各周辺着目領域内の画素値の最大値、最小値、中央値または最頻値を算出してもよい。なお、着目ラインは、適正判定部６４が補正領域内の画素値の分布を求めるために設定する着目ラインと同じラインとすることができる。

脱落判定部６５は、補正領域内の画素値の統計的代表値に対する各周辺着目領域内の画素値の統計的代表値の比をそれぞれ評価値として算出する。そして脱落判定部６５は、各評価値に基づいて、付着物が脱落したと判定するための脱落判定条件が満たされるか否か判定する。そして脱落判定条件が満たされた場合、脱落判定部６５は、付着物が脱落したと判定する。本実施形態では、脱落判定条件は、一例として、何れの周辺着目領域についての評価値も所定の閾値Th2未満であることとする。なお、閾値Th2は、1以上の値、例えば、1.05に設定される。あるいは、閾値Th2は、補正領域内の補正係数の平均値の1/2あるいは最大値の1/2に設定されてもよい。

また、判定結果に対する信頼性を向上するために、脱落判定部６５は、2枚以上の参照画像のそれぞれについて、脱落判定条件が満たされた場合に付着物が脱落したと判定することが好ましい。この場合、例えば、ある参照画像について脱落判定条件が満たされたとき、脱落判定部６５は、補正情報記憶部６１に記憶されている停止フラグの値をオンに設定する。そして脱落判定部６５は、暫定的に補正部６２により実行される画像補正処理を停止する。そして脱落判定部６５は、次に生成された参照画像についても、脱落判定条件が満たされると、付着物が脱落したと判定する。そして脱落判定部６５は、その判定以降にイメージセンサ３により生成された画像に対する、補正部６２による画像補正処理を停止する。

また脱落判定部６５は、各周辺着目領域についての評価値の少なくとも一方が閾値Th2以上であっても、それら評価値が何れも閾値Th3未満であることを補正係数修正条件として設定してもよい。そして補正係数修正条件が満たされる場合、脱落判定部６５は、補正領域内の各画素についての補正係数が小さくなるように、その補正係数を修正してもよい。例えば、脱落判定部６５は、各補正係数を元の補正係数の1/2にしてもよい。また閾値Th3は、閾値Th2よりも大きい値で、かつ補正係数の最大値よりも小さい値に設定される。この場合も、脱落判定部６５は、2枚以上の参照画像のそれぞれについて、何れの周辺着目領域についても、評価値が閾値Th3未満であった場合に、補正係数を修正してもよい。
例えば、ある参照画像について、補正係数修正条件が満たされると、脱落判定部６５は、補正情報記憶部６１に記憶されている保留フラグの値をオンに設定する。そして脱落判定部６５は、次に生成された参照画像についても、第２の条件が満たされると、補正係数を小さく修正する。

図７及び図８は、制御部６により実行される、付着物脱落判定処理の動作フローチャートを示す。なお、この付着物脱落判定処理は、補正部６２による画像補正処理が適用されている間実行される。
図７に示されるように、制御部６は、初期化処理を実行する（ステップＳ１０１）。具体的には、制御部６は、参照画像を生成するために用いられた画像枚数を表すカウンタcを0に設定する。また制御部６は、補正情報記憶部６１に記憶されている保留フラグ及び停止フラグをオフに設定する。また制御部６は、イメージセンサ３が有する画素数と同一の画素数を持つ中間画像の各画素の値を0に設定する。
制御部６は、イメージセンサ３から画像を取得する（ステップＳ１０２）。そして制御部６は、画像を参照画像生成部６３へ渡す。
参照画像生成部６３は、各画素の各色成分値を中間画像の対応する画素の画素値に加算する。また参照画像生成部６３は、カウンタcの値を1インクリメントする（ステップＳ１０３）。
参照画像生成部６３は、カウンタcが所定枚数Thc以上になったか否か判定する（ステップＳ１０４）。
カウンタcが参照画像の生成に利用する画像枚数に対応する閾値Thc未満である場合（ステップＳ１０４−Ｎｏ）、制御部６は、ステップＳ１０２〜Ｓ１０３の処理を繰り返す。一方、カウンタcが閾値Thc以上となった場合（ステップＳ１０４−Ｙｅｓ）、参照画像生成部６３は、中間画像の各画素値を(c×3)で割ることにより参照画像を生成する（ステップＳ１０５）。ステップＳ１０５の後、参照画像生成部６３は、補正情報記憶部６１に記憶された参照画像が有るか否か判定する（ステップＳ１０６）。
補正情報記憶部６１に記憶された参照画像が有る場合（ステップＳ１０６−Ｙｅｓ）、参照画像生成部６３は、忘却係数を用いてその記憶されている参照画像と新たに生成した参照画像を加重平均することにより参照画像を更新する（ステップＳ１０７）。
補正情報記憶部６１に記憶された参照画像が無い場合（ステップＳ１０６−Ｎｏ）、またはステップＳ１０７の後、参照画像生成部６３は、参照画像を適正判定部６４へ渡す。

適正判定部６４は、参照画像における補正領域内の着目ライン上の画素値の最大値Pmaxc及び最小値Pmincを補正領域内の画素値の分布を表す統計的代表値として算出する。また適正判定部６４は、二つの周辺着目領域の画素値の最大値Pmaxa、Pmaxb、最小値Pmina、Pminbをそれぞれ各周辺着目領域の画素値の分布を表す統計的代表値として算出する（ステップＳ１０８）。
適正判定部６４は、Pmaxc/Pminc、Pmaxa/Pmina及びPmaxb/Pminbのそれぞれが、所定の閾値Th1未満か否か判定する（ステップＳ１０９）。
Pmaxc/Pminc、Pmaxa/Pmina及びPmaxb/Pminbの何れか一つでも所定の閾値Th1以上である場合（ステップＳ１０９−Ｎｏ）、参照画像について画素値の分布が一様であるとする条件が満たされていない。そのため、適正判定部６４は、参照画像は付着物の脱落判定に用いるのに適していないと判定する。そして適正判定部６４は、Pmaxc/Pmincが閾値Th1未満であり、かつ、Pmaxa/PminaまたはPmaxb/Pminbの何れか一方が閾値Th1未満か否かする（ステップＳ１１０）。
Pmaxc/Pmincが閾値Th1未満でないか、または、Pmaxa/Pmina及びPmaxb/Pminbの両方が閾値Th1未満でない場合（ステップＳ１１０−Ｎｏ）、適正判定部６４は参照画像を廃棄する（ステップＳ１１１）。そして適正判定部６４は、カウンタcを0にリセットする。一方、Pmaxc/Pmincが閾値Th1未満で、かつPmaxa/PminaまたはPmaxb/Pminbの一方が閾値Th1未満である場合（ステップＳ１１０−Ｙｅｓ）、参照画像は、より多くの画像を用いて更新されることで、付着物の脱落判定に用いるのに適した画像となる可能性がある。そこで適正判定部６４は参照画像を補正情報記憶部６１に記憶する（ステップＳ１１２）。そして適正判定部６４は、カウンタcを0にリセットする。
ステップＳ１１１またはＳ１１２の後、制御部６は、ステップＳ１０２以降の処理を繰り返す。

また、図８に示されるように、Pmaxc/Pminc、Pmaxa/Pmina及びPmaxb/Pminbのそれぞれが、所定の閾値Th1未満である場合（ステップＳ１０９−Ｙｅｓ）、参照画像は、付着物の脱落判定に用いるのに適している。そこで制御部６は、参照画像を脱落判定部６５へ渡す。脱落判定部６５は、補正領域内の着目ライン上の画素値の平均値Pavc及び各周辺着目領域の画素値の平均値Pava、Pavbをそれぞれ各領域の画素値の統計的代表値として算出する（ステップＳ１１３）。そして脱落判定部６５は、Pava/Pavc及びPavb/Pavcの両方が閾値Th2未満か否か判定する（ステップＳ１１４）。
Pava/Pavc及びPavb/Pavcの両方が閾値Th2未満である場合（ステップＳ１１４−Ｙｅｓ）、脱落判定部６５は、最新の参照画像について補正領域内の画素値と各周辺着目領域内の画素値の差は無いと判定する。すなわち、脱落判定部６５は、付着物が脱落した可能性が高いと判定する。そこで脱落判定部６５は、停止フラグ及び保留フラグの少なくとも何れか一方がオンか否か判定する（ステップＳ１１５）。

停止フラグ及び保留フラグの両方がオフである場合（ステップＳ１１５−Ｎｏ）、脱落判定部６５は補正部６２より実行される画像補正処理を暫定的に停止する。そして脱落判定部６５は、停止フラグをオンに設定し、カウンタcを0にリセットする（ステップＳ１１６）。その後制御部６は、ステップＳ１０２以降の処理を繰り返す。
一方、停止フラグ及び保留フラグの少なくとも一方がオンである場合（ステップＳ１１５−Ｙｅｓ）、脱落判定部６５は付着物が脱落したと判定する。そして脱落判定部６５は、補正部６２により実行される画像補正処理を以後停止する（ステップＳ１１７）。
ステップＳ１１７の後、制御部６は付着物脱落判定処理を終了する。

一方、Pava/Pavc及びPavb/Pavcの少なくとも一方が閾値Th2以上である場合（ステップＳ１１４−Ｎｏ）、脱落判定部６５は、Pava/Pavc及びPavb/Pavcの両方が閾値Th3未満か否か判定する（ステップＳ１１８）。なお、この閾値Th3は、上記のように、閾値Th2よりも大きく、かつ補正係数の最大値よりも小さい値である。
Pava/Pavc及びPavb/Pavcの少なくとも一方が閾値Th3以上である場合（ステップＳ１１８−Ｎｏ）、脱落判定部６５は、現時点において付着物は脱落していないと判定する。そして脱落判定部６５は、カウンタcを0にリセットする（ステップＳ１１９）。また脱落判定部６５は、停止フラグ及び保留フラグの両方をオフにし、画像補正処理を再開する。その後、制御部６は、ステップＳ１０２以降の処理を繰り返す。

一方、Pava/Pavc及びPavb/Pavcの両方が閾値Th3未満である場合（ステップＳ１１８−Ｙｅｓ）、脱落判定部６５は保留フラグがオンになっているか否か判定する（ステップＳ１２０）。
保留フラグがオフになっている場合（ステップＳ１２０−Ｎｏ）、脱落判定部６５は保留フラグをオンに設定するとともに、カウンタcを0にリセットする（ステップＳ１２１）。
一方、保留フラグがオンになっている場合（ステップＳ１２０−Ｙｅｓ）、脱落判定部６５は補正領域内の各画素の各色成分に対する補正係数を元の補正係数の1/2に修正する。そして脱落判定部６５は、保留フラグをオフに設定するとともに、カウンタcを0にリセットする（ステップＳ１２２）。
ステップＳ１２１またはＳ１２２の後、制御部６はステップＳ１０２以降の処理を繰り返す。
なお、ステップＳ１１８、Ｓ１２０〜Ｓ１２２の処理は省略されてもよい。

以上に説明してきたように、この画像処理装置は、撮像装置が有する撮像光学系とイメージセンサ間の光路内に存在する付着物が脱落したことを検出できる。そしてこの画像処理装置は、付着物が脱落した後、その付着物による画像上での影響を補正する画像補正処理を停止するので、その画像補正処理による過剰な補正が行われることを防止できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、制御部は、参照画像の生成に利用する画像として、シャッタースイッチが押下されることにより撮影された画像のみを用いることができる。これにより、異なるシーンが写った複数の画像が参照画像の生成に利用される可能性が高くなるので、参照画像の補正領域及びその周囲が一様になり易い。また、制御部は、シャッタースイッチが押下されていないときでも、イメージセンサから画像を取得できる。そこで制御部は、撮像装置の電源が投入されている間、一定の時間間隔あるいは制御部の演算負荷が小さいときにイメージセンサから画像を取得して、その画像を参照画像の生成に利用してもよい。これにより、制御部は、演算負荷が小さいときに付着物脱落判定処理を実行できる。そのため、制御部は、付着物脱落判定処理が実行されることによってユーザが撮像装置を操作したときにその操作に対する応答にタイムラグが生じることを防止できる。なお、一定の時間間隔は、参照画像の生成に利用される各画像に異なるシーンが写るように、例えば、1分間、10分間、あるいは1時間に設定される。

さらに、撮像装置がGlobal Positioning System(GPS)のような撮像装置の位置を検知する機構を有している場合、制御部は、参照画像生成用の画像を取得した位置から撮像装置が所定距離以上離れたときに、次の画像を取得してもよい。所定距離は、例えば、100m、500mあるいは1kmに設定される。これにより、参照画像の生成に利用される各画像に異なるシーンが写る可能性が高くなる。
さらに、制御部は、参照画像生成用の画像を取得する際、イメージセンサ上の像がボケるように撮像光学系の焦点位置を調節してもよい。これにより、ボケた像が撮影された画像が取得され、その画像には、物体上の各点の情報が広い範囲において互いに重畳するように分布するので、画像上の輝度及び色調の変動が小さくなる。そのため、制御部は、参照画像の生成に適した画像を得ることができる。

また、参照画像生成部は、補正領域とその周辺着目領域との色成分値または輝度値の差を正確に評価できない画像を、参照画像の生成に利用しないようにしてもよい。例えば、参照画像生成部は、画像の補正領域内の何れかの画素の色成分値に、対応する補正係数を乗じた値がその色成分値の取り得る最大値以上となる場合、その画像を参照画像の生成に利用しないようにしてもよい。また、参照画像生成部は、画像の補正領域内の何れかの画素の色成分値に対応する補正係数を乗じても、補正後の色成分値が補正前の色成分値と等しいほど暗い照明環境下で撮影された場合、その画像を参照画像の生成に利用しないようにしてもよい。なお、このような画像を便宜上暗画像と呼ぶ。例えば、画像の補正領域内の画素の色成分値が10未満であり、その色成分に対する補正係数が1.1未満であるような場合、その画像は暗画像である。

さらに、参照画像生成部は、ユーザインターフェースを介して設定された設定条件に基づいて、その設定条件で撮影された画像を参照画像の生成に利用するか否かを判定してもよい。例えば、参照画像生成部は、ナイトモードのように、照度が低い暗照明環境下で撮影されることが想定される設定条件下で撮影された画像を参照画像の生成に利用しないようにしてもよい。なお、このような画像も、便宜上暗画像と呼ぶ。
また参照画像生成部は、設定条件によってイメージセンサが画素数が所定値以下となるように間引かれた縮小画像を生成するように設定されている場合、その設定条件下で撮影された画像を参照画像の生成に利用しないようにしてもよい。例えば、所定値は、いわゆるQVGAに相当する480×320画素に設定される。あるいは、所定値は、イメージセンサが有する画素数の1/2〜1/4に設定されてもよい。なお、設定条件により、画像の画素数がイメージセンサ３が有する画素数よりも少なく設定されており、かつ画像の画素数が上記の所定値以上となることがある。このような場合において、参照画像の着目画素に対応するイメージセンサから取得した画像の画素が存在しなければ、参照画像生成部は、例えば、その着目画素の周囲の画素の色成分値を用いて線形補間することにより、着目画素の色成分値を求める。

さらに、参照画像生成部は、例えば、適正判定部が参照画像が脱落判定処理に用いるのに適しているか否かを判定する処理と同様の処理を画像に対して行い、その処理の結果、脱落判定に明らかに不適な画像を参照画像の生成に利用しないようにしてもよい。例えば、参照画像生成部は、着目画像の補正領域及び各周辺着目領域内の画素ごとに、色成分値の和を算出し、その和を着目画像の画素値とする。そして参照画像生成部は、補正領域内の画素値の最小値に対する最大値の比及び各周辺着目領域内の画素値の最小値に対する最大値の比を評価値としてそれぞれ算出する。参照画像生成部は、補正領域及び各周辺着目領域の評価値の何れもが所定の閾値未満である場合、着目画像を参照画像の生成に利用する。この場合、所定の閾値は、例えば、適正判定部が参照画像に対して適性を判定するのに利用する閾値Th1の2倍〜5倍に設定される。

さらにまた、参照画像生成部は、イメージセンサにより生成された画像ごとに、補正領域及び周辺着目領域内の画素の色成分または輝度の分布が集中しているほど小さくなる重み係数を設定してもよい。そして参照画像生成部は、その重み係数を画像の補正領域内の画素の色成分の平均値及び周辺着目領域内の画素の色成分の平均値に乗じて加重平均することにより参照画像を生成してもよい。これにより、補正領域及びその周囲で輝度及び色調が一様な画像ほど、参照画像に対する影響が大きくなるので、参照画像生成部は、付着物脱落判定に適した参照画像を生成できる。なお、参照画像生成部は、例えば、補正領域内の色成分または輝度の最大値と最小値の差、最小値に対する最大値の比、または分散が小さいほど、色成分または輝度の分布が集中していると判定できる。

また、参照画像生成部は、イメージセンサから画像を受け取る度に、その受け取った画像の各画素の色成分の平均値と、参照画像の対応する画素の画素値とを参照画像の生成に利用した画像の枚数で加重平均することにより参照画像を更新してもよい。そして適正判定部は、参照画像が更新される度に、その参照画像に対して適正判定を行ってもよい。そして適正判定部が、参照画像が付着物脱落判定処理に使用するのに適していると判定した時点で、参照画像生成部は、参照画像の生成を停止してもよい。
さらに、適正判定部は、補正領域内の全ての画素についての画素値の分布の統計的代表値を算出してもよい。また適正判定部は、一つの周辺着目領域を、補正領域の周囲を囲み、かつ補正領域に含まれる画素数と同数またはそれ以上の画素を含むように設定し、その一つの周辺着目領域について画素値の分布の統計的代表値を算出してもよい。この場合、適正判定部は、一つの周辺着目領域についての画素値の分布の統計的代表値を用いて、参照画像が脱落判定に適しているか否か判定する。また脱落判定部は、補正領域内の画素値の統計的代表値に対する一つの周辺着目領域の画素値の統計的代表値の比に基づいて、付着物が脱落したか否か判定する。

また、他の実施形態によれば、画像処理装置は、撮像装置とは別個に設けられてもよい。例えば、画像処理装置は、撮像装置と通信ネットワークを介して接続可能な他のコンピュータあるいはサーバに実装されていてもよい。この場合、撮像装置は、画像を撮影する度に、その画像を撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。そして画像処理装置は、補正領域及び補正領域内の各画素の色成分ごとの補正係数を、撮像装置の識別コードとともに記憶する。そして撮像装置は、撮影モードにおいて生成した画像を、撮像装置の識別コードとともに通信ネットワークを介して画像処理装置へ転送する。画像処理装置は、受信した識別コードに応じた補正係数を用いて、受信した画像に対して画像補正処理を実行する。
さらに画像処理装置は、撮像装置から受信した画像を用いて、付着物脱落判定処理を実行する。

また、図７及び図８に示された付着物脱落判定処理をプロセッサに実行させるコンピュータプログラムは、記録媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された物体の像の画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、
前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する判定部と、
を有する画像処理装置。
（付記２）
前記参照画像生成部は、前記イメージセンサにより生成された複数の画像のそれぞれについて、前記領域または前記周辺領域に含まれる着目画素の色成分の平均値を求め、前記複数の画像間で前記着目画素の前記色成分の平均値をさらに平均した値を前記参照画像上の前記着目画素の画素値とし、
前記領域内の画素値の分布を表す第１の統計的代表値及び前記周辺領域内の画素値の分布を表す第２の統計的代表値を算出し、前記第１の統計的代表値及び前記第２の統計的代表値がそれぞれ画素値の分布が一様であることを表す条件を満たす場合に限り、前記判定部に前記参照画像を用いて前記付着物が脱落したか否かの判定をさせる適正判定部をさらに有する、付記１に記載の画像処理装置。
（付記３）
前記領域内の画素値の分布を表す第１の統計的代表値が画素値の分布が一様であることを表す条件を満たし、かつ前記周辺領域内の画素値の分布を表す第２の統計的代表値が前記条件を満たさない場合、前記参照画像生成部は、前記イメージセンサにより新たに生成された少なくとも１枚の画像の前記領域に含まれる画素の値及び前記周辺領域に含まれる画素の値と前記参照画像上の対応画素の画素値とを加重平均することで前記参照画像を更新し、
前記更新された参照画像について前記第１の統計的代表値及び前記第２の統計的代表値を算出し、当該第１の統計的代表値及び当該第２の統計的代表値が前記条件を満たす場合に限り、前記判定部に前記参照画像を用いて前記付着物が脱落したか否かの判定をさせる適正判定部をさらに有する、付記１に記載の画像処理装置。
（付記４）
前記適正判定部は、前記領域の一部に含まれる画素から前記第１の統計的代表値を算出する、付記２または３に記載の画像処理装置。
（付記５）
前記参照画像生成部は、前記イメージセンサにより生成された画像が、暗照明環境で撮影された画像、暗照明環境に応じた設定条件で撮影された画像及び画素数が所定数以上間引かれた画像の何れかである場合に当該画像を前記参照画像の生成に利用せず、何れにも該当しない場合に当該画像を前記参照画像の生成に利用する、付記１〜４の何れか一項に記載の画像処理装置。
（付記６）
前記イメージセンサにより生成された画像において前記領域内の画素の値を前記付着物による影響を打ち消すように補正する補正部をさらに有し、
前記判定部は、前記参照画像における前記領域内の画素値に関する第３の統計的代表値に対する前記周辺領域内の画素値に関する第４の統計的代表値の比を求め、該比が第１の閾値未満である場合に前記付着物が脱落したと判定し、
前記付着物が脱落したと判定した場合、当該判定以降に前記イメージセンサにより生成された画像に対する前記補正部による補正を停止し、一方、前記付着物が脱落していないと判定した場合、当該判定以降に前記イメージセンサにより生成された画像に対する前記補正部による補正を継続する、付記１〜５の何れか一項に記載の画像処理装置。
（付記７）
前記補正部は、前記イメージセンサにより生成された画像の前記領域内の画素の値に対して予め設定された補正係数を乗じることにより当該画素の値を補正し、
前記判定部は、前記比が、前記第１の閾値よりも大きく、かつ前記領域内の画素ごとに設定された前記補正係数のうちの最大値以下である第２の閾値未満である場合、前記補正係数を小さくする、付記６に記載の画像処理装置。
（付記８）
前記参照画像生成部は、前記イメージセンサにより生成された画像ごとに、前記領域及び前記周辺領域内の画素の色成分または輝度の分布が集中しているほど小さくなる重み係数を設定し、該重み係数を前記画像の前記領域内の画素の色成分の平均値及び前記周辺領域内の画素の色成分の平均値に乗じて加重平均することにより前記参照画像を生成する、付記２に記載の画像処理装置。
（付記９）
光路を規定する撮像光学系と、
前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
前記イメージセンサにより生成された画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、
前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する判定部と、
を有する撮像装置。
（付記１０）
イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
前記イメージセンサから取得した画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成し、
前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する、
ことを含む画像処理方法。
（付記１１）
イメージセンサから取得した、撮像光学系により該イメージセンサ上に結像された物体の像の画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成し、
前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する、
ことをコンピュータに実行させる画像処理用コンピュータプログラム。

１ 撮像装置
２ 撮像光学系
３ イメージセンサ
４ メモリ
５ ユーザインターフェース
６ 制御部
６１ 補正情報記憶部
６２ 補正部
６３ 参照画像生成部
６４ 適正判定部
６５ 脱落判定部

Claims (8)

1. イメージセンサにより生成された、撮像光学系により該イメージセンサ上に結像された物体の像の画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、
   前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する判定部と、
   を有する画像処理装置。
2. 前記参照画像生成部は、前記イメージセンサにより生成された複数の画像のそれぞれについて、前記領域または前記周辺領域に含まれる着目画素の色成分の平均値を求め、前記複数の画像間で前記着目画素の前記色成分の平均値をさらに平均した値を前記参照画像上の前記着目画素の画素値とし、
   前記領域内の画素値の分布を表す第１の統計的代表値及び前記周辺領域内の画素値の分布を表す第２の統計的代表値を算出し、前記第１の統計的代表値及び前記第２の統計的代表値がそれぞれ画素値の分布が一様であることを表す条件を満たす場合に限り、前記判定部に前記参照画像を用いて前記付着物が脱落したか否かの判定をさせる適正判定部をさらに有する、請求項１に記載の画像処理装置。
3. 前記領域内の画素値の分布を表す第１の統計的代表値が画素値の分布が一様であることを表す条件を満たし、かつ前記周辺領域内の画素値の分布を表す第２の統計的代表値が前記条件を満たさない場合、前記参照画像生成部は、前記イメージセンサにより新たに生成された少なくとも１枚の画像の前記領域に含まれる画素の値及び前記周辺領域に含まれる画素の値と前記参照画像上の対応画素の画素値とを加重平均することで前記参照画像を更新し、
   前記更新された参照画像について前記第１の統計的代表値及び前記第２の統計的代表値を算出し、当該第１の統計的代表値及び当該第２の統計的代表値が前記条件を満たす場合に限り、前記判定部に前記参照画像を用いて前記付着物が脱落したか否かの判定をさせる適正判定部をさらに有する、請求項１に記載の画像処理装置。
4. 前記参照画像生成部は、前記イメージセンサにより生成された画像が、暗照明環境で撮影された画像、暗照明環境に応じた設定条件で撮影された画像及び画素数が所定数以上間引かれた画像の何れかである場合に当該画像を前記参照画像の生成に利用せず、何れにも該当しない場合に当該画像を前記参照画像の生成に利用する、請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記イメージセンサにより生成された画像において前記領域内の画素の値を前記付着物による影響を打ち消すように補正する補正部をさらに有し、
   前記判定部は、前記参照画像における前記領域内の画素値に関する第３の統計的代表値に対する前記周辺領域内の画素値に関する第４の統計的代表値の比を求め、該比が第１の閾値未満である場合に前記付着物が脱落したと判定し、
   前記付着物が脱落したと判定した場合、当該判定以降に前記イメージセンサにより生成された画像に対する前記補正部による補正を停止し、一方、前記付着物が脱落していないと判定した場合、当該判定以降に前記イメージセンサにより生成された画像に対する前記補正部による補正を継続する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 光路を規定する撮像光学系と、
   前記撮像光学系により結像された物体の像の画像を生成するイメージセンサと、
   前記イメージセンサにより生成された画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成する参照画像生成部と、
   前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する判定部と、
   を有する撮像装置。
7. イメージセンサから撮像光学系により該イメージセンサ上に結像された物体の像の画像を取得し、
   前記イメージセンサから取得した画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成し、
   前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する、
   ことを含む画像処理方法。
8. イメージセンサから取得した、撮像光学系により該イメージセンサ上に結像された物体の像の画像に基づいて、前記撮像光学系と前記イメージセンサとの間において前記撮像光学系により規定される光路内に付着した付着物により影響される領域内に含まれる画素値が一様であり、かつ該領域の周辺領域内に含まれる画素値が一様な参照画像を生成し、
   前記参照画像における前記領域内の画素値と前記周辺領域内の画素値とを比較することにより前記付着物が脱落したか否かを判定する、
   ことをコンピュータに実行させる画像処理用コンピュータプログラム。