JPWO2005022901A1 - 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 - Google Patents

Abstract

撮像系診断装置は、画像を取得する画像取得部と、画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して光路途中に含まれる異物の量を監視し、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。

Description

本発明は、電子カメラ等が好適に利用されるための撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置に関する。

従来、複写機、ファクシミリ、スキャナー等のＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）の分野では、原稿読み取り部の汚れの状態を診断する方法が知られている。例えば特許文献１には、原稿の搬送開始前に背景の反射光レベルを読み取り２値化し、黒と認識された画素数が所定値以上であるとき汚れが付着しているものと判定している。また、特許文献２では、シェーディング補正をする時に基準白レベルを提供するシェーディング補正版に対し、読み取った時の出力値が所定値以下になる画素が存在すると判定されれば、補正板の汚れ付着の予告表示または警告表示を行っている。さらに、光路途中の汚れ部の検出と共に汚れた場所の圧縮空気による物理的な清掃の方法が特許文献３に開示されている。

特開昭６３−２２１７６６号公報 特開平４−２７１６６３号公報 特開平１１−２７４７５号公報

しかしながら、これらはいずれもＯＣＲ装置での使用環境に適した対策法が示されているに過ぎず、近年急速に拡大しつつある電子カメラの実態に即したものとはいえない。すなわち、ＯＣＲ装置は一様な平行光線を照射するため、ゴミ影は光学系の影響を受けず常に同じように現れ、汚れを比較的容易に診断しやすい。また、ＯＣＲ装置では１〜２個程度のゴミを対象とするのが通常である。他方、電子カメラは可変光学系のため、ゴミの写り込み方は光学条件により変化し、かつ、ゴミの数が非常に多いなど問題となるゴミの状況も変わってくるという問題が生じている。

本発明は、電子カメラの使用においてゴミの付着状況を好適に診断する装置を提供する。

本発明の第１の態様によると、撮像系診断装置は、可変な絞りを有する光学系を通して、所定の絞り値よりも絞り込んだ状態の絞り値で一様面を撮影した画像を取得する画像取得部と、前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
本発明の第２の態様によると、撮像系診断装置は、光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
本発明の第３の態様によると、第１、２の態様のいずれかの撮像系診断装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第４の態様によると、第３の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視するのが好ましい。
本発明の第５の態様によると、第４の態様の撮像系診断装置において、監視部は、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行うのが好ましい。
本発明の第６の態様によると、撮像系診断装置は、画像を取得する画像取得部と、画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して光路途中に含まれる異物の量を監視し、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。
本発明の第７の態様によると、第５または６の態様の撮像系診断装置において、警告通知は、異物の物理的な清掃を勧告する旨の警告であるのが好ましい。
本発明の第８の態様によると、第１〜７の態様のいずれかの撮像系診断装置において、監視部は、異物を複数の種類に分類して監視するのが好ましい。
本発明の第９の態様によると、第５または６の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて画像内の欠陥情報を作成し、欠陥情報に基づいて異物の量を監視するのが好ましい。
本発明の第１０の態様によると、第９の態様の撮像系診断装置において、監視部は、相対比を１とは異なる複数の閾値と比較し、相対比が閾値より１から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、算出した面積率が所定の面積率を超えたか否かを複数の閾値ごとに判定するのが好ましい。
本発明の第１１の態様によると、第１０の態様の撮像系診断装置において、監視部は、複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行うのが好ましい。
本発明の第１２の態様によると、第１１の態様の撮像系診断装置において、監視部は、相対比と比較する閾値が１に比べて小さく設定されているほど、所定の面積率を小さく設定するのが好ましい。
本発明の第１３の態様によると、第１の態様の撮像系診断装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第１４の態様によると、撮像装置は、可変な絞りを有する光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、異物監視モードが設定されているとき、光学系が所定の絞り値よりも絞り込んだ状態の絞り値で撮像部により撮像された画像に基づき、異物を監視する監視部とを備える。
本発明の第１５の態様によると、第１４の態様の撮像装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第１６の態様によると、撮像装置は、光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、異物監視モードが設定されているとき、光学系の焦点を無限遠に設定する焦点制御部と、異物監視モードが設定されているとき、光学系の焦点が無限遠に設定された状態で撮像部により至近被写体を撮像して取得された画像に基づき、異物を監視する監視部とを備える。
本発明の第１７の態様によると、光学系の焦点を自動制御する焦点制御部と、光学系を通して被写体を撮像する撮像部と、光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮像部により撮像された画像に基づき、異物を監視する監視部とを備える撮像装置は、焦点制御部は、異物監視モードが設定されているとき、光学系の焦点を合焦状態から非合焦状態に設定し、監視部は、光学系の焦点が非合焦状態に設定された状態で撮像部により撮像された画像に基づき、異物を監視する。
本発明の第１８の態様によると、第１５〜１７の態様のいずれかの撮像装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第１９の態様によると、撮像系診断プログラムは、第１〜１３の態様のいずれかの撮像系診断装置の機能をコンピュータに実行させる。
本発明の第２０の態様によると、撮像系診断プログラム製品は、第１９の態様のプログラムを有する。

画質の品位を大きく損ねかねない状況のゴミ蓄積量を好適に評価して、物理的清掃を促す診断を行うことが可能となり、ユーザーは自分でその診断を行う手間を省けると共に、知らない間にみだりに画質の低下を招いているような危険も排除することができる。

交換レンズ方式の電子カメラの構成を示す図である。 電子カメラのブロック図とパーソナルコンピュータ（ＰＣ）および周辺装置を示す図である。 撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理のフローチャートである。 輝度面に対して局所的規格化処理を施した様子を示す図である。 透過率マップのヒストグラムを示す図である。 ゴミ蓄積量監視処理を示すフローチャートである。 ゴミの大きさによる分類を表す図である。 第２の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 第３の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 第４の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 比較的大きなゴミについて、Ｆ値変換により透過率が変換される様子を示す図である。 プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。

−第１の実施の形態−
電子カメラでは、図１に示されるように撮像素子前部の光学フィルタ面上に通常使用環境において多数のゴミが付着しているのが普通である。ゴミの種類としては小さいゴミから大きなゴミまで種々あり、小さいゴミに至っては数百から数千個レベルのゴミが付着している。また、特に交換レンズ系の一眼レフカメラでは、刻一刻と付着状況が変わっていき、放置すれば相当な個数のゴミが蓄積されていく。一般に、小さなゴミは透過率が大きく、一個当たりの占有面積は小さいのに対し、大きなゴミは透過率も小さく一個当たりの専有面積も大きい。

これらのゴミの写り込み方は、撮影時の絞り値に大きく依存し、開放側ほどぼけて薄く広く広がり、小さなゴミは消滅して見えない。また、絞った状態にすると全てのゴミがくっきりと鮮明に浮かび上がってくる。図１１に比較的大きなゴミのＦ値依存性を示す。これらの実験結果に基づいて、以下に撮像面に付着したゴミを適切に監視（モニター）して、汚れを診断する方法を述べる。

（電子カメラおよびパーソナルコンピュータの構成）
図１は、交換レンズ方式の一眼レフ電子スチルカメラ（以下、電子カメラと言う）の構成を示す図である。電子カメラ１は、カメラ本体２とマウント式交換レンズからなる可変光学系３を有する。可変光学系３は、内部にレンズ４と絞り５を有する。レンズ４は複数の光学レンズ群から構成されるが、図では代表して１枚のレンズで表し、そのレンズ４の位置を主瞳位置と言う（以下、単に瞳位置と言う）。可変光学系３は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。

カメラ本体２は、シャッター６、光学フィルターやカバーガラスなどの光学部品７、撮像素子８を有する。可変光学系３は、カメラ本体２のマウント部９に対して着脱可能である。また、可変光学系３は、マウント部９を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ１の制御部１７（図２）に送信する。絞り値は、例えばＦ２．８〜Ｆ２２まで変化する。

符号１０は、撮像素子８前部の光学部品７の表面に付着したゴミを示す。以上のような可変な光学系に対して、撮像面に付着したゴミの量を診断し、ユーザーに対して清掃を促す手法を以下に示す。

図２は、電子カメラ１のブロック図とＰＣ（パーソナルコンピュータ）３１および周辺装置を示す図である。電子カメラ１は、可変光学系３、光学部品７、シャッター６（図２では図示省略）、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インタフェース部２２、外部インタフェース部２３を備える。

撮像素子８は、可変光学系３を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８は、例えば単板式カラーＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。

メモリカード用インタフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０とのインタフェースをとる。外部インタフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ３１等の外部装置とのインタフェースをとる。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ２１は、各種メニューを表示したり、撮像素子８で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部１６の出力は制御部１７に接続され、モニタ２１には表示画像生成部２０の出力が接続される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。

Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２２、外部インタフェース部２３は、バス２４を介して相互に接続されている。

ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。

図２のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。撮像素子８は、可変光学系３により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が行われ、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部１５に供給する。

本実施の形態の電子カメラ１では、撮像素子８において、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されている場合を例にとり、画像処理部１５に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子８を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。

画像処理部１５は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インタフェース部２２を介してメモリカード３０に記録される。画像処理が完了した画像データは、圧縮処理を施さずにメモリカード３０に記録してもよい。

画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。そして、この画像データを基に、以下に説明する手順で電子カメラ１のメモリ１８に格納されたプログラムを実行することによりゴミ付着量の判定が行われる。なお、メモリカード３０を介してＰＣ３１に提供し、ＰＣ内に格納されているプログラムにおいてゴミ付着量を判定することも可能である。この場合、外部インターフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供してもよい。以下、本実施の形態においては、カメラ内部のプログラムにより処理を行うものとする。

（ゴミの監視処理）
図３に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図３は撮影した基準画像を元に撮像面等に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。

１）基準画像の撮影
ステップＳ１にて電子カメラ１に「ゴミ診断モード（異物監視モード）」が設定されているか否かを判断する。ゴミ診断モードとは、電子カメラ１のゴミ診断を行うときに設定するモードであって、ユーザーが以下に説明する基準画像の撮影を行う際に設定するモードである。このゴミ診断モードが設定されると、電子カメラ１は基準画像の撮影を行うために必要な電子カメラ１の設定を自動で行い、かつ、ユーザーに対して基準画像撮影の指示を出す。この指示はモニタ２１にメッセージを表示する方法や音声によって指示を行う方法が考えられる。

ステップＳ１にてゴミ診断モードの設定がされていると判断されるとステップＳ１０に進み、基準画像の撮影を行う。本実施の形態では、ユーザーが定期的に（月１回程度）一様な被写体を撮影してゴミ付着状況を調べるための基準画像を得ることを想定する。基準画像を撮影する際には、可変光学系３に用意された可変な範囲の中で絞りを自動的に所定の絞り値よりも絞り込んだ状態にして撮影する。所定の絞り値よりも絞り込んだ状態とは、最も絞り込んだ絞り値であることが望ましく、これによりあらゆるゴミが最も鮮明に写り込んだ情報を得ることができ、正確なゴミ付着量の判定を可能とする。なお、最も絞り込んだ絞り値は、標準的なレンズでは例えばＦ２２程度である。また、Ｆ１１程度まで絞り込んであれば、およそ適切なゴミ診断が可能なレベルとなる。ここで最も絞り込んだ絞り値に設定する操作はユーザーが手動で行ってもよい。ただし、基準画像は、非現実的な完全に一様な白基準データではなく、現実的な青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。

２）輝度面の生成
次に、ステップＳ２０において輝度面の生成を行う。基準画像データの各画素［ｉ，ｊ］について、次の式（１）を使用して、ＲＧＢ信号から輝度信号を生成する。［ｉ，ｊ］は画素の位置を示す。
Ｙ［ｉ，ｊ］＝（Ｒ［ｉ，ｊ］＋２＊Ｇ［ｉ，ｊ］＋Ｂ［ｉ，ｊ］）／４．．．（１）
ＲＧＢ各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、ＲＧＢ３面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、Ｒ：Ｇ：Ｂ＝０．３：０．６：０．１等であってもよい。

３）透過率マップの生成（ゲインマップ抽出）
ステップＳ３０では、以下の処理からなる透過率マップの生成（ゲインマップ抽出）を行う。

３−１）局所的規格化処理（ゲイン抽出処理）
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化（正規化）処理を行って、各画素の透過率信号Ｔ［ｉ，ｊ］を、次式（２）を使用して算出する。すなわち、着目画素［ｉ，ｊ］の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ（ゲインマップ）と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号（色情報）や輝度信号（輝度情報）の値である。例えば、１バイトで表される場合、０〜２５５の値を取る。

ここで、局所平均を取る範囲（２ａ＋１）ｘ（２ｂ＋１）画素は、最大に想定されるゴミ径より大きめにとる。理想的には面積的にゴミ影よりも３倍程度以上の広さを取れば、正確な透過率データが得られる。ａは着目画素［ｉ，ｊ］を中心に左右に広がる画素数、ｂは着目画素［ｉ，ｊ］を中心に上下に広がる画素数を示す。例えば、撮像素子８の画素ピッチを１２ｕｍとし、撮像面とゴミ付着面との距離を１．５ｍｍとすると、絞り値Ｆ２２のとき、巨大なゴミの直径は１５画素程度、絞り値Ｆ４のとき、巨大なゴミの直径は４０画素程度となる。従って、ａ＝４０、ｂ＝４０とし、局所平均を取る範囲は８１×８１画素範囲のように設定するとよい。また、数百万画素クラスの撮像素子であれば、１０１×１０１画素の固定でもよい。これらは一例であり、他の画素数による画素範囲であってもよい。

ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出る。そのため、処理を高速化する場合は、間引いた画素で代表して処理しても問題ない。

この（２ａ＋１）ｘ（２ｂ＋１）画素の範囲で相対比を演算する処理を、局所的規格化処理（ゲイン抽出処理）と呼ぶ。（２ａ＋１）ｘ（２ｂ＋１）画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図４は、輝度面に対して局所的規格化処理を施した様子を示す図である。図４（ａ）は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号４１と符号４２は、ゴミにより輝度信号が低下していることを示す。図４（ｂ）は、図４（ａ）の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号４３、４４は、図４（ａ）の符号４１、４２に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。

透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号Ｔ［ｉ，ｊ］には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が１に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く３−３）の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式（３）によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
Ｔ［ｉ，ｊ］＝｛４＊Ｔ［ｉ，ｊ］
＋２＊（Ｔ［ｉ−１，ｊ］＋Ｔ［ｉ＋１，ｊ］＋Ｔ［ｉ，ｊ−１］＋Ｔ［ｉ，ｊ＋１］）
＋１＊（Ｔ［ｉ−１，ｊ−１］＋Ｔ［ｉ−１，ｊ＋１］＋Ｔ［ｉ＋１，ｊ−１］＋Ｔ［ｉ＋１，ｊ＋１］）｝／１６ ．．．（３）

３−２）透過率マップの統計解析
前述の透過率マップに含まれるゴミ情報とランダムノイズを区別するため、前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Ｍを次式（４）により求め、標準偏差σを次式（５）により求める統計解析を行う。なお、Ｎｘ，Ｎｙは、ｘ方向、ｙ方向の総画素数を表す。

３−３）閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は十分に小さく、３−２）で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ（ショットノイズ）を評価していると考えられる。図４における符号４５部分を拡大した符号４６は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値Ｍ（Ｍはほぼ１に近い値）を中心に標準偏差σの正規分布した形となる。図５は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を１に設定してよい。すなわち、次の条件（６）（７）により閾値判定を行う。
ｉｆ ｜Ｔ［ｉ，ｊ］−Ｍ｜≦３σ ｔｈｅｎ Ｔ［ｉ，ｊ］＝１ ．．．（６）
ｅｌｓｅ Ｔ［ｉ，ｊ］＝Ｔ［ｉ，ｊ］．．．（７）

正規分布するランダムデータは、±３σの範囲を集めれば９９．７％になるので、ほぼ正確にランダムノイズの影響を除外することができる。±３σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常１より小さな値となる。

しかし、割合は少ないが１より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理（屈折率の不均一）で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法は利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子８に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。

なお、ゴミ影のみを対象とする場合は、以下の条件（８）（９）（１０）により閾値判定するとよい。
ｉｆ ｜Ｔ［ｉ，ｊ］−Ｍ｜≦３σ ｔｈｅｎ Ｔ［ｉ，ｊ］＝１ ．．．（８）
ｅｌｓｅ ｉｆ Ｔ［ｉ，ｊ］＞１ ｔｈｅｎ Ｔ［ｉ，ｊ］＝１ ．．．（９）
ｅｌｓｅ Ｔ［ｉ，ｊ］＝Ｔ［ｉ，ｊ］．．．（１０）
判定に使う平均値Ｍは常に１に近い値をとるため、１に置き換えてもよい。

このようにして、欠陥の画素位置を表すマップ情報（Ｔ＝１か否かで判断）と、欠陥の度合いを表す透過率情報の２種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。

通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となる。

４）ゴミ量の監視
ステップＳ４０において、図６に示すフローチャートに従ってゴミ蓄積量の監視を行う。上記で高感度に検出された透過率マップを使って、ゴミの影響を受けた画素の数を計数し、総画素数に対する面積率を算出する。このとき、透過率でゴミの種類を分類し、各々について面積率を算定する。ここでは付着しているゴミの大きさに応じて図７に示す４種類のゴミに分別を行う。小さなゴミから大きなゴミまでを含む全てのゴミの分類を第１分類ゴミ７ａとし、第１分類ゴミ７ａが起因となって影響を受けていると考えられる画素の数をＮ１とする。第１分類ゴミ７ａから非常に小さいゴミを除いたゴミの分類を第２分類ゴミ７ｂとし、第２分類ゴミ７ｂが起因となって影響を受けていると考えられる画素の数をＮ２とする。第２分類ゴミ７ｂから小さいゴミを除いたゴミの分類を第３分類ゴミ７ｃとし、第３分類ゴミ７ｃが起因となって影響を受けていると考えられる画素の数をＮ３とする。そして、大きいゴミのみを含む分類を第４分類ゴミ７ｄとし、第４分類ゴミ７ｄが起因となって影響を受けていると考えられる画素の数をＮ４とする。透過率の低下が小さいほど小さなゴミと考えられるので、以下に示す閾値の設定が１に近づくほど小さなゴミまでを含むように分類できる。

４−１）初期化
図６のステップＳ１１０において、各分類のゴミの影響を受けた画素の数をＮ１＝０、Ｎ２＝０、Ｎ３＝０、Ｎ４＝０と初期化する。

４−２）ゴミの画素数の算出
ステップＳ１２０において、以下の（１１）（１２）（１３）（１４）の条件に基づく透過率に対する閾値の判断を行い、ステップＳ１２０の判断に従って（１１）（１２）（１３）（１４）の式に示す通り各分類ごとのゴミの画素数Ｎ１（ステップＳ１３０）、Ｎ２（ステップＳ１４０）、Ｎ３（ステップＳ１５０）、Ｎ４（ステップＳ１６０）を算出する。ここで、透過率に対する閾値は、たとえばｔｈ１＝０．９５、ｔｈ２＝０．７５、ｔｈ３＝０．５０、ｔｈ４＝０．２５などと設定する。このように閾値を設定してゴミの量を数えることによって、ゴミの大きさによって分類した第１分類ゴミ７ａ、第２分類ゴミ７ｂ、第３分類ゴミ７ｃ、第４分類ゴミ７ｄに対応したＮ１，Ｎ２、Ｎ３、Ｎ４を算出することができる。
ｉｆ Ｔ［ｉ，ｊ］＜ｔｈ１ ｔｈｅｎ Ｎ１＝Ｎ１＋１ ．．．（１１）（第１分類ゴミ）
ｉｆ Ｔ［ｉ，ｊ］＜ｔｈ２ ｔｈｅｎ Ｎ２＝Ｎ２＋１ ．．．（１２）（第２分類ゴミ）
ｉｆ Ｔ［ｉ，ｊ］＜ｔｈ３ ｔｈｅｎ Ｎ３＝Ｎ３＋１ ．．．（１３）（第３分類ゴミ）
ｉｆ Ｔ［ｉ，ｊ］＜ｔｈ４ ｔｈｅｎ Ｎ４＝Ｎ４＋１ ．．．（１４）（第４分類ゴミ）
なお、ここで閾値ｔｈ１、ｔｈ２、ｔｈ３、ｔｈ４を１より大きな値とし、それらの閾値よりも大きな値、すなわち１より離れる側の値の透過率を検出することで、図５で説明したとおり、脈理等の影響を受けた画素の数を算出することができ、光路途中に含まれるゴミ以外の光学部材の欠陥検出も行うことができる。

４−３）面積率への変換
上記で算出したＮ１，Ｎ２，Ｎ３、Ｎ４に基づいて、ステップＳ１７０において、各分類ゴミの画素数から面積率への変換を行う。第１分類ゴミの面積率をＲ１、第２分類ゴミの面積率をＲ２、第３分類ゴミの面積率をＲ３、第４分類ゴミの面積率をＲ４とし、次式（１５）（１６）（１７）（１８）により、各分類ごとの面積率を算出する。
Ｒ１＝Ｎ１／（総画素数） ．．．（１５）
Ｒ２＝Ｎ２／（総画素数） ．．．（１６）
Ｒ３＝Ｎ３／（総画素数） ．．．（１７）
Ｒ４＝Ｎ４／（総画素数） ．．．（１８）
このようにして、複数種類のゴミに分別してゴミの量を監視することができる。Ｒ４は極めて大きなゴミのみが付着している蓄積量を表し、Ｒ１は小さなゴミから大きなゴミまで、付着している全てのゴミの蓄積量を表していると考えられる。

５）清掃時期の通知
ステップＳ１７０で算出した各分類ゴミごとのゴミの蓄積量に対して、通常使用において問題となる限度を超える場合に、その通知をユーザーに対して行う。ステップＳ１８０では、次式（１９）（２０）の条件に基づく判断を行う。
ｉｆ （Ｒ１＞ｒａｔｅ＿ｔｈ１ ＯＲ Ｒ２＞ｒａｔｅ＿ｔｈ２ ＯＲ Ｒ３＞ｒａｔｅ＿ｔｈ３ ＯＲ Ｒ４＞ｒａｔｅ＿ｔｈ４）
ｔｈｅｎ 警告ＯＮ ．．．（１９）
ｅｌｓｅ 警告ＯＦＦ ．．．（２０）
上記の判定の結果、ゴミの蓄積量が条件を満たしていればステップＳ１９０においてユーザーに対して警告をする（以下、警告ＯＮ）決定を行い、ゴミの蓄積量が条件を満たしていない場合はステップＳ２００にて警告を行わない（以下、警告ＯＦＦ）決定を行う。

ここで、例えば、ｒａｔｅ＿ｔｈ１は０．１％のオーダーの値、ｒａｔｅ＿ｔｈ４は０．０１〜０．００１％のオーダーの値で、ｒａｔｅ＿ｔｈ２とｒａｔｅ＿ｔｈ３はその中間的な値を設定するとよい。すなわち第１分類ゴミ側の面積率に対する閾値の方を第４分類側ゴミ側の面積率に対する閾値より大きくする。これは、基準画像は最小の絞り値で撮影したが、小さなゴミは絞りが少し開放側に寄るだけで消滅する可能性があるためである。すなわち、基準画像内にゴミとして現れた極めて小さなゴミは、通常使用において絞りを最小よりも開放側にして撮影した場合には、その影響は問題となりにくいため、これを考慮に入れて判定を行うためである。

ステップＳ１９０にて、警告ＯＮの決定がされた場合は、図３のステップＳ６０にてユーザーに対してゴミの除去を促す警告が行われる。ここで、警告が発せられた場合は、物理的なゴミ除去を行わなければ電子カメラの出力画像としてはかなりの画質低下を免れないことを意味する。警告の方法は電子カメラ１に警告ランプを設け、その警告ランプを点滅させても良いし、モニタ２１に清掃を促すメッセージを表示するようにしても良い。あるいは、音声による警告を行っても良い。

以上のように、第１の実施の形態では、基準画像を基にゴミの蓄積量を算出しているが、基準画像の一様面の撮影には厳密な均一性を要求しないので、比較的手軽に実現することが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。

−第２の実施の形態−
第２の実施の形態では、第１の実施の形態で使用した一様面を撮影して得られる基準画像に代わって、ピントを非合焦点に合わせて撮影した画像（以下、非合焦画像）を使用することによってゴミの蓄積量を算出し、ゴミの蓄積量が通常使用において問題となる限度を超える場合に必要に応じてユーザーへの通知を行う方法について説明する。

（電子カメラおよびパーソナルコンピュータの構成）
電子カメラ１および画像処理装置としてのＰＣ３１の構成を図２に基づいて説明する。なお、第１の実施の形態と共通する箇所については、その説明を省略する。

電子カメラ１は、不図示のオートフォーカス制御部を有する。オートフォーカス制御部は、制御部１７によって制御され、被写体までの距離・焦点位置を検出し、それに基づいて焦点を自動で合わせるように可変光学系３を制御する。電子カメラでは一般的に被写体までの距離・焦点位置を検出するために、不図示のフォーカスレンズ（合焦光学系）を前後に動かしてコントラストの高い位置を求め、その位置を合焦点と判断する方法をとっている。これにより求めた合焦点にピントが合うように可変光学系３を制御することにより、合焦画像を得ることができる。なお、上記説明したコントラストの高い位置を合焦点と判断する方法は一例であり、その他のオートフォーカス機構であってもよい。

本実施の形態においては、ユーザーに対して至近の対象物を撮影するよう指示を出すと同時に、上記オートフォーカス制御部により、オートフォーカスされた位置、ないしは合焦点が存在しない場合は、合焦により近づく側の位置から逆の非合焦となる位置、すなわち合焦側の位置から逆側に位置する無限遠側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。

（ゴミの監視処理）
図８に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図８は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ１のメモリ１８に格納されたプログラムを実行することにより行われる。

１）非合焦画像の撮影
ステップＳ２１０でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。ここで一般的には、非合焦画像とはオートフォーカスで合焦より反対側に焦点を合わせて撮影した画像、ないしは合焦点の存在しない最短撮影距離より至近の被写体を撮影した画像のことである。これにより周囲に一様な被写体がない場合においても、第１の実施の形態における基準画像に相当するボケ画像を得ることができる。非合焦画像を撮影する際には、上記基準画像撮影時と同様に可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばＦ２２程度である。これによりあらゆるゴミが最も鮮明に写り込んだ情報を得ることができ、正確なゴミ付着量の判定を可能とする。

ステップＳ２２０にて電子カメラ１はユーザーに対して至近の対象物を撮影するよう指示を出す。ここでユーザへの指示の出し方としては、モニタ２１にメッセージを表示する方法や音声によって指示を行う方法が考えられる。また、ステップＳ２１０で非合焦画像の撮影が行われると判断されるためには、ユーザーが非合焦画像の撮影を電子カメラ１に指示する必要がある。これには「ゴミ診断モード」あるいは「非合焦画像撮影モード」などをメニュー画面を利用して電子カメラ１にセットする。ユーザーがこれらのモードを起動することにより非合焦画像の撮影が行われると判断可能とすることができる。

ここでいう至近の対象物には、安全のため最短撮影距離より至近にある被写体を利用する。最短撮影距離とはそれ以上至近に寄りすぎると、合焦点が存在しない距離のことを指し、レンズによってその値は異なる。一般には２０ｃｍ程度以上のものが多いため、２ｃｍから１０ｃｍ程度の至近被写体を撮影すれば、広角レンズといえども確実に基準画像に相当する非合焦画像にふさわしいボケ画像を得ることができる。

ステップＳ２３０にて電子カメラ１はオートフォーカス制御部によりオートフォーカスを無限遠に自動設定する。これにより、ステップＳ２２０でユーザーに対して至近の対象物を撮影するよう指示を出してあるため、通常であれば非合焦であり、かつ被写体とは反対方向に焦点制御することにより、さらにボケた画像、すなわち非合焦画像の撮影が可能となる。そして、ステップＳ２４０にて非合焦画像の撮影を行う。

以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第１の実施の形態における基準画像に相当する画像であるため、以降の処理は第１の実施の形態における処理内容と同一である。すなわち、ステップＳ２０の輝度面生成、ステップＳ３０の透過率マップの生成、ステップＳ４０のゴミ付着量の監視、ステップＳ５０の清掃時期通知の判断、ステップＳ６０の清掃時期の通知を第１の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。

以上のように、第２の実施の形態では、非合焦画像を基にゴミの蓄積量を算出しているため、周囲に一様な被写体がない場合においても、第１の実施の形態における基準画像に相当するボケ画像を得ることができ、ユーザーは場所を選ばずゴミ検出を行うことができる。更に、第１の実施の形態と同様に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。

−第３の実施の形態−
第２の実施の形態においては、ユーザーに対して至近の対象物を撮影するよう指示を出すと同時に、非合焦の方向すなわち無限遠へオートフォーカスを調整し非合焦画像を得た。しかし至近の対象物を撮影するように指示したにも関わらず、撮影者が遠方にある対象物を撮影した場合には合焦となってしまい、ゴミの付着量を監視するための非合焦画像の撮影が困難となる。このような場合に対応すべく、第３の実施の形態においては、無限遠にオートフォーカスを調整したにも関わらず合焦となってしまった場合には、オートフォーカス制御部は無限遠とは逆の方向、すなわち近接（最短撮影距離）側へオートフォーカスを設定し、自動的に非合焦画像を得るべく制御を行う方法について説明する。

（電子カメラおよびパーソナルコンピュータの構成）
電子カメラ１および画像処理装置としてのＰＣ３１の構成については、第２の実施の形態と共通するため、その説明を省略する。

本実施の形態においては、上記オートフォーカス制御部により、オートフォーカスされた位置から逆の非合焦となる位置、すなわちオートフォーカスの位置から逆側に位置する無限遠側あるいは最短撮影距離側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。

（ゴミの監視処理）
図９に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図９は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ１のメモリ１８に格納されたプログラムを実行することにより行われる。

１）非合焦画像の撮影
ステップＳ３１０でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第１、第２の実施の形態同様、非合焦画像を撮影する際には、可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。

ステップＳ３２０にて電子カメラ１はユーザーに対して至近の対象物を撮影するよう指示を出す。これは第２の実施の形態における図８のステップＳ２２０の処理と同様のため、説明は省略する。

ステップＳ３３０にて電子カメラ１はオートフォーカス制御部によりオートフォーカスを無限遠に自動設定する。これにより、ステップＳ３２０でユーザーに対して至近の対象物を撮影するよう指示を出してあるため、通常であれば非合焦であり、かつ被写体とは反対方向に焦点制御することによりさらにボケた画像の撮影が可能となる。

ステップＳ３３０の結果、ステップＳ３４０にて合焦点なしと判断された場合は、非合焦画像の撮影が可能であるためステップＳ３７０にて非合焦画像の撮影を行う。これに対し、ステップＳ３４０にて合焦点ありと判定された場合、すなわち非合焦の方向へオートフォーカスを調整したにも関わらず合焦となってしまった場合は、ゴミの付着量を監視するための非合焦画像の撮影が不可能となる。これは、至近の対象物を撮影するように指示したにも関わらず、ユーザーが遠方にある対象物を撮影した場合に起こり得る。

この時はステップＳ３５０へ進み、電子カメラ１はオートフォーカス制御部によりオートフォーカスを無限遠とは逆の方向、すなわち近接（最短撮影距離）側へ自動設定する。この結果、ステップＳ３６０で合焦点なしと判断されれば、非合焦画像の撮影が可能であるためステップＳ３７０へ進み非合焦画像の撮影を行う。もしこれでも合焦となってしまう場合には、ステップＳ３２０へ戻り、再度ユーザーに対して至近の対象物を撮影するよう指示を出し、処理をやり直す。ここで電子カメラ１は非合焦画像が撮影できなかった旨をユーザーに通知し、取り直しの際のステップＳ３２０においては前回とは別の至近の対象物を撮影するよう、ユーザーへ指示するべく、指示メッセージの内容を変更しても良い。

以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第１の実施の形態における基準画像に相当する画像であるため、以降の処理は第１の実施の形態における処理内容と同一である。すなわち、ステップＳ２０の輝度面生成、ステップＳ３０の透過率マップの生成、ステップＳ４０のゴミ付着量の監視、ステップＳ５０の清掃時期通知の判断、ステップＳ６０の清掃時期の通知を第１の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。

以上のように、第３の実施の形態では、無限遠にオートフォーカスを調整したにも関わらず合焦となってしまった場合には、オートフォーカス制御部は無限遠とは逆の方向、すなわち近接（最短撮影距離）側へオートフォーカスを設定し、自動的に非合焦画像を得るべく制御を行っているため、ユーザーに誤操作があった場合にも自動的に非合焦画像を得ることができる。

−第４の実施の形態−
第２、第３の実施の形態においては、非合焦画像を撮影するためにまずユーザーに対して至近の対象物を撮影するよう指示を出していた。しかし、電子カメラ１に接続されている可変光学系３が望遠レンズや接写用マイクロレンズの場合は、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御するだけで、十分に非合焦画像にふさわしい画像を得ることができる。このためユーザーに対して至近の対象物を撮影するよう指示する必要はない。この点を考慮して、第４の実施の形態においては、接続されている可変光学系３の種類によっては、電子カメラ１はユーザーに至近の対象物の撮影する指示を行わず、自動で非合焦画像を得るようコントロールする方法について説明する。

（電子カメラおよびパーソナルコンピュータの構成）
電子カメラ１および画像処理装置としてのＰＣ３１の構成については、第２の実施の形態と共通するため、その説明を省略する。

本実施の形態においては、ユーザーに対して撮影する対象物の指示を出すことなく、上記オートフォーカス制御部により、オートフォーカスされた位置から逆の非合焦となる位置、すなわちオートフォーカスの位置から逆側に位置する無限遠側あるいは最短撮影距離側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。

（ゴミの監視処理）
図１０に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図１０は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ１のメモリ１８に格納されたプログラムを実行することにより行われる。

１）非合焦画像の撮影
ステップＳ４１０でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第１、第２、第３の実施の形態同様、非合焦画像を撮影する際には、可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。

ステップＳ４２０にて、電子カメラ１に接続されている可変光学系３が望遠レンズや接写用マイクロレンズかの判断を行う。これは、接続されたレンズの種類が可変光学系３からカメラ本体２のマウント部９を介して電子カメラ１の制御部１７に送信され、判断される。ステップＳ４２０にて、電子カメラ１に接続されている可変光学系３が望遠レンズ、あるいは接写用マイクロレンズでないと判断された場合は、ステップＳ４３０へ進む。この場合は、第２、第３の実施の形態と同様に、ユーザーに対して至近の対象物を撮影するよう指示が必要となる。ここで、ステップＳ４３０の処理は、第３の実施の形態における図９のステップＳ３２０〜ステップＳ３６０と同じため、説明を省略する。ステップＳ４２０にて、電子カメラ１に接続されている可変光学系３が望遠レンズ、あるいは接写用マイクロレンズであると判断された場合は、ステップＳ４４０へ進み、以下の処理を行う。

ステップＳ４４０において、可変光学系３はオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御する。これは、上述した通り、電子カメラ１に接続されている可変光学系３が望遠レンズ、あるいは接写用マイクロレンズである場合には、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御するだけで、十分に非合焦画像にふさわしい画像を得ることができるためである。これにより、非合焦画像の撮影が可能となるため、ステップＳ４５０において、非合焦画像の撮影を行う。以上より、本自身の形態においては、ユーザーに対して至近の対象物を撮影するよう指示することなく、非合焦画像を得ることができる。

以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第１の実施の形態における基準画像に相当する画像であるため、以降の処理は第１の実施の形態における処理内容と同一である。すなわち、ステップＳ２０の輝度面生成、ステップＳ３０の透過率マップの生成、ステップＳ４０のゴミ付着量の監視、ステップＳ５０の清掃時期通知の判断、ステップＳ６０の清掃時期の通知を第１の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。

以上のように、第４の実施の形態では、電子カメラ１に接続されている可変光学系３が望遠レンズや接写用マイクロレンズの場合は、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御することとした。このため、非合焦画像を撮影する際にユーザーに対して至近の対象物を撮影するよう指示する必要はなく、ユーザーにとってより手軽なゴミ検出を実現することが可能である。なお、本実施の形態による発明は、電子カメラ１に接続されている可変光学系３が望遠レンズや接写用マイクロレンズの場合に最も効果的であるが、その他標準的なレンズについても適用可能である。

−実施の形態の変形例−
なお、上記第１の実施の形態における「１）基準画像の撮影」、および第２〜第４の実施の形態における「１）非合焦画像の撮影」を電子カメラ１で行った後、撮影した画像をＰＣ３１へ取り込み、上記２）〜５）の処理をＰＣ側で行うようにしてもよい。この場合電子カメラ１で撮影された基準画像あるいは非合焦画像は、メモリカード３０を介してＰＣ３１に提供される。あるいは、外部インターフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供されることになる。

基準画像あるいは非合焦画像を取り込んだＰＣ３１は、撮像系診断装置として機能し、あらかじめインストールされている撮像系診断プログラムによって第１〜第４の実施の形態共通の２）〜４）の処理を行う。そしてその結果を基に第１〜第４の実施の形態共通の５）の処理によって、ゴミの蓄積量が通常使用において問題となる限度を超えていると判断された場合は、モニタ３２に当該画像を撮影した電子カメラ３１の清掃を促すメッセージを表示する。これにより画像をＰＣ３１に取り込んだ後でもＰＣ３１上においてもゴミ蓄積量の診断を行うことができる。

ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図１２はその様子を示す図である。ＰＣ３１は、ＣＤ−ＲＯＭ３４を介してプログラムの提供を受ける。また、ＰＣ３１は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをＰＣ３１に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

以上、第１〜第４の実施の形態におけるゴミ付着量の診断においては、基準画像、非合焦画像の撮影を行い、それを基に診断を行うことによって、手軽にゴミ付着量の診断を行うことが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。

また、ゴミの付着量に従ってユーザーへの清掃時期の通知を行うことによって、電子カメラの使用において画質の品位を大きく損ねかねない状況のゴミ付着量を好適に診断して物理的清掃を促すことにより、知らないうちに画質の低下を招いているという危険を排除することができる。

なお、上記第１の実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、紙をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても（２ａ＋１）ｘ（２ｂ＋１）サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。

また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系（例えば補色表色系）であっても同様である。

また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。

また、上記実施の形態では、電子スチルカメラ１の例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラにも適用できる。また、カメラつき携帯電話にも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像するあらゆる撮像装置に対して、本発明を適用することができる。

また、上記実施の形態では、電子カメラ１で撮影した画像データを電子カメラ１あるいはＰＣ（パソコン）３１で処理してゴミの付着量を判定する例を説明したが、必ずしもこの内容に限定する必要はない。プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第３０７３５４号（２００３年８月２９日出願）

Claims (20)

1. 撮像系診断装置であって、
   可変な絞りを有する光学系を通して、所定の絞り値よりも絞り込んだ状態の絞り値で一様面を撮影した画像を取得する画像取得部と、
   前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
2. 撮像系診断装置であって、
   光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、
   前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
3. 請求項１、２のいずれかに記載の撮像系診断装置において、
   前記監視部は、光路途中に含まれる前記異物の量を監視する。
4. 請求項３に記載の撮像系診断装置において、
   前記監視部は、前記画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視する。
5. 請求項４に記載の撮像系診断装置において、
   前記監視部は、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う。
6. 撮像系診断装置であって、
   画像を取得する画像取得部と、
   前記画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して前記光路途中に含まれる異物の量を監視し、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。
7. 請求項５または６に記載の撮像系診断装置において、
   前記警告通知は、異物の物理的な清掃を勧告する旨の警告である。
8. 請求項１〜７のいずれか一項に記載の撮像系診断装置において、
   前記監視部は、前記異物を複数の種類に分類して監視する。
9. 請求項５または６に記載の撮像系診断装置において、
   前記監視部は、前記画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて前記画像内の欠陥情報を作成し、前記欠陥情報に基づいて異物の量を監視する。
10. 請求項９に記載の撮像系診断装置において、
    前記監視部は、前記相対比を１とは異なる複数の閾値と比較し、相対比が閾値より１から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、前記算出した面積率が所定の面積率を超えたか否かを前記複数の閾値ごとに判定する。
11. 請求項１０に記載の撮像系診断装置において、
    前記監視部は、前記複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行う。
12. 請求項１１に記載の撮像系診断装置において、
    前記監視部は、前記相対比と比較する閾値が１に比べて小さく設定されているほど、前記所定の面積率を小さく設定する。
13. 請求項１に記載の撮像系診断装置において、
    前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。
14. 撮像装置であって、
    可変な絞りを有する光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、前記光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、
    前記異物監視モードが設定されているとき、前記光学系が所定の絞り値よりも絞り込んだ状態の絞り値で前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える。
15. 請求項１４に記載の撮像装置において、
    前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。
16. 撮像装置であって、
    光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、
    前記異物監視モードが設定されているとき、前記光学系の焦点を無限遠に設定する焦点制御部と、
    前記異物監視モードが設定されているとき、前記光学系の焦点が無限遠に設定された状態で前記撮像部により至近被写体を撮像して取得された画像に基づき、前記異物を監視する監視部とを備える。
17. 光学系の焦点を自動制御する焦点制御部と、
    前記光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える撮像装置であって、
    前記焦点制御部は、前記異物監視モードが設定されているとき、前記光学系の焦点を合焦状態から非合焦状態に設定し、
    前記監視部は、前記光学系の焦点が非合焦状態に設定された状態で前記撮像部により撮像された画像に基づき、前記異物を監視する。
18. 請求項１５〜１７のいずれか一項に記載の撮像装置において、
    前記監視部は、光路途中に含まれる前記異物の量を監視する。
19. 撮像系診断プログラムであって、
    請求項１〜１３のいずれか一項に記載の撮像系診断装置の機能をコンピュータに実行させる。
20. 撮像系診断プログラム製品であって、
    請求項１９に記載のプログラムを有する。

Images