JP4533161B2 - 撮像装置及びその異物検出方法 - Google Patents

Description

本発明は、電子スチルカメラ等の撮像装置及びその異物検出方法に関する。

従来、レンズ交換可能で、フォーカルプレーンシャッターを用いた電子スチルカメラでは、撮像素子にごみなどの異物が付着しないようにするために、ミラーボックスを密封構造にするというものや、撮像素子上に配置するフィルター（ローパスフルターや赤外カットフィルター）の表面と撮像素子の焦点面をできるだけ離し、異物に焦点が合わないようにするものや、フィルター上の異物を超音波振動で落とすといったものが知られている。

また、複数の異なる画像から、コントラスト等が変化しない画素を異物領域として検出し、撮像素子の清掃時や異物領域を補正するための画像処理に反映させる技術が提案されている（例えば、特許文献１参照。）
特開２００４−１７２８２０公報

しかしながら、上述のように撮像素子に異物が付着しないようにするために、ミラーボックスを密封構造にしても、フォーカルプレーンシャッターから出るシャッターのカス等のメカニカルな機構から発生する異物は防ぐことはできない。また、撮像素子上に配置するフィルター（ローパスフルターや赤外カットフィルター）の表面と撮像素子の焦点面をできるだけ離し、異物に焦点が合わないようにする方法もあるが、フィルターの表面と撮像素子の焦点面を離せば離すほどフォーカルプレーンシャッターにおけるシャッター効率は落ちていく。また、フィルター上の異物を超音波振動で落とすものは、コストが高くつく。また、異物の検出においては、フィルムスキャナーなどで赤外光を用いた異物検出や画像処理などを用いた異物検出があるが、カメラに実装された要素で低コストで、自動で簡単に異物を検出する方法は実現化されてない。

また、上記特許文献１に記載の異物検出は、異物検出モード時に実行されるため、通常の撮影モード時には異物の検出ができない。また、撮影者は異物検出モード時にも画像の撮影操作をしなければならないという煩わしさがある。

本発明は、上記課題に鑑みてなされ、撮影者の手を煩わすことなく、カメラに実装された既存の要素を用いて簡単に異物の検出ができる技術の提供を目的としている。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の光学像を撮像する撮像手段と、前記撮像手段による被写体撮影を行う通常の撮影時に、撮影画像とは別に該撮影画像から異物検出用の比較画像を生成する生成手段と、前記比較画像と前記通常の撮影時に得られる撮影条件とを関連付けて蓄積する記録手段と、前記撮像手段によって新たな通常の撮影を行うたびに、今回の通常の撮影時の撮影条件とは異なる撮影条件が関連付けられた比較画像を前記記録手段から読み出し、前記記録手段から読み出した比較画像と今回の通常の撮影の撮影画像から新たに生成される比較画像とを比較して、前記撮像手段の撮像面に異物が存在するか否かを判定する判定手段とを具備する。

また、本発明の撮像装置の異物検出方法は、被写体の光学像を撮像面に結像させて撮像する撮像装置の異物検出方法であって、被写体撮影を行う通常の撮影時に、撮影画像とは別に該撮影画像から異物検出用の比較画像を生成する生成工程と、前記比較画像と前記通常の撮影時に得られる撮影条件とを関連付けて記録手段に蓄積する記録工程と、前記撮像装置によって新たな通常の撮影を行うたびに、今回の通常の撮影時の撮影条件とは異なる撮影条件が関連付けられた比較画像を前記記録手段から読み出し、前記記録手段から読み出した比較画像と今回の通常の撮影の撮影画像から新たに生成される比較画像とを比較して、前記撮像面に異物が存在するか否かを判定する判定工程とを備える。

また、本発明のプログラムは、上記異物検出方法を撮像装置のコンピュータに実行させる。

本発明によれば、異物検出のための特別なモード設定や撮影操作を必要とせず、既存の構成を用いて低コストで実現することができる。また、撮影条件等を用いることで異物検出精度も向上する。従って、撮影画像に異物が写り込む不具合を軽減することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
以下に、本発明の特徴である撮影画像とその撮影データを用いた異物検出及びそれを実現するための電子カメラについて説明する。

＜カメラの構成＞
図１は、本発明に係る実施形態として適用した電子カメラの概略ブロック図である。

１は交換可能な撮影レンズを搭載するレンズユニットであるが、ズームレンズの場合もある。レンズユニット１はマイクロコンピュータ１６と通信し、内部のＡＦ（オートフォーカス）駆動回路１ａは、例えばステッピングモータによって構成され、マイクロコンピュータ１６の制御によってレンズユニット１内のフォーカスレンズ位置を変位させることにより焦点を合わせる。フォーカス演算に用いるデフォーカス量は、ＡＦセンサー２４の出力を用いて演算する。また、レンズユニット１内には絞り駆動回路１ｂが設けられ、マイクロコンピュータ１６の制御によって光学的な絞り値を変化させる。また、マイクロコンピュータ１６はレンズユニット１と通信し、現在のズーム位置（焦点距離情報）、現在の離間位置（被写体距離）の情報を取得することが可能である。

２はクイックリターンミラーで、露光の際にマイクロコンピュータ１６の指令で不図示のアクチュエーターによりアップダウンされる。また、本ミラー２はＡＦ光学系に光を導くためハーフミラーで構成され、サブミラーも連動する。

３はフォーカッシングスクリーンで、撮影者はペンタプリズム４と不図示のファインダー光学系を通して該フォーカシングスクリーンを観察することで、レンズユニット１を通して得た被写体の光学像の焦点や構図の確認が可能となる。

５はフォーカルプレーンシャッターで、マイクロコンピュータ１６の制御で撮像素子６の露光時間を自由に制御できる。フォーカルプレーンシャッターは一般的には先幕、後幕から構成され、２枚の幕の間隔で自由な露光時間が制御される。

撮像素子６としてはＣＣＤやＣＭＯＳセンサー等が用いられ、レンズユニット１を通して撮像素子６上に結像された被写体像を光電変換して電気信号として取り込む。

クランプ／ＣＤＳ（相関二重サンプリング）部７やＡＧＣ（オートゲインコントロール）部８は、Ａ／Ｄ変換前の基本的アナログ処理として、電気信号に変換された画像信号のノイズの低減や信号レベルの調整を行う。また、マイクロコンピュータ１６ではクランプレベルやＡＧＣ基準レベルの変更も可能である。

Ａ／Ｄ変換部９は、上記アナログ処理が施されたアナログ信号である画像信号を、デジタル信号である画像データに変換する。この変換は、設定されたＩＳＯ感度に応じて行われる。

映像信号処理回路１０は、デジタル信号に変換された画像データに対して、フィルター処理、色変換処理、ガンマー／ニー処理を行い、メモリーコントローラ１３に出力する。他方、この映像信号処理回路１０にはＤ／Ａ変換回路が内蔵されており、Ａ／Ｄ変換部９でデジタル信号に変換された画像データや、メモリーコントローラ１３から入力される画像データをアナログ信号に変換し、液晶駆動回路１１を通して液晶表示部１２に出力することも可能である。これらの映像信号処理回路１０による画像処理及び表示処理はマイクロコンピュータ１６により切り替えられる。また、マイクロコンピュータ１６は、撮影画像のカラーバランス情報をもとにホワイトバランス調整を行う。更に、映像信号処理回路１０は、本実施形態の特徴である異物検出用の複数の画像を作成する画像作成処理と、作成された画像同士を比較して異物を検出する異物検出処理を行う。

また、映像信号処理回路１０は、マイクロコンピュータ１６からの指令により、Ａ／Ｄ変換された画像データに対して上記のような画像処理を施さず、後述する撮影条件に関する情報のみを付加して、メモリーコントローラ１３を通してバッファーメモリー１９に保存することも可能である。また、映像信号処理回路１０はＪＰＥＧなどの圧縮処理機能も持っており、画像データを圧縮処理してからメモリー１４に格納する。

連写モードで撮影する際には、一旦、バッファーメモリー１９に撮影された画像データを格納し、後に映像信号処理回路１０の負荷状態が画像処理できるレベルであるときに、メモリーコントローラ１３を通して未処理の画像データをバッファーメモリー１９から読み出し、映像信号処理回路１０で画像処理や圧縮処理を施すことにより連写スピードを稼いでいる。なお、連写枚数はバッファーメモリー１９の容量に大きく左右される。

また、マイクロコンピュータ１６は撮影前に設定されたＩＳＯ感度、画像サイズ、画質に応じた画像サイズの予測値データをもとに、メモリーコントローラ１３を通してメモリー１４の残容量を検出し、この残容量を画像サイズに基づく画像一枚あたりの容量等で除することにより撮影可能残枚数を演算し、残り何枚の画像が撮影可能であるかを液晶表示部１２に表示する。

メモリーコントローラ１３は、映像信号処理回路１０から入力された未処理の画像データをバッファーメモリー１９に格納したり、画像処理済みのデジタル画像データをメモリー１４に格納したり、逆にバッファーメモリー１９やメモリー１４から画像データを取り出して映像信号処理回路１０に出力する。また、メモリーコントローラ１３は、ＰＣ等からUSB（Universal Serial Bus）やIEEE1394（Institute of Electrical and Electronics Engineers 1394）等の外部インターフェイス１５を介して送られてくる画像データをメモリー１４に格納したり、逆にメモリー１４に格納されている画像データを外部インターフェイス１５を介して出力することが可能である。なお、メモリー１４は着脱自在な態様である場合もある。着脱可能なメモリー１４としては、コンパクトフラッシュ（登録商標）などのメモリカードなどが考えられる。

後述する異物検出用画像は、白と黒で表される２値画像に変換されて、例えばビットマップ（ＢＭＰ）形式によりメモリー１４に保存される。

また、異物検出用画像の元画像の撮影条件に関する情報は、上記異物検出用画像のヘッダー部に付帯情報として関連付けられたり、もしくは、情報保持用のファイルとして、上記異物検出用画像とリンクを有する形で独立に、メモリー１４又はバッファーメモリー１９に格納される。

電源部１７は、各ＩＣや駆動系に必要な電力を供給する。

操作部材１８は、マイクロコンピュータ１６に操作状態を伝え、マイクロコンピュータ１６はその操作状態の変化に応じて各部を制御する。

２０ａ，２０ｂはレリーズ釦であり、操作部材１８の入力スイッチである。２０ａのＳＷ１のみオンの状態はレリーズ釦半押し状態であり、２０ａのＳＷ１、２０ｂのＳＷ２が共にオンの場合は、レリーズ釦のオン状態で撮影が行われる。

操作部材１８には、レリーズ釦２０ａ，２０ｂの他に、ＩＳＯ設定釦、画像サイズ設定釦、画質設定釦、情報表示釦など不図示のスイッチが接続されており、各スイッチの操作状態が入力される。なお、本実施形態では、異物検出用画像を通常の撮影画像から作成するため、異物検出モードや当該モードに切り替えるためのスイッチなどは設けられていない。

２１は液晶駆動回路であり、マイクロコンピュータ１６からの表示指令の内容に従って、外部液晶表示部２２やファインダー内液晶表示部２３を駆動する。また、ファインダー内液晶表示部２３には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路２１で駆動される。

２４はＡＦセンサーでマイクロコンピュータ１６にデフォーカス情報を出力し、それに基づいてレンズユニット１を制御し、内部のＡＦレンズ駆動回路１ａを用いて焦点を合わせる。

２５はＡＥセンサーで、ファインダースクリーン上を測光し、レンズユニット１を通した被写体の輝度を測光する。

また、マイクロコンピュータ１６には、方位を検知するセンサー２７の出力が入力されている。

そして、マイクロコンピュータ１６には、手ぶれを検知するセンサー２６の出力が入力されている。

＜カメラ動作＞
次に、図２のフローチャートを用いて、本実施形態で用いるカメラの全体動作について説明する。なお、以下の各ステップは、特に言及しない限りマイクロコンピュータ１６が処理を行う。

Ｓ３０１：処理が開始されると、電源ＯＦＦタイマーがタイムアウトしたかどうかの判定を行い、タイムアウトと判定された場合は電源ＯＦＦの処理のためにＳ３２０に進む。タイムアウトされていない場合はＳ３０２に進む。

Ｓ３０２：操作部材１８に接続されたスイッチによりＩＳＯ感度、画像サイズ、画質等の各種設定を行う。また、操作部材１８を介したスイッチ操作により、カメラの動作モードなどの設定や撮影モード（例えば、連写撮影）等の設定を行う。

Ｓ３０３：ＡＥセンサー２５を用いて被写体の輝度を測定し、適正露出を得るためのシャッター秒時や絞り値を演算する。

Ｓ３０４：ＡＦセンサー２４を用いて被写体のデフォ−カス量を検出し、ＡＦ駆動回路１ａによりレンズユニット１を合焦位置に駆動する。

Ｓ３０５：Ｓ３０２で設定した動作モードや撮影モード等の各種設定状態を、外部液晶表示部２２やファインダー内液晶表示部２３に表示する。また、Ｓ３０３、Ｓ３０４で検出された合焦状態やＳ３０３で演算されたシャッター秒時や絞り値を映像信号処理回路１０を介して液晶表示部１２に表示する。

Ｓ３０６：操作部材１８からの入力操作によりレリーズ釦２０ａ，２０ｂが半押し状態かどうかの判定を行い、２０ａのみオンの半押し状態の場合はタイマー更新のためにＳ３０７に進み、全く押されてない（２０ａも２０ｂも押されていない状態）ではＳ３０１に戻る。

Ｓ３０７：電源ＯＦＦタイマーの更新を行う。

Ｓ３０８：レリーズが可能な状態であり、かつ、レリーズ釦２０ａ，２０ｂが完全に押された（２０ａと２０ｂが同時にオン状態）かどうかの判定を行い、完全に押された状態の場合は画像を撮影するためにＳ３０９に進み、押されてない場合はＳ３０１に戻る。

Ｓ３０９：クイックリターンミラー２を制御し、ミラーをアップ状態にすると共に、レンズユニット１に対し、Ｓ３０３で演算された絞り値にレンズの絞りを制御する。

Ｓ３１０：フォーカルプレーンシャッター５により、Ｓ３０３で演算されたシャッター時間を制御し、また、撮像素子６で取り込んだ画像信号に対して、クランプ／ＣＤＳ部７やＡＧＣ部８により基本的アナログ処理を行うと共に、Ａ／Ｄ変換部９によりアナログ処理が施されたアナログ信号である画像信号をデジタル信号である画像データに変換する。

Ｓ３１１：クイックリターンミラー２を制御し、ミラーをダウン状態に戻すとともに、レンズユニット１に対して、レンズの絞りを開放状態に制御する。

Ｓ３１２：映像信号処理回路１０によりＡＧＣ部８に設定されたＩＳＯ値に対するゲイン値に基づきＩＳＯ感度を調整してメモリーコントローラ１３に画像データを送り、バッファーメモリー１９に一時保存する。

Ｓ３１３：映像信号処理回路１０から取得したホワイトバランス情報を基に、適正な色になるように映像信号処理回路１０で用いるＲ，Ｇ，Ｂの各色成分のゲインを演算し、ホワイトバランス調整を行う。

Ｓ３１４：映像信号処理回路１０の負荷状態が画像処理できるレベルであるときに、メモリーコントローラ１３を通して未処理の画像データをバッファーメモリー１９から読み出し、画像処理及び圧縮処理を施した後、メモリー１４への保存動作を開始する。連写モード等の場合は、バッファーメモリー１９に撮影画像が順次格納されるが、画像処理は停止した状態になることもある。

Ｓ３１５：マイクロコンピュータ１６は、Ｓ３０２で設定された、ＩＳＯ感度、画像サイズ、画質に応じた画像サイズの予測値データをもとに、メモリーコントローラ１３を通してメモリー１４の残容量を検出し、この残容量を画像サイズに基づく画像一枚あたりの容量等で除することにより撮影可能残枚数を演算し、残り何枚の画像が撮影可能であるかを液晶表示部１２に表示する。

Ｓ３１６：Ｓ３１４で処理された画像信号を液晶駆動回路１１に送り、液晶表示部１２に表示する。また、Ｓ３０３，Ｓ３０４，Ｓ３１５で決定された撮影情報を液晶駆動回路２１に送り、外部液晶表示部２２やファインダー内液晶表示部２３に表示する。

Ｓ３１７：過去に撮影された画像と比較し、同じ箇所に同じ大きさのある輝度レベル以下のものが存在するか検出し、画面に対する大きさも検出する。

Ｓ３１８：バッファーメモリー１９に格納された未処理の撮影画像も考慮して、メモリー１４に記憶可能領域が存在するかどうかの判定を行うことで、次の撮影が可能かどうかを判定し、撮影可能である場合はＳ３０１に戻り、撮影可能でない場合に警告表示を出すためにＳ３１９に進む。

Ｓ３１９：Ｓ３１８で撮影不可と判定された旨を液晶表示部１２に表示する。

Ｓ３２０：Ｓ３０１でタイムアウトと判定された場合、電源ＯＦＦ処理として液晶駆動回路１１により液晶表示部１２を消灯し、ファインダー内液晶表示部２３のバックライトも消灯する。

Ｓ３２１：Ｓ３１４での画像処理及び圧縮処理と画像データのメモリーへの格納が全て終了し、バッファーメモリー１９の撮影画像領域が空になるのを待つ。

Ｓ３２２：電源部１７を制御し撮影に必要の無い電源を停止する。

＜異物検出処理＞
先ず、本実施形態の異物検出処理を説明する前に、図４を用いて、本実施形態の前提となっている異物が写り込んだ画像の持つ特徴について説明する。

図４（ａ）は被写体としての山や木や雲がカラーで写り込んだ元画像で、図４（ｂ）は、図４（ａ）の元画像について、所定の輝度レベルを閾値として、写り込んだ異物４ａと被写体である木４ｂを所定の輝度レベル以下の「１（黒）」、それ以外を「０（白）」に２値化して抽出したものである。

また、図４（ｃ）は、図４（ａ）からフォーカスが変化して被写体の木４ｂに焦点が合ってない別のカラー画像である元画像（不図示）から、所定の輝度レベル以下の被写体を抽出したものであり、被写体である木４ｂの網掛け部分はピントがずれた部分を示している。
また、図４（ｄ）は、図４（ａ）の元画像に対して、ズーミングして被写体が大きく写っている別のカラー画像である元画像（不図示）から、図４（ｂ）と同様に、所定の輝度レベルを閾値として、写り込んだ異物４ａと被写体である木４ｂを所定の輝度レベル以下の「１（黒）」、それ以外を「０（白）」に２値化して抽出したものである。

更に、図４（ｅ）は、手ブレ等によって被写体の木４ｂが左右にぶれた別のカラー画像である元画像（不図示）から、所定の輝度レベル以下の被写体を抽出したものであり、被写体である木４ｂの網掛け部分はブレ部分を示している。

ここで、図４（ｂ）と図４（ｃ）〜（ｅ）を比べると、画面左上の異物４ａが存在する部分は常に同じであることがわかる。つまり、撮像素子６上の異物は撮像素子の画素に対して常に同一画素上に載っているのに対して、被写体像は撮影条件によって撮像素子上での結像状態が変化するので、撮影条件が異なる２枚以上の画像を比較することにより異物の有無が判定できることになる。また、上記のように２値化した画像を生成する際には、被写体中に写り込んだ異物は黒であることが想定されるので、例えば、黒色の部分を優先的に抽出し、かつ、測距の結果近いと思われる被写体を同時に抽出するようにすれば、輝度情報と測距情報を用いて異物の抽出が可能となる。

このような特徴を用いて、本実施形態では、図３（ｂ）で説明するように、撮影条件を基に、焦点距離の異なる画像同士や撮影距離、手ぶれ情報などが異なる画像同士を比較して、精度よく異物を検出する。

ここで、図３（ａ），（ｂ）のフローチャートを用いて本実施形態の異物検出処理について説明する。

図３（ａ）は図２のＳ３１４での処理の一部に含まれる、通常の撮影画像から異物検出用画像を作成する処理を示すフローであり、図３（ｂ）は図２のＳ３１７の異物検出処理を示すフローチャートである。

なお、以下に説明する異物検出用の複数の画像を作成する画像作成処理と、画像同士を比較して異物を検出する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。

Ｓ１０１：先ず、映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。
Ｓ１０２：次に、Ｓ１０１で読み出した撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化することにより、異物検出用画像を作成する。

Ｓ１０３：Ｓ１０２で作成された異物検出用画像とその元になった撮影画像の撮影条件とを関連付けてメモリーコントローラ１３を通してバッファーメモリー１９又はメモリー１４に記録する。撮影条件には、レンズユニット１から取得可能な焦点距離情報や被写体距離情報、ＡＶ値、ＴＶ値、ＩＳＯ感度、手ぶれ検知センサー２６により検知された手ぶれ検出量、或いは方位検知センサー２７により検知された撮影方位情報などが含まれる。

次に、図３（ａ）のフローで記録された異物検出用画像及び撮影条件を用いた異物検出処理について図３（ｂ）のフローチャートを参照して説明する。

Ｓ１０４：映像信号処理回路１０は、Ｓ１０２で記録された異物検出用画像と撮影条件（これらセットが複数個、すでにバッファーメモリー１９もしくはメモリー１４に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。

Ｓ１０５：次に、今撮った画像から異物検出用画像を作成して、Ｓ１０４で選択した異物検出用画像と比較する。
Ｓ１０６：ここでは、Ｓ１０５での比較の結果、例えば、異物検出用画像の撮影条件から焦点距離のみ異なるもの、撮影距離のみ異なるもの、あるいは撮影方向のみ異なるものを選択し、今撮った画像と比較して、同じ面積、同じ形、同じ位置の２値化された「１」のエリアがある場合には異物があると判断する。

Ｓ１０７：Ｓ１０６で異物ありと判断された場合に液晶表示部１２に警告の表示などを行う。

上記実施形態によれば、撮影画像から異物検出用画像を別途作成し蓄積していくので、異物検出のための特別なモード設定や撮影操作を必要とせず、既存の構成を用いて低コストで実現することができる。また、撮影条件等の撮影情報を用いることで異物検出を高精度に行うことができる。

この結果、撮影画像に異物が写り込む不具合を軽減することができる。

［第２の実施形態］
第１の実施形態では異物検出用画像を用いて異物の検出を行ったが、第２の実施形態では２値化された画像を複数のブロックに分割し、各ブロック内の「１」が連続する画素数（比較画像）をブロックごとに比較することにより異物の検出を行う。

図５（ａ），（ｃ）は、焦点距離のみを変えて撮影された撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化することにより作成された異物検出用画像を示しており、左上に異物が写り込んでいる。

本実施形態では、上記撮影条件に関連付けて、図５（ｂ）、（ｄ）に示すように、撮影画像から２値化された１枚の画像を６個のブロックに分割し、各ブロック内の「１」が連続する画素数とブロック位置をバッファーメモリー１９に記録する。そして、これらの情報を上記メモリー１４ではなく、バッファーメモリー１９に格納することで、メモリー１４を省略し、同時に異物検出に要する処理速度を上げている。これは、メモリー１４が着脱自在なメディアである場合、メディアを交換すると異物検出するために蓄積された情報がなくなってしまうからである。なお、検出精度を上げる場合には、ブロック数をさらに増やすのがよいが、ここでは、説明しやすいように６ブロックに分けた例について説明する。また、上記各ブロック位置と画素数は、上述のように、異物検出用画像データのヘッダー部や情報保持用のファイル内に関連付けられてバッファーメモリー１９に格納される。

先ず、各ブロック内の画素値のうち、連続した１（図では黒）の画素数を計数して対応するブロック位置と共にバッファーメモリー１９に記録する。本例では、説明の便宜上、１の画素が連続する箇所は、各ブロックに１つしかないが、複数ある場合にはその個数も記録する。そして、撮影条件（本例では、焦点距離）が異なる画像同士について、各ブロックごとの数値を比較し、同じ数値（例えば、５）となるブロックがある場合には、そのブロックに異物がある可能性が高いと判断できる。

図６（ａ），（ｂ）は第２の実施形態の異物検出処理を示したフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。

Ｓ６０１：映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。

Ｓ６０２：Ｓ６０１で読み出した撮影画像について、所定の輝度レベル以下を「１（黒）」、それ以外を「０（白）」に２値化する。

Ｓ６０３：映像信号処理回路１０は、Ｓ６０２で作成された異物検出用画像を複数のブロックに分割し、各ブロック内の画素値のうち、連続した１（黒）の画素数を計数して対応するブロック位置（座標値）と共にバッファーメモリー１９に記録する。

次に、図６（ａ）のフローで記録された画素数及びブロック位置と撮影条件を用いた異物検出処理について図６（ｂ）のフローチャートを参照して説明する。

Ｓ６０４：映像信号処理回路１０は、Ｓ６０３で記録された画素数及びブロック位置と撮影条件（これらセットが複数個、すでにバッファーメモリー１９に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。

Ｓ６０５：次に、Ｓ６０４で選択した画素数及びブロック位置と今撮った画像について、ブロックごとの画素数を比較する。

Ｓ６０６：ここでは、Ｓ６０５での比較の結果、同じ数値となるブロックがある場合には、そのブロックに異物候補があると判断する。

Ｓ６０７：Ｓ６０６で異物候補ありと判断された場合に液晶表示部１２に警告の表示などを行う。

上記実施形態によれば、第１の実施形態の効果に加えて、メモリー１４を省略でき、同時に検出速度を上げることができる。

［第３の実施形態］
第１の実施形態では撮影画像ごとに異物検出用画像を作成し、その異物検出用画像と共に撮影条件を記録していたのに対し、第３の実施形態では、過去に作成された異物検出用画像と撮影条件が同一の場合には新たな異物撮影画像の作成及び記録を行わないことによりメモリーの記録容量を小さくするものである。

図７は第３の実施形態の異物検出用画像を作成する処理を示すフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。

Ｓ７０１：先ず、映像信号処理回路１０は、バッファーメモリー１９から撮影画像を読み出す。

Ｓ７０２：次に、Ｓ７０１で読み出した撮影画像が映像異物検出用画像を作成するのに有効な画像かどうかを判定する。つまり、現在までに作成及び記録された異物撮影用画像の撮影条件と比較し、例えば、焦点距離が変化していたり、撮影方向が異なっていれば有効なものと判断する。一方、撮影条件が同じ場合は異物検出用としては有効でないと判断する。

Ｓ７０３：次に、Ｓ７０１で有効なものと判断された撮影画像について、所定の輝度レベルを閾値として２値化して異物検出用画像を作成する。

Ｓ７０４：次に、Ｓ７０３で作成された異物検出用画像と撮影条件を関連付けてバッファーメモリー１９又はメモリー１４に記録する。

そして、図３（ｂ）と同様に、Ｓ７０４で記録された撮影条件の異なる異物検出用画像を用いて異物検出処理を実行する。

上記実施形態によれば、第１の実施形態の効果に加えて、異なる撮影条件の撮影画像を有効なものとして選択し、異物検出用画像を作成して蓄積していくので、異物検出に有効な異なる撮影条件のもののみを記録することが可能になり、カメラ内の有限なメモリーを有効に使用することができる。

なお、第３の実施形態において、上記異物検出用画像の代わりに、上述した第２の実施形態のブロック位置及び画素数を用いて異物の検出を行ってもよく、この場合には第２の実施形態の効果も付加される。

［第４の実施形態］
第１の実施形態では撮影ごとに異物検出用画像を作成し、その異物検出用画像と共に撮影条件を記録し、第３の実施形態では撮影条件が同一の場合は新たな異物検出用画像の作成及び記録を行わない態様について説明した。第４の実施形態では、それに加え、異物検出用画像に撮影日時情報を付加し、現在の日時を基準として所定の時間遡った期間を有効期限として管理するものである。

図８は第４の実施形態の異物検出処理を示すフローチャートである。なお、以下に説明する異物検出処理は、映像信号処理回路１０によって、通常の撮影時における撮影画像の画像処理時に実行される。また、本実施形態では、異物検出用画像のメモリーへの記録時に撮影条件に加えてその撮影日時情報が記録されている。

Ｓ８０１：先ず、映像信号処理回路１０はメモリーコントローラ１３を通してメモリー１４に記録された異物検出用画像と撮影条件（これらセットが複数個、すでにバッファーメモリー１９もしくはメモリー１４に蓄積されている。）から、今撮った画像と撮影条件が異なるものを選択して読み出す。

Ｓ８０２：次に、Ｓ８０１で読み出した異物検出用画像に付加された撮影日時情報が所定の有効期限内（例えば、１週間以内）か否かを判定し、有効期限内であればＳ８０３に進み、有効期限を過ぎていればＳ８０６に進む。

Ｓ８０３：Ｓ８０１で選択した異物検出用画像と今撮った画像とを比較する。

Ｓ８０４：ここでは、Ｓ８０３での比較の結果、例えば、異物検出用画像の撮影条件から焦点距離のみ異なるもの、撮影距離のみ異なるもの、あるいは撮影方向のみ異なるものを選択し、今撮った画像と比較して、同じ面積、同じ形、同じ位置の２値化された「１」のエリアがある場合には異物があると判断する。

Ｓ８０５：Ｓ８０４で異物ありと判断された場合に液晶表示部１２に警告の表示などを行う。

Ｓ８０６：一方、撮影日時が有効期限を過ぎた異物検出用画像は異物検出に不適なものとして、それに関連付けられた撮影条件と共にメモリー１４から消去し、Ｓ８０１に戻る。

なお、本実施形態では、異物検出処理時に選択された異物検出用画像について有効期限を判断するものであるが、定期的（一週間ごと）あるいは決められたタイミングで（例えば、電源ＯＮ時）にメモリー内の画像について有効期限をチェックするようにしてもよい。

上記実施形態によれば、有効期限内の異物検出用画像を用いることによって、より精度の高い異物検出が可能になる。つまり、異物は増減したり、移動することがあるため、撮影日時が近い画像を異物検出に用いることが望ましい。また、本実施形態では、撮影者が意識することなく通常の撮影画像から異物検出用画像を自動で作成し蓄えるので、ある特定の日時で画像を自動で消去しなければ蓄積される一方であり、異物検出用画像に有効期限を付加するのは有効な手段となる。なお、第４の実施形態において、上記異物検出用画像の代わりに、上述した第２の実施形態のブロック位置及び画素数を用いて異物の検出を行ってもよく、この場合には第２の実施形態の効果も付加される。

［他の実施形態］
また、本発明の目的は、前述した実施形態の異物検出機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等を用いることが出来る。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明に係る実施形態として適用した電子カメラの概略ブロック図である。 カメラの全体動作を示すフローチャートである。 （ａ）は第１の実施形態の異物検出用画像を作成する処理を示すフローチャート、（ｂ）は第１の実施形態の異物検出処理を示すフローチャートである。 異物が写り込んだ画像の持つ特徴及び異物検出方法を説明する図である。 第２の実施形態の異物検出処理を説明する図である。 （ａ）は第２の実施形態の異物検出用画像を作成する処理を示すフローチャート、（ｂ）は第２の実施形態の異物検出処理を示すフローチャートである。 第３の実施形態の異物検出用画像を作成する処理を示すフローチャートである。 第４の実施形態の異物検出処理を示すフローチャートである。

符号の説明

１ レンズユニット
２ クイックリターンミラー
３ ファインダースクリーン
４ ペンタプリズム
５ フォーカルプレーンシャッター
６ 撮像素子
７ クランプ／ＣＤＳ部
８ ＡＧＣ部
９ Ａ／Ｄ変換部
１０ 映像信号処理回路
１１ 液晶駆動回路
１２ 液晶表示部
１３ メモリーコントローラ
１４ メモリー
１５ 外部インターフェイス
１６ マイクロコンピュータ
１７ 電源部
１８ 操作部材
１９ バッファーメモリー
２０ａ，２０ｂ レリーズ釦
２１ 液晶駆動回路
２２ 外部液晶表示部
２３ ファインダー内液晶表示部
２４ ＡＦセンサー
２５ ＡＥセンサー
２６ 手ぶれ検知センサー
２７ 方位検知センサー

Claims (13)

1. 被写体の光学像を撮像する撮像手段と、
   前記撮像手段による被写体撮影を行う通常の撮影時に、撮影画像とは別に前記撮影画像から異物検出用の比較画像を生成する生成手段と、
   前記比較画像と前記通常の撮影時に得られる撮影条件とを関連付けて蓄積する記録手段と、
   前記撮像手段によって新たな通常の撮影を行うたびに、今回の通常の撮影時の撮影条件とは異なる撮影条件が関連付けられた比較画像を前記記録手段から読み出し、前記記録手段から読み出した比較画像と今回の通常の撮影の撮影画像から新たに生成される比較画像とを比較して、前記撮像手段の撮像面に異物が存在するか否かを判定する判定手段とを具備することを特徴とする撮像装置。
2. 前記判定手段は、前記新たに生成される比較画像と前記記録手段から読み出した比較画像とを比較し、両画像間で値の変化しない領域がある場合、異物があると判断することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記新たに生成される比較画像と前記記録手段から読み出した比較画像のそれぞれについて複数のブロックに分割し、各ブロックにおいて連続した値をとる画素数を計数した結果を用いて、前記新たに生成される比較画像と前記記録手段から読み出した比較画像とを比較し、同じ画素数となるブロックに異物があると判断することを特徴とする請求項１に記載の撮像装置。
4. 前記記録手段に蓄積された比較画像に関連付けられた撮影条件と同一の撮影条件で通常の撮影が行われる場合、前記生成手段は比較画像の生成を行わないことを特徴とする請求項１に記載の撮像装置。
5. 前記撮影条件が撮影日時情報を含み、
   前記判定手段は、新たな通常の撮影を行った日時を基準として所定期間内の比較画像を用いて異物の有無を判定し、
   前記記録手段は、前記所定期間が過ぎた比較画像及びその比較画像に関連付けられた撮影条件を削除することを特徴とする請求項１に記載の撮像装置。
6. 前記撮影条件は、撮像レンズの焦点距離情報、被写体までの撮影距離情報、手ぶれ検知手段により検知された手ぶれ情報、及び方位検知手段により検知された撮影時の方位情報の少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 被写体の光学像を撮像面に結像させて撮像する撮像装置の異物検出方法であって、
   被写体撮影を行う通常の撮影時に、撮影画像とは別に該撮影画像から異物検出用の比較画像を生成する生成工程と、
   前記比較画像と前記通常の撮影時に得られる撮影条件とを関連付けて記録手段に蓄積する記録工程と、
   前記撮像装置によって新たな通常の撮影を行うたびに、今回の通常の撮影時の撮影条件とは異なる撮影条件が関連付けられた比較画像を前記記録手段から読み出し、前記記録手段から読み出した比較画像と今回の通常の撮影の撮影画像から新たに生成される比較画像とを比較して、前記撮像面に異物が存在するか否かを判定する判定工程とを備えることを特徴とする異物検出方法。
8. 前記判定工程では、前記新たに生成される比較画像と前記記録手段から読み出した比較画像とを比較し、両画像間で値の変化しない領域がある場合、異物があると判断することを特徴とする請求項７に記載の異物検出方法。
9. 前記判定工程では、前記新たに生成される比較画像と前記記録手段から読み出した比較画像のそれぞれについて複数のブロックに分割し、各ブロックにおいて連続した値をとる画素数を計数した結果を用いて、前記新たに生成される比較画像と前記記録手段から読み出した比較画像とを比較し、同じ画素数となるブロックに異物があると判断することを特徴とする請求項７に記載の異物検出方法。
10. 前記記録手段に蓄積された比較画像に関連付けられた撮影条件と同一の撮影条件で通常の撮影が行われる場合、前記生成工程では、比較画像の生成を行わないことを特徴とする請求項７に記載の異物検出方法。
11. 前記撮影条件が撮影日時情報を含み、
    前記判定工程では、新たな通常の撮影を行った日時を基準として所定期間内の比較画像を用いて異物の有無を判定し、
    前記記録工程では、前記所定期間が過ぎた比較画像及びその比較画像に関連付けられた撮影条件を削除することを特徴とする請求項７に記載の異物検出方法。
12. 前記撮影条件は、撮像レンズの焦点距離情報、被写体までの撮影距離情報、手ぶれ検知手段により検知された手ぶれ情報、及び方位検知手段により検知された撮影時の方位情報の少なくともいずれかを含むことを特徴とする請求項７乃至１１のいずれか１項に記載の異物検出方法。
13. 請求項７乃至１２のいずれか１項に記載の異物検出方法を撮像装置のコンピュータに実行させるためのプログラム。

Images