JP5046769B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、撮像素子の前方に配置された光学ローパスフィルター等の光学素子の表面に付着した異物による画質劣化を抑制する技術に関する。

デジタルカメラなどの撮像装置では、撮像素子に固定された撮像素子保護ガラス、撮像素子の前方に配置された光学素子等の表面上や光学系（以下、まとめて撮像素子光学系部品）にゴミ、ほこりなどの異物（以下、単にゴミ）が付着する場合がある。このように撮像素子光学系部品にゴミが付着すると、そのゴミによって光が遮られ、その部分が撮影されないなど、撮影した画像の品質が低下するという問題があった。

デジタルカメラに限らず銀塩フィルムを用いるカメラにおいても、フィルム上にゴミが存在すると写りこんでしまう問題はあったが、フィルムの場合は１コマごとにフィルムが移動するため、全てのコマに同様のゴミが写りこむことは大変稀である。

しかし、デジタルカメラの撮像素子は移動せず、１つの撮像素子で撮影を行うため、撮像素子光学系部品に一度ゴミが付着すると、多くのコマ（撮影画像）に同様のゴミが写りこんでしまう。特にレンズ交換式のデジタルカメラにおいては、レンズ交換時にカメラ内にゴミが入り込みやすいという問題がある。

したがって、撮影者は撮像素子光学系部品へのゴミの付着に常時気を使わねばならず、ゴミのチェックや清掃に多くの労力を費やしていた。特に撮像素子は、カメラ内部の比較的奥まったところに配置されているため、清掃やゴミの確認は容易ではない。

さらにレンズ交換式のデジタルカメラでは、レンズ着脱によるゴミの侵入が発生するばかりでなく、撮像素子の直前に配置されたフォーカルプレーンシャッターの駆動による削りかす等により、撮像素子光学系部品上にゴミが付着しやすい。

このような撮像素子上のゴミは、通常撮像素子の表面にではなく、保護用のガラスや光学素子上に付着しているため、撮影レンズの絞り値や瞳位置により結像状態が異なる。即ち、絞りが開放値に近いとぼやけてしまい、小さいゴミが付着していたとしてもほとんど影響が無くなるが、逆に絞り値が大きくなるとはっきり結像し画像に影響を与えててしまう。

そこで、レンズの絞りを絞った状態で白い壁などを撮影し、撮像素子上のゴミだけが写った画像を予め用意して通常撮影画像と組み合わせて使用することで、ゴミを目立たなくする方法が知られている（特許文献１参照）。

また、撮像素子光学系部品を振動させることで、その部品に付着したゴミを払い落とすという技術も提案されている（特許文献２参照）。
特開２００４−２２２２３１号公報 特開２００２−２０４３７９号公報

ここで、上記の特許文献１のように、撮像素子上でのゴミの位置を検出し、撮像した画像部分を補正するためのゴミ補正データを求めて撮影画像データを補正する方法と、特許文献２のようなゴミを払い落とす方法を組み合わせることが考えられる。このようにすれば、ゴミを払い落としてゴミが少なくなった状態で、ゴミが写り込んだ撮影画像データを補正することになるので、補正精度を向上させることができる。

しかしながら、ゴミ補正データを求めた後に、ゴミの払い落としが行われた場合、ゴミ払い落とし動作後のゴミ付着状況とゴミ補正データとの整合がとれなくなるという問題が発生する。

また、交換レンズを使用することが可能な撮像装置においては、レンズを交換する際に、新たにゴミが付着する可能性があり、この場合にも、ゴミ付着状況とゴミ補正データとの整合がとれなくなる。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、ゴミの付着状況が変化した場合でも、極力撮影画像データとゴミ補正データの整合性がとれるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換して画像信号を生成する撮影素子と、前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段と、前記光学素子に付着した異物を除去する異物除去手段とを有し、前記関連付け手段は、前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記異物除去手段により前記光学素子に付着した異物を除去してから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けすることを特徴とする。
また、本発明に係わる撮像装置は、撮影レンズを着脱可能な撮像装置であって、被写体像を光電変換して画像信号を生成する撮影素子と、前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段とを有し、前記関連付け手段は、前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記撮像装置への前記撮影レンズの着脱が行われてから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けすることを特徴とする。

本発明によれば、ゴミの付着状況が変化した場合でも、極力撮影画像データとゴミ補正データの整合性をとることが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。

レンズユニット１０１は、複数のレンズ群で構成される交換可能な撮影レンズユニットである。このレンズユニット１０１は、カメラ本体内のマイクロコンピュータ１２８と通信し、レンズユニット１０１内のオートフォーカス（ＡＦ）制御回路１０１ａを制御して、レンズユニット１０１内のフォーカシングレンズを変移させることにより焦点を合わせる。このときのレンズの変移量は測距回路１１８の出力に基づいて求められる。またレンズユニット１０１内には絞り制御回路１０１ｂが設けられ、光学的な絞り値を変化させる。クイックリターンミラー１０２は撮影光路中に配置され、レンズユニット１０１からの被写体光をファインダ光学系（不図示）に導く位置と、撮影光路外に退避する位置に移動可能である。１０３はシャッタ、１０４は撮像素子１０５に到達する被写体光学像の空間周波数を調整する光学ローパスフィルタ（以下、光学素子とも呼ぶ）である。

撮像素子１０５は、レンズユニット１０１により結像された被写体像を光電変換して画像信号を生成する。この撮像素子１０５から出力される画像信号（アナログ信号）は、Ａ／Ｄ変換器１０６によりデジタル信号に変換される。タイミング発生回路１０７は、撮像素子１０５、Ａ／Ｄ変換器１０６に対してクロック信号や制御信号を供給して、これらを動作させる。なお、上記の光学ローパスフィルタ１０４の表面に塵埃等の異物（ゴミ）が付着すると、それが撮像素子１０５で生成される画像に写り込んで画質を劣化させる。本実施形態は、この異物が写り込んだ画像を補正して画質の劣化を抑制する技術に関するものである。

画像処理回路１０８は、画像データに付加されている処理データに基づいて、Ａ／Ｄ変換器１０６からのデジタルデータ、或はメモリ制御回路１１１からの画像データに対して所定の画素補間処理や現像処理などを行う。メモリ制御回路１１１は、Ａ／Ｄ変換器１０６、タイミング発生回路１０７、画像処理回路１０８、表示制御回路１０９、画像表示メモリ１１２、メモリ１１３、圧縮・伸長回路１１４などを制御する。

こうしてＡ／Ｄ変換器１０６から出力されるデジタルデータは、画像処理回路１０８、メモリ制御回路１１１を介して画像表示メモリ１１２或はメモリ１１３に書き込まれる。表示部１１０は、例えばＴＦＴ・ＬＣＤ等からなる表示部である。表示制御回路１０９は、画像表示メモリ１１２に書き込まれた表示用の画像データを表示部１１０に表示するように制御する。メモリ１１３は、撮影した非圧縮の画像データを一時的に格納するためのイメージバッファとしての領域を有している。また画像処理回路１０８で画像データを現像処理する際に使用する処理データやＡＦ／ＡＥ／ＡＷＢの演算結果の保持やその他一時的に使用するデータを記憶するワークバッファとしての領域を有している。更には、圧縮・伸長回路１１４で圧縮された圧縮画像データを格納するファイルバッファとしての領域をも含んでいる。またこのメモリ１１３は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合であっても、このメモリ１１３に対して高速かつ大量の画像データの書き込みを行うことが可能となる。なお、上記のＡＦ、ＡＥ、ＡＷＢとは、それぞれオートフォーカス制御、自動露出制御、オートホワイトバランス制御を意味する。

圧縮・伸長回路１１４は、適応離散コサイン変換（ＡＤＣＴ）等により画像データをＪＰＥＧデータとして圧縮したり、或は伸長する圧縮・伸長回路である。圧縮・伸長回路１１４は、メモリ１１３に格納された画像データを読み込んで圧縮処理或は伸長処理を行い、その処理を終えたデータをメモリ１１３に書き込む。

振動制御回路１１５は、圧電素子１０４ａを駆動制御して光学素子１０４を振動させ、光学素子１０４上のゴミを振り落とす。

シャッタ制御回路１１６は、シャッタ１０３の動作を制御する。

ミラー制御回路１１７は、クイックリターンミラー１０２を撮影光路外に退避させるように駆動制御する。

測距回路１１８は、被写体との距離を測定する。この測定結果に基づいて、前述したＡＦ制御回路１０１ａによるレンズユニット１０１のフォーカシング制御が行われる。

測光回路１１９は、被写体の輝度を測定しその出力により露光を制御する。

マイクロコンピュータ１２８は、このような構成のデジタルカメラの動作を制御している。不揮発性メモリ１２７は、このマイクロコンピュータ１２８で実行される撮影処理プログラム、画像処理プログラム、画像ファイルデータを記録媒体に記録するプログラムなどの各種プログラムを記憶している。更には、上記プログラムのマルチタスク構成を実現し実行するＯＳなどの各種プログラム、及び各種制御を行うための調整値等も記憶している。

次に操作部材について説明する。１２０，１２１，１２２は、マイクロコンピュータ１２８の各種の動作指示を入力するための操作部材であり、これらはスイッチやダイヤルにより構成される。ここで、これらの操作部材を具体的に説明する。

クリーニングスイッチ１２０は、後述するゴミ除去動作（異物除去動作）を指示するのに用いられる。レリーズスイッチ１２１は、レリーズボタンの半押しでオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の撮影準備動作開始を指示するスイッチＳＷ１と、レリーズボタンの全押しでオンとなるスイッチＳＷ２とを有している。スイッチＳＷ２がオンになると、撮像素子１０５から読み出した信号をＡ／Ｄ変換器１０６、メモリ制御回路１１１を介してメモリ１１３に書き込む撮影処理を行う。また、画像処理回路１０８を用いて画像データに対して設定されているホワイトバランスモードに応じたホワイトバランス補正処理、現像処理を行う。更には、メモリ１１３から現像された画像データを読み出し、圧縮・伸長回路１１４で圧縮を行って記録媒体１２６に画像データを書き込む記録処理も行う。メニュー操作スイッチ１２２は、不図示のメニューキー、セットキー、十字キー等の組み合わせで構成され、カメラの撮影条件や現像条件などの各種設定の変更やゴミ検出処理の選択などの動作を表示部１１０を見ながら行うことができる。

電源制御回路１２３は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り換えるスイッチ回路等により構成されている。ここでは電池の装着の有無、電池の種類、電池残量の検出を行う。こうして検出した結果、或はマイクロコンピュータ１２８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。インターフェース１２４は、メモリカードやハードディスク等の記録媒体１２６とのインタフェース（Ｉ／Ｆ）である。コネクタ１２５は、メモリカードやハードディスク等の記録媒体１２６とインターフェース１２４とを接続する。記録媒体１２６は、メモリカードやハードディスク等であり、この記録媒体１２６は、半導体メモリや磁気ディスク等から構成される記録媒体部１２６Ａ、デジタルカメラとのインタフェース（Ｉ／Ｆ）１２６Ｂ、コネクタ１２６Ｃを備えている。

尚、本実施形態では、記録媒体１２６を接続するインターフェース１２４及びコネクタ１２５を１系統持つものとして説明している。しかし、この記録媒体１２６を取り付けるインターフェース及びコネクタは、単数或は複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

次に、上記のように構成されるデジタルカメラの動作についてフローチャートを参照して説明する。

図２は、本実施形態に係るデジタルカメラにおけるゴミ（異物情報）を検出する処理を説明するフローチャートである。この処理を実行するプログラムは不揮発性メモリ１２７に記憶されており、マイクロコンピュータ１２８の制御の下に実行される。

このゴミ検出処理（異物情報検出処理）は、前述したように光学素子１０４に付着したゴミを検出する処理であり、ゴミ検出用画像を撮影することにより行われる。このゴミ検出処理を行う場合、面光源装置の出射面などの均一な輝度面にカメラを向けて、ゴミ検出の準備を行う。本実施形態では、通常の撮影レンズを用いた場合で説明するが、撮像素子を照明するための照明手段をカメラ本体内に設けて、均一な輝度で撮像素子を照明してゴミ検出を行ってもよい。このように本実施形態に係るゴミ検出用画像は、均一な輝度を有する画像である。

図２のフローチャートに示す処理は、メニュー操作スイッチ１２２を操作してメニューからゴミ検出処理の開始が選択指示されることにより開始される。

まずステップＳ２０１で、マイクロコンピュータ１２８はレンズユニット１０１と通信し、絞り制御回路１０１ｂに対して絞り制御値を指示して所定の絞り値に絞り込む。ここで設定される絞り値は、ゴミ検出のための最小絞り値（例えばＦ３２）が設定される。こうして絞りが絞り込まれるとステップＳ２０２に進み、撮影処理を実行する。このステップＳ２０２で行う撮影処理の詳細は、図３を参照して詳しく後述する。

ステップＳ２０２で撮影された画像データは、メモリ１１３に一時的に格納される。こうして撮影処理が終了するとステップＳ２０３に進み、マイクロコンピュータ１２８は絞り制御回路１０１ｂを制御して、レンズユニット１０１の絞りを開放値に設定させる。

次にステップＳ２０４に進み、メモリ１１３に記憶されている撮影画像の各画素の位置に対応するデータを順次読み出して画像処理回路１０８に供給する。次にステップＳ２０５で、画像処理回路１０８により、その読み出された画素データの輝度値と予め設定された閾値（予め設定された輝度値）とが比較される。

ここで、光学素子１０４にゴミが付着すると、そのゴミの付着位置に該当する画素に入射する光量が減少する。よって、個々の画素データを、予め設定されている閾値と比較することにより、ゴミが付着して画像不良が生じている画素の位置を検出できる。よって、ステップＳ２０５で、その閾値以下の信号レベルである画素位置が検出されると、その画素位置をメモリ１１３に記憶する（ステップＳ２０６）。

こうしてステップＳ２０７で、全ての画素データについて処理が終了すると、メモリ１１３にはゴミが付着していると判断された全ての画素位置が記憶されたことになる。このメモリ１１３に記憶された画素位置は、不揮発性メモリ１２７にゴミ補正データとしてその取得日時と共に登録される。このゴミ補正データは、取得する度に不揮発性メモリ１２７に登録される。すなわち、本実施形態の撮像装置は複数のゴミ補正データを所有することが出来る。登録されたゴミ補正データと、撮影画像の関連付けについては、後に詳述する。

次に、図３に示すフローチャートを用いて、撮影処理の詳細について説明する。

図３は、本実施形態に係るデジタルカメラにおける撮影処理を説明するフローチャートである。この処理を実行するプログラムは不揮発性メモリ１２７に記憶されており、マイクロコンピュータ１２８の制御の下に実行される。

スイッチＳＷ１がオンされると、マイクロコンピュータ１２８は、測距回路１１８とＡＦ制御回路１０１ａとによりオートフォーカス制御を行って、フォーカシングレンズを合焦位置に制御する。また同時に、測光回路１１９を用いて測光動作を行い、設定されている撮影モードに従ってシャッタ制御値と絞り値を決定する。これらが終了すると、図３の撮影処理ルーチンを実行する。

まずステップＳ３０１で、ミラー制御回路１１７に指示して撮影光路外にクイックリターンミラー１０２を退避させる、いわゆるミラーアップ動作をさせる。

次にステップＳ３０２で、撮像素子１０５における電荷の蓄積が開始される。次にステップＳ３０３で、シャッタ制御回路１１６に指示してシャッタの先幕を走行させ、ステップＳ３０４で露光を行う。

次にステップＳ３０５で、シャッタ制御回路１１６に指示してシャッタの後幕を走行させる。

次にステップＳ３０６で、撮像素子１０５における電荷の蓄積を終了する。

次にステップＳ３０７で、撮像素子１０５から画像信号を読み出し、Ａ／Ｄ変換器１０６及び画像処理回路１０８で処理した画像データをメモリ１１３に一時的に記憶する。こうして撮像素子１０５から全ての画像信号の読み出しが終了するとステップＳ３０８に進み、クイックリターンミラー１０２を撮影光路に戻すミラーダウンを実行する。

そしてステップＳ３０９で、シャッタ制御回路１１６に指示して先幕と後幕を元の待機位置に戻し、一連の撮影動作が終了する。

次に、付着したゴミを光学素子１０４から物理的に除去する異物除去処理(以下、ゴミ除去処理)について説明する。

本実施形態では、ゴミを除去する処理を実行するためのモードをクリーニングモードと呼ぶ。このクリーニングモードが実行されるとマイクロコンピュータ１２８は、振動制御回路１１５に指示して圧電素子１０４ａ即ち光学素子１０４を振動させることにより、その光学素子１０４の表面に付着したゴミを振り落とす。ここでクリーニングモードが実行されるタイミングはシステムの設計により適宜設定されるが、本実施形態では、クリーニングスイッチ１２０が操作されることにより開始されるものとする。

こうしてクリーニングモードが実行されてゴミ除去処理を終了するとマイクロコンピュータ１２８は、ゴミ除去処理の実行日時や駆動時間などの履歴を不揮発性メモリ１２７に記録する。

次に、ゴミ補正データと撮影画像の関連付け、すなわち、個々の撮影画像にとって有効なゴミ補正データを選択する方法について説明する。

ゴミ補正データと撮影画像の関連付けは、通常画像の撮影後と、ゴミ補正データ取得後に行われる。まず、通常画像の撮影後の関連付け（第１の関連付け処理）について説明する。

図４は、通常画像の撮影後の関連付けについて説明するフローチャートである。この処理を実行するプログラムは不揮発性メモリ１２７に記憶されており、マイクロコンピュータ１２８の制御の下に実行される。

図３で説明した撮影処理（ステップＳ３００）の終了後、まず、ステップＳ４０１で、撮影の履歴として、撮影画像取得日時を不揮発性メモリ１２７に記録する。ここで記録する撮影画像取得日時の利用方法については、後述する。次に、ステップＳ４０２で、不揮発性メモリ１２７内にゴミ補正データが既に存在するかどうかを判別する。ここで、ゴミ補正データが存在しない場合（Ｓ４０２でＮＯ）、撮影画像に、ゴミ補正データを関連付けることができないため、そのまま撮影画像の記録をステップＳ４０５で行い、関連付け処理のフローを終了する。

ゴミ補正データが不揮発性メモリ１２７内に存在する場合(ステップＳ４０２でＹＥＳ)、ステップＳ４０３に進み、少なくとも一つ以上存在するゴミ補正データの中で、最もゴミ補正データ取得日時が、画像の撮影日時に近いものを読み出す。つまり、最新のゴミ補正データを読み出す。次に、ステップＳ４０３で、撮影画像とゴミ補正データの関連付けを行う。具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することができる。または、ゴミ補正データをファイルとして独立して記録し、画像データにはそのゴミ補正データファイルへのリンク情報のみを記録することで関連付けを実現することも可能である。ただし、画像ファイルとゴミ補正データファイルを別々に記録すると、画像ファイルの移動時に、リンク関係が消失する場合があるので、ゴミ補正データは画像データと一体的に保持することが望ましい。ステップＳ４０５では、撮影画像を記録媒体１２６に記録し、画像撮影時の一連の第１の関連付け動作が終了する。

このように、画像撮影時に複数のゴミ補正データを有する場合、最新のゴミ補正データと関連付けを行うことにより、ゴミ付着状況の経時変化の影響が少ない最もゴミ補正をする上で有効なデータとの関連付けを行うことが出来る。

次に、ゴミ補正データ取得後の関連付け（第２の関連付け処理）について説明する。

図５は、ゴミ補正データ取得後の関連付けについて説明するフローチャートである。この処理を実行するプログラムは不揮発性メモリ１２７に記憶されており、マイクロコンピュータ１２８の制御の下に実行される。

図２で説明したゴミ検出処理(ステップＳ２００)が終了し、ゴミ補正データを不揮発性メモリ１２７に記録後に、ステップＳ５０１で、記録媒体１２６に撮影画像が書き込まれているかどうかを判別する。ここで、記録媒体１２６に撮影画像が書き込まれていない場合(ステップＳ５０１でＮＯ)、ステップＳ２００で取得したゴミ補正データを関連付けるべき画像が存在しないため、第２の関連付け処理は、終了する。一方、記録媒体１２６に撮影画像が書き込まれている場合(ステップＳ５０１でＹＥＳ)、ステップＳ５０２に進む。ステップＳ５０２では、不揮発性メモリ１２７に記録された撮影履歴の読み出しを行う。記録されている撮影履歴は、上述したとおり、撮影画像の撮影日時、ゴミ除去処理を行った日時、撮影に使用した撮影レンズ種別などである。

図６に、不揮発性メモリ１２７に記録された撮影履歴の例を示す。

ここで、ステップＳ２００で取得したゴミ補正データは、図６中のゴミ補正データＢとする。ステップＳ５０２では、ゴミ補正データＢを除いた最も最近に取得したゴミ補正データ、つまり図６では、ゴミ補正データＡを取得した日時までさかのぼって撮影履歴の読み出しを行う。ゴミ補正データＢ以前に、ゴミ補正データの取得履歴が無い場合は、ゴミ補正データＢ取得以前の全ての撮影履歴の読み出しを行う。

次に、ステップＳ５０３では、関連付け画像の選択を行う。図６の例では、画像１から画像８までがゴミ補正データＢの関連付けの対象となり得るが、画像３の撮影と画像４の撮影の間にゴミ除去処理を行っている。そのため、画像３の撮影以前に撮影した画像と画像４の撮影以後に撮影した画像では、ゴミの付着状況が変化している可能性が高いと判断される。また、画像４を取得した後、ゴミ除去処理は行われることなく、ゴミ補正データＢを取得している。その結果、画像１から３のゴミ付着状況に関しては、ゴミ補正データＡのゴミ情報の方がゴミ補正データＢより信頼性が高く、画像４から８のゴミ付着状況に関しては、ゴミ補正データＢのゴミ情報の方がゴミ補正データＡよりも信頼性が高いと推定される。すなわち、画像４から画像８に関しては、ゴミ補正データＢのゴミ検出結果を利用してゴミ補正を行う方が、より有効な補正を行うことが出来ると考えられる。よって、図６の例ではステップＳ５０３で、画像４から画像８を選択する。

ステップＳ５０４で、選択された画像が、記録媒体１２６に記録されていることを確認し、記録されている画像に関しては、関連付けされているゴミ補正データの更新を行う。

図６の例では、ゴミ補正データＢを取得するまで、画像１から画像８には、第１の関連付け処理（図４）によりゴミ補正データＡが関連付けられている。画像４から画像８が記録媒体に記録されていた場合、これらの画像に関連付けられるゴミ補正データは、ゴミ補正データＡからゴミ補正データＢに更新される。

このように、本実施形態では、ゴミ除去手段（圧電素子１０４ａ）の動作履歴から、より補正効果の高いと予想されるゴミ補正データを撮影画像と関連付ける。これにより、撮像装置の使用者に撮影画像に適用するゴミ補正データを選択するという煩わしい操作を強いることなく、ゴミ補正を精度良く行うことができる。また、画像の撮影の後に、ゴミ補正データを取得しても、精度の良いゴミ補正を行うことが出来る。

本実施形態では、ステップＳ５０２において、撮影履歴の読み出しを、最も最近のゴミ補正データ取得時までとしたが、記録媒体１２６に記録されている最も撮影日時が古い画像の撮影日時までとしてもよい。

次に、本実施形態に係るデジタルカメラにおける、通常撮影時のゴミ補正処理（通常撮影画像のゴミ補正処理）について説明する。

撮影画像のゴミ補正処理は、デジタルカメラ内部の画像処理回路１０８で行っても良いし、デジタルカメラ外部の画像処理装置で行っても良い。ゴミ補正処理を外部の画像処理装置で行う場合には、次のようにする。即ち、図４及び図５で説明した処理により、既に記録媒体１２６内の画像ファイルには、そのヘッダ領域であるＥｘｉｆ領域などにゴミ補正データが追記されている。つまり、記録媒体１２６には、最適なゴミ補正データが撮影画像データに関連付けられた（添付された）状態で画像ファイルとして記録されている。そのため、記録媒体１２６から撮影画像データとそれに対応するゴミ補正データを含む画像ファイルを外部の画像処理装置に転送すれば、外部の画像処理装置は、デジタルカメラ内部の画像処理回路１０８と全く同様にゴミ補正処理を行うことができる。なお、外部の画像処理装置は、デジタルカメラ内部の画像処理回路と同様な回路を備える装置として構成しても良いし、パーソナルコンピュータ上でアプリケーションソフトウェアを動作させることにより、画像処理装置が実現される構成としても良い。

図７は、本実施形態に係る撮影画像データに対して実施されるゴミ補正処理を説明するフローチャートである。

まずステップＳ７０１で、撮影画像データを補正するためのゴミ補正データが画像データに添付されているか否かをチェックする。また、ゴミ補正データが存在するか否かのみならず、存在していても、撮影画像データへの適用を行うか否かの判断も行う。この判断は、撮像装置又は画像処理装置によって自動的になされても良いし、使用者に判断させるようにしても良い。

ステップＳ７０１で、ゴミ補正データが添付されていないと判断された場合には、ステップＳ７０６に進む。

一方、ゴミ補正データが添付されていると判断するとステップＳ７０２に進み、撮影画像データの各画素データを順次読み出す。そして、ステップＳ７０３で、その読み出した画素データの画素位置と、ゴミ補正データとして登録されている画素アドレスとを比較する。ここでアドレス（位置）が一致すると、ゴミが検出された画素位置に対応する画素データであると判定する。

そしてステップＳ７０４に進み、その読み出した画素データを画像処理回路により補正してステップＳ７０５に進む。ここでの補正処理としては様々な方法が考えられるが、本実施形態では、そのゴミの位置に該当している画素データを、周囲の正常な画素データの値を用いて補間して求める。

一方、ステップＳ７０３で、ゴミが検出された画素位置に対応する画素データでない場合はステップＳ７０５に進む。

ステップＳ７０５では、その撮影画像データの全ての画素データに対する検証、補正処理が完了したか否かを判定する。ここで未処理の画素データがあると判定するとステップＳ７０２に戻り、その未処理の画素データに対して上述した処理を行う。

そしてステップＳ７０５で、全ての画素データを読み出して処理したと判定すると、撮影した１枚分の撮影画像データに対してゴミ補正処理を終えたことになる。

次のステップＳ７０６では、処理を終えた画像データに対して画像処理回路により圧縮処理等の残りの画像処理を行う。こうして一連のゴミ補正処理が完了する。

本実施形態では、一つの画像に対して、一つのゴミ補正データが関連付けされるような構成としたが、一つの画像に対して、複数のゴミ補正データが関連付けされてもよい。その場合、複数のゴミ補正データのうち、より信頼性の高いゴミ補正データの優先順位を上げてゴミの補正を行うことにより、信頼性の高いゴミ補正処理を行うことが可能となる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。なお、第２の実施形態に関わるデジタルカメラの要部構成は、第１の実施形態と同じであるため、その説明を省略する。また、ゴミ検出処理、撮影処理、ゴミ補正処理、通常画像の撮影後の関連付け（第１の関連付け処理）についても第１の実施形態と同じである。第２の実施形態では、撮影画像の履歴情報として、画像の撮影日時を使用して、関連付けを更新する方法、即ち、第１の実施形態における第２の関連付け処理（ステップＳ５０４）の変形例を示す。換言すれば、第２の実施形態では、第２の関連付け処理の動作は、外見上は図５に示したフローチャートと同じであり、主としてステップＳ５０４で行われる処理が異なる。

以下、第２の実施形態における第２の関連付け処理について、図５及び図８を参照して説明する。

図８は、不揮発性メモリ１２７に記録された撮影履歴の例を示す図である。ここで、図５のステップＳ２００で取得したゴミ補正データは、図８中のゴミ補正データＤとする。図５のステップＳ５０２では、ゴミ補正データＤを除いた最も最近に取得したゴミ補正データ、つまり図８では、ゴミ補正データＣを取得した日時までさかのぼって撮影履歴の読み出しを行う。ゴミ補正データＤ以前に、ゴミ補正データの取得履歴が無い場合は、ゴミ補正データＤ取得以前の全ての撮影履歴の読み出しを行う。

次に、ステップＳ５０３では、関連付け画像の選択を行う。図８の例では、画像１１から画像１８までがゴミ補正データＤの関連付けの対象となり得るが、画像１３の撮影と画像１４の撮影の間に、２０日近くの時間が経過している。そのため、画像１３の撮影以前に撮影した画像と画像１４の撮影以後に撮影した画像では、ゴミの付着状況が変化している可能性が高いと判断される。しかも、画像１４を取得した後、比較的近い日時に、ゴミ補正データＤを取得している。その結果、画像１１から１３のゴミ付着状況に関しては、ゴミ補正データＣのゴミ情報の方がゴミ補正データＤより信頼性が高く、画像１４から１８のゴミ付着状況に関しては、ゴミ補正データＤのゴミ情報の方がゴミ補正データＣより信頼性が高いと推定される。すなわち、画像１４から画像１８に関しては、ゴミ補正データＤのゴミ検出結果を利用してゴミ補正を行う方が、より有効な補正を行うことが出来ると考えられる。よって、図８の例ではステップＳ５０３で、画像１４から画像１８を選択する。ステップＳ５０４で、選択された画像が、記録媒体１２６に記録されていることを確認し、記録されている画像に関しては、関連付けされているゴミ補正データの更新を行う。図８の例では、ゴミ補正データＤを取得するまで、画像１１から画像１８には、第１の関連付け処理（図４）によりゴミ補正データＣが関連付けられている。画像１４から画像１８が記録媒体に記録されていた場合、これらの画像に関連付けられるゴミ補正データは、ゴミ補正データＣからゴミ補正データＤに更新される。

このように、撮影画像の撮影日時情報から、より補正効果の高いと予想されるゴミ補正データを撮影画像と関連付ける。これにより、撮像装置の使用者に撮影画像に適用するゴミ補正データを選択するという煩わしい操作を強いることなく、ゴミ補正を精度良く行うことができる。また、画像の撮影の後に、ゴミ補正データを取得しても、精度の良いゴミ補正を行うことが出来る。

（第３の実施形態）
次に本発明の第３の実施形態について説明する。なお、第３の実施形態に関わるデジタルカメラの要部構成は、第１の実施形態と同じであるため、その説明を省略する。また、ゴミ検出処理、撮影処理、ゴミ補正処理、通常画像の撮影後の関連付け（第１の関連付け処理）についても第１の実施形態と同じである。第３の実施形態では、撮影画像の履歴情報として、画像撮影時に使用した撮影レンズの種別を識別して、関連付けを更新する方法、即ち、第１の実施形態における第２の関連付け処理（ステップＳ５０４）の変形例を示す。換言すれば、第３の実施形態では、第２の関連付け処理の動作は、外見上は図５に示したフローチャートと同じであり、主としてステップＳ５０４で行われる処理が異なる。

以下、第３の実施形態における第２の関連付け処理について、図５及び図９を参照して説明する。

図９は、不揮発性メモリ１２７に記録された撮影履歴の例を示す図である。ここで、図５のステップＳ２００で取得したゴミ補正データは、図９中のゴミ補正データＦとする。図５のステップＳ５０２では、ゴミ補正データＦを除いた最も最近に取得したゴミ補正データ、つまり図９では、ゴミ補正データＥを取得した日時までさかのぼって撮影履歴の読み出しを行う。ゴミ補正データＦ以前に、ゴミ補正データの取得履歴が無い場合は、ゴミ補正データＦ取得以前の全ての撮影履歴の読み出しを行う。

次に、ステップＳ５０３では、関連付け画像の選択を行う。図９の例では、画像２１から画像２８までがゴミ補正データＦの関連付けの対象となり得るが、画像２３の撮影と画像２４の撮影の間に、撮影に使用したレンズが変わっている。即ちレンズ交換されている。レンズ交換可能な撮像装置においては、レンズ交換時に、撮像装置の外部からゴミが進入し、光学素子１０４にゴミが付着する可能性がある。つまり、画像２３の撮影以前に撮影した画像と画像２４の撮影以後に撮影した画像では、ゴミの付着状況が変化している可能性があると判断される。しかも、画像２４を取得した後は、レンズを交換することなく、ゴミ補正データＦを取得している。その結果、画像２１から２３のゴミ付着状況に関しては、ゴミ補正データＥのゴミ情報の方がゴミ補正データＦより信頼性が高く、画像２４から２８のゴミ付着状況に関しては、ゴミ補正データＦのゴミ情報の方がゴミ補正データＥより信頼性が高いと推定される。すなわち、画像２４から画像２８に関しては、ゴミ補正データＦのゴミ検出結果を利用してゴミ補正を行う方が、より有効な補正を行うことが出来ると考えられる。よって、図９の例ではステップＳ５０３で、画像２４から画像２８を選択する。ステップＳ５０４で、選択された画像が、記録媒体部１２６に記録されていることを確認し、記録されている画像に関しては、関連付けされているゴミ補正データの更新を行う。図９の例では、ゴミ補正データＦを取得するまで、画像２１から画像２８には、第１の関連付け処理（図４）によりゴミ補正データＥが関連付けられている。画像２４から画像２８が記録媒体に記録されていた場合、これらの画像に関連付けられるゴミ補正データは、ゴミ補正データＥからゴミ補正データＦに更新される。

このように、撮影時に使用したレンズの種別から、より補正効果の高いと予想されるゴミ補正データを撮影画像と関連付ける。これにより、撮像装置の使用者に撮影画像に適用するゴミ補正データを選択するという煩わしい操作を強いることなく、ゴミ補正を精度良く行うことができる。また、画像の撮影の後に、ゴミ補正データを取得しても、精度の良いゴミ補正を行うことが出来る。

（他の実施形態）
上述の各実施形態においては、撮像装置の動作履歴として、ゴミ除去処理の実行履歴と、画像データの取得日時と、装着されていたレンズの履歴を用いて処理する場合をそれぞれ説明した。しかし、用いるべき履歴情報はいずれか一つに限られるものではなく、これらを適宜組み合わせて判断するようにしても良い。

また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。 第１の実施形態に係るデジタルカメラにおけるゴミを検出する処理を説明するフローチャートである。 第１の実施形態に係るデジタルカメラにおける撮影処理を説明するフローチャートである。 第１の実施形態における第１の関連付け処理を説明するフローチャートである。 第１の実施形態における第２の関連付け処理を説明するフローチャートである。 第１の実施形態における撮影履歴の具体例を説明する図である。 第１の実施形態におけるゴミ補正処理を説明するフローチャートである。 第２の実施形態における撮影履歴の具体例を説明する図である。 第３の実施形態における撮影履歴の具体例を説明する図である。

Claims (5)

1. 被写体像を光電変換して画像信号を生成する撮影素子と、
   前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
   前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段と、
   前記光学素子に付着した異物を除去する異物除去手段とを有し、
   前記関連付け手段は、前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記異物除去手段により前記光学素子に付着した異物を除去してから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けすることを特徴とする撮像装置。
2. 撮影レンズを着脱可能な撮像装置であって、
   被写体像を光電変換して画像信号を生成する撮影素子と、
   前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、
   前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段とを有し、
   前記関連付け手段は、前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記撮像装置への前記撮影レンズの着脱が行われてから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けすることを特徴とする撮像装置。
3. 被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報である異物情報を検出する異物情報検出手段と、前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段と、前記光学素子に付着した異物を除去する異物除去手段とを備える撮像装置を制御する方法であって、
   前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記異物除去手段により前記光学素子に付着した異物を除去してから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けするステップを前記関連付け手段が行うことを特徴とする撮像装置の制御方法。
4. 撮影レンズを着脱可能な撮像装置であって、被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に基づいて、前記撮像素子の前方に配置された光学素子に付着した異物の少なくとも位置に関する情報を検出する異物情報検出手段と、前記異物情報検出手段により検出された異物情報を、前記撮像素子によって生成された画像信号に関連付ける関連付け手段とを備える撮像装置を制御する方法であって、
   前記異物情報検出手段が異物情報を検出した後に生成された画像信号に当該検出した異物情報を関連付けするとともに、前記撮像装置への前記撮影レンズの着脱が行われてから前記異物情報検出手段が異物情報を検出するまでに生成された画像信号にも当該検出した異物情報を関連付けするステップを前記関連付け手段が行うことを特徴とする撮像装置の制御方法。
5. 請求項３又は４に記載の制御方法をコンピュータに実行させるためのプログラム。

Images