JP4827778B2 - 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、光学ローパスフィルタ等の表面に付着した異物による画像劣化を抑制する技術に関する。特に、複数の画像を重ね合わせて合成する場合の画質改善技術に関する。

近年、デジタルカメラやデジタルビデオカメラなどのように、ＣＣＤ等の撮像素子を用いて画像信号を生成し、それをデータとして記録する撮像装置が数多く出回るようになってきている。デジタルカメラでは、従来記録媒体として使用していた感光フィルムが不要になり、これに代わって半導体メモリカードやハードディスク装置等のデータ記録媒体にデータ化された画像を記録する。これらのデータ記録媒体はフィルムと違って何度でも書き込み、消去が可能であるので、消耗品にかかる経費が少なくて済み、大変便利である。

通常、デジタルカメラには撮影画像を随時表示可能なＬＣＤ（液晶表示器）モニタ装置と、着脱可能な大容量記憶装置が搭載されている。これらの二つの装置を備えたデジタルカメラを利用すると、従来消耗品として使用されてきた記録媒体であるフィルムが不要になるばかりでなく、撮像した画像をＬＣＤモニタ装置に表示してその場で直ちに確認することができる。従って、満足の得られない画像データはその場で消去したり、必要に応じて再撮影したりすることが可能である。さらには、撮影済の画像と現在撮影中の画像とを重ねあわせる多重露光撮影等も容易に実現することが可能となり、フィルムを用いる銀塩カメラと比較すると、写真撮影の効率、応用が飛躍的に高まったと言える。このような利便性と撮像素子の多画素化などの技術革新により、デジタルカメラの利用範囲は拡大しており、近年では一眼レフ方式などレンズ交換が可能なデジタルカメラも多くなってきている。
特開２００４−１７２８２０号公報

しかしながら、デジタルカメラでは、撮像素子に固定された撮像素子保護ガラス、光学フィルタ等の表面上や光学系（以下、まとめて撮像素子光学系部品）にゴミが付着する場合がある。このような場合、付着したゴミによって光が遮られ、その部分が撮影されないなど、撮影した画像の品質が低下するという問題があった。

デジタルカメラに限らず銀塩フィルムを用いるカメラにおいても、フィルム上にゴミが存在すると写りこんでしまう問題はあったが、フィルムの場合は１コマごとにフィルムが移動するため、すべてのコマに同様のゴミが写りこむことは大変稀である。

しかし、デジタルカメラの撮像素子は移動せず、共通した撮像素子で撮影を行なうため、撮像素子光学系部品に一度ゴミが付着すると、多くのコマ（撮影画像）に同様のゴミが写り込んでしまう。特にレンズ交換式のデジタルカメラにおいては、レンズ交換時にカメラ内にゴミが入り込みやすいという問題がある。

そのため、従来より、ゴミの影が写り込んだ画像から画像処理によりゴミの影の影響を除去して補正する技術が種々検討されている。

ところで、従来より異なるカメラや異なる時期に撮影した画像を合成して多重画像を生成する技術が知られているが、この場合、重ね合わせに用いる画像のそれぞれの撮影時点のゴミの位置が一致しないことが考えられる。このような場合、従来のゴミの影響を除去する技術を適用しようとすると、合成前の画像それぞれについてゴミの影響を除去した後に、あらためて画像の合成処理を行わなければならず、画像の合成処理が煩雑になるという問題があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、異なるゴミの状況にて撮影された画像を用いて多重画像を生成する場合に、画像の合成処理を簡素化して、ユーザの利便性を向上させることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、被写体を撮像して得られた第１の画像データと、該第１の画像データとは異なる被写体を撮像して得られた第２の画像データとを合成して、第３の画像データを生成する、画像合成手段と、前記第１の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第１の異物情報と、前記第２の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第２の異物情報とを合成して第３の異物情報を生成する、異物情報合成手段と、前記第３の異物情報を前記第３の画像データに関連付けて記憶する記憶手段と、を具備することを特徴とする。

また、本発明に係わる画像処理方法は、画像合成手段が、被写体を撮像して得られた第１の画像データと、該第１の画像データとは異なる被写体を撮像して得られた第２の画像データとを合成して、第３の画像データを生成する、画像合成工程と、異物情報合成手段が、前記第１の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第１の異物情報と、前記第２の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第２の異物情報とを合成して第３の異物情報を生成する、異物情報合成工程と、記憶手段が、前記第３の異物情報を前記第３の画像データに関連付けて記憶する記憶工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、異なるゴミの状況にて撮影された画像を用いて多重画像を生成する場合に、画像の合成処理を簡素化して、ユーザの利便性を向上させることが可能となる。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わるレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。

図１において、マイクロコンピュータ４０２は、撮像素子（本実施形態ではＣＣＤ）４１８が出力する画像データの処理や、ＬＣＤモニタ装置４１７の表示制御を初め、カメラ全体の動作を制御する。

スイッチ（ＳＷ１）４０５は、レリーズボタン１１４（図２参照）の半押し状態でオンになり、スイッチ（ＳＷ１）４０５がオンすると本実施形態のデジタルカメラは撮影準備状態になる。スイッチ（ＳＷ２）４０６は、レリーズボタン１１４が最後まで押された状態（全押し状態）でオンし、スイッチ（ＳＷ２）４０６がオンすると撮影動作を開始する。

レンズ制御回路４０７は、撮影レンズ２００（図３参照）との通信およびＡＦ（オートフォーカス）時の撮影レンズ２００の駆動制御や絞り羽根の駆動制御を行なう。

また、図１において、外部表示制御回路４０８は、外部表示装置（ＯＬＣ）４０９や、ファインダ内の表示装置（不図示）の制御を行なう。スイッチセンス回路４１０は、カメラに設けられた電子ダイヤル４１１を含む多数のスイッチ類の信号をマイクロコンピュータ４０２に伝える。

ストロボ発光調光制御回路４１２は、Ｘ接点４１２ａに接続されており、外部ストロボの制御を行う。測距回路４１３は、ＡＦのための被写体に対するデフォーカス量を検出する。測光回路４１４は、被写体の輝度を測定する。

シャッター制御回路４１５はシャッターの制御を行い、撮像素子に対して適正な露光を行う。ＬＣＤモニタ装置４１７とバックライト照明装置４１６は、画像表示装置を構成している。記憶装置４１９は例えばカメラ本体に着脱可能なハードディスクドライブや半導体メモリカード等である。

また、マイクロコンピュータ４０２には、Ａ／Ｄコンバータ４２３、画像バッファメモリ４２４、ＤＳＰなどからなる画像処理回路４２５、撮像素子内の所定画素そのものに欠陥があることを記憶している画素欠陥位置メモリ４２６が接続されている。また、ゴミによる画像不良を起こしている撮像素子内の画素位置を記憶しているゴミ位置メモリ４２７も接続されている。なお、画素欠陥位置メモリ４２６およびゴミ位置メモリ４２７は不揮発性メモリを用いることが好ましい。また、画素欠陥位置メモリ４２６とゴミ位置メモリ４２７には、同一メモリ空間の異なるアドレスを用いても良い。

また、４２８はメモリであり、本実施形態ではマイクロコンピュータ４０２が実行するプログラム等を記憶する。

図２は、本実施形態に係わるデジタルカメラの外観を示す斜視図、図３は図２の垂直断面図である。

図２において、カメラ本体１００の上部には、ファインダ観察用の接眼窓１１１、ＡＥ（自動露出）ロックボタン１１２、ＡＦの測距点選択ボタン１１３、撮影操作をするためのレリーズボタン１１４が設けられている。また、電子ダイヤル４１１、撮影モード選択ダイヤル１１７、および外部表示装置４０９も設けられている。電子ダイヤル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。

また、カメラ本体１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤモニタ装置４１７、ＬＣＤモニタ装置４１７をオン／オフするためのモニタスイッチ１２１、十字配置スイッチ１１６、およびメニューボタン１２４が設けられている。

十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザーがＬＣＤモニタ装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。

メニューボタン１２４は、ＬＣＤモニタ装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定が完了する。このメニューボタン１２４と十字配置スイッチ１１６は、多重露光撮影時の画像選択や、条件の設定等にも使用される。

本実施形態のＬＣＤモニタ装置４１７は透過型であるため、ＬＣＤモニタ装置の駆動だけでは画像を視認することはできず、必ずその裏面には図３に示すようにバックライト照明装置４１６が必要である。このようにＬＣＤモニタ装置４１７とバックライト照明装置４１６は画像表示装置を構成している。

図３に示すように、撮像光学系である撮影レンズ２００はカメラ本体１００に対してレンズマウント２０２を介して着脱可能である。図３において２０１は撮影光軸、２０３はクイックリターンミラーである。

クイックリターンミラー２０３は撮影光路中に配置され、撮影レンズ２００からの被写体光をファインダ光学系に導く位置（図３に示す位置、斜設位置と呼ぶ）と撮影光路外に退避する位置（退避位置と呼ぶ）との間で移動可能である。

図３において、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結象される。２０５はファインダの視認性を向上させるためのコンデンサレンズ、２０６はペンタゴナルダハプリズムであり、ピント板２０４およびコンデンサレンズ２０５を通った被写体光をファインダ観察用の接眼レンズ２０８および測光センサ２０７に導く。

２０９，２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９、先幕２１０の開放によって後方に配置されている固体撮像素子である撮像素子４１８が必要時間だけ露光される。撮像素子４１８によって画素毎の電気信号に変換された撮影画像は、Ａ／Ｄコンバータ４２３や画像処理回路４２５などによって処理され、画像データとして記憶装置４１９に記録される。

撮像素子４１８はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう一枚のプリント基板である表示基板２１５が配置されている。この表示基板２１５の反対側の面にＬＣＤモニタ装置４１７およびバックライト照明装置４１６が配置されている。

４１９は画像データを記録する記憶装置、２１７は電池（携帯用電源）である。この記憶装置４１９および電池２１７は、カメラ本体に対して着脱可能である。

（ゴミ検出処理）
図４は、デジタルカメラにおけるゴミ検出処理（ゴミによって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。本処理は、マイクロコンピュータ４０２がメモリ４２８に記憶されたゴミ検出処理プログラムを実行することにより実施される。なお、上記でゴミと呼んでいるものは、カメラ内に侵入した塵埃等の異物であり、本明細書では、ゴミを異物と呼ぶこともある。

ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。ゴミ検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面にレンズ２００の撮影光軸２０１を向けてカメラを設置し、ゴミ検出の準備を行なう。または、レンズマウント２０２にゴミ検出用のライトユニット（レンズの代わりに装着する小型の点光源装置）を装着し、ゴミ検出の準備を行なう。ライトユニットの光源は例えば白色ＬＥＤが考えられ、発光面のサイズを予め定めた絞り値相当になるように調整される。

準備が終了した後、例えば十字スイッチ１１６からゴミ検出処理の開始が指示されると、マイクロコンピュータ４０２は、まず絞りの設定を行う。撮像素子近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、ゴミ補正データにはゴミの位置や大きさに加え、検出時の絞り値とレンズの瞳位置情報が保持される。

ただし、ゴミ補正データを作成する段階で、異なるレンズを用いたとしても常に同じ絞り値を使うことを予め決めておけば、必ずしもゴミ補正データ内に絞り値を保持する必要は無い。また、瞳位置に関してもライトユニットを用いたり、特定のレンズのみ使用を許可することで、同様に必ずしもゴミ補正データ内に瞳位置情報を保持する必要はない。なお、ここで瞳位置とは、射出瞳の撮像面（焦点面）からの距離を言う。

ここでは、ステップＳ２１にて例えばＦ１６が指定される。

次にステップＳ２２にてマイクロコンピュータ４０２はレンズ制御回路４０７に対し、撮影レンズ２００の絞り羽根制御を行わせ、ステップＳ２１で指定された絞り値に絞りを設定する。さらに、ステップＳ２３にてフォーカス位置を無限遠に設定する。

撮影レンズの絞り値とフォーカス位置が設定されると、ステップＳ２４で、ゴミ検出モードでの撮影を実行する。ステップＳ２４で行う撮像処理ルーチンの詳細に関しては図９を用いて後に説明する。撮影された画像データは、バッファメモリ４２４に格納される。

撮影が終了すると、ステップＳ２５にて撮影時の絞り値とレンズ瞳位置を取得する。次にステップＳ２６にて画像処理回路４２５に画像バッファメモリ４２４に記憶されている撮影画像の各画素に対応するデータを読み出す。

ステップＳ２７にて画像処理回路４２５は、図６に示す処理を行い、ゴミが存在する画素の位置と大きさを取得する。なお、図６に示す処理については後述する。

次にステップＳ２８にてステップＳ２７で取得したゴミが存在する画素の位置と大きさ、およびステップＳ２５で取得した絞り値とレンズ瞳位置情報を、ゴミ位置メモリ４２７に登録する。ここで、前述したライトユニットを用いた場合には、レンズ情報を取得できない。そこで、レンズ情報が取得できない場合は、ライトユニットを使ったと判断し、予め定められたレンズ瞳位置情報と、ライトユニットの光源径から算出される換算絞り値を登録する。

ここで、ステップＳ２８において、予め画素欠陥位置メモリに記録されている製造時からの不良画像（画素欠陥）の位置と、読み出した画像データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものではないと判断された領域のみ、ゴミ位置メモリ４２７に位置を登録しても良い。

ゴミ位置メモリ４２７に格納されるゴミ補正データのデータ形式例を図５に示す。図５に示した通り、ゴミ補正データには、検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。このゴミ補正データは、通常撮影時に画像データの撮影情報と共に画像に添付され、後に説明するゴミ除去処理で利用される。また、多重露光撮影時には、合成用のゴミ補正データ生成のために利用される。

具体的には、ゴミを検出するための画像である検出画像撮影時のレンズ情報として、検出画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰り返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画素領域における中心のｘ座標（例えば２バイト）、同じく中心のｙ座標（例えば２バイト）である。

ゴミ位置メモリ４２７の大きさ等によりゴミ補正データサイズに制限がある場合、ステップＳ２７で得たゴミ領域の先頭から優先してデータを格納する。

（ゴミ領域取得ルーチン）
次に、図６から図８を参照して、図４のステップＳ２７で行われるゴミ領域取得ルーチンについて説明する。

図７に示すように、図４のステップＳ２６で読み出した画像データをメモリ上に展開し、予め定められたブロック単位で処理を行う。これは、レンズやセンサ特性に起因する周辺減光に対応するためである。周辺減光とは、レンズの中央部に比べ周辺部の輝度が落ちてしまう現象であり、レンズの絞りを小さくすることである程度軽減されることが知られている。しかし、絞りを絞った状態でも、撮影画像に対して予め定められたスレッショルド値でゴミ位置の判定を行うと、レンズによっては周辺部のゴミが正確に検出できなくなるという問題がある。そこで、画像をブロック分割して周辺減光の影響を軽減する。

単純にブロック分割すると、ブロックとブロックの間でスレッショルド値が異なる場合、ブロック間をまたぐゴミの検出がずれてしまうという問題がある。そこで、ブロック間をオーバーラップさせ、オーバーラップ領域を構成するブロックのいずれかでゴミと判定された画素をゴミ領域として扱う。

ブロック内のゴミ領域判定は、図６に示す処理の流れで行う。まず、ブロック内の最大輝度Ｌｍａｘ、平均輝度Ｌａｖｅを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌａｖｅ×０．６＋Ｌｍａｘ×０．４
次に、ステップＳ６１にて輝度値がスレッショルド値を超えない画素をゴミ画素とし、ステップＳ６２にてゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。

図８に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘｍａｘおよび最小値Ｘｍｉｎ、垂直方向の座標の最大値Ｙｍａｘおよび最小値Ｙｍｉｎを求める。そして、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する（ステップＳ６３）。

ｒｉ＝√［｛（Ｘｍａｘ−Ｘｍｉｎ）／２｝²＋｛（Ｙｍａｘ−Ｙｍｉｎ）／２｝²］
Ｘｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、Ｙｍｉｎとｒｉの関係を、図８に示す。

その後ステップＳ６４で、ゴミ領域毎の平均輝度値を算出する。

ゴミ位置メモリ４２７のサイズによる制限などにより、ゴミ補正データのデータサイズが制限されている場合がある。このような場合に対応するために、ステップＳ６５にてゴミ位置情報を大きさやゴミ領域の平均輝度値によってソートする。例えば、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域の中心座標をＤｉ（ｘ，ｙ）、ゴミ領域Ｄｉ（ｘ，ｙ）の半径をＲｉとする。

（撮像処理ルーチン）
次に、図９に示すフローチャートを参照して、撮像処理ルーチンの詳細について説明する。ここで説明する撮像処理ルーチンは、通常の撮影を行う場合の処理、図４のゴミ検出用画像の撮影動作のステップＳ２４で行われる処理、及び多重露光動作（後述する図１０のステップＳ３０３）で行われる処理に共通するものである。

なお、本処理はマイクロコンピュータ４０２がメモリ４２８に記憶された撮像処理プログラムを実行することにより実施される。

この撮像処理ルーチンが実行されると、ステップＳ２０１でマイクロコンピュータ４０２は、図３に示すクイックリターンミラー２０３を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー２０３を退避させる。

次に、ステップＳ２０２で撮像素子での電荷蓄積を開始させ、次のステップＳ２０３では図３に示したシャッターの先幕２１０、後幕２０９をそれぞれ走行させて露光を行う。そして、ステップＳ２０４で撮像素子の電荷蓄積を終了し、次のステップＳ２０５で撮像素子から画像信号を読み出してＡ／Ｄコンバータ４２３および画像処理回路４２５で処理した画像データをバッファメモリ４２４に一次記憶する。

次のステップＳ２０６で撮像素子から全ての画像信号の読み出しが終了すると、ステップＳ２０７でクイックリターンミラー２０３をミラーダウンし、クイックリターンミラーを斜設位置に戻して一連の撮像動作を終了する。

ステップＳ２０８、Ｓ２０９において、通常撮影か多重露光撮影かゴミ検出用画像撮影かを判断し、通常撮影時にはステップＳ２１０へ進んで撮影時のカメラ設定値等と共に図５に示したゴミ補正データを画像に関連付けて記憶装置４１９に記録する。具体的には、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することが出来る。

また、ステップＳＳ２０８、Ｓ２０９において、ゴミ検出用画像撮影、あるいは多重露光撮影である場合には、そのままこのルーチンを終了する。

次に、本発明の主要部分である、多重露光撮影時の異物情報処理の詳細について説明する。

（多重露光撮影動作）
図１０に示すフローチャートを参照して、多重露光撮影動作の詳細について説明する。本処理はマイクロコンピュータ４０２がメモリ４２８に記憶された多重露光撮影動作プログラムを実行することにより実施される。

この多重露光撮影動作のルーチンが実行されると、ステップＳ３０１で撮影者により多重露光撮影に使用する画像の選択が行われる。マイクロコンピュータ４０２は、メニューボタン１２４、および、十字配置スイッチ１１６の操作により多重露光撮影モードが選択されると、ＬＣＤモニタ装置４１７に、記憶装置４１９に格納されている画像の所定枚数分のインデックスを同時に表示する。インデックス画像表示中に、電子ダイヤル４１１が操作されると、表示される画像のインデックスが順次切替っていく。また、十字配置スイッチ１１６の操作が行われると、画面に表示されているインデックス画像中で何れの画像を選択するかの動作が行なわれる。例えば、インデックス画像中で選択されている画像に対してのみ画像の周りに枠が表示され、十字配置スイッチ１１６の操作により、選択されている画像が切替っていく。そして、ＳＥＴボタンが押されると現在選択中の枠が表示されている画像が多重露光に使用される画像として決定され、画像データが記憶装置４１９から、画像バッファメモリ４２４へ展開される。この際、画像データと合わせてＥｘｉｆ領域に記録されているゴミ補正データも合わせて展開される。

次にステップＳ３０２にて、多重露光条件の設定が行われる。多重露光条件の設定とは、ステップＳ３０１にて選択された画像（以降、画像Ａ）と、実際の撮影画像（以降、画像Ｂ）を合成する際の重み付けの設定である。例えば、２：８や５：５のようにトータルの比率が１０となるように選択可能な構成とすれば良い。この数値の入力は、十字配置スイッチ１１６およびＳＥＴボタンにより行なわれる。

次にステップＳ３０３の撮像処理ルーチン（図９で説明したルーチン）により、撮像動作が行われ、画像Ｂの撮影データが取得される。

次に、ステップＳ３０４において、ステップＳ３０１で選択された画像Ａと、ステップＳ３０３で撮影した画像Ｂの合成が行われる。画像合成は、画像バッファメモリ４２４に展開されているそれぞれの画像を、画像処理回路４２５を用いて加算することにより行われる。この際、それぞれの画像に対してステップＳ３０２にて設定された重み付けに応じた係数を乗じて加算が行われる。すなわち、２：８と設定されている場合には、画像データＡに対しては０．２の係数を乗じ、画像データＢに対しては０．８の係数を乗じて加算が行われる。

次に、ステップＳ３０４にて多重露光画像に対する異物情報の合成が行われる。ステップＳ３０４で行うゴミ補正データ合成の詳細に関しては図１１を参照して後に説明する。

次に、ステップＳ３０６にて、ステップＳ３０３で生成した合成画像データとステップＳ３０５で生成したゴミ補正データを関連付けて記憶装置４１９に記録する。ゴミ補正データはＥｘｉｆ領域に記録される。また、画像Ｂ撮影時の撮影条件も合わせて記録される。

なお、上記では、画像Ａが記憶装置４１９から読み出された画像、画像Ｂが新たに撮影された画像として説明したが、これ以外に、画像Ｂも記憶装置４１９から読み出された画像であってもよい。即ち、既に記憶装置４１９に記憶されている画像同士を合成する場合にも本発明は適用可能である。

(ゴミ補正データ合成)
次に、図１１に示すフローチャートを参照して、図１０のステップＳ３０５で行われるゴミ補正データ合成の詳細について説明する。本処理はマイクロコンピュータ４０２がメモリ４２８に記憶されたゴミ補正データ合成プログラムを実行することにより実施される。

ステップＳ４０１にて、図１０のステップＳ３０２で設定された多重露光条件が取得される。

次に、ステップＳ４０２にて図１０のステップＳ３０１にて選択した画像Ａと、図１０のステップＳ３０３の実撮影で取得した画像Ｂのゴミ補正データおよび撮影条件をそれぞれ取得する。

前述の通り、ゴミ補正データの情報としてはゴミ領域の中心座標Ｄｉ（ｘ，ｙ）とゴミ領域の半径Ｒｉ、ゴミ補正データ取得時のレンズ絞り値ｆ１とレンズ瞳位置Ｌ１である。また、画像取得時の撮影条件とはレンズ絞り値ｆ２とレンズ瞳位置Ｌ２である。

ここで、画像Ａに対するゴミ補正データおよび撮影条件を、以下のように表す。

ゴミ領域の中心座標：Ｄｉ_Ａ（ｘ，ｙ）
ゴミ領域の半径：Ｒｉ_Ａ
ゴミ補正データ取得時のレンズ絞り値：ｆ１_Ａ
ゴミ補正データ取得時のレンズ瞳位置：Ｌ１_Ａ
画像取得時のレンズ絞り値：ｆ２_Ａ
画像取得時のレンズ瞳位置：Ｌ２_Ａ
また、画像Ｂに対するゴミ補正データおよび撮影条件を、以下のように表す。

ゴミ領域の中心座標：Ｄｉ_Ｂ（ｘ，ｙ）
ゴミ領域の半径：Ｒｉ_Ｂ
ゴミ補正データ取得時のレンズ絞り値：ｆ１_Ｂ
ゴミ補正データ取得時のレンズ瞳位置：Ｌ１_Ｂ
画像取得時のレンズ絞り値：ｆ２_Ｂ
画像取得時のレンズ瞳位置：Ｌ２_Ｂ
上記画像Ａのゴミ補正データおよび撮影条件は、記憶装置４１９に記録されている画像ファイルのＥｘｉｆ領域から取得される。また、上記画像Ｂのゴミ補正データは、ゴミ位置メモリ４２７に記憶されているデータより取得される。また、撮影条件には、図１０のステップＳ３０３で実行される撮像処理時の撮影条件が用いられる。

次に、ステップＳ４０３にて、ステップＳ４０２にて取得したゴミ補正データの合成を行なう。ここで、ゴミの画像に対する写り込みの影響はゴミ補正データ取得時の絞り値ｆ１とレンズ瞳位置Ｌ１と、通常撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２により以下の式により与えられる。Ｈは撮像素子４１８の表面とゴミの距離であり、ｄは画像中心から座標Ｄｉ（ｘ，ｙ）までの距離である。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２）
ここで、Ｄｉ’（ｘ，ｙ）は、画像に写り込んだゴミの影の中心座標であり、Ｒｉ’は、画像に写り込んだゴミの影の半径である。

上式より、実際の画像へのゴミの写り込み位置と大きさは、ゴミ補正データ取得時の絞り値ｆ１とレンズ瞳位置Ｌ１、通常撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２に影響されることがわかる。従って、画像Ａと画像Ｂに対してこれらの条件が異なる場合には、単純に画像Ａ、画像Ｂのゴミ領域の中心座標情報と、ゴミ領域の半径情報を合成して図５で示したフォーマットで保存することはできない。即ち、画像Ａ、画像Ｂのゴミデータを分類して管理しておく必要がある。ところが、このように画像Ａ、画像Ｂのゴミデータを分類して管理すると、多重露光撮影時の画像と、通常撮影時の画像とで、ゴミ除去処理を同様に扱うことが出来ない。

そこで、本実施形態では、多重露光撮影画像においても通常撮影画像のゴミ除去処理と同様の扱いが可能となるように、画像Ａにおけるゴミ領域の中心座標Ｄｉ_Ａ（ｘ，ｙ）とゴミ領域の半径Ｒｉ_Ａを、画像Ｂの各種条件を用いて変換する。すなわち、画像Ｂのゴミ補正データ取得時のレンズ絞り値およびレンズ瞳位置条件と、画像Ｂ取得時のレンズ絞り値およびレンズ瞳位置条件を用いて画像Ａのゴミの写り込み位置と大きさが算出できるように変換する。画像Ａのゴミ補正データを画像Ｂの各種条件を用いて変換した後のゴミ領域の中心座標Ｄｉ’’_Ａ（ｘ，ｙ）とゴミ領域の半径Ｒｉ_Ａ’’は次式で与えられる。

Ｄｉ_Ａ’’（ｘ，ｙ）＝（Ｌ２_Ａ×（Ｌ１_Ａ−Ｈ）／（（Ｌ２_Ａ−Ｈ）×Ｌ１_Ａ））×（（Ｌ２_Ｂ−Ｈ）×Ｌ１_Ｂ））／（Ｌ２_Ｂ×（Ｌ１_Ｂ−Ｈ））×Ｄｉ（ｘ，ｙ）
Ｒｉ_Ａ’’＝Ｒｉ×ｆ１_Ａ／ｆ２_Ａ×ｆ２_Ｂ／ｆ１_Ｂ
ここで、Ｄｉ_Ａ’’（ｘ，ｙ）とＲｉ_Ａ’’は、画像Ｂのゴミ補正データ取得撮影時の絞り値ｆ１_Ｂとレンズ瞳位置Ｌ１_Ｂ、通常撮影時の絞り値ｆ２_Ｂとレンズ瞳位置Ｌ２_Ｂにより画像への写り込みを算出できる形式に変換されている。そのため、画像Ｂのゴミ領域の中心座標Ｄｉ_Ｂ（ｘ，ｙ）及びゴミ領域の半径Ｒｉ_Ｂと同様に扱うことができる。

すなわち、Ｄｉ_Ａ’’（ｘ，ｙ）、Ｒｉ_Ａ’’とＤｉ_Ｂ（ｘ，ｙ）、Ｒｉ_Ｂを単純に合成する。そして、その合成したものを、通常撮影時のゴミ補正データと同様に、ゴミ領域の中心座標Ｄｉ（ｘ，ｙ）、Ｒｉとして図５で示されるゴミ補正データのデータ形式で記憶装置４１９に記録しておけばよい（ステップＳ４０５）。このとき、図５中に示されるＦ値及びレンズ瞳位置の情報は画像Ｂのゴミ補正データ取得時のレンズ絞り値ｆ１_Ｂ、レンズ瞳位置Ｌ１_Ｂを記録しておけば良い。

ここで、Ｄｉ_Ａ’’（ｘ，ｙ）、Ｒｉ_Ａ’’とＤｉ_Ｂ（ｘ，ｙ）、Ｒｉ_Ｂを合成する際に、多重露光撮影条件を考慮してソートするようにしても良い（ステップＳ４０４）。すなわち、多重露光撮影時の重み付けを乗算した値を元にソートしたり、Ａ、Ｂそれぞれのゴミ領域の平均輝度値に多重露光撮影時の重み付けを乗算した値に対してソートしても良い。これにより、多重露光時の重み付けの差による、ゴミの見え方の影響を考慮することが可能となる。

以上により、多重露光時の画像データに対して、ゴミ補正データを通常撮影時のデータと同様に単一のデータとして関連付けることが可能となる。これにより、次に説明するゴミ除去処理において、通常撮影画像であるのか、多重露光撮影画像であるのかを区別することなく同様の処理にてゴミ除去処理を行なうことが可能となる。

（ゴミ除去処理）
次に、画像中からゴミの影の部分の影響を除去するゴミ除去処理の流れについて説明する。ゴミ除去処理は、デジタルカメラ本体ではなく、別途用意した画像処理装置上で行う。

図１２は、画像処理装置のシステム構成の概略を示した図である。

ＣＰＵ１００１は、システム全体の動作をコントロールし、一次記憶部１００２に格納されたプログラムの実行などを行う。一次記憶部１００２は、主にメモリであり、二次記憶部１００３に記憶されたプログラムなどを読み込んで格納する。二次記憶部１００３は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。

入力デバイス１００４とは例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス１００５とは例えば、モニタやプリンタなどが考えられる。

画像処理装置には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、ユーザはＧＵＩ（Graphical User Interface）を使ってこの装置上で動作するプログラムの操作が可能である。

図１３は、画像処理装置における画像編集プログラムのＧＵＩを示す図である。

ウィンドウにはクローズボタン１１００とタイトルバー１１０１が備えられ、クローズボタンを押すことでプログラムを終了する。ファイルを画像表示領域１１０２にドラッグアンドドロップすることで補正対象画像を指定し、補正対象画像が決定された場合、タイトルバー１１０１にファイル名を表示した後、画像表示領域１１０２に対象画像をＦｉｔ表示する。ここで補正対象画像とは、ゴミ除去処理を行う対象とする画像のことである。実行ボタン１１０３を押すと、後述するゴミ除去処理を実行し、処理後の画像を画像表示領域１１０２に表示する。ステップ実行ボタン１１０４を押すと後述するゴミ除去処理のステップ実行を行い、全てのゴミ領域に対して処理が終了した時点で処理後の画像を画像表示領域１１０２に表示する。保存ボタン１１０５を押すと、処理後の画像を保存する。 画像処理装置におけるゴミ処理除去の流れを、図１４に示す。

まず、デジタルカメラ内又はデジタルカメラから取り外された記憶装置４１９からゴミ補正データが添付された画像データを画像処理装置に取り込んで、一次記憶部１００２又は二次記憶部１００３に記憶する（ステップＳ９０）。

次に、画像データ（ゴミ除去処理を行う対象となる画像データ）から、ステップＳ２０８で撮影画像に添付されたゴミ補正データを抽出する（ステップＳ９１）。

次に、ステップＳ９１で抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る（ステップＳ９２）。ステップＳ９３で、画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、ステップＳ９４でＤｉを次式で変換する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２）
ここでの単位はピクセルである。

ステップＳ９５で座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、補間処理を適用する。ゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン置換後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。

ステップＳ９６で全ての座標についてゴミ除去処理が終了したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ９５に戻る。

このように画像に添付されているゴミ補正データによりゴミ除去処理が可能である。

以上説明したように、本実施形態で示したゴミ補正データの合成処理により多重露光撮影により得られた画像データにおいても、通常撮影時の画像データと同様の形式でゴミ補正データが添付されている。そのため、多重露光撮影画像に対しても通常撮影時の画像と同様にゴミ除去処理が可能となる。

（他の実施形態）
上記の実施形態では、デジタルカメラ本体にて画像合成及び、異物情報合成処理を実行した。しかし、デジタルカメラ側では、通常撮影のみを実施し、多重露光のための画像の合成及び、ゴミ補正データの合成は別途用意された画像処理装置を用いて実行する構成としても良い。

また、上記の実施形態で示したゴミ補正データの合成を行うか、行わないかを選択できる構成としても良い。

また、上記の実施形態では、ゴミ除去処理を画像処理装置を用いて実行するように構成しているが、デジタルカメラ内で処理を行っても良い。この場合、ゴミ除去処理の負荷を考慮し、撮影時以外の、マイクロコンピュータ４０２の処理が空いている時間を利用して、合成されたゴミ補正データに基づいてゴミ除去処理を行うようにすれば良い。

さらに、上記の実施形態では、２枚の画像を合成する場合について説明したが、本発明は、３枚以上の複数の画像を合成する場合にも適用可能である。

また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは、装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、プログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または、全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した内容に対応するプログラムコードが格納されることになる。

本発明の一実施形態に係わるレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。 一実施形態のデジタルカメラの外観斜視図である。 一実施形態のデジタルカメラの内部構造を示す垂直断面図である。 一実施形態のデジタルカメラにおけるゴミ検出処理を説明するフローチャートである。 ゴミ補正データのデータ形式例を示す図である。 図４のステップＳ２７で行なわれるゴミ領域取得ルーチンの詳細を説明するフローチャートである。 図６のステップＳ６２で行なわれるゴミ領域判定処理の処理単位を示す図である。 図６のステップＳ６３で行なわれるゴミ領域サイズ算出の概要を示す図である。 撮像処理ルーチンの詳細を説明するフローチャートである。 多重露光撮影の詳細を説明するフローチャートである。 図１０のステップＳ３０５で行なわれるゴミ補正データ合成処理の詳細を説明するフローチャートである。 画像処理装置のシステム構成の概略を示した図である。 画像処理装置におけるＧＵＩの例を示す図である。 ゴミ除去処理の詳細を説明するフローチャートである。

符号の説明

１００ カメラ本体
２００ 撮影レンズ
２０２ レンズマウント
４１８ 撮像素子

Claims (14)

1. 被写体を撮像して得られた第１の画像データと、該第１の画像データとは異なる被写体を撮像して得られた第２の画像データとを合成して、第３の画像データを生成する、画像合成手段と、
   前記第１の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第１の異物情報と、前記第２の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第２の異物情報とを合成して第３の異物情報を生成する、異物情報合成手段と、
   前記第３の異物情報を前記第３の画像データに関連付けて記憶する記憶手段と、
   を具備することを特徴とする画像処理装置。
2. 前記異物情報合成手段は、前記第１の画像データを撮像した撮像装置における撮影レンズに関する情報である第１のレンズ情報と、前記第２の画像データを撮像した撮像装置における撮影レンズに関する情報である第２のレンズ情報とを用いて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のレンズ情報とは、前記第１の画像データを撮像した撮像装置における撮影時の撮影レンズの絞り値と瞳位置に関する情報であり、前記第２のレンズ情報とは、前記第２の画像データを撮像した撮像装置における撮影時の撮影レンズの絞り値と瞳位置に関する情報であることを特徴とする請求項２に記載の画像処理装置。
4. 前記異物情報合成手段は、前記第１の画像データを撮像した撮像装置における前記異物の位置及び大きさを検出するための異物検出用画像を撮影した撮影レンズに関する情報である第３のレンズ情報と、前記第２の画像データを撮像した撮像装置における前記異物の位置及び大きさを検出するための異物検出用画像を撮影した撮影レンズに関する情報である第４のレンズ情報とをさらに用いて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記第３のレンズ情報とは、前記第１の画像データを撮像した撮像装置における前記異物検出用画像の撮影時の撮影レンズの絞り値と瞳位置に関する情報であり、前記第４のレンズ情報とは、前記第２の画像データを撮像した撮像装置における前記異物検出用画像の撮影時の撮影レンズの絞り値と瞳位置に関する情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記異物情報合成手段は、前記画像合成手段における前記第１の画像データと前記第２の画像データに対する重み付けに基づいて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項１に記載の画像処理装置。
7. 画像合成手段が、被写体を撮像して得られた第１の画像データと、該第１の画像データとは異なる被写体を撮像して得られた第２の画像データとを合成して、第３の画像データを生成する、画像合成工程と、
   異物情報合成手段が、前記第１の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第１の異物情報と、前記第２の画像データを撮像した撮像装置における撮像素子の前方に配置された光学素子に付着した異物の位置及び大きさの情報を含む第２の異物情報とを合成して第３の異物情報を生成する、異物情報合成工程と、
   記憶手段が、前記第３の異物情報を前記第３の画像データに関連付けて記憶する記憶工程と、
   を具備することを特徴とする画像処理方法。
8. 前記異物情報合成工程では、前記第１の画像データを撮像した撮像装置における撮影レンズに関する情報である第１のレンズ情報と、前記第２の画像データを撮像した撮像装置における撮影レンズに関する情報である第２のレンズ情報とを用いて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項７に記載の画像処理方法。
9. 前記第１のレンズ情報とは、前記第１の画像データを撮像した撮像装置における撮影時の撮影レンズの絞り値と瞳位置に関する情報であり、前記第２のレンズ情報とは、前記第２の画像データを撮像した撮像装置における撮影時の撮影レンズの絞り値と瞳位置に関する情報であることを特徴とする請求項８に記載の画像処理方法。
10. 前記異物情報合成工程では、前記第１の画像データを撮像した撮像装置における前記異物の位置及び大きさを検出するための異物検出用画像を撮影した撮影レンズに関する情報である第３のレンズ情報と、前記第２の画像データを撮像した撮像装置における前記異物の位置及び大きさを検出するための異物検出用画像を撮影した撮影レンズに関する情報である第４のレンズ情報とをさらに用いて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項８に記載の画像処理方法。
11. 前記第３のレンズ情報とは、前記第１の画像データを撮像した撮像装置における前記異物検出用画像の撮影時の撮影レンズの絞り値と瞳位置に関する情報であり、前記第４のレンズ情報とは、前記第２の画像データを撮像した撮像装置における前記異物検出用画像の撮影時の撮影レンズの絞り値と瞳位置に関する情報であることを特徴とする請求項１０に記載の画像処理方法。
12. 前記異物情報合成工程では、前記画像合成工程における前記第１の画像データと前記第２の画像データに対する重み付けに基づいて、前記第１及び第２の異物情報を合成して前記第３の異物情報を生成することを特徴とする請求項７に記載の画像処理方法。
13. 請求項７乃至１２のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images