JP5462560B2

JP5462560B2 - 画像処理装置

Info

Publication number: JP5462560B2
Application number: JP2009207531A
Authority: JP
Inventors: 康裕原田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-09-08
Filing date: 2009-09-08
Publication date: 2014-04-02
Anticipated expiration: 2029-09-08
Also published as: JP2011061390A

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、光学ローパスフィルタ等の表面に付着した異物による画像劣化を抑制する技術に関する。特に、撮影時に複数枚に分割して画像撮影を行い、撮影後に位置合わせしながら合成する手振れ補正機能を有する撮像装置における画質改善技術に関する。

レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する撮像素子の前方に配置された光学ローパスフィルタ等の光学素子の表面に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。

このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献１には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献２には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、ＰＣ（パーソナルコンピュータ）側でゴミ情報を自動判別し、その情報を用いて補正対象画像の補正が可能となる。

また、デジタルカメラに好適な手振れ補正技術として、手振れが生じない程度のシャッター速度で複数枚の画像を連写撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行いながら合成して手振れのない画像を得るという技術が特許文献３に提案されている。

特開平６−１０５２４１号公報特開２００４−２４２１５８号公報特許第３３９５７６９号公報

前述の複数枚の画像を撮影し、撮影後の処理でそれら複数枚の画像を合成することで手振れのない画像を得る技術においては、各撮影毎に手振れ量に応じた画像の位置合わせを行い、加算合成が行なわれる。したがって、光学ローパスフィルタ等の光学素子の表面に付着した異物は、合成画像としては位置合わせ量だけシフトした位置に複数写り込むことになる。したがって、従来のゴミ取得モードで撮影した画像から抽出したゴミ補正データを合成後の画像に付加しても補正ができないという課題がある。また、光学ローパスフィルタ等の光学素子の表面に付着したひとつの異物が合成後には複数の箇所に写り込むため、補正を実施した場合に、補正箇所が多くなり、補正痕が通常撮影時よりも目立ってしまうという課題があった。

本発明の目的は、複数枚の画像を合成して手振れを補正する機能を有する撮像装置において、使用者が通常撮影と同様の手法にて光学ローパスフィルタ等の光学素子の表面に付着した異物の影響による画質の劣化を抑制できるようにすることである。

本発明に係わる画像処理装置は、連続して撮影された第１の画像および第２の画像を位置合わせして第３の画像を合成する画像処理装置であって、前記第１の画像と前記第２の画像との位置ずれ情報および前記第１の画像における異物の位置および大きさで定義した第１の異物領域情報を抽出する情報抽出手段と、前記位置ずれ情報に基づいて、前記第１の異物領域情報を変換することで前記第２の画像における異物の位置および大きさで定義した第２の異物領域情報を生成し、前記第１の異物領域情報および前記第２の異物領域情報に基づいて、前記第３の画像における異物の位置および大きさで定義した第３の異物領域情報を生成する生成手段と、を備え、前記生成手段は、前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重なるかどうかを判定し、前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重ならない場合には、前記第１の異物領域情報で定義される領域に前記第２の異物領域情報で定義される領域を追加した領域を前記第３の異物領域情報として生成し、前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重なる場合には、前記第１の異物領域情報で定義される領域と前記第２の異物領域情報で定義される領域とが包含されるように定義される領域または前記第１の異物領域情報で定義される領域と前記第２の異物領域情報で定義される領域とが重なる領域を前記第３の異物領域情報として生成することを特徴とする。

本発明によれば、複数枚の画像を合成して手振れを補正する機能を有する撮像装置において、使用者が通常撮影と同様の手法にて光学ローパスフィルタ等の光学素子の表面に付着した異物の影響による画質の劣化を抑制することが可能となる。

本発明の第１の実施形態に係わる撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。第１の実施形態に係わるデジタルカメラの外観斜視図である。第１の実施形態に係わるデジタルカメラの内部構造を示す垂直断面図である。第１の実施形態に係わるデジタルカメラにおけるゴミ検出処理を説明するフローチャートである。ゴミ補正データのデータ形式例を示す図である。図４のステップＳ２７で行なわれるゴミ領域取得ルーチンの詳細を説明するフローチャートである。図６のステップＳ６２で行なわれるゴミ領域判定処理の処理単位を示す図である。図６のステップＳ６３で行なわれるゴミ領域サイズ算出の概要を示す図である。図４のステップＳ２４で行なわれる撮像処理ルーチンの詳細を説明するフローチャートである。防振撮影動作の詳細を説明するフローチャートである。第１の実施形態に係わる防振画像合成・ゴミ補正データ再生成の詳細を説明するフローチャートである。第１の実施形態に係わるゴミ補正データ再生成の詳細を説明する図である。画像処理装置のシステム構成の概略を示した図である。画像処理装置におけるＧＵＩの例を示す図である。ゴミ除去処理の詳細を説明するフローチャートである。第２の実施形態に係わる防振画像合成・ゴミ補正データ再生成の詳細を説明するフローチャートである。第２の実施形態に係わるゴミ補正データ再生成の詳細を説明する図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。図１において、マイクロコンピュータ４０２は、撮像素子（本実施形態ではＣＭＯＳセンサ）４１８が出力する画像データの処理や、ＬＣＤモニタ装置４１７の表示制御を初め、カメラ全体の動作を制御する。スイッチＳＷ１（４０５）は、レリーズボタン１１４（図２参照）の半押し状態でオンになり、スイッチＳＷ１（４０５）がオンすると本実施形態のデジタルカメラは撮影準備状態になる。スイッチＳＷ２（４０６）は、レリーズボタン１１４が最後まで押された状態（全押し状態）でオンし、スイッチＳＷ２（４０６）がオンすると撮影動作を開始する。レンズ制御回路４０７は、撮影レンズ２００（図３参照）との通信およびＡＦ（オートフォーカス）時の撮影レンズ２００の駆動制御や絞り羽根の駆動制御を行なう。

また、図１において、外部表示制御回路４０８は、外部表示装置（ＯＬＣ）４０９や、ファインダ内の表示装置（不図示）の制御を行なう。スイッチセンス回路４１０は、カメラに設けられた電子ダイヤル４１１を含む多数のスイッチ類の信号をマイクロコンピュータ４０２に伝える。防振機能ＯＮ／ＯＦＦスイッチ１２５もここに接続される。ストロボ発光調光制御回路４１２は、Ｘ接点４１２ａに接続されており、外部ストロボの制御を行う。測距回路４１３は、ＡＦのための被写体に対するデフォーカス量を検出する。測光回路４１４は、被写体の輝度を測定する。シャッター制御回路４１５はシャッターの制御を行い、撮像素子に対して適正な露光を行う。ＬＣＤモニタ装置４１７とバックライト照明装置４１６は、画像表示装置を構成している。記録装置４１９は例えばカメラ本体に着脱可能なハードディスクドライブや半導体メモリカード等である。

また、マイクロコンピュータ４０２には、Ａ／Ｄコンバータ４２３、画像バッファメモリ４２４、ＤＳＰなどからなる画像処理回路４２５、撮像素子内の所定画素そのものに欠陥があることを記憶している画素欠陥位置メモリ４２６が接続されている。また、ゴミ等の異物による画像不良を起こしている撮像素子内の画素位置を記憶しているゴミ位置メモリ４２７、複数画像間の動きベクトルを検知する動きベクトル検知回路４２８も接続されている。なお、画素欠陥位置メモリ４２６およびゴミ位置メモリ４２７は不揮発性メモリを用いることが好ましい。画素欠陥位置メモリ４２６とゴミ位置メモリ４２７は、同一メモリ空間の異なるアドレスを用いて記憶しても良い。また、４２９は、本実施形態ではマイクロコンピュータ４０２が実行するプログラム等を記憶するメモリである。

また、動きベクトル検知回路４２８は、まず、複数画像間のデータに対して、画像を小ブロックに分割して二次元相関を演算し、小ブロック間の動きベクトルを求める。次に、そのようにして求めた画面全体の小ブロックの動きベクトルの最頻値をその画像の動きベクトルとするような手法により、画像間の動きベクトルを検出する。ここで、動きベクトルを求める手段としては、公知の他の手法を用いる構成としても良い。

図２は、本実施形態に係わるデジタルカメラの外観を示す斜視図、図３は図２の垂直断面図である。図２において、カメラ本体１００の上部には、ファインダ観察用の接眼窓１１１、ＡＥ（自動露出）ロックボタン１１２、ＡＦの測距点選択ボタン１１３、撮影操作をするためのレリーズボタン１１４が設けられている。また、電子ダイヤル４１１、撮影モード選択ダイヤル１１７、および外部表示装置４０９も設けられている。電子ダイヤル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。

また、カメラ本体１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤモニタ装置４１７、ＬＣＤモニタ装置４１７をオン／オフするためのモニタスイッチ１２１、十字配置スイッチ１１６、およびメニューボタン１２４、防振機能ＯＮ／ＯＦＦスイッチ１２５が設けられている。十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタンを有し、ユーザーがＬＣＤモニタ装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。メニューボタン１２４は、ＬＣＤモニタ装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタンを押すことにより設定が完了する。

本実施形態のＬＣＤモニタ装置４１７は透過型であるため、ＬＣＤモニタ装置の駆動だけでは画像を視認することはできず、必ずその裏面には図３に示すようにバックライト照明装置４１６が必要である。このようにＬＣＤモニタ装置４１７とバックライト照明装置４１６は画像表示装置を構成している。防振機能ＯＮ／ＯＦＦスイッチ１２５は、防振機能ＯＮ／ＯＦＦスイッチがＯＮされると、通常撮影時の露出に対して、シャッタースピードを速くして、所定枚数の連写撮影が行なわれるモードとなる。また、撮影後、撮影した複数毎の画像を合成して手振れを補正した画像を作成する処理が行なわれる。この処理については後述する。

図３に示すように、撮像光学系である撮影レンズ２００はカメラ本体１００に対してレンズマウント２０２を介して着脱可能である。図３において２０１は撮影光軸、２０３はクイックリターンミラーである。クイックリターンミラー２０３は撮影光路中に配置され、撮影レンズ２００からの被写体をファインダ光学系に導く位置（図３に示す位置、斜接位置と呼ぶ）と撮影光路外に退避する位置（退避位置と呼ぶ）との間で移動可能である。図３において、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結象される。２０５はファインダの視認性を向上させるためのコンデンサレンズ、２０６はペンタゴナルダハプリズムであり、ピント板２０４およびコンデンサレンズ２０５を通った被写体光をファインダ観察用の接眼レンズ２０８および測光センサ２０７に導く。

２０９、２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９、先幕２１０の開放によって後方に配置されている固体撮像素子である撮像素子４１８が必要時間だけ露光される。撮像素子４１８の前方には光学ローパスフィルタ等の光学素子４１８ａが配置されており、この光学素子４１にゴミ等の異物が付着すると、その影が撮像画面内に写り込んで、画像信号の品質を劣化させる。撮像素子によって画素毎の電気信号に変換された撮影画像は、Ａ／Ｄコンバータ４２３や画像処理回路４２５などによって処理され、画像データとして記録装置４１９に記録される。撮像素子４１８はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう一枚のプリント基板である表示基板２１５が配置されている。この表示基板２１５の反対側の面にＬＣＤモニタ装置４１７およびバックライト照明装置４１６が配置されている。４１９は画像データを記録する記録装置、２１７は電池（携帯用電源）である。この記録装置４１９および電池２１７は、カメラ本体に対して着脱可能である。

（ゴミ検出処理）
図４は、デジタルカメラにおけるゴミ検出処理（ゴミによって画像不良が生じている画素位置の検出処理）を説明するフローチャートである。本処理は、マイクロコンピュータ４０２がメモリ４２９に記憶されたゴミ検出処理プログラムを実行することにより実施される。

ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。ゴミ検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面に撮影レンズ２００の撮影光軸２０１を向けてカメラを設置し、ゴミ検出の準備を行なう。または、レンズマウント２０２にゴミ検出用のライトユニット（レンズの代わりに装着する小型の点光源装置）を装着し、ゴミ検出の準備を行なう。ライトユニットの光源は例えば白色ＬＥＤが考えられ、発光面のサイズを予め定めた絞り値相当になるように調整する。準備が終了した後、例えば十字配置スイッチ１１６からゴミ検出処理の開始が指示されると、マイクロコンピュータ４０２は、まず絞りの設定を行う。撮像素子近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、ゴミ補正データにはゴミの位置や大きさに加え、検出時の絞り値とレンズの瞳位置情報が保持される。

ただし、ゴミ補正データを作成する段階で、異なるレンズを用いたとしても常に同じ絞り値を使うことを予め決めておけば、必ずしもゴミ補正データ内に絞り値を保持する必要は無い。また、瞳位置に関してもライトユニットを用いたり、特定のレンズのみ使用を許可することで、同様に必ずしもゴミ補正データ内に瞳位置情報を保持する必要はない。なお、ここで瞳位置とは、射出瞳の撮像面（焦点面）からの距離を言う。

ここでは、ステップＳ２１にて例えばＦ１６が指定される。次にステップＳ２２にてマイクロコンピュータ４０２はレンズ制御回路４０７に対し、撮影レンズ２００の絞り羽根制御を行わせ、ステップＳ２１で指定された絞り値に絞りを設定する。さらに、ステップＳ２３にてフォーカス位置を無限遠に設定する。次にステップＳ２４にて撮影レンズの絞り値とフォーカス位置が設定されると、ゴミ検出モードでの撮影を実行する。ステップＳ２４で行う撮像処理ルーチンの詳細に関しては図９を用いて後に説明する。撮影された画像データは、画像バッファメモリ４２４に格納される。

撮影が終了すると、ステップＳ２５にて撮影時の絞り値とレンズ瞳位置を取得する。次にステップＳ２６にて画像処理回路４２５に画像バッファメモリ４２４に記憶されている撮影画像の各画素に対応するデータを呼び出す。ステップＳ２７にて画像処理回路４２５は、図６に示すゴミ領域取得処理を行い、ゴミが存在する画素の位置と大きさを取得する。次にステップＳ２８にてステップＳ２７で取得したゴミが存在する画素の位置と大きさ、およびステップＳ２５で取得した絞り値とレンズ瞳位置情報を、ゴミ位置メモリ４２７に登録する。ここで、前述したライトユニットを用いた場合には、レンズ情報を取得できない。そこで、レンズ情報が取得できない場合は、ライトユニットを使ったと判断し、予め定められたレンズ瞳位置情報と、ライトユニットの光源径から算出される換算絞り値を登録する。

ここで、ステップＳ２８において、予め画素欠陥位置メモリに記録されている製造時からの不良画像（画素欠陥）の位置と、読み出した画像データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものではないと判断された領域のみ、ゴミ位置メモリ４２７に位置を登録しても良い。

ゴミ位置メモリ４２７に格納されるゴミ補正データのデータ形式例を図５に示す。図５に示した通り、ゴミ補正データには、検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。このゴミ補正データは、通常撮影時に画像データの撮影情報と共に画像に付加し、後に説明するゴミ除去処理で利用する。また、防振機能ＯＮ時の手振れ補正をした合成画像撮影時には、合成用のゴミ補正データ生成のために利用する。

ゴミ補正データは、具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰り返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画素領域における中心のｘ座標（例えば２バイト）、同じく中心のｙ座標（例えば２バイト）である。ゴミ位置メモリ４２７の大きさ等によりゴミ補正データサイズに制限がある場合、ステップＳ２７で得たゴミ領域の先頭から優先してデータを格納する。

（ゴミ領域取得ルーチン）
次に、図６から図８を用いて、ステップＳ２７で行うゴミ領域取得ルーチンについて説明する。図７に示すように、呼び出した画像データをメモリ上に展開し、予め定められたブロック単位で処理を行う。これは、レンズやセンサ特性に起因する周辺減光に対応するためである。周辺減光とは、レンズの中央部に比べ周辺部の輝度が落ちてしまう現象であり、レンズの絞りを小さくすることである程度軽減されることが知られている。しかし、絞りを絞った状態でも、撮影画像に対して予め定められたしきい値でゴミ位置の判定を行うと、レンズによっては周辺部のゴミが正確に検出できなくなるという問題がある。そこで、画像をブロック分割して周辺減光の影響を軽減する。単純にブロック分割すると、ブロックとブロックの間でスレッショルド値が異なる場合、ブロック間をまたぐゴミの検出がずれてしまうという問題がある。そこで、ブロック間をオーバーラップさせ、オーバーラップ領域を構成するブロックのいずれかでゴミと判定された画素をゴミ領域として扱う。

ブロック内のゴミ領域判定は、図６に示す処理の流れで行う。まず、ブロック内の最大輝度Ｌｍａｘ、平均輝度Ｌａｖｅを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝（Ｌａｖｅ×０．６）＋（Ｌｍａｘ×０．４）
次に、ステップＳ６１にてしきい値Ｔ１を超えない画素をゴミ画素とし、ステップＳ６２にてゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。図８に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘｍａｘおよび最小値Ｘｍｉｎ、垂直方向の座標の最大値Ｙｍａｘおよび最小値Ｙｍｉｎを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する（ステップＳ６３）。

ｒｉ＝√［｛（Ｘｍａｘ−Ｘｍｉｎ）／２｝²＋｛（Ｙｍａｘ−Ｙｍｉｎ）／２｝²］
Ｘｍａｘ、Ｘｍｉｎ、Ｙｍａｘ、Ｙｍｉｎとｒｉの関係を、図８に示す。その後ステップＳ６４で、ゴミ領域毎の平均輝度値を算出する。

ゴミ位置メモリ（４２７）のサイズによる制限などにより、ゴミ補正データのデータサイズが制限されている場合がある。このような場合に対応するために、ステップＳ６５にてゴミ位置情報を大きさやゴミ領域の平均輝度値によってソートする。例えば、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域の中心座標をＤｉ（ｘ，ｙ）、ゴミ領域Ｄｉ（ｘ，ｙ）の半径をＲｉとする。

（撮像処理ルーチン）
次に、図９に示すフローチャートを用いて、図４のステップＳ２４で行われる撮像処理ルーチンの詳細について説明する。本処理はマイクロコンピュータ４０２がメモリ４２９に記憶された撮像処理プログラムを実行することにより実施される。

この撮像処理ルーチンが実行されると、ステップＳ２０１でマイクロコンピュータ４０２は、図３に示すクイックリターンミラー２０３を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー２０３を退避させる。次に、ステップＳ２０２で撮像素子での電荷蓄積を開始し、次のステップＳ２０３では図３に示したシャッターの先幕２１０、後幕２０９をそれぞれ走行させて露光を行う。そして、ステップＳ２０４で撮像素子の電荷蓄積を終了し、次のステップＳ２０５で撮像素子から画像信号を読み出してＡ／Ｄコンバータ４２３および画像処理回路４２５で処理した画像データを画像バッファメモリ４２４に一次記憶する。

次のステップＳ２０６で撮像素子から全ての画像信号の読み出しが終了すると、ステップＳ２０７でクイックリターンミラー２０３をミラーダウンし、クイックリターンミラーを斜設位置に戻して一連の撮像動作を終了する。ステップＳ２０８にて、通常撮影かゴミ検出用画像撮影かを判断し、通常撮影時にはステップＳ２０９へ進んで撮影時のカメラ設定値等と共に図５に示したゴミ補正データを画像に関連付けて記憶装置４１９に記録する。具体的には、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することが出来る。

次に、本発明の主要部分である、防振機能ＯＮ時の異物情報処理の詳細に関して説明する。

（手振れ補正動作）
図１０に示すフローチャートを用いて、防振機能ＯＮ時の撮影動作の詳細について説明する。本処理はマイクロコンピュータ４０２がメモリ４２９に記憶された防振機能動作プログラムを実行することにより実施される。防振機能ＯＮ／ＯＦＦスイッチ１２５がＯＮに設定されている状態で、ステップＳ３０１にてスイッチＳＷ１（４０５）が押されると、防振撮影動作を開始する。次に、ステップＳ３０２にて防振撮影用の測光が行なわれる。防振撮影時は、連続して複数枚の露出不足の画像の撮影が行なわれ、後述するように、画像処理装置にて像の位置ズレを補正しながら加算合成を行って目標とする露出の画像を得る。このときのシャッター速度は手振れが発生しにくい速度にする必要がある。このようなシャッター速度は次のようにして求めることができる。

従来より、３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター速度であれば手振れが画像の劣化に影響しにくいと言われている。撮像素子４１８が３５ｍｍフィルムに対して小さい場合は、３５ｍｍフィルム換算の焦点距離ｆ’を求め、この逆数（１／ｆ’（ｓｅｃ））をシャッター速度とすれば手振れしにくいシャッター速度とすることができる。

次のステップで、ステップＳ３０２にて求めた測光値および、前述のシャッター速度（１／ｆ’）から加算合成後に適正露出とするための撮影枚数Ｎを決定する。例えば、１枚あたりの露光量が適正露光量の１／２であれば、撮影枚数は２枚として２枚の画像を加算することで適正光量となる画像が求められる。次にステップＳ３０４にて測距動作が行なわれる。次に、ステップＳ３０５にてＳＷ１（４０５）がＯＮされている場合は、ステップＳ３０６に進む。ステップＳ３０５にてＳＷ１（４０５）がＯＦＦしている場合はステップＳ３０１に戻る。

ステップ３０６にてＳＷ２（４０６）がＯＮされているか否かの判定が行なわれる。ＳＷ２（４０６）がＯＦＦしているときは、ステップＳ３０５に戻る。ＳＷ２（４０６）がＯＮしている場合は、ステップＳ３０７に進み、露光動作に移行する。ステップＳ３０８にて、撮影枚数カウンタのカウント値ｎを０にセットする。次に、撮影枚数カウンタのカウント値ｎを１加算し、ステップＳ３０９に進む。ステップＳ３０９でマイクロコンピュータ４０２は、図３に示すクイックリターンミラー２０３を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー２０３を退避させる。次に、ステップＳ３１０で撮像素子での電荷蓄積を開始し、次のステップＳ３１１では図３に示したシャッターの先幕２１０、後幕２０９をそれぞれ走行させて露光を行う。そして、ステップＳ３１２で撮像素子の電荷蓄積を終了し、次のステップＳ３１３で撮像素子から画像信号を読み出してＡ／Ｄコンバータ４２３および画像処理回路４２５で処理した画像データを画像バッファメモリ４２４に一次記憶する。

次のステップＳ３１４で撮像素子から全ての画像信号の読み出しが終了すると、ステップＳ３１５でクイックリターンミラー２０３をミラーダウンし、クイックリターンミラーを斜設位置に戻す。次のステップＳ３１６で、防振用撮影枚数Ｎ枚の撮影が終了したかの判定が行なわれる。Ｎ枚の撮影が終了した場合は、ステップＳ３１７に進み、防振画像の合成、ゴミ補正データの再生成が行なわれる。防振用撮影枚数Ｎ枚の撮影が終了していない場合はステップＳ３０８に戻り、撮影枚数カウントを１加算し、露光動作を繰り返す。

次に、ステップＳ３１７で実施される防振画像合成・ゴミ補正データの再生成について図１１のフローチャート及び図１２を用いて説明する。防振画像合成・ゴミ補正データ再生成の動作がスタートするとステップＳ４０１にて、加算合成する画像の異物情報を情報抽出して、加算合成画像用のゴミ補正データＤ’’の初期データが生成される。具体的には、防振用画像の最初のコマに対するゴミ補正データの生成が行なわれる。すなわち、図１２の（ａ）に示す通り、防振画像合成時は、通常撮影時に使用される画像領域Ｐ×Ｑに対して小さいＨ×Ｖの領域を手振れ量分位置合わせして切り出しが行なわれる。したがって、通常撮影時用のゴミ補正データの中心座標（ｘ，ｙ）から防振画像の切り出しデータ用の座標変換を実施し、ゴミ補正データを生成する必要がある。ここで、防振用画像の最初のコマの切り出しの始点座標を（Ｓ，Ｔ）とすると、防振用画像のゴミ補正データの中心座標は（ｘ−Ｓ，ｙ−Ｔ）に変換される。この変換式を用いて、通常撮影用のゴミ補正データＤｉの中心座標（ｘｉ，ｙｉ）が変換され、防振画像用の初期ゴミ補正データＤ’’ｉの中心座標（ｘｉ−Ｓ，ｙｉ−Ｔ）が生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データＤ’’ｉの半径はｒｉのままである。

次にステップＳ４０２に進み、カウンタのカウント値ｎを１にセットする。次に、スッテプＳ４０３にてカウンタのカウント値を１増加し、ステップＳ４０４に進む。ステップＳ４０４では、動きベクトル検知回路４２８により防振用画像の１コマ目とｎ＋１コマ目の画像間の動きベクトルを演算する。動きベクトルの検知方法としては様々な手法が公知であり、そのうちどのような手法を用いることも可能である。一例としては、画像を小ブロックに分割し、各小ブロックごとに、動きベクトルを求めるためのもう１枚の画像との二次元相関値を求める。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。すべての小ブロックにおいて、動きベクトルを求め、最も頻度が多い動きベクトルを、この画像間の動きベクトルとして選択する。

次に、ステップＳ４０５に進み、ステップＳ４０４にて求められた動きベクトルをもとに、画像の位置合わせのための座標変換を行なう。すなわち、動きベクトル量が（ｈ_n，ｖ_n）とすると、通常撮影時の画像の座標に対して、（Ｓ＋ｈ_n，Ｔ＋ｖ_n）を始点としてＨ×Ｖの画像の切り出しが行なわれる。次に、ステップＳ４０６にてｎ＋１コマ目の画像のゴミ補正データドレスの変換が行なわれる。ここで、ｎ＋１コマ目の画像と１コマ目の画像の動きベクトルが（ｈ_n，ｖ_n）とすると、ｎ＋１コマ目の画像において、通常撮影用におけるゴミ補正データＤｉの中心座標（ｘｉ，ｙｉ）は、図１２（ｂ）に示すように、ｎ＋１コマ目のゴミ補正データＤ’ｉ＿ｎとして、中心座標（ｘｉ−Ｓ−ｈ＿ｎ，ｙｉ−Ｔ−ｖ＿ｎ）として生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データＤ’ｉ＿ｎの半径はｒｉのままである。

次に、ステップＳ４０７にて、加算合成した画像に対するゴミ補正データの更新が行なわれる。すなわち、ステップＳ４０６でアドレス変換されたｎ＋１コマ目用のゴミ補正データＤ’_ｎと、加算合成用画像のゴミ補正データＤ’’の比較が行なわれ、Ｄ’’が更新される。具体的には、ゴミ補正データＤ’_ｎのｉ番目のゴミ補正データとゴミ補正データＤ’’のすべてのゴミ補正データに対して重なりが無いか否かの判定を行なう。すなわち、中心間の距離がゴミの半径の和以上であるか否かの判定を行なう。中心間の距離がゴミの半径の和以上である場合は、図１２（ｃ）に示す通り、Ｄ’’に含まれるゴミに対して、Ｄ’ｉ_nのゴミは重なりがないと言うことなので、ゴミ補正データＤ’’に対して、Ｄ’ｉ_ｎのゴミのアドレス情報と、半径情報を追加する。また、Ｄ’ｉ_ｎのゴミと、Ｄ’’のｋ番目のゴミの中心間の距離がゴミの半径の和以下である判定された場合は図１２（ｄ）に示す通りゴミが重なっているので、ゴミＤ’ｉ_n（ｘ’ｉ，ｙ’ｉ）の中心と、Ｄ’’のｋ番目のゴミのＤ’’ｋ（ｘ’’ｋ，ｙ’’ｋ）の中心を結んだ中間位置（（ｘ’ｉ＋ｘ’’ｋ）÷２，（ｙ’ｉ＋ｙ’’ｋ）÷２）を新たな中心座標とする。ここで、（（ｘ’ｉ＋ｘ’’ｋ）÷２，（ｙ’ｉ＋ｙ’’ｋ）÷２）が整数とならない場合は、最も近い整数を中心座標に設定する。また、追加される新たなゴミの半径ｒ’’は、次式で求められる。

ｒ’’＝（√［｛ｘ’ｉ−ｘ’’ｋ｝²＋｛ｙ’ｉ−ｙ’’ｋ｝²］＋ｒ’ｉ＋ｒ’’ｋ）÷２
このように、加算合成した画像に対するゴミ補正データＤ’’とｎ＋１コマ目のゴミ補正データＤ’_nの比較が行なわれ、Ｄ’’が更新される。

次にステップＳ４０８にてステップＳ４０５にて座標変換された画像の加算が行なわれ、画像バッファメモリ４２４上に格納される。次にステップＳ４０９に進み、カウンタｎの値が、防振用画像の合成枚数Ｎに達したか否かの判定が行なわれ、ｎに達している場合は、図１０のステップＳ３１８進む。ｎに達していない場合は、ステップＳ４０３に戻り、カウンタｎの値を１加算して、カウンタ値がＮに達するまでステップＳ４０３〜Ｓ４０９を繰り返す。

図１０のステップＳ３１８に進み、加算合成した画像をファイルに出力する。この際、画像ファイルのヘッダ領域であるＥｘｉｆ領域に図１１のステップＳ４０７で生成したゴミ補正データＤ’’を合わせて記録する。

以上により、防振モード撮影時の画像データに関して、ゴミ補正データを通常撮影時のデータと同様に単一のデータとして関連付けることが可能となる。これにより、次に説明するゴミ除去処理において、通常撮影画像であるのか、防振モード撮影時の画像データであるのかを区別することなく同様の処理にてゴミ除去処理を行なうことが可能となる。

（ゴミ除去処理）
次に、ゴミ除去処理（異物除去処理）の流れについて説明する。ゴミ除去処理は、デジタルカメラ本体ではなく、別途用意した画像処理装置上で行う。図１３は、画像処理装置のシステム構成の概略を示した図である。ＣＰＵ１００１は、システム全体の動作をコントロールし、一次記憶部１００２に格納されたプログラムの実行などを行う。一次記憶部１００２は、主にメモリであり、二次記憶部１００３に記憶されたプログラムなどを読み込んで格納する。二次記憶部１００３は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。

入力デバイス１００４とは例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス１００５とは例えば、モニタやプリンタなどが考えられる。画像処理装置には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、操作者はＧＵＩ（Graphical User Interface）を使ってこの装置上で動作するプログラムの操作が可能である。

図１４は、画像処理装置における画像編集プログラムのＧＵＩを示す図である。ウィンドウにはクローズボタン１１００とタイトルバー１１０１が備えられ、クローズボタンを押すことでプログラムを終了する。ファイルを画像表示領域１１０２にドラッグアンドドロップすることで補正対象画像を指定し、補正対象画像が決定された場合、タイトルバー１１０１にファイル名を表示した後、画像表示領域１１０２に対象画像をＦｉｔ表示する。実行ボタン１１０３を押すと、後述するゴミ除去処理を実行し、処理後の画像を画像表示領域１１０２に表示する。ステップ実行ボタン１１０４を押すと後述するゴミ除去処理のステップ実行を行い、全てのゴミ領域に対して処理が終了した時点で処理後の画像を画像表示領域１１０２に表示する。保存ボタン１１０５を押すと、処理後の画像を保存する。

画像処理装置におけるゴミ処理除去の流れを、図１５に示す。まず、デジタルカメラ内又はデジタルカメラから取り外された記録装置４１９からゴミ補正データが添付された画像データを画像処理装置に取り込んで、一次記憶部１００２又は二次記憶部１００３に記憶する（ステップＳ９０）。次に、画像データ（ゴミ除去処理を行う対象となる画像）から、ステップＳ２０８で撮影画像に付与されたゴミ補正データを抽出する（ステップＳ９１）。次に、ステップＳ９１で抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る（ステップＳ９２）。ステップＳ９３で、画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、ステップＳ９４でＤｉを次式で変換する。

Ｄｍｉ（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｍｉ＝（Ｒｉ×ｆ１／ｆ２）
ここでの単位はピクセルである。

ステップＳ９５で座標Ｄｍｉ、半径Ｒｍｉで示される領域内のゴミを検出し、補間処理を適用する。ゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。ステップＳ９６で全ての座標についてゴミ除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ９５に戻る。

このように画像に添付されているゴミ補正データによりゴミ除去が可能である。ここで、本実施形態で示したゴミ補正データの合成処理により防振撮影モード撮影時に得られた画像データにおいても、通常撮影時の画像データと同様の形式でゴミ補正データが添付されているので、防振撮影モード撮影画像に対しても前述のゴミ除去方法によりゴミ除去が可能となる。

なお、第１の実施形態では、デジタルカメラ本体にて画像合成及び、異物情報合成処理を実行したが、デジタルカメラでは、防振合成用の画像撮影のみを実施し、防振用の画像の合成及び、ゴミ補正データの合成は別途用意された画像処理装置を用いて実行する構成としても良い。

（第２の実施形態）
第１の実施形態においては、各コマの位置合わせ情報に応じて各コマのゴミ補正データを再生成し、ゴミ補正データを合成することで防振用合成画像のゴミ補正データの生成を行なった。これに対し、第２の実施形態では、ゴミ補正データの合成時にゴミ補正データの重なりの有無を判定し、その判定結果により重なりが無い箇所については、別のコマの画像データによりゴミ領域のデータを置き換えて、加算合成を行なう。これにより、ゴミ除去処理による補正痕を減らすことが可能となる。第２の実施形態に係る撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成は図１で説明した第１の実施形態の構成と同様であるので説明を省略する。第１の実施形態と、第２の実施形態の違いは、防振画像合成・ゴミ補正データの再生成のフローのみである。

図１６のフローおよび、図１７を用いて第２の実施形態における防振画像合成・ゴミ補正データの再生成について説明する。防振画像合成・ゴミ補正データ再生成の動作がスタートするとステップＳ５０１にて、加算合成画像用のゴミ補正データＤ’’の初期データが生成される。具体的には、防振用画像の最初のコマに対するゴミ補正データの生成が行なわれる。すなわち、図１２に示したように、防振画像合成時は、通常撮影時に使用される画像領域Ｐ×Ｑに対して小さいＨ×Ｖの領域を手振れ量分位置合わせして切り出しが行なわれる。したがって、通常撮影時用のゴミ補正データの中心座標（ｘ，ｙ）から防振画像の切り出しデータ用の座標変換を実施し、ゴミ補正データを生成する必要がある。ここで、防振画像の最初のコマの切り出しの始点座標を（Ｓ，Ｔ）とすると、防振用画像のゴミ補正データの中心座標は（ｘ−Ｓ，ｙ−Ｔ）に変換される。この変換式を用いて、通常撮影用のゴミ補正データＤｉの中心座標（ｘｉ，ｙｉ）が変換され、防振画像用の初期ゴミ補正データＤ’ｉ＿１の中心座標（ｘｉ−Ｓ，ｙｉ−Ｔ）が生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データＤ’ｉ＿１の半径はｒｉのままである。

次にステップＳ５０２に進み、カウンタのカウント値ｎを１にセットする。次に、スッテプＳ５０３にてカウンタのカウント値を１増加し、ステップＳ５０４に進む。ステップＳ５０４では、動きベクトル検知回路４２８により防振用画像の１コマ目とｎ＋１コマ目の画像間の動きベクトルを演算する。動きベクトルの検知方法としては様々な手法が公知であり、そのうちどのような手法を用いることも可能である。一例としては、画像を小ブロックに分割し、各小ブロックごとに、動きベクトルを求めるためのもう１枚の画像との二次元相関値を求める。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。すべての小ブロックにおいて、動きベクトルを求め、最も頻度が多い動きベクトルを、この画像間の動きベクトルとして選択する。

次に、ステップＳ５０５に進み、ステップＳ５０４にて求められた動きベクトルをもとに、画像の位置合わせのための座標変換を行なう。すなわち、動きベクトル量が（ｈ_n，ｖ_n）とすると、通常撮影時の画像の座標に対して、（Ｓ＋ｈ_n，Ｔ＋ｖ_n）を始点としてＨ×Ｖの画像の切り出しが行なわれる。次に、ステップＳ５０６にてｎ＋１コマ目の画像のゴミ補正データアドレス変換が行なわれる。ここで、ｎ＋１コマ目の画像と１コマ目の画像の動きベクトルが（ｈ_n，ｖ_n）とすると、ｎ＋１コマ目の画像において、通常撮影用におけるゴミ補正データＤｉの中心座標（ｘｉ，ｙｉ）は、図１２（ｂ）に示すように、ｎ＋１コマ目のゴミ補正データＤ’ｉ＿ｎとして、中心座標（ｘｉ−Ｓ−ｈ＿ｎ，ｙｉ−Ｔ−ｖ＿ｎ）として生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データＤ’ｉ＿ｎの半径はｒｉのままである。

次に、ステップＳ５０７にて、ステップＳ５０６でアドレス変換されたｎ＋１コマ目用のゴミ補正データＤ’_ｎと、加算合成画像のゴミ補正データＤ’’の比較が行なわれ、Ｄ’_ｎとＤ’’で重なりが無いゴミ補正データの箇所に関しては、ゴミが無い方の画像データでゴミ領域のデータを置き換える。すなわち、図１７（ａ）で示すように、加算合成用の画像のゴミＤ’’ｋとｎ＋１コマ目のゴミＤ’ｉ_ｎの重なりが無い場合は、加算合成用のゴミＤ’’ｋの領域のデータをｎ＋１コマ目のデータで置き換える。また、ｎ＋１コマ目のゴミＤ’ｉ_ｎの領域のデータを加算合成画像のデータで置き換える。この際、画像データを置き換えた加算合成用の画像のゴミＤ’’ｋとｎ＋１コマ目のゴミ補正データＤ’ｉ_ｎはゴミ領域ではなくなるので、ゴミ補正データから削除する。

次に、図１７（ｂ）で示すように、Ｄ’ｉ_nのゴミとＤ’’のｋ番目のゴミの中心間の距離がゴミの半径の和以下である場合、すなわち、ゴミが重なっていると判定された場合の処理について説明する。

ゴミが重なっていると判定された場合、図１７（ｂ）の黒塗りで示した領域、すなわち、重なっている部分を含む円の中心座標（ｘ’’，ｙ’’）、半径ｒ’’を求め、新たなゴミ補正データとして設定し、Ｄ’’を更新する。ゴミＤ’ｉ_n（ｘ’ｉ，ｙ’ｉ）の中心座標（ｘ’ｉ，ｙ’ｉ）、半径ｒ’ｉと、Ｄ’’のｋ番目のゴミのＤ’’ｋ（ｘ’’ｋ，ｙ’’ｋ）の中心座標（ｘ’’ｋ，ｙ’’ｋ）、半径ｒ’’ｋを用いると中心座標（ｘ’’，ｙ’’）、半径ｒ’’は次式により求まる。

（ｘ’’，ｙ’’）＝（[｛ｘ’’ｋ−ｘ’ｉ｝×ｄ１÷ｄ＋ｘ’ｉ], [｛ｙ’’ｋ−ｙ’ｉ｝×ｄ１÷ｄ＋ｙ’ｉ]）
ｒ’’＝√[ｒ’ ’ｋ²−ｄ１²]
ここで、ｄ１,ｄは次式で示される。

ｄ＝√[｛ｘ’ｉ−ｘ’’ｋ｝² +｛ｙ’ｉ−ｙ’’ｋ｝²]
ｄ１＝[ｄ²＋ｒ’ｉ²−ｒ’ ’ｋ²]÷（２ｄ）
また、ｎ＋１フレーム目の画像のゴミＤ’ｉ_n（ｘ’ｉ，ｙ’ｉ）領域の内、新たに設定したゴミＤ’’に含まれない領域は、加算画像ではゴミ領域ではないので、加算画像のデータにより補間をする。また、加算画像のＤ’’ｋ（ｘ’’ｋ，ｙ’’ｋ）の領域の内、新たに設定したゴミＤ’’に含まれない領域はｎ＋１フレーム目の画像ではゴミ領域ではないので、ｎ＋１コマ目のデータにより補間をする。

次にステップＳ５０８にて、ステップＳ５０５にて座標変換され、且つ、ステップＳ５０７にてゴミ補正データが重複しない領域箇所はフレーム間で補間が実行された画像の加算が行なわれ、新たな加算画像が画像バッファメモリ４２４上に格納される。

次にステップＳ５０９に進み、カウンタｎの値が防振用画像の合成枚数Ｎに達したか否かの判定が行なわれ、ｎに達していない場合は、ステップＳ５０３に進みカウンタｎの値を１加算して、カウンタ値がＮに達するまでステップＳ５０３〜Ｓ５０９を繰り返す。ｎに達している場合は、加算合成した画像をファイルに出力する。この際、画像ファイルのヘッダ領域であるＥｘｉｆ領域に図１６のステップＳ５０７で生成したゴミ補正データＤ’’を合わせて記録する。

以上により、防振モード撮影時の画像データに関して、ゴミ補正データを通常撮影時のデータと同様に単一のデータとして関連付けることが可能となる。また、ゴミ補正データの重複していない箇所はフレーム間補間によりゴミ補正データを削除することが可能となる。

これにより、ゴミ除去処理において、通常撮影画像であるのか、防振モード撮影時の画像データであるのかを区別することなく同様の処理にてゴミ除去処理を行なうことが可能となり、補正対象箇所も減少させることが可能となる。

Claims

連続して撮影された第１の画像および第２の画像を位置合わせして第３の画像を合成する画像処理装置であって、
前記第１の画像と前記第２の画像との位置ずれ情報および前記第１の画像における異物の位置および大きさで定義した第１の異物領域情報を抽出する情報抽出手段と、
前記位置ずれ情報に基づいて、前記第１の異物領域情報を変換することで前記第２の画像における異物の位置および大きさで定義した第２の異物領域情報を生成し、前記第１の異物領域情報および前記第２の異物領域情報に基づいて、前記第３の画像における異物の位置および大きさで定義した第３の異物領域情報を生成する生成手段と、を備え、
前記生成手段は、
前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重なるかどうかを判定し、
前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重ならない場合には、前記第１の異物領域情報で定義される領域に前記第２の異物領域情報で定義される領域を追加した領域を前記第３の異物領域情報として生成し、
前記第１の異物領域情報で定義される領域と、前記第２の異物領域情報で定義される領域とが重なる場合には、前記第１の異物領域情報で定義される領域と前記第２の異物領域情報で定義される領域とが包含されるように定義される領域または前記第１の異物領域情報で定義される領域と前記第２の異物領域情報で定義される領域とが重なる領域を前記第３の異物領域情報として生成することを特徴とする画像処理装置。