JP6827778B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像の位置合わせを行う画像処理装置に関するものである。

カメラなどの撮像装置からの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置を変化させて複数の画像を撮像し、各画像から合焦している領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する技術が開示されている。

複数の画像を用いて合成を行う場合、手振れなどによって生じた複数の画像間の位置ずれを補正するために、複数の画像間の位置合わせを行う必要がある。ここで、ピントがあっていない領域は、画像がぼけて像が広がっているため、このような領域を用いて位置合わせを行ってしまうと、その精度が低くなってしまう。そのため、画像間の位置合わせを精度良く行うためには、なるべく合焦状態である領域を用いて、画像間の位置合わせを行う必要がある。

そのためには、ピント位置を変化させながら撮像した複数の画像のそれぞれにおいて、どの領域が合焦状態であるかを判定する必要がある。そこで、特許文献２には、コントラストの高い領域を合焦領域とみなして、コントラスト値の高い領域を位置合わせの基準領域として複数の画像間の位置合わせを行う技術が開示されている。

特開２０１５−２１６５３２号公報 特開２００７−２７４２１３号公報

しかしながら、コントラストの高い領域が、合焦領域であるとは限らない場合がある。例えば、主たる被写体の模様が薄く、その背景の模様が濃い場合、主たる被写体にピントを合わせたとしても、合焦状態ではない背景を基準領域とする位置合わせを行ってしまう場合がある。

本発明は、上記の課題を鑑みてなされたものであり、合焦領域を正しく判定し、コントラスト値が高くてもピントが合っていないと判定した領域を位置合わせの基準領域として使わない画像処理装置を提供することを目的とする。

本発明はピント位置の異なる複数の画像のうち、前記ピント位置の差が所定量以内の２枚の前記画像に対して順次に位置合わせを行う位置合わせ手段と、前記複数の画像のそれぞれの局所領域におけるコントラスト値を取得するコントラスト値の取得手段と、前記複数の画像の少なくとも一部の画像の対応する前記局所領域において前記位置合わせの基準領域を設定する基準領域の設定手段と、を有し、前記基準領域の設定手段は、前記コントラスト値の前記ピント位置の方向での変化に基づいて前記基準領域を設定することを特徴とする画像処理装置を提供する。

本発明の画像処理装置によれば、複数の画像に対する位置合わせで合焦領域を基準領域として使おうとするとき、合焦領域を精度よく判定することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態を説明するためのフローチャートである。 本発明の実施形態における位置合わせの基準領域の設定を説明するためのフローチャートである。 本発明の実施形態におけるブロック配置を説明するための図である。 本発明の実施形態における着目ブロックのコントラスト履歴の一例を説明するための図である。 本発明の実施形態におけるブロックのコントラスト履歴とピント位置との関係を説明するための図である。 本発明の実施形態における着目ブロックの不使用条件の判断を説明するためのフローチャートである。 本発明の実施形態におけるピークの検出を説明するための図である。 本発明の実施形態における不使用条件の例を説明するための図である。 本発明の実施形態におけるブロックの番号を示すための図である。 本発明の実施形態における位置合わせを説明するためのフローチャートである。 本発明の実施形態における画像の合成を説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、ピント位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時のピント位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００に設けられたボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態を説明するためのフローチャートである。

ステップＳ２０１で、デジタルカメラ１００は、ピント位置の異なる複数の画像を取得する。具体的に、制御部１０１の指令の下で、光学系１０３に設けられる複数のレンズの相対位置を調整しながらピント位置を変え、撮像部１０４が所定数の画像を撮像する。もしくは、制御部１０１は、予め内蔵メモリに保存されているピント位置の異なる複数の画像を読み出す。

ステップＳ２０２では、制御部１０１は、位置合わせの基準領域の設定を行う。ステップＳ２０３では、画像処理部１０７は、ステップＳ２０２で設定した基準領域をもとに位置合わせを行う。ステップＳ２０４では、画像処理部１０７は、ステップＳ２０１に取得した画像に対して合成を行う。ステップＳ２０２乃至Ｓ２０４の詳細は、後述する。

図３は、ステップＳ２０２における位置合わせの基準領域の設定を説明するためのフローチャートである。

まず、画像処理部１０７は、ステップＳ３０１で、ステップＳ２０１で取得した画像に対してブロック配置を行う。図４は、本実施形態におけるブロック配置を説明するための図である。図４に示すように、画像処理部１０７は、ステップＳ２０１で取得した画像４０１に対して、所定サイズの矩形のブロック４０２を所定間隔で画像の局所領域に配置する形でブロック配置を行う。画像処理部１０７は、処理対象となるすべての画像に対して、同じブロック配置を行う。

ステップＳ３０２で、画像処理部１０７は、未処理のブロックの中から、次の一連の処理の対象となる着目ブロックを設定する。

ステップＳ３０３で、画像処理部１０７は、着目ブロックのコントラスト履歴を取得する。画像処理部１０７は、ステップＳ２０１で取得した複数の画像において、同じ位置にあるブロック（着目ブロック）のコントラスト値を取得し、そのコントラスト値と画像のピント位置との関係を着目ブロックのコントラスト履歴として取得する。

図５は、着目ブロックのコントラスト履歴の一例を説明するための図である。図５のグラフでは、横軸は画像を撮像するときのピント位置を表し、縦軸はコントラスト値を表す。なお、図５では、画像のピント位置の間隔が等しいが、これに限らず、画像のピント位置の間隔が等しくなくても、本実施形態を実施できる。

図６は、ブロックのコントラスト履歴とピント位置との関係を説明するための図である。図６（ａ）では、画像にブロック６０１と６０２とがあることを示す。制御部１０１は、以下の方法を用いて、ブロック６０１と６０２との領域が合焦しているかどうかを判断する。図６（ｂ）と図６（ｃ）は、それぞれブロック６０１と６０２とのコントラスト履歴を示す。図６（ｂ）では、ピント位置がＦ１の画像において、ブロック６０１のコントラストが最も高いことを示す。制御部１０１は、ピント位置がＦ１のとき、ブロック６０１の領域は合焦していると判断する。同様に、図６（ｃ）では、ピント位置がＦ６の画像において、ブロック６０２のコントラストが最も高いことを示す。制御部１０１は、ピント位置がＦ６のとき、ブロック６０２の領域は合焦していると判断する。ただし、制御部１０１の前述した判断は必ずしも正しいわけでなく、後述する不使用条件の判定で制御部１０１の判断が誤る可能性の高いもの（実際に合焦していないもの）を除外する。

ステップＳ３０４で、制御部１０１は、着目ブロックの不使用条件を判断する。詳細は後述する。

ステップＳ３０５で、制御部１０１は、すべてのブロックに対して不使用条件の判断の一連の処理を行ったかどうかを判断する。制御部１０１は、すべてのブロックに対して処理した場合、図３に示したフローを終了させ、すべてのブロックに対して処理していない場合、ステップＳ３０２に戻る。ステップＳ３０２で、画像処理部１０７は、改めて未処理のブロックから着目ブロックを設定する。

以下では、ステップＳ３０４での着目ブロックの不使用条件の判断を説明する。図７は、ステップＳ３０４での着目ブロックの不使用条件の判断を説明するためのフローチャートである。

ステップＳ７０１で、制御部１０１は、各々のブロックのコントラスト履歴から、ピーク（極大値）を検出する。図８は、ピークの検出を説明するための図である。図８に示したグラフは、図５に示したグラフの一部と見なしてよい。図８は、ピント位置がＰｎ−１、Ｐｎ、Ｐｎ＋１で撮像した画像の着目ブロックのコントラスト値Ｃｎ−１、Ｃｎ、Ｃｎ＋１を示している。下記の（式１）と（式２）のように、Ｐｎ両側の傾きを計算する。

ｓ＋とｓ−の両方が予め定められた所定量より大きい場合、制御部１０１は、ピント位置Ｐｎで取得した画像において、着目ブロックのコントラスト値がピークになると検出する。なお、Ｐｎの端点にあるとき（図５におけるＰ０とＰ７）、片方のみ計算すればよい。また前述した方法の変形として、下記のように隣接するピント位置でのコントラスト値の差を用いてピークを検出してもよい。
ΔＣ−＝Ｃｎ−Ｃｎ−１ ……（式３）
ΔＣ＋＝Ｃｎ−Ｃｎ＋１ ……（式４）

上記の（式３）と（式４）で算出したΔＣ＋とΔＣ−の両方が予め定められた所定量より大きい場合、制御部１０１は、ピント位置Ｐｎで取得した画像において、着目ブロックのコントラスト値がピークになると検出する。明らかに、ピント位置の間隔が等しいとき、（式３）と（式４）を用いてピークの検出と、（式１）と（式２）を用いてピークの検出とが等価である。

次に、ステップＳ７０２に進み、制御部１０１は、前述したピークの検出結果が不使用条件に該当しているかどうかについて判断する。図９は、不使用条件の例を説明するための図である。図９（ａ）は、コントラスト値のピーク値が予め定められた閾値以下の場合を示す。こうしたブロックは、ブロック内にテクスチャは存在しているものの、テクスチャ量が少なく、動きベクトルを検出するとき誤検出を招く可能性が高い。図９（ｂ）は、明確なピークが存在しない場合を示す。こうしたブロックは、ブロック内にテクスチャがほぼ存在しないブロックや、テクスチャがあっても、ピントが合う位置が存在しないブロックである。図９（ｃ）は、複数のピークが存在する場合を示す。こうしたブロックは、ブロック内に距離の異なる複数の複数の被写体が存在する可能性が高い。ピーク検出結果が不使用条件のいずれにも該当していない場合は、ステップＳ７０３に進み、制御部１０１は、該当ブロックを位置合わせに使用すると設定する。一方、ピーク検出結果が不使用条件のいずれも該当している場合は、ステップＳ７０４に進み、制御部１０１は、該ブロックを位置合わせに使用しないと設定する。

なお、上記の不使用条件は、一例にすぎず、様々な変形や組み合わせで本実施形態を実施することができる。たとえば、図９（ａ）で、ピークのコントラスト値で不使用条件を判断する代わりに、ピークの両側の傾きを計算し、その傾きと予め定められた閾値とを比較し、両側の傾きのどちらか／どちらも閾値以下の場合、不使用条件に該当すると判断する。また、図９（ｃ）で、２つのピークを検出したとき、２つのピークのコントラスト値の違いが、予め定められた所定量より小さいときのみ、不使用条件に該当すると判断する。この場合、コントラスト値の高いほうをピークと見なす。

ステップＳ７０３で、制御部１０１は、不使用条件に該当しない着目ブロックに、位置合わせに使用すると設定すると同時に、ピークを検出したときの画像のピント位置の番号を与える。たとえば、図６において、ブロック６０１および６０２でピークを検出すると仮定すると、ブロック６０１に番号１を与え、ブロック６０２に番号６を与える。図１０は、ブロックの番号を示すための図である。ブロックに書いてある番号は、ピークになるピント位置を意味する。番号が書かれていないグレーのブロックは、不使用条件に該当するブロックである。

以上は、ステップＳ３０４での着目ブロックの不使用条件の判断に関する説明であった。

以下では、ステップＳ２０３での位置合わせについて説明する。図１１は、ステップＳ２０３での位置合わせを説明するためのフローチャートである。

ステップＳ１１０１で、制御部１０１は、位置合わせの対象画像を設定する。任意の２枚の画像を用いて位置合わせを行うことができるが、好ましくは、ピント位置の順番で順次位置合わせを行う。本実施形態では、制御部１０１は、ピント位置Ｐ０とＰ１で得られた画像、ピント位置Ｐ１とＰ２で得られた画像、……、ピント位置Ｐ６とＰ７で得られた画像の順に設定する。

次に、ステップＳ１１０２で、制御部１０１は、有効ブロックの設定を行う。ここでいう有効ブロックとは、対象画像の位置合わせに用いるブロックである。制御部１０１は、ステップＳ７０３で与えた番号に基づいて、有効ブロックを設定する。本実施形態では、位置合わせの対象画像のピント位置のどちらかの番号をもつブロックを有効ブロックとして設定する。たとえば、ピント位置Ｐ０とＰ１との画像に対して位置合わせをするとき、番号０または１をもつブロックを有効ブロックとする。

次に、ステップＳ１１０３に進み、制御部１０１は、有効ブロックの総数は、予め定められた所定数以上かどうかについて判断する。ここでの所定数は、好ましく後述する画像変形のための係数の算出に必要な最低の数に設定するが、それ以上の数に設定しても本発明が実施できる。たとえば、後述する画像変形で、射影変換を用いる場合、以下の（式５）を用いて、任意の画素の座標（ｘ，ｙ）を（ｘ´，ｙ´）へ変換するとする。

（式５）では、４点の座標関係が分かれば倍率の自由度を除いて、一意に求めることができる。したがって、ここでステップＳ１１０３での所定数を４と設定する。

ステップＳ１１０３では、制御部１０１は、有効ブロックの総数が所定数以上であると判断した場合、ステップＳ１１０７に進む。一方、ステップＳ１１０３では、制御部１０１は、有効ブロックの総数が所定数以上でないと判断した場合、ステップＳ１１０４に進む。

ステップＳ１１０４で、制御部１０１は、有効ブロックの追加設定を行う。具体的に、制御部１０１は、ステップＳ１１０１で設定した位置合わせの対象画像のピント位置に隣接するピント位置の画像で位置合わせに使用と設定されたブロックを有効ブロックとして追加設定する。たとえば、制御部１０１は、ステップＳ１１０２で番号２と番号３のブロックを有効ブロックとして設定する場合、ステップＳ１１０４で番号１と番号４のブロックを追加設定することができる。次に、ステップＳ１１０５に進み、ステップＳ１１０３と同様に、制御部１０１は、有効ブロックの総数は、予め定められた所定数以上かどうかについて判断する。ステップＳ１１０５では、制御部１０１は、有効ブロックの総数が所定数以上であると判断した場合、ステップＳ１１０７に進む。一方、ステップＳ１１０５では、制御部１０１は、有効ブロックの総数が所定数以上でないと判断した場合、ステップＳ１１０６での例外処理に進む。ここでいう例外処理は、たとえば、位置合わせができない旨を表示部１０８へ表示し、処理を終了させる処理とする。

なお、以上の有効ブロックの追加設定の処理は一例にすぎず、様々な変形をすることができる。たとえば、有効ブロックの追加設定において、隣接する２つのピント位置でなく、隣接する４つのピント位置の画像で位置合わせに使用と設定されたブロックを追加してもよい。また、ステップＳ１１０５では、制御部１０１は、有効ブロックの総数が所定数以上でないと判断した場合、例外処理に進むのでなく、さらに有効ブロックの追加を行ってもよい。

ステップＳ１１０７で、制御部１０１は、有効ブロックを用いて、動きベクトルを算出する。ブロック間の位置のずれ量は、画素値の差の絶対値総和（ＳＡＤ：Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最も小さくなるように動きベクトルを求めることで算出できる。

ステップＳ１１０８で、制御部１０１は、変換係数を算出する。前述したように、射影変換を用いて、変換係数を算出することができる。また、アフィン変換などを用いても、変換係数を算出することができる。

ステップＳ１１０９で、制御部１０１は、すべての画像に対して位置合わせの対象画像として設定したかどうか判断する。すべての画像に対して位置合わせの対象画像として設定した場合、ステップＳ１１１０に進む。すべての画像に対して位置合わせの対象画像として設定していない場合、ステップＳ１１０１に戻り、新たに位置合わせの対象画像を設定する。

ステップＳ１１１０で、画像処理部１０７は、ステップＳ１１０８で算出した変換係数を用いて、画像に対して変換処理を行う。

以上は、ステップＳ２０３での位置合わせに関して説明した。

以下は、ステップＳ２０４での画像の合成について説明する。図１２は、画像の合成を説明するためのフローチャートである。

ステップＳ１２０１では、画像処理部１０７は、位置合わせを行った後の画像に対して、同じ位置にある未処理の画素を着目画素として設定する。ステップＳ１２０２では、画像処理部１０７は、各々の画像における着目画素のコントラスト値を取得する。ステップＳ１２０３では、画像処理部１０７は、各々の画像における着目画素から出力画素を選択する。本実施形態では、画像処理部は、コントラスト値の最も高い画素を出力画素として選択する。ステップＳ１２０４で、すべての画素に対して処理したかどうかを判断し、すべて処理した場合合成のフローを終了し、まだ未処理の画素があれば、ステップＳ１２０１に戻る。

また、本実施形態は、位置合わせ前の画像に対してコントラスト履歴を算出して処理を行うため、手振れ量が大きい場合は評価の精度が悪くなる。したがって、撮像時予めジャイロセンサー等で手振れ量を計測し、手振れ量が大きい場合は、コントラスト履歴の算出の前に画像シフトなどの方法で粗く位置合わせを行ってもよいものとする。

本実施形態によれば、ピント位置の異なる複数の画像に対して位置合わせを行うとき、コントラスト値が高くてもピントが合っていない領域を識別し、合焦領域の判断の精度をよくすることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。また、瞳分割信号の情報を持つ画像データがあれば、撮像部がなくても、コンピュータのプログラムによって、本発明を実施することが可能である。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (10)

1. ピント位置の異なる複数の画像のうち、前記ピント位置の差が所定量以内の２枚の前記画像に対して順次に位置合わせを行う位置合わせ手段と、
   前記複数の画像のそれぞれの局所領域におけるコントラスト値を取得するコントラスト値の取得手段と、
   前記複数の画像の少なくとも一部の画像の対応する前記局所領域において前記位置合わせの基準領域を設定する基準領域の設定手段と、を有し、
   前記基準領域の設定手段は、前記コントラスト値の前記ピント位置の方向での変化に基づいて前記基準領域を設定することを特徴とする画像処理装置。
2. 前記基準領域の設定手段は、前記局所領域が予め定められた少なくとも１つの不使用条件を満たす場合には、前記ピント位置に対する前記コントラスト値の変化が極大となる前記局所領域であっても、前記基準領域として設定しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記不使用条件の１つは、前記コントラスト値の極大値が予め定められた第１の閾値より小さいことを特徴とする請求項２に記載の画像処理装置。
4. 前記不使用条件の１つは、前記コントラスト値の極大値の両側の傾きが予め定められた第２の閾値より小さいことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記不使用条件の１つは、１つの前記局所領域に対して、２つ以上の極大値があることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記基準領域の設定手段が基準領域に設定した前記局所領域の数は、予め定められた所定数以上であることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記基準領域の設定手段は、前記基準領域に設定した前記局所領域の数は、予め定められた所定数より小さいとき、前記基準領域に設定した前記局所領域のピント位置に近い順のピント位置に合焦している前記局所領域を、前記基準領域として追加設定することを特徴とする請求項６に記載の画像処理装置。
8. 合成手段を有し、
   前記合成手段は、前記位置合わせを行った後の画像に対して合成を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. ピント位置の異なる複数の画像のうち、前記ピント位置の差が所定量以内の２枚の前記画像に対して順次に位置合わせを行う位置合わせステップと、
   前記複数の画像のそれぞれの局所領域におけるコントラスト値を取得するコントラスト値の取得ステップと、
   前記複数の画像の少なくとも一部の画像の対応する前記局所領域において前記位置合わせの基準領域を設定する基準領域の設定ステップと、を有し、
   前記基準領域の設定ステップにおいて、前記コントラスト値の前記ピント位置の方向での変化に基づいて前記基準領域を設定することを特徴とする画像処理方法。
10. 画像処理装置のコンピュータに動作させるプログラムであって、
    ピント位置の異なる複数の画像のうち、前記ピント位置の差が所定量以内の２枚の前記画像に対して順次に位置合わせを行う位置合わせステップと、
    前記複数の画像のそれぞれの局所領域におけるコントラスト値を取得するコントラスト値の取得ステップと、
    前記複数の画像の少なくとも一部の画像の対応する前記局所領域において前記位置合わせの基準領域を設定する基準領域の設定ステップと、を行わせ、
    前記基準領域の設定ステップにおいて、前記コントラスト値の前記ピント位置の方向での変化に基づいて前記基準領域を設定することを特徴とするプログラム。

Images