JP6833772B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、合焦位置の異なる複数の画像を合成する画像処理装置に関するものである。

デジタルカメラなどを用いて距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしか焦点を合わせられない場合がある。これを解決するため、特許文献１には、合焦位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の同じ位置にある領域の中で、コントラスト値の最も高い領域を合焦領域とする。

特許文献１に記載の技術を用いる合成では、画質のよい合成画像を生成するために、しばしば撮像画像の順番に関する情報を知る必要がある。たとえば、特許文献２では、深度合成において後方の被写体が前方に透過しないように、合成比率を調整する技術を開示している。特許文献２に記載の技術を正しく実施するために、被写体の前後関係を知る必要があり、つまり、撮像画像の順番を知る必要がある。

一般的、撮像画像の順番に関する情報は、撮像されるとき撮像画像と対応させて記録される。撮像画像に対して合成を行うとき、撮像画像と対応する順番に関する情報を読み出しながら合成を行う。

特開２０１５−２１６５３２号公報 特開２０１８−３７８５７号公報

しかしながら、深度合成を実施するとき、撮像画像の順番に関する情報は、正しく記録されなかったり、あるいは、失われたりすると、特許文献２に記載の方法を用いて深度合成を行えない。そのため、特許文献２に記載の方法で深度合成を行うとすると、撮像画像を正しく並べ替える（ソートする）必要である。

本発明は、上記の課題を鑑みてなされたものであり、深度合成のために撮像された画像を正しくソートできる画像処理装置を提供することを目的とする。

上記課題を解決するため、本願発明は、少なくとも一部の画角が重なる、合焦位置の異なる複数の画像と前記複数の画像のそれぞれに対応する情報を取得する取得手段と、前記情報に基づいて、前記複数の画像を合焦位置の順に並べ替えるための並べ替えの方法を決め、前記並べ替えの方法を用いて前記複数の画像を並べ替える並べ替え手段と、前記複数の画像から合焦している領域を抽出して合成を行い、合成画像を生成する合成手段と、を有し、前記情報は、少なくとも距離マップ、撮像時刻、撮像距離、ファイル名のうちのいずれかであり、前記並べ替え手段は、前記距離マップがあれば、前記距離マップを優先的に用いて前記画像を並べ替えることを特徴とする画像処理装置を提供する。

本発明の構成によれば、深度合成のために撮像された画像をソートする画像処理装置を提供することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の実施形態における位置合わせについて説明するためのフローチャートである。 本発明の実施形態におけるソートを説明するためのフローチャートである。 本発明の実施形態におけるバブルソートを説明するためのフローチャートである。 本発明の実施形態における遠近競合を説明するための図である。 本発明の実施形態における遠近競合におけるコントラスト値と合焦位置との関係を示すグラフである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。なお、本実施形態でいう合焦位置は、特に説明がない限り、光軸方向での合焦位置を指す。光学系に設けるレンズの種類次第、撮像距離を撮像するときに取得することができる。

撮像部１０４は、ＣＭＯＳセンサ等の撮像素子を有し、光学系１０３により撮像素子に結像された光学像を光電変換し、得られた画像信号を出力する。画像信号は、光学系１０３の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号として出力される。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、一対の画像データを加算して、光学系の射出瞳上の全領域を通過する光束を受光することで得られる画像信号を再構成する。さらに、画像処理部１０７は、一対の画像データから被写体の距離分布に関連する情報を取得して距離マップの生成を行うことができる。距離マップとは、例えば、画素ごとに撮像距離が記録されたデータのことである。

画像処理部１０７は、一対の画像データを加算した画像、距離マップ、後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングおよびＪＰＥＧなどの規格で圧縮処理など、様々な画像処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像、距離マップ、画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。

ステップＳ２０１で、デジタルカメラ１００が、画像の撮像を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当する合焦位置の光軸方向の前後に等間隔に複数の合焦位置を指定する。そして撮像部１０４が、指定した複数の合焦位置において撮像を行う。デジタルカメラ１００が動かずに同一画角に対して撮像するのは好ましいが、合焦位置の変動により、画角が若干変動することがある。内蔵メモリ１０９は、撮像した画像にファイル名を付けて保存するとともに、撮像した画像の関連データも画像と対応して保存する。ここでいう関連データとは、たとえば、距離マップ、画像の撮像時刻、画像を撮像したときの合焦距離などが挙げられる。ユーザの設定次第で、画像と一緒に保存する関連データが変えられるとする。

ステップＳ２０２で、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像に対して位置合わせを行う。

図３は、本実施形態における位置合わせについて説明するためのフローチャートである。

ステップＳ３０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を指定する。

ステップＳ３０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ３０１で指定した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。

ステップＳ３０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ３０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ３０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ３０５で、画像処理部１０７は、ステップＳ３０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ３０４で制御部１０１が算出した変形係数を示す。

ステップＳ３０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ３０２に戻る。

ステップＳ２０３で、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像の順番の並べ替え、つまり、ソートを行う。ソートの詳細については後述する。

ステップＳ２０４で、画像処理部１０７が合成マップを作成する。

一例として、具体的に、まず、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

つぎに、画像処理部は画像処理部１０７が、それぞれの画像の対応する領域のうち、最もコントラスト値の高い領域に１００％の合成比率を与えるような合成マップを作成する。ただし、ここでは、後述する遠近競合などの影響を考える必要がある。詳細は後述する。

ステップＳ２０５では、画像処理部１０７は、ステップＳ２０４で算出した合成マップに従い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

つぎに、ステップＳ２０３でのソートについて説明する。

図４は、本実施形態におけるソートを説明するためのフローチャートである。

ステップＳ４０１で、制御部１０１は、内蔵メモリ１０９からデータを読み出す。ここでいうデータとは、ステップＳ２０１で撮像した画像、および画像を撮像したときに保存した関連データなどである。ステップＳ４０２で、制御部１０１は記録したデータに距離マップが含まれているかどうかの判定を行う。距離マップを用いることで正確な合焦位置を推定することが可能である。距離マップが記録されている場合には、ステップＳ４０５に進み、距離マップが記録されていない場合には、ステップＳ４０３に進む。距離マップが記録されている場合、ステップＳ４０５で、制御部１０１は、距離マップに基づき、合焦位置が手前から奥になるようにソートを行い、ソートの結果を画像と対応させるように内蔵メモリ１０９に記録する。

具体的に、まず、制御部１０１は、各々の画像の合焦領域について判断する。つまり、１つの画像の画面の中で、焦点が当たっているところを判断する。たとえば、画像を撮像されるとき、ユーザは表示部１０８が兼用するタッチパネルを通じて合焦領域を指定し、合焦領域に関する情報が画像とともに記録されていれば、こうした情報を用いて合焦位置を判断すればよい。

ただし、画像を撮像されるときに合焦領域の情報が記録されなければ、画像の合焦領域の判断の方法の１つとしては、画面全体のコントラスト値を算出し、コントラスト値の最も高い所を合焦領域とする。コントラスト値は、ステップＳ２０２ですでに算出されていれば、ステップＳ２０２で算出したコントラスト値を用いればよい。次に、制御部１０１は、各々の画像の合焦領域と距離マップとを対照しながら、各々の画像の合焦位置を判断する。最後に、制御部１０１は、合焦位置の順番に画像をソートする。しかし、このような合焦領域の判断方法は精度が悪い可能性があり、使用する場合、距離マップを用いる方法自体の優先度を下げる必要が出る可能性がある。

ステップＳ４０３で制御部１０１は、詳細な撮像時刻が記録されているかどうかの判定を行う。通常、合焦位置をずらしながらの撮像を行った順序が、合成に入力する画像の順序である場合が多い。しかし、合焦位置をずらしながらの撮像は、高速に行われる場合が多く、撮像の前後が区別できない例もある。そのため区別が可能な精度の撮像時刻が必要である。詳細な撮像時刻が記録されている場合には、ステップＳ４０６に進み、距離マップが記録されていない場合には、ステップＳ４０４に進む。詳細な撮像時刻が記録されている場合、ステップＳ４０６で、制御部１０１は、詳細な撮像時刻に基づき、撮像が行われた時間の順にソートを行い、ソートの結果を画像と対応させるように内蔵メモリ１０９に記録する。撮像時刻でソートする理由として、多くの場合では、複数の画像の合焦位置を変更しながら撮像するとき、往復して合焦位置を変更することなく、一方向で合焦位置を変更している。したがって、撮像時刻の順を、合焦位置の順とみなしてよい。

詳細な撮像時刻を保持していなかった場合は、ステップＳ４０４で制御部１０１は、撮像距離情報が記録されているかどうかの判定を行う。ここでいう撮像距離は、撮像距離が記録できるレンズを使用する場合、画像を撮像するとともに記録されたものである。撮像距離情報が記録されている場合には、ステップＳ４０７に進み、撮像距離情報が記録されていない場合には、ステップＳ４０８に進む。撮像距離情報が記録されている場合、ステップＳ４０７で、制御部１０１は、撮像距離情報に基づき、撮像距離の順にソートを行い、ソートの結果を画像と対応させるように内蔵メモリ１０９に記録する。

撮像距離を保持していなかった場合は、ステップＳ４０８で制御部１０１は、ファイル名に基づき、ファイル名の順にソートを行い、ソートの結果を内蔵メモリに記録する。

なお、以上の説明では、距離マップ、撮像時刻、撮像距離、ファイル名といったようなデータを用いて、上記のような優先度でソートを行う例を示したが、利用するデータの種類と優先度は記録されているデータの種類や精度に依存する。そのため、適宜に異なるデータを組み合わせて用いることや、優先度を変更することなども考えられる。たとえば、前述したように、距離マップを使用する場合、コントラスト値を用いて合焦領域を判断すると、精度が悪くなるので、距離マップを優先的に用いないようにする。

また、ステップＳ４０５ないしＳ４０８において行う並べ替えの方法としては、バブルソート、ヒープソート、およびクイックソートなどが挙げられる。つぎに、その中の１つとして、バブルソートについて説明する。

図５は、本実施形態におけるバブルソートを説明するためのフローチャートである。

まず、ステップＳ５０１で、制御部１０１は、入力された全ての画像において並べ替え処理が行われたかどうかの判断を行う。入力された全ての画像において並べ替え処理が行われていた場合は、並べ替え処理を終了する。入力された全ての画像において並べ替え処理が行われていない場合は、ステップＳ５０２に進む。入力された順序のうち隣り合う画像について先頭から比較を行う。ここでは、２枚の隣り合う画像のうち、順序が前方にある画像を比較画像Ａ、後方にある画像を比較画像Ｂとする。ステップＳ５０２で、制御部１０１は、内蔵メモリ１０９から比較画像Ａのデータを読み込み、ステップＳ５０３で、制御部１０１は、内蔵メモリ１０９から比較画像Ｂのデータの読み込みを行う。ここでいうデータは、前述した画像の順番に関する情報である。

次に、ステップＳ５０４で、制御部１０１は、読み込まれたデータを用いて、比較画像Ａよりも比較画像Ｂの方が前方にあるかの判別を行う。ステップＳ４０４で比較画像Ｂの方が前方にあるとされた場合、ステップＳ５０５に進む。ステップＳ５０５で、制御部１０１は、比較画像Ａと比較画像Ｂのデータ交換処理を行い、順序の入れ替えを行う。ステップＳ５０４で比較画像Ａの方が前方にあるとされた場合、ステップＳ５０５に進まず、データ交換処理を行わない。最後に、隣り合う画像を１つ後ろに進めて、ステップＳ５０１の処理から再開する。これらの処理を、全ての画像に対して行うことで、合焦位置が手前側から奥側となるようにソートを行うことができる。

深度合成の画像を作成しようとすると、精度の高い合成画像を生成するために、合成に用いられる撮像画像の前後の合焦位置の関係を知る必要がある場合がある。たとえば、下記のように、後方の被写体が前方に透過してしまう遠近競合ことを防ぐ技術を実施するとき、撮像画像の順番が正しくないとき、ソートする必要がある。

図６は、遠近競合について説明するための図である。図６では、画像上の同じ位置に、カメラからの距離が異なる複数の被写体が存在しているものとする。図６（ａ）は撮像構図であり、被写体６０１が前方被写体、被写体６０２が後方被写体である。図６（ｂ）は前方被写体６０１に合焦した際の撮像画像、図６（ｃ）は後方被写体６０２に合焦した際の撮像画像、図６（ｄ）は被写体６０１と被写体６０２とが重なる領域に注目した図である。図６（ｂ）のように前方被写体６０１に合焦した場合、後方被写体６０２は前方被写体６０１に遮蔽されている。一方、図６（ｃ）のように後方被写体６０２に合焦した場合、前方被写体６０１がぼけることで後方被写体６０２が透けて見えてしてしまうことがある。合焦状態である前方被写体６０１のコントラスト値よりも、合焦状態である後方被写体６０２のコントラスト値が高い場合、深度合成を行おうとすると、図６（ｅ）に示すように後方被写体が出力されてしまうことになる。そのため、手前にある被写体の一部分が欠落した合成画像が生成されてしまう。

このような遠近競合を検出するために、一連の画像の対応する領域のコントラスト値と合焦位置の関係から、極大値を検出し、極大値から遠近競合を判断する技術が考えられる。図７は、本実施形態における遠近競合におけるコントラスト値と合焦位置との関係を示すグラフである。図７では、合焦位置の番号が２と７のところで、コントラスト値が極大になる様子を示している。合焦位置の番号が７のところで、コントラスト値が最大になるので、単純にコントラスト値が最大になるところに１００％の合成比率を与えると、前述したに、後方の合焦位置の番号が７のところにある被写体が前方に透過してしまう。このような問題を解消するために、画像処理部１０７が、合成画像を作成するとき、合焦位置の近いほうのコントラスト値の極大値を高くすることなどで、前述したように後方被写体が前方に透過しないようにする。つまり、合焦位置の番号が２のところに、１００％の合成比率を与える。

前述の方法を実施するためには、撮像画像の合焦位置の情報を正しく把握する必要がある。ステップＳ２０３で述べたソートの方法を用いないと、被写体の前後関係が取得できず、前述したような遠近競合を低減する方法を実施することができない。

また、上記の方法では、表示部１０８が、使用したソートの方法と関連データの情報とを表示するようにしてもよい。

本実施形態によれば、深度合成に用いられる撮像画像と対応して記録された情報を利用し、撮像画像の順番に関する情報が失われるときでも、撮像画像を正しく並べ替えることができる。

（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (13)

1. 少なくとも一部の画角が重なる、合焦位置の異なる複数の画像と前記複数の画像のそれぞれに対応する情報を取得する取得手段と、
   前記情報に基づいて、前記複数の画像を合焦位置の順に並べ替えるための並べ替えの方法を決め、前記並べ替えの方法を用いて前記複数の画像を並べ替える並べ替え手段と、
   前記複数の画像から合焦している領域を抽出して合成を行い、合成画像を生成する合成手段と、を有し、
   前記情報は、少なくとも距離マップ、撮像時刻、撮像距離、ファイル名のうちのいずれかであり、
   前記並べ替え手段は、前記距離マップがあれば、前記距離マップを優先的に用いて前記画像を並べ替えることを特徴とする画像処理装置。
2. 前記合成手段は、前記複数の画像の合焦位置の順に基づいて前記合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記並べ替え手段は、バブルソート、ヒープソート、およびクイックソートのいずれかを用いて前記複数の画像を並べ替えることを特徴とする請求項１または２に記載の画像処理装置。
4. 表示手段を有し、
   前記表示手段は、前記並べ替え手段が用いた並べ替えの方法を表示することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記画像のそれぞれ対応する領域のうち、最もコントラスト値の高い前記領域を抽出して前記合成を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の画像に対して位置合わせを行う位置合わせ手段を有し、
   前記対応する領域とは、前記位置合わせ手段が前記位置合わせを行った後のそれぞれの前記画像において同じ位置にある領域であることを特徴とする請求項５に記載の画像処理装置。
7. 検出手段を有し、
   前記検出手段は、前記対応する領域の前記コントラスト値を、前記並べ替え手段が並べ替えた後の前記画像の順に並ぶと、複数の極大値がある前記領域を検出することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記合成手段は、前記対応する領域のそれぞれの前記コントラスト値に基づいて合成比率を定め、前記コントラスト値の前記極大値が複数ある前記領域に、前記合焦位置の近い前記コントラスト値を有する該領域の前記合成比率をさらに高めることを特徴とする請求項７に記載の画像処理装置。
9. 前記合成手段は、前記コントラスト値の前記極大値が複数ある前記領域に、前記合焦位置の近い前記コントラスト値を有する該領域の前記合成比率を１００％と定めることを特徴とする請求項８に記載の画像処理装置。
10. 検出手段を有し、
    前記検出手段は、前記並べ替え手段が並べ替えた後の前記画像の順に基づいて、遠近競合を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
11. 少なくとも一部の画角が重なる、合焦位置の異なる複数の画像を撮像する撮像手段と、
    前記複数の画像のそれぞれに対応する情報を取得する取得手段と、
    前記情報に基づいて、前記複数の画像を合焦位置の順に並べ替えるための並べ替えの方法を決め、前記並べ替えの方法を用いて前記複数の画像を並べ替える並べ替え手段と、
    前記複数の画像から合焦している領域を抽出して合成を行い、合成画像を生成する合成手段と、を有し、
    前記情報は、少なくとも距離マップ、撮像時刻、撮像距離、ファイル名のうちのいずれかであり、
    前記並べ替え手段は、前記距離マップがあれば、前記距離マップを優先的に用いて前記画像を並べ替えることを特徴とする撮像装置。
12. 少なくとも一部の画角が重なる、合焦位置の異なる複数の画像と前記複数の画像のそれぞれに対応する情報を取得する取得ステップと、
    前記情報に基づいて、前記複数の画像を合焦位置の順に並べ替えるための並べ替えの方法を決め、前記並べ替えの方法を用いて前記複数の画像を並べ替える並べ替えステップと、
    前記複数の画像から合焦している領域を抽出して合成を行い、合成画像を生成する合成ステップと、を有し、
    前記情報は、少なくとも距離マップ、撮像時刻、撮像距離、ファイル名のうちのいずれかであり、
    前記並べ替えステップにおいては、前記距離マップがあれば、前記距離マップを優先的に用いて前記画像を並べ替えることを特徴とする画像処理方法。
13. 画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
    少なくとも一部の画角が重なる、合焦位置の異なる複数の画像と前記複数の画像のそれぞれに対応する情報を取得する取得ステップと、
    前記情報に基づいて、前記複数の画像を合焦位置の順に並べ替えるための並べ替えの方法を決め、前記並べ替えの方法を用いて前記複数の画像を並べ替える並べ替えステップと、
    前記複数の画像から合焦している領域を抽出して合成を行い、合成画像を生成する合成ステップと、を行わせ、
    前記情報は、少なくとも距離マップ、撮像時刻、撮像距離、ファイル名のうちのいずれかであり、
    前記並べ替えステップにおいては、前記距離マップがあれば、前記距離マップを優先的に用いて前記画像を並べ替えることを特徴とするコンピュータのプログラム。

Images