JP6074926B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、全体に鮮明な全焦点画像を提供することができる、画像処理装置、画像処理方法及びプログラムに関する。

従来、撮像装置は、後方から前方までの各被写体の全てに焦点を合わせた画像（以下、「全焦点画像」と呼ぶ。）を撮像する場合、超深度レンズ（通称「虫の目レンズ」）といった特殊なレンズを使用している。
しかしながら、虫の目レンズは、全長が非常に長いため、携帯に不便である。
そのため、通常のレンズを搭載した撮像装置が、一回のシャッタ操作により、同一の構図の被写体を複数のフォーカス位置でほぼ同時に撮影し、その結果得られる複数の撮像画像のデータを合成することによって、全焦点画像のデータを生成する技術が開示されている（特許文献１を参照）。

特開２００７−２８２１５２号公報

しかしながら、特許文献１に記載の技術においては、フォーカス位置によって、ピントが合っていない前景や背景に存する物の光学像が、ぼけた状態となって光学像が拡がってしまい、拡がった光学像の輪郭部分に本来存在しない偽のエッジが発生することがある。このため、合成の順番によっては、全体としてのエッジ強度が異なることになり、鮮明な全焦点画像が得にくくなる。

本発明は、このような状況に鑑みてなされたものであり、全体に鮮明な全焦点画像を提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
複数のフォーカス位置で撮影される複数の撮像画像のデータを取得する画像取得手段と、
複数の撮像画像のデータについて、フォーカス距離の遠近の順番とは異なる順番を合成の順番として決定する順番決定手段と、
前記順番決定手段により決定された順番で前記複数の撮像画像のデータを合成して全焦点画像のデータを生成する合成手段と、
前記合成手段による合成の基準となる基準画像を特定する基準画像特定手段と、
を備え、
前記順番決定手段は、前記画像取得手段により取得された各撮影画像のフォーカス位置と前記基準画像のフォーカス位置との関係に基づいて、前記合成の順番を変化させる、
ことを特徴とする。

本発明によれば、全体に鮮明な全焦点画像を提供することができる。

全焦点画像を説明するための模式図である。 本発明による全焦点画像のデータの生成手法の概念を模式的に示す図である。 合成順番変更手法の概要を模式的に説明する図である。 本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図４の撮像装置の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図５の撮像装置の機能的構成のうち、合成順番決定部及び画像合成部の機能的構成の詳細を示す機能ブロック図である。 合成順番変更手法の一例について示す模式図である。 図５の機能的構成を有する図１の撮像装置が実行する全焦点画像生成処理の流れを説明するフローチャートである。 図８の全焦点画像生成処理のうち、ステップＳ２の合成順番決定処理の詳細な流れを説明するフローチャートである。 図８の全焦点画像生成処理のうち、ステップＳ４の画像合成処理の詳細な流れについて説明するフローチャートである。 図８の全焦点画像生成処理のうち、ステップＳ５の合成画像判別処理の詳細な流れについて説明するフローチャートである。

先ず、本発明の実施形態を説明する前に、本発明により提供される全焦点画像について説明する。

図１は、全焦点画像を説明するための模式図である。

画像ｇａは、「石」の上にいる「クワガタ」に背後から近接して、当該「クワガタ」及び「石」を主要被写体として奥の背景も含めて撮影した結果として得られたものである。即ち、近接した主要被写体と、背景とを含む画像の例として、画像ｇａが図１に示されている。

画像ｇａは、通常のマクロ撮影であり、手前の主要被写体である「クワガタ」と「石」とに焦点が合っている画像である。即ち、画像ｇａにおいては、手前の主要被写体は、焦点が合っており鮮明であるが、奥背景、例えば「建物」は、焦点が合っておらず、ぼやけて不鮮明な状態となっている。

これに対して、画像ｇｂは、画像ｇａと同一の構図で撮影された複数の撮像画像が合成されることで得られた全焦点画像である。即ち、近接した主要被写体と、背景とを含む全焦点画像の例として、画像ｇｂが図１に示されている。画像ｇｂは、主要被写体である「クワガタ」及び「石」と、それらの奥の背景との両方に焦点が合った画像である。画像ｇｂは、被写界深度が深く、手前の主要被写体は大きく鮮明に撮れることを可能としながらも背景にも焦点が合う「虫の目レンズ」で撮影した場合のような画像となる。

画像ｇｃは、地面にある主要被写体である「花びら」と「石」と同一の視点となる地面付近から撮影して得たものである。即ち、手前には主要被写体である「石」があり、手前から奥の広い範囲で主要被写体である「花びら」が敷き詰められている構図で撮影された画像の例として、画像ｇｃが図１に示されている。

画像ｇｃは、通常の撮影を行ったものであり、遠くの主要被写体である「花びら」や「建物」に焦点が合って、手前の主要被写体である「花びら」と「石」には焦点が合っていない画像となる。

これに対して、画像ｇｄは、画像ｇｃと同一の構図で撮影された複数の撮像画像が合成されることで得られた全焦点画像である。即ち、手前の主要被写体である「石」と、手前から奥の広い範囲で主要被写体である「花びら」が敷き詰められている構図の全焦点画像の例として、画像ｇｄが図１に示されている。

画像ｇｄは、手前の主要被写体である「石」や「花びら」から、奥に敷き詰められた主要被写体である「花びら」や「建物」全てに焦点が合った画像である。画像ｇｄは、撮影において被写界深度を深くすることによって、近距離から遠距離まで焦点を合わせる、いわゆる「パンフォーカス」でも得ることができない被写界深度以上の画像となる。

また、他の全焦点画像の例としては、例えば、手前側にサイズの小さい主要被写体を、遠近を利用して、遠くのサイズの大きな主要被写体とほぼ同一の縮尺になるような構図で撮影した場合、通常の画像とは異なる効果を創出する。
具体的には、遠くの主要被写体である「建物」が手前の主要被写体である「模型」よりも小さくなるような構図で撮影した場合が挙げられる。

このような構図で撮像された画像は、通常の画像の場合、手前の主要被写体である「模型」に焦点が合って、主要被写体である「模型」の遠くの主要被写体である「建物」には焦点が合っていない画像となる。このような画像は、手前の「模型」だけが鮮明に見えてしまうために、手前の主要被写体である「模型」であることがわかる画像となってしまう。

これに対して、同一の構図の全焦点画像は、手前の主要被写体である「模型」と、遠くの主要被写体の「建物」とに焦点が合っており、トリックアートのような実際のサイズとは異なる見え方の画像となる。即ち、このような全焦点画像は、手前のサイズの小さな主要被写体である「模型」が遠くのサイズの大きい主要被写体である「建物」よりも大きく見えるかのような錯覚を起こさせる画像となる。

以上説明したような、例えば、虫の目レンズで撮影したような画像、超深度パンフォーカス以上の被写界深度となる画像、トリックアートのような画像等の画像の効果を創出することができる全焦点画像は、後述する本発明の実施形態を適用することで、特殊なレンズ等を用いることなく容易に提供することができる。

次に、図２及び図３を参照して、本発明の概要について説明する。
ここで、撮像装置１により撮像された画像そのものを、全焦点画像と区別すべく、「撮像画像」と呼ぶ。

図２は、本発明による全焦点画像のデータの生成手法の概念を模式的に示す図である。
後述するように、本発明の一実施形態として撮像装置１が存在する。この撮像装置１は、同一の構図で焦点をずらしながらｎ回（ｎは、２以上の整数値）撮像をする。これにより、複数枚の撮像画像Ｐ１，・・・，Ｐｎの各データが得られることになる。そこで、撮像装置１は、これらの複数枚の撮像画像Ｐ１，・・・，Ｐｎの各データを合成することで、全焦点画像Ｐｇのデータを生成する。

ここで、全焦点画像Ｐｇのデータは、複数枚の撮像画像Ｐ１，・・・，Ｐｎを撮像順に合成して生成する従来の手法を適用しても得られる。
しかしながら、このような従来の手法を適用すると、偽エッジがある画像の領域を合成してしまう可能性があり、全焦点画像Ｐｇとして、全体としてエッジが効いていない不鮮明な画像、即ち、全被写体に焦点が合っていない画像のデータが得られてしまうおそれがある。
そこで、本発明が適用された撮像装置１には、複数枚の撮像画像Ｐ１，・・・，Ｐｎを合成するにあたり、その合成順番を、撮影順ではなく、全被写体に焦点が合うような順番に変更する手法（以下、「合成順番変更手法」と呼ぶ。）が適用されている。

図３は、合成順番変更手法の概要を模式的に説明する図である。
図３において、正方形は、撮像装置１により撮像された１枚の画像を示している。ここで、画像内のアルファベットは、被写体を示すものではなく、撮影の順番（撮像順）を示す符号を示している。そして、図３中上方から下方に向かって、処理が実行されていくものとする。
即ち、図３の最上部は、撮像装置１が撮像画像Ａ，Ｂ，Ｃ・・・をその順番で撮像し終えた段階の状態を示している。

撮像装置１は、複数枚の撮像画像Ａ，Ｂ，Ｃ・・・の各データを、図３に示すように、撮像順とは異なる順番に並び替えながら逐次合成していくことで、全焦点画像（図３中最下部において、「ＡＣＤＢ」と描画された画像）のデータを生成する。
このようにして得られる全焦点画像は、偽エッジがある領域が合成されたエッジの効いていない従来の全焦点画像とは異なり、全ての被写体に焦点が合った全焦点画像となる。

複数枚の撮像画像のデータの並び替えの決定手法は、各撮影画素のフォーカス距離の遠近の順番及び撮像順のいずれとも異なる条件で決定することを特徴としており、本実施形態では次の手法が適用されている。即ち、先ず、複数の撮像画像のデータの中から、合成の基準となる画像（以下、「基準画像」と呼ぶ。）のデータが決定される。そして、それ以外の撮像画像のデータの各々と、基準画像とのフォーカス位置の違いに基づいて、合成順番が決定される。
このような順番で合成することにより基準画像においてフォーカスがあっている主要被写体のエッジ強度の低下を防ぐことができる。
本手法のさらなる詳細、特に合成順番の決定とフォーカス位置との関係については、後述する。

具体的には例えば、図３の例でいえば、撮像順で並べられた、撮像画像Ａ，Ｂ，Ｃ，Ｄの画像群は、本手法に従って、撮像画像Ａ，Ｃ，Ｄ，Ｂの順の画像群に並び替えられる。
そして、並び替えられた撮像画像のデータは、逐次合成されてゆく。ここで、「逐次合成」とは、画像群における全ての撮像画像のデータが同時に合成されるのではなく、画像群における一部の撮像画像のデータ同士が合成された後、合成画像のデータと、残りの一部の撮像画像のデータ同士が合成されるといった処理が繰り返されることで、複数の撮像画像のデータが順を追って次々に合成されていくことをいう。
具体的には例えば、図３の例でいえば、逐次合成として次のような一連の処理が実行される。即ち、撮像画像Ａ，Ｃ，Ｄ，Ｂの順に並び替えられた画像群のうち、まず、撮像画像Ａと撮像画像Ｃとの各データが合成されて、合成画像ＡＣのデータが生成される。次に、この合成画像ＡＣと、合成画像Ｄとの各データが合成されて、画像ＡＣＤのデータが生成される。最後に、この合成画像ＡＣＤＢと撮像画像Ｂとが合成されて、全焦点画像としての合成画像ＡＣＤＢのデータが生成される。

以上説明したような本手法を適用することで、合成対象となる撮像画像の全てのデータを一括してメモリに展開する必要がなくなるので、メモリの記憶容量の削減が可能となる。また、本手法を適用することで、撮像画像の各データの逐次合成が行われて、その結果、徐々にエッジ部分が拡張するように合成画像が生成される。これにより、合成画像の位置合わせの精度や偽エッジのない領域の合成の頻度を、従来のように同時に全画像のデータを合成した場合と比較して、高めることができる。
以下、このような本手法が適用された撮像装置１、即ち、本発明の一実施形態に係る撮像装置１について、図４以降の図面を参照して説明する。

図４は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、光学レンズ部４１と、イメージセンサ４２と、レンズ駆動部４３と、を備えている。

光学レンズ部４１は、被写体を撮影するために、フォーカスレンズやズームレンズ等の各種レンズで構成される。
フォーカスレンズは、後述のレンズ駆動部４３によって駆動され、後述のイメージセンサ４２の受光面に被写体の像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

イメージセンサ４２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部４１から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。ＡＦＥは、各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号が撮像画像のデータとなる。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。また、撮像画像のデータには、メタデータとして、撮像された順番の情報と、撮像された時点におけるフォーカス位置の情報とが付加される。なお、以下、特に断りのない限り、メタデータが付加された撮像画像のデータを、単に「撮像画像のデータ」と呼ぶ。

レンズ駆動部４３は、ＣＰＵ１１によるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理の結果に基づいて、光学レンズ部４１のフォーカスレンズを駆動させ、フォーカス位置を変化させることで所定の被写体に合焦させる。
このようなフォーカスの機構を有する撮像装置１では、撮影最短距離側方向、即ち、手前側の被写体に焦点を合わせての撮影と、無限遠方向、即ち、ピント調節が不要となるほどの遠い距離の対象を被写体とする撮影とが可能である。
また、レンズ駆動部４３は、フォーカス位置を、ＡＦ処理によって決定された位置から変化させながら、順次フォーカス位置の異なる撮像を行う後述する「フォーカスブラケティング撮影」が可能となるように駆動する。具体的には、レンズ駆動部４３は、例えば、フォーカス位置を、ＡＦ処理によって決定された位置から最短距離側に移動させた後、無限遠側に移動させるように、フォーカスレンズを駆動することができる。また、レンズ駆動部４３は、フォーカス位置を、決定された位置から無限遠側に移動させた後、最短距離側に移動させるように、フォーカスレンズを駆動することができる。また、レンズ駆動部４３は、決定されたフォーカス位置から最短距離側又は無限遠側のうちフォーカスレンズの移動量（レンズ駆動部４３の駆動量）が少ない方を優先した順番で撮像するように駆動することができる。また、レンズ駆動部４３は、決定されたフォーカス位置から無限遠、その他の位置の順番で撮影することができる。つまり、レンズ駆動部４３は、設定したフォーカス位置となるように順次駆動することができる。

入力部１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

次に、撮像装置１の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成について説明する。
「全焦点画像生成処理」とは、焦点の異なる複数枚の撮像画像のデータを合成して全焦点画像のデータを生成して出力するまでの一連の処理をいう。
図５は、撮像装置１の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成を示す機能ブロック図である。

撮像装置１が全焦点画像生成処理を実行する場合には、ＣＰＵ１１において、撮像制御部５１と、撮像画像取得部５２と、合成順番決定部５３と、画像合成部５４と、出力制御部５５と、が機能する。
また、記憶部１９の一領域として、撮像画像記憶部７１と、合成画像記憶部７２と、が設けられる。
撮像画像記憶部７１は、撮像部１６から出力された撮像画像のデータを記憶する。
合成画像記憶部７２は、画像合成部５４により合成された全焦点画像のデータを記憶する。

撮像制御部５１は、入力部１７からの撮像に係る指示に基づいて、レンズ駆動部４３等を含む撮像部１６での撮像を制御する。具体的には、撮像制御部５１は、フォーカスブラケティング撮影を行うようにレンズ駆動部４３等を含む撮像部１６を制御する。
「フォーカスブラケティング撮影」とは、入力部１７のレリーズボタンを一回押すだけで、任意の被写体に焦点が合った位置（所定のフォーカス位置）と、レンズ駆動部４３を駆動調整してその前後に焦点をずらした位置（所定のフォーカス位置からずらしたフォーカス位置）との各々で複数枚の撮像画像を連写する手法である。

撮像画像取得部５２は、撮像部１６から出力された撮像画像のデータを取得する。
具体的には、撮像画像取得部５２は、フォーカスブラケティング撮影により撮像部１６から順次出力されてくる複数の撮像画像のデータ、即ちユーザが任意に決定した主要被写体に焦点が合った位置で撮像された撮像画像（以下、「主要被写体合焦画像」と呼ぶ。）のデータと、当該位置から前後の位置に焦点をずらして撮像された複数枚の撮像画像のデータとを取得する。
本実施形態においては、撮像画像取得部５２は、１枚の主要被写体合焦画像と、当該位置から前後の４つの位置にそれぞれ焦点位置をずらして撮像された４枚の撮像画像との合計５枚の撮像画像のデータを取得する。
この場合、撮像画像取得部５２は、複数の撮像画像のデータを撮像順に記憶されるように撮像画像記憶部７１に出力する。

合成順番決定部５３は、撮像画像取得部５２によって取得された複数の撮像画像のデータに基づいて、合成順番決定処理を実行する。
「合成順番決定処理」とは、精度の高い全焦点画像のデータを生成するために、取得された複数の撮像画像のデータについての撮像順番及びフォーカス位置に基づいて、合成の順番を決定する一連の処理である。
また、合成順番決定部５３は、合成の順番として最も早い順番の撮像画像のデータを基準画像のデータとして決定する。

画像合成部５４は、合成順番決定部５３により決定された合成の順番に従って、撮像画像取得部５２によって取得された複数の撮像画像のデータを逐次合成する。具体的には、画像合成部５４は、１枚の撮像画像のデータと１枚の撮像画像のデータを合成し、その結果生成される合成画像のデータに対して別の１枚の撮像画像のデータをさらに合成する処理を繰り返すことで、全焦点画像のデータを生成する。画像合成部５４は、全焦点画像のデータを合成画像記憶部７２に記憶させる。
画像合成部５４は、逐次合成している最中に、撮像画像のデータが合成に適したデータであるか否か、即ち、全焦点画像のデータを生成するのに適しているか否かを判別し、不適切な撮像画像のデータを逐次合成の対象から除外するようにする。
また、画像合成部５４は、全焦点画像のデータを生成した後、当該全焦点画像が適切であるか否かを判別して、不適切であれば、全焦点画像のデータとして合成画像記憶部７２への記憶を禁止する。
画像合成部５４での具体的なデータの適否の判別については、後述する。

出力制御部５５は、画像合成部５４により生成された全焦点画像のデータを出力部１８から表示出力するように制御する。
詳細には、出力制御部５５は、全焦点画像のデータとして適していると画像合成部５４により判別された場合には、合成画像記憶部７２に記憶される全焦点画像のデータを読み出して、当該全焦点画像を出力部１８の表示部に表示させるように制御する。
なお、画像合成部５４により生成された全焦点画像のデータが不適切のため合成画像記憶部７２への記憶が禁止された場合、出力制御部５５は、撮像画像記憶部７１に記憶された複数の撮像画像のデータのうちの所定の１つ、例えば基準画像のデータを出力部１８から表示出力させるように制御する。

さらに以下、合成順番決定部５３及び画像合成部５４の機能的構成の詳細について説明する。
図６は、図５の撮像装置１の機能的構成のうち、合成順番決定部５３及び画像合成部５４の機能的構成の詳細を示す機能ブロック図である。

合成順番決定処理が実行される場合には、ＣＰＵ１１の合成順番決定部５３において、第１順番決定部９１と、第２順番決定部９２と、第３順番決定部９３と、第４順番決定部９４と、が機能する。

第１順番決定部９１は、取得した複数の撮像画像のデータにおいて第１の順番を決定する。
「第１の順番」とは、ユーザが任意に決定したフォーカス位置で撮像した撮像画像のデータ、即ち主要被写体合焦画像のデータに対して決定される順番である。ここで、第Ｋの順番（Ｋは、１以上の整数値であり、ここでは１乃至４のうちのいずれかの整数値）とは、Ｋ番目に合成される撮像画像のグループであって、このグループ内の複数画像の合成順番を含む順番である。
本実施形態においては、撮像装置１はオートフォーカスで撮像するために、第１順番決定部９１は、最初に撮像された撮像画像（主要被写体合焦画像）のデータに対して、画像合成の第１の順番を決定する。なお、ユーザが入力部１７（図４）を操作してマニュアルでフォーカスを合わせる場合には、主要被写体合焦画像のデータはユーザが任意で決定したものであり、当該データが第１の順番となる。

第２順番決定部９２は、取得した複数の撮像画像のデータにおいて第２の順番を決定する。
「第２の順番」とは、第１の順番で決定された主要被写体合焦画像のデータよりも手前に焦点が合っている複数又は単数の撮像画像のデータに対して決定される順番である。即ち、「第２の順番」は、フォーカス位置の値が第１の順番で決定された主要被写体合焦画像のデータよりも高い（近い）撮像画像のデータに対して決定される順番である。
第２順番決定部９２は、第２の順番として決定された画像のデータに対して、第１の順番の主要被写体合焦画像の焦点に近い順に、２番目以降の順番を決定する。

第３順番決定部９３は、取得した複数の撮像画像のデータにおいて第３の順番を決定する。
「第３の順番」とは、第１の順番で決定された主要被写体合焦画像のデータよりも奥に焦点が合っている複数又は単数の撮像画像のデータに対して決定される順番である。即ち、「第３の順番」は、フォーカス位置の値が第１の順番で決定された撮像画像のデータよりも低い（遠い）撮像画像のデータに対して決定される順番である。
第３順番決定部９３は、第３の順番として決定された撮像画像のデータに対して、第１の順番の画像の焦点に近い順に、第２の順番で決定された順番以降の順番を決定する。第３順番決定部９３は、例えば、第２の順番で決定された順番が３番目であった場合には、３番目以降の順番を決定する。

第４順番決定部９４は、取得した複数の撮像画像のデータにおいて第４の順番を決定する。
「第４の順番」とは、取得した複数の撮像画像のデータのうち、無限遠で撮像された撮像画像に決定される順番である。即ち、「第４の順番」は、フォーカス位置の値が最も低い（最も遠い）撮像画像のデータに決定される順番である。第４順番決定部９４は、例えば、第３の順番で決定された順番が６番目であった場合には、最後に合成する７番目の順番を決定する。

次に、合成順番変更手法の具体例について説明する。
図７は、合成順番変更手法の一例について示す模式図である。
図７の例では、撮像装置１は、まず、オートフォーカスにて１枚の撮像画像を撮像し、その後、異なるフォーカス位置で６枚の撮像画像の撮像を行うことで、合計７枚の撮像画像を撮像するものとする。
この場合、撮像画像のデータに対しては、撮像順に合わせて、撮像画像Ｉｍｇ＿ｃａｐｔ［０］乃至Ｉｍｇ＿ｃａｐｔ［６］の名前の各々が付される。
ここで、各撮像画像のデータのフォーカス位置は、それぞれ次の通りになる。即ち、撮像画像Ｉｍｇ＿ｃａｐｔ［０］の場合にはフォーカス位置は「４０」となる。撮像画像Ｉｍｇ＿ｃａｐｔ［１］の場合にはフォーカス位置は「２０」となり、撮像画像Ｉｍｇ＿ｃａｐｔ［２］の場合にはフォーカス位置は「３０」となり、撮像画像Ｉｍｇ＿ｃａｐｔ［３］の場合にはフォーカス位置は「０」となり、撮像画像Ｉｍｇ＿ｃａｐｔ［４］の場合にはフォーカス位置は「５０」となり、撮像画像Ｉｍｇ＿ｃａｐｔ［５］の場合にはフォーカス位置は「７０」となり、撮像画像Ｉｍｇ＿ｃａｐｔ［６］の場合にはフォーカス位置は「９０」となる。
フォーカス位置の値は、最も手前に焦点が合っている場合にはフォーカス位置は「１００」、徐々に奥に焦点が合うに従って値は下がり、最終的に無限遠となるとフォーカス位置は「０」となる。
このような撮像画像Ｉｍｇ＿ｃａｐｔ［０］乃至Ｉｍｇ＿ｃａｐｔ［６］のデータに対して、合成順番決定部５３は、合成順番の決定を行う。

第１順番決定部９１は、撮像順番が最も早い撮像画像Ｉｍｇ＿ｃａｐｔ［０］のデータを第１の順番（１番目）として決定する。

第２順番決定部９２は、第１の順番の撮像画像Ｉｍｇ＿ｃａｐｔ［０］のフォーカス位置「４０」よりもフォーカス位置の値が高い（近い）撮像画像のデータを、第２の順番として決定する。即ち、図７の例では、第２順番決定部９２は、撮像画像Ｉｍｇ＿ｃａｐｔ［４］（フォーカス位置「５０」），撮像画像Ｉｍｇ＿ｃａｐｔ［５］（フォーカス位置「７０」），撮像画像Ｉｍｇ＿ｃａｐｔ［６］（フォーカス位置「９０」）の各データをそれぞれ第２の順番とする。そして、第２順番決定部９２は、第２の順番の複数の撮像画像のデータの個別順番として、第１の順番の撮像画像Ｉｍｇ＿ｃａｐｔ［０］のフォーカス位置「４０」に対してフォーカス位置の値が近い順に、順番を決定する。即ち、第２順番決定部９２は、撮像画像Ｉｍｇ＿ｃａｐｔ［４］（フォーカス位置「５０」）のデータを２番目とし，撮像画像Ｉｍｇ＿ｃａｐｔ［５］（フォーカス位置「７０」）のデータを３番目とし、撮像画像Ｉｍｇ＿ｃａｐｔ［６］（フォーカス位置「９０」）のデータを４番目とするように、それぞれ順番を決定する。

第３順番決定部９３は、第１の順番の撮像画像Ｉｍｇ＿ｃａｐｔ［０］（フォーカス位置「４０」）のデータよりもフォーカス位置の値が低い（遠い）撮像画像のデータを、第３の順番として決定する。即ち、図７の例では、第３順番決定部９３は、撮像画像Ｉｍｇ＿ｃａｐｔ［１］（フォーカス位置「２０」），撮像画像Ｉｍｇ＿ｃａｐｔ［２］（フォーカス位置「３０」）の各データをそれぞれ第３の順番とする。そして、第３順番決定部９３は、第３の順番の複数の撮像画像のデータの個別順番として、第１の順番の撮像画像Ｉｍｇ＿ｃａｐｔ［０］のフォーカス位置「４０」に対してフォーカス位置の値が近い順に、順番を決定する。即ち、第３順番決定部９３は、撮像画像Ｉｍｇ＿ｃａｐｔ［２］（フォーカス位置「３０」）のデータを５番目とし，撮像画像Ｉｍｇ＿ｃａｐｔ［１］（フォーカス位置「２０」）のデータを６番目とするように、それぞれ順番を決定する。

第４順番決定部９４は、最も遠い無限遠となる撮像画像Ｉｍｇ＿ｃａｐｔ［１］（フォーカス位置「０」）のデータを第４の順番として決定する。第４順番決定部９４は、撮像画像Ｉｍｇ＿ｃａｐｔ［１］のデータを７番目とする。

図６に戻り、撮像装置１が画像合成処理を実行する場合には、ＣＰＵ１１の画像合成部５４において、位置合わせ部１１１と、合成ＭＡＰ作成部１１２と、αブレンド部１１３と、合成画像判別部１１４と、判別結果出力部１１５と、が機能する。

位置合わせ部１１１は、合成順番決定部５３により決定された合成順番に対応させて、合成対象の撮像画像の各データの位置合わせを行う。
具体的には、先ず、位置合わせ部１１１は、合成順番決定部５３により１番目に決定された主要被写体合焦画像である撮像画像と、２番目の撮像画像との各データの位置合わせを行う。その際、位置合わせ部１１１は、合成時の位置ずれが予め設定されている閾値を超えているか否かを判別することで合成が成功したか否かを判別する。また、位置合わせ部１１１は、位置合わせができない場合には、次の順番の撮像画像のデータを用いて位置合わせを行う。

合成ＭＡＰ作成部１１２は、位置合わせをした撮像画像又は合成画像の各データのエッジ強度の分布から合成ＭＡＰを作成する。本実施形態では、合成ＭＡＰとして、撮像画像の被写界深度を分布化した、いわゆるデプスマップが採用される。
具体的には、合成ＭＡＰ作成部１１２は、合成順番決定部５３により１番目に決定された主要被写体合焦画像である撮像画像と、位置合わせをした撮像画像の各データのエッジ強度の分布から合成ＭＡＰを作成する。その際、合成ＭＡＰ作成部１１２は、合成ＭＡＰから動体の有無を合成する面積等を判別して、合成の適否を判別する。具体的には、合成ＭＡＰ作成部１１２は、動体がある場合や合成する面積が極端に少ない等の場合には、合成ＭＡＰの生成対象となった撮像画像又は合成画像を次の合成対象として採用せずに、位置合わせ部１１１に通知する。すると、位置合わせ部１１１は、次の順番の撮像画像の位置合わせを再度行うので、合成ＭＡＰ作成部１１２は、再度合成ＭＡＰを作製する。

αブレンド部１１３は、合成の元となる撮像画像又は合成画像と、位置合わせされた撮像画像との各データを、それらの合成ＭＡＰに基づいて求められる係数（アルファ値）に従って半透明合成する、いわゆるαブレンドを行う。
具体的には、αブレンド部１１３は、合成順番決定部５３により１番目に決定された主要被写体合焦画像である撮像画像と、位置合わせをした撮像画像の各データについてαブレンドを行うことにより、合成画像のデータを生成する。

その後、前回生成された合成画像のデータと、次の順番の撮像画像のデータとが合成対象となり、位置合わせ部１１１と、合成ＭＡＰ作成部１１２と、αブレンド部１１３との各々の上述した処理がその順番に実行され、新たな合成画像のデータが生成される。
即ち、位置合わせ部１１１と、合成ＭＡＰ作成部１１２と、αブレンド部１１３との各々の上述した処理を一連の処理として、当該一連の処理が繰り返し実行されることで逐次合成が行われる。

合成画像判別部１１４は、逐次合成の結果として最終的に生成された全焦点画像のデータが適切であるか否かについての判別を行う。本実施形態においては、合成画像判別部１１４は、無限遠の撮像画像が合成されたか否かと、所定の枚数以上の枚数で合成画像が構成されているか否かに基づいて当該判別を行う。
判別結果出力部１１５は、合成画像判別部１１４による画像合成の適否の判別結果を出力する。

次に、このような機能的構成を有する撮像装置１が実行する全焦点画像生成処理の流れについて説明する。
図８は、図５の機能的構成を有する図４の撮像装置１が実行する全焦点画像生成処理の流れを説明するフローチャートである。
全焦点画像生成処理とは、フォーカス位置の異なる複数枚の撮像画像のデータから全焦点画像のデータを生成するまでの一連の処理である。
全焦点画像生成処理は、ユーザが入力部１７を用いて全焦点画像生成処理を実行する所定の操作をした場合、その操作を契機として開始される。

ステップＳ１において、撮像制御部５１は、撮像部１６を制御して撮像処理（フォーカスブラケティング撮影）を行う。即ち、撮像制御部５１は、異なるフォーカス位置で撮像部１６がそれぞれ複数枚の撮像画像を撮像するように制御する。撮像画像取得部５２は、撮像部１６から逐次出力される複数枚の撮像画像のデータを順次取得して撮像画像記憶部７１に記憶させる。本実施形態においては、撮像画像取得部５２は、ユーザが任意に決定した被写体に焦点が合った位置で撮像された撮像画像を１枚と、焦点が合った位置から前後の位置に焦点位置をずらして撮像された複数枚の撮像画像を６枚の合計７枚の撮像画像のデータを順次取得することになる。

ステップＳ２において、合成順番決定部５３は、合成順番決定処理を行う。
「合成順番決定処理」とは、ステップＳ１において撮像された撮像画像のデータ群に対して、撮像画像の合成する順番を決定する一連の処理である。

ステップＳ３において、合成順番決定部５３は、基準画像として出力画像格納メモリであるＩｍｇ＿ｏｕｔにコピーする。詳細には、合成順番決定部５３は、ユーザが任意に決定した被写体に焦点が合った位置で撮像された撮像画像（主要被写体合焦画像）を基準画像として決定すると共に、当該基準画像のデータを複製したものを所定の出力画像格納メモリ（本実施形態においては、Ｉｍｇ＿ｏｕｔ）に格納する。

ステップＳ４において、画像合成部５４は、画像合成処理を行う。
「画像合成処理」とは、ステップＳ２の合成順番決定処理で決定された合成順番に基づいて、撮像画像の各データの逐次合成を行って、合成画像のデータを生成するまでの一連の処理である。

ステップＳ５において、合成画像判別部１１４は、合成画像判別処理を行う。
「合成画像判別処理」とは、ステップＳ４の画像合成処理で生成された全焦点画像のデータが適切なものであるか否かを判別する一連の処理である。

ステップＳ６において、出力制御部５５は、合成が成功したか否かを判断する。詳細には、出力制御部５５は、ステップＳ５の合成画像判別処理で撮像画像の各データの合成が成功したか否かを判断する。
撮像画像の各データの合成が失敗したと判断された場合には、ステップＳ６において、ＮＯであると判断されて、処理はステップＳ７に進む。
ステップＳ７において、出力制御部５５は、出力画像の設定を行う。詳細には、出力制御部５５は、ステップＳ５において撮像画像の各データの合成が失敗したと判断されたため、全焦点画像のデータが適切なものではないので、その代わりとして基準画像を表示対象に設定する。これにより、処理はステップＳ８に進む。
これに対して、撮像画像の合成が成功したと判断された場合には、ステップＳ６において、ＹＥＳであると判断されて、処理はステップＳ８に進む。
ステップＳ８において、出力制御部５５は、出力画像のデータを出力部１８から表示出力させる。

次に、図８の全焦点画像生成処理のうち、ステップＳ２の合成順番決定処理の詳細な流れを説明する。
図９は、図８の全焦点画像生成処理のうち、ステップＳ２の合成順番決定処理の詳細な流れを説明するフローチャートである。

ステップＳ２１において、第１順番決定部９１は、撮影順番及びフォーカス位置の情報に基づいて、画像合成における第１の順番を決定する。
図７の例に示すように、第１順番決定部９１は、撮像順番が１番目のＩｍｇ＿ｃａｐｔ［０］を第１の順番の画像として決定する。

ステップＳ２２において、第２順番決定部９２は、撮影順番及びフォーカス位置の情報に基づいて、画像合成における第２の順番を決定する。
図７の例に示すように、第２順番決定部９２は、Ｉｍｇ＿ｃａｐｔ［４］（フォーカス位置「５０」）を２番目とし，Ｉｍｇ＿ｃａｐｔ［５］（フォーカス位置「７０」）を３番目とし、Ｉｍｇ＿ｃａｐｔ［６］（フォーカス位置「９０」）を４番目とする。

ステップＳ２３において、第３順番決定部９３は、撮影順番及びフォーカス位置の情報に基づいて、画像合成における第３の順番を決定する。
図７の例に示すように、第３順番決定部９３は、Ｉｍｇ＿ｃａｐｔ［２］（フォーカス位置「３０」）を５番目とし，Ｉｍｇ＿ｃａｐｔ［１］（フォーカス位置「２０」）を６番目とする。

ステップＳ２４において、第４順番決定部９４は、撮影順番及びフォーカス位置の情報に基づいて、画像合成における第４の順番を決定する。
図７の例に示すように、第４順番決定部９４は、Ｉｍｇ＿ｃａｐｔ［３］を７番目とする。
その後、合成順番決定処理は終了する。

次に、図８の全焦点画像生成処理のうち、ステップＳ４の画像合成処理の詳細な流れについて説明する。
図１０は、図８の全焦点画像生成処理のうち、ステップＳ４の画像合成処理の詳細な流れについて説明するフローチャートである。

ステップＳ５１において、画像合成部５４は、合成する順番の画像（Ｉｍｇ［ｉ］）を所定のメモリ領域に現像する。

ステップＳ５２において、位置合わせ部１１１は、出力画像格納メモリ（Ｉｍｇ＿ｏｕｔ）に展開された基準画像（または、合成画像）と、合成する順番の画像（Ｉｍｇ［ｉ］）とで位置合わせを行う。
つまり、各画像の画素毎の特徴点を算出し、この特徴点を利用して位置合わせを行う。なお、画素からの特徴点を算出する具体的な方法については周知であるため省略する。

ステップＳ５３において、位置合わせ部１１１は、基準画像（または、合成された画像）と、合成する順番の画像（Ｉｍｇ［ｉ］）とで位置合わせが成功したか否かを判別する。詳細には、位置合わせ部１１１は、合成時の位置ずれが予め設定されている閾値を超えているか否かを判別することで合成が成功したか否かを判別する。
位置合わせが失敗したと判別された場合には、ステップＳ５３において、ＮＯと判断されて、処理はステップＳ５１に戻され、それ以降の処理が繰り返される。
位置合わせが成功したと判別された場合には、ステップＳ５３において、ＹＥＳと判断されて、処理はステップＳ５４に進む。

ステップＳ５４において、位置合わせ部１１１は、ステップＳ５３において位置合わせした位置に、合成する順番の画像の位置を変更して、画像（Ｉｍｇ［ｉ］’）を生成する。

ステップＳ５５において、合成ＭＡＰ作成部１１２は、位置合わせをした後、Ｉｍｇ＿ｏｕｔとＩｍｇ［Ｉ］’の２つの画像のエッジ強度の分布から合成ＭＡＰ（本実施形態においては、デプスマップ）を作成する。
合成ＭＡＰとは、被写体領域を２５５、非被写体領域を０とした多値のＭＡＰである。この合成ＭＡＰは、被写体領域に合焦した画像と非被写体領域に合焦した画像で、画素毎にエッジ強度を比較し、そのエッジ比較結果の空間密度分布から尤度（ここでは、被写体領域らしさ）を算出することで、生成することができる。

ステップＳ５６において、合成ＭＡＰ作成部１１２は、合成ＭＡＰの作成が成功したか否かを判別する。即ち、合成ＭＡＰ作成部１１２は、作成した合成ＭＡＰから動体の有無や合成する面積等を判別して、合成の適否を判別する。具体的には、合成ＭＡＰ作成部１１２は、動体がある場合や合成する面積が極端に少ない等の場合には合成する画像として採用せずに、次の順番の画像の位置合わせから行うようにする。
合成ＭＡＰの作成が失敗したと判別された場合には、ステップＳ５６において、ＮＯと判断されて、処理はステップＳ５１に戻され、それ以降の処理が繰り返される。
合成ＭＡＰの作成が成功した判別された場合には、ステップＳ５６において、ＹＥＳと判断されて、処理はステップＳ５７に進む。

ステップＳ５７において、合成ＭＡＰ作成部１１２は、合成ＭＡＰをフォーカス位置によって調整する。
調整方法は、ＡＦ位置と撮影フォーカス位置の関係から、合成すべく画像の重要度を求め、合成ＭＡＰに重み（例えば、ゲイン）を与えることで行う。
合成ＭＡＰ’＝合成ＭＡＰ×［重要度に応じたゲイン］

ステップＳ５８において、αブレンド部１１３は、出力画像格納メモリのＩｍｇ＿ｏｕｔに展開している画像と、Ｉｍｇ［ｉ］’の画像とを合成ＭＡＰを使って画素ごとにαブレンドにより合成を行う。
つまり、各画像合成においては、なるべく主要被写体のエッジ強度が低下しないような合成を行うので、主要被写体らしさの高い画素ほど、Ｉｍｇ＿ｏｕｔのほうの合成比率が高くなるような合成を行う。

ステップＳ５９において、画像合成部５４は、ブレンドした値で、出力画像格納メモリのＩｍｇ＿ｏｕｔを更新する。その結果、全焦点画像のデータが合成されることになる。

ステップＳ６０において、画像合成部５４は、全ての画像において処理が終了したか否かを判別する。
全ての画像において処理が終了していないと判別された場合には、ステップＳ６０において、ＮＯと判断されて、処理はステップＳ５１に戻され、それ以降の処理が繰り返される。
全ての画像において処理が終了したと判別された場合には、ステップＳ６０において、ＹＥＳと判断されて、画像合成処理は終了する。

次に、図８の全焦点画像生成処理のうち、ステップＳ５の合成画像判別処理の詳細な流れについて説明する。
図１１は、図８の全焦点画像生成処理のうち、ステップＳ５の合成画像判別処理の詳細な流れについて説明するフローチャートである。

ステップＳ８１において、合成画像判別部１１４は、一定枚数以上の画像を合成できたか否かを判別する。合成画像判別部１１４は、例えば、取得した画像の枚数の半分以上の枚数で合成したかで判別する。判別のための枚数は、用いるレンズの被写界深度に応じて設定される。被写界深度が深い場合には、枚数が少なく設定してもよいが、被写界深度が浅い場合には、枚数を多く設定される。
一定枚数以上の画像を合成できないと判別された場合には、ステップＳ８１において、ＮＯと判断されて、処理はステップＳ８３に進む。ステップＳ８３については後述する。
一定枚数以上の画像を合成できたと判別された場合には、ステップＳ８１において、ＹＥＳと判断されて、処理はステップＳ８２に進む。

ステップＳ８２において、合成画像判別部１１４は、全焦点画像における合成が成功したと判別する。

ステップＳ８３おいて、合成画像判別部１１４は、全焦点画像における合成が失敗したと判別する。

ステップＳ８４において、判別結果出力部１１５は、ステップＳ８２或いはステップＳ８３の合成結果の判別を出力する。その後、合成画像判別処理は終了する。

以上のような撮像装置１によれば、レンズ駆動部４３と、撮像部１６と、撮像画像取得部５２と、合成順番決定部５３と、画像合成部５４と、を備える。この撮像装置１は、フォーカス位置を移動して撮影した複数枚の画像を合成する。
レンズ駆動部４３は、フォーカス位置を変更する。
撮像部１６は、複数のフォーカス位置で撮影を行う。
撮像画像取得部５２は、複数のフォーカス位置で撮影され複数の撮像画像のデータを取得する。
合成順番決定部５３は、撮像画像取得部５２により取得された複数の撮像画像のデータについて、フォーカス距離の遠近の順番及び撮影の順番のいずれとも異なる、撮像部１６で撮影された画像の合成の順番を決定する。
画像合成部５４は、合成順番決定部５３により決定された順番で撮像部１６により撮影された複数の撮像画像を合成して全焦点画像のデータを生成する。
従って、撮像装置１においては、合成順番決定部５３により決定された順番で撮像部１６により撮影された複数の撮像画像を合成して全焦点画像のデータを生成する。
これにより、撮像装置１においては、全体に鮮明な画像となる全焦点画像を生成することができる。

合成順番決定部５３は、画像合成部５４による合成の基準となる基準画像を特定する。
従って、撮像装置１においては、例えば、ユーザの意思が反映された画像を基準画像として特定することで、ユーザが意図して撮像した被写体を基準にした合成が可能となり、基準画像を中心として全体としてより鮮明な全焦点画像を生成することができる。

合成順番決定部５３は、撮像画像取得部５２により取得された各撮影画素のフォーカス位置と基準画像のフォーカス位置との関係に基づいて、合成の順番を変化させる。
これにより、撮像装置１においては、偽のエッジが少ないエッジ強度が異なる撮像画像を合成する順番を決定することで全体としてより鮮明な全焦点画像を生成することができる。

合成順番決定部５３は、最も無限遠近くのフォーカス位置で撮影された撮像画像を最後に合成する順番に決定する。
これにより、撮像装置１においては、偽のエッジが少ないエッジ強度が最も強い最も無限遠近くのフォーカス位置で撮影された撮像画像を最後に合成することで全体としてより鮮明な全焦点画像を生成することができる。

合成順番決定部５３は、各撮影画素のフォーカス位置を対象に基準画像のフォーカス位置から撮像装置１の備えるレンズの撮影最短距離側方向に、続いて基準画像のフォーカス位置から無限遠方向に順番に、撮像画像の合成順番を決定する。
これにより、撮像装置１においては、偽のエッジが少ないエッジ強度が強い撮像画像をより後から合成することで全体としてより鮮明な全焦点画像を生成することができる。

画像合成部５４は、複数の撮像画像のデータを位置合わせしながら合成して全焦点画像のデータを生成する。
これにより、被写体に多少の動きや手振れ等があっても全体としてより鮮明な全焦点画像を生成することができる。

また、撮像装置１は、合成画像判別部１１４と、判別結果出力部１１５を備える。
合成画像判別部１１４は、最も無限遠近くのフォーカス位置で撮影された撮像画像以外の合成に成功したか否かを判別する。
判別結果出力部１１５は、合成画像判別部１１４により判別された合成成功回数に応じて合成に成功したか否かを出力する。
これにより、撮像装置１においては、最も無限遠近くのフォーカス位置で撮影された撮像画像以外の合成であっても合成の回数が合成結果に強く影響するため、合成に成功したか否かの判別が適切に行える。

位置合わせ部１１１は、画像合成部５４による合成時の位置ずれが予め設定されている閾値を超えているか否かを判別することで合成が成功したか否かを判別する。
これにより、撮像装置１においては、簡略な方法で合成が成功したか否かを判別することができる。

位置合わせ部１１１は、合成する撮像画像から作成されるデプスマップに基づいて、合成が成功したか否かを判別する。
これにより、撮像装置１においては、簡略な方法で合成が成功したか否かを判別することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、撮像順をフォーカス位置に基づいて、適切な合成順に変更して全焦点画像を生成していたがこれに限られない。例えば、合成時に画像の順番を変更することなく、撮影時に合成を考慮したフォーカス位置で行うように撮影してゆくように撮像の制御を行うようにてもよい。

また、上述の実施形態では、合成画像判別処理において、無限縁の画像を使用したか否かの判別と、所定枚数の画像で構成されているか否かの判別を行って、合成画像の適否の判別を行っていたが、これに限られない。例えば、合成画像のエッジの強度等から画像における被写体の焦点の度合いから偽エッジの領域を判断する等から合成画像の適否の判別を行ってもよい。

また、上述の実施形態では、αブレンドにより画像の合成を行ったがこれに限られない。例えば、画像の合成は、２つの画像のうち合焦領域を合成できればよく加算合成等の種々の手法を用いることができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。また、本発明は、撮像の機能を有さずに、外部で撮像された画像に基づいて全焦点画像生成処理を行う画像処理装置でも適用可能である。
例えば、本発明は、全焦点画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数のフォーカス位置で撮影された複数の撮像画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮像画像のデータについて、フォーカス距離の遠近の順番及び撮影の順番のいずれとも異なる順番を合成の順番として決定する順番決定手段と、
前記順番決定手段により決定された順番で前記複数の撮像画像のデータを合成して全焦点画像のデータを生成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記合成手段による合成の基準となる基準画像を特定する基準画像特定手段を更に備えることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記順番決定手段は、前記画像取得手段により取得された各撮影画素のフォーカス位置と前記基準画像のフォーカス位置との関係に基づいて、前記合成の順番を変化させることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記順番決定手段は、最も無限遠近くのフォーカス位置で撮影された撮像画像を最後に合成する順番に決定することを特徴とする付記１乃至３のいずれか一つに記載の画像処理装置。
［付記５］
前記順番決定手段は、各撮影画素のフォーカス位置を対象に前記基準画像のフォーカス位置から撮像装置の備えるレンズの撮影最短距離側方向に、続いて前記基準画像のフォーカス位置から無限遠方向に順番に、前記撮像画像の合成順番を決定することを特徴とする付記３に記載の画像処理装置。
［付記６］
前記合成手段は、前記複数の撮像画像のデータを位置合わせしながら合成して全焦点画像のデータを生成することを特徴とする付記１乃至５のいずれか一つに記載の画像処理装置。
［付記７］
最も無限遠近くのフォーカス位置で撮影された撮像画像以外の合成に成功したか否かを更に判別する判別手段と、
前記判別手段により判別された合成の成功回数に応じて合成に成功したか否かを更に出力する合成可否出力手段と、を更に備えることを特徴とする付記１乃至６のいずれか一つに記載の画像処理装置。
［付記８］
前記判別手段は、前記合成手段による合成時の位置ずれが予め設定されている閾値を超えているか否かを判別することで合成が成功したか否かを判別することを特徴とする付記７に記載の画像処理装置。
［付記９］
前記判別手段は、合成する撮像画像から作成されるデプスマップに基づいて、合成が成功したか否かを判別することを特徴とする付記７又は８に記載の画像処理装置。
［付記１０］
前記フォーカス位置を変更するフォーカス手段と、
複数のフォーカス位置で撮影を行う撮影手段と、
を備えることを特徴とする付記１乃至９のいずれか一つに記載の画像処理装置。
［付記１１］
複数のフォーカス位置で撮影された複数の撮像画像のデータを取得する画像取得ステップと、
前記画像取得ステップの処理で取得された前記複数の撮像画像のデータについて、フォーカス距離の遠近の順番及び撮影の順番のいずれとも異なる順番を合成の順番として決定する順番決定ステップと、
前記順番決定ステップの処理で決定された順番で前記複数の撮像画像のデータを合成して全焦点画像のデータを生成する合成ステップと、
を含むことを特徴とする画像処理方法。
［付記１２］
コンピュータに、
複数のフォーカス位置で撮影された複数の撮像画像のデータを取得する画像取得機能と、
前記画像取得機能の発揮により取得された前記複数の撮像画像のデータについて、フォーカス距離の遠近の順番及び撮影の順番のいずれとも異なる順番を合成の順番として決定する順番決定機能と、
前記順番決定機能の発揮により決定された順番で前記複数の撮像画像を合成して全焦点画像のデータを生成する合成機能と、
を実現させるためのプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，４１・・・光学レンズ部，４２・・・イメージセンサ，４３・・・レンズ駆動部，５１・・・撮像制御部，５２・・・撮像画像取得部，５３・・・合成順番決定部，５４・・・画像合成部，５５・・・出力制御部，７１・・・撮像画像記憶部，７２・・・合成画像記憶部，９１・・・第１順番決定部，９２・・・第２順番決定部，９３・・・第３順番決定部，９４・・・第４順番決定部，１１１・・・位置合わせ部，１１２・・・合成ＭＡＰ作成部，１１３・・・αブレンド部，１１４・・・合成画像判別部，１１５・・・判別結果出力部

Claims (10)

1. 複数のフォーカス位置で撮影される複数の撮像画像のデータを取得する画像取得手段と、
   複数の撮像画像のデータについて、フォーカス距離の遠近の順番とは異なる順番を合成の順番として決定する順番決定手段と、
   前記順番決定手段により決定された順番で前記複数の撮像画像のデータを合成して全焦点画像のデータを生成する合成手段と、
   前記合成手段による合成の基準となる基準画像を特定する基準画像特定手段と、
   を備え、
   前記順番決定手段は、前記画像取得手段により取得された各撮影画像のフォーカス位置と前記基準画像のフォーカス位置との関係に基づいて、前記合成の順番を変化させる、
   ことを特徴とする画像処理装置。
2. 前記順番決定手段は、最も無限遠近くのフォーカス位置で撮影された撮像画像を最後に合成する順番に決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記順番決定手段は、各撮影画像のフォーカス位置を対象に前記基準画像のフォーカス位置から当該画像処理装置の備えるレンズの撮影最短距離側方向に、続いて前記基準画像のフォーカス位置から無限遠方向に順番に、前記撮像画像の合成順番を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記合成手段は、前記複数の撮像画像のデータを位置合わせしながら合成して全焦点画像のデータを生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 最も無限遠近くのフォーカス位置で撮影された撮像画像以外の合成に成功したか否かを更に判別する判別手段と、
   前記判別手段により判別された合成の成功回数に応じて合成に成功したか否かを更に出力する合成可否出力手段と、を更に備えることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記判別手段は、前記合成手段による合成時の位置ずれが予め設定されている閾値を超えているか否かを判別することで合成が成功したか否かを判別することを特徴とする請求項５に記載の画像処理装置。
7. 前記判別手段は、合成する撮像画像から作成されるデプスマップに基づいて、合成が成功したか否かを判別することを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記フォーカス位置を変更するフォーカス手段と、
   複数のフォーカス位置で撮影を行う撮影手段と、
   を備えることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 複数のフォーカス位置で撮影される複数の撮像画像のデータを取得する画像取得処理と、
   複数の撮像画像のデータについて、フォーカス距離の遠近の順番とは異なる順番を合成の順番として決定する順番決定処理と、
   前記順番決定処理の処理で決定された順番で前記複数の撮像画像のデータを合成して全焦点画像のデータを生成する合成処理と、
   前記合成処理による合成の基準となる基準画像を特定する基準画像特定処理と、
   を含み、
   前記順番決定処理では、前記画像取得処理で取得された各撮影画像のフォーカス位置と前記基準画像のフォーカス位置との関係に基づいて、前記合成の順番を変化させる、
   ことを特徴とする画像処理方法。
10. コンピュータに、
    複数のフォーカス位置で撮影される複数の撮像画像のデータを取得する画像取得機能と、
    複数の撮像画像のデータについて、フォーカス距離の遠近の順番とは異なる順番を合成の順番として決定する順番決定機能と、
    前記順番決定機能の発揮により決定された順番で前記複数の撮像画像を合成して全焦点画像のデータを生成する合成機能と、
    前記合成機能による合成の基準となる基準画像を特定する基準画像特定機能と、
    を実現させ、
    前記順番決定機能では、前記画像取得機能の発揮により取得された各撮影画像のフォーカス位置と前記基準画像のフォーカス位置との関係に基づいて、前記合成の順番を変化させる、
    ことを特徴とするプログラム。