JP5664626B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、撮像装置は、後方から前方までの各被写体の全てに焦点を合わせた画像（以下、「全焦点画像」という）を撮像する場合、超深度レンズ（通称「虫の目レンズ」）といった特殊なレンズを使用している。
しかしながら、虫の目レンズは、全長が非常に長いため、携帯に不便である。
そのため、通常のレンズを搭載した撮像装置が、一回のシャッタ操作により、同一の構図の被写体を複数のフォーカス位置でほぼ同時に撮影し、その結果得られる複数の撮像画像のデータを合成することによって、全焦点画像のデータを生成する技術が開示されている（特許文献１を参照）。

特開２００７−２８２１５２号公報

しかしながら、特許文献１においては、全焦点画像のデータを生成する技術が開示されているが、例えば、風で揺らぐ花等の動く被写体（以下、「動体」という）を撮像した場合には、動体が残像となっている画像が生成されてしまうという問題があった。

本発明は、このような状況に鑑みてなされたものであり、動体を含む画像を用いた場合でも、高画質の全焦点画像を提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
焦点の異なる複数の画像のデータを取得する取得手段と、
前記取得手段によって取得した複数の画像毎に、画像内における被写体の距離の関係を所定数の画素毎に表すデプスマップを生成する第１のマップ生成手段と、
前記第１のマップ生成手段によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成手段と、
前記第２のマップ生成手段によって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記複数の画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成手段と、
を備え、
前記所定の処理は、前記複数のデプスマップで値が異なる画素については、前記異なる焦点に対応する値のうち、被写体に対応する焦点に対応する値を優先して決定する、画素値に対する選択的な演算を行う処理である、
ことを特徴とする。

本発明によれば、動体を含む画像を用いた場合でも、高画質の全焦点画像を提供することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成を示す機能ブロック図である。 全焦点画像のデータの生成の具体例を説明するための模式図である。 全焦点画像のデータの生成の手法を模式的に表した図である。 図２の機能的構成を有する図１の撮像装置が実行する全焦点画像生成処理の流れを説明するフローチャートである。

以下、本発明の一実施形態に係る撮像装置について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、光学レンズ部４１と、イメージセンサ４２と、レンズ駆動部４３と、を備えている。

光学レンズ部４１は、被写体を撮影するために、フォーカスレンズやズームレンズ等の各種レンズで構成される。
フォーカスレンズは、後述のレンズ駆動部４３によって駆動され、後述のイメージセンサ４２の受光面に被写体の像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

イメージセンサ４２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部４１から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。ＡＦＥは、各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号が撮像画像のデータとなる。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。また、撮像画像のデータには、メタデータとして、撮像された順番の情報と、撮像された時点におけるフォーカス位置の情報とが付加される。なお、以下、特に断りのない限り、メタデータが付加された撮像画像のデータを、単に「撮像画像のデータ」と呼ぶ。

レンズ駆動部４３は、ＣＰＵ１１によるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理の結果に基づいて、光学レンズ部４１のフォーカスレンズを駆動させ、フォーカス位置を変化させることで所定の被写体に合焦させる。
このようなフォーカスの機構を有する撮像装置１では、撮影最短距離側方向、即ち、手前側の被写体に焦点を合わせての撮影と、無限遠方向、即ち、ピント調節が不要となるほどの遠い距離の対象を被写体とする撮影とが可能である。
また、レンズ駆動部４３は、フォーカス位置を、ＡＦ処理によって決定された位置から変化させながら、順次フォーカス位置の異なる撮像を行う後述する「フォーカスブラケティング撮影」が可能となるように駆動する。

入力部１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

次に、撮像装置１の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成について説明する。
「全焦点画像生成処理」とは、焦点の異なる複数枚の撮像画像のデータを合成して全焦点画像のデータを生成して出力するまでの一連の処理をいう。
図２は、撮像装置１の機能的構成のうち、全焦点画像生成処理を実行するための機能的構成を示す機能ブロック図である。
図３は、全焦点画像のデータの生成の具体例を説明するための模式図である。

撮像装置１が全焦点画像生成処理を実行する場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、撮像画像取得部５２と、エッジ比較画像作成部５３と、デプスマップ作成部５４と、画像合成部５５と、出力制御部５６と、が機能する。
また、記憶部１９の一領域として、撮像画像記憶部７１と、合成画像記憶部７２と、が設けられる。
撮像画像記憶部７１は、撮像部１６から出力された撮像画像のデータを記憶する。
合成画像記憶部７２は、画像合成部５５により合成された全焦点画像のデータを記憶する。

このような機能構成を有する撮像装置１は、以下、「公園」の一角に咲く「花」を被写体とし、背景に「公園」の風景を入れて、フォーカスブラケティング撮影を行い全焦点画像のデータを生成する例について説明する。
また、本例においては、撮影時には、風が吹いており、撮影のタイミングで被写体である「花」が風に揺らいで、動体として撮影されてしまう場合について、以下の説明を行う。

撮像制御部５１は、入力部１７からの撮像に係る指示に基づいて、レンズ駆動部４３等を含む撮像部１６での撮像を制御する。具体的には、撮像制御部５１は、フォーカスブラケティング撮影を行うようにレンズ駆動部４３等を含む撮像部１６を制御する。
ここで、「フォーカスブラケティング撮影」とは、入力部１７のレリーズボタンを一回押すだけで、任意の被写体に焦点が合った位置（所定のフォーカス位置）と、レンズ駆動部４３を駆動調整してその前後に焦点をずらした位置（所定のフォーカス位置からずらしたフォーカス位置）との各々で複数枚の撮像画像を連写する手法である。
なお、本実施形態のフォーカスブラケティング撮影では、まず被写体に焦点が合うフォーカス位置で撮影（以下、「被写体ピント画像撮影」という）を行い、次に、被写体以外の被写体の背景に焦点が合うフォーカス位置で撮影（以下、「非被写体ピント画像撮影」という）を行うように撮像部１６を撮像制御部５１が制御して、全焦点画像のデータの生成に用いる２枚の撮像画像のデータを撮像処理により取得する。
本実施形態では、図３の例に示すように、被写体ピント画像撮影により取得される撮像画像ｐ１（以下、「被写体ピント画像ｐ１」という）は、被写体である「花」に焦点が合い、背景の「公園」がぼやけた画像となる。
また、本実施形態では、非被写体ピント画像撮影により取得される撮像画像ｐ２（以下、「非被写体ピント画像ｐ２」という）は、被写体以外の被写体の背景である「公園」に焦点が合い、被写体である「花」がぼやけた画像となる。
本実施形態における全焦点画像は、被写体ピント画像と非被写体ピント画像といった少なくとも２枚の画像による多焦点の画像であればよいものとする。

撮像画像取得部５２は、撮像部１６から出力された撮像画像のデータを取得する。
また、撮像画像取得部５２は、まず、被写体ピント画像撮影により、被写体に焦点が合った被写体ピント画像ｐ１のデータを撮像部１６から取得する。
次に、撮像画像取得部５２は、非被写体ピント画像撮影により、被写体の背景に焦点が合った、即ち、被写体の「花」がぼやけた撮像画像である非被写体ピント画像ｐ２のデータを撮像部１６から取得する。このように、本実施形態においては、２枚の焦点の異なる、即ち、多焦点の撮像画像（被写体ピント画像ｐ１及び非被写体ピント画像ｐ２）のデータを取得して全焦点画像のデータの生成を行う。

また、撮像画像取得部５２は、本実施形態においては、図３の例に示すように、風に揺らぐ「花」（動体）を含めて撮影を行ったため、被写体ピント画像撮影時と、非被写体ピント画像撮影とでは、画角内における「花」の位置が異なる撮像画像（被写体ピント画像ｐ１及び非被写体ピント画像ｐ２）のデータを取得ことになる。
その後、撮像画像取得部５２は、取得した撮像画像（被写体ピント画像ｐ１及び非被写体ピント画像ｐ２）のデータを撮像画像記憶部７１に出力する。

エッジ比較画像作成部５３は、撮像画像取得部５２により取得された被写体ピント画像ｐ１と非被写体ピント画像ｐ２とから、エッジ強度を比較したエッジマップからなるエッジ比較画像を作成する。このエッジ比較画像は、エッジの変化から、撮影対象の距離を判別することに用いられ、判別された撮影対象の距離に基づいて、撮影対象の形状に合ったデプスマップが作成される。

デプスマップ作成部５４は、エッジ比較画像作成部５３によって作成されたエッジ比較画像から撮影対象の距離を判別して、例えば、画像内の被写体や背景における位置関係として撮像装置１から対象までの相対的な距離を２値で構成したデプスマップｄｍｐ１，ｄｍｐ２，ｄｍｐ３を作成する。デプスマップ作成部５４は、エッジ比較画像を被写体と被写体以外とを判別するために用いる。なお、本実施形態において、作成されるデプスマップｄｍｐ１，ｄｍｐ２，ｄｍｐ３は、２値をとり、値が「０」の場合には「背景」として扱い、値が「１」の場合には「被写体」として扱うように構成される。従って、デプスマップｄｍｐ１，ｄｍｐ２，ｄｍｐ３においては、図３の例に示すように、値が「０」である背景の部分が黒色（暗い色）で表示される部分であり、値が「１」である被写体の部分は白色（明るい色）で表示される部分になることとなる。値は、黒色（暗い色）である「０」の場合には、撮影対象が遠いことを表し、白色（明るい色）である「１」の場合には、撮影対象が近いことを表す。具体的には、「花」と「花」の脇の「草」に相当する領域が白色（明るい色）であるため、「花」と「草」は近いと判別される。
なお、デプスマップの作成は、処理を１画素単位で行うように構成してもよいし、複数の画素を１つの処理単位とする所定のブロック単位で行うように構成してもよい。

デプスマップ作成部５４は、取得した複数の画像から画像のデプスマップ（本実施形態においては、２つの画像のデプスマップ）を生成する画像デプスマップ作成部９１と、複数の画像のデプスマップから画像合成用の１つのデプスマップを作成する合成用デプスマップ作成部９２と、を備える。

画像デプスマップ作成部９１は、エッジ比較画像作成部５３により作成されたエッジ比較画像と、撮像画像取得部５２により取得された被写体ピント画像ｐ１とを用いて、被写体ピント画像ｐ１に含まれる撮影対象の形状に合った画像のデプスマップｄｍｐ１（以下、「被写体デプスマップｄｍｐ１」という）を作成する。

また、画像デプスマップ作成部９１は、エッジ比較画像作成部５３により作成されたエッジ比較画像と、撮像画像取得部５２により取得された非被写体ピント画像ｐ２とを用いて、非被写体ピント画像ｐ２に含まれる撮影対象の形状に合った画像のデプスマップｄｍｐ２（以下、「非被写体デプスマップｄｍｐ２」という）を作成する。

合成用デプスマップ作成部９２は、画像デプスマップ作成部９１により作成された被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２の２つの画像のデプスマップに対して、ＯＲ演算する処理を行って、合成用デプスマップｄｍｐ３を作成する。
ここで、「ＯＲ演算」とは、演算する画素の入力の両方が「０」である場合にのみ「０」になる演算である。即ち、本実施形態においては、被写体デプスマップｄｍｐ１又は非被写体デプスマップｄｍｐ２の両方のデプスマップで「０」の値をとる場合にのみ、合成用デプスマップｄｍｐ３では「０」の値をとることとなる。
即ち、本実施形態においては、２値のデプスマップを用いるために、ＯＲ演算による作成手法を用いることとなる。

画像合成部５５は、合成用デプスマップ作成部９２により作成された合成用デプスマップｄｍｐ３に基づいて、被写体ピント画像ｐ１と、非被写体ピント画像ｐ２とを画像合成して、全焦点画像ｐ３のデータを生成する。本実施形態においては、画像合成部５５は、被写体ピント画像ｐ１と非被写体ピント画像ｐ２とを、合成用デプスマップｄｍｐ３をαマップとして用いて、求められる係数（アルファ値）に従って半透明合成する、いわゆるαブレンドによる画像合成を行う。即ち、画像合成部５５は、合成用デプスマップｄｍｐ３における「０」の値の領域に対応する被写体ピント画像ｐ１の領域を抽出し、合成用デプスマップｄｍｐ３における「１」の値の領域に対応する非被写体ピント画像ｐ２の領域を抽出して、画像合成を行う。
本実施形態においは、ＯＲ演算によって作成された合成用デプスマップｄｍｐ３をαマップとして用いることで、被写体デプスマップｄｍｐ１と、非被写体デプスマップｄｍｐ２の双方の被写体の領域を、抽出する被写体の領域とすることになるため、被写体がブレていない被写体ピント画像において抽出する被写体の領域に対応した領域が優先的に採用されることになる。このため、残像のない全焦点画像ｐ３のデータを生成することが可能となる。
その後、画像合成部５５は、生成した全焦点画像ｐ３のデータを合成画像記憶部７２に記憶させる。

出力制御部５６は、画像合成部５５により生成された全焦点画像ｐ３のデータを出力部１８から表示出力するように制御する。

図４は、全焦点画像ｐ３のデータの生成の手法を模式的に表した図である。
フォーカスブラケティング撮影による方式で全焦点画像ｐ３のデータを生成する場合であって、合成に使用する画像に動体の被写体が含まれているときには、１の画像から作成したデプスマップ（例えば、被写体デプスマップｄｍｐ１）を用いて画像合成を行ってしまうと、動体の移動分の領域が考慮されずに、当該領域が背景として採用されてしまい、生成される全焦点画像ｐ３の被写体に残像が発生してしまう。
しかしながら、本実施形態における手法では、図４に示すように、被写体ピント画像ｐ１と、非被写体ピント画像ｐ２から、被写体ピント画像ｐ１内における被写体領域Ｒ１と、非被写体ピント画像ｐ２内における被写体領域Ｒ２との領域を合わせた領域Ｒ３（以下、「合成被写体領域Ｒ３」という）を動体の被写体とする領域とする合成用デプスマップｄｍｐ３を作成する。
そして、合成用デプスマップｄｍｐ３の合成被写体領域Ｒ３に対応して、被写体ピント画像ｐ１における合成被写体領域Ｒ３に相当する領域Ｒ４を切り出し、非被写体ピント画像ｐ２における合成被写体領域Ｒ３以外の領域Ｒ５を切り出して、それぞれを画像合成して、全焦点画像ｐ３を生成する。即ち、全焦点画像ｐ３は、被写体ピント画像ｐ１の合成被写体領域Ｒ３に相当する領域Ｒ４と、非被写体ピント画像ｐ２の合成被写体領域Ｒ３以外の領域Ｒ５から構成される。
このため、図３の例で説明をすると、被写体ピント画像ｐ１の画角からずれて動体となっている非被写体ピント画像ｐ２における「花」の領域も、被写体ピント画像ｐ１から切り出す領域とするために、ブレが生じている非被写体ピント画像ｐ２の被写体の領域を採用しないようにでき、これにより残像の発生を抑えることができる。
また、本手法を用いることで、背景にピントがあっている場合、ボケた前景の被写体を、被写体と背景を完全に分離したとして発生するオクルージョンの影響を抑え、合成画質の向上が期待できる。
つまり、本手法を用いることで、全焦点画像ｐ３のデータの生成画質を向上、即ち、高品質な全焦点画像ｐ３のデータを生成することができるようになる。

次に、このような機能的構成を有する撮像装置１が実行する全焦点画像生成処理の流れについて説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行する全焦点画像生成処理の流れを説明するフローチャートである。
全焦点画像生成処理とは、フォーカス位置の異なる複数枚の撮像画像のデータから全焦点画像のデータを生成するまでの一連の処理である。
全焦点画像生成処理は、ユーザが入力部１７を用いて全焦点画像生成処理を実行する所定の操作をした場合、その操作を契機として開始される。

ステップＳ１において、撮像制御部５１は、撮像部１６を制御して撮像処理（フォーカスブラケティング撮影）を行い、被写体ピント画像ｐ１を撮影する。即ち、撮像制御部５１は、図３の例では、「公園」の片隅に咲く「花」を被写体にして、「花」に焦点が合った被写体ピント画像ｐ１を撮影する。その後、撮像画像取得部５２は、撮影された被写体ピント画像ｐ１のデータを取得して、撮像画像記憶部７１に記憶する。

ステップＳ２において、撮像制御部５１は、撮像部１６を制御して撮像処理（フォーカスブラケティング撮影）を行い、非被写体ピント画像ｐ２を撮影する。即ち、撮像制御部５１は、「公園」の片隅に咲く「花」を被写体にして、「花」の背景の「公園」の風景に焦点が合った非被写体ピント画像ｐ２を撮影する。非被写体ピント画像ｐ２の撮影に際し、撮像制御部５１は、背景の「公園」の風景に焦点が合うように、フォーカス位置を変更して、撮影を行う。撮像画像取得部５２は、撮影された非被写体ピント画像ｐ２のデータを取得して、撮像画像記憶部７１に記憶する。

ステップＳ３において、エッジ比較画像作成部５３は、撮像画像取得部５２により取得された被写体ピント画像ｐ１と非被写体ピント画像ｐ２とから、それぞれの画像のエッジ強度を比較したエッジマップからなるエッジ比較画像を作成する。

ステップＳ４において、画像デプスマップ作成部９１は、エッジ比較画像作成部５３により作成されたエッジ比較画像と、撮像画像取得部５２により取得された被写体ピント画像ｐ１とを用いて、被写体ピント画像ｐ１における被写体の形状に合った被写体デプスマップｄｍｐ１を作成する。

ステップＳ５において、画像デプスマップ作成部９１は、エッジ比較画像作成部５３により作成されたエッジ比較画像と、撮像画像取得部５２により取得された非被写体ピント画像ｐ２とを用いて、非被写体ピント画像ｐ２における被写体の形状に合った非被写体デプスマップｄｍｐ２を作成する。

ステップＳ６において、合成用デプスマップ作成部９２は、画像デプスマップ作成部９１により作成された被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２をＯＲ演算して、合成用デプスマップｄｍｐ３を作成する。

ステップＳ７において、画像合成部５５は、合成用デプスマップ作成部９２により作成された合成用デプスマップｄｍｐ３に基づいて、被写体ピント画像ｐ１と、非被写体ピント画像ｐ２とを画像合成して、全焦点画像ｐ３のデータを生成する。そして、画像合成部５５は、生成した全焦点画像ｐ３のデータを合成画像記憶部７２に記憶させる。

ステップＳ８において、出力制御部５６は、全焦点画像ｐ３のデータを出力部１８から表示出力させる。これにより、全焦点画像生成処理は終了する。

以上のような撮像装置１によれば、撮像画像取得部５２と、画像デプスマップ作成部９１と、合成用デプスマップ作成部９２と、画像合成部５５と、を備える。
撮像画像取得部５２は、焦点の異なる被写体ピント画像ｐ１及び非被写体ピント画像ｐ２のデータを取得する。
画像デプスマップ作成部９１は、取得した被写体ピント画像ｐ１及び非被写体ピント画像ｐ２毎に、画像内における被写体の距離関係を画素毎に表す被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２を作成する。
合成用デプスマップ作成部９２は、作成した被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２に所定の処理を加えて、合成用デプスマップｄｍｐ３を作成する。
画像合成部５５は、作成した合成用デプスマップｄｍｐ３に基づいて、被写体ピント画像ｐ１及び非被写体ピント画像ｐ２のデータを合成して全焦点画像ｐ３のデータを生成する。
従って、撮像装置１においては、例えば、風で揺れる花等の被写体が動体であっても残像の少ない全焦点画像ｐ３のデータを生成することができ、全焦点画像ｐ３のデータの合成画質を向上させることができる。また、背景にピントがあっている場合、ボケた前景の被写体を、被写体と背景を完全に分離したとして発生するオクルージョンの影響を抑えることができ、全焦点画像ｐ３のデータの合成画質の向上が期待できる。

合成用デプスマップ作成部９２による所定の処理は、画像デプスマップ作成部９１により作成された２値の被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２のＯＲ演算処理である。
従って、撮像装置１においては、単純な処理であるため、処理負担が少なく、高速で処理を行うことができる。

撮像画像取得部５２は、第１の焦点で撮影された被写体ピント画像ｐ１と、被写体ピント画像ｐ１とは異なる第２の焦点で撮影された非被写体ピント画像ｐ２の複数の画像データを取得する。
画像デプスマップ作成部９１は、各画像毎に画像内における被写体の距離が第１の焦点に対応するか第２の焦点に対応するかを２値で表す被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２を作成する。
合成用デプスマップ作成部９２による所定の処理は、被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２で値が異なる場合に、第１の焦点と第２の焦点のうち動く被写体に対応する焦点を優先して決定するＯＲ演算処理である。
従って、撮像装置１においては、動体の移動部分を含めて被写体の領域となるような、合成用デプスマップｄｍｐ３を作成することができるために、被写体が動体であっても残像の少ない全焦点画像ｐ３のデータを生成することができ、全焦点画像ｐ３のデータの合成画質を向上させることができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、合成用デプスマップｄｍｐ３の作成に際し、２値の画像のデプスマップｄｍｐ１，ｄｍｐ２を用いることとしたのでＯＲ演算により処理を行ったがこれに限られない。合成用デプスマップｄｍｐ３は、例えば、多値の画像のデプスマップｄｍｐ１，ｄｍｐ２を用いる場合には、いずれかの画像のデプスマップｄｍｐ１，ｄｍｐ２の最大の値をとって加算するＭＡＸ加算による処理により作成してもよい。
具体的には、例えば、撮像画像取得部５２が第１の焦点と第２の焦点の複数の画像データを取得し、画像デプスマップ作成部９１が各画像毎に画像内における被写体の距離を多値で表す被写体デプスマップｄｍｐ１及び非被写体デプスマップｄｍｐ２を作成する。
そして、合成用デプスマップ作成部９２による所定の処理において、前記各画像毎に生成された多値のデプスマップを用いる場合に、処理を行う値のうちで最大の値を加算するＭＡＸ加算処理を行うように構成することができる。
このように、ＭＡＸ加算をすることで、撮像装置１においては、単純な処理であるため、処理負担が少なく、高速で処理を行うことができる。

また、上述の実施形態では、２枚の多焦点の撮像画像ｐ１，ｐ２のデータから全焦点画像ｐ３のデータを生成したが、これに限られない。全焦点画像のデータは、３枚以上の画像のデータから生成してもよい。この場合、取得した２枚の画像の画像合成を行い、生成された合成画像のデータに以降繰り返して処理される他の画像のデータを順次合成して行くように全焦点画像のデータを生成してもよい。このように全焦点画像のデータを生成することで、全ての画像を一時期に合成する場合に比して、高画質で、より高品質な全焦点画像のデータを生成することができる。具体的には、例えば、画像合成部５５が、取得された画像のうち所定の２枚の画像合成を行い、以降繰り返して処理される他の画像を同様に繰り返して合成して、全焦点画像のデータを生成するように構成することができる。

また、上述の実施形態では、非被写体ピント画像は、被写体の奥の撮影対象（公園の風景）に焦点が合った画像を用いたがこれに限られない。非被写体ピント画像は、被写体に焦点が合っていない画像であればよく、例えば、過焦点や無限遠で撮影された画像、近距離の撮影対象（例えば、撮像装置から５０ｃｍの距離にある壁等）に焦点が合っている画像、被写体の手前に焦点が合っている画像等の画像を用いてもよい。

また、上述の実施形態では、各演算処理を画素単位で行うように構成したがこれに限られない。処理負担の軽減等を目的として、各演算処理を最小単位ではなく所定のブロック単位で行うように構成してもよい。

また、上述の実施形態では、αブレンドにより画像の合成を行ったがこれに限られない。例えば、画像の合成は、２つの画像のうち合焦領域を合成できればよく加算合成等の種々の手法を用いることができる。

また、上述の実施形態では、全焦点画像ｐ３のデータを生成する基となる画像を、自機の撮像部１６で撮像して撮像画像のデータを取得して処理に用いたが、これに限られない。取得する画像は、外部装置等から取得した撮像画像や単なる画像のデータを用いて構成してもよい。この場合、例えば、画像内の被写体の位置関係（例えば、撮像装置１からの距離）に関する情報等のデプスマップの作成に必要な情報を取得する必要がある。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。また、本発明は、撮像の機能を有さずに、外部で撮像された画像に基づいて全焦点画像生成処理を行う画像処理装置でも適用可能である。
例えば、本発明は、全焦点画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
焦点の異なる複数の画像のデータを取得する取得手段と、
前記取得手段によって取得した各画像毎に、画像内における被写体の距離関係を画素毎に表すデプスマップを生成する第１のマップ生成手段と、
前記第１のマップ生成手段によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成手段と、
前記第２のマップ生成手段によって生成した前記新たなデプスマップに基づいて、前記画像のデータを合成して全焦点画像のデータを生成する画像合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第２のマップ生成手段による所定の処理は、前記第１のマップ生成手段により生成された２値の２つのデプスマップのＯＲ演算処理であることを特徴とする付記１に記載の画像処理装置。
［付記３］
前記取得手段は、第１の焦点と第２の焦点の複数の画像データを取得し、
前記第１のマップ生成手段は、各画像毎に画像内における被写体の距離が前記第１の焦点に対応するか前記第２の焦点に対応するかを２値で表す２つのデプスマップを生成し、
前記第２のマップ生成手段による所定の処理は、２つのデプスマップで値が異なる場合に、前記第１の焦点と第２の焦点のうち動く被写体に対応する焦点を優先して決定するＯＲ演算処理であることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記第２のマップ生成手段による所定の処理は、前記第１のマップ生成手段により生成された多値の２つのデプスマップの値のうちで最大の値を加算するＭＡＸ加算処理であることを特徴とする付記１に記載の画像処理装置。
［付記５］
前記取得手段は、第１の焦点と第２の焦点の複数の画像データを取得し、
前記第１のマップ生成手段は、各画像毎に画像内における被写体の距離を多値で表す２つのデプスマップを生成し、
前記第２のマップ生成手段による所定の処理は、前記各画像毎に生成された多値のデプスマップを用いる場合に、処理を行う値のうちで最大の値を加算するＭＡＸ加算処理であることを特徴とする付記４に記載の画像処理装置。
［付記６］
前記画像合成手段は、前記取得された画像のうち所定の２枚の画像合成を行い、以降繰り返して処理される他の画像を同様に繰り返して合成して、全焦点画像のデータを生成することを特徴とする付記１乃至５のいずれか１つに記載の画像処理装置。
［付記７］
焦点の異なる複数の画像のデータを取得する取得ステップと、
前記取得ステップによって取得した各画像毎に、画像内における被写体の距離関係を画素毎に表すデプスマップを生成する第１のマップ生成ステップと、
前記第１のマップ生成ステップによって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成ステップと、
前記第２のマップ生成ステップによって生成した前記新たなデプスマップに基づいて、前記画像のデータを合成して全焦点画像のデータを生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
［付記８］
コンピュータに、
焦点の異なる複数の画像のデータを取得する取得機能と、
前記取得機能によって取得した各画像毎に、画像内における被写体の距離関係を画素毎に表すデプスマップを生成する第１のマップ生成機能と、
前記第１のマップ生成機能によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成機能と、
前記第２のマップ生成機能によって生成した前記新たなデプスマップに基づいて、前記画像のデータを合成して全焦点画像のデータを生成する画像合成機能と、
を実現させるためのプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，４１・・・光学レンズ部，４２・・・イメージセンサ，４３・・・レンズ駆動部，５１・・・撮像制御部，５２・・・撮像画像取得部，５３・・・エッジ比較画像作成部，５４・・・デプスマップ作成部，５５・・・画像合成部，５６・・・出力制御部，７１・・・撮像画像記憶部，７２・・・合成画像記憶部，９１・・・画像デプスマップ作成部，９２・・・合成用デプスマップ作成部

Claims (11)

1. 焦点の異なる複数の画像のデータを取得する取得手段と、
   前記取得手段によって取得した複数の画像毎に、画像内における被写体の距離の関係を所定数の画素毎に表すデプスマップを生成する第１のマップ生成手段と、
   前記第１のマップ生成手段によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成手段と、
   前記第２のマップ生成手段によって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記複数の画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成手段と、
   を備え、
   前記所定の処理は、前記複数のデプスマップで値が異なる画素については、前記異なる焦点に対応する値のうち、被写体に対応する焦点に対応する値を優先して決定する、画素値に対する選択的な演算を行う処理である、
   ことを特徴とする画像処理装置。
2. 前記取得手段は、焦点を変えながら複数回の撮影を行って複数の画像のデータを取得し、
   前記第２のマップ生成手段による所定の処理は、前記第１のマップ生成手段により生成された少なくとも２以上の多値の２つのデプスマップの画素値に対する選択的な演算を行う処理であり、
   前記画像合成手段は、前記多値の値に従って合成の割合を選択して合成することを特徴
   とする請求項１に記載の画像処理装置。
3. 前記合成の割合は、０％及び１００％であることを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、第１の焦点と第２の焦点の複数の画像データを取得し、
   前記第１のマップ生成手段は、前記複数の画像毎に画像内における被写体の距離が前記第１の焦点に対応するか前記第２の焦点に対応するかを２値で表す２つのデプスマップを生成し、
   前記第２のマップ生成手段による所定の処理は、２つのデプスマップで値が異なる画素については、前記第１の焦点に対応する値と第２の焦点に対応する値のうち動く被写体に対応する焦点に対応する値を優先して決定する画素値に対する選択的な演算を行う処理であることを特徴とする請求項２に記載の画像処理装置。
5. 焦点の異なる複数の画像のデータを取得する取得手段と、
   前記取得手段によって取得した複数の画像毎に、画像内における被写体の距離の関係を所定数の画素毎に３以上の多値で表すデプスマップを生成する第１のマップ生成手段と、
   前記第１のマップ生成手段によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成手段と、
   前記第２のマップ生成手段によって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記複数の画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成手段と、
   を備え、
   前記所定の処理は、前記複数のデプスマップの値のうちで最大の値を加算する処理である、
   ことを特徴とする画像処理装置。
6. 前記取得手段は、第１の焦点と第２の焦点の複数の画像データを取得し、
   前記第１のマップ生成手段は、前記複数の画像毎に画像内における被写体の距離を多値で表す２つのデプスマップを生成し、
   前記第２のマップ生成手段による所定の処理は、前記複数の画像毎に生成された多値のデプスマップを用いる場合に、処理を行う値のうちで最大の値を加算する処理であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像合成手段は、前記取得された画像のうち所定の２枚の画像の合成を行い、以降繰り返して処理される他の画像を同様に繰り返して合成して、全焦点画像のデータを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 焦点の異なる複数の画像のデータを取得する取得ステップと、
   前記取得ステップによって取得した複数の画像毎に、画像内における被写体の距離の関係を所定数の画素毎に表すデプスマップを生成する第１のマップ生成ステップと、
   前記第１のマップ生成ステップによって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成ステップと、
   前記第２のマップ生成ステップによって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成ステップと、
   を含み、
   前記所定の処理は、前記複数のデプスマップで値が異なる画素については、前記異なる焦点に対応する値のうち、被写体に対応する焦点に対応する値を優先して決定する、画素値に対する選択的な演算を行う処理である、
   ことを特徴とする画像処理方法。
9. コンピュータに、
   焦点の異なる複数の画像のデータを取得する取得機能と、
   前記取得機能によって取得した複数の画像毎に、画像内における被写体の距離関係を所定数の画素毎に表すデプスマップを生成する第１のマップ生成機能と、
   前記第１のマップ生成機能によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成機能と、
   前記第２のマップ生成機能によって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成機能と、
   を実現させ、
   前記所定の処理は、前記複数のデプスマップで値が異なる画素については、前記異なる焦点に対応する値のうち、被写体に対応する焦点に対応する値を優先して決定する、画素値に対する選択的な演算を行う処理である、
   ことを特徴とするプログラム。
10. 焦点の異なる複数の画像のデータを取得する取得ステップと、
    前記取得ステップによって取得した複数の画像毎に、画像内における被写体の距離の関係を所定数の画素毎に３以上の多値で表すデプスマップを生成する第１のマップ生成ステップと、
    前記第１のマップ生成ステップによって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成ステップと、
    前記第２のマップ生成ステップによって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成ステップと、
    を含み、
    前記所定の処理は、前記複数のデプスマップの値のうちで最大の値を加算する処理である、
    ことを特徴とする画像処理方法。
11. コンピュータに、
    焦点の異なる複数の画像のデータを取得する取得機能と、
    前記取得機能によって取得した複数の画像毎に、画像内における被写体の距離関係を所定数の画素毎に３以上の多値で表すデプスマップを生成する第１のマップ生成機能と、
    前記第１のマップ生成機能によって生成した複数のデプスマップに所定の処理を加えて、新たなデプスマップを生成する第２のマップ生成機能と、
    前記第２のマップ生成機能によって生成した前記新たなデプスマップで指定される画素毎の合成の割合に従って、前記画像のデータを画素毎に合成して全焦点画像のデータを生成する画像合成機能と、
    を実現させ、
    前記所定の処理は、前記複数のデプスマップの値のうちで最大の値を加算する処理である、
    ことを特徴とするプログラム。