JPWO2014083737A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本開示の画像処理装置等は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定部（１０２）と、複数の画像のうちの第１画像を表示する表示部（１０４）とを備え、表示部（１０４）により表示される第１画像の所定の位置が指定された場合に、所定の位置を含む第１合焦領域を有する第２画像が少なくとも選択されるとともに、表示部（１０４）に選択された第２画像が表示される。

Description

本発明は、画像処理装置および画像処理方法に関する。

撮像装置で撮像された画像などに対して、画像をズームして拡大表示することのできる機能（ズーム機能）がある。ズーム機能は、例えばデジタルカメラなどの撮像装置に標準搭載されており、画像の特定領域をより詳細に拡大して見たい場合などに使用される。

例えば特許文献１では、利用者がカメラを用いてズームを行う際にズーム地点を任意に選択する技術が開示されている。

特開平９−１０２９４５号公報

しかしながら、所定の位置（ズーム地点）を含む画像の特定領域が合焦状態でない場合、ズーム後の画像（ズーム画像）は不鮮明になるという問題がある。

本発明は、このような状況に鑑みてなされたものであり、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る画像処理装置は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定部と、前記複数の画像のうちの第１画像を表示する表示部とを備え、前記表示部により表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像処理装置および画像処理方法は、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる。

図１Ａは、ズームに用いられる画像の一例を示す図である。 図１Ｂは、図１Ａに示す画像の中心座標をズーム地点としてズームした場合のズーム画像の一例を示す図である。 図２は、実施の形態１に係る画像処理装置の概略構成を示すブロック図である。 図３Ａは、撮影部で撮影された合焦距離の異なる画像の一例を示す図である。 図３Ｂは、撮影部で撮影された合焦距離の異なる画像の一例を示す図である。 図３Ｃは、撮影部で撮影された合焦距離の異なる画像の一例を示す図である。 図４は、図３Ａ〜図３Ｃの画像における被写体のデプスマップを示す図である。 図５Ａは、撮影部で撮影された合焦距離の異なる画像の合焦領域の一例を示す図である。 図５Ｂは、撮影部で撮影された合焦距離の異なる画像の合焦領域の一例を示す図である。 図５Ｃは、撮影部で撮影された合焦距離の異なる画像の合焦領域の一例を示す図である。 図５Ｄは、図５Ａ〜図５Ｃを用いて合成された合成合焦領域を示す図である。 図６Ａは、撮影された複数の画像のデプス値を示すデプス情報を示す図である。 図６Ｂは、図６Ａに示す被写体の奥行きを示す図である。 図７は、ズーム前およびズーム後で表示部に表示される画像の一例を説明するための図である。 図８は、ズーム前およびズーム後で表示部に表示される画像の一例を説明するための図である。 図９は、ズーム前からズーム後までに表示部で表示される画像の遷移の一例を説明するための図である。 図１０は、ズーム前からズーム後までに表示部で表示される画像の遷移の一例を説明するための図である。 図１１は、実施の形態１における画像処理装置の処理の流れについて説明するための図である。 図１２は、実施の形態２に係る画像処理装置の概略構成を示すブロック図である。 図１３Ａは、実施の形態２における検出部と補正部とを導入する目的を説明するための図である。 図１３Ｂは、実施の形態２における検出部と補正部とを導入する目的を説明するための図である。 図１３Ｃは、実施の形態２における検出部と補正部とを導入する目的を説明するための図である。 図１３Ｄは、実施の形態２における検出部と補正部とを導入する目的を説明するための図である。 図１４は、実施の形態３に係る画像処理装置の概略構成を示すブロック図である。 図１５は、本発明の画像処理装置の最小構成を示すブロック図である。 図１６は、本発明の画像処理装置の最小構成部の処理を示す図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、従来の画像処理装置に関し、以下の問題が生じることを見出した。

撮像装置で撮像された画像などに対して、画像をズームして拡大表示することのできる機能（ズーム機能）がある。ズーム機能は、例えばデジタルカメラなどの撮像装置に標準搭載されており、画像の特定領域をより詳細に拡大して見たい場合などに使用される。

図１Ａは、ズームに用いられる画像の一例を示す図であり、図１Ｂは、図１Ａの中心座標をズーム地点としてズームした場合のズーム画像の一例を示す図である。

図１Ａに示す１枚の画像１には、被写体１０、被写体２０、および、被写体３０が撮像されている。図１Ｂに示す画像１ａ、１ｂ、１ｃ、１ｄ、および、１ｅは、画像１の被写体２０をズーム対象またはズーム地点（中心座標）としてズームが行われた際のズーム画像を示している。図１Ｂに示す画像１ａ、１ｂ、１ｃ、１ｄ、および、１ｅは、ズーム倍率が異なるズーム画像を示しており、選択されたズーム地点、もしくは、ズーム対象が一致するように画像１が拡大されたズーム画像を示している。なお、画像１ａ〜１ｅの大きさが同じなのは、画像１を拡大した後（ズーム画像）、必要に応じてトリミングが行われているからである。トリミングが行われることで、ズーム後の画像である画像１ａ、１ｂ、１ｃ、１ｄ、１ｅのサイズは、ズーム前の画像である画像１のサイズと一致する。

なお、ズーム地点、もしくは、ズーム対象の選択は、画像１に対してズームを行う前（事前）に行われる。カメラ等の一般的な撮像装置では、初期値（初期設定）で画像の中心位置がズーム地点として設定されていることが多い。

それに対して、例えば特許文献１では、カメラを用いて利用者がズームを行う際のズーム地点を任意に選択することのできる技術が開示されている。特許文献１では、カメラに備え付けられたタッチパネルを操作してズーム地点を設定する技術が開示されている。具体的には、カメラ上のアイコンを手またはマウスで指定することで、カメラのパン、チルト、ズーム、および、フォーカス制御を行う技術が開示されている。それにより、ズーム時の任意のズーム地点への設定がタッチパネルを通して指定することが可能となる。

一方、通常、画像のズーム機能は、画像の特定領域（ズーム対象）をより詳細に見たい場合などに用いられる。そのため、ズーム対象は合焦状態で撮像されていることが好ましい。

しかし、カメラ等の撮像装置によっては画像のズーム機能が設定によって実質的に制限されている場合があり、ユーザーの意図に反して被写界深度の浅い画像が撮影されてしまう場合がある。

つまり、従来では、ユーザーの意図に関係なく、合焦状態ではない状態で撮像されてしまう場合があるということである。そして、合焦状態ではないズーム対象つまりぼけているズーム対象に対してズームを行うと、ズーム後（拡大表示後）の画像はより不鮮明となってしまうという問題がある。

特に、撮像後の画像を電子的にズーム（拡大表示）する場合には、ズーム後の画像はより不鮮明となる。さらに、画像の解像度を超える倍率まで拡大された場合には、ズーム対象を理解するのさえ困難となる場合がある。そのため、ズーム後の画像（ズーム画像）が十分に鮮明であるもしくはズーム画像で人がズーム対象を理解できるようにするために、ズーム前のズーム対象は合焦状態で撮像されていることが好ましい。

そこで、本発明の一態様は、このような状況に鑑みてなされたものであり、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示できる画像処理装置および画像処理方法を提供することを目的とする。

このような目的を達成するために、本発明の一態様に係る画像処理装置は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定部と、前記複数の画像のうちの第１画像を表示する表示部とを備え、前記表示部により表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される。

これにより、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示できる。

また、例えば、前記画像処理装置は、さらに、前記特定部により特定された複数の画像それぞれの第１合焦領域の和領域を合成することで第２合焦領域を生成する合成部を備え、前記表示部は、前記第１画像を表示するとともに、前記第１画像に重畳させた前記第２合焦領域を表示する。

また、例えば、さらに、少なくとも合焦位置の情報を含む撮影パラメータの異なる複数の画像を時間的に連続して撮影することで、前記複数の画像を撮影する撮影部を備えるとしてもよい。

また、例えば、前記特定部は、前記複数の画像それぞれに対応するデプス情報を用いて、前記複数の画像それぞれの第１合焦領域を特定するとしてもよい。

また、例えば、さらに、前記表示部により表示される前記第１画像の前記所定の位置が指定された場合に、前記複数の画像の中から前記第２画像を少なくとも選択するとともに、前記表示部に前記第２画像が表示されるまでの切替方法を設定する設定部と、前記設定部により設定された前記切替方法に従って、少なくとも前記第２画像の前記第１合焦領域を含む領域を拡大させたズーム画像を生成する画像生成部とを備え、前記表示部は、前記画像生成部により生成された少なくとも前記第２画像のズーム画像を、前記第２画像として、表示するとしてもよい。

また、例えば、前記設定部は、さらに、前記複数の画像それぞれに対応するデプス情報を取得し、取得した前記デプス情報に基づいて、前記切替方法を設定するとしてもよい。

また、例えば、前記設定部は、取得した前記デプス情報に基づいて、前記第２画像の第１合焦領域のデプス値と前記第１画像の第１合焦領域のデプス値との間のデプス値の第１合焦領域を有する第３画像を選択し、前記切替方法として、前記第２画像が前記表示部に表示されるまでの間に、前記第３画像が前記表示部に表示される旨を設定し、前記画像生成部は、前記切替方法に従って、前記第２画像の前記第１合焦領域に対応する前記第３画像の領域と前記第３画像の前記第１合焦領域とを含む領域を拡大させた第１ズーム画像と前記第２画像の前記第１合焦領域を含む領域を拡大させた第２ズーム画像とを少なくとも生成し、前記表示部は、前記画像生成部により生成された前記第１ズーム画像と前記第２ズーム画像とをこの順に表示するとしてもよい。

また、例えば、前記設定部は、前記切替方法として、前記第２画像が前記表示部に表示されるまでの間に、前記第２画像および前記第１画像を所定の比率で合成した第３画像が前記表示部に表示される旨を設定し、前記画像生成部は、前記切替方法に従って、前記第２画像の前記第１合焦領域に対応する前記第３画像の領域と前記第３画像の第１合焦領域とを含む領域とを拡大させた第１ズーム画像と、前記第２画像の第１合焦領域を含む領域を拡大した第２ズーム画像とを少なくとも生成し、前記表示部は、前記画像生成部により生成された前記第１ズーム画像と前記第２ズーム画像とをこの順に表示するとしてもよい。

また、例えば、さらに、前記所定の位置を自動で決定して、指定する決定部を備えるとしてもよい。

また、例えば、前記決定部は、前記合成部で生成された前記第２合焦領域内で前記所定の位置を決定するとしてもよい。

また、例えば、さらに、ユーザーからの入力を受け付けて、前記所定の位置を指定する受付部を備えるとしてもよい。

また、例えば、前記画像処理装置は、さらに、前記複数の画像間における前記同一の被写体の位置ずれ量を検出する検出部と、前記検出部で検出された位置ずれ量に基づいて、前記複数の画像間における前記同一の被写体の位置ずれ量を補正する補正部とを備えるとしてもよい。

また、上記目的を達成するために、本発明の一態様に係る画像処理方法は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定ステップと、表示部に前記複数の画像のうちの第１画像を表示する表示ステップとを含み、前記表示ステップにおいて表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る画像処理装置および画像処理方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図２は、実施の形態１に係る画像処理装置の概略構成を示すブロック図である。

図２に示す画像処理装置１００は、撮影部１０１、特定部１０２、合成部１０３、表示部１０４、設定部１０５、および画像生成部１０６を有する。

撮影部１０１は、少なくとも合焦位置の情報を含む撮影パラメータの異なる複数の画像を時間的に連続して撮影することで、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像を撮影する。

具体的には、撮影部１０１は、複数の画像用の撮影パラメータを取得し、少なくとも２枚以上の画像を、異なる撮影パラメータで撮像する。ここで、撮影パラメータは、少なくとも画像の合焦位置を含み、例えば合焦距離、開口などを示すパラメータを含む。以降の説明では、説明を簡単にするため、複数の画像それぞれは異なる合焦距離で撮影されたものとして説明するが、これに限るものではない。

このように、撮影部１０１は、異なる合焦距離の画像を複数枚撮影（撮像）することで、合焦領域の異なる複数の画像を得る。なお、複数の画像は、フォーカスブラケット撮影により連続撮影した画像でも構わないし、何らかの処理の中間画像として撮影された画像を用いても構わない。後者の例としては、撮影パラメータの異なる複数の画像を用いてデプス情報を推定するＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）や、複数の画像からフォーカス位置を決定するＡＦ（ａｕｔｏ ｆｏｃｕｓ）などがある。

図３Ａから図３Ｃは、撮影部で撮影された合焦距離の異なる画像の一例を示す図である。図４は、図３Ａ〜図３Ｃの画像における被写体のデプスマップを示す図である。なお、図４のデプスマップは、白いほどカメラからの距離が近く、黒いほどカメラからの距離が遠いことを表す。また、図３Ａ〜図３Ｃは、図４のデプスマップで表わされる距離にある被写体に対し、それぞれ合焦距離の異なる３枚の画像の例となっている。

なお、図３Ａ〜図４に示す被写体１１ａ、２１ａおよび３１ａ、被写体１１ｂ、２１ｂおよび３１ｂ、被写体１１ｃ、２１ｃおよび３１ｃ、並びに被写体１１ｄ、２１ｄおよび３１ｄはそれぞれ同一の被写体を示している。また、図３Ａに示す画像２ａは、合焦距離が奥に設定されて撮影されたため、被写体１１ａ、２１ａ、３１ａのうち、実線で表される被写体１１ａに合焦している。図３Ｂに示す画像２ｂは、被写体１１ｂ、２１ｂ、３１ｂのうち、合焦距離が中距離に設定されて撮影されたため、実線で表される被写体２１ｂに合焦している。図３Ｃに示す画像は、合焦距離が手前に設定されて撮影されたため、被写体１１ｃ、２１ｃ、３１ｃのうち、実線で表される被写体３１ｃに合焦している。

特定部１０２は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する。例えば、特定部１０２は、複数の画像それぞれに対応するデプス情報を用いて、複数の画像それぞれの第１合焦領域を特定する。

本実施の形態では、特定部１０２は、撮影部１０１で撮影された異なる合焦距離の複数の画像と、複数の画像それぞれが撮影された時の合焦距離およびデプス情報とを取得し（入力され）、各画像の合焦領域（第１合焦領域）を特定する。具体的には、特定部１０２は、各画像が撮影された時の合焦距離とデプス情報とを照合することで、各画像における合焦領域（第１合焦領域）を、例えば図５Ａ〜図５Ｃのように特定する。

ここで、図５Ａ〜図５Ｃは、撮影部で撮影された合焦距離の異なる画像の合焦領域の一例を示す図である。図５Ａの合焦領域３００１は図３Ａの被写体１１ａに対応する領域（被写体１１ａを含む領域）である。同様に、図５Ｂの合焦領域３００２は図３Ｂの被写体２１ｂと対応する領域であり、図５Ｃの合焦領域３００３は図３Ｃの被写体３１ｃと対応する領域である。なお、合焦領域３００１〜合焦領域３００３は、第１合焦領域の一例であり、合焦位置の被写体に対応する領域である。また、合焦領域３００１〜合焦領域３００３は、合焦位置の被写体とは重畳して表示される。

合成部１０３は、特定部１０２により特定された複数の画像それぞれの第１合焦領域の和領域を合成することで第２合焦領域を生成する。

具体的には、合成部１０３は、特定部１０２で特定した各画像の合焦領域マスク（第１合焦領域を示すマスク）が入力され、撮影部１０１で撮像された複数の画像全体の合焦領域を表すマスク（第２合焦領域を示すマスク）を生成する。以下、図を用いて具体的に説明する。図５Ｄは、図５Ａ〜図５Ｃを用いて合成された合成合焦領域を示す図である。また、図６Ａは、撮影された複数の画像のデプス値を示すデプス情報を示す図である。図６Ｂは、図６Ａに示す被写体の奥行きを示す図である。

合成部１０３は、特定部１０２で特定した第１合焦領域すなわち、合焦領域３００１〜合焦領域３００２の和領域を合成することで、図５Ｄに示す合成合焦領域３００４（第２合焦領域）を生成する。ここで、合成部１０３は、合成合焦領域３００４（第２合焦領域）を生成するとともに、例えば図６Ａまたは図６Ｂに示すように、撮影部１０１で撮影された画像の被写体１１ｆ、２１ｆ、３１ｆの奥行き値を示すデプス情報も生成するとしてもよい。なお、被写体１１ｆ、２１ｆ、３１ｆは、図５Ａ〜図５Ｃに示す被写体１１ａ〜１１ｃ、２１ａ〜２１ｃおよび３１ａ〜３１ｃと同一の被写体である。

表示部１０４は、複数の画像のうちの第１画像を表示する。

なお、表示部１０４は、複数の画像のうちの第１画像を表示するとともに、第１画像に重畳させて第２合焦領域を表示するとしてもよい。この場合、例えば、表示部１０４は、合成部１０３で生成された合成合焦領域マスク（第２合焦領域のマスク）を利用して、利用者が所定の位置（ズーム地点）を決定するための参照画像を表示する。ここで、参照画像とは、図５Ｄに示すような合成合焦領域３００４（第２合焦領域）を画像２ｃに重畳された画像２ｅ、すなわち複数の画像の第１画像と第１画像に重畳された第２合焦領域とを示す画像である。表示部１０４は、合成合焦領域マスク（第２合焦領域のマスク）を作用（重畳）させる参照画像（第１画像）として、図３Ａ〜図３Ｃのいずれか画像を第１画像として用いる。

なお、表示部１０４は、図３Ａ〜図３Ｃを基に表示用の画像を新たに生成して第１画像として表示するとしてもよい。また、表示部１０４は、必要に応じて、図６Ｂに示すような合成部１０３で生成されたデプス情報を、利用者が所定の位置（ズーム地点）を決定する際の補助情報として表示するとしてもよい。

また、利用者は、表示部１０４により表示された参照画像に表示される合成合焦領域（第２合焦領域）に対して、例えばタッチパネルなどのインターフェースを用いて所定の位置（ズーム地点）を決定する。なお、タッチパネルなどのインターフェースは、受付部の一例であり、受付部は、ユーザーからの入力（ズーム地点の決定）を受け付けて、合成合焦領域（第２合焦領域）におけるズーム地点の位置を指定する。

また、詳細は後述するが、表示部１０４は、画像生成部１０６により生成された少なくとも第２画像のズーム画像を表示する。また、表示部１０４は、画像生成部１０６により生成された第１ズーム画像と第２ズーム画像とをこの順に表示する。

なお、表示部１０４は、画像処理装置２００に構成されるとして説明しているが、それに限らない。画像処理装置２００の外部に構成されるとしてもよい。また、表示部１０４は、上記の参照画像を表示するが、画像生成部１０６により生成されたズーム画像は、画像処理装置２００の外部にある表示装置等に表示されるとしてもよい。

設定部１０５は、表示部１０４により表示される第１画像（もしくは第２合焦領域）内の所定の位置（例えばズーム地点）が指定された場合に、複数の画像の中からその所定の位置を含む第１合焦領域を有する第２画像を少なくとも選択するとともに、表示部１０４に第２画像が表示されるまでの切替方法を設定する。

ここで、設定部１０５は、複数の画像それぞれに対応するデプス情報を取得し、取得したデプス情報に基づいて、切替方法を設定するとしてもよい。

例えば、設定部１０５は、取得したデプス情報に基づいて、第２画像の第１合焦領域のデプス値と第１画像の第１合焦領域のデプス値との間のデプス値の第１合焦領域を有する第３画像を選択する。そして、設定部１０５は、切替方法として、第２画像が表示部１０４に表示されるまでの間に、第３画像が表示部１０４に表示される旨を設定するとしてもよい。また、例えば、設定部１０５は、切替方法として、第２画像が表示部１０４に表示されるまでの間に、第２画像および第１画像を所定の比率で合成した第３画像が表示部１０４に表示される旨を設定するとしてもよい。

具体例には、設定部１０５は、指定された所定の位置（ズーム地点）、特定部１０２で特定された各画像の合焦領域（第１合焦領域）、および、合成部１０３で生成された合成合焦領域（第２合焦領域）を用いて、切替方法の設定を行う。切替方法の詳細は後述する。

画像生成部１０６は、設定部１０５により設定された切替方法に従って、少なくとも第２画像の第１合焦領域を拡大させたズーム画像を生成する。

例えば、画像生成部１０６は、設定部１０５により設定された切替方法に従って、第２画像の第１合焦領域に対応する第３画像の領域と第３画像の第１合焦領域とを含む領域を拡大させた第１ズーム画像と第２画像の第１合焦領域を含む領域を拡大させた第２ズーム画像とを少なくとも生成するとしてもよい。また、例えば、画像生成部１０６は、設定部１０５により設定された切替方法に従って、第３画像の第１合焦領域を拡大させた第１ズーム画像と、第２画像の第１合焦領域を拡大した第２ズーム画像とを少なくとも生成するとしてもよい。

ここで、設定部１０５が設定する切替方法を例に挙げて説明する。以下では、画像生成部１０６により、設定部１０５が選択した第２画像のズーム画像が生成されて、表示部１０４に表示される場合について説明する。

切替方法としては、例えば、第２画像が表示されるまで途中に切り替わる画像の選択方法や第１画像から第２画像が表示されるまでの画像の遷移方法とがある。

まず、画像の選択方法について説明する。

以下では、第２画像として、図３Ａに示す画像２ａが選択されるとする。

具体的には、まず、例えば図５Ｄに示すように、図３Ｃの画像２ｃに合成合焦領域３００４（第２合焦領域）が重畳されて表示部１０４で表示されていた場合に、合成合焦領域３００４において所定の位置（ズーム地点）が指定されたとする。その場合、設定部１０５は、指定された所定の位置に対応する合成合焦領域３００４の部分（図５Ａの合焦領域３００１）のデプス値（デプスの距離）を確認する。すると、設定部１０５は、指定された所定の位置を第１合焦領域（合焦領域３００１）として有する画像は、図３Ａに示す画像２ａであることがわかる。そして、設定部１０５は、ズーム後の画像（第２画像もしくは第２画像のズーム画像）に図３Ａに示す画像２ａを選択する。

なお、図５Ｄでは、表示部１０４に表示されるズーム前の画像（第１画像）として、図３Ｃに示す画像２ｃが選択されている例を示しているが、それに限らない。被写体２１ｂが合焦位置で写っている図３Ｂに示す画像２ｂが選択されているとしてもよい。すなわち、撮影部１０１で撮影された複数の画像の中で、所定の位置（ズーム地点）のデプス値より手前側のデプス値の被写体が合焦して写っている画像が選択されていればよい。これは、ズーム画像の特性上、ズーム倍率と連動して被写体の合焦距離も変わると自然な見え方となるので、ズーム前の画像の被写体距離はズーム後の画像の被写体距離よりも手前側にあることが好ましいからである。

図７および図８は、ズーム前およびズーム後で表示部に表示される画像の一例を説明するための図である。図７および図８ともに、ズーム前は指定された被写体がぼけた状態であり、ズームを開始し、最大ズーム倍率に達した時点でその被写体が合焦状態となっている。

図７に示す例では、まず、設定部１０５は、ズーム前の画像として図３Ｂに示す画像２ｂを選択し、ズーム後の画像として図３Ａに示す画像２ａを選択する。また、設定部１０５は、この選択方法を示す切替方法（パラメータ）を設定する。次に、画像生成部１０６は、その選択方法に従って、図３Ａに示す画像２ａ（少なくとも被写体１１ａを含む領域）を拡大してズーム画像３を生成する。そして、表示部１０４は、ズーム前の画像として画像２ｂを表示し、ズーム後の画像としてズーム画像３を表示する。

一方、図８に示す例では、まず、設定部１０５は、ズーム前の画像として図３Ｃに示す画像２ｃを選択し、ズーム途中の画像として、図３Ｂに示す画像２ｂを選択し、ズーム後の画像として図３Ａに示す画像２ａを選択する。また、設定部１０５は、この選択方法を示す切替方法（パラメータ）を設定する。次に、画像生成部１０６は、その選択方法に従って、図３Ｂに示す画像２ｂ（少なくとも被写体１１ｂと被写体２１ｂとを含む領域）を拡大してズーム画像２ｂ’を生成し、図３Ａに示す画像２ａ（少なくとも被写体１１ａを含む領域）を拡大してズーム画像３を生成する。そして、表示部１０４は、ズーム前の画像として画像２ｃを表示し、ズーム途中の画像として、ズーム画像２ｂ’を表示し、ズーム後の画像としてズーム画像３を表示する。

なお、表示部１０４で指定された所定の位置にある被写体が最も手前側に写っている場合には、ズーム前、ズーム後共に図３Ｃに示す画像２ｃを選んでも構わない。すなわち、表示部１０４で、ズーム前の画像として図３Ｃに示す画像２ｃが表示され、ズーム後の画像として図３Ｃに示す画像２ｃのズーム画像が表示されるとしてもよい。また、ズーム後の画像に図３Ｃに示す画像２ｃのズーム画像、ズーム前の画像に図３Ａに示す画像２ａを選択するなどしてもよい。つまり、ズーム倍率と被写体の合焦距離とは必ずしも連動しなくても構わない。

また、最大ズーム倍率は、予め決められた固定値でも良いし、表示部１０４で指定された被写体の物体距離に応じて変わる値であっても良い。

次に、ズーム画像の遷移方法について説明する。

以下でも、第２画像として、図３Ａに示す画像２ａが選択されるとして説明する。

図９および図１０は、ズーム前からズーム後までに表示部で表示される画像の遷移の一例を説明するための図である。

図９に示す例では、遷移方法として、ズーム開始からズーム途中までは図３Ｂに示す画像２ｂを使い続け、最大ズーム倍率時（ズーム後）に図３Ａに示す画像２ａに切り替えるようにズーム画像を遷移させる例が示されている。

具体的には、まず、設定部１０５は、ズーム前からズーム途中の画像として図３Ｂに示す画像２ｂを選択し、ズーム後の画像として図３Ａに示す画像２ａを選択するとともに、このような遷移方法を示す切替方法（パラメータ）を設定する。次に、画像生成部１０６は、その遷移方法に従って、図３Ｂに示す画像２ｂを拡大し、ズーム倍率が異なるズーム画像４および５を生成する。また、画像生成部１０６は、図３Ａに示す画像２ａ（少なくとも被写体１１ａに対応する領域を含む領域）を拡大してズーム画像３を生成する。そして、表示部１０４は、ズーム前（ズーム開始）の画像として画像２ｂを表示し、ズーム途中の画像として、ズーム画像４および５を表示し、ズーム後の画像としてズーム画像３を表示する。

また、図１０に示す例では、遷移方法として、ズーム開始は図３Ｂに示す画像２ｂを用い、最大ズーム倍率時（ズーム後）には図３Ａに示す画像２ａを用い、その間は図３Ｂに示す画像２ｂと図３Ａに示す画像２ａとを所定の比率で合成（ブレンド）した画像を切替えながらズーム画像を遷移させる例が示されている。

具体的には、まず、設定部１０５は、ズーム前（ズーム開始）の画像として図３Ｂに示す画像２ｂを選択し、ズーム途中の画像として図３Ｂに示す画像２ｂと図３Ａに示す画像２ａとを所定の比率で合成（ブレンド）した画像を選択し、ズーム後の画像として図３Ａに示す画像２ａを選択するとともに、このような遷移方法を示す切替方法（パラメータ）を設定する。次に、画像生成部１０６は、その遷移方法に従って、図３Ｂに示す画像２ｂと図３Ａに示す画像２ａとを所定の比率で合成（ブレンド）した画像を拡大し、ズーム倍率が異なるズーム画像６および７を生成する。また、画像生成部１０６は、図３Ａに示す画像２ａ（少なくとも被写体１１ａに対応する領域を含む領域）を拡大してズーム画像３を生成する。そして、表示部１０４は、ズーム前の画像として画像２ｂを表示し、ズーム途中の画像として、ズーム画像６および７を表示し、ズーム後の画像としてズーム画像３を表示する。

このように設定部１０５で設定された選択方法や遷移方法などの切替方法（パラメータ）と、撮影部１０１で撮影した複数の画像とに基づいて、画像生成部１０６ではズーム画像が生成され、表示部１０４で表示される。

なお、上述の切替方法の説明では、ズーム画像は、元画像を拡大したものであるとして説明したが、それに限らない。等倍すなわち１．０倍のものもズーム画像としてもよい。等倍の画像を用いる場合には、設定部１０５により選択された所定の位置を含む合焦領域を有する画像に切り替えるのみとなる。

次に、以上のように構成された画像処理装置１００の処理の流れについて、図１１を用いて説明する。

図１１は、本実施の形態における画像処理装置の処理の流れについて説明するための図である。

まず、撮影部１０１は、異なる撮影パラメータで合焦位置の異なる複数の画像を撮影する（Ｓ１０１）。

次に、特定部１０２は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する（Ｓ１０２）。具体的には、まず、特定部１０２は、Ｓ１０１で撮影された複数の画像が入力され、それとともに少なくとも合焦位置の情報を含む撮影パラメータを、各画像と対応付けて取得する（Ｓ１０２１）。続いて、特定部１０２は、Ｓ１０１で撮影された複数の画像のデプス情報を取得する（Ｓ１０２２）。続いて、特定部１０２は、デプス情報を利用して、Ｓ１０１で撮影された複数の画像の第１合焦領域を個別に特定する（Ｓ１０２３）。

次に、合成部１０３は、特定部１０２で特定した第１合焦領域の和領域を合成することで、第２合焦領域を生成する（Ｓ１０３）。つまり、合成部１０３は、Ｓ１０５で個別に特定された第１合焦領域を合成することで、複数の画像全体で合焦されている領域（第２合焦領域）を生成する。

次に、表示部１０４は、複数の画像のうちの第１画像を表示するとともに、第１画像に重畳させて第２合焦領域を表示する（Ｓ１０４）。すなわち、表示部１０４は、Ｓ１０５で生成した第２合焦領域を表示する。また、表示部１０４は、ＵＩ表示などで、利用者にズーム地点の指定を促す。なお、表示部１０４は、上述したように第２合焦領域を表示せず、複数の画像のうちの第１画像を表示するのみとしてもよい。

次に、設定部１０５は、第２合焦領域内のズーム地点が指定された場合に、そのズーム地点を含む第１合焦領域を有する第２画像を少なくとも選択するとともに、表示部１０４に選択した前記第２画像が表示されるまでの切替方法を設定する（Ｓ１０５）。

具体的には、まず、設定部１０５は、利用者に指定された所定の位置をズーム画像のズーム地点として設定する（Ｓ１０５１）。続いて、設定部１０５は、ズーム地点として指定された第２合焦領域のデプス情報を用いて、Ｓ１０１で撮影された複数の画像の中から表示に使用する画像を選択する（Ｓ１０５２）。ここで、ズーム画像を生成する画像も選択するとしてもよい。つまり、設定部１０５は、第２画像が表示されるまでの途中に切り替わる画像の選択方法を設定する。続いて、設定部１０５は、Ｓ１０５２で選択された画像を、例えばズーム倍率の変化と共にどのように画像を遷移させていくかのなどの遷移方法を決定する（Ｓ１０５３）。つまり、設定部１０５は、第１画像を切り替えて第２画像が表示されるまでの画像の遷移方法を設定する。

次に、画像生成部１０６は、設定部１０５により設定された切替方法に従って、少なくとも第２画像の第１合焦領域を拡大させたズーム画像を生成する（Ｓ１０６）。例えば、画像生成部１０６は、Ｓ１０５２で選択された画像と、Ｓ１０５３で決定された遷移方法に従ってズーム画像を生成する。

最後に、表示部１０４は、Ｓ１０５２で選択された画像を表示する。ここで、Ｓ１０６で画像生成部１０６により生成されたズーム画像があれば、対応する画像に替えてズーム画像を表示する。

以上、本実施の形態によれば、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる画像処理装置および画像処理方法を実現することができる。

例えば、ぼけた領域を含む画像（所定の位置を含む画像領域）に対してズーム機能を用いる際には、ズーム可能な領域を拡張させることができるので、ズーム機能を有効に行うことができる。

また、本実施の形態の画像処理装置および画像処理方法によれば、撮影パラメータの異なる複数枚の画像をズーム倍率に応じて切り替えることができる。それにより、画像の合焦状態によって実質的に制限のあった従来のズーム機能（合焦状態によるズーム機能の制限）を緩和することができるだけでなく、ズーム機能の有効な領域を広げることができる。

このように、本実施の形態によれば、合焦位置の異なる複数の画像を用いることで、ぼけた領域でも鮮明な状態の画像に切り替えもしくはズーム画像を表示できる。

より具体的には、本実施の形態の画像処理装置および画像処理方法によれば、複数の画像の第１合焦領域を特定し、表示画像ではぼけた領域を含んでいても複数の画像にまたがる第２合焦領域を表示する。それにより、第２合焦領域のズーム地点がタッチ等で指定された場合に、ズーム倍率を高めると同時に、その時のズーム倍率と対応する合焦範囲を有する画像を切り替えながらズームを行うことができるので、ぼけた領域でも鮮明な状態でズーム可能となる。

なお、本実施の形態の画像処理装置および画像処理方法では、例えば画像のズームを行う際のズーム地点の決定にはタッチパネルなどで入力（指定）されるとしてもよい。

（実施の形態２）
実施の形態２における画像処理装置２００について、図１２を参照しながら説明する。

図１２は、実施の形態２に係る画像処理装置の概略構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。図１２に示す画像処理装置２００は、撮影部１０１、特定部１０２、合成部１０３、表示部１０４、設定部１０５、画像生成部１０６、検出部２０７、および補正部２０８を有する。図１２に示す画像処理装置２００は、図２に示す画像処理装置１００に対して、検出部２０７と補正部２０８とを備える点で異なっている。以下では、実施の形態１の画像処理装置１００と異なる構成要素についてのみ説明を行う。

ところで、検出部２０７と補正部２０８とを導入する目的は、下記の通りである。撮影部１０１で撮影される複数の画像は、それぞれ異なる時間に撮影されている。そのため、例えば１枚目と２枚目が撮影される間に、撮影部１０１を備えるカメラもしくは被写体が動いてしまうと、１枚目と２枚目の画像で被写体位置が一致しなくなる可能性がある。その場合の複数の画像でズーム画像を生成した場合、表示部１０４で表示される画像が切り替えられる時には被写体位置も同時に切り替わることになるため、利用者に違和感を与えてしまう場合がある。

図１３Ａ〜図１３Ｄは、本実施の形態における検出部と補正部とを導入する目的を説明するための図である。図１３Ａおよび図１３Ｂは、本実施の形態における時間的に連続して撮影された複数の画像の一例を示す図であり、被写体の位置が変わった例を示している。図１３Ｃは、図１３Ａおよび図１３Ｂに示す画像が表示部で表示されたときの位置ずれを説明するための図である。

表示部１０４で、図１３Ａに示す画像８ａから図１３Ｂに示す画像８ｂに切り替えられる際には、図１３Ｃに示すように例えば被写体１２ａおよび被写体１２ｂならびに被写体２２ａおよび被写体２２ｂの位置のずれが目立つ。なお、被写体３２ａと被写体３２ｂの位置のずれは目立たない。

そこで、これを避けるために、検出部２０７と補正部２０８とを用いて、撮影部１０１で撮像される複数の画像間の位置ずれを修正し、図１３Ｄに示すように複数の画像間での被写体位置を一致させる。

検出部２０７は、複数の画像間における同一の被写体の位置ずれ量を検出する。

具体的には、検出部２０７は、撮影部１０１で撮影された複数の画像が入力され、入力された複数の画像間の位置ずれ量を検出する。なお、位置ずれ量の検出方法としては、動きベクトル算出などの従来手法を用いて動きを検出して検出すればよいので、詳細な説明は割愛する。また、検出部２０７は、複数の画像間で被写体の位置を合わせるため、位置ずれ量を検出する際には、複数画像のうちの１枚を基準とした位置ずれ量を算出する。例えば、検出部２０７は、複数の画像が３枚の場合は、２枚目の画像に対する１枚目の画像の位置ずれ量、２枚目の画像に対する３枚目の画像の位置ずれ量を検出する。

補正部２０８は、検出部２０７で検出された位置ずれ量に基づいて、複数の画像間における被写体の位置ずれ量を補正する。

具体的には、補正部２０８は、撮影部１０１で撮影された複数の画像と、検出部２０７で検出された位置ずれ量とを入力とし、複数の画像間の位置ずれ量を補正する。補正部２０８は、例えば、図１３Ａに示す画像８ａと図１３Ｂに示す画像８ｂの位置ずれ量を算出した場合には、検出部２０７で１枚目に対する２枚目の位置ずれ量を検出すことで、図１３Ｄに示す画像９のように被写体の位置ずれが補正される。

以上、本実施の形態によれば、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる画像処理装置および画像処理方法を実現することができる。

（実施の形態３）
実施の形態３における画像処理装置３００について、図１４を参照しながら説明する。

図１４は、実施の形態３に係る画像処理装置の概略構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。図１４に示す画像処理装置２００は、撮影部１０１、特定部１０２、合成部１０３、設定部１０５、画像生成部１０６、検出部２０７、および補正部２０８を有する。図１４に示す画像処理装置３００は、図２に示す画像処理装置１００に対して、表示部１０４を備えず、決定部３０９を備える点で異なっている。

実施の形態１では、表示部１０４の表示を通して、利用者からズーム地点（所定の位置）を指定した場合の例について説明した。これに対し、実施の形態３では、利用者にズーム地点（所定の位置）を指定してもらう代わりに、決定部３０９が自動でズーム地点の設定を行う。

決定部３０９は、所定の位置を自動で決定して指定する。また、決定部３０９は、合成部１０３で生成された第２合焦領域内で所定の位置を決定する。つまり、決定部３０９は、第２合焦領域に基づいて、第２合焦領域の範囲内でズーム地点の自動設定を行う。

なお、決定部３０９は、第２合焦領域が重畳される検出用の画像（第１画像）として、撮影部１０１で撮影された画像のうち、どの画像を用いてもよい。検出用の画像を合成などして生成した上で用いてもよい。ズーム地点の検出方法は何を用いても良く、例えば、顔検出で検出された人物顔をズーム地点としても良い。

以上のように、本発明によれば、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる画像処理装置および画像処理方法を実現することができる。

なお、実施の形態１〜３にかかる画像処理装置は、撮影部１０１、特定部１０２、合成部１０３、設定部１０５、および画像生成部１０６を少なくとも備えるとして説明したが、それに限られない。図１５に示すように、画像処理装置の最小構成として、最小構成部１００ａを備えていればよい。すなわち、特定部１０２および表示部１０４を備えていればよい。ここで、図１５は、本発明の画像処理装置の最小構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、詳細な説明は省略する。

本発明の画像処理装置は、最小構成部１００ａを少なくとも備えることにより、表示画像の指定された所定の位置を含む画像領域を鮮明な状態で表示することができる。

また、本発明の画像処理方法は、典型的には図１１に示す処理を行うとして説明したが、それに限られない。図１５に示す最小構成部１００ａにより、図１６に示すステップを少なくとも行うのであればよい。ここで、図１６は、本発明の画像処理装置の最小構成部の処理を示す図である。

より具体的には、まず、特定部１０２は、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する（Ｓ２０１）。詳細はＳ１０２と同様のため説明は省略する。

次に、表示部１０４に複数の画像のうちの第１画像を表示する（Ｓ２０２）。詳細はＳ１０４で説明した通りであるため説明を省略する。

そして、最小構成部１００ａは、表示された第１画像の所定の位置が指定された場合に、複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像を少なくとも選択するとともに、表示部１０４に選択した第２画像を表示する（Ｓ２０３）。

なお、Ｓ２０３に示す処理は、Ｓ１０５およびＳ１０６の処理の一部であり、Ｓ１０５２とＳ１０６とを少なくとも含む処理である。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定ステップと、表示部に前記複数の画像のうちの第１画像を表示する表示ステップとを実行させ、前記表示ステップにおいて表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される。

以上、本発明の一つまたは複数の態様に係る画像処理装置および画像処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、民生用もしくは業務用の撮像装置（デジタルスチルカメラ、ビデオカメラ）、または携帯端末などの機器に利用でき、特に撮像装置により異なる撮影パラメータで撮像された複数画像とデプス情報とを用い、画像を切り替えながらのズーム画像を生成する画像処理装置および画像処理方法に利用できる。

１、１ａ、１ｂ、１ｃ、１ｄ、１ｅ、２、２ａ、２ｂ、２ｃ、２ｅ、８ａ、８ｂ、９ 画像
２ｂ’、３、４、６、７ ズーム画像
１０、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｆ、１２ａ、１２ｂ、２０、２１ｂ、２２ａ、２２ｂ、３０、３１ｃ、３２ａ、３２ｂ 被写体
１００、２００、３００ 画像処理装置
１００ａ 最小構成部
１０１ 撮影部
１０２ 特定部
１０３ 合成部
１０４ 表示部
１０５ 設定部
１０６ 画像生成部
２０７ 検出部
２０８ 補正部
３０９ 決定部
３００１、３００２、３００３ 合焦領域
３００４ 合成合焦領域

Claims (14)

1. 同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定部と、
   前記複数の画像のうちの第１画像を表示する表示部とを備え、
   前記表示部により表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される、
   画像処理装置。
2. 前記画像処理装置は、さらに、
   前記特定部により特定された複数の画像それぞれの第１合焦領域の和領域を合成することで第２合焦領域を生成する合成部を備え、
   前記表示部は、前記第１画像を表示するとともに、前記第１画像に重畳させた前記第２合焦領域を表示する、
   請求項１に記載の画像処理装置。
3. さらに、少なくとも合焦位置の情報を含む撮影パラメータの異なる複数の画像を時間的に連続して撮影することで、前記複数の画像を撮影する撮影部を備える、
   請求項１または２に記載の画像処理装置。
4. 前記特定部は、前記複数の画像それぞれに対応するデプス情報を用いて、前記複数の画像それぞれの第１合焦領域を特定する、
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. さらに、
   前記表示部により表示される前記第１画像の前記所定の位置が指定された場合に、前記複数の画像の中から前記第２画像を少なくとも選択するとともに、前記表示部に前記第２画像が表示されるまでの切替方法を設定する設定部と、
   前記設定部により設定された前記切替方法に従って、少なくとも前記第２画像の前記第１合焦領域を含む領域を拡大させたズーム画像を生成する画像生成部とを備え、
   前記表示部は、前記画像生成部により生成された少なくとも前記第２画像のズーム画像を、前記第２画像として、表示する、
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記設定部は、さらに、前記複数の画像それぞれに対応するデプス情報を取得し、取得した前記デプス情報に基づいて、前記切替方法を設定する、
   請求項５に記載の画像処理装置。
7. 前記設定部は、取得した前記デプス情報に基づいて、前記第２画像の第１合焦領域のデプス値と前記第１画像の第１合焦領域のデプス値との間のデプス値の第１合焦領域を有する第３画像を選択し、前記切替方法として、前記第２画像が前記表示部に表示されるまでの間に、前記第３画像が前記表示部に表示される旨を設定し、
   前記画像生成部は、前記切替方法に従って、前記第２画像の前記第１合焦領域に対応する前記第３画像の領域と前記第３画像の前記第１合焦領域とを含む領域を拡大させた第１ズーム画像と前記第２画像の前記第１合焦領域を含む領域を拡大させた第２ズーム画像とを少なくとも生成し、
   前記表示部は、前記画像生成部により生成された前記第１ズーム画像と前記第２ズーム画像とをこの順に表示する、
   請求項６に記載の画像処理装置。
8. 前記設定部は、前記切替方法として、前記第２画像が前記表示部に表示されるまでの間に、前記第２画像および前記第１画像を所定の比率で合成した第３画像が前記表示部に表示される旨を設定し、
   前記画像生成部は、前記切替方法に従って、前記第２画像の前記第１合焦領域に対応する前記第３画像の領域と前記第３画像の第１合焦領域とを含む領域とを拡大させた第１ズーム画像と、前記第２画像の第１合焦領域を含む領域を拡大した第２ズーム画像とを少なくとも生成し、
   前記表示部は、前記画像生成部により生成された前記第１ズーム画像と前記第２ズーム画像とをこの順に表示する、
   請求項６に記載の画像処理装置。
9. さらに、前記所定の位置を自動で決定して、指定する決定部を備える、
   請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記特定部により特定された複数の画像それぞれの第１合焦領域の和領域を合成することで第２合焦領域を生成する合成部を備え、
    前記決定部は、
    前記合成部で生成された前記第２合焦領域内で前記所定の位置を決定する、
    請求項９に記載の画像処理装置。
11. さらに、ユーザーからの入力を受け付けて、前記所定の位置を指定する受付部を備える、
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理装置は、さらに、
    前記複数の画像間における前記同一の被写体の位置ずれ量を検出する検出部と、
    前記検出部で検出された位置ずれ量に基づいて、前記複数の画像間における前記同一の被写体の位置ずれ量を補正する補正部とを備える、
    請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定ステップと、
    表示部に前記複数の画像のうちの第１画像を表示する表示ステップとを含み、
    前記表示ステップにおいて表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される、
    画像処理方法。
14. 同一の被写体が撮影された複数の画像であって合焦位置の異なる複数の画像それぞれの第１合焦領域を特定する特定部を備え、
    前記複数の画像のうちの第１画像を表示する表示部により表示される前記第１画像の所定の位置が指定された場合に、前記複数の画像の中から前記所定の位置を含む前記第１合焦領域を有する第２画像が少なくとも選択されるとともに、前記表示部に選択された前記第２画像が表示される、
    集積回路。

Images