JP5893713B1 - 撮像装置、撮像方法、処理プログラム - Google Patents

Abstract

【課題】画像の取得や処理に要する時間を短縮して、メモリ容量を節約し、被写界深度が深い高解像度画像を生成することができる撮像装置等を提供する。【解決手段】あるフォーカス位置で画素ずらし撮影して取得した複数の画像データを画素ずらし合成して合成画像データを生成する画素ずらし合成処理部３０と、画素ずらし合成処理部３０に生成させたフォーカス位置の異なる複数の合成画像データを深度合成する深度合成処理部３１と、複数のフォーカス位置の１つ以上において合焦領域を抽出するマイクロコンピュータ４５と、を備え、画素ずらし合成処理部３０は、合焦領域が抽出されたフォーカス位置については合焦領域を含む部分画像領域のみについて画素ずらし合成を行う撮像装置。【選択図】図１

Description

本発明は、画素ずらしおよび深度合成を行って被写界深度の深い高解像度の合成画像データを生成する撮像装置、撮像方法、処理プログラムに関する。

画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像データを合成し、高解像度の合成画像データを生成する技術は、従来より提案されている。

例えば、特開平６−２２５３１７号公報には、ベイヤ配列の撮像素子を水平方向、垂直方向、あるいは斜め方向に０．５画素あるいは１画素ずらしさせて４回または８回の撮影を行い、得られた４枚または８枚の画像を合成することにより、水平方向および垂直方向に２倍の解像度をもつ画像を生成する技術が記載されている。

また、フォーカス位置を変更しながら複数枚の画像を取得するフォーカスブラケット撮影を行い、得られた複数の画像を深度合成することにより、合焦範囲を拡大した被写界深度の深い画像を得る技術も従来より提案されている。

例えば、特許第４６７８６０３号公報には、フォーカスブラケット撮影により複数枚の画像を取得して、各画像の特徴点が一致するように画像を変形し、複数枚の画像間において対応する画素の内で最も鮮鋭度の高い画素を選択して合成することで、画面全体に焦点の合った全焦点画像を出力する技術が記載されている。

特開平６−２２５３１７号公報 特許第４６７８６０３号公報

上記特開平６−２２５３１７号公報に記載されたような画素ずらし技術により高解像度の画像を生成すると、ピントが合っている部分は高解像度化されるが、元々ピントが合っていない部分については高解像化されない。例えば、マクロ撮影などの場合には、被写体の全体にピントを合わせるのが困難であることが多いために、ピントが合っている部分とピントが合っていない部分との解像度差が大きくなり、通常の１枚撮影の画像に比べてさらに被写界深度が浅い画像が生成されてしまう。

被写界深度を深くするにはレンズ絞り開口径を小さくすれば良いが、レンズ絞り開口径を小さくすると、今度は回折の影響によりピントが合っている部分の像もぼけてしまうために、高解像度の画像を得るにはある程度の大きさでレンズ絞りを開けておく必要がある。

そこで、レンズ絞りを小さくすることなく被写界深度が深い画像を得る方法として、上記特許第４６７８６０３号公報に記載されたようなフォーカスブラケット撮影および深度合成を行う技術を利用することが考えられる。しかしながら、画素ずらし撮影とフォーカスブラケット撮影との両方を行う場合には、取得する画像枚数は、（画素ずらしに必要な画像枚数）×（フォーカスブラケット枚数）となり、例えば画素ずらしが８枚、フォーカスブラケットが１０枚の場合には、１枚の合成画像を得るために８０枚もの画像を撮影することになる。従って、長い撮影時間を要するだけでなく、画像を合成するのにも長い時間を要し、さらに、膨大な枚数の画像を合成処理するにはＳＤＲＡＭ等のメモリも大容量のものが必要となる。

本発明は上記事情に鑑みてなされたものであり、画像の取得や処理に要する時間を短縮して、メモリ容量を節約し、被写界深度が深い高解像度画像を生成することができる撮像装置、撮像方法、処理プログラムを提供することを目的としている。

本発明のある態様による撮像装置は、あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理部と、複数のフォーカス位置に対して上記画素ずらし処理部に処理を行わせて、フォーカス位置の異なる複数の画素ずらし合成画像データを生成させ、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理部と、複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出部と、を具備し、上記画素ずらし処理部は、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行う。

本発明のある態様による撮像方法は、あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理ステップと、複数のフォーカス位置に対して上記画素ずらし処理ステップを実行して、フォーカス位置の異なる複数の画素ずらし合成画像データを生成し、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理ステップと、複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出ステップと、を有し、上記画素ずらし処理ステップは、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うステップである。

本発明のある態様による処理プログラムは、コンピュータに、あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理ステップと、複数のフォーカス位置に対して上記画素ずらし処理ステップを実行して、フォーカス位置の異なる複数の画素ずらし合成画像データを生成し、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理ステップと、複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出ステップと、を実行させるための処理プログラムであって、上記画素ずらし処理ステップは、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うステップである。

本発明の撮像装置、撮像方法、処理プログラムによれば、画像の取得や処理に要する時間を短縮して、メモリ容量を節約し、被写界深度が深い高解像度画像を生成することができる。

本発明の実施形態１におけるデジタルカメラの構成を示すブロック図。 上記実施形態１の画素ずらし合成処理部の構成を示すブロック図。 上記実施形態１において、１つのフォーカス位置における画素ずらし撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図。 上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＲ画素配置を示す図。 上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＧｒ画素配置を示す図。 上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＧｂ画素配置を示す図。 上記実施形態１において、図３に示す画素配置の８枚分のベイヤ画像から画素配置部により得られたＢ画素配置を示す図。 上記実施形態１において、大きい絞り開口径で撮影された画像の例を示す図。 上記実施形態１において、小さい絞り開口径で撮影された画像の例を示す図。 上記実施形態１において、図８に示す画像および図９に示す画像の鮮鋭度を比較して抽出された合焦領域の様子を示す図。 上記実施形態１において、合焦領域抽出部により設定される画素ずらし撮像領域を示す図。 上記実施形態１において、合焦領域抽出部により画素ずらし撮像領域内において設定される画像取得領域を示す図。 上記実施形態１において、画素ずらし部により行われる画素ずらしの経路を示す図。 上記実施形態１のデジタルカメラにおけるメイン処理の流れを示すフローチャート。 上記実施形態１のデジタルカメラにおける撮影および合成処理の流れを示すフローチャート。 上記実施形態１のデジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャート。 上記実施形態１のデジタルカメラにおける深度合成処理の流れを示すフローチャート。 上記実施形態１の方法と対比される従来と同様の方法により、画素ずらしおよび深度合成を行うための画像を取得したときの画像データ量の例を示す図。 上記実施形態１の方法により画素ずらしおよび深度合成を行うための画像を取得したときの画像データ量の例を概略的に示す図。 本発明の実施形態２のデジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャート。 本発明の実施形態３のデジタルカメラにおける撮影および合成処理の流れを示すフローチャート。 上記実施形態３のデジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャート。 上記実施形態３のデジタルカメラにおける画素ずらし合成および深度合成処理の流れを示すフローチャート。 上記実施形態３のデジタルカメラにおける深度合成処理の流れを示すフローチャート。 本発明の実施形態４におけるデジタルカメラの構成を示すブロック図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１９は本発明の実施形態１を示したものであり、図１はデジタルカメラの構成を示すブロック図である。本実施形態は、撮像装置をデジタルカメラに適用したものとなっている。

このデジタルカメラは、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されている。

交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信できるようになっている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。

レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮像光学系である。

絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。

ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

なお、後述する高深度超解像撮影モードにおいてフォーカスブラケットおよび画素ずらしを行いながら複数枚の画像データを取得する場合には、レンズ１１はフォーカスブラケットに応じてフォーカス位置を順次変更される。また、絞り１２は、本実施形態においては、フォーカスブラケット撮影におけるそれぞれのフォーカス位置において、合焦領域を抽出するために、開口径を大小に異ならせて２枚の画像を取得する際に駆動される。

フラッシュメモリ１４は、マイクロコンピュータ１５により実行される処理プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、マイクロコンピュータ１５は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ４５と通信し、マイクロコンピュータ４５からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４５へ送信する。

インタフェース３は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４５とを、双方向に通信できるように接続する。

次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、ボイスコイルモータ（ＶＣＭ）２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス２６と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、画素ずらし合成処理部３０と、深度合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、モニタ３８と、ホール素子３９と、メモリインタフェース（メモリＩ／Ｆ）４１と、記録媒体４２と、操作部４３と、フラッシュメモリ４４と、マイクロコンピュータ４５と、を備えている。

メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このメカニカルシャッタ２１は、マイクロコンピュータ４５の指令により駆動されて、光束の撮像素子２２への到達時間を制御する。メカニカルシャッタ２１のみで露光開始および露光終了を規定する場合には、この光束の到達時間が撮像素子２２による被写体の露光時間となる。なお、後述する高深度超解像撮影モードにおいてフォーカスブラケットおよび画素ずらしを行いながら複数枚の画像データを取得する場合には、メカニカルシャッタ２１は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開いた状態に維持される。

撮像素子２２は、所定の画素ピッチ（図１３等に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、画素ずらし撮像制御部（撮像制御部であり、画素ずらし処理部の一部）およびフォーカスブラケット撮像制御部（撮像制御部であり、深度処理部の一部）であるマイクロコンピュータ４５の制御に基づき、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２２は、全画素読出ができるだけでなく、さらに、所望のライン、もしくは所望の領域（あるいは所望の画素）の画素信号を読み出しできるものとなっている。

本実施形態の撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

ボイスコイルモータ（ＶＣＭ）２３は、画素ずらし処理部の一部であって、撮像素子２２と、撮像素子２２により受光される光束と、の上述した２次元状の画素配列方向の相対位置を変位させるものであり、フレーム期間の移動量が画素ピッチの非整数倍（例えば半画素ピッチ単位）（図１３等）となるように移動させる画素ずらし部、変位部である。具体的なボイスコイルモータ（ＶＣＭ）２３の構成は、例えば、撮像素子２２を磁力で宙に浮かせて磁力を制御することにより、レンズ１１の光軸に垂直な面内で撮像素子２２の位置を移動するものとなっている。

なお、ここでは画素ずらし部としてボイスコイルモータ（ＶＣＭ）２３を例に挙げているが、これに限るものではなく、画素ずらしを行い得るその他の適宜の機構を用いても構わない。

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。

バス２６は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、ボイスコイルモータ（ＶＣＭ）２３と、Ａ／Ｄ変換部２５と、ＳＤＲＡＭ２７と、ＡＦ処理部２８と、ＡＥ処理部２９と、画素ずらし合成処理部３０と、深度合成処理部３１と、画像処理部３２と、ＪＰＥＧ処理部３６と、モニタドライバ３７と、ホール素子３９と、メモリＩ／Ｆ４１と、マイクロコンピュータ４５と、に接続されている。

Ａ／Ｄ変換部２５から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス２６を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。

ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは画素ずらし合成処理部３０、深度合成処理部３１、画像処理部３２、ＪＰＥＧ処理部３６等において処理された画像データ等の各種データを一時的に記憶する記憶部である。

ＡＦ処理部２８は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。

ＡＥ処理部２９は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカニカルシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。

画素ずらし合成処理部３０は、画素ずらし処理部の一部であって、画素ずらし撮像制御部であるマイクロコンピュータ４５の制御により、あるフォーカス位置においてボイスコイルモータ（ＶＣＭ）２３を駆動して撮像素子２２を移動させ撮影し取得された複数枚の画像データを画素ずらし合成処理して、撮像素子２２から得られる画像データよりも高解像度の画素ずらし合成画像データ（超解像画像とも呼ばれる）を生成するものである。この画素ずらし合成処理部３０は、フォーカスブラケット撮像制御部であるマイクロコンピュータ４５の制御により取得された、画素ずらしされた複数枚の画像データの、フォーカス位置の異なる複数セットをセット毎に（つまりフォーカス位置毎に）画素ずらし合成処理して、フォーカス位置の異なる複数枚の高解像度の画素ずらし合成画像データを生成するようになっている。

深度合成処理部３１は、深度処理部の一部であって、画素ずらし合成処理部３０により生成されたフォーカス位置の異なる複数枚の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成するものである。より具体的に、深度合成処理部３１は、画素ずらし合成処理部３０により生成されたフォーカス位置の異なる複数枚の画素ずらし合成画像データの各画素の鮮鋭度を算出して、各画素位置における最も鮮鋭度の高い画素の画素値をその画素位置の画素値に設定する深度合成処理を行うことで、撮像素子から得られる画像データよりも被写界深度の深い画像を合成する。

画像処理部３２は、ＲＡＷ画像データあるいは画素ずらし合成処理部３０および深度合成処理部３１により生成された画像データに対して種々の画像処理を行うものであり、同時化処理部３３、エッジ強調処理部３４、ノイズ低減処理部３５を含んでいる。

同時化処理部３３は、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う。

エッジ強調処理部３４は、画像データにエッジ強調処理を行うものである。

ノイズ低減処理部３５は、画像データに空間周波数に応じたコアリング処理などを行うことによりノイズ低減処理を行う。

こうして画像処理部３２によって各種の処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。

ＪＰＥＧ処理部３６は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出して、読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２７に一旦記憶させる。こうしてＳＤＲＡＭ２７に記憶された圧縮した画像データは、マイクロコンピュータ４５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ４５の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４１を介して記録媒体４２に記録される。

また、ＪＰＥＧ処理部３６は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ４５の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４１を介して記録媒体４２から読み出され、ＳＤＲＡＭ２７に一旦記憶される。ＪＰＥＧ処理部３６は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。

モニタドライバ３７は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、モニタ３８を駆動制御して映像信号に基づく画像をモニタ３８に表示させる。このモニタドライバ３７により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体４２に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

モニタ３８は、上述したようなモニタドライバ３７の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。

ホール素子３９は、ボイスコイルモータ（ＶＣＭ）２３により移動される撮像素子２２の撮影動作中の上述した相対位置を時系列に検出する位置検出部である。ここでは位置検出部としてホール素子３９を用いているが、ホール素子３９に限定されるものでないことは勿論である。

メモリＩ／Ｆ４１は、上述したように、画像データの記録媒体４２への書き込み、および記録媒体４２からの画像データの読み出しを行う。

記録媒体４２は、画像データを不揮発に記憶するものであり、例えばカメラ本体２に着脱できるようなメモリカード等により構成されている。ただし、記録媒体４２は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体４２は、デジタルカメラに固有の構成である必要はない。

操作部４３は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。

ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できるような項目には、撮影モード（通常撮影モード、高深度超解像撮影モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４３に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４５へ出力される。

フラッシュメモリ４４は、マイクロコンピュータ４５により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４４が記憶する情報としては、例えば、エッジ強調処理に用いるパラメータやノイズ低減処理に用いるパラメータ等のデジタルカメラの動作に必要な各種パラメータ、高深度超解像撮影モードにおける画素ずらしの大きさ、方向、順序等の情報、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４４が記憶する情報は、マイクロコンピュータ４５により読み取られる。

マイクロコンピュータ４５は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ４５は、ユーザにより操作部４３から操作入力が行われると、フラッシュメモリ４４に記憶されている処理プログラムに従って、フラッシュメモリ４４から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

そして、マイクロコンピュータ４５は、画素ずらし処理部の一部であって、上述したボイスコイルモータ（ＶＣＭ）２３を制御して上述した相対位置を移動する画素ずらしを行わせながら、相対位置を移動中に撮像素子２２を制御して複数回の露光を行わせ、複数枚の画像データを取得する画素ずらし撮像制御部としても機能するようになっている。

さらに、マイクロコンピュータ４５は、深度処理部の一部であって、所定の移動量で離散的にフォーカス位置を移動しながら画素ずらし撮像制御部による撮像制御を繰り返し行ってフォーカス位置の異なる複数枚の画像データを複数セット取得するフォーカスブラケット撮像制御部としても機能する。

加えて、マイクロコンピュータ４５は、フォーカスブラケット撮像制御部により撮像制御する複数のフォーカス位置の少なくとも１つにおいて、画像中の合焦領域を抽出する合焦領域抽出部としても機能する。

この合焦領域抽出部により合焦領域が抽出された場合には、上述した画素ずらし合成処理部３０は、その合焦領域を含む部分画像領域の画像データのみを使用して合成し、画素ずらし合成画像データを生成するようになっている。

すなわち、本実施形態の撮像装置は、以下に説明するように、画素ずらし処理部が、あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成し、深度処理部が、複数のフォーカス位置に対して画素ずらし処理部に処理を行わせて、フォーカス位置の異なる複数の画素ずらし合成画像データを生成させ、複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成し、合焦領域抽出部が、複数のフォーカス位置の少なくとも１つにおいて合焦領域を抽出し、上述した画素ずらし処理部は、合焦領域が抽出されたフォーカス位置については、合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うようになっている。

そして、本実施形態のマイクロコンピュータ４５は、絞り１２の開口径が異なる２つの画像を撮影するように絞り１２および撮像素子２２を制御する撮像制御部としても機能する。

次に、図２は、画素ずらし合成処理部３０の構成を示すブロック図である。

画素ずらし合成処理部３０は、画素配置部５１と、画素補間部５２と、平均化部５３と、を備えている。

画素配置部５１は、高深度超解像撮影モードで取得された８枚のベイヤ画像を、Ｒ成分、Ｇｒ成分（Ｒ成分と同一ラインにあるＧ成分）、Ｇｂ成分（Ｂ成分と同一ラインにあるＧ成分）、Ｂ成分にそれぞれ分離して、画素ずらし位置に応じて配置するものである。

ここに、図３は１つのフォーカス位置における画素ずらし撮影で得られた８枚のベイヤ画像におけるＲ，Ｇｒ，Ｇｂ，Ｂの基本的な画素配置を示す図、図４は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＲ画素配置を示す図、図５は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＧｒ画素配置を示す図、図６は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＧｂ画素配置を示す図、図７は図３に示す画素配置の８枚分のベイヤ画像から画素配置部５１により得られたＢ画素配置を示す図である。

ここに、図３〜図７に示す各色成分Ｒ，Ｇｒ，Ｇｂ，Ｂにおいて、（ｘ，ｙ）は撮像素子２２における水平方向（ｘ方向）および垂直方向（ｙ方向）の画素位置を、右肩に付した１〜８の内の何れかの数字は、８枚のベイヤ画像の内の何枚目の画像であるかを、それぞれ示している。

画素配置部５１は、図３に示すような基本的な画素配置を繰り返して構成されている８枚のベイヤ画像から、Ｒ成分を抽出して後で図１３を参照して説明するような撮像素子２２の画素ずらし経路に応じて再配置し、図４に示すような４×４画素配列中に８つのＲ成分が配列された画素配置のＲ合成画像を生成する。同様に、画素配置部５１は、８枚のベイヤ画像から、Ｇｒ，Ｇｂ，Ｂ成分を各抽出して、画素ずらし経路に応じて再配置し、図５，図６，図７に各示すような画素配置のＧｒ合成画像，Ｇｂ合成画像，Ｂ合成画像をそれぞれ生成する。

画素補間部５２は、図４において欠落しているＲ成分を周辺のＲ成分に基づき補間し、図５において欠落しているＧｒ成分を周辺のＧｒ成分に基づき補間し、図６において欠落しているＧｂ成分を周辺のＧｂ成分に基づき補間し、図７において欠落しているＢ成分を周辺のＢ成分に基づき補間する。

平均化部５３は、画素補間部５２により補間されたＧｒ合成画像とＧｂ合成画像とを、対応する画素位置同士で例えば加算して２で割ることにより平均化する。この平均化により、ノイズを低減して高画質化を図ることができる。

そして、このような合成処理により、高深度超解像撮影モードにおいては、水平方向に２倍かつ垂直方向に２倍の解像度の画素ずらし合成画像が得られる。

次に、図８〜図１２を参照して、合焦領域抽出部であるマイクロコンピュータ４５により抽出される合焦領域等について説明する。これら図８〜図１２は、例えば昆虫やクモなどの被写体をマクロ撮影したときの例を示している。

まず、図８は、大きい絞り開口径で撮影された画像の例を示す図、図９は小さい絞り開口径で撮影された画像の例を示す図である。

図８に示すような大きい絞り開口径で撮影された画像では、被写体の例えば頭部や前足はピントが合っているが、被写界深度が浅いために胸部や胴体、後足等は大きくぼけている。

一方、図９に示すような小さい絞り開口径で撮影された画像では、被写界深度が深いために被写体全体にほぼピントが合っているが、回折の影響により被写体全体の鮮鋭度が低下している。

本実施形態においては、後で図１６を参照して処理の流れを説明するように、合焦領域抽出部であるマイクロコンピュータ４５が、２つの異なる開口径において取得された２枚の画像おける画素毎の鮮鋭度をそれぞれ算出して、図９に示すような小さい絞り開口径で撮影された画像よりも図８に示すような大きい絞り開口径で撮影された画像の方が鮮鋭度の高い画素領域を、合焦領域として抽出するようになっている。ここに、図１０は、図８に示す画像および図９に示す画像の鮮鋭度を比較して抽出された合焦領域の様子を示す図である。

さらに、マイクロコンピュータ４５は、図１１に示すように、抽出された領域を含むラインを画素ずらし撮像領域Ａｐ（以下、撮像領域Ａｐという）に設定し、図１２に示すように、撮像領域Ａｐにおける合焦領域を含む部分画像領域として例えば矩形の領域を画像取得領域Ａｃに設定するようになっている。ここに、図１１は合焦領域抽出部により設定される撮像領域Ａｐを示す図、図１２は合焦領域抽出部により撮像領域Ａｐ内において設定される画像取得領域Ａｃを示す図である。

次に、図１３は、画素ずらし部であるボイスコイルモータ（ＶＣＭ）２３により行われる画素ずらしの各センタリング位置を示す図である。この図１３において、画素ピッチはＰとして示され、水平右方向をｘ方向、垂直下方向をｙ方向としたときに、各センタリング位置への移動量を（ｘ，ｙ）により表すことにする。

本実施形態においては、あるセンタリング位置に対して画素ピッチの非整数倍で位置が異なるセンタリング位置を含む、例えば８つの異なるセンタリング位置に撮像素子２２を移動して、各センタリング位置において画像を撮影し、撮影して得られた８枚の画像を合成することにより１枚の画素ずらし合成画像を取得するようになっている。このような画素ずらし合成画像の取得は、フォーカスブラケット撮影におけるそれぞれのフォーカス位置において行われる。

図１３に示す例では、センタリング位置Ａ２はセンタリング位置Ａ１に対して（Ｐ／２，Ｐ／２）だけずれた位置、センタリング位置Ａ３はセンタリング位置Ａ２に対して（Ｐ／２，−Ｐ／２）だけずれた位置、センタリング位置Ａ４はセンタリング位置Ａ３に対して（Ｐ／２，Ｐ／２）だけずれた位置、センタリング位置Ａ５はセンタリング位置Ａ４に対して（０，Ｐ）だけずれた位置、センタリング位置Ａ６はセンタリング位置Ａ５に対して（−Ｐ／２，−Ｐ／２）だけずれた位置、センタリング位置Ａ７はセンタリング位置Ａ６に対して（−Ｐ／２，Ｐ／２）だけずれた位置、センタリング位置Ａ８はセンタリング位置Ａ７に対して（−Ｐ／２，−Ｐ／２）だけずれた位置、センタリング位置Ａ１はセンタリング位置Ａ８に対して（０，−Ｐ）だけずれた位置となっている。

なお、この図１３に示した例以外のセンタリング位置を採用しても構わないが、その場合には、画素配置部５１により再配置される画素信号の位置が図４〜図７に示した例とは異なることになる。

次に、図１４はデジタルカメラにおけるメイン処理の流れを示すフローチャートである。この図１４に示す処理は、マイクロコンピュータ４５の制御に基づき行われる。

操作部４３の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１）。

次に、マイクロコンピュータ４５は、操作部４３の再生ボタンが操作されたか否かを判定する（ステップＳ２）。

ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体４２に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理である。

ステップＳ２において再生ボタンが操作されていないか、あるいはステップＳ３の処理が行われた場合には、操作部４３のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ４）。

ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをモニタ３８に表示して、カメラ設定を変更するユーザ操作が操作部４３からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、上述したような
撮影モード：通常撮影モード、高深度超解像撮影モード
記録モード：ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード
などが挙げられるが、これらに限るものではない。

そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ５）。

ステップＳ４においてカメラ設定が選択されていないか、あるいはステップＳ５の処理が行われた場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ６）。

ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部２９により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部２８により行う（ステップＳ７）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。

そして、電源ボタンがオフ操作されたか否かを判定し（ステップＳ８）、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

また、上述したステップＳ６において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ９）。

ここで、２ｎｄレリーズオンの状態となっていない場合には、メカニカルシャッタ２１を開放状態にして、ライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部２９により行い、電子シャッタによる１枚の画像撮影を行う（ステップＳ１０）。

こうして撮影された画像に対して、記録画像に対して行う画像処理の幾つかを例えば省略した基本画像処理を行い（ステップＳ１１）、基本画像処理された画像をモニタ３８にライブビューとして表示する（ステップＳ１２）。

その後、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定し、オフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行う。

一方、上述したステップＳ９において、２ｎｄレリーズオンの状態となっている場合には、高深度超解像撮影モードに設定されていれば後で図１５を参照して説明する撮影および合成処理を実行する（ステップＳ１３）。なお、通常撮影モードに設定されている場合には、ここでは通常の撮影処理を実行する。

続いて、ＲＡＷ記録モードが設定されているか否かを判定して（ステップＳ１４）、設定されている場合にはＲＡＷ画像をファイルとして記録媒体４２に記録する（ステップＳ１５）。

ステップＳ１４においてＲＡＷ記録モードが設定されていないか、あるいはステップＳ１５の処理が行われた場合には、撮影により得られた画像に対して画像処理部３２により画像処理を行う（ステップＳ１６）。

その後、画像処理された画像をＪＰＥＧ処理部３６によりＪＰＥＧ圧縮して、マイクロコンピュータ４５の制御によりヘッダを付加し、ＪＰＥＧファイルとして記録媒体４２に記録する（ステップＳ１７）。

このステップＳ１７の処理が行われたら、上述したステップＳ８の処理へ移行して電源ボタンがオフ操作されたか否かを判定する。

こうして、ステップＳ８において、電源ボタンがオフ操作された場合には、このメイン処理を終了する。

図１５は、デジタルカメラにおける撮影および合成処理の流れを示すフローチャートである。

この処理を開始すると、マイクロコンピュータ４５がマイクロコンピュータ１５およびドライバ１３を介してレンズ１１のフォーカス位置を初期位置に設定する（ステップＳ２１）。

そして、後で図１６を参照して説明する画素ずらし撮影処理を行う（ステップＳ２２）。この画素ずらし撮影処理により、上述した相対位置の異なる複数の画像データでなる画像セットが取得される。

次に、フォーカスブラケット撮影における全てのフォーカス位置での画素ずらし撮影が終了したか否かを判定する（ステップＳ２３）。

ここでまだ全てのフォーカス位置での画素ずらし撮影が終了していないと判定された場合には、フォーカス位置を変更してから（ステップＳ２４）、上述したステップＳ２２へ戻って画素ずらし撮影処理を行う。すなわち、画素ずらし撮影は、画素ピッチよりも小さい位置精度（例えば半画素ピッチの位置精度）が求められるために、ステップＳ２２における一連の画素ずらし撮影中はフォーカス位置を変更せず、一連の画素ずらし撮影が終わったところで必要に応じてフォーカス位置を変更するようにしている。

こうして、ステップＳ２３において全てのフォーカス位置での画素ずらし撮影が終了したと判定された場合には、１つのフォーカス位置で取得された８枚の画像でなる画像セットを、画素ずらし合成処理部３０により画素ずらし合成処理して、１枚の画素ずらし合成画像を生成する（ステップＳ２５）。ここでの画素ずらし合成処理は、画像取得領域Ａｃの画像データのみに対して行われるようになっている。

そして、全てのフォーカス位置で取得された画像セットに対する画素ずらし合成処理が終了したか否かを判定する（ステップＳ２６）。

ここでまだ全てのフォーカス位置で取得された画像セットに対する画素ずらし合成処理が終了していないと判定された場合には、上述したステップＳ２５へ戻って次のフォーカス位置で取得された画像セットに対する画素ずらし合成処理を行う。

こうして、ステップＳ２６において全てのフォーカス位置で取得された画像セットに対する画素ずらし合成処理が終了したと判定された場合には、後で図１７を参照して説明する深度合成処理を行い（ステップＳ２７）、この処理から図１４に示す処理へリターンする。

図１６は、デジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャートである。

この処理を開始すると、ボイスコイルモータ（ＶＣＭ）２３により撮像素子２２を初回センタリング位置（例えば、図１３に示すセンタリング位置Ａ１）へ移動する（ステップＳ３０）。

次に、マイクロコンピュータ４５は、マイクロコンピュータ１５およびドライバ１３を介して絞り１２を２つの異なる開口径に設定し、それぞれの開口径において撮像素子２２により画像を取得させてＳＤＲＡＭ２７に記憶させる（ステップＳ３１）。ここに、絞り１２に設定される２つの異なる開口径は、例えば、図１４のステップＳ７における自動露出（ＡＥ）制御により設定された開口径、および絞り１２に設定できるような最小開口径である。ここで、自動露出（ＡＥ）制御により設定された開口径で取得された画像（大きい絞り開口径で撮影された画像）が例えば図８、最小開口径で取得された画像（小さい絞り開口径で撮影された画像）が例えば図９に示すようになったものとする。

続いて、２つの異なる開口径において取得された２枚の画像を構成する各画素の鮮鋭度をそれぞれ算出する（ステップＳ３２）。

そして、図８に示したような大きい絞り開口径で撮影された画像における、図９に示したような小さい絞り開口径で撮影された画像よりも鮮鋭度の高い領域を、合焦領域として抽出する（ステップＳ３３）。なお、ここでは合焦領域の抽出を異なる開口径で取得された２つの画像の鮮鋭度を比較することにより行ったが、後述する実施形態２，３において例示するように、その他の適宜の方法を用いても構わない。このように、図８に示す画像および図９に示す画像の鮮鋭度を比較して抽出された合焦領域の様子を示すのが、上述した図１０である。

さらに、ステップＳ３３において抽出された合焦領域の全部を読出ラインに含むような部分画像領域に、例えば図１１参照に示すような撮像領域Ａｐを設定する（ステップＳ３４）。後述するステップＳ３６〜Ｓ３９のループにおいては、ここで設定された撮像領域Ａｐの画像データ（つまり、合焦領域を含む部分画像領域のみの画像データ）のみが撮像素子２２から読み出されてＳＤＲＡＭ２７に記憶される。これにより、撮像素子２２のフレームレートを格段に向上することができ、ＳＤＲＡＭ２７に必要なメモリ容量も削減することができることとなる。

次に、ステップＳ３４において設定された撮像領域Ａｐの内の例えば矩形の領域を、図１２に示すように、画像取得領域Ａｃに設定する（ステップＳ３５）。ここに、画像取得領域Ａｃは、撮像領域Ａｐと等しいか、または撮像領域Ａｐ内の一部領域であって図１０に示したような合焦領域を全て含む領域である。ここに、各領域の包含関係を示せば、
撮像領域Ａｐ⊇画像取得領域Ａｃ⊇合焦領域
である。図１５のステップＳ２５に示した画素ずらし合成処理は、上述したように、ここで設定された画像取得領域Ａｃのみに対して行われる。これにより、画素ずらし合成処理部３０の処理負荷を軽減し、処理時間を短縮することができることとなる。

続いて、マイクロコンピュータ４５は、撮像素子２２のセンタリング位置を変更する（ステップＳ３６）。ここでのセンタリング位置の変更は、例えば上述した図１３のＡ１〜Ａ８に示したような順序で行われる。

ボイスコイルモータ（ＶＣＭ）２３は、マイクロコンピュータ４５による撮像素子２２のセンタリング位置の変更を受けて、撮像素子２２を新たなセンタリング位置に移動する（ステップＳ３７）。

そして、移動された新たなセンタリング位置において、撮像素子２２により画像の撮影が行われ、図１１に示したような撮像領域Ａｐの画像データが撮像素子２２から読み出されてＳＤＲＡＭ２７に記憶される（ステップＳ３８）。

その後、ステップＳ３６〜Ｓ３９のループが７回繰り返して行われたか否か、つまり、ステップＳ３０で初回センタリング位置Ａ１に設定されステップＳ３１で取得されたＡＥ設定絞り値の１枚の画像と、７回のループによりステップＳ３８で取得されたセンタリング位置Ａ２〜Ａ８の７枚の撮像領域Ａｐの画像と、の合計８枚の画像が取得されたか否かを判定する（ステップＳ３９）。

ここでまだ７回のループが終了していないと判定された場合には、ステップＳ３６へ戻って次のセンタリング位置の処理を行う。

一方、ステップＳ３９において７回のループが終了したと判定された場合には、この処理から図１５に示す処理へリターンする。

なお、ここでは読み出しをライン単位で行う撮像素子２２を想定したために、撮像素子２２から出力してＳＤＲＡＭ２７に記憶させる画像データを撮像領域Ａｐの画像データとした。しかし、読み出しを例えば画素単位（画素のアドレス単位）で行うことができるような撮像素子２２の場合には、撮像素子２２から出力してＳＤＲＡＭ２７に記憶させる画像データを画像取得領域Ａｃの画像データとしても良い。これにより、撮像素子２２のフレームレートをさらに向上し、ＳＤＲＡＭ２７に必要なメモリ容量をさらに削減することができることとなる。

また、ここではステップＳ３１において撮影する画像の一枚を画素ずらし撮影の１回目と兼用したが、これに限るものではない。例えば、ステップＳ３１の処理を例えば合焦領域を検出するためだけの予備撮影として例えば本撮影よりも低解像度の画像を取得し、ステップＳ３６〜Ｓ３９の処理を本撮影として８回のループを行うようにしても良い。この場合には、１回目のループで全画角画像（ここに、本明細書における「全画角画像」とは、撮像素子２２から画像として取得された全体であること、つまり、取得された画像から抽出した一部画角の部分画像ではないことを意味している）を取得し、２〜８回目のループで撮像領域Ａｐ（もしくは、画像取得領域Ａｃ）の画像データのみを取得することになる。

図１７は、デジタルカメラにおける深度合成処理の流れを示すフローチャートである。

この処理を開始すると、深度合成処理部３１は、フォーカスブラケット撮影における複数のフォーカス位置の、画素ずらし合成画像および全画角画像をＳＤＲＡＭ２７から入力する（ただし、全てのデータを同時に入力する必要はなく、処理に必要になったデータから順次入力しても良いことはいうまでもない）（ステップＳ４１）。

ここに、全画角画像は、フォーカスブラケット撮影における複数のフォーカス位置の何れか（例えば、図１５のステップＳ２１において設定されたフォーカス初期位置）において、図１６に示した画素ずらし撮影処理のステップＳ３１において取得された２枚の画像の内の、例えば、最小開口径で取得された画像である。

全画角画像として最小開口径で取得された画像を用いるのは、自動露出（ＡＥ）制御により設定された開口径で取得された画像よりも、合焦領域以外の領域（非合焦領域）の画像の鮮鋭度が高いと考えられるためである。ただし、非合焦によるボケと回折によるボケとはボケ方が異なるために、必要に応じて、自動露出（ＡＥ）制御により設定された開口径で取得された画像を全画角画像として用いても構わない。

また、フォーカスブラケット撮影における複数のフォーカス位置の全画角画像を用いて深度合成を行わないのは、非合焦領域については元々鮮鋭度が低い領域であって、深度合成を行っても鮮鋭度を高くする効果をあまり期待することができないためである。こうして、深度合成処理は、画素ずらし合成処理が行われた画像取得領域Ａｃの画像データにのみについて行われるために、深度合成処理部３１の処理負荷を軽減し、処理時間を短縮することができることとなる。

次に、全画角画像の補間処理を行って、画素ずらし合成画像の解像度と同一の解像度の、高精細な全画角画像を生成する（ステップＳ４２）。

続いて、画素ずらし合成画像と同一の解像度の高精細な全画角画像における処理対象画素位置を選択する（ステップＳ４３）。この画素位置の選択は、例えば、ラスタスキャンの順序で行われる。

ステップＳ４３において選択された処理対象画素が、フォーカスブラケット撮影における複数のフォーカス位置の画素ずらし合成画像の何れかに存在するか否かを判定する（ステップＳ４４）。ここに、画素ずらし合成処理は、上述したように、画像取得領域Ａｃのみについて行われるために、処理対象画素が画素ずらし合成画像に存在しない場合もある。そこで、このステップＳ４４における判定を行っている。

ここで、何れの画素ずらし合成画像にも処理対象画素が存在しないと判定された場合には、補間処理後の全画角画像における処理対象画素の画素値を、ＳＤＲＡＭ２７内の出力画像バッファに記憶する（ステップＳ４５）。

また、何れかの画素ずらし合成画像に処理対象画素が存在すると判定された場合には、さらに、２つ以上の画素ずらし合成画像に処理対象画素が存在するか否かを判定する（ステップＳ４６）。

ここで、１つの画素ずらし合成画像にのみ処理対象画素が存在すると判定された場合には、その画素ずらし合成画像における処理対象画素の画素値を、ＳＤＲＡＭ２７内の出力画像バッファに記憶する（ステップＳ４７）。

一方、ステップＳ４６において、２つ以上の画素ずらし合成画像に処理対象画素が存在すると判定された場合には、処理対象画素が存在すると判定された画素ずらし合成画像の一つを選択する（ステップＳ４８）。

そして、ステップＳ４８で選択された画素ずらし合成画像における処理対象画素の鮮鋭度を算出する（ステップＳ４９）。

次に、処理対象画素が存在する全ての画素ずらし合成画像について、処理対象画素の鮮鋭度の算出が終了したか否かを判定し（ステップＳ５０）、まだ処理していない画素ずらし合成画像が存在する場合には、ステップＳ４８へ戻って次の画素ずらし合成画像についての処理を上述したように行う。

こうして、ステップＳ５０において、処理対象画素が存在する全ての画素ずらし合成画像について、処理対象画素の鮮鋭度の算出が終了したと判定された場合には、鮮鋭度が最大となる処理対象画素の画素値をＳＤＲＡＭ２７内の出力画像バッファに記憶する（ステップＳ５１）。

こうして、ステップＳ４５、ステップＳ４７、またはステップＳ５１の何れかの処理が行われたら、画素ずらし合成画像と同一の解像度の高精細な全画角画像における全ての画素位置についての処理が終了したか否かを判定する（ステップＳ５２）。

ここで、まだ全ての画素位置についての処理が終了していないと判定された場合には、ステップＳ４３へ戻って、次の画素位置を選択して上述したような処理を行う。

一方、ステップＳ５２において、全ての画素位置についての処理が終了したと判定された場合には、この処理から図１５に示す処理へリターンする。

次に、図１８は、本実施形態の方法と対比される従来と同様の方法により、画素ずらしおよび深度合成を行うための画像を取得したときの画像データ量の例を示す図である。

この場合には、各フォーカス位置Ｌ０〜Ｌｎにおいて、例えば８枚の全画角画像を画素ずらし撮影して取得することになるために、取得される全画角画像の枚数は８（ｎ＋１）枚となり、例えば、１０点フォーカスブラケット撮影を行う場合には、８０枚分の画像データを取得して、画素ずらし合成処理や深度合成処理を行うことになる。

一方、図１９は、本実施形態の方法により画素ずらしおよび深度合成を行うための画像を取得したときの画像データ量の例を概略的に示す図である。

本実施形態の方法を用いた場合には、概略で考えて、撮像素子２２から出力する画像データは、図１１に示したような撮像領域Ａｐの画像データで済むために、撮像領域Ａｐが画像全体の例えば８分の１である場合には、図１８に示した場合の１／８の画像データを取得すれば良く（ただし、より正確には、図１６を参照して説明したように全画角画像を２枚取得するために、取得する画像データ量が幾らかは多くなるが、それでもなお）、必要なデータ量を大幅に減らして処理負荷を軽減し、処理速度を向上することができる。

このような実施形態１によれば、合焦領域が抽出されたフォーカス位置については合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うようにしたために、画素ずらし合成処理の処理負荷が軽減され、画像の処理に要する時間を短縮して、メモリ容量を節約し、被写界深度が深い高解像度画像を生成することができる。

このとき、合焦領域が抽出されたフォーカス位置に関して、合焦領域が抽出された以降に取得する画像データを、合焦領域を含む部分画像領域のみの画像データとするようにしたために、さらに、画像の取得に要する時間を短縮することができる。そして、メモリ容量もさらに節約することができる。

また、深度処理部は、２つ以上の画素ずらし合成画像データに共通する画素位置があるときにのみ、深度合成処理を画素位置の画素に対して行うようにしたために、深度合成処理についても処理負荷が軽減され、画像の処理に要する時間をより一層短縮して、メモリ容量をより一層節約することができる。

そして、絞りの開口径が異なる２つの画像における各画素の鮮鋭度を算出して、大きい絞り開口径で撮影された画像の方が同一画素位置における鮮鋭度が高い画素の領域を合焦領域として抽出するようにしたために、２つの画像に基づいた精度の高い合焦領域の抽出を行うことができる。

このとき、合焦領域が高い精度で抽出されれば、余裕分をみて画像取得領域Ａｃを大きめに取る必要がないために、画像の取得や処理に要する時間を適切に短縮して、メモリ容量を適切に節約することができる。また、画素ずらし合成処理の負荷および深度合成処理の負荷も適切に低減することができることとなる。
［実施形態２］

図２０は本発明の実施形態２を示したものであり、デジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では異なる開口径で取得された２つの画像の鮮鋭度を比較することにより合焦領域の抽出を行ったが、本実施形態は、１つの画像における鮮鋭度が所定値以上の領域を合焦領域として抽出するようにしたものとなっている。

すなわち、本実施形態においては、上述した実施形態１の図１６に示した処理に代えて、図２０に示す処理を実行するようになっている。

図２０に示す処理を開始して、上述したステップＳ３０の処理を行うと、マイクロコンピュータ４５が、マイクロコンピュータ１５およびドライバ１３を介して図１４のステップＳ７における自動露出（ＡＥ）制御により設定された開口径に絞り１２を設定し、撮像素子２２により画像を取得させてＳＤＲＡＭ２７に記憶させる（ステップＳ３１Ａ）。

次に、取得された１枚の画像の鮮鋭度を画素毎に算出する（ステップＳ３２Ａ）。

続いて、算出された鮮鋭度が所定値以上である画素の集合でなる領域を、合焦領域として抽出する（ステップＳ３３Ａ）。

その後は、上述したステップＳ３４〜Ｓ３９の処理を上述と同様に行って、ステップＳ３９において７回のループが終了したと判定された場合には、この処理から図１５に示す処理へリターンする。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、フォーカスブラケット撮影の各フォーカス位置において合焦領域を抽出するために取得する全画角画像が１枚で済むために、全画角画像が２枚必要であった実施形態１に比べて、画像の撮影時間をさらに短縮し、ＳＤＲＡＭ２７に必要なメモリ容量をさらに削減すると共に、深度合成処理部３１における鮮鋭度算出処理を軽減することもできる。

具体的に、例えば、画素ずらし合成処理用に１つのフォーカス位置で取得する画像枚数が８枚、フォーカスブラケット撮影におけるフォーカス位置の数が１０である場合を考える。このとき、上述した実施形態１の構成では、１つのフォーカス位置において全画角画像を２枚ずつ取得する必要があるために、１０のフォーカス位置において取得する全画角画像は２０枚となっていた。これに対して、本実施形態の構成によれば、１つのフォーカス位置において全画角画像を１枚だけ取得すれば良いために、１０のフォーカス位置において取得する全画角画像は１０枚である。こうして、本実施形態では、取得する画像データ量（ひいてはメモリ量や処理負荷）を上述した実施形態１よりも大幅に削減することができることとなる。
［実施形態３］

図２１から図２４は本発明の実施形態３を示したものであり、図２１はデジタルカメラにおける撮影および合成処理の流れを示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では異なる開口径で取得された２つの画像の鮮鋭度を比較することにより合焦領域を抽出し、上述した実施形態２では１つの画像における鮮鋭度が所定値以上の領域を合焦領域として抽出したが、本実施形態は、あるフォーカス位置で１枚目に取得された全画角画像と、既に取得された各フォーカス位置で１枚目に取得された全画角画像を深度合成した全画角画像と、の鮮鋭度と比較することにより合焦領域を抽出し、抽出した合焦領域に基づいて設定される撮像領域Ａｐの画像を上記あるフォーカス位置で２枚目以降に取得するものとなっている。

図２１に示す処理を開始すると、上述したステップＳ２１〜Ｓ２４の処理を行い、ステップＳ２３において全てのフォーカス位置での画素ずらし撮影が終了したと判定された場合には、後で図２３を参照して説明するような画素ずらし合成および深度合成処理を行ってから（ステップＳ２５Ｂ）、この処理から図１４に示す処理へリターンする。

次に、図２２は、デジタルカメラにおける画素ずらし撮影処理の流れを示すフローチャートである。

図２１のステップＳ２２においてこの処理に入ると、上述したステップＳ３０およびステップＳ３１Ａの処理を行い、この図２２に示す処理が初回フォーカス位置での処理であるか否か、つまり、図２１のステップＳ２２〜Ｓ２４のループにおける１回目の処理（すなわち、ステップＳ２１において設定されたフォーカス初期位置での処理）であるか否かを判定する（ステップＳ６１）。

ここで初回フォーカス位置での処理であると判定された場合には、ステップＳ３１Ａにおいて取得された全画角画像データを、画素ずらし合成処理用に記憶するだけでなく、さらにＳＤＲＡＭ２７内の検出用画像バッファにも検出用合成画像として記憶する（ステップＳ６２）。ここに、検出用画像バッファは、合焦領域を抽出し、ひいては画像取得領域Ａｃを設定するために用いられるＳＤＲＡＭ２７内の記憶領域である。

その後は、上記ステップＳ３６〜Ｓ３９の処理を上述したように行う。従って、この図２２に示す処理が初回フォーカス位置での処理である場合には、合焦領域の抽出が行われないために、ステップＳ３８の処理において７回のループにより取得される７枚の画像も全画角画像となる。

一方、ステップＳ６１において、初回フォーカス位置での処理ではないと判定された場合には、検出用画像バッファに記憶されている全画角の検出用合成画像とステップＳ３１Ａにおいて取得された全画角画像と、の２枚の画像を構成する各画素の鮮鋭度をそれぞれ算出する（ステップＳ３２Ｂ）。

次に、ステップＳ３１Ａにおいて取得された画像について、鮮鋭度が所定値（合焦していると見なせる程度の所定値）以上である領域の内の、さらに検出用画像バッファに記憶されている検出用合成画像よりも鮮鋭度が高い領域を、合焦領域として抽出する（ステップＳ３３Ｂ）。

そして、上述したステップＳ３４およびステップＳ３５の処理を行い、さらに、ステップＳ３２Ｂにおいて算出した鮮鋭度に基づいて、検出用画像バッファに記憶されている検出用合成画像とステップＳ３１Ａにおいて取得された画像とを深度合成処理部３１により深度合成する（ステップＳ６３）。

その後、ステップＳ６３において深度合成した検出用合成画像を検出用画像バッファの検出用合成画像に上書きして、画像データの更新を行う（ステップＳ６４）。これにより、ステップＳ２２〜Ｓ２４のループに次回に入ったときにステップＳ３１Ａにおいて取得される画像は、検出用画像バッファ内の更新された検出用合成画像と鮮鋭度を比較して合焦領域が抽出されることになる。

その後は、上記ステップＳ３６〜Ｓ３９の処理を上述したように行うことは、初回フォーカス位置での処理であると判定された場合と同様である。ただし、この図２２に示す処理が初回フォーカス位置での処理でない場合には、ステップＳ３８の処理において７回のループにより取得される７枚の画像は撮像領域Ａｐの画像となる。

こうして、ステップＳ３９において７回のループが終了したと判定された場合には、この処理から図２１に示す処理へリターンする。

続いて、図２３は、デジタルカメラにおける画素ずらし合成および深度合成処理の流れを示すフローチャートである。

図２１のステップＳ２５Ｂにおいてこの処理に入ると、初回フォーカス位置で画素ずらし撮影して取得された８枚の全画角画像でなる画像セットを選択する（ステップＳ７１）。

次に、初回フォーカス位置で取得された８枚の全画角画像を、画素ずらし合成処理部３０により画素ずらし合成処理して、１枚の全画角の画素ずらし合成画像を生成する（ステップＳ７２）。

そして、生成した画素ずらし合成画像を、ＳＤＲＡＭ２７内の出力画像バッファに記憶する（ステップＳ７３）。

続いて、異なるフォーカス位置で画素ずらし撮影して取得された８枚の画像でなる画像セットを選択する（ステップＳ７４）。これら８枚の画像の内の、１枚は全画角画像であり、他の７枚は撮像領域Ａｐの画像である。

さらに、これら８枚の画像における画像取得領域Ａｃの画像部分を、画素ずらし合成処理部３０により画素ずらし合成処理して、画像取得領域Ａｃに係る１枚の画素ずらし合成画像を生成する（ステップＳ７５）。

その後、ステップＳ７５において生成された画像取得領域Ａｃに係る画素ずらし合成画像と、出力画像バッファに記憶されている全画角の画素ずらし合成画像と、を後で図２４を参照して説明するように深度合成処理する（ステップＳ７６）。この処理により、後で図２４を参照して説明するように、出力画像バッファの画像が更新される。

次に、全てのフォーカス位置での処理が終了したか否かを判定する（ステップＳ７７）。

ここで、全てのフォーカス位置での処理が終了していないと判定された場合には、ステップＳ７４へ戻って、フォーカス位置を変更して上述したような処理を行う。

一方、ステップＳ７７において、全てのフォーカス位置での処理が終了したと判定された場合には、この処理から図２１に示す処理へリターンする。

次に、図２４は、デジタルカメラにおける深度合成処理の流れを示すフローチャートである。

図２３のステップＳ７６においてこの処理に入ると、深度合成処理部３１は、図２３のステップＳ７３で記憶された出力画像バッファの画像データ、またはステップＳ７４〜Ｓ７７のループにおける１つ前のループにおいて後述するステップＳ８５で更新された出力画像バッファの画像データを入力する（ステップＳ８１）。ここに、出力画像バッファの画像は、上述したように全画角の画素ずらし合成画像である。

続いて、深度合成処理部３１は、図２３のステップＳ７５において生成された画像取得領域Ａｃの画素ずらし合成画像データを入力する（ステップＳ８２）。

ここで、ステップＳ８１において入力した画像とステップＳ８２において入力した画像とにおいて深度合成の対象となるのは画像取得領域Ａｃであるために、画像取得領域Ａｃ内における処理対象画素位置を選択する（ステップＳ８３）。この画素位置の選択は、上述したステップＳ４３に準じて、例えば、画像取得領域Ａｃ内におけるラスタスキャンの順序で行われる。

そして、ステップＳ８１において入力した画像とステップＳ８２において入力した画像とにおける処理対象画素の鮮鋭度をそれぞれ算出する（ステップＳ８４）。

こうして算出された鮮鋭度が高い方の画素値を、出力画像バッファの処理対象画素位置の画素値に上書きすることで、出力画像バッファの画像データを更新する（ステップＳ８５）。

その後、全ての処理対象画素についての処理が終了したか否かを判定する（ステップＳ８６）。

ここで、まだ全ての処理対象画素についての処理が終了していないと判定された場合には、ステップＳ８３へ戻って、次の処理対象画素位置を選択して上述したような処理を行う。

一方、ステップＳ８６において、全ての処理対象画素位置についての処理が終了したと判定された場合には、この処理から図２３に示す処理へリターンする。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、既に取得したフォーカス位置の画像の鮮鋭度と比較して、新たなフォーカス位置において取得する画像の合焦領域を抽出するようにしたために、より正確な合焦領域の抽出ができることとなる。

そして、合焦領域が高い精度で正確に抽出されれば、余裕分をみて画像取得領域Ａｃを大きめに取る必要がないために、画像の取得や処理に要する時間を適切に短縮して、メモリ容量を適切に節約することができる。また、画素ずらし合成処理の負荷および深度合成処理の負荷も適切に低減することができることとなる。

具体的に、上述した例と同様に、画素ずらし合成処理用に１つのフォーカス位置で取得する画像枚数が８枚、フォーカスブラケット撮影におけるフォーカス位置の数が１０である場合を考える。このとき、上述した実施形態１の構成では取得する全画角画像は２０枚、上述した実施形態２の構成では取得する全画角画像は１０枚となっていた。これに対して、本実施形態では、第１のフォーカス位置において８枚取得し、その後の第２〜第８のフォーカス位置に置いては１枚取得すれば良いために、取得する全画角画像は１５枚である。

より一般に、１つのフォーカス位置で取得する全画角画像枚数をｘ（ｘは２以上の整数）、フォーカスブラケット撮影におけるフォーカス位置の数をｙ（ｙは２以上の整数）とすると、実施形態１で取得する全画角画像の枚数は２ｙ、実施形態２で取得する全画角画像の枚数はｙ、本実施形態で取得する全画角画像の枚数は（ｘ＋ｙ−１）となる。従って、第２実施形態で取得する全画角画像の枚数が最も少なくなることが分かる。一方、実施形態１で取得する全画角画像の枚数２ｙと、本実施形態で取得する全画角画像の枚数（ｘ＋ｙ−１）と、を比較してみると、ｙ＞（ｘ−１）のときには、本実施形態において取得する全画角画像の枚数の方が上述した実施形態１よりも少なくなることが分かる。すなわち、例えばｘ＝８のときには、フォーカスブラケット撮影におけるフォーカス位置ｙが７よりも大きければ、取得するデータ量を実施形態１よりも低減できることが分かる。
［実施形態４］

図２５は本発明の実施形態４を示したものであり、デジタルカメラの構成を示すブロック図である。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１の図１に示す構成例では、ボイスコイルモータ（ＶＣＭ）２３により、レンズ１１の光軸に垂直な面内で撮像素子２２を移動させて画素ずらしを行ったが、本実施形態は、交換式レンズ１内に光軸シフト光学素子１６を設けて、この光軸シフト光学素子１６を移動させることにより画素ずらしを行うものとなっている。

すなわち、交換式レンズ１内には、上述したレンズ１１と絞り１２とフラッシュメモリ１４とマイクロコンピュータ１５とが設けられているだけでなく、さらに、光軸シフト光学素子１６とボイスコイルモータ（ＶＣＭ）２３とホール素子３９とが設けられていて、本実施形態のドライバ１３Ａは、上述したドライバ１３の機能に加えて、さらにホール素子３９の検出結果に基づきボイスコイルモータ（ＶＣＭ）２３の駆動制御を行う機能も備えたものとなっている。

ここに、光軸シフト光学素子１６は、レンズ１１から撮像素子２２へ向かう光束の光軸をシフトさせるものであり、例えば、所定屈折率かつ所定厚さの光学板を光軸に対して非垂直に傾けることで光軸をシフトし、傾ける角度を調整することでシフト量を制御する方式、あるいは所定屈折率の液体を２枚の光学板で挟んで蛇腹状に（入射側の光学板と出射側の光学板とを平行でない状態に）動かすことにより光軸を補正する方式などの、各種の方式のもの（いわゆる光学式ブレ補正機構を兼用したものでも良い）を広く採用することができる。

また、ボイスコイルモータ（ＶＣＭ）２３は、ドライバ１３Ａの制御に基づき、光軸シフト光学素子１６を駆動して光軸をシフトさせるものである。

さらに、ホール素子３９は、光軸シフト光学素子１６の駆動位置を検出するものである。

こうして、ドライバ１３Ａは、交換式レンズ１内のマイクロコンピュータ１５の制御に基づき、さらにはカメラ本体２内のマイクロコンピュータ４５の制御に基づき、ホール素子３９の検出結果を参照しながら、ボイスコイルモータ（ＶＣＭ）２３を駆動して、光軸シフト光学素子１６による光軸のシフト方向およびシフト量を制御するようになっている。

なお、実施形態１〜３において述べた撮像素子２２を移動させて画素ずらしを行う構成と、この実施形態４の構成と、を組み合わせて、撮像素子２２と光軸シフト光学素子１６との両方を移動させて画素ずらしを行う構成としても構わない。この場合には、撮像素子２２を移動するボイスコイルモータ（ＶＣＭ）２３と、光軸シフト光学素子１６を移動するボイスコイルモータ（ＶＣＭ）２３とを設け、さらに、撮像素子２２の位置を検出するホール素子３９と、光軸シフト光学素子１６の位置を検出するホール素子３９とを設けることになる。

このような実施形態４によれば、光学系を移動させて画素ずらしを行う場合、あるいは、撮像素子２２および光学系を移動させて画素ずらしを行う場合にも、上述した実施形態１〜３とほぼ同様の効果を奏することができる。

なお、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取りできるような一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
１１…レンズ（撮像光学系）
１２…絞り
１３，１３Ａ…ドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
１６…光軸シフト光学素子
２１…メカニカルシャッタ
２２…撮像素子
２３…ボイスコイルモータ（ＶＣＭ）（画素ずらし処理部、画素ずらし部）
２４…アナログ処理部
２５…Ａ／Ｄ変換部
２６…バス
２７…ＳＤＲＡＭ
２８…ＡＦ処理部
２９…ＡＥ処理部
３０…画素ずらし合成処理部（画素ずらし処理部）
３１…深度合成処理部（深度処理部）
３２…画像処理部
３３…同時化処理部
３４…エッジ強調処理部
３５…ノイズ低減処理部
３６…ＪＰＥＧ処理部
３７…モニタドライバ
３８…モニタ
３９…ホール素子
４１…メモリＩ／Ｆ
４２…記録媒体
４３…操作部
４４…フラッシュメモリ
４５…マイクロコンピュータ（画素ずらし処理部、深度処理部、撮像制御部、画素ずらし撮像制御部、フォーカスブラケット撮像制御部、合焦領域抽出部）
５１…画素配置部
５２…画素補間部
５３…平均化部

Claims (9)

1. あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理部と、
   複数のフォーカス位置に対して上記画素ずらし処理部に処理を行わせて、フォーカス位置の異なる複数の画素ずらし合成画像データを生成させ、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理部と、
   複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出部と、
   を具備し、
   上記画素ずらし処理部は、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うことを特徴とする撮像装置。
2. 上記画素ずらし処理部は、上記合焦領域が抽出されたフォーカス位置に関して、該合焦領域が抽出された以降に取得する画像データを、該合焦領域を含む部分画像領域のみの画像データとするように制御する画素ずらし撮像制御部を有することを特徴とする請求項１に記載の撮像装置。
3. 上記深度処理部は、２つ以上の画素ずらし合成画像データに共通する画素位置があるときにのみ、深度合成処理を該画素位置の画素に対して行うことを特徴とする請求項１に記載の撮像装置。
4. 上記合焦領域抽出部は、画素ずらし画像合成前の画像における各画素の鮮鋭度を算出して、上記鮮鋭度が所定値以上の画素の領域を上記合焦領域として抽出することを特徴とする請求項１に記載の撮像装置。
5. 絞りの開口径が異なる２つの画像を撮影するように制御する撮像制御部をさらに具備し、
   上記合焦領域抽出部は、絞りの開口径が異なる２つの画像における各画素の鮮鋭度を算出して、大きい絞り開口径で撮影された画像の方が同一画素位置における鮮鋭度が高い画素の領域を上記合焦領域として抽出することを特徴とする請求項１に記載の撮像装置。
6. 上記合焦領域抽出部は、
   最初のフォーカス位置であるときには、撮影して得られた画素ずらし合成前の画像を検出用合成画像に設定し、２回目以降のフォーカス位置であるときには、既に設定されている検出用合成画像と、今回のフォーカス位置で撮影して得られた画素ずらし合成前の画像と、を深度合成して検出用合成画像を更新し、
   フォーカス位置が変更された場合には、新たなフォーカス位置で撮影して得られた画素ずらし合成前の画像と、上記検出用合成画像と、の各画素の鮮鋭度を算出して、新たなフォーカス位置で撮影して得られた画素ずらし合成前の画像の方が同一画素位置における鮮鋭度が高い画素の領域を上記合焦領域として抽出することを特徴とする請求項１に記載の撮像装置。
7. 複数の画素が所定の画素ピッチで２次元状に配列された撮像素子と、
   上記撮像素子に被写体の光学像を結像するものであり、フォーカス位置を移動できるような撮像光学系と、
   をさらに具備し、
   上記画素ずらし処理部は、
   上記撮像素子と、上記撮像素子により受光される光束と、の上記２次元状配列方向の相対位置が、上記画素ピッチの非整数倍の移動量だけ移動されるように画素ずらしを行う画素ずらし部と、
   上記画素ずらし部に画素ずらしを行わせながら上記撮像素子に撮影動作を行わせる画素ずらし撮像制御を行って、上記相対位置の異なる複数の画像データでなる画像セットを取得する画素ずらし撮像制御部と、
   上記フォーカス位置のそれぞれにおいて、上記画素ずらし撮像制御部により取得された上記画像セットに含まれる複数の画像データを合成して、上記撮像素子から得られる画像データよりも高解像度の画素ずらし合成画像データを生成する画素ずらし合成処理部と、
   を含み、
   上記深度処理部は、
   上記撮像光学系のフォーカス位置を複数の位置に離散的に移動させながら、各フォーカス位置において上記画素ずらし撮像制御部に画素ずらし撮像制御を行わせ、フォーカス位置の異なる上記画像セットを複数セット取得するフォーカスブラケット撮像制御部と、
   上記画素ずらし合成処理部により生成されたフォーカス位置の異なる複数の画素ずらし合成画像データの各画素の鮮鋭度を算出して、各画素位置における最も鮮鋭度の高い画素の画素値を該画素位置の画素値に設定する深度合成処理を行うことで、上記撮像素子から得られる画像データよりも被写界深度の深い画像を合成する深度合成処理部と、
   を含むことを特徴とする請求項１に記載の撮像装置。
8. あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理ステップと、
   複数のフォーカス位置に対して上記画素ずらし処理ステップを実行して、フォーカス位置の異なる複数の画素ずらし合成画像データを生成し、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理ステップと、
   複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出ステップと、
   を有し、
   上記画素ずらし処理ステップは、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うステップであることを特徴とする撮像方法。
9. コンピュータに、
   あるフォーカス位置で画素ずらし撮影して複数の画像データを取得し、取得した複数の画像データを画素ずらし合成処理して画素ずらし合成画像データを生成する画素ずらし処理ステップと、
   複数のフォーカス位置に対して上記画素ずらし処理ステップを実行して、フォーカス位置の異なる複数の画素ずらし合成画像データを生成し、該複数の画素ずらし合成画像データを深度合成処理して被写界深度の深い画像を生成する深度処理ステップと、
   複数の上記フォーカス位置の少なくとも１つにおいて合焦領域を抽出する合焦領域抽出ステップと、
   を実行させるための処理プログラムであって、
   上記画素ずらし処理ステップは、上記合焦領域が抽出されたフォーカス位置については、該合焦領域を含む部分画像領域のみについて画素ずらし合成処理を行うステップであることを特徴とする処理プログラム。