JP6325885B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、フォーカス位置を変更しながら、複数の画像データを取得する撮像装置、撮像方法、及びプログラムに関する。

デジタルカメラ等の撮像装置では、複数の画像データを取得し、１枚の画像では表現できない画質を実現する機能を搭載したものがある。例えば、フォーカス位置（焦点位置）を変更して撮像した複数の画像データの特徴点を抽出し、複数の画像間で対応する画素の先鋭度の高い画素の重みを大きくするように加重平均して、画素毎に合成することにより、被写界深度を深くした画像を得る技術が知られている（特許文献１参照）。

特許第４６７８６０３号公報

フォーカス位置を変更した複数の画像を合成することにより、被写界深度の深い画像を得ることができる。この場合、画像の枚数が多いほど、良好な画質の合成画像を得ることができる。しかし、合成に使用する画像の枚数が多くなればなるほど、処理時間が増加してしまう。

本発明は、このような事情を鑑みてなされたものであり、少ない処理時間で良好な画質の合成画像を得ることが可能な、撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体像を撮像して、画像データを取得する撮像部と、フォーカスレンズ位置を変更するレンズ制御部と、上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、を具備し、上記位置補正部は、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択的に実行する。

第２の発明に係る撮像装置は、上記第１の発明において、上記レンズ制御部は、フォーカスレンズの位置を、撮影レンズの焦点深度か被写界深度に基づいて変更する。
第３の発明に係る撮像装置は、上記第１の発明において、上記位置補正部は、上記相対的なフォーカス位置が離れている場合に、上記グローバル位置合わせ処理を実行する。

第４の発明に係る撮像装置は、被写体像を撮像して、画像データを取得する撮像部と、フォーカスレンズ位置を変更するレンズ制御部と、上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、上記撮像部によって取得した複数の画像データを合成する画像合成部と、上記画像データの合焦領域を推定する合焦領域推定部と、を具備し、上記位置補正部は、上記合焦領域推定部によって推定された画像データの合焦領域に基づいて、局所的に位置合わせをするローカル位置合わせ処理と、大域的に位置合わせするグローバル位置合わせ処理を選択的に実行する。

第５の発明に係る撮像装置は、上記第４の発明において、上記位置補正部は、上記画像データの合焦領域が離れている場合に、上記グローバル位置合わせ処理を実行する。

第６の発明に係る撮像装置は、被写体像を撮像して、画像データを取得する撮像部と、フォーカスレンズ位置を変更するレンズ制御部と、上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、上記撮像部によって取得した複数の画像データを合成する画像合成部と、上記画像合成部によって画像の合成を行う際の基準画像を選択する合成基準画像選択部と、を具備し、上記位置補正部は、上記合成基準画像選択部で選択された上記基準画像との位置合わせを実行する場合には、ローカル位置合わせ処理を実行する。

第７の発明に係る撮像装置は、上記第６の発明において、上記画像合成部は、上記基準画像以外の合成を先に少なくとも１回実行した後に、上記基準画像との合成を実行する。

第８の発明に係わる撮像方法は、撮像部によって被写体像を撮像して、画像データを取得する画像取得ステップと、撮影レンズ中のフォーカスレンズ位置を変更するレンズ制御ステップと、上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正ステップと、を具備し、上記位置補正ステップは、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択する。

第９の発明に係わるプログラムは、画像合成を行う画像合成装置のコンピュータを実行させるためのプログラムであって、フォーカスレンズ位置を変更しながら撮影した複数の画像データを取得する画像取得ステップと、上記複数の画像データの位置合わせを行う位置補正ステップと、を具備し、上記位置補正ステップは、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択することをコンピュータに実行させる。

本発明によれば、少ない処理時間で良好な画質の合成画像を得ることが可能な、撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係るカメラの撮影・画像処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの画像合成の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、合成画像の選択と位置合わせを説明する図である。 本発明の一実施形態に係るカメラにおいて、深度合成画像の一例を示す図である。 本発明の一実施形態に係るカメラにおいて、通常撮影時および深度合成時における表示について説明する図である。

以下、本発明の実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、本体に配置した表示部に被写体像をライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、このカメラは、深度合成モードが設定されている場合には、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得する。取得した複数の画像の位置合わせにあたっては、画像全体で位置ずれを補正するグローバル位置合わせ処理と、画像の中の部分ごとに位置ずれを補正するローカル位置合わせ処理のいずれかを選択しながら行う（詳しくは図５、図６参照）。グローバル位置合わせ処理は、画面全体で処理することから迅速な処理を行うことができるが、被写体が移動している場合には、その被写体部分において位置合わせ精度が低下してしまう。一方、ローカル位置合わせ処理は、画面の部分ごとに位置合わせを行うことから、処理に時間が掛かるが、被写体が移動している場合であっても高精度の位置合わせを行うことができる。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。マイクロコンピュータ２０７とドライバ２０５は、フォーカスレンズ位置を変更するレンズ制御部として機能する。このレンズ制御部は、フォーカスレンズの位置を、撮影レンズの焦点深度か被写界深度に基づいて変更する（図４のＳ６３参照）。

マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置を図示しないフォーカス位置検出部から取得し、またズームレンズのズーム位置を図示しないズーム位置検出から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、被写体像を撮像して画像データを取得する撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。

また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体像を撮像して画像データを取得する撮像部として機能する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮・伸張部１１５、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、および画像合成部１０９ｂを使用する。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタや深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。この画像合成部１０９ｂは、撮像部によって取得した複数の画像データを合成する画像合成部として機能する。すなわち、画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。

画像合成部１０９ｂは、撮像部によって取得した複数の画像データの位置合わせを行う位置補正部として機能する（詳しくは、図５のＳ９５、Ｓ１０１参照）。また、この位置補正部は、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と（図５のＳ１０１参照）、大域的に位置合わせを行うグローバル位置合わせ処理（図５のＳ９５参照）を選択的に実行する。また、位置補正部は、相対的なフォーカス位置が離れている場合に、グローバル位置合わせ処理を実行する（図５のＳ８９Ｙｅｓ→Ｓ９５）。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮・伸張部１１５は、画像データの圧縮と伸張を行う。すなわち、画像圧縮・伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って行う。また、画像圧縮・伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

また、マイクロコンピュータ１２１は、ＡＦ処理部１１３における処理結果に基づいて、画像データの合焦領域を推定する合焦領域推定部として機能する。前述したように、画像合成部１０９ｂは撮像部によって取得した複数の画像データの位置合わせを行う位置補正部として機能し、この位置補正部は、合焦領域推定部によって推定された画像データの合焦領域に基づいて、局所的に位置合わせをするローカル位置合わせ処理と、大域的に位置合わせするグローバル位置合わせ処理を選択的に実行する（図５のＳ９３、Ｓ９５、Ｓ１０１参照）。この位置補正部は、画像データの合焦領域が離れている場合に、グローバル位置合わせ処理を実行する（図５のＳ９３Ｙｅｓ→Ｓ９５）。

また、マイクロコンピュータ１２１は、画像合成部によって画像の合成を行う際の基準画像を選択する合成基準画像選択部として機能する。前述したように、画像合成部１０９ｂは撮像部によって取得した複数の画像データの位置合わせを行う位置補正部として機能し、この位置補正部は、合成基準画像選択部で選択された上記基準画像との位置合わせを実行する場合には、ローカル位置合わせ処理を実行する（図５のＳ８７、Ｓ１０１参照）。また、画像合成部は、基準画像以外の合成を先に少なくとも１回実行した後に、基準画像との合成を実行する（図６のＳＴ２〜ＳＴ５参照）。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４および図５に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。

ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１内のフォーカスレンズのフォーカス位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行い、合焦位置に移動させる。その後、ステップＳ３７へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影および画像処理を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

また、深度合成モードが設定されている場合には、撮影レンズ２０１内のフォーカスレンズを移動させ、設定されたフォーカス位置に達すると撮影を行い、複数の画像データを取得する。

ステップＳ４３において、撮影が終わると、画像処理も行う。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、深度合成モードが設定されている場合には、ステップＳ４３において、取得した複数の画像データを用いて深度合成を行う。この撮影・画像処理の詳しい動作については、図４を用いて後述する。

撮影・画像処理を行うと、次に静止画記録を行う（Ｓ４５）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定可能）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。

ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、ステップＳ４３と同様に、撮影・画像処理を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

ステップＳ５３において、電子シャッタにより画像データを取得すると、取得した画像データに対して画像処理を行う。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。

撮影・画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５５）。このステップでは、ステップＳ５３において基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５５においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５７）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ５９）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。

ステップＳ５９において動画記録を行うと、またはステップＳ５７における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能であり（Ｓ９）、深度合成モードが設定された場合には、ステップＳ４３において、フォーカスレンズ位置を変更しながら、複数の画像データを取得し、深度合成処理を行う。

次に、図４に示すフローチャートを用いて、ステップＳ４３の撮影・画像処理の詳しい動作について説明する。撮影・画像処理のフローに入ると、まず、深度合成が設定されているか否かについて判定する（Ｓ６１）。深度合成モードは、ステップＳ９（図２参照）のカメラ設定においてユーザが設定可能である。

ステップＳ６１における判定の結果、深度合成モードが設定されていなかった場合には、撮影を行う（Ｓ７１）。ここでは、レリーズ釦が半押しされ、ステップＳ３５において決定した露出制御値および合焦位置において、撮像素子１０３で撮像を行い、画像データを取得する。撮影行うと、次に、基本画像処理を行う（Ｓ７３）。ここでは、基本画像処理部１０９ａが、ステップＳ７１において取得した画像データデータに対して、基本画像処理を施す。

一方、ステップＳ６１における判定の結果、深度合成モードが設定されていた場合には、フォーカスレンズ移動を行う（Ｓ６３）。ここでは、予め設定されているフォーカスレンズ間隔となるように、交換式レンズ２００内のマイクロコンピュータ２０７、ドライバ２０５によってフォーカスレンズ位置に移動させる。フォーカスレンズの移動量は、予め定められた固定の移動量でもよいし、またユーザが操作部１２３を介して指定した値でもよいし、また撮影条件に応じて移動量を変更してもよい。すなわち、フォーカスレンズの移動量を、撮影レンズの焦点深度か被写界深度に基づいて変更してもよい。撮影条件に応じて移動量を変更する場合には、例えば、絞り値が大きい場合には、１枚あたりの被写界深度が深いので、移動量を大きくすればよい。

フォーカス移動を行うと、次に、撮影を行う（Ｓ６５）。ここでは、ステップＳ３５で算出された露出制御値で、撮影を行い、撮像素子１０３から画像データを取得する。静止画撮影にあたって、露光時間はメカシャッタ１０１によって制御し、動画撮影やライブビュー表示では、撮像素子１０３の電子シャッタによって制御するが、静止画撮影の場合でも、電子シャッタによって制御するようにしてもよい。撮影で取得した画像データは、フォーカスレンズ位置の情報と共にＳＤＲＡＭ１２７等に一時記憶する。

撮影を行うと、次に、所定回数の撮影を行ったか否かを判定する（Ｓ６７）。ここでは、予め設定されているフォーカス位置の数（撮影枚数）だけ撮影を行ったか否かを判定する。所定回数は、予め定められた固定の回数でもよいし、またユーザが操作１２３から指定した回数でもよいし、ＳＤＲＡＭ１２７の容量等、カメラの状態に応じた回数でもよい。また、ライブビュー時は処理速度を短縮させるために、静止画よりも少ない回数としてもよい。この場合のフォーカス位置は、静止画時のフォーカス位置を間引いたフォーカス位置とすればよい。この判定の結果、設定された深度合成用の撮影枚数の撮影が終了していない場合には、ステップＳ６３に戻り、次のフォーカス位置にフォーカスレンズを移動させ、深度合成用の撮影を行う。

ステップＳ６７における判定の結果、所定回数の撮影が終了した場合には、画像合成を行う（Ｓ６９）。ここでは、ステップＳ６３〜Ｓ６７において取得した複数の画像データを用いて深度合成の画像処理を行う。ここでは、画像データの位置合わせ、すなわち、２つの画像同士を比較し、２つの被写体像が重なるように、画像データの位置を調整する。この位置合わせの際に、後述するようにグローバル位置合わせと、ローカル位置合わせを、２つの画像間の相対的なフォーカス位置関係に基づいて選択する。画像データの位置合わせを行うと、合成する画像を比較し、画像の先鋭度（コントラスト）の高い方の領域を抽出し、この抽出した先鋭度が高い方の領域の画像を合成する。これによって、単写とは異なる被写界深度の画像を生成することができる。なお、画像合成の詳しい動作については、図５を用いて後述する。

ステップＳ６９において画像合成を行うと、またはステップＳ７３において基本画像処理を行うと、撮影・画像処理のフローを終了し、元のフローに戻る。

このように、撮影・画像処理のフローにおいては、深度合成モードが設定されている場合には、フォーカスレンズを移動させながら、２以上の撮影を行い（Ｓ６３〜Ｓ６７）、撮影が終了すると、深度合成のための画像処理を行う（Ｓ６９）。

次に、図５に示すフローチャートを用いて、ステップＳ６９の画像合成の詳しい動作について説明する。撮影・画像処理のフローに入ると、まず、合成基準画像の選択を行う（Ｓ８１）。ここでは、ステップＳ６５において撮影され、一旦ＳＤＲＡＭ１２７に一時記憶された複数の画像データの中から、深度合成を行う際に基準とする合成基準画像を選択する。合成基準画像としては、例えば、２ｎｄレリーズ時のフォーカスレンズ位置で撮影した画像や、また複数の画像の中でフォーカスレンズ位置が中間位置にある画像等を選択する。また、ユーザが操作部１２３を介して指定するようにしてもよい。

合成基準画像の選択を行うと、次に、合成画像の選択を行う（Ｓ８３）。ここでは、ＳＤＲＡＭ１２７に一時記憶された複数の画像データの中から合成に使用する画像を選択する。合成の組み合わせとしては、撮影時のフォーカスレンズ位置が離れた画像を選択することが望ましい。例えば、図６に示す例では、深度合成用に７枚の画像データを取得しており（図６のＳＴ１参照）、４枚目の画像データを合成基準画像としている。この例では、１枚目と５枚目、２枚目と６枚目、３枚目と７枚目を、それぞれ合成画像として選択する（ＳＴ２参照）。さらに、これらの各合成画像と基準合成画像を、合成に使用する画像として選択する（ＳＴ４参照）。

合成画像の選択を行うと、次に、基本画像処理を行う（Ｓ８５）。ここでは、基本画像処理部１０９ａが、選択した画像に基本画像処理を施す。

基本画像処理を行うと、次に、基準画像との合成か否かを判定する（Ｓ８７）。ここでは、ステップＳ８３において選択された２枚の合成に使用する画像の内の１枚が、ステップＳ８１において選択された合成基準画像であるか否かを判定する。この判定の結果、基準画像との合成の場合には、局所的な位置合わせを行うのがよいので、後述するように、ステップＳ１０１においてローカル位置合わせを行う。すなわち、基準画像の画角が合成後の画像データの画角になるので、基準画像の画像データに対しては、ローカル位置合わせで細かい位置合わせを実施することによって、位置ずれによる画質の劣化を防止することができる。

ステップＳ８７における判定の結果、基準画像との合成でない場合には、フォーカスレンズ間隔が離れているか否かを判定する（Ｓ８９）。ここでは、合成に使用する画像のフォーカスレンズ位置の間隔が所定以上離れているか否かを判定する。判定に使用するフォーカスレンズ位置に関する情報は、ステップＳ６５における撮影時のフォーカスレンズ位置情報であり、この情報は画像データをＳＤＲＡＭ１２７に一時記憶する際に関連付け記憶されているので読み出し、この情報に基づいて判定する。判定基準の閾値は予め設定した値とすればよい。また撮影時のフォーカスレンズの移動量に応じて設定してもよい。このステップにおける判定は、フォーカスレンズ位置と閾値を比較して判定してもよいし、また撮影されるフォーカスレンズ位置の順番が予め分かっていれば、その撮影順番で判定してもよい。

ステップＳ８９における判定の結果、フォーカスレンズ間隔が離れている場合には、次に、合成部の抽出を行う（Ｓ９１）。深度合成では、高周波成分の合成を行うので、画像の中の高周波成分を抽出し、抽出された画素を合成部とする。

合成部の抽出を行うと、次に、合焦領域が近傍の位置にないか否かを判定する（Ｓ９３）。ここでは、合焦領域が合成に使用する画像間で近傍の位置にあるかを判断する。例えば、画像を複数のブロックに分割し、各々のブロック内で合成部を積算し、ブロック毎に積算した値に基づいて判断すればよい。積算値が所定の閾値を超えており、かつ値の差が小さければ、同じ領域に合焦部があると判断できる。所定の閾値としては、予め設定した値とすればよい。同じ領域に合焦部がある場合には、局所的な位置合わせを行うのがよいので、後述するステップＳ１０１においてローカル位置合わせを行う。

ステップＳ９３における判定の結果、合焦領域が近傍の位置にない場合には、グローバル位置合わせを行う（Ｓ９５）。ここでは、撮影した画像の位置ずれを、グローバル位置合わせによって補正する。グローバル位置合わせは、２枚の画像を大域的な動きを補正する処理である。位置ずれ量は、２枚の画像をブロック分割し、ブロック毎の相関値が最も少ない座標への移動量を算出し、その平均値としてもよい。ブロック分割数はローカル位置合わせ処理（Ｓ１０１参照）での分割数よりも少ない数として、処理時間を短縮するようにしてもよい。このグローバル位置合わせは、カメラが手ブレ等によって、画面全体が動いた場合に適切に位置合わせを行うことができる。

一方、ステップＳ８７における判定の結果、基準画像との合成であった場合、またはステップＳ８９における判定の結果、フォーカスレンズ間隔が離れていない場合、またはステップＳ９３における判定の結果、合焦領域が近傍の位置にある場合には、ローカル位置合わせを行う（Ｓ１０１）。ここでは、撮影した画像の位置ずれを、ローカル位置合わせによって補正する。ローカル位置合わせは、２枚の画像の局所的な動きを補正する処理である。例えば、２枚の画像をブロック分割し、ブロック毎の相関値が最も少ない座標への移動量を算出し、ブロック毎の移動量に合わせて位置合わせを行う。このローカル位置合わせは、個々の被写体が移動した場合であっても、それぞれの被写体毎に適切に位置合わせを行うことができる。

ステップＳ９５においてグローバル位置合わせを行うと、またはステップＳ１０１においてローカル位置合わせを行うと、深度合成を行う（Ｓ９７）。ここでは、被写界深度を拡大する効果を得るための画像合成を行う。例えば、各画像の高周波成分を抽出し、高周波成分を合成することによって、被写界深度の深い画像を生成する。高周波成分の抽出は、ステップＳ９１の合成部抽出で抽出したデータを利用してもよい。

深度合成を行うと、次に、所定枚数について深度合成を行ったか否かを判定する（Ｓ９９）。ここでは、撮影された複数の画像データについて、合成用画像の処理が終了したか否かを判定する。この判定の結果、所定枚数の処理が行われていない場合には、ステップＳ８３に戻り、深度合成の処理を続行する。一方、判定の結果、所定枚数の処理が終了した場合には、画像合成のフローを終了し、元のフローに戻る。

このように、画像合成のフローにおいては、２つの画像の位置合わせを行う際に、所定の条件に基づいて（Ｓ８７、Ｓ８９、Ｓ９３参照）、グローバル位置合わせを行うか、ローカル位置合わせを行うかを選択している。このため、少ない処理時間で良好な画質の合成画像を得ることができる。すなわち、ローカル位置合わせは、個々の被写体に対しても高精度で位置合わせを行うことができるが、処理時間がかかってしまう。一方、グローバル位置合わせは、個々の被写体に対しては高精度の位置合わせを行うことができないが、迅速に処理することができる。本実施形態においては、複数の画像のそれぞれの条件を考慮して最適な位置合わせを選択しているので、少ない処理時間で良好な画質の合成画像を得ることができる。

なお、本実施形態においては、位置合わせを選択するにあたって、基準画像との合成かに基づいて判定する場合（Ｓ８７）と、フォーカスレンズ間隔に基づいて判定する場合（Ｓ８９）と、合焦領域に基づいて判定する場合（Ｓ９３）の３つの判定を設けたが、いずれか１つの判定のみ、または２つのみでもよく、また他の条件を組み合わせて判定するようにしてもよい。また、処理時間に重点がおかれる動画撮影やライブビュー表示においては、いずれか１つの判定のみで実施し、また画質に重点がおかれる静止画撮影では複数の判定を行うようにしてもよい。

次に、図６を用いて、深度合成の画像処理の一例について、説明する。図６に示す例では、前述したように、７枚の撮影画像を取得している（ＳＴ１、図４のＳ６５参照）。７枚の画像の内、１枚目と５枚目、２枚目と６枚目、３枚目と７枚目の画像に対して、それぞれグローバル位置合わせを行う（ＳＴ２、図５のＳ９５参照）。

グローバル位置合わせを行うと、それぞれの画像の組み合わせで、深度合成の画像合成処理を行う（ＳＴ３、図５のＳ９７参照）。この画像合成によって合成画像１’、２’、３’の３枚の合成画像が生成される。続いて、各合成画像１’、２’、３’と、基準画像４との間で、それぞれローカル位置合わせを行う（ＳＴ４、図５のＳ１０１）。

ローカル位置合わせを行うと、それぞれの画像の組み合わせで、深度合成の画像合成処理を行う（ＳＴ５、図５のＳ９７参照）。この画像合成によって、深度合成の合成画像が完成する。

このように、図６に示す例においては、まず、基準画像以外の画像を用いてグローバル位置合わせを行う（ＳＴ２）。このとき、相対的なフォーカス位置が離れている画像を組み合わせて位置合わせを行うようにしている。そして、基準画像以外の合成を先に少なくとも１回実行した後に（ＳＴ３）、基準画像とのローカル位置合わせを行い（ＳＴ４）、深度合成を実行している（ＳＴ５）。

次に、図７に、複数の画像と、この画像から生成された深度合成の合成画像の一例を示す。図７（ａ）〜（ｃ）は、フォーカスレンズ位置をずらしながら、撮影した画像の例を示し（図４のＳ６３〜Ｓ６７参照）、図７（ａ）は近接側にある花にピントがあっており、図７（ｂ）は中距離にある人物にピントがあっており、図７（ｃ）は遠距離側にある山にピントが合っている。なお、図中で、破線はピントがぼけていることを示し、実線はピントが合っていることを示す。

図７（ｄ）は、図７（ａ）〜（ｃ）の画像を深度合成して生成した画像の例を示す。この例では、深度合成を行うことによって、近接側の花、中距離にある人物、遠距離にある山のそれぞれにピントの合った画像を生成することができる。

次に、図８を用いて、深度合成を行う場合と通常撮影を行う場合において、撮像と表示の関係について説明する。この例では、ライブビュー表示を行う場合について示す（図３のＳ５３、Ｓ５５参照）。なお、各図において、横軸方向は時間の流れを示し、縦軸方向に撮像、画処理等の各処理を示す。図８（ａ）は通常撮影時を示す。通常撮影時には、撮像を行い、この撮像によって取得した画像データに対して画処理を行い、表示パネル１３５にライブビュー画像を表示する。

図８（ｂ）は深度合成１を示す。深度合成１では、撮像を行い、この撮像によって取得した画像データに対して画処理を行い、画処理を行うと深度合成を行う。深度合成にあたっては、直近の撮影から所定回数前の撮影までの間で取得した画像を用いて合成する。続いて、深度合成画像を用いて、表示パネル１３５にライブビュー画像を表示する。図８（ａ）に示した通常撮影時のライブビュー表示と比較すると、深度合成１は、複数枚の画像を合成することによって被写界深度の深い画像を表示することができる。

図８（ｃ）は深度合成２を示す。深度合成２は、通常撮影時と同等の画像と、深度合成した画像を、交互に表示する。すなわち、撮像を行うと（Ｉｍ１参照）、この撮像によって取得した画像データに対して画処理を行い（Ｐｒ１参照）、この画処理した画像データを用いて、表示パネル１３５に通常のライブビュー表示を行う（Ｄ１）。また、撮像によって取得した画像データに対して、深度合成用の画処理と（Ｐｒ２参照）深度合成（Ｓｙ１参照）を行い、この深度合成した画像データを用いて、表示パネル１３５に深度合成画像によるライブビュー表示を行う（Ｄ２参照）。この図８（ｃ）に示す例では、通常撮影時のライブビュー表示と深度合成による画像が交互に表示されることから、深度合成の効果を簡単に確認することができる。

なお、深度合成１と深度合成２は、ユーザが操作部１２３を操作することによって指定するようにしてもよく、また、いずれか一方のみを行うようにしてもよい。

以上説明したように、本発明の一実施形態においては、撮像部によって取得した複数の画像データの位置合わせを行う位置補正部を有しており、この位置補正部は、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択的に実行している（例えば、図５のＳ８７〜Ｓ９５、Ｓ１０１等参照）。また、本発明の一実施形態においては、画像データの合焦領域を推定する合焦領域推定部を有し（例えば、図５のＳ９３参照）、位置補正部は、合焦領域推定部によって推定された画像データの合焦領域に基づいて、局所的に位置合わせをするローカル位置合わせ処理と、大域的に位置合わせするグローバル位置合わせ処理を選択的に実行いる（例えば、図５のＳ９３、Ｓ９５、Ｓ１０１参照）。また、本発明の一実施形態においては、画像合成部によって画像の合成を行う際の基準画像を選択する合成基準画像選択部を有し、位置補正部は、合成基準画像選択部で選択された基準画像との位置合わせを実行する場合には、ローカル位置合わせ処理を実行している（例えば、図５のＳ８７Ｙｅｓ、Ｓ１０１等参照）。このように、位置補正の処理を状況に応じて変更していることから、少ない処理時間で良好な画質の合成画像を得ることが可能となる。

また、本発明の一実施形態においては、撮像部によって被写体像を撮像して、画像データを取得する画像取得ステップと（例えば、図４のＳ６５）、撮影レンズ中のフォーカスレンズ位置を変更するレンズ制御ステップと（例えば、図４のＳ６３）、撮像部によって取得した複数の画像データの位置合わせを行う位置補正ステップと（例えば、図５のＳ９５、Ｓ１０１）を有し、この位置補正ステップは、合成する２つの画像間の相対的なフォーカス位置に基づいて（例えば、図５のＳ８７、Ｓ８９、Ｓ９３）、局所的に位置合わせを行うローカル位置合わせ処理と（例えば、図５のＳ１０１）、大域的に位置合わせを行うグローバル位置合わせ処理（例えば、図５のＳ９５）を選択している。このように、位置補正の処理を状況に応じて変更していることからめ、少ない処理時間で良好な画質の合成画像を得ることが可能となる。

なお、本発明の一実施形態においては、静止画撮影時と、動画撮影時およびライブビュー表示時の両方において、深度合成を行うことを可能としていたが（図３のＳ４３、Ｓ５３）、いずれか一方のみで深度合成を行うようにしても構わない。

また、本発明の一実施形態においては、位置補正部が、基準画像と合成を行うか（図５のＳ８７）、フォーカスレンズ間隔が離れているか（図５のＳ８９）、合焦領域が近傍にないか（図５のＳ９３）に基づいて、グローバル位置合わせ処理を行うか、ローカル位置合わせ処理を行うかを選択していたが、これ以外の条件、例えば、合成後の画像解像度に基づいて、処理を選択するようにしても構わない。

また、本発明の一実施形態においては、画像処理部１０９、ＡＥ処理部１１１、ＡＦ処理部１１３を、マイクロコンピュータ１２１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１２１によって実行するようにしても勿論かまわない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数枚の画像を取得し、位置合わせを行った後、画像合成を行うための機器等であれば、本発明を適用することができる。

また、本発明の一実施形態においては、カメラがフォーカスレンズ位置を変更しながら撮影し、これによって複数の画像データを取得していたが、これに限らず、フォーカスレンズ位置を変更しながら撮影した複数の画像データを入力し、この画像データを用いて位置合わせを行うようにしたプログラムにおいても、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮・伸張部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ

Claims (9)

1. 被写体像を撮像して、画像データを取得する撮像部と、
   フォーカスレンズ位置を変更するレンズ制御部と、
   上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、
   を具備し、
   上記位置補正部は、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択的に実行することを特徴とする撮像装置。
2. 上記レンズ制御部は、フォーカスレンズの位置を、撮影レンズの焦点深度か被写界深度に基づいて変更することを特徴とする請求項１に記載の撮像装置。
3. 上記位置補正部は、上記相対的なフォーカス位置が離れている場合に、上記グローバル位置合わせ処理を実行することを特徴とする請求項２に記載の撮像装置。
4. 被写体像を撮像して、画像データを取得する撮像部と、
   フォーカスレンズ位置を変更するレンズ制御部と、
   上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、
   上記撮像部によって取得した複数の画像データを合成する画像合成部と、
   上記画像データの合焦領域を推定する合焦領域推定部と、
   を具備し、
   上記位置補正部は、上記合焦領域推定部によって推定された画像データの合焦領域に基づいて、局所的に位置合わせをするローカル位置合わせ処理と、大域的に位置合わせするグローバル位置合わせ処理を選択的に実行することを特徴とする撮像装置。
5. 上記位置補正部は、上記画像データの合焦領域が離れている場合に、上記グローバル位置合わせ処理を実行することを特徴とする請求項４に記載の撮像装置。
6. 被写体像を撮像して、画像データを取得する撮像部と、
   フォーカスレンズ位置を変更するレンズ制御部と、
   上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正部と、
   上記撮像部によって取得した複数の画像データを合成する画像合成部と、
   上記画像合成部によって画像の合成を行う際の基準画像を選択する合成基準画像選択部と、
   を具備し、
   上記位置補正部は、上記合成基準画像選択部で選択された上記基準画像との位置合わせを実行する場合には、ローカル位置合わせ処理を実行することを特徴とする撮像装置。
7. 上記画像合成部は、上記基準画像以外の合成を先に少なくとも１回実行した後に、上記基準画像との合成を実行することを特徴とする請求項６に記載の撮像装置。
8. 撮像部によって被写体像を撮像して、画像データを取得する画像取得ステップと、
   撮影レンズ中のフォーカスレンズ位置を変更するレンズ制御ステップと、
   上記撮像部によって取得した複数の画像データの位置合わせを行う位置補正ステップと、
   を具備し、
   上記位置補正ステップは、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択することを特徴とする撮像方法。
9. 画像合成を行う画像合成装置のコンピュータを実行させるためのプログラムにおいて、
   フォーカスレンズ位置を変更しながら撮影した複数の画像データを取得する画像取得ステップと、
   上記複数の画像データの位置合わせを行う位置補正ステップと、
   を具備し、
   上記位置補正ステップは、合成する２つの画像間の相対的なフォーカス位置に基づいて、局所的に位置合わせを行うローカル位置合わせ処理と、大域的に位置合わせを行うグローバル位置合わせ処理を選択することをコンピュータに実行させること特徴とするプログラム。

Images