JP6280780B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、フォーカス位置を変更しながら、複数の画像データを取得する撮像装置、撮像装置の制御方法、及びプログラムに関する。

デジタルカメラ等の撮像装置では、複数の画像データを取得し、１枚の画像では表現できない画質を実現する機能を搭載したものがある。例えば、フォーカス位置（焦点位置）を変更して撮像した複数の画像データの特徴点を抽出し、複数の画像間で対応する画素の先鋭度の高い画素の重みを大きくするように加重平均して、画素毎の合成することにより、被写界深度を深くした画像を得る技術が知られている（特許文献１参照）。

特許第４６７８６０３号公報

フォーカス位置を変更した複数の画像を合成することにより、被写界深度の深い画像を合成することができる。しかし、撮影環境に応じて、複数のフォーカス位置を適切に設定できないと、被写界深度の深い画像を生成するために必要とする画像を取得することができなかったり、また逆に不必要な画像を取得してしまう場合がある。

本発明は、このような事情を鑑みてなされたものであり、焦点深度の深い画像を生成するために使用する画像を、撮影環境に応じて適切に取得することが可能な撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体を複数回撮像して複数の画像データを取得する撮像部と、撮影レンズを移動させてフォーカス位置を変更するレンズ制御部と、撮影時のフォーカス位置をフォーカス基準位置として設定するフォーカス基準位置設定部と、上記レンズ制御部における撮影設定を行う撮影設定部と、を具備し、上記撮影設定部は、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する。

第２の発明に係る撮像装置は、上記第１の発明において、さらに、撮影状態を推定する撮影状態推定部を具備し、上記撮影状態推定部は、撮影状態が近接撮影か否かを判定し、上記撮影設定部は、上記撮影状態推定部の判定の結果に応じて撮影設定を変更する。

第３の発明に係る撮像装置の制御方法は、撮像部によって被写体を複数回撮像して複数の画像データを取得し、レンズを移動させてフォーカス位置を変更し、撮影時のフォーカス位置をフォーカス基準位置として設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する。

第４の発明に係る撮像装置の制御方法は、上記第３の発明において、さらに、撮影状態が近接撮影か否かを判定し、上記撮影状態の判定の結果に応じて撮影設定を変更する。

第５の発明に係わるプログラムは、撮像装置のコンピュータを実行させるためのプログラムであって、撮像部によって被写体を複数回撮像して複数の画像データを取得し、レンズを移動させてフォーカス位置を変更し、撮影時のフォーカス位置をフォーカス基準位置として設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する。
第６の発明に係わるプログラムは、上記第５の発明において、さらに、撮影状態が近接撮影か否かを判定し、上記撮影状態の判定の結果に応じて撮影設定を変更する。

本発明によれば、焦点深度の深い画像を生成するために使用する画像を、撮影環境に応じて適切に取得することが可能な撮像装置、撮像装置の制御方法、及びプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの撮影の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの撮影設定の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおける撮影の順番を示す図である。 本発明の第２実施形態に係るカメラの撮影の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラにおける撮影の順番を示す図である。

以下、本発明の実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、このカメラは、深度合成モードが設定されている場合には、撮影レンズのフォーカス位置を順次移動させ、深度合成用に複数の画像を取得する。フォーカス位置の移動にあたっては、撮影環境が近接撮影か否かを判定し、この判定結果に応じて、フォーカス位置を変更する（詳しくは、図４のＳ７３〜Ｓ８１参照）。

図１は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は開口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制御する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の開口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。マイクロコンピュータ２０７とドライバ２０５は、撮影レンズを移動させてフォーカス位置を変更するレンズ制御部として機能する。

マイクロコンピュータ２０７は、フォーカスレンズのフォーカス位置を図示しないフォーカス位置検出部から取得し、またズームレンズのズーム位置を図示しないズーム位置検出から取得する。この取得したフォーカス位置やズーム位置を、カメラ本体１００内のマイクロコンピュータ１２１に送信する。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。マイクロコンピュータ２０７は、これらの種々の情報をカメラ本体１００内のマイクロコンピュータ１２１に送信する。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、被写体像を撮像して画像データを取得する撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。撮像素子１０３は被写体を撮像して画像データを取得する撮像部として機能する。また、撮像部は被写体を複数回撮像して複数の画像データを取得する。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、撮影状態推定部１１５、撮影設定部１１７、フォーカス基準位置設定部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３が接続されている。

画像処理部１０９は、通常の画像処理を行う基本画像処理部１０９ａと、画像合成を行う画像合成部１０９ｂを有する。複数の画像を合成する場合には、基本画像処理部１０９ａ、および画像合成部１０９ｂを使用する。

基本画像処理部１０９ａは、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタや深度合成等の特殊効果等が設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

画像合成部１０９ｂは、設定されている合成モード等応じて種々の画像合成を行う。この画像合成部１０９ｂは、撮像部からの画像データに基づいて合成用画像データを合成する画像合成部として機能する。すなわち、画像合成部１０９ｂは、焦点位置、絞り値等、異なる状態で取得した複数の画像データを用い、画像データの合成を行う。本実施形態においては、後述するように、被写界の深度を深くする深度合成等の合成モードが設定可能である。深度合成モードが設定されている場合には、画像合成部１０９ｂは、複数のフォーカス位置で撮影した複数の画像データに対し、位置合わせを行い、画像の先鋭度（コントラスト）の高い領域を抽出し、先鋭度が高い領域を合成することで、単写とは異なる被写界深度の画像を生成する。画像合成部１０９ｂは、複数の画像データを合成する画像処理部として機能する。

なお、図示しないが、画像処理部１０９内には、画像圧縮部と画像伸張部が設けられている。画像圧縮部は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。また、画像伸張部は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像伸張部おいて伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。また、圧縮方式は、可逆圧縮でも、非可逆圧縮でもよい。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

撮影状態推定部１１５は、撮影レンズ２０１のフォーカスレンズの合焦位置に基づく被写体距離から、撮影が近接撮影か遠距離撮影かの撮影状態の推定を行う。撮影状態の推定としては、被写体距離以外にも、例えば、撮影モードに基づいて推定してもよい。マクロモード等の近接撮影に適した撮影モードが設定されている場合には近接撮影と推定する。また、フォーカスレンズをスキャンさせながらコントラスト情報を取得し、これから被写体距離を求め、近接撮影か否かを推定してもよい。撮影状態推定部１１５は、撮影状態を推定する撮影状態推定部として機能し、この撮影状態推定部は撮影状態が近接撮影か否かを判定する。

撮影設定部１１７は、撮影状態推定部１１５での推定結果を受け、深度合成用の撮影時における複数のフォーカスレンズ位置を設定し、また撮像素子１０３等の撮像部に対して複数回の撮影の設定を行う。撮像部は撮影設定部１１７の設定に従って複数回の撮像の順番を設定する（詳しくは、図４のＳ７５、図５等参照）。

撮影設定部１１７は、レンズ制御部における撮影設定を行う撮影設定部として機能し、撮影設定部は撮影状態推定部の判定の結果に応じて撮影設定を変更する。また、撮影設定部は、フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得した時の撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得した時の撮影枚数よりも、多く撮影するように設定する（詳しくは、図５のＳ９５参照）。また、撮影設定部は、フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する（詳しくは、図５のＳ１０１、図７等参照）。また、フォーカス基準位置設定部１１９は、フォーカス基準位置を設定する。このフォーカス基準位置設定部１１９は、深度合成する際の基準となる画像を取得するためのフォーカス基準位置を設定し、本実施形態においては、撮影時のフォーカス位置を基準位置とするが（図５のＳ９３参照）、これに限らず、例えば、ユーザが設定するようにしてもよい。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、フラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、深度合成等の合成モードがあり、合成モードとしては、これ以外にも、ＨＤＲ合成、超解像合成等のモードを有してもよい。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。記録媒体１３１は、合成画像データを記録する画像記録部として機能する。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像処理部１０９内の画像伸張部によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、図２、図３、および後述する図４乃至図６、図８、図９に示すフローチャートは、フラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５、Ｓ３１等参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生・編集を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、選択している画像の編集を行うことができる。

ステップＳ５における再生・編集を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、例えば、撮影モードとしては、通常撮影、深度合成等のモードが設定可能である。また、マクロモードが設定可能である。ここで、マクロモードは近距離の被写体を撮影するに適した撮影モードである。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグの反転を行う（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、動画記録中か否かの判定を行う（Ｓ３１）。このステップでは、ステップＳ１５と同様に、記録中フラグのオンかオフに基づいて判定する。

ステップＳ３１における判定の結果、動画記録中でない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３３）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３３における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３５）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３５においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のフォーカス位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行い、合焦位置に移動させる。その後、ステップＳ３７へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ４１）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ４１における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、撮影を行う（Ｓ４３）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

また、深度合成モードが設定されている場合には、まず、撮影状態を推定し（具体的には、近接撮影か否か）、この撮影状態の推定結果に基づいて撮影設定を行い（具体的には、深度合成用に撮影するフォーカス位置の設定を行う）、この撮影設定に基づいてフォーカスレンズを移動させ、設定されたフォーカス位置に達すると撮影を行い、複数の画像データを取得する。この撮影の詳しい動作については、図４を用いて後述する。

ステップＳ４３においては、撮影を行うと画像処理を行う（Ｓ４５）。撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。また、深度合成モードが設定されている場合には、ステップＳ４３において、取得した複数の画像データを用いて深度合成を行う。この画像処理の詳しい動作については、図６を用いて後述する。

画像処理を行うと、次に静止画記録を行う（Ｓ４７）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。静止画記録にあたっては、設定されている形式で記録を行う（記録形式はステップＳ９のカメラ設定において設定可能）。ＪＰＥＧが設定されている場合には、画像処理済みデータを画像圧縮部においてＪＰＥＧ圧縮して記録する。またＴＩＦＦ形式の場合には、ＲＧＢデータに変換してＲＧＢ形式で記録する。また、ＲＡＷ記録が設定されている場合に、撮影によって取得したＲＡＷデータと合成を行った場合には、合成ＲＡＷデータも記録する。画像データの記録先は、カメラ本体内の記録媒体１３１でもよいし、通信部（不図示）を介して外部の機器へ記録するようにしてもよい。

ステップＳ４１における判定の結果、レリーズ釦２ｎｄでなかった場合、またはステップＳ３１における判定の結果、動画記録中であった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ４１の判定がＮｏであった場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５７においてライブビュー表示を行う。また、前述のステップＳ３１の判定がＹｅｓであった場合は、動画記録中である。このステップでは、適正露出でライブビュー表示または動画撮影を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理を行う（Ｓ５５）。このステップでは、基本画像処理部１０９ａによって、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクションン等の基本画像処理を行う。

基本画像処理を行うと、次に、ライブビュー表示を行う（Ｓ５７）。このステップでは、ステップＳ５５における基本画像処理された画像データを用いて、表示パネル１３５にライブビュー表示を行う。すなわち、ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ステップＳ５７においてライブビュー表示を行うと、次に、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。

ステップＳ６１において動画記録を行うと、またはステップＳ５９における判定の結果、動画記録中でない場合、またはステップＳ４５において静止画記録を行うと、またはステップＳ３５において、ＡＥ・ＡＦを行うと、次に、電源オフか否かの判定を行う（Ｓ３７）。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインフローの終了動作を行ったのち、このメインフローを終了する。

このように本発明の一実施形態におけるメインフローにおいては、深度合成モード等、複数の画像データを合成する撮影モードの設定が可能であり（Ｓ９）、深度合成モードが設定された場合には、ステップＳ４３において、撮影状態を推定し（具体的には、近接撮影か否か）、この撮影状態の推定結果に基づいて、撮影設定を変更している（具体的には、フォーカス位置の設定）。

次に、図４に示すフローチャートを用いて、ステップＳ４３の撮影の詳しい動作について説明する。撮影のフローに入ると、まず、深度合成が設定されているか否かを判定する（Ｓ７１）。深度合成モードは、ステップＳ９のカメラ設定においてユーザが設定可能である。

ステップＳ７１における判定の結果、深度合成モードが設定されていなかった場合には、撮影を行う（Ｓ８３）。ここでは、レリーズ釦が半押しされ、ステップＳ３５において決定した露出制御値および合焦位置において、撮像素子１０３で撮像を行い、画像データを取得する。

一方、ステップＳ７１における判定の結果、深度合成モードが設定されていた場合には、撮影状態の推定を行う（Ｓ７３）。ここでは、撮影状態推定部１１５が、被写体距離や焦点距離の情報を利用して、近接撮影か否かを推定する。被写体距離は、フォーカスレンズ位置から被写体距離を算出してもよく、また、ユーザがマクロモードを設定しているか否かを利用してもよい。また、フォーカスレンズをスキャンしながら取得したコントラスト評価値を利用してもよい。

撮影状態の推定を行うと、次に、撮影設定を行う（Ｓ７５）。ここでは、撮影設定部１１７が、深度合成を行うに適したフォーカス位置を設定する。すなわち、交換式レンズ２００の焦点距離、絞り２０３の絞り値、近接撮影か否か等に基づいて、深度合成を行うに過不足のないフォーカス位置を複数個所、設定し、また移動の順番も設定する。この設定されたフォーカス位置に基づいて、レンズ制御部（マイクロコンピュータ２０７、ドライバ２０５等）がフォーカスレンズの位置を制御し、また撮像部（撮像素子１０３等）によって撮影を行う。この撮影設定の詳しい動作については、図５、図７を用いて後述する。

撮影設定を行うと、次に、フォーカス移動を行う（Ｓ７７）。ここでは、ステップＳ７５において設定されたフォーカス位置に、設定された順番に従って、フォーカスレンズを移動させる。

フォーカス移動を行うと、次に、撮影を行う（Ｓ７９）。ステップＳ７５で設定されたフォーカス位置に達すると、ステップＳ３５で算出された露出制御値で、撮影を行い、撮像素子１０３から画像データを取得する。ここでの撮影にあたって、露光時間はメカシャッタ１０１によって制御するが、撮像素子１０３の電子シャッタによって制御するようにしてもよい。撮影で取得した画像データは、ＳＤＲＡＭ１２７等に一時記憶する。

撮影を行うと、次に、撮影終了か否かを判定する（Ｓ８１）。ここでは、ステップＳ７５において設定されたフォーカス位置の数（撮影枚数）だけ撮影を行ったか否かを判定する。この判定の結果、設定された深度合成用の撮影枚数の撮影が終了していない場合には、ステップＳ７７に戻り、次のフォーカス位置にフォーカスレンズを移動させ、深度合成用の撮影を行う。

ステップＳ８１における判定の結果、設定された深度合成用の撮影枚数の撮影が終了した場合、またはステップＳ８３の撮影を行うと、撮影のフローを終了し、元のフローに戻る。

このように、撮影のフローにおいては、深度合成が設定されている場合には（Ｓ７１）、撮影状態を推定し（近接撮影か否か）（Ｓ７３）、この推定結果に基づいて撮影設定を行い（フォーカス位置の設定と撮影順番の設定）（Ｓ７５）を行う。そして、撮影設定に従って、フォーカスレンズをフォーカス位置に移動させると、撮影を行う（Ｓ７７、Ｓ７９）。予め設定された全てのフォーカス位置で撮影が終了すると（Ｓ８１）、深度合成用の撮影を終了する。

なお、本実施形態においては、ステップＳ７３の撮影状態推定と、ステップＳ７５の撮影設定を、レリーズ釦が全押しされた際（２ｎｄレリーズ時）に行っているが、レリーズ釦が半押しされた際（１ｓｔレリーズ時）に行うようにしても構わない。この場合には、レリーズ釦が全押しされた際に、深度合成用に直ちにフォーカスレンズをフォーカス位置に移動させることができる。

次に、図５に示すフローチャートを用いて、ステップＳ７５の撮影設定の詳しい動作について説明する。撮影設定のフローに入ると、まず、合成用撮影枚数の設定を行う（Ｓ９１）。合成用撮影枚数は、記録媒体１３１やＳＤＲＡＭ１２７等の記録容量などの状況に応じて予め定められた枚数でよいし、またユーザが設定した枚数でもよい。ユーザが設定する場合には、上限値を設計値として定めておいてもよい。

合成用撮影枚数の設定を行うと、次に、フォーカス基準位置の設定を行う（Ｓ９３）。ここでは、フォーカス基準位置設定部１１９が、レリーズ釦が全押しされた際（２ｎｄレリーズ時）のフォーカスレンズの位置をフォーカス基準位置として設定する。

フォーカス基準位置の設定を行うと、次に、フォーカス位置の設定を行う（Ｓ９５）。ここでは、深度合成用撮影で使用するフォーカス位置の設定を行う。具体的には、ステップＳ９３において設定したフォーカス基準位置を中心とし、撮影枚数を近接側と遠距離側で同じ撮影枚数になるように設定することが望ましい。フォーカス位置の間隔は、予め定められた固定値でもよく、また被写体距離や焦点距離や絞り値等の撮影条件に応じて変更した値でもよい。

なお、撮影枚数が偶数で、近接側と遠距離側で均一とならない場合には、遠距離側の撮影枚数を増やしておいてもよい。また、フォーカス基準位置が無限遠または無限遠に近く、フォーカス位置を均等に配置できない場合には、近距離側の撮影枚数を多くし、逆にフォーカス基準位置が至近端または至近端に近く、フォーカス位置を均等に配置できない場合には、遠距離側の撮影枚数を多くしてもよい。

フォーカス位置の設定を行うと、次に、近接撮影か否かの判定を行う（Ｓ９７）。ここでは、撮影状態推定部１１５による推定結果に基づいて（図４のＳ７３参照）、撮影が近接撮影であるか否かを判定する。例えば、交換式レンズ２００のマイクロコンピュータ２０７から送信されてくるフォーカス位置情報（被写体距離情報）に基づいて、近接撮影であるか否かを判定してもよく、また操作部１２３によってマクロモード等、近接撮影に適した撮影モードが設定されているか等に基づいて判定してもよい。

ステップＳ９７における判定の結果、近接撮影であった場合には、フォーカス位置の修正を行う（Ｓ９９）。ステップＳ９５におけるフォーカス位置設定においては、フォーカス基準位置に対して、近接側と遠距離側で撮影枚数が同じなるようにフォーカス位置を配置したが、近接撮影の場合には、近接側よりも遠距離側の撮影枚数が多くなるように、フォーカス位置を再設定する。一般に、遠距離側の枚数が多いと、奥行きのある深度合成とすることができるからであり、また、マクロ撮影では、合焦位置よりも近距離側に被写体が存在することが少ないからである。近接側と遠距離側の撮影枚数の差は、予め決められた固定値でもよいし、また被写体距離や焦点距離などの撮影条件に応じて変更した値でもよい。

ステップＳ９９においてフォーカス位置の修正を行うと、またはステップＳ９７における判定の結果、近接撮影でなかった場合には、撮影順番の設定を行う（Ｓ１０１）。撮影は、撮影間隔時間を短縮するために、一方向に順次撮影していくことが望ましい。撮影方向は、フォーカス基準位置に対して、近接側と遠距離側で撮影枚数が少ない方から多い方に向けて進むように設定する。ステップＳ９７において、近接撮影と判定された場合には、ステップＳ９９において近接側の撮影枚数が少なくなるように、フォーカス位置が修正されるので、この場合には、近接側から遠距離側に撮影する。１枚目の撮影時にフォーカスレンズ位置をフォーカス基準位置とした場合には、１枚目にフォーカス位置で撮影し、２枚目から一方向に順次撮影してもよい。また、１枚目に近接側または遠距離側で撮影し、以後、一方向に順次撮影し、その途中、フォーカス基準位置で撮影を行うようにしてもよい。撮影順番については、図７を用いて後述する。撮影順番の設定を行うと、撮影設定のフローを終了し、元のフローに戻る。

このように、撮影設定のフローにおいては、フォーカス基準位置を設定し（Ｓ９３）、このフォーカス基準位置に基づいて、ステップＳ９１において設定した合成用撮影枚数の撮影を行うフォーカス位置を設定する（Ｓ９５）。この設定されたフォーカス位置は、近接撮影の場合には、フォーカス基準位置より遠距離側の撮影枚数が多くなるように修正する（Ｓ９７、Ｓ９９）。ステップＳ９５またはＳ９９において、フォーカス位置を設定すると、撮影の順番を設定する（Ｓ１０１）。

なお、本実施形態においては、ステップＳ９５においてフォーカス位置を設定した後、ステップＳ９７、Ｓ９９において、近接撮影か否かを判定し、近接撮影の場合にフォーカス位置を修正していたが、ステップＳ９５においてフォーカス位置を設定する際に、ステップＳ９５、Ｓ９７と同様の処理を含めて行ってもよい。

次に、図７を用いて、フォーカス位置と撮影順番について説明する。図７において、横軸はフォーカスレンズ位置を示し、縦軸は被写体距離を示す。縦軸の被写体距離は、至近から無限遠まで示すが、そのうち、近距離側のＬｃの範囲が近接領域である。近接領域は、ステップＳ９９においてフォーカス位置修正を行うことから、適宜、設定すればよい。図７には、被写体距離に応じて、例１（ＥＸ１）〜例５（ＥＸ５）までの５つの例について示す。各例において、ＬｘＣ（ｘ：１〜５）は至近側のフォーカス位置を示し、ＬｘＦ（ｘ：１〜５）は無限遠側のフォーカス位置を示し、縦線はフォーカス位置を示す。

図７において、例１（ＥＸ１）及び例２（ＥＸ２）は、フォーカス基準位置Ｌ１Ｓｔ、Ｌ２Ｓｔが近接領域にある場合であり、この場合には、フォーカス基準位置Ｌ１Ｓｔ、Ｌ２Ｓｔに対して、遠距離側のフォーカス位置が、近距離側のフォーカス位置よりも多くなっている（図５のＳ９７、Ｓ９９参照）。例３（Ｅｘ３）、例４（ＥＸ４）、例５（ＥＸ５）は、フォーカス基準位置Ｌ３Ｓｔ、Ｌ４Ｓｔ、Ｌ５Ｓｔが近接領域外にある場合であり、この場合には、フォーカス基準位置Ｌ３Ｓｔ、Ｌ４Ｓｔ、Ｌ５Ｓｔに対して、遠距離側と近距離側のフォーカス位置が均等に配置されている。

撮影順番は、例１及び例２では、フォーカス基準位置Ｌ１Ｓｔ、Ｌ２Ｓｔより近距離側のフォーカス位置が少ないことから、フォーカス基準位置にて撮影を行った後に、Ｌ１Ｃ、Ｌ２Ｃで撮影を行い、以後、無限遠側のフォーカス位置（フォーカス基準位置を除く）に向けて撮影を順次行う。例３〜例５では、フォーカス基準位置Ｌ１Ｓｔ、Ｌ２Ｓｔに対してフォーカス位置が均等に配置されていることから、フォーカス基準位置で撮影した後は、いずれから撮影を行ってもよい。なお、撮影順番としては、これ以外にも、例えば、至近側から順次、撮影を行い、途中、フォーカス基準位置で撮影してもよい。

次に、図６に示すフローチャートを用いて、ステップＳ４５（図３参照）の画像処理の詳しい動作について説明する。画像処理のフローに入ると、まず、ステップＳ７１と同様に、深度合成か否かの判定を行う（Ｓ１１１）。このステップでは、ステップＳ９において、深度合成モードが設定されたか否かに基づいて判定する。

ステップＳ１１１における判定の結果、深度合成モードが設定されていなかった場合には、基本画像処理を行う（Ｓ１２３）。ここでは、ステップＳ８３において取得した画像データを読み出し、この画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の基本画像処理を施す。

一方、ステップＳ１１１における判定の結果、深度合成モードが設定されていた場合には、基本画像処理を行う（Ｓ１１３）。ここでは、ステップＳ７９において取得した深度合成用に取得した画像データに対して、基本画像処理部１０９ａがＯＢ減算処理、ＷＢ補正、カラーマトリックス演算、ガンマ変換、エッジ強調、ノイズリダクション等の基本画像処理を施す。なお、ステップＳ１１３における基本画像処理は、ステップＳ１２３における基本画像処理と同じでもよいが、ステップＳ１１３における基本画像処理では、深度合成用であることから、例えば、エッジ強調を強く施すなど、通常モードの基本画像処理と異ならせてもよい。

基本画像処理を行うと、次に、１枚目か否かの判定を行う（Ｓ１１５）。ここでは、深度合成用に撮影した複数の画像の中の１枚目か否かを判定する。１枚目の場合には、合成対象画像がないことから、ステップＳ１１７以下の処理をスキップする。

ステップＳ１１５における判定の結果、１枚目でなかった場合には、位置合わせを行う（Ｓ１１７）。このステップでは、画像合成部１０９ｂが、撮影した合成用の画像の座標ズレを補正する位置合わせを行う。位置合わせとしては、例えば、１枚の画像をブロック分割し、ブロック毎の相関値が最も少ない座標へ移動量を算出し、移動量に合わせて位置合わせを行う。これ以外にも、画像全体の移動量を算出してもよい。画像全体の移動量を算出する方法は、演算時間を短縮できるが、精度が低下する。

位置合わせを行うと、次に、深度合成を行う（Ｓ１１９）。ここでは、画像合成部１０９ｂが、被写界深度を拡大する効果を得るための画像合成を行う。例えば、各画像の高周波成分を画素毎に抽出し、抽出された高周波成分の高い方の画素を採用して、画素毎に高周波成分を合成し、深度合成画像を生成する。

ステップＳ１１９深度合成を行うと、またはステップＳ１１５における判定の結果、１枚目であった場合には、処理終了か否かを判定する（Ｓ１２１）。ここでは、撮影された合成用画像の処理が終了したか否かを判定する。この判定の結果、処理が終了していない場合には、次の合成用画像を読み出し、ステップＳ１１３以下の処理を繰り返す。

ステップＳ１２１における判定の結果、処理が終了した場合、またはステップＳ１２３において基本画像処理を行うと、画像処理のフローを終了し、元のフローに戻る。

このように、本実施形態における画像処理のフローでは、深度合成の場合には、ステップＳ７９（図４参照）において撮影された複数の合成用画像を用いて、深度合成を行っている。

以上、説明したように、本発明の第１実施形態においては、近接撮影か否かに応じて（図５のＳ９７）、深度合成用に撮影するフォーカス位置を異ならせている（図５のＳ９５、Ｓ９９）。また、本実施形態においては、撮影時（レリーズ釦の全押しがなされた時点）のフォーカス位置をフォーカス基準位置として、その前後にフォーカス位置を設定している。このため、撮影時の画像を基準として、空間的に前後に深度が深くなる画像を合成することができる。

また、本実施形態においては、深度合成用画像の撮影にあたっては、フォーカス基準位置を設定し（図５のＳ９３）、近接撮影の場合にはフォーカス基準位置より遠距離側（無限遠側）のフォーカス位置が多くなるようにしている（図５のＳ９９、図７参照）。このため、奥行きのある深度合成画像を生成することができる。

また、本実施形態においては、深度合成用画像の撮影にあたっては、フォーカス基準位置に対して、設定されたフォーカス位置が少ない側から一方向にフォーカス位置を変更させて順次撮影を行うようにしている（図５のＳ１０１、図７参照）。このため、深度合成用画像の撮影に掛かる時間を短縮することができる。

次に、図８乃至図１０を用いて、本発明の第２実施形態について説明する。本発明の第１実施形態においては、深度合成用に撮影を行っていたが、第２実施形態においては、通常の１枚画像と、深度合成用画像を、別々に撮影している。第２実施形態は、図１乃至図７に示した第１実施形態において、図４に示した撮影のフローを図８に置き換え、図６に示した画像処理のフローを図９に置き換え、図７に示したフォーカス位置とフォーカス順番を図１０に置き換える以外は、第１実施形態と同様である。そこで、相違点を中心に説明する。

図８に示す撮影のフローは、第１実施形態に係る図４のフローと比較し、ステップＳ７２が追加されている以外は、図４のフローと同じである。すなわち、ステップＳ７１における判定の結果、深度合成であった場合には、まず、撮影を行う（Ｓ７２）。この撮影は、通常撮影用であり、通常の単独の画像として、ＳＤＲＡＭ１２７に一時記憶される。なお、この画像データは、基本画像処理を行った後に、通常画像として記録媒体１３１に記録される。

ステップＳ７２において、撮影を行うと、ステップＳ７３以下において、深度合成用の撮影を行う。ステップＳ７３以下の処理は、図４に示した第１実施形態と同様であるので、詳しい説明は省略するが、この深度合成用の撮影の中で、フォーカス基準位置における撮影を行ってもよいが、ステップＳ７２において撮影した画像を兼用してもよい。

次に、図９を用いて、本実施形態における画像処理について説明する。図９に示す画像処理のフローは、第１実施形態に係る図６のフローと比較し、ステップＳ１１２が追加されている以外は、図６のフローと同じである。すなわち、ステップＳ１１１における判定の結果、深度合成であった場合には、まず、基本画像処理を行う（Ｓ１１２）。この基本画像処理は、ステップＳ７２における通常撮影の画像データに対する処理であり、通常の単独の画像として、ＳＤＲＡＭ１２７に一時記憶された後、ステップＳ４７（図３参照）において記録媒体１３１に記録される。

ステップＳ１１２において、基本画像処理を行うと、ステップＳ１１３以下において、深度合成用の合成処理を行う。ステップＳ１１３以下の処理は、図６に示した第１実施形態と同様であるので、詳しい説明は省略するが、この深度合成用の画像処理の中で、フォーカス基準位置で撮影した画像データを用いてもよいが、ステップＳ１１２において基本画像処理した画像データを用いて画像合成をしてもよい。

次に、図１０を用いて、本実施形態における深度合成用画像の撮影の順番について説明する。本実施形態においては、深度合成した合成画像に加えて、通常画像も記録している。この場合には、通常画像はフォーカス基準位置で撮影された画像を記録することが望ましい。そこで、通常画像用の撮影を先にフォーカス基準位置Ｌ０Ｓｔで行い（図８のＳ７２に相当）、その後、合成画像用の撮影をフォーカス位置Ｌ１Ｃ〜Ｌ１Ｆの各フォーカス位置において行う（図８のＳ７９に相当）。

以上、説明したように、本発明の第２実施形態においても、近接撮影か否かに応じて（図５のＳ９７）、深度合成用に撮影するフォーカス位置を異ならせている（図５のＳ９５、Ｓ９９）。また、本実施形態においては、撮影時（レリーズ釦の全押しがなされた時点）のフォーカス位置をフォーカス基準位置として、その前後にフォーカス位置を設定している。このため、撮影時の画像を基準として、空間的に前後に深度が深くなる画像を合成することができる。

また、本実施形態においては、複数の画像データを合成する画像処理部１０９を有し、撮像部は、合成画像と通常画像を同時に撮影する際に、通常画像の撮影を合成画像の撮影より前に撮影している。すなわち、通常画像を先に撮影してから（図８のＳ７２）、合成画像の撮影を行っている（図８のＳ７９）。このため、撮影者の意図したシャッタタイミングで通常画像を取得することができる。

以上説明したように、本発明の各実施形態においては、被写体を撮像して画像データを取得し（例えば、図４のＳ７９）、レンズを移動させてフォーカス位置を変更し（例えば、図４のＳ７９）、撮影状態が近接撮影か否かを推定し（例えば、図５のＳ９７）、この推定の結果に応じて撮影設定を変更している（例えば、図５のＳ９９）。このため、焦点深度の深い画像を生成するために使用する画像を、撮影環境に応じて適切に取得することが可能である。

なお、本発明の各実施形態においては、撮影状態推定部１１５、撮影設定部１１７、フォーカス基準位置設定部１１９、画像処理部１０９、ＡＥ処理部１１１、ＡＦ処理部１１３を、マイクロコンピュータ１２１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１２１によって実行するようにしても勿論かまわない。

また、本発明の各実施形態においては、カメラが深度合成の画像処理も行っていたが、深度合成用の撮影のみを行い、深度合成のための画像処理はパーソナルコンピュータ、スマートフォン等の画像処理用の機器で行うようにしても勿論かまわない。

また、本発明の各実施形態においては、複数のフォーカス位置で撮影した画像を用いて、深度合成していたが、画像処理としては、深度合成に限らず、他の合成処理を行ってもかまわない。

また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、フォーカス位置を異ならせて撮影する機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・画像合成部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・撮影状態推定部、１１７・・・撮影設定部、１１９・・・フォーカス基準位置設定部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ

Claims (6)

1. 被写体を複数回撮像して複数の画像データを取得する撮像部と、
   撮影レンズを移動させてフォーカス位置を変更するレンズ制御部と、
   撮影時のフォーカス位置をフォーカス基準位置として設定するフォーカス基準位置設定部と、
   上記レンズ制御部における撮影設定を行う撮影設定部と、
   を具備し、
   上記撮影設定部は、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する、
   ことを特徴とする撮像装置。
2. さらに、撮影状態を推定する撮影状態推定部を具備し、
   上記撮影状態推定部は、撮影状態が近接撮影か否かを判定し、
   上記撮影設定部は、上記撮影状態推定部の判定の結果に応じて撮影設定を変更する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 撮像部によって被写体を複数回撮像して複数の画像データを取得し、
   レンズを移動させてフォーカス位置を変更し、
   撮影時のフォーカス位置をフォーカス基準位置として設定し、
   上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する、
   ことを特徴とする撮像装置の制御方法。
4. さらに、撮影状態が近接撮影か否かを判定し、
   上記撮影状態の判定の結果に応じて撮影設定を変更する、
   ことを特徴とする請求項３に記載の撮像装置の制御方法。
5. 撮像装置のコンピュータを実行させるためのプログラムであって、
   撮像部によって被写体を複数回撮像して複数の画像データを取得し、
   レンズを移動させてフォーカス位置を変更し、
   撮影時のフォーカス位置をフォーカス基準位置として設定し、
   上記フォーカス基準位置に対して、無限側にフォーカス位置を変更して上記撮像部で取得する撮影枚数を、至近側にフォーカス位置を変更して上記撮像部で取得する撮影枚数よりも、多く撮影するように設定し、上記フォーカス基準位置に対して、無限側にフォーカス位置を変更した時と、至近側にフォーカス位置を変更した時で、撮影枚数が少ない側から一方向にフォーカス位置を変更させて連続して撮影するように設定する、
   ことをコンピュータに実行させることを特徴とするプログラム。
6. さらに、撮影状態が近接撮影か否かを判定し、
   上記撮影状態の判定の結果に応じて撮影設定を変更する、
   ことを特徴とする請求項５に記載のプログラム。

Images