JP6728421B2 - 画像処理装置、撮影装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮影装置、画像処理方法及びプログラムに関し、特に、フォーカスブラケット撮影機能を備えた画像処理装置、撮影装置、画像処理方法及びプログラムに関する。

カメラ等の撮像装置において、撮影の際に決定したフォーカス位置を前後に移動させて複数のフォーカス位置に対応する複数回の撮影を行うフォーカスブラケット撮影機能を備えた撮像装置が知られている。フォーカスブラケット撮影機能は、例えば、フォーカス位置を合わせるのがシビアな場合の救済策として使用される。また、フォーカスブラケット撮影機能は、フォーカス位置の異なる複数の画像を撮影してベストショットを選択するか又は各画像の良否等を比較する場合に有用である。

しかし、フォーカス位置を前後に移動させて行うフォーカスブラケット撮影は、ユーザが意識してフォーカスを合わせて行う撮影ではないので、撮影の際に、ユーザがフォーカス位置を把握し難いという問題がある。

このような問題に対し、特許文献１には、撮影前に被写体の顔までの距離を想定しておくことによって、撮影の際にフォーカスが合わせられる被写体位置に枠を表示する技術が開示されている。また、特許文献２には、フォーカスブラケット撮影の前に、フォーカスが合わない撮影を検出し、当該フォーカスが合わない撮影をフォーカスブラケット撮影から除外する技術が開示されている。

特開２０１０−００２８６０号公報 特開２０１０−２０６５５２号公報

しかしながら、特許文献１記載の技術は、被写体に顔があれば、フォーカス位置を把握することができるものの被写体に顔がない場合は枠が表示されないので、例えば、景色をフォーカスブラケット撮影する際のフォーカス位置を把握することはできない。また、特許文献２記載の技術は、フォーカスが合っていない無駄な撮影をなくしてフォーカスが合っている画像のみを撮影する技術であり、撮影前にフォーカス位置を把握できる技術ではない。

本発明は、上記従来技術に鑑み、フォーカスブラケット撮影機能によって複数枚の画像を撮影する際に、ユーザが、撮影ごとにフォーカスが合っている撮影箇所を把握することができる画像処理装置、撮影装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、請求項１記載の画像処理装置は、第１のフォーカス位置と少なくとも１つの第２のフォーカス位置とを含む異なる複数のフォーカス位置にフォーカスを合わせた複数の画像をフォーカスブラケットにて撮影する際の被写体までの距離情報を取得する取得手段と、前記複数の画像に対応する表示を行う表示手段と、前記第１のフォーカス位置に基づく前記少なくとも１つの第２のフォーカス位置に対応する部位であって、前記表示手段によって表示されている画像の部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせる制御手段と、を有することを特徴とする。

本発明によれば、フォーカスブラケット撮影機能によって複数枚の画像を撮影する際に、撮影ごとのフォーカス位置が表示されるので、ユーザは、撮影ごとにフォーカスが合っている撮影箇所を把握することができる。

第１の実施形態に係る撮像装置の制御構成を示すブロック図である。 図１の撮像装置で実行されるフォーカス位置表示処理の手順を示すフローチャートである。 図１の撮像装置における撮像素子の画素配列を示す図である。 図３の画素配列を有する撮像素子からの画像信号に基づいて被写体距離を算出する方法を説明するための図である。 図１の撮像装置におけるレンズ、被写体、背景の位置関係を示す図である。 図１の撮像装置における撮像素子で得られた画像の距離マップ情報を示す図である。 フォーカス位置までの距離と、距離マップ情報における距離情報が一致するか否かを判定する判定方法を示す工程図である。 フォーカス位置に被写体が存在しない場合におけるフォーカス位置までの距離と、距離マップ情報における距離情報が一致するか否かを判定する判定方法を示す工程図である。 第２の実施の形態で実行されるフォーカスブラケット撮影時のフォーカス位置表示処理の手順を示すフローチャートである。 被写界深度を加味したフォーカス位置の範囲内に距離情報が含まれる距離マップ情報があるか否かを判定する判定方法を示す工程図である。 第３の実施の形態で実行されるフォーカスブラケット撮影処理の手順を示すフローチャートである。 図１１のステップＳ３１８で実行される再生方法の工程を示す図である。 図１１のステップＳ３１８で実行される再生処理の手順を示すフローチャートである。

以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。

図１は、第１の実施の形態に係る撮像装置の制御構成を示すブロック図である。

図１において、画像処理装置としての撮像装置１００は、ＣＰＵ１０１を備えている。ＣＰＵ１０１は、レンズ駆動部１０３、タイミング発生回路１０６、Ａ／Ｄ変換回路１０５、撮像ＳＷ（シャッター）１０７、操作部１０８とそれぞれ接続されている。ＣＰＵ１０１は、また、レンズ駆動部１０３を介して光学ユニット部１０２に接続されており、タイミング発生回路１０６を介して撮像素子１０４と接続されている。ＣＰＵ１０１は、また、バスを介してＲＡＭ１０９、ＲＯＭ１１０、画像処理部１１１、表示部１１２、距離マップ情報取得部１１３、距離比較判定部１１４、インターフェース（Ｉ／Ｆ）１１５と接続されている。インターフェース（Ｉ／Ｆ）１１５は、コネクタ１１６及び２０１を介して外部記録装置２００と接続されている。外部記録装置２００は、インターフェース（Ｉ／Ｆ）２０２及び記録部２０３を備えている。

ＣＰＵ１０１は、撮像装置１００の全ての動作を統括して制御する。光学ユニット部１０２は、被写体像を結像させるためのレンズ、例えば、ズームレンズやフォーカスレンズで構成されている。レンズ駆動部１０３は、光学ユニット部１０２に対して撮影倍率やフォーカス位置などの調整を行う。光学ユニット部１０２、レンズ駆動部１０３は、ＣＰＵ１０１からの指示を受けてフォーカス制御を行う。その際、ＣＰＵ１０１は、レンズ駆動部１０３に対するレンズ制御情報に基づいてフォーカスを合わせた被写体までの距離を算出する。

撮像素子１０４は、被写体の光学像を電気信号に変換するためのＣＣＤやＣＭＯＳで構成されている。Ａ／Ｄ変換回路１０５は、撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。タイミング発生回路１０６は、ＣＰＵ１０１の制御を受けて撮像素子１０４、Ａ／Ｄ変換回路１０５にクロック信号や制御信号を供給する。撮像ＳＷ１０７は、ユーザが撮像を指示するためのシャッターである。操作部１０８は、ユーザが撮像装置１００に対して種々の設定を行うためのものである。

ＲＡＭ１０９は、ＣＰＵ１０１のワークエリアとして使用される一時記録領域である。ＲＯＭ１１０は、後述するフローチャート等の制御プログラムを格納する記録領域である。画像処理部１１１は、Ａ／Ｄ変換回路１０５からのデータに対し、画像処理や、画像データの圧縮・伸張処理などを行う。

表示部１１２は、撮像装置としてのカメラのライブビュー表示や撮像された静止画である撮像画像を再生、表示する。距離マップ情報取得部１１３は、撮像装置１００から被写体までの距離情報と座標情報を取得する。距離マップ情報の取得方法としては、２枚の画像に対して画像処理を行うことによって奥行き情報を得る方法や、測距センサを用いて被写体までの距離を測定する方法等がある。距離マップ情報の詳細については後述する。距離比較判定部１１４は、撮影の際にフォーカスを合わせた被写体までの距離と、距離マップ情報取得部１１３で取得した距離情報とを比較する。距離の比較と判定方法の詳細については後述する。外部記録装置２００は、メモリカードやハードディスク等で構成されており、記録部２０３は静止画を記録する。

次に、図１の撮像装置１００で実行されるフォーカスブラケット撮影時のフォーカス位置表示処理（以下、単に、「フォーカス位置表示処理」という。）について説明する。

図２は、図１の撮像装置１００で実行されるフォーカス位置表示処理の手順を示すフローチャートである。フォーカス位置表示処理は、撮像装置１００のＣＰＵ１０１がＲＯＭ１１０に格納されたフォーカス位置表示処理プログラムに従って実行する。

図２において、撮像装置１００に電源が投入されると、ＣＰＵ１０１は、ユーザによって操作部１０８からフォーカスブラケット撮影モードが指示されたか否か判定し、フォーカスブラケット撮影モードが指示されるまで待機する（ステップＳ１０１）。フォーカスブラケット撮影モードが指示された後（ステップＳ１０１で「ＹＥＳ」）、ＣＰＵ１０１は、撮影モードをフォーカスブラケット撮影モードに設定し（ステップＳ１０２）、処理をステップＳ１０３に進める。すなわち、ＣＰＵ１０１は、ユーザによって撮像ＳＷ（シャッター）１０７が半押しされたか否か判定し、半押しされるまで待機する（ステップＳ１０３）。

撮像ＳＷ１０７が半押しされた場合（ステップＳ１０３で「ＹＥＳ」）、ＣＰＵ１０１は、レンズ駆動部１０３を介して光学ユニット部１０２を制御して被写体にフォーカスを合わせる。そして、ＣＰＵ１０１は、レンズ駆動部１０３に対するレンズ制御情報に基づいてフォーカス位置Ｆ０までの距離を算出し、算出結果をＲＡＭ１０９に記録する（ステップＳ１０４）。

次いで、ＣＰＵ１０１は、ステップＳ１０４で算出したフォーカス位置Ｆ０までの距離と、予め設定されている距離Ｋに基づいてフォーカス位置Ｆ１、Ｆ２までの距離を算出し、同様に、算出結果をＲＡＭ１０９に記録する（ステップＳ１０５）。これによって、フォーカスブラケット撮影モードで適用する複数のフォーカス位置までの距離が得られる。距離Ｋは、一のフォーカス位置から隣接するフォーカス位置までの任意の距離である。

次いで、ＣＰＵ１０１は、距離マップ情報取得部１１３を制御して、撮像素子１０４から得られた画像に対し所定の処理を行うことで、光学ユニット部１０２から被写体までの距離マップ情報を取得し、ＲＡＭ１０９に記録する（ステップＳ１０６）。

以下に、図３〜図６を用いてステップＳ１０６で取得される距離マップ情報について説明する。

図３は、図１の撮像装置における撮像素子の画素配列を示す図である。

図３において、撮像素子１０４は、ベイヤー配列のＲＧＢ画素と焦点検出用画素Ｓで構成されている。Ｒ画素は、赤色のカラーフィルター、Ｇ画素は、緑色のカラーフィルター、Ｂ画素は、青色のカラーフィルターを用いて構成されている。また、焦点検出用画素Ｓは、距離情報を算出するために必要な画素であり、左目焦点検出画素、及び右目焦点検出画素から構成されている。

図４は、図３の画素配列を有する撮像素子からの画像信号に基づいて被写体距離を算出する方法を説明するための図である。

図４において、焦点検出用画素Ｓの焦点が撮像素子１０４よりも手前側に結像している。Ｐで示される射出瞳の左側（図４の場合上）を通る半光束は、撮像素子１０４上で被写体像Ｐ’となり、Ｑで示される射出瞳の右側（図４の場合下）を通る半光束は、撮像素子１０４上で被写体像Ｑ’となる。すなわち、各画素において撮像光学系の瞳の半分ずつを通った光束から生成される一対の画像信号の位相は互いに左右にシフトしている。従って、２つの画像信号から被写体像の相対位置関係であるずれ量を求めることによってデフォーカス量を算出できる。更に、フォーカスレンズの位置とデフォーカス量の和に基づいて光学ユニット部１０２から図示省略した対応する被写体までの距離を算出できる。

次に、算出した被写体までの距離と画像上の座標との関係について説明する。

図５は、図１の撮像装置におけるレンズ、被写体、背景の位置関係を示す図である。

図５において、光学ユニット部１０２、被写体１１、及び背景１２が示されている。距離Ｚ、ｒ、ｓ、ｔは、例えば、それぞれＺ＝３．０ｍ、ｒ＝０．３ｍ、ｓ＝０．６ｍ、ｔ＝１．０ｍである。また、光学ユニット部１０２から背景１２までの距離は、例えば３．６ｍ以上であり、被写体１１は、光学ユニット部１０２から３．０ｍ〜３．３ｍの範囲内にあるものとする。

図６は、図１の撮像装置における撮像素子で得られた画像の距離マップ情報を示す図である。距離マップ情報は、撮影する被写体までの距離情報と、ライブビュー画像又は撮影画像における座標情報とを含む情報である。

図６において、画像は１０×１０画素のブロック単位の区画で区切られている。各ブロックには座標情報が設定されており、各ブロックの座標情報は、図５で示した距離情報と１対１で対応している。従って、図６の距離マップ情報における座標情報を指定すれば、対応する図５の距離情報が取得でき、図５の距離情報を指定すれば、指定した距離情報を有する図６の距離マップ情報における座標情報を取得することができる。本実施の形態においては、フォーカス位置までの距離と、距離マップ情報における距離情報とを比較して一致する距離情報を有する距離マップ情報に基づいて、後述するように、フォーカス位置を特定し、フォーカス表示する。

図２に戻り、距離情報と座標情報とを含む距離マップ情報（図６）を取得してＲＡＭ１０９に記録した後、ＣＰＵ１０１は、フォーカス位置までの距離と、距離マップ情報における距離情報とを比較して一致するか否か判定する（ステップＳ１０７〜Ｓ１１１）。

図７は、フォーカス位置までの距離と、距離マップ情報における距離情報が一致するか否かを判定する判定方法を示す工程図である。

図７において、図７（ａ）は、被写体１１に対してフォーカス位置Ｆ０〜Ｆ２を設定する工程を示している。図７（ａ）において、光学ユニット部１０２を被写体１１に向けた状態で撮像ＳＷ１０７を半押しすると、オートフォーカス機能により、被写体１１にフォーカスが合わせられ、フォーカス位置Ｆ０が設定される。このとき、オートフォーカスの設定値を用いて、フォーカス位置Ｆ０までの距離が算出される。次に、フォーカス位置Ｆ０までの距離からそれぞれ上述した距離Ｋに相当する分だけ加算、または減算してフォーカス位置Ｆ１、Ｆ２が算出される。フォーカス位置Ｆ０〜Ｆ２は、フォーカスブラケット撮影に適用される。なお、距離Ｋは、予め設定されている値であるが、撮影前にユーザがマニュアルで距離Ｋを設定することもできる。なお、図７（ａ）におけるフォーカス位置の設定は、一般的なフォーカスブラケット撮影においても同様に行われているものである。

次に、図７（ｂ）は、距離マップ情報を取得する工程を示している。図７（ｂ）では、撮像ＳＷ１０７を半押した状態のままで、光学ユニット部１０２から被写体１１までの距離情報と座標情報を含む距離マップ情報Ａ〜Ｅが取得される。

次に、図７（ｃ）は、フォーカス位置までの距離と、距離マップ情報を比較する工程を示している。図７（ｃ）では、図７（ａ）で設定されたフォーカス位置Ｆ０〜Ｆ２までの距離と、図７（ｂ）で取得した距離マップ情報Ａ〜Ｅにおける距離情報を比較して、一致する距離情報があるか否かを判定する。図７（ｃ）において、フォーカス位置Ｆ０までの距離は、距離マップ情報Ｃの距離情報と一致し、フォーカス位置Ｆ１までの距離は、距離マップ情報Ｄの距離情報と一致し、フォーカス位置Ｆ２までの距離は、距離マップ情報Ａの距離情報と一致している。

図７（ｄ）は、図７（ｃ）での判定結果と表示部１１２に表示されるライブビューとの関係を示している。すなわち、図７（ｄ）では、図７（ｃ）においてフォーカス位置Ｆ０〜Ｆ２までの距離と、距離マップ情報の距離情報とを比較した結果、一致すると判定された距離マップ情報の座標情報から、ライブビュー上での座標に対応する位置に枠ＷＦ０〜ＷＦ２が表示される。すなわち、枠ＷＦ０〜ＷＦ２で示される部位は、被写体におけるフォーカスが合うフォーカス位置であり、枠ＷＦ０〜ＷＦ２は、フォーカス表示枠として機能する。ユーザは、フォーカス表示枠ＷＦ０〜ＷＦ２によって、撮影の際、画像中でフォーカスの合う部位を把握することができる。

次に、フォーカスブラケット撮影時に、フォーカス位置に被写体が存在しない場合について説明する。

図８は、フォーカス位置に被写体が存在しない場合におけるフォーカス位置までの距離と、距離マップ情報における距離情報が一致するか否かを判定する判定方法を示す工程図である。

図８において、図８（ａ）及び図８（ｂ）では、それぞれ図７（ａ）と、図７（ｂ）と同様の処理が行われる。

図８（ｃ）は、フォーカス位置までの距離と、距離マップ情報を比較する際の工程を示している。すなわち、図８（ｃ）では、図８（ａ）で設定されたフォーカス位置Ｆ０〜Ｆ２までの距離と、図８（ｂ）で取得した距離マップ情報Ａ〜Ｅの距離情報を比較して、一致する距離情報があるか否か判定する。このとき、フォーカス位置Ｆ０までの距離は、距離マップ情報Ｃの距離情報と一致し、フォーカス位置Ｆ２までの距離は、距離マップ情報Ａの距離情報と一致している。しかしながら、フォーカス位置Ｆ１までの距離に対応する距離情報を有する距離マップ情報がないので、フォーカス位置Ｆ１と一致する距離情報はないと判定される。

図８（ｄ）は、図８（ｃ）の判定結果と表示部１１２に表示されるライブビューとの関係を示している。すなわち、図８（ｄ）では、図８（ｃ）で一致すると判定された距離マップ情報の座標情報から、ライブビュー上での座標に対応する位置に枠ＷＦ０、ＷＦ２が表示される。一方、フォーカス位置Ｆ１には対応する距離マップ情報がないので、フォーカス位置Ｆ１には被写体が存在しない旨が表示部１１２に表示される。この表示によってユーザは、撮影の際にフォーカスが合う被写体が存在しない撮影もあり得ることを把握することができる。

以下、図７及び図８を参照しつつ、図２のステップＳ１０７〜Ｓ１１１におけるフォーカス位置までの距離と、距離マップ情報における距離情報とを比較して一致するか否か判定する判定方法について説明する。

ステップＳ１０６の後、ＣＰＵ１０１は、読み込んだ１つのフォーカス位置までの距離と、距離マップ情報における全ての距離情報とを比較する（ステップＳ１０７、図７（ｂ）、図８（ｂ））。次いで、ＣＰＵ１０１は、距離比較判定部１１４を制御してフォーカス位置までの距離と一致する距離マップ情報における距離情報があるか否か判定する（ステップＳ１０８、図７（ｃ）、図８（ｃ））。

フォーカス位置までの距離と一致する距離マップ情報の距離情報があるか否か判定した結果（ステップＳ１０８）、一致する距離マップ情報がある場合（ステップＳ１０８で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ１１０に進める。すなわち、ＣＰＵ１０１は、フォーカス位置と一致した距離マップ情報をＲＡＭ１０９に記録する（ステップＳ１１０）。図７（ｃ）及び図８（ｃ）において、フォーカス位置までの距離と一致する距離マップ情報は、○で示されている。一方、ステップＳ１０８の判定の結果、一致する距離マップ情報がない場合（ステップＳ１０８で「ＮＯ」）、ＣＰＵ１０１は、一致する距離マップ情報がないフォーカス位置をＲＡＭ１０９に記録し（ステップＳ１０９）、処理をステップＳ１１１へ進める。

次いで、ＣＰＵ１０１は、全てのフォーカス位置に対して、距離マップ情報との比較が完了したか否か判定する（ステップＳ１１１）。ステップＳ１１１の判定の結果、全てのフォーカス位置での比較が完了した場合（ステップＳ１１１で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ１１２に進める。すなわち、ＣＰＵ１０１は、ステップＳ１０９で処理された一致する距離マップ情報がないフォーカス位置が、ＲＡＭ１０９に記録されているか否か判定する（ステップＳ１１２）。ステップＳ１１２の判定の結果、一致する距離マップ情報がないフォーカス位置が記録されている場合（ステップＳ１１２で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ１１３に進める。すなわち、ＣＰＵ１０１は、表示部１１２にフォーカス位置に一致する距離マップ情報がないこと、換言すれば、フォーカス位置に被写体が存在しないことを表示し（ステップＳ１１３、図８（ｄ））、処理をステップＳ１１４に進める。

一方、ステップＳ１１２の判定の結果、一致する距離マップ情報がないフォーカス位置が、ＲＡＭ１０９に記録されていない場合（ステップＳ１１２で「ＮＯ」）、ＣＰＵ１０１は、処理をステップＳ１１４に進める。すなわち、ＣＰＵ１０１は、ステップＳ１１０で記録された各フォーカス位置の距離マップ情報の座標情報をＲＡＭ１０９から読込む。そして、ＣＰＵ１０１は、読込んだ座標に対応する表示部１１２上の撮影画像のフォーカス位置に枠を表示し（ステップＳ１１４）、その後、本処理を終了する。フォーカス位置が複数ある場合は、複数の枠を表示する。

一方、ステップＳ１１１の判定の結果、全てのフォーカス位置における比較が完了していないと判定された場合（ステップＳ１１１で「ＮＯ」）、ＣＰＵ１０１は、処理をステップＳ１０７に戻す。

図２の処理によれば、フォーカス位置までの距離に距離情報が一致する距離マップ情報から、各撮影のフォーカス位置にある被写体の部位を検出して、ライブビュー上の該当箇所に枠体を表示する（ステップＳ１１４）。また、フォーカス位置に被写体が存在しない場合には、枠体表示を行うことなく、被写体が存在しないことを表示して注意喚起する（ステップＳ１１３）。これによって、ユーザは、フォーカス位置を前後に移動させて撮影するフォーカスブラケット撮影モードによって複数枚の画像を撮影する際、フォーカスが合っている部位を容易に把握できるようになる。従って、例えば、フォーカス位置を合わせるのがシビアな撮影であっても、フォーカス位置が合った撮影を実施することができる。また、フォーカス位置の異なる複数の画像を撮影して、ベストショットを選択するか、または各画像の良否等を比較することもできる。

本実施の形態において、撮像装置１００を、外部記録装置を取り付けるインターフェース及びコネクタを一系統だけ有する装置として説明したが、外部記録装置を取り付けるインターフェース及びコネクタを複数系統を備える構成とすることもできる。また、撮像装置１００は、異なる規格のインターフェース及びコネクタを組み合わせて備える構成であってもよい。更に、撮像装置１００のインターフェースとして無線機器等に対応させることにより、他のコンピュータ等の周辺機器との間で静止画の転送が可能な構成とすることもできる。

上述の第１の実施の形態では、図７（ｃ）に示したように、フォーカス位置までの距離と距離マップ情報の距離情報が一致した場合のみ、被写体にフォーカスが合っていると判定される。しかしながら、実際の撮影では、フォーカスが合っている部分の前後にフォーカスが合っているように見える範囲（被写界深度）が存在する。そのため、被写体にフォーカスが合っているように見えるにもかかわらず、フォーカスが合っていないと判定されてしまう場合もあり得る。

そこで、第２の実施の形態では、被写界深度の範囲を距離判定の範囲として採用することによって、フォーカスが合っているように見える範囲をユーザが把握できるようにした。

以下、第２の実施の形態について説明する。

第２の実施の形態に係る撮像装置のハード構成は、第１の実施の形態に係る撮像装置のハード構成と同様である。以下、本実施の形態で実行されるフォーカス位置表示処理について、第１の実施の形態におけるフォーカス位置表示処理（図２）との相違点を中心に説明する。

図９は、本実施の形態で実行されるフォーカスブラケット撮影時のフォーカス位置表示処理の手順を示すフローチャートである。このフォーカス位置表示処理は、撮像装置１００のＣＰＵ１０１がＲＯＭ１１０に格納されたフォーカス位置表示処理プログラムに従って実行する。

図９において、ステップＳ２０１〜Ｓ２０５では、図２のステップＳ１０１〜Ｓ１０５と同様の処理が行われるため、説明を省略する。

ステップＳ２０５の後、ＣＰＵ１０１は、撮像装置１００に設定されている絞り、焦点距離、フォーカス位置までの距離に基づいて、フォーカス位置Ｆ０〜Ｆ２に対応する被写界深度を加味した距離判定の範囲Ｈ０〜Ｈ２を算出する。次いで、ＣＰＵ１０１は、算出した距離判定の範囲Ｈ０〜Ｈ２をＲＡＭ１０９に記録する（ステップＳ２０６）。次いで、ＣＰＵ１０１は、図２のステップＳ１０６と同様にして、光学ユニット部１０２から被写体までの距離マップ情報を取得し、ＲＡＭ１０９に記録する（ステップＳ２０７）。

ステップＳ２０７の後、ＣＰＵ１０１は、距離比較判定部１１４を制御して範囲Ｈ０〜Ｈ２と、ステップＳ２０７で取得した距離マップ情報における距離情報を比較する（ステップＳ２０８）。次いで、ＣＰＵ１０１は、各範囲Ｈ０〜Ｈ２内に距離情報が含まれる距離マップ情報があるか否か判定する（ステップＳ２０９）。

図１０は、被写界深度を加味したフォーカス位置の範囲内に距離情報が含まれる距離マップ情報があるか否かを判定する判定方法を示す工程図である。なお、実際は、フォーカス位置Ｆ０、Ｆ１、Ｆ２ともに被写界深度で設定される範囲を加味した判定が行われるが、説明の便宜上、フォーカス位置Ｆ１に対して被写界深度で決定される範囲を加味した場合について説明する。

図１０において、図１０（ａ）及び図１０（ｂ）では、それぞれ図７（ａ）及び図７（ｂ）と同様の処理が行われる。

図１０（ｃ）は、フォーカス位置までの距離と、距離マップ情報を比較する際の工程を示している。すなわち、図１０（ｃ）では、まず、各フォーカス位置Ｆ０〜Ｆ２に対応する距離の判定範囲Ｈ０〜Ｈ２が、撮影条件である絞り、焦点距離、フォーカス位置までの距離に基づいて算出される。

次に、判定範囲Ｈ０〜Ｈ２内に距離情報が含まれる距離マップ情報があるか否かが判定される。図１０（ｃ）の場合、フォーカス位置Ｆ１に一致する距離情報の距離マップ情報は存在しないが、判定範囲Ｈ１内に距離情報が含まれる距離マップ情報として距離マップ情報Ｄ、及び距離マップ情報Ｅが存在している。なお、フォーカス位置Ｆ０、Ｆ２では、フォーカス位置Ｆ０、Ｆ２に一致する距離情報の距離マップ情報が存在している。

図１０（ｄ）は、図１０（ｃ）での判定結果と表示部１１２に表示されるライブビューとの関係を示している。すなわち、図１０（ｄ）では、図１０（ｃ）でフォーカス位置に対応するか又はフォーカス位置判定範囲内に存在すると判定された距離情報の距離マップ情報の座標情報から、ライブビュー画像上での座標に対応する位置に枠ＷＦ０〜ＷＦ２を表示する。このとき、ライブビュー画像上に距離マップ情報Ｄ及び距離マップ情報Ｅの枠を表示すると、距離マップ情報の座標間隔が狭いために、枠ＷＦ１ｄと枠ＷＦ１ｅが重複する。従って、図１０（ｅ）に示すように、重複した枠ＷＦ１ｄと枠ＷＦ１ｅを全て含むような外形の枠ＷＦ１にして表示する。この表示によってユーザは、フォーカス位置Ｆ１に対応する被写界深度を加味した判定範囲Ｈ１内に距離情報が一致する距離マップ情報があること、すなわち、距離の判定範囲Ｈ１内にフォーカスが合う被写体の部位があることを把握することができる。

図９に戻り、ステップＳ２０９の判定の結果、距離判定範囲内に距離情報が含まれる距離マップ情報があると判定された場合（ステップＳ２０９で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ２１１に進める。すなわち、ＣＰＵ１０１は、距離判定範囲内にある距離情報を含む距離マップ情報をＲＡＭ１０９に記録する（ステップＳ２１１）。一方、ステップＳ２０９の判定の結果、距離判定範囲内に距離情報が含まれる距離マップ情報がないと判定された場合（ステップＳ２０９で「ＮＯ」）、ＣＰＵ１０１は、処理をステップＳ２１０に進める。すなわち、ＣＰＵ１０１は、距離判定範囲内に距離情報が含まれる距離マップ情報がなかったフォーカス位置範囲、例えば、判定範囲Ｈ１をＲＡＭ１０９に記録して（ステップＳ２１０）、処理をステップＳ２１２に進める。

次いで、ＣＰＵ１０１は、図２の処理Ｓ１１１と同様、全てのフォーカス位置範囲での比較が完了したか否か判定する（ステップＳ２１２）。ステップＳ２１２の判定の結果、全てのフォーカス位置範囲で比較が完了している場合（ステップＳ２１２で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ２１３に進める。すなわち、ＣＰＵ１０１は、ステップＳ２１０で処理された範囲内に距離マップ情報がないフォーカス位置範囲が、ＲＡＭ１０９に記録されているか否か判定する（ステップＳ２１３）。ステップＳ２１３の判定の結果、範囲内に距離マップ情報がないフォーカス位置範囲が記録されている場合（Ｓ２１３で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ２１４に進める。すなわち、ＣＰＵ１０１は、例えば、判定範囲Ｈ１内に対応する距離マップ情報がないことを表示部１１２に表示し（ステップＳ２１４）、処理をＳ２１５に進める。

また、ステップＳ２１３の判定の結果、範囲内に距離マップ情報がないフォーカス位置範囲が、ＲＡＭ１０９に記録されていないと判定された場合（ステップＳ２１３で「ＮＯ」）、ＣＰＵ１０１は、処理をステップＳ２１５に進める。すなわち、ＣＰＵ１０１は、ステップＳ２１１で記録された各フォーカス位置の距離マップ情報の座標情報を読込み、座標情報から枠の重複がないか否か判定する（ステップＳ２１５）。

ステップＳ２１５の判定の結果、枠の重複がある場合（ステップＳ２１５で「ＮＯ」）、ＣＰＵ１０１は、重複する枠を全て含む外形の枠を作成して、ＲＡＭ１０９に記録し（ステップＳ２１６）、処理をステップＳ２１７に進める。一方、ステップＳ２１５の判定の結果、枠の重複がない場合（ステップＳ２１５で「ＹＥＳ」）、ＣＰＵ１０１は、処理をステップＳ２１７へ進める。すなわち、ＣＰＵ１０１は、ステップＳ２１１で記録された各フォーカス位置の距離マップ情報の座標情報をＲＡＭ１０９から読込み、読込んだ座標情報に対応する表示部１１２上の撮影位置に枠を表示し（ステップＳ２１７）、その後、本処理を終了する。

一方、ステップＳ２１２の判定の結果、全てのフォーカス位置範囲における比較が完了していない場合（ステップＳ２１２で「ＮＯ」）、ＣＰＵ１０１は、処理をステップＳ２０８に戻す。

図９の処理によれば、被写界深度の範囲を距離判定に加味したことにより、上記第１の実施の形態の効果に加え、ユーザは、被写体にフォーカスが合っているように見える範囲までも把握することができる。これによって、ユーザは、被写体にフォーカスが合っているように見える範囲を含む複数のフォーカス位置で複数の画像を撮影してベストショットを選択するか、または各画像の良否等を比較することができる。

上述の第１及び第２の実施の形態では、距離マップ情報を用いて、フォーカスブラケット撮影時に各撮影のフォーカス位置にある被写体を検出することによって、被写体にフォーカスが合っている部位を把握できるようにした。

しかしながら、フォーカスブラケット撮影では、多くのフォーカス位置に対応する撮影を一度に行うので、撮影後に複数の撮影画像から特定の部位にフォーカスが合った画像を探すのが困難な場合が想定される。

そこで、第３の実施の形態では、撮影した画像を１枚表示するだけで、他にフォーカスが合っている画像の有無や、特定の部位にフォーカスが合っている画像を容易に探すことのできるフォーカスブラケット撮影処理について説明する。

すなわち、第３の実施の形態は、図１の撮像装置を用いたフォーカスブラケット撮影時のフォーカス位置表示処理を含むフォーカスブラケット撮影処理に関する。

本実施の形態に係る撮像装置のハード構成は、第１の実施の形態に係る撮像装置のハード構成と同様である。以下、本実施の形態で実行されるフォーカスブラケット撮影処理について図２のフォーカス位置表示処理との相違点を中心に説明する。

図１１は、本実施の形態で実行されるフォーカスブラケット撮影処理の手順を示すフローチャートである。このフォーカスブラケット撮影処理は、撮像装置１００のＣＰＵ１０１がＲＯＭ１１０に格納されたフォーカスブラケット撮影処理プログラムに従って実行する。

図１１において、ステップＳ３０１〜Ｓ３１４では、図２のステップＳ１０１〜Ｓ１１４と同様の処理が行われる。従って、説明を省略する。

ステップＳ３１４の後、ＣＰＵ１０１は、撮像ＳＷ１０７が全押しされることを条件に、フォーカスブラケット撮影を実行する（ステップＳ３１５）。次いで、ＣＰＵ１０１は、表示した各枠（図７の（ｄ）参照）の座標情報と、各フォーカス位置で撮影された画像のリンク先を、フォーカス位置Ｆ０で撮影された画像のヘッダ部分に記録する（ステップＳ３１６）。次いで、ＣＰＵ１０１は、フォーカス位置Ｆ０〜Ｆ２で撮影された画像を外部記録装置２００の記録部２０３に記録する（ステップＳ３１７）。次いで、ＣＰＵ１０１は、ユーザが操作部１０８から入力した指示に基づいて再生処理を実行し（ステップＳ３１８）、その後、本処理を終了する。

図１２は、図１１のステップＳ３１８で実行される再生方法の工程を示す図である。図１２の再生方法では、フォーカスブラケット撮影時にライブビュー上に表示した各枠の座標情報と、各フォーカス位置で撮影された撮影画像のリンク先が、フォーカス位置Ｆ０の撮影画像のヘッダに記録される。

図１２において、まず、フォーカス位置Ｆ０で撮影された撮影画像に対して、フォーカス位置Ｆ０に対応する枠ＷＦ０を表示する（図１２（ａ））。次に、枠ＷＦ０と同様に、記録されている各枠の座標情報から、撮影画像上に枠ＷＦ１、ＷＦ２を表示する（図１２（ｂ））。ここで、表示画像が枠ＷＦ０にフォーカスが合っている画像であることを示すために、枠ＷＦ１及び枠ＷＦ２は、破線の枠とし、枠ＷＦ０は実線の枠とする。複数の枠が表示された再生画像において、ユーザが、例えば、フォーカス位置Ｆ１に焦点が合った画像を選択するために枠ＷＦ１を選択すると、表示部１１２の再生画像が、枠ＷＦ１にフォーカスの合った撮影画像に切替わる画像切替が行われる（図１２（ｃ））。一方、図１２（ｂ）において、ユーザが、フォーカス位置Ｆ２に焦点が合った画像を選択するために枠ＷＦ２を選択すると、表示部１１２の再生画像が、枠ＷＦ２にフォーカスの合った撮影画像に切り替えられる画像切替が行われる（図１２（ｄ））。

図１３は、図１１のステップＳ３１８で実行される再生処理の手順を示すフローチャートである。この再生処理は、撮像装置１００のＣＰＵ１０１がＲＯＭ１１０に格納された再生処理プログラムに従って実行する。

以下、図１２の再生工程を参照しつつ図１３の再生処理について説明する。

図１３において、ＣＰＵ１０１は、ユーザによる再生処理モード開始の指示に応じて撮像装置１００を再生モードに移行させる（ステップＳ４０１）。再生モードに移行した後、ＣＰＵ１０１は、ユーザからの指示に応じてフォーカス位置Ｆ０の撮影画像を表示部１１２に表示する（ステップＳ４０２）。

次いで、ＣＰＵ１０１は、フォーカス位置Ｆ０の撮影画像のヘッダ情報に記録された各枠の座標情報を読込み、表示部１１２上のフォーカス位置Ｆ０に対応する箇所に実線の枠を表示する（ステップＳ４０３、図１２（ａ））。次いで、ＣＰＵ１０１は、表示部１１２上のフォーカス位置Ｆ１、Ｆ２に対応する箇所に破線の枠を表示する（ステップＳ４０４、図１２（ｂ））。次いで、ＣＰＵ１０１は、表示部１１２に表示された枠のいずれかがユーザによって選択されたか否か判定し（ステップＳ４０５）、枠が選択されるまで待機する。

次いで、ＣＰＵ１０１は、ユーザによっていずれかの枠が選択された後、処理をステップＳ４０６に進める。すなわち、ＣＰＵ１０１は、フォーカス位置Ｆ０の撮影画像のヘッダ情報から、選択された枠に対応する撮影画像の記録先を読込み、表示部１１２にユーザが選択した枠に対応する撮影画像を表示し（ステップＳ４０６）、その後、本処理を終了する。このとき、ユーザがフォーカス位置Ｆ１に対応する枠を選択した場合（図１２（ｃ））、ＣＰＵ１０１は、表示部１１２にフォーカス位置Ｆ１に焦点が合った撮影画像を再生する。一方、ユーザがフォーカス位置Ｆ２に対応する枠を選択した場合（図１２（ｄ））、ＣＰＵ１０１は、表示部１１２にフォーカス位置Ｆ２に焦点が合った撮影画像を再生する。

このように、１枚の画像に複数の枠を表示することで、他にフォーカスが合っている画像の有無が容易に確認できる。さらに、ユーザが枠を選択することで、選択された枠にフォーカスが合っている撮影画像に切り換えることができる。これによって、他にフォーカスが合っている画像の有無の確認や、特定の部位にフォーカスが合っている画像を容易に探すことができる。

図１１及び図１２の処理によれば、撮影した撮影画像を１枚表示して、画像上に各フォーカス位置の枠を表示することによって、ユーザは、所望の枠を選択して選択した枠にフォーカスが合っている撮影画像に切り換えることができる。これによって、他の部位にフォーカスが合っている画像の有無の確認や、特定の部位にフォーカスが合っている画像を容易に探すことができる。また、ユーザは、例えば、フォーカス位置の異なる複数の画像の中から容易にベストショットを選択することができる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０１ ＣＰＵ
１０２ 光学ユニット部
１０３ レンズ駆動部
１０４ 撮像素子
１０７ 撮像ＳＷ
１０８ 操作部
１１１ 画像処理部
１１２ 表示部
１１３ 距離マップ情報取得部
１１４ 距離比較判定部
２００ 外部記録装置
２０３ 記録部

Claims (12)

1. 第１のフォーカス位置と少なくとも１つの第２のフォーカス位置とを含む異なる複数のフォーカス位置にフォーカスを合わせた複数の画像をフォーカスブラケットにて撮影する際の被写体までの距離情報を取得する取得手段と、
   前記複数の画像に対応する表示を行う表示手段と、
   前記第１のフォーカス位置に基づく前記少なくとも１つの第２のフォーカス位置に対応する部位であって、前記表示手段によって表示されている画像の前記部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせる制御手段と、を有することを特徴とする画像処理装置。
2. 前記表示手段が、枠を表示することによって前記第２のフォーカス位置である旨の表示を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段が、前記距離情報のうち、前記第１のフォーカス位置に基づいて予め定められた第１の条件を満たす距離情報に対応する、前記表示手段に表示された画像上の部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の条件とは、前記第２のフォーカス位置と前記第１のフォーカス位置との前記距離情報の違いが予め定められた第１の距離であることを特徴とする請求項３に記載の画像処理装置。
5. 前記距離情報のうち、前記第１の条件を満たすと判定した距離情報に対応する、前記表示手段に表示された画像上の部位が複数ある場合、前記制御手段が、前記複数の部位に、前記表示を前記表示手段に行わせることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記表示手段が、さらに、ライブビュー画像を表示することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. さらに、注意手段を有し、
   前記注意手段が、前記距離情報と前記第２のフォーカス位置を比較し、前記第２のフォーカス位置が対応するところに前記被写体が存在しない場合、前記表示手段に注意を表示させることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示手段に表示された画像上の部位において、前記第２のフォーカス位置である旨の表示が選択された場合、前記表示手段は、該部位にフォーカスが合った撮影画像に切り換えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の画像が撮影されたときの各フォーカス位置は、予め設定された距離、あるいは、ユーザによって設定された距離だけ、互いに離れていることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 第１のフォーカス位置と少なくとも１つの第２のフォーカス位置とを含む異なる複数のフォーカス位置にフォーカスを合わせた複数の画像をフォーカスブラケットにて撮影する撮影手段と、
    前記撮影手段が撮影する際の被写体までの距離情報を取得する取得手段と、
    前記複数の画像に対応する表示を行う表示手段と、
    前記第１のフォーカス位置に基づく前記少なくとも１つの第２のフォーカス位置に対応する部位であって、前記表示手段によって表示されている画像の前記部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせる制御手段と、を有することを特徴とする撮影装置。
11. 第１のフォーカス位置と少なくとも１つの第２のフォーカス位置とを含む異なる複数のフォーカス位置にフォーカスを合わせた複数の画像をフォーカスブラケットにて撮影する際の被写体までの距離情報を取得する取得ステップと、
    前記複数の画像に対応する表示を表示手段に行わせる表示ステップと、
    前記第１のフォーカス位置に基づく前記少なくとも１つの第２のフォーカス位置に対応する部位であって、前記表示手段によって表示されている画像の前記部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせる制御ステップと、を有することを特徴とする画像処理方法。
12. 画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
    第１のフォーカス位置と少なくとも１つの第２のフォーカス位置とを含む異なる複数のフォーカス位置にフォーカスを合わせた複数の画像をフォーカスブラケットにて撮影する際の被写体までの距離情報を取得する取得ステップと、
    前記複数の画像に対応する表示を表示手段に行わせる表示ステップと、
    前記第１のフォーカス位置に基づく前記少なくとも１つの第２のフォーカス位置に対応する部位であって、前記表示手段によって表示されている画像の前記部位に、前記第２のフォーカス位置である旨の表示を前記表示手段に行わせる制御ステップと、を行わせることを特徴とするプログラム。