JP6408866B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には画像表示技術に関する。

メモリカードやハードディスクドライブなどに保存されている画像を閲覧する場合、画像の数が多くなると、所望の画像を効率よく表示することが困難になる。そのため、ユーザ操作に応じて複数の画像を同時に表示したり、一定枚数の画像をスキップしながら表示したりする手法が提案されている。また、特許文献１には、連写撮影やブラケット撮影された複数の関連画像と、通常撮影された画像とが混在する場合に、関連画像内で画像切替する方法と、次に通常撮影された画像へ画像切替する方法とをユーザが切り替え可能な再生方法が開示されている。

特開２００３−１０１９１０号公報

近年、ライトフィールドデータ（光線空間情報）を取得可能なライトフィールドカメラと呼ばれる撮像装置が注目されている。ライトフィールドカメラの撮像素子には、マイクロレンズアレイが設けられ、各マイクロレンズに対して複数の画素が割り当てられている。従って、１つのマイクロレンズに対して割り当てられた複数の画素の各々からは、特定の方向から入射した光の強度を表す信号（ライトフィールドデータ）を得ることができる。このライトフィールドデータを仮想結像面に合焦するように処理することにより、撮影時に合焦させた被写体とは異なる距離の被写体に合焦した画像（リフォーカス画像）を再構成することができる。

ここで、表示対象の画像データが、ライトフィールドデータのように複数の画像を生成可能な画像データである場合、画像データを切り替えたい場合と、画像データは切り替えずに、生成する画像を切り替えたい場合が考えられる。

しかしながら、特許文献１の方法では、撮影時に関連付けされた複数の画像か、単独の画像かに応じて再生方法を切り替えるものであり、複数の画像を生成可能な画像データは単独の画像として取り扱われてしまう。

本発明はこのような従来技術の課題に鑑みなされたものであり、複数の画像を生成可能な画像データの閲覧を効率的に行うことが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、第１の画像切替操作と、第２の画像切替操作とを受け付け可能な操作入力手段と、表示する画像を、操作入力手段が受け付けた画像切替操作に応じて切り替える制御手段と、を有し、制御手段は、操作入力手段が第１の画像切替操作を受け付けた場合には、表示中の画像に対応する画像ファイルとは別の画像ファイルに基づく画像を表示するように切り替え、操作入力手段が第２の画像切替操作を受け付けた場合には、表示中の画像に対応する画像ファイルに基づく、表示中の画像とは別の画像を表示するように切り替え、別の画像は、表示中の画像と同じシーンであって、合焦している領域が異なる画像であることを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、複数の画像を生成可能な画像データの閲覧を効率的に行うことが可能な画像処理装置およびその制御方法を提供することができる。

本発明の実施形態に係るデジタルカメラの構成例を示す図 実施形態のデジタルカメラが備える撮像部の構成例を示す図 第１実施形態における再生処理動作を示すフローチャート 第１実施形態におけるリフォーカス画像切替処理および画像ファイル切替処理を示すフローチャート 第１実施形態における合焦距離選択処理動作を示すフローチャート 第１実施形態における画像ファイルの構造例を示す図 第１実施形態における再生処理動作による画像切替の例を示す模式図 第２実施形態における再生処理動作を示すフローチャート 第２実施形態における画像切替処理動作を示すフローチャート 第２実施形態における合焦距離選択処理動作を示すフローチャート 第２実施形態における再生処理動作による画像切替の例を示す模式図 第３実施形態におけるリフォーカス画像切替処理動作を示すフローチャート 第３実施形態における再生処理動作による画像切替の例を示す模式図 第４実施形態における再生処理動作を示すフローチャート 第４実施形態におけるリフォーカス画像切替処理動作を示すフローチャート 第４実施形態におけるフォーカス設定に関わる画面表示の例を示す図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、本発明を、ライトフィールドデータを取得可能なデジタルカメラに適用した実施形態について説明するが、このようなデジタルカメラは本発明を適用可能な画像処理装置の一例である。本発明において撮像並びに記録機能は必須でなく、ライトフィールドデータのように撮影後に合焦距離を選択可能な画像データを処理可能な任意の電子機器において本発明を実施可能である。このような電子機器の例には、パーソナルコンピュータ、携帯電話機、ゲーム機、タブレット端末、ＰＤＡなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１（ａ）は、本実施形態に係るデジタルカメラ１００の背面側の外観を模式的に示している。表示部１１０は例えばタッチディスプレイであり、撮影画像や再生画像などの画像や、ＧＵＩ画面や部品の表示に用いられる。撮影ボタン１２０は、ユーザがデジタルカメラ１００に撮像準備指示や撮像開始指示を与えるために用いる。モード切替スイッチ１３０は、デジタルカメラ１００の動作モードを、再生モード、撮影モード、電源ＯＮ／ＯＦＦの間で切り替えるために用いられる。操作ボタン１４０は上下左右の４つの方向キーで構成され、デジタルカメラ１００のメニュー操作などに用いられる。ｓｅｔボタン１５０は、選択されているメニュー項目などの決定もしくは選択をデジタルカメラ１００に通知するために用いられる。ｍｅｎｕボタン１６０は、メニュー画面を呼び出すために用いられる。

ユーザは、表示部１１０のタッチパネル操作、操作ボタン１４０、ｓｅｔボタン１５０、およびｍｅｎｕボタン１６０の操作を通じて、デジタルカメラ１００の機能を用いることができる。再生モードにおいては、操作ボタン１４０を用いて画像切替を行うことができる。モード切替スイッチ１３０は、左に設定すると再生モード、右に設定すると撮影モード、中央に設定すると電源ＯＦＦの状態に切り替えることができる。

図１（ｂ）はデジタルカメラ１００の機能構成例を示すブロック図である。制御部２０１はデジタルカメラ１００全体を制御する例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。書き換え可能なＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２０２はプログラムやパラメータを格納する。本実施形態では、後述する「再生処理」を含む、デジタルカメラ１００の処理を制御部２０１が実現するために必要な制御プログラムは、ＲＯＭ２０２に記録されている。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０３は、プログラムやデータを一時記憶する。なお、本実施形態では、制御プログラムがＲＯＭ２０２に記録されているものとするが、制御プログラムが記録媒体２０４や、デジタルカメラ１００が通信可能な外部装置に記録されていてもよい。

記録媒体２０４はデジタルカメラ１００から取り外し可能であり、画像データなどのデジタルデータをファイルとして記録する。記録媒体２０４の例には半導体メモリカード、光または磁気ディスク、磁気または光カードなどが含まれるが、これらに限定されない。

撮像部２０５はレンズ、シャッタ、絞り、撮像素子等で構成されており、入力した光を画像データに変換する。後述するように、撮像部２０５はライトフィールドデータを得ることが可能な構成を有する。
操作入力部２０６は、ユーザの操作を受けつけるスイッチ、ボタン、タッチパネル等の入力デバイス群である。図１（ａ）の撮影ボタン１２０、モード切替スイッチ１３０、表示部１１０のタッチパネル、操作ボタン１４０、ｓｅｔボタン１５０、およびｍｅｎｕボタン１６０は操作入力部２０６に含まれる。
内部バス２０８はデジタルカメラ１００の各ブロック間の制御信号やデータ信号の伝送路である。

図２は、撮像部２０５の構成の一部を模式的に示す図であり、図２（ａ）は垂直断面図、図２（ｂ）はメインレンズ側から見た正面図である。なお図２では、説明のために撮像素子の画素配列の一部を記載しており、実際には同様の構成が拡がっている。
メインレンズはフォーカスレンズを含む複数のレンズを有する結像レンズを１枚のレンズとして模式的に示しており、被写体の光学像を撮像素子の結像面に形成する。なお本実施形態では絞り兼用シャッタもメインレンズ内に組み込まれている。

本実施形態の撮像部２０５は、メインレンズと撮像素子の間にマイクロレンズアレイが配置され、マイクロレンズアレイを構成する各マイクロレンズに対して複数の画素（本実施形態では５×５の画素）が対応するように構成されている。これにより、各マイクロレンズに対応する複数の画素から得られる画像データは、異なる視点から射出瞳を撮影した画像データとなり、特定の角度で入射した光束に対応する信号が各画素から得られる。つまり、１度の撮影でライトフィールドデータを取得することが可能である。なお、マイクロレンズの数およびマイクロレンズあたりの画素数は適宜設定可能である。また、１つのマイクロレンズに対応する画素の信号を加算することで、ライトフィールドデータではない通常の撮像画像を取得することもできる。

なお、ライトフィールドデータは他の任意の方法で生成してもよい。上述したようにライトフィールドデータを生成する構成は本発明において必須でなく、生成されたライトフィールドデータを取得できればよい。また、ライトフィールドデータから特定の距離に合焦したリフォーカス画像を再構成するリフォーカス処理についても公知の方法を用いることが可能であるため、その詳細についての説明は省略する。

デジタルカメラ１００の動作モードには、記録媒体２０４に画像データを記録する撮影モードと、記録媒体２０４に記録されている画像データを再生する再生モードがある。以下、モード切替スイッチ１３０で再生モードに設定された際の動作（再生処理動作）について説明する。ここでは、記録媒体２０４にライトフィールドデータを含む画像データが保存されているものとする。

本実施形態において画像データは、図６に示すような、属性情報がヘッダ部に付加された画像ファイルの形式で記録媒体２０４に記録されているものとする。ヘッダ部６０１に記録される属性情報は、具体的には、撮影日時情報、カメラ機種名、画像サイズ、シャッタースピード、絞り値、ＩＳＯ感度、撮影モード、フォーカス情報部、その他の付加情報である。

属性情報のうち、フォーカス情報部６０２は、リフォーカス可能フラグと、リフォーカス可能範囲と、１つ以上のフォーカス情報とを含み、複数のフォーカス情報が一つのＲＡＷデータに対して関連付けされていてもよい。リフォーカス可能フラグは、画像データ部６０３に格納される画像データがライトフィールドデータか、通常の撮像画像データかを示し、本実施形態ではライトフィールドデータについては１、通常の撮像画像データについては０を有する１ビットフラグとする。

リフォーカス可能範囲とは、ライトフィールドデータからリフォーカス画像を合成可能な合焦距離の最大値と最小値であり、例えば撮影時の絞り値、結像光学系の焦点距離、マイクロレンズあたりの画素数などに応じて定まる。フォーカス情報としては、例えば撮影時に指定された、撮像部２０５のレンズ面から合焦させたい位置までの距離（合焦距離）が記録されている。あるいは、他の情報がフォーカス情報として記録されていてもよい。例えば、ヘッダ部６０１の別の領域に、公知の方法で取得したデプスマップまたは距離画像が記録され、フォーカス情報としては合焦対象の画像データ上の座標のみが記録されていてもよい。この場合、フォーカス情報によってデプスマップを参照して合焦距離を取得することができる。画像データ部６０３には、撮影によって得られたＲＡＷデータが格納される。

図３および図４に示すフローチャートを用いて、デジタルカメラ１００の再生処理動作について説明する。
Ｓ４００で制御部２０１は、記録媒体２０４から画像ファイルを取得する。このとき取得する画像ファイルは、記録媒体２０４に記録されている画像ファイルのうち、撮影日時が最も古いものまたは新しいものでも、前回再生処理が終了した際に表示されていた画像データの画像ファイルでもよい。

Ｓ４０１で制御部２０１は、取得した画像ファイルのヘッダ情報を解析する。
Ｓ４０２で制御部２０１は、Ｓ４０１で解析したヘッダ情報のリフォーカス可能フラグに基づいて、取得した画像ファイルがライトフィールドデータファイルであるか否かを判定する。制御部２０１は、リフォーカス可能フラグが１ならライトフィールドデータの画像ファイルと判定し、処理をＳ４０３に移行し、リフォーカスフラグが０なら通常の撮像画像データの画像ファイルと判定し、処理をＳ４０５へ移行する。

Ｓ４０３で制御部２０１は、Ｓ４０１で解析したヘッダ情報のフォーカス情報を解析して、後述する合焦距離選択処理を行い、合焦距離リストを取得する。合焦距離リストとは、後述するリフォーカス画像切替処理で表示する各リフォーカス画像を合成するための合焦距離を、昇順もしくは降順にソートしたものである。各合焦距離には、既定の合焦距離か、デジタルカメラ１００が追加した合焦距離かを示す分類情報が付加されている。制御部２０１は、合焦距離リストをＲＡＭ２０３または記録媒体２０４に、画像ファイルと関連付けて保存する。

Ｓ４０４で制御部２０１は、画像ファイルの画像データ部６０３から取得したライトフィールドデータを用いて代表画像を生成し、表示部１１０に表示する。代表画像に特に制限は無いが、本実施形態で制御部２０１はパンフォーカス画像を代表画像として生成し、表示部１１０に表示する。なお、ライトフィールドデータからパンフォーカス画像を生成する方法に特に制限は無い。また、パンフォーカス画像はリフォーカス画像を用いて可能な範囲においてパンフォーカスであればよく、画面全体が合焦していることを必ずしも意味しない。

Ｓ４０５で制御部２０１は、取得した画像を表示部１１０に表示する。
Ｓ４０６で制御部２０１は、操作入力部２０６が操作されたか否かを調べ、操作があった場合には処理をＳ４０７へ移行し、操作がなかった場合には処理をＳ４０６へ戻す。
Ｓ４０７で制御部２０１は、現在表示している画像がライトフィールドデータに基づく画像であり、かつ、操作入力部２０６の操作が後述する画像切替操作２であるか判定する。制御部２０１は、両方の条件を満たすと判定された場合には処理をＳ４１０に移行し、そうでない場合は処理をＳ４０８に移行する。なお本実施形態では、画像切替操作２は操作ボタン１４０の上または下方向のキーの押下であるものとする。

Ｓ４０８で制御部２０１は、操作入力部２０６の操作が画像切替操作１または２であるか判定し、画像切替操作１または２と判定されれば処理をＳ４１１に移行し、そうでない場合は処理をＳ４０９に移行する。なお本実施形態では、画像切替操作１は操作ボタン１４０の右または左方向のキーの押下であるものとする。なお、Ｓ４０８では画像切替操作２を無視し、画像切替操作１と判定された場合のみ処理をＳ４１１に移行させてもよい。

Ｓ４０９で制御部２０１は、操作入力部２０６の操作が、再生終了操作であるか判定し、再生終了操作と判定されれば再生処理を終了し、そうでない場合は、処理をＳ４０６に戻す。例えば、再生終了操作は、ユーザが電源をＯＦＦにするか、撮影モードに切り替える操作である。

Ｓ４１０で制御部２０１は、リフォーカス画像切替処理を行う。リフォーカス画像切替処理では、制御部２０１は合焦距離リストをもとに合成したリフォーカス画像を表示部１１０に表示する。詳細は後述する。なお、同一ライトフィールドデータから生成する代表画像およびリフォーカス画像は同一シーンを表す画像である。
Ｓ４１１で制御部２０１は、画像ファイル切替処理を行う。画像ファイル切替処理では、制御部２０１は記録媒体２０４から現在表示部１１０に表示している画像とは別の画像ファイルを取得する。詳細は後述する。

次に、図４（ａ）のフローチャートを用いて、図３のＳ４１０で実施するリフォーカス画像切替処理について説明する。
Ｓ４２１で制御部２０１は、画像切替操作２が順送り操作（上キーの操作）であるか判定し、順送り操作であればＳ４２２へ、逆送り操作（下キーの操作）であればＳ４２５へ、処理を移行させる。

Ｓ４２２で制御部２０１は合焦距離リストを参照し、現在表示部１１０に表示されている画像が、代表画像、または合焦距離リストの末尾の合焦距離を用いて生成したリフォーカス画像であるかどうかを判定する。表示中の画像が、代表画像または合焦距離リストの末尾の合焦距離に対応するリフォーカス画像であると判定された場合、制御部２０１は処理をＳ４２３へ、そうでない場合には処理をＳ４２４へ移行する。

Ｓ４２３で制御部２０１は、合焦距離リストの先頭にある合焦距離を取得し、処理をＳ４２８に進める。
Ｓ４２４で制御部２０１は、合焦距離リストを参照し、合焦距離リストで直前に取得した合焦距離の次（末尾方向）に記載されている合焦距離を取得して処理をＳ４２８に進める。

一方、Ｓ４２５で制御部２０１は合焦距離リストを参照し、現在表示部１１０に表示されている画像が、代表画像、または合焦距離リストの先頭の合焦距離を用いて生成したリフォーカス画像であるかどうかを判定する。表示中の画像が、代表画像または合焦距離リストの先頭の合焦距離に対応するリフォーカス画像であると判定された場合、制御部２０１は処理をＳ４２６へ、そうでない場合には処理をＳ４２７へ移行する。

Ｓ４２６で制御部２０１は、合焦距離リストの末尾にある合焦距離を取得し、処理をＳ４２８に進める。
Ｓ４２７で制御部２０１は、合焦距離リストを参照し、合焦距離リストで直前に取得した合焦距離の前（先頭方向）に記載されている合焦距離を取得して処理をＳ４２８に進める。

Ｓ４２８で制御部２０１は、撮像部２０５のレンズ面から、取得した合焦距離が示す距離に合焦したリフォーカス画像のデータを生成し、リフォーカス画像を表示部１１０に表示し、リフォーカス画像切替処理を終了する。

なお、Ｓ４２２において、合焦距離リストの末尾の合焦距離に対応したリフォーカス画像が表示されていると判定された場合、Ｓ４２３、Ｓ４２８をスキップしてリフォーカス画像切替処理を終了する構成としてもよい。この場合、合焦距離リストの末尾の合焦距離に対応したリフォーカス画像が表示されている間は、合焦距離を進める画像切替操作２（順送り）が行われても表示が変わらない。同様に、Ｓ４２５において、合焦距離リストの先頭の合焦距離に対応したリフォーカス画像が表示されていると判定された場合、Ｓ４２６、Ｓ４２８をスキップしてリフォーカス画像切替処理を終了する構成としてもよい。この場合、合焦距離リストの先頭の合焦距離に対応したリフォーカス画像が表示されている間は、合焦距離を戻す画像切替操作２（逆送り）が行われても表示が変わらない。

次に、図４（ｂ）のフローチャートを用いて、Ｓ４１１の画像ファイル切替処理について説明する。本実施形態では、順送り操作（操作ボタン１４０の右キーまたは上キー）によって画像切替操作がされた場合、表示部１１０では撮影日時が次に新しい画像ファイルが選択され、最新の撮影日時の画像ファイルの次は最古の撮影日時の画像ファイルを選択する。また、逆送り操作（操作ボタン１４０の左キーまたは下キー）によって画像切替操作１がされた場合には、逆に撮影日時を遡るように画像ファイルを選択し、最古の画像ファイルの次には最新の画像ファイルを選択する。

Ｓ４３１で制御部２０１は、画像切替操作１が順送り操作（右キーの操作）であるか判定し、順送り操作であればＳ４３２へ、逆送り操作（左キーの操作）であればＳ４３５へ、処理を移行させる。
Ｓ４３２で制御部２０１は、現在表示部１１０に表示されている画像が、記録媒体２０４において撮影日付順で末尾に保存されている（最古の）画像ファイルから生成された画像であるか否かを判定する。制御部２０１は、末尾の画像ファイルから生成された画像を表示中の場合には処理をＳ４３３へ移行し、他の画像ファイルから生成された画像を表示中の場合には処理をＳ４３４へ移行する。

Ｓ４３３で制御部２０１は、記録媒体２０４から、撮影日付順で先頭に保存されている(最新の）画像ファイルを取得し、画像ファイル切替処理を終了する。
Ｓ４３４で制御部２０１は、記録媒体２０４から、撮影日付順で次に保存されている画像ファイルを取得し、画像ファイル切替処理を終了する。

Ｓ４３５で制御部２０１は、現在表示部１１０に表示されている画像が、記録媒体２０４において撮影日付順で先頭に保存されている（最新の）画像ファイルから生成された画像であるか否かを判定する。制御部２０１は、先頭の画像ファイルから生成された画像を表示中の場合には処理をＳ４３６へ移行し、他の画像ファイルから生成された画像を表示中の場合には処理をＳ４３７へ移行する。

Ｓ４３６で制御部２０１は、記録媒体２０４から、撮影日付順で末尾に保存されている(最古の）画像ファイルを取得し、画像ファイル切替処理を終了する。
Ｓ４３７で制御部２０１は、記録媒体２０４から、撮影日付順で１つ前に保存されている画像ファイルを取得し、画像ファイル切替処理を終了する。

なお、Ｓ４３２において、末尾の画像ファイルから生成された画像を表示中と判定された場合、Ｓ４３３をスキップして画像ファイル切替処理を終了する構成としてもよい。この場合、末尾の画像ファイルから生成された画像を表示されている間は、画像ファイルの順番を進める画像切替操作１（順送り）が行われても表示が変わらない。同様に、Ｓ４３５において、先頭の画像ファイルから生成された画像を表示中と判定された場合、Ｓ４３６をスキップして画像ファイル切替処理を終了する構成としてもよい。この場合、先頭の画像ファイルから生成された画像を表示されている間は、画像ファイルの順番を戻す画像切替操作１（逆送り）が行われても表示が変わらない。

次に、図５のフローチャートを用いて、図３のＳ４０３における合焦距離選択処理について説明する。
本処理は、画像ファイルのヘッダ部６０１に含まれるフォーカス情報の数が最小フォーカス数より少ない場合、リフォーカス可能範囲内でなるべく等間隔に分布するような合焦距離を示すフォーカス情報を新たに選択し、合焦距離リストに追加する。なお、最小フォーカス数とは、リフォーカス画像切替において表示することのできる最低の画像数であり、以降Ｆ_ｍｉｎと表現する。Ｆ_ｍｉｎはあらかじめデジタルカメラ１００に設定されているものとする。

Ｓ５００で制御部２０１は、取得されている画像ファイルのヘッダ部６０１のフォーカス情報部６０２から、設定されているフォーカス情報とリフォーカス可能範囲を取得する。
Ｓ５０１で制御部２０１は、Ｓ５００で取得したすべてのフォーカス情報が表す合焦距離と、リフォーカス可能範囲が示す合焦距離（最大値と最小値）を取得し、昇順にソートする。これを合わせて既定合焦距離と呼び、Ｌ_１、Ｌ_２、...、Ｌ_ｆと表現する。フォーカス情報部６０２にフォーカス情報が一つもない場合、既定合焦距離はリフォーカス可能範囲として設定された最大値と最小値のみとなり、既定合焦距離の総数ｆ＝２となる。

Ｓ５０２で制御部２０１は、既定合焦距離の総数ｆが、Ｆ_ｍｉｎより小さいかどうかを判定する。制御部２０１は、ｆがＦ_ｍｉｎ未満であった場合は、処理をＳ５０３に移行し、ｆがＦ_ｍｉｎ以上であった場合は、処理をＳ５０８に移行する。

Ｓ５０３で制御部２０１は、新規に選択する必要がある合焦距離の残数をＦ_ｍｉｎ−ｆに設定する。これを新規フォーカス残数と呼ぶこととする。また、隣り合う既定合焦距離Ｌ_ｎ＋１、Ｌ_ｎの（ｆ−１）組について、分割数ｍ_ｎ（１≦ｎ≦ｆ−１）の初期値を１とする。分割数ｍ_ｎは、後述する処理でＬ_ｎ＋１−Ｌ_ｎを何等分するかを示す。

Ｓ５０４で制御部２０１は、１≦ｎ≦ｆ−１の範囲で、（Ｌ_ｎ＋１−Ｌ_ｎ）／ｍ_ｎが最大となるときのｍ_ｎに１を加える。
Ｓ５０５で制御部２０１は、新規フォーカス残数を１減らす。
Ｓ５０６で制御部２０１は、新規フォーカス残数が０より大きい場合は処理をＳ５０４に戻し、そうでない場合は処理をＳ５０７に移行する。

Ｓ５０７で制御部２０１は、隣り合う既定合焦距離の間で等間隔に配置されたｍ_ｎ個の新規合焦距離を取得する。具体的には、１≦ｎ≦ｆ−１について、ｍ_ｎ＞１である場合のみ、新規合焦距離としてＬ_ｋ’＝Ｌ_ｎ＋（Ｌ_ｎ＋１−Ｌ_ｎ）×ｉ／ｍ_ｎ（１≦ｉ≦ｍ_ｎ−１、１≦ｋ≦Ｆ_ｍｉｎ−ｆ）を取得する。

Ｓ５０８で制御部２０１は、Ｓ５０１で取得した既定合焦距離と、Ｓ５０７で取得した新規合焦距離Ｌ_ｋ’をソートした後、分類情報と共に合焦距離リストに保存し、処理を終了する。分類情報とは、合焦距離が新規合焦距離と既定合焦距離のどちらであるかを示す情報である。
このように合焦距離を配置することで、リフォーカス可能範囲内で合焦距離をなるべく一定間隔で変化させながら、リフォーカス画像を表示することができる。

本実施形態において、操作ボタン１４０の右キーによる画像切替操作１（順送り）と、上キーによる画像切替操作２（順送り）とが行われた場合の、表示部１１０に表示される画像の遷移を図７（ａ）に示す。
また、操作ボタン１４０の左キーによる画像切替操作１（逆送り）と、下キーによる画像切替操作２（逆送り）とが行われた場合の、表示部１１０に表示される画像の遷移を図７（ｂ）に示す。

ここで、記録媒体２０４には、撮影日時順に画像ファイル１〜画像ファイル３が記録されているものとする。また、画像ファイル１および画像ファイル３の画像データがライトフィールドデータ（ＬＦ）、画像ファイル２の画像データが通常の撮像画像データ（非ＬＦ）であるとする。また、最小フォーカス数が５で、リフォーカス画像１−Ａ〜１−Ｅは合焦距離リストの先頭（最至近）の合焦距離から末尾（最遠位）の合焦距離に対応するものとする。

以上説明したように、本実施形態によれば、ユーザは、第１の方向（例えば水平方向）の操作により、画像ファイルもしくは画像データ単位で表示画像を切り替えることができる。また、第１の方向と交差する第２の方向（例えば垂直方向）の操作により、同一のライトフィールドデータから生成された合焦距離の異なるリフォーカス画像単位で表示画像を切り替えることができる。

なお、表示中の画像がリフォーカス画像（代表画像を含む）であることを示す表示を行うようにしてもよい。これにより、ユーザはリフォーカス画像の切替が可能であることを容易に把握することができる。

また、本実施形態によれば、ライトフィールドデータに設定されている合焦距離の数が所定数未満の場合には、合焦距離を追加設定する。そのため、ユーザは、ライトフィールドデータについて、記録時に設定されていない合焦距離を含んだ様々な合焦距離のリフォーカス画像を容易に確認することが可能になる。また、取得したライトフィールドデータに設定されているフォーカス情報数によらず、切り替え可能なリフォーカス画像の数を制御することができる。

●（第２実施形態）
第１実施形態では、画像切替操作１，２を操作ボタン１４０の左右キー、上下キーに割り当てた例を説明した。本実施形態では、操作ボタン１４０の左右キーのみを用いて、画像切替操作１，２を実現することを特徴とする。

本実施形態に係るデジタルカメラ１００は、再生処理動作以外は第１の実施形態と同様であるため、機能構成、画像ファイル構成など、第１実施形態で説明した内容については省略する。

次に、本実施形態に係るデジタルカメラ１００の再生処理動作について、図８Ａ，Ｂおよび図９のフローチャートを用いて説明する。図８Ａにおいて第１実施形態と同様の処理を行う工程には図３と同じ参照数字を付し、説明を省略する。

Ｓ８０３における合焦距離選択処理については、図９を用いて後述する。
Ｓ８０７で制御部２０１は、操作入力部２０６の操作が画像切替操作であるか判定し、画像切替操作と判定された場合には処理をＳ８０９に移行し、そうでない場合は処理をＳ４０９に移行する。なお本実施形態では、画像切替操作は操作ボタン１４０の右または左方向のキーの押下であるものとする。

Ｓ８０９で制御部２０１は、画像切替処理を行う。画像切替処理で制御部２０１は、表示部１１０に表示中の画像の種類と、画像切替操作の種類または入力間隔とに応じて、別の画像ファイルを取得するか、表示中の画像を、同一画像ファイルの別のリフォーカス画像に切り替える。詳細は後述する。
Ｓ８１０で制御部２０１は、Ｓ８０９で現在表示中の画像とは異なる画像ファイルが取得された場合は処理をＳ４０１に、そうでない場合は、処理をＳ４０６に、それぞれ移行する。

次に、図８Ｂのフローチャートを用いて、Ｓ８０９の画像切替処理について説明する。本実施形態では、リスト末尾の合焦距離に対応するリフォーカス画像の表示中に順送り操作がなされた場合およびリスト先頭の合焦距離に対応するリフォーカス画像の表示中に逆送り操作がなされた場合には、画像ファイルの切替処理を行う。また、ライトフィールドデータの代表画像の表示中、一定時間内に画像切替操作が複数回行われた場合は、画像ファイルの切替処理を行う。他の画像切替操作については第１実施形態と同様である。以下、順を追って説明する。

Ｓ８１１で制御部２０１は、現在表示部１１０に表示している画像がライトフィールドデータから生成された画像であれば処理をＳ８１２へ移行し、通常の画像であれば処理をＳ８１５へ移行する。
Ｓ８１２で制御部２０１は、現在表示部１１０に表示している画像がライトフィールドデータの代表画像であった場合には、処理をＳ８１３に移行し、そうでない場合には、処理をＳ８２０に移行する。

Ｓ８１３で制御部２０１は、Ｓ８０７で画像切替操作が検出されてから予め定められた一定時間経過したか判定し、経過していなければ処理をＳ８１４へ、経過した場合は処理をＳ８１６へ移行する。
Ｓ８１４で制御部２０１は、画像切替操作がさらに行われたか否かを判定し、画像切替操作が行われたと判定された場合には処理をＳ８１５へ、画像切替操作が行われていないと判定された場合には処理をＳ８１３へ移行する。このように制御部２０１は、Ｓ８１３とＳ８１４との組み合わせにより、Ｓ８０７で検出された画像切替操作から一定時間未満にさらなる画像切替操作が行われたかどうかを判定する。ここで、一定時間は、ユーザが意図的に２度続けて画像切替操作を行ったと判定するための時間であるため、例えば０．５秒といった短時間に設定される。このように、本実施形態では、ライトフィールドデータの代表画像の表示中、かつ一定時間未満の間隔で画像切替操作が行われると、画像ファイル切替操作（画像切替操作１）と判定する。

Ｓ８１５における画像ファイル切替処理は、図３のＳ４１１と同様の処理であってよいため、説明は省略する。

一方、Ｓ８１３で一定時間の経過が判定された場合、Ｓ８１６で制御部２０１は、Ｓ８０７で検出された画像切替操作が順送り操作かどうか判定し、順送り操作であれば処理をＳ８１７へ、逆送り操作であれば処理をＳ８１８へ移行する。ここでは例えば、右キーの押下を順送り操作、左キーの操作を逆送り操作とする。

Ｓ８１７で制御部２０１は、合焦距離リストの先頭にある合焦距離を取得し、処理をＳ８１９に進める。
Ｓ８１８で制御部２０１は、合焦距離リストの末尾にある合焦距離を取得し、処理をＳ８１９に進める。

Ｓ８１２で、表示中の画像がライトフィールドデータの代表画像でない場合、Ｓ８２０で制御部２０１は、Ｓ８０７で検出された画像切替操作が順送り操作かどうか判定し、順送り操作であればＳ８２１へ、逆送り操作であればＳ８２４へ、処理を移行する。

Ｓ８２１で制御部２０１は合焦距離リストを参照し、現在表示部１１０に表示されている画像が、合焦距離リストの末尾の合焦距離を用いて生成したリフォーカス画像であるかどうかを判定する。表示中の画像が合焦距離リストの末尾の合焦距離に対応するリフォーカス画像であると判定された場合、制御部２０１は処理をＳ８２２へ、そうでない場合には処理をＳ８２３へ移行する。

Ｓ８２３で制御部２０１は、合焦距離リストを参照し、合焦距離リストで直前に取得した合焦距離の次（末尾方向）に記載されている合焦距離を取得して処理をＳ８１９に進める。

一方、Ｓ８２４で制御部２０１は合焦距離リストを参照し、現在表示部１１０に表示されている画像が、合焦距離リストの先頭の合焦距離を用いて生成したリフォーカス画像であるかどうかを判定する。表示中の画像が合焦距離リストの先頭の合焦距離に対応するリフォーカス画像であると判定された場合、制御部２０１は処理をＳ８２２へ、そうでない場合には処理をＳ８２５へ移行する。

このように制御部２０１は、リストの末尾の合焦距離に対応するリフォーカス画像の表示中の順送り操作と、リストの先頭の合焦距離に対応するリフォーカス画像の表示中の逆送り操作についても、画像ファイル切替操作（画像切替操作１）と判定する。Ｓ８２２における画像ファイル切替処理は、図３のＳ４１１と同様の処理であってよいため、説明は省略する。

Ｓ８２５で制御部２０１は、合焦距離リストを参照し、合焦距離リストで直前に取得した合焦距離の前（先頭方向）に記載されている合焦距離を取得して処理をＳ８１９に進める。

Ｓ８１９で制御部２０１は、撮像部２０５のレンズ面から、取得した合焦距離が示す距離に合焦したリフォーカス画像のデータを生成し、リフォーカス画像を表示部１１０に表示し、画像切替処理を終了する。

次に、図９のフローチャートを用いて、図８ＡのＳ８０３における合焦距離選択処理について説明する。本実施形態における合焦距離選択処理のうち、第１実施形態と同じ動作を行う工程については図５と同じ参照数字を付して説明を省略する。図５と図９との比較から分かるように、本実施形態では、既定フォーカス数ｆが最小フォーカス数Ｆ_ｍｉｎ以上の場合の処理が第１実施形態と異なる。

具体的には、既定フォーカス数ｆがリフォーカス画像切替において表示することのできる最大の画像数である最大フォーカス数Ｆ_ｍａｘより多い場合に、最大フォーカス数以下となるようにフォーカス情報を統合することを特徴とする。なお、最大フォーカス数Ｆ_ｍａｘは予めデジタルカメラ１００に設定されているものとする。最大フォーカス数Ｆ_ｍａｘは最小フォーカス数Ｆ_ｍｉｎと等しくてもよい。なお、既定フォーカス数ｆ、最大フォーカス数Ｆ_ｍａｘ、最小フォーカス数Ｆ_ｍｉｎが等しい場合には、既定合焦距離のみを用いてリフォーカス画像を生成することができる。

Ｓ５０２で既定フォーカス数ｆが最小フォーカス数Ｆ_ｍｉｎ以上と判定された場合、制御部２０１は処理をＳ９０９に移行する。
Ｓ９０９で制御部２０１は、既定合焦距離の個数ｆが、Ｆ_ｍａｘより大きいかどうかを判定する。ｆがＦ_ｍａｘより大きかった場合、制御部２０１は処理をＳ９１０に移行し、ｆがＦ_ｍａｘ以下であった場合、処理をＳ５０８に移行する。

Ｓ９１０で制御部２０１は、削減する必要がある合焦距離の残数をＦ_ｍａｘ−ｆに設定する。これを余分フォーカス残数と呼ぶこととする。また、各既定合焦距離Ｌ_ｎ（１≦ｎ≦ｆ）を、それぞれを要素の初期値として持つｆ個の合焦距離のグループＧ_ｎ（１≦ｎ≦ｆ）に格納する。

Ｓ９１１で制御部２０１は、１≦ｎ≦ｆ−1について、隣り合うグループＧ_ｎ＋１とＧ_ｎの要素の平均値の差が最小となるときのＧ_ｎにＧ_ｎ＋１の要素を移動し、Ｇ_ｎ＋１の要素を消去する。なお、初期状態では各グループの要素は１つであるため、要素の差で評価する。また、平均値の差を評価する場合、要素を持つ最も近いグループを隣接グループとする。

Ｓ９１２で制御部２０１は、余分フォーカス残数を１減らす。
Ｓ９１３で制御部２０１は、余分フォーカス残数が０より大きい場合は処理をＳ９１１に戻し、そうでない場合は処理をＳ９１４に移行する。
Ｓ９１４で制御部２０１は、Ｇ_ｎ（１≦ｎ≦ｆ−１）のうち、１つ以上の要素を有するものの各々について、代表値を求める。例えば、要素が１つであればその要素を、要素が３以上あれば平均値に最も近い要素を、要素が２つであれば、隣接する２つの代表値の平均値に近い要素を代表値とすることができる。そして、制御部２０１は、代表値を合焦距離リストにソートして保存し、処理を終了する。

このように合焦距離を配置することで、リフォーカス可能範囲内で合焦距離をなるべく一定間隔で変化させながら、ライトフィールドデータに設定されたフォーカス情報に近い距離に合焦したリフォーカスされた画像を表示することができる。また、ライトフィールドデータに設定されているフォーカス情報の数によらず、ライトフィールドデータごとに一定数のリフォーカス画像を提示することが可能になる。

記録媒体２０４に第１実施形態と同様の画像ファイルが記録されている条件で、本実施形態の画像切替処理で実現される表示画像の遷移について図１０（ａ）および（ｂ）に示す。図１０（ａ）は順送りの画像切替操作（操作ボタン１４０の右キーの操作）による表示画像の遷移を、図１２（ｂ）は逆送りの画像切替操作（操作ボタン１４０の左キーの操作）による表示画像の遷移を示している。

以上説明したように、本実施形態によれば、画像ファイル単位の切り替えと、同一のライトフィールドデータから生成された合焦距離の異なるリフォーカス画像単位の切り替えとを、同一操作の入力方法、具体的には入力間隔を変えることで実現できる。

なお、表示中の画像がライトフィールドデータの代表画像であることを示す表示を行うようにしてもよい。これにより、ユーザは、一定時間内の画像切替操作の繰り返しによって画像ファイル単位の切り替えが可能であることを容易に把握することができる。また、なお、ここではライトフィールドデータの代表画像の表示中のみ、一定時間内の２度の画像切替操作を画像ファイル切替操作と認識するようにした場合を説明した。しかし、代表画像以外のリフォーカス画像の表示中や、通常画像の表示中においても同様の操作を画像ファイル切替操作と認識するように構成してもよい。

また、表示中の画像がリフォーカス画像（代表画像を除く）であることを示す表示を行うようにしてもよい。これにより、ユーザはリフォーカス画像の切替が可能であることを容易に把握することができる。

また、本実施形態によれば、ライトフィールドデータに設定されている合焦距離の数が所定数未満の場合には、合焦距離を追加設定する。また、ライトフィールドデータに設定されている合焦距離の数が所定数より多い場合には、合焦距離の設定を削減する。

そのため、ユーザは、ライトフィールドデータについて、記録時に設定されていない合焦距離を含んだ様々な合焦距離のリフォーカス画像を容易に確認することが可能になる。

また、フォーカス情報を一定数より多く取得した場合は、フォーカス情報を統合して削減することができる。そのため、取得したライトフィールドデータに設定されているフォーカス情報数によらず、切り替え可能なリフォーカス画像の数を制御することができる。なお、本実施形態におけるフォーカス情報の削減処理は、第１実施形態においても実施することができる。

●（第３実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態は、第１実施形態のリフォーカス画像切替処理に対し、合焦距離リスト内に含まれる合焦距離のうち、既定合焦距離に対応するリフォーカス画像および代表画像を対象とした切り替え機能を追加するものである。第１実施形態と同様に、画像切替操作２は操作ボタン１４０の上下キー、画像切替操作１は左右キーを使用するものとする。

本実施形態に係るデジタルカメラ１００は、リフォーカス画像切替処理以外は第１の実施形態と同様であるため、機能構成、画像ファイル構成など、第１実施形態で説明した内容については省略する。

次に、本実施形態に係るリフォーカス画像切替処理について、図１１のフローチャートを用いて説明する。本実施形態では、画像切替操作２の継続操作（例えばキーの長押し）を、既定合焦距離の切替操作と認識することを特徴とする。具体的には、順送り（上キー）の継続操作を検出すると、合焦距離リストのうち、新規合焦距離をスキップし、次の既定合焦距離を取得する。逆送りの継続操作では、合焦距離リストの末尾から先頭に向かって同様の処理を行う。なお、ここでは、合焦距離リストの末尾の既定合焦距離と先頭の既定合焦距離に対応したリフォーカス画像の表示の間に代表画像の表示を行うものとしているが、代表画像の表示をスキップしてもよい。本実施形態の構成により、既定合焦距離以外の合焦距離を選択するかどうかを、ユーザがメニューなどで設定する手間を省くことが可能であり、使い勝手がよくなる。

図１１において、図４（ａ）と同様の動作を行う工程については同じ参照数字を付し、重複する説明を省略する。
Ｓ４２１で制御部２０１は、Ｓ４０６で検出された画像切替操作２が順送り操作（上キーの操作）であるか判定し、順送り操作であればＳ１１０１へ、逆送り操作（下キーの操作）であればＳ１１０５へ、処理を移行させる。

Ｓ１１０１で制御部２０１は、順送り操作が一定時間以上継続したかどうかを判定する。例えば、操作ボタン１４０の上キーが１秒間以上長押しされた場合、制御部２０１は順送りの継続操作と判定して処理をＳ１１０２に移行し、一定時間経過せずに順送り操作が終了した場合には通常の順送り操作と判定して処理をＳ４２２に移行する。Ｓ４２２以降の処理は第１実施形態と同様であるため説明を省略する。

Ｓ１１０２で制御部２０１は、現在表示部１１０に表示されているリフォーカス画像が、合焦距離リストの末尾の既定合焦距離に対応するものであるかどうかを判定する。制御部２０１は、表示中の画像が、合焦距離リストの末尾の既定合焦距離に対応するリフォーカス画像であれば処理をＳ１１０３へ移行し、そうでない場合には処理をＳ１１０４へ移行する。

Ｓ１１０３で制御部は、現在表示中のリフォーカス画像を生成したライトフィールドデータの代表画像を表示し、リフォーカス画像切替処理を終了する。なお、ここで表示する代表画像はＳ４０４で生成、表示したものを保存しておいて用いてもよいし、Ｓ１１０３で改めて生成して表示してもよい。
Ｓ１１０４で制御部は、合焦距離リストを参照して、次の既定合焦距離を取得し、処理をＳ４２８へ移行する。
以上が、順送り操作に関する動作である。

Ｓ４２１で逆送り操作と判定された場合、Ｓ１１０５で制御部２０１は、逆送り操作が一定時間以上継続したかどうかを判定する。例えば、操作ボタン１４０の下キーが１秒間以上長押しされた場合、制御部２０１は逆送りの継続操作と判定して処理をＳ１１０６に移行し、一定時間経過せずに逆送り操作が終了した場合には通常の逆送り操作と判定して処理をＳ４２５に移行する。Ｓ４２５以降の処理は第１実施形態と同様であるため説明を省略する。

Ｓ１１０６で制御部２０１は、現在表示部１１０に表示されているリフォーカス画像が、合焦距離リストの先頭の既定合焦距離に対応するものであるかどうかを判定する。制御部２０１は、表示中の画像が、合焦距離リストの先頭の既定合焦距離に対応するリフォーカス画像であれば処理をＳ１１０３へ移行し、そうでない場合には処理をＳ１１０７へ移行する。
Ｓ１１０７で制御部は、合焦距離リストを参照して、１つ前の既定合焦距離を取得し、処理をＳ４２８へ移行する。
以上が、逆送り操作に関する動作である。

記録媒体２０４に第１実施形態と同様の画像ファイルが記録されている条件で、本実施形態の画像切替処理で実現される表示画像の遷移について図１２（ａ）および（ｂ）に示す。図１２（ａ）は順送りの画像切替操作（操作ボタン１４０の右および上キーの操作）による表示画像の遷移を、図１２（ｂ）は逆送りの画像切替操作（操作ボタン１４０の左および下キーの操作）による表示画像の遷移を示している。図中の「継続」は、画像切替操作２の継続時間がそれぞれ一定時間以上であることを示し、「継続」がない画像切替操作２は継続時間が一定時間未満であったことを示している。

以上説明したように、本実施形態によれば、第１の実施形態の効果に加え、画像切替操作の継続時間に応じて、次に表示させるリフォーカス画像の合焦距離を、既定合焦距離に限定するか否か（新規合焦距離であってもよいか）を選択することができる。そのため、ユーザは、容易な操作により、記録時に設定されている合焦距離に対応するリフォーカス画像だけを選択して切り替え表示することができる。また、リフォーカス画像の切替操作を継続して行うことにより、既定合焦距離に対応したリフォーカス画像を順次確認することができる。

●（第４実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態は、ユーザ操作によって新規合焦距離を画像ファイルのヘッダ部および合焦距離リストに追加設定する機能を実現することを特徴とする。第１実施形態と同様に、画像切替操作２は操作ボタン１４０の上下キー、画像切替操作１は左右キーを使用するものとする。

本実施形態に係るデジタルカメラ１００は、再生処理およびリフォーカス画像切替処理以外は第１の実施形態と同様であるため、機能構成、画像ファイル構成など、第１実施形態で説明した内容については省略する。

次に、本実施形態に係る再生処理の動作について、図１３Ａのフローチャートを用いて説明を行う。なお、図１３Ａにおいて、第１の実施形態と同様の動作を行う工程については図４と同じ参照数字を付し、重複する説明を省略する。

Ｓ４０６で制御部２０１は、操作入力部２０６からの操作を検出すると、処理をＳ１３０７へ移行し、操作がフォーカス設定操作かどうか判定する。制御部２０１は例えば、後述するフォーカス設定画面が表示部１１０に表示されている状態での、操作入力部２０６のｓｅｔボタン１５０の操作を、フォーカス設定操作と判定する。フォーカス設定操作がなされたと判定されると、制御部２０１は処理をＳ１３０２へ移行し、他の操作であれば処理をＳ４０７に移行する。

Ｓ１３０２で制御部２０１は、現在表示部１１０に表示されているリフォーカス画像を生成する際に使用した合焦距離を、対応する画像ファイルのフォーカス情報部６０２の末尾に新たなフォーカス情報として追加する。さらに制御部２０１は、この合焦距離が合焦距離リストに新規合焦距離として含まれていれば、分類情報を既定合焦距離に変更し、合焦距離リストに含まれていなければ既定合焦距離として適切な位置に挿入して、処理をＳ１３０３に移行する。ここで、適切な位置とは合焦距離リスト内の合焦距離の昇順（または降順）関係が崩れない位置である。

Ｓ１３０３で制御部２０１は、表示部１１０にフォーカス情報の追加が完了したことを通知する、フォーカス設定完了通知を表示し、処理をＳ４０６へ移行する。Ｓ１３０３におけるフォーカス設定完了通知の表示の例を図１４（ａ）に示す。制御部２０１は例えば通知１４０１を画像に重畳表示し、所定時間経過後に自動で消去する。あるいは、制御部２０１は、通知１４０１の表示に対して操作入力部２０６から応答操作がなされたことに応じて通知の表示を終了してもよい。

次に、本実施形態のＳ１３０４で実施するリフォーカス画像切替処理について、図１３Ｂのフローチャートを用いて説明する。図１３Ｂにおいて、第１実施形態と同様の動作を行う工程については同じ参照数字を付し、重複する説明は省略する。

本実施形態のリフォーカス画像切替処理では、画像切替操作２が一定時間以上継続して行われた場合、現在の合焦距離の微調整操作と認識し、調整後の合焦距離に対応したリフォーカス画像を生成して表示する。従って、ユーザは画像切替操作２を継続して行うことで、操作を終了するか、合焦距離リストの先頭または末尾の合焦距離に到達するまで、合焦距離が滑らかに変化するフォーカス画像を見ることができる。また、ユーザは最大フォーカス数Ｆ_ｍａｘを変更することなく、最大フォーカス数Ｆ_ｍａｘよりも多くの合焦距離に対応したリフォーカス画像を見ることができる。

図１３ＡのＳ４０７で、ライトフィールドデータから生成された画像の表示中に画像切替操作２が行われたことが検出されると、制御部２０１は処理をＳ１３０４に移行し、図１３Ｂのリフォーカス画像切替処理が開始される。

まずＳ１３０５で制御部２０１は、画像切替操作２がＳ４０６で検出されてから一定時間（例えば１秒以上）以上継続して行われているかどうかを判定する。ここでは、画像切替操作２は上キーまたは下キーの操作であるため、上キーまたは下キーが１秒間以上長押しされていれば、制御部２０１は継続操作と判定し、処理をＳ１３０６に移行する。一方、Ｓ４０６で検出された画像切替操作２が一定時間経過前に終了した場合、制御部２０１は処理をＳ４２１に移行し、以降はＳ４２８まで第１実施形態と同様の処理を行う。

Ｓ１３０６で制御部２０１は、現在表示中のライトフィールド画像が代表画像かどうか判定し、代表画像であれば処理をＳ４２１へ、代表画像で無ければ処理をＳ１３０７へ移行する。

Ｓ１３０７で制御部は、画像切替操作２が順送り操作（上キーの操作）であるか判定し、順送り操作であればＳ１３０８へ、逆送り操作（下キーの操作）であればＳ１３０９へ、処理を移行する。

Ｓ１３０８で制御部２０１は、現在表示部１１０に表示されているリフォーカス画像の生成に用いた合焦距離に、予め定めた距離ΔＬを加算した合焦距離を取得し、処理をＳ４２８へ移行する。
また、Ｓ１３０９で制御部２０１は、現在表示部１１０に表示されているリフォーカス画像の生成に用いた合焦距離から予め定めた距離ΔＬを減算した合焦距離を取得し、処理をＳ４２８へ移行する。

Ｓ１３０８およびＳ１３０９で合焦距離の調整に用いる距離ΔＬは、合焦距離を距離ΔＬずつ増加させてリフォーカス画像を生成、表示した際に、合焦距離が滑らかに変化するように見えるような量として予め設定されているものとする。なお、制御部２０１は、Ｓ１３０８で取得した合焦距離を、少なくともこの時点では合焦距離リストには追加しない。

制御部２０１は、Ｓ４２３，Ｓ４２４，Ｓ４２６，Ｓ４２７，Ｓ１３０８，Ｓ１３０９のいずれかで取得された合焦距離に合焦したリフォーカス画像をＳ４２８で生成し、表示部１１０に表示させ、処理をＳ１３１０へ移行させる。

Ｓ１３１０で制御部２０１は、Ｓ４２８でリフォーカス画像の生成に用いた合焦距離が、新規合焦距離かどうか判定し、新規合焦距離であれば処理をＳ１３１１へ移行し、新規合焦距離でなければ（既定合焦距離であれば）処理を終了する。ここで制御部２０１は、合焦距離リストに含まれていないか、合焦距離リストに新規合焦距離として含まれている合焦距離を、新規合焦距離と判定する。合焦距離リストに既定合焦距離として含まれていない合焦距離を新規合焦距離と判定してもよい。

Ｓ１３１１で制御部２０１は、フォーカス設定UIを表示部１１０に表示する。フォーカス設定UIは、現在表示部１１０に表示されているリフォーカス画像を生成するための合焦距離を、画像ファイルに保存可能であることと、保存方法をユーザに通知するために表示するものである。従って、タッチディスプレイである表示部１１０で直接ユーザが操作可能なGUIであってもよいし、単なるメッセージ表示であってもよい。ここでは、保存方法をデジタルカメラ１００が有するｓｅｔボタン１５０の操作とし、表示部１１０には図１４（ｂ）に示すようなメッセージ１４０２をフォーカス設定UIとして表示する。

なお、画像切替操作２が継続的に行われている間、Ｓ４０６，Ｓ１３０１，Ｓ４０７，Ｓ１３０４の処理が繰り返し実行されるため、合焦距離がΔＬずつ変化したリフォーカス画像が順次生成され、表示部１１０に表示される。そして、画像切替操作２が終了すると、リフォーカス画像の表示状態で操作入力待ちとなる（Ｓ４０６）。この際、新規合焦距離に対応するリフォーカス画像が表示されていれば、フォーカス設定UIが重畳表示されている。この状態でユーザがｓｅｔボタン１５０を操作すると、Ｓ１３０１，Ｓ１３０２，Ｓ１３０３が実行され、表示中のリフォーカス画像の合焦距離が既定合焦距離として画像ファイルならびに合焦距離リストに追加される。

なお、画像切替操作２の継続中にリフォーカス範囲の限界（合焦距離リストの先頭または末尾の既定合焦距離）に達した場合、それを示すメッセージを表示部１１０に表示し、合焦距離の更新をストップし、同じリフォーカス画像の表示を継続してもよい。あるいは、順送り操作であれば末尾の既定合焦距離から先頭の既定合焦距離へ、逆送り操作であれば先頭の既定合焦距離から末尾の既定合焦距離へ合焦距離を変更し、合焦距離の微調整を継続してもよい。

本実施形態によれば、第１の実施形態の効果に加え、ユーザは画像切替操作２を継続して行うことで、最大フォーカス数Ｆ_ｍａｘとは無関係に、合焦距離が滑らかに変化するフォーカス画像を見ることができる。また、ユーザは、容易な操作によって、所望の合焦距離を既定合焦距離として画像ファイルに設定することができる。

●（他の実施形態）
なお、上述の実施形態では、画像切替操作１、２を操作ボタン１４０の左右キー、上下キーの操作に割り当てた場合を説明した。しかし、これは単なる一例であり、画像切替操作を他の入力デバイスの他の操作に割り当ててもよい。例えば、表示部１１０がタッチパネルディスプレイである場合のように、タッチ入力デバイスを利用可能な電子機器であれば、方向の異なるドラッグもしくはフリック操作や、ジェスチャなどを画像切替操作１、２に割り当ててもよい。また、タッチパネルディスプレイ上に表示したＧＵＩの操作を画像切替操作１、２に割り当ててもよい。

また、同時に行われたタッチ操作の数によって画像切替操作１と画像切替操作２とを識別してもよい。タッチ操作を画像切替操作に割り当てる場合、操作間隔、操作継続時間については、ドラッグ操作の操作量や速度、操作点の数などを基準に判断してもよい。例えば、（１）操作間隔が一定時間未満の同方向のフリック動作や、（２）ある方向へのドラッグ操作後、同位置で接触が継続している場合には、その方向への継続操作と見なすことができる。

また、電子機器が備える加速度センサが検出する電子機器の傾きや移動の方向や、視線検査が検出する視線の位置などを、画像切替操作に割り当ててもよい。

また、ライトフィールドデータの代表画像はパンフォーカス画像としたが、他の画像でもよい。例えば、合焦距離選択処理によって取得された既定合焦距離のいずれかで生成されたリフォーカス画像でもよく、あるいはユーザが最後に画像切替操作２によって表示したリフォーカス画像でもよい。また、代表画像は表示の指示を受けるたびに生成してもよいし、一度生成したものを記録媒体２０４に保存して再利用してもよい。画像ファイルのヘッダ部６０１のフォーカス情報部６０２に、すでに代表画像が生成されているか否かのフラグと、生成された代表画像が保存されている記録媒体２０４上の位置を付加することで、表示に要する時間が短縮されることが期待できる。また、Ｓ４０４で生成した代表画像をＲＡＭ２０３に記憶しておき、その後の処理で再利用してもよい。

また、リフォーカス画像切替処理において、リスト末尾の合焦距離に対応するリフォーカス画像の表示中に順送り操作が行われた場合、リスト先頭の合焦距離に対応するリフォーカス画像の代わりに代表画像を表示するようにしてもよい。同様に、リスト先頭の合焦距離に対応するリフォーカス画像の表示中に逆送り操作が行われた場合、リスト末尾の合焦距離に対応するリフォーカス画像の代わりに代表画像を表示するようにしてもよい。

また、合焦距離選択処理において、既定合焦距離の個数がＦ_ｍｉｎに満たない場合に、新規合焦距離は既定合焦距離の間に等間隔に配置されるとしたが、配置方法はこの限りではない。例えば、一般的に合焦したい被写体はレンズ面に近い側ほど密に存在すると考えられるので、合焦距離の小さい側に多くなるように配置してもよい。あるいは既知の物体認識などの手法を用いて被写体候補を検出し、そこまでの距離を選択してもよい。

また、第２実施形態において既定合焦距離の個数がＦ_ｍａｘを超える場合に、グループ内の複数の合焦距離の中で平均値に近い要素を代表値として選択することで合焦距離を削減したが、削減方法はこの限りではない。例えばグループ内の複数の合焦距離の最小値や最大値を選択してもよいし、全要素を保持しておき、グループ内の全ての合焦距離にフォーカスの合うリフォーカス画像を生成してもよい。

合焦距離リストについては、ある画像ファイルに対して初めて合焦距離選択処理が行われた際に、記録媒体２０４に保存しておき、次回以降同一の画像ファイルに対して合焦距離選択処理を行う場合は記録媒体２０４から読み出すことにしてもよい。
また、最小フォーカス数Ｆ_ｍｉｎ、最大フォーカス数Ｆ_ｍａｘは固定値であってもよいし、ユーザが変更可能であってもよいし、リフォーカス可能範囲や画像に応じて動的に決定してもよい。

また、上述の実施形態では、複数の画像を生成可能な画像データの例として、ライトフィールドデータを用いて説明した。しかし、本発明はライトフィールドデータ以外にも適用可能である。例えば、パンフォーカス画像のデータとデプスマップとを用い、適応的にボカし処理を施すことで、選択された位置に合焦しているような画像を生成する処理を行う場合にも、本発明を適用可能である。

以上、本発明をその例示的な実施形態に基づいて説明してきたが、本発明はこれら特定の実施形態に限られるものではなく、特許請求の範囲に規定された範囲に含まれる様々な変更物や派生物もまた本発明に含まれる。また、上述した実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークや各種の記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１…制御部、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…記録媒体、２０５…撮像部、２０６…操作入力部

Claims (22)

1. 第１の画像切替操作と、第２の画像切替操作とを受け付け可能な操作入力手段と、
   表示する画像を、前記操作入力手段が受け付けた画像切替操作に応じて切り替える制御手段と、を有し、
   前記制御手段は、
   前記操作入力手段が前記第１の画像切替操作を受け付けた場合には、表示中の画像に対応する画像ファイルとは別の画像ファイルに基づく画像を表示するように切り替え、
   前記操作入力手段が前記第２の画像切替操作を受け付けた場合には、前記表示中の画像に対応する画像ファイルに基づく、前記表示中の画像とは別の画像を表示するように切り替え、
   前記別の画像は、前記表示中の画像と同じシーンであって、合焦している領域が異なる画像であることを特徴とする画像処理装置。
2. 前記制御手段は、前記表示中の画像が、複数の画像を生成可能な画像ファイルに基づく画像である場合に、前記第２の画像切替操作の受け付けに応答して前記切り替えを行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記操作入力手段が前記第２の画像切替操作を受け付けた場合、前記表示中の画像に対応する画像ファイルに設定された合焦距離を示す情報に基づいて前記別の画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記別の画像がパンフォーカス画像に適応的にボカし処理を施した画像であることを特徴とする請求項１または２に記載の画像処理装置。
5. 第１の画像切替操作と、第２の画像切替操作とを受け付け可能な操作入力手段と、
   表示する画像を、前記操作入力手段が受け付けた画像切替操作に応じて切り替える制御手段と、を有し、
   前記制御手段は、
   前記操作入力手段が前記第１の画像切替操作を受け付けた場合には、表示中の画像に対応する画像ファイルとは別の画像ファイルに基づく画像を表示するように切り替え、
   前記表示中の画像が複数の画像を生成可能な画像ファイルに基づく画像である場合に前記操作入力手段が前記第２の画像切替操作を受け付けた場合には、前記表示中の画像に対応する画像ファイルから該画像ファイルに設定された合焦距離を示す情報に基づいて生成した、前記表示中の画像とは別の画像を表示するように切り替える、
   ことを特徴とする画像処理装置。
6. 前記別の画像は、前記表示中の画像と同じシーンであって、合焦している領域が異なる画像であることを特徴とする請求項５に記載の画像処理装置。
7. 前記別の画像がライトフィールドデータの画像ファイルに基づく、リフォーカス画像であることを特徴とする請求項１から３、６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記設定された合焦距離を示す情報の数が予め定められた数より少ない場合、前記設定された合焦距離を示す情報に基づいて、合焦距離を示す情報を追加することを特徴とする請求項３、５、６のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記操作入力手段が受け付けた前記第２の画像切替操作が予め定めた時間以上継続して行われた場合は、前記追加された前記合焦距離を示す情報を用いずに、前記設定された合焦距離を示す情報を用いて前記別の画像を生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記制御手段は、前記操作入力手段が受け付けた前記第２の画像切替操作が予め定めた時間以上継続して行われない場合は、前記追加された前記合焦距離を示す情報もしくは前記設定された合焦距離を示す情報を用いて前記別の画像を生成することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記制御手段は、前記操作入力手段が受け付けた前記第２の画像切替操作が予め定めた時間以上継続して行われている間は、表示中の画像の生成に用いられた合焦距離を予め定められた量ずつ変更しながら前記別の画像を順次生成することを特徴とする請求項５、６、８から１０のいずれか１項に記載の画像処理装置。
12. 前記操作入力手段は、さらに設定操作を受け付け、
    前記制御手段は、前記操作入力手段が前記設定操作を受け付けた際に表示中の画像が、複数の画像を生成可能な画像ファイルに基づく画像であり、該表示中の画像が前記設定された合焦距離を示す情報に基づいて生成されていない場合、該表示中の画像の生成に用いられた合焦距離を示す情報を、該画像ファイルに追加することを特徴とする請求項５、６、８から１１のいずれか１項に記載の画像処理装置。
13. 前記制御手段は、前記設定された合焦距離を示す情報の数が予め定められた数より多い場合、前記設定された合焦距離を示す情報の一部を用いないことを特徴とする請求項５、６、８から１２のいずれか１項に記載の画像処理装置。
14. 前記第１の画像切替操作が第１の方向の操作であり、前記第２の画像切替操作が前記第１の方向と交差する第２の方向の操作であることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記第１の画像切替操作が水平方向の操作であり、前記第２の画像切替操作が垂直方向の操作であることを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記第１の画像切替操作が右または左方向の操作であり、前記第２の画像切替操作が上または下方向の操作であることを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記第１の画像切替操作および前記第２の画像切替操作が、前記操作入力手段が有する方向キーもしくはタッチ入力デバイスに対する操作であることを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記制御手段は、前記操作入力手段が予め定められた時間内に複数回の前記第２の画像切替操作を受け付けた場合、前記第１の画像切替操作を受け付けたものと見なすことを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
19. 第１の画像切替操作と、第２の画像切替操作とを受け付け可能な操作入力手段を有する画像処理装置の制御方法であって、
    前記操作入力手段が前記第１の画像切替操作を受け付けた場合に、前記画像処理装置の制御手段が、表示中の画像に対応する画像ファイルとは別の画像ファイルに基づく画像を表示するように切り替える工程と、
    前記操作入力手段が前記第２の画像切替操作を受け付けた場合に、前記制御手段が、前記表示中の画像に対応する画像ファイルに基づく、前記表示中の画像とはを表示するように切り替える工程と、
    を有し、
    前記別の画像は、前記表示中の画像と同じシーンであって、合焦している領域が異なる画像であることを特徴とする画像処理装置の制御方法。
20. 第１の画像切替操作と、第２の画像切替操作とを受け付け可能な操作入力手段を有する画像処理装置の制御方法であって、
    前記操作入力手段が前記第１の画像切替操作を受け付けた場合に、前記画像処理装置の制御手段が、表示中の画像に対応する画像ファイルとは別の画像ファイルに基づく画像を表示するように切り替える工程と、
    前記表示中の画像が複数の画像を生成可能な画像ファイルに基づく画像である場合に前記操作入力手段が前記第２の画像切替操作を受け付けた場合には、前記表示中の画像に対応する画像ファイルから該画像ファイルに設定された合焦距離を示す情報に基づいて生成した、前記表示中の画像とは別の画像を表示するように切り替える工程と、
    を有することを特徴とする画像処理装置の制御方法。
21. コンピュータを、請求項１から１８のいずれか１項に記載の画像処理装置の少なくとも前記制御手段として機能させるためのプログラム。
22. 請求項２１に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images