JP6307803B2 - 画像処理装置、画像表示装置、撮像装置 - Google Patents

Description

本発明は、撮影条件の後設定が可能な撮影画像を処理する画像処理装置、画像表示装置、及び撮像装置に関する。

近年、撮影条件の後設定が可能な撮影画像を取得するカメラが注目されつつある。このようなカメラとして有名なのが、ライトフィールドカメラ（特許文献１）、フォーカスブラケット撮影可能なカメラ（特許文献２、４）、カメラアレイ（特許文献３）などである。

ライトフィールドカメラ（特許文献１）によると、撮影距離（被写界における合焦面の距離）、絞り値、視点を後設定することが可能であり、フォーカスブラケット撮影可能なカメラ（特許文献２、４）によると、撮影距離を後設定することが可能であり、カメラアレイ（特許文献３）によると、撮影距離、視点（又は絞り値）を後設定することが可能である。

また、特許文献２には、フォーカスブラケット撮影された撮影画像群に含まれる複数の合焦画像に優先順位をつけ、優先順位の最も高い合焦画像の表示時間をスライドショー表示の際に長くする技術も開示されている。

また、特許文献４には、上下方向にスクロールするスクロールバーの操作に応じて撮影画像の撮影距離を調整する技術や、ユーザがポインタで指定した注目被写体に対して撮影画像を合焦させる技術なども開示されている。

米国特許公報第７９３６３９２号明細書 特開２０１０−１６６５１９号公報 特開２０１１−２２７９６号公報 特開２００３−１４１５０６号公報

しかしながら、撮影画像の確認をユーザが快適に行うには、依然として改善の余地があった。

そこで本発明は、撮影画像の確認をユーザが快適に行うことを目的とする。

本発明の画像処理装置の一例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、ユーザからの指示によらずに決定された前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段とを備える。
本発明の画像処理装置の一例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、優先度を記憶したテーブルに基づき決定された前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段とを備える。

本発明の画像処理装置の一例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、を備え、前記調整手段は、前記撮影画像の撮影前の被写界に長時間に亘り出現した被写体ほど前記優先順位を高くする。

本発明の画像処理装置の一例は、撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、前記撮影画像をモニタへ表示する表示制御手段と、前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、を備え、前記調整手段は、前記撮影画像の撮影前の被写界に大サイズで出現した被写体ほど前記優先順位を高くする。

本発明の画像表示装置の一例は、本発明の画像処理装置の何れかの例と、前記撮影画像を表示する前記モニタとを備える。

本発明の撮像装置の一例は、前記撮影画像を取得する撮像手段と、本発明の画像表示装置の一例とを備える。

本発明によれば、撮影画像の確認をユーザが快適に行うことができる。

ライトフィールドカメラを説明する図である。 画像ファイル及び優先度テーブルの構成例である。 第１実施形態のスライドショー再生モードを説明する図である。 第１実施形態の登録モードを説明する図である。 第２実施形態の撮影モードにおけるライトフィールドカメラのフローチャートである。 第３実施形態の通常再生モードを説明する図である。 第４実施形態の通常再生モードを説明する図である。 第５実施形態の通常再生モードを説明する図である。 第５実施形態の通常再生モード（図８の続き）を説明する図である。

［第１実施形態］
以下、本発明の第１実施形態としてライトフィールドカメラを説明する。

図１（Ａ）は、ライトフィールドカメラ１０の構成例であり、図１（Ｂ）は、ライトフィールドカメラ１を背面から見た様子の一例である。

図１（Ａ）に示すとおりライトフィールドカメラ１０には、撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７、記録インタフェース１８、表示部１９、操作部材２０などが備えられる。このうち撮像部１１には、撮影レンズ１２、マイクロレンズアレイ１３、撮像素子１４などが備えられ、記録インタフェース１８には記憶媒体であるカードメモリ２１が装着される。

撮影レンズ１２は、被写界からの光束を結像する結像レンズである。この撮影レンズ１２の実際の撮影条件は調節可能であってもよいが、ここでは簡単のため不変と仮定する。また、撮影レンズ１２は、仕様の異なる他の撮影レンズとの間で交換可能であってもよいが、ここでは簡単のため、撮影条件が不変の撮影レンズ１２がライトフィールドカメラ１０に常時装着されていると仮定する。

なお、撮影レンズ１２の実際の撮影条件には、撮影レンズ１２の実際の撮影距離（撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面までの距離）と、撮影レンズ１２の実際の絞り値と、撮影レンズ１２の実際の画角との少なくとも一つが含まれる。

因みに、撮影レンズ１２の実際の撮影距離が変化すると、後設定可能な撮影距離の範囲（リフォーカス範囲）が変化し、撮影レンズ１２の実際の絞り値が変化すると、後設定可能な絞り値の範囲が変化し、撮影レンズ１２の実際の画角が変化すると、後設定可能な視点の範囲が変化するものの、何れの範囲も実際の撮影距離及び実際の絞り値及び実際の画角から一義的に決まる。

マイクロレンズアレイ１３は、撮影レンズ１２の結像面近傍の面に複数のマイクロレンズを二次元状に配列してなる。

撮像素子１４は、マイクロレンズアレイ１３に属する個々のマイクロレンズの後側に複数の受光素子（画素）を二次元状に配列してなる。なお、個々のマイクロレンズの後側に位置する画素群（部分撮像素子１４ａ）の画素配列パターンは、個々のマイクロレンズの間で共通である。

ここで、或る１つのマイクロレンズの後側に位置する部分撮像素子１４ａに着目すると、この部分撮像素子１４ａの各画素座標ａ、ｂ、ｃ、ｄ、ｅへ個別に入射する各光束の間では、撮影レンズ１２の射出瞳における通過領域が互いに異なる。このことは、全ての部分撮像素子１４ａについて同様に当てはまる。

よって、部分撮像素子１４ａ上で１方向に並ぶ画素座標を順にａ、ｂ、ｃ、ｄ、ｅとおき、複数の部分撮像素子１４ａの間で画素座標の共通する画素同士で１枚ずつ画像を生成したならば、画素座標ａから生成される画像Ｉａと、画素座標ｂから生成される画像Ｉｂと、画素座標ｃから生成される画像Ｉｃと、画素座標ｄから生成される画像Ｉｄと、画素座標ｅから生成される画像Ｉｅとの関係は、被写界を互いに異なる視点から撮影した５枚の視差画像の関係と同じになる。よって、以下では画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを「視差画像」と称す。

なお、部分撮像素子１４ａの実際の画素配列方向は、１方向ではなく２方向に亘っており、部分撮像素子１４ａの実際の画素数は、「５」よりも十分に大きいが、以下の説明では簡単のため、１方向に並ぶ５つの画素座標ａ、ｂ、ｃ、ｄ、ｅのみからなると仮定する。

画像処理部１５は、撮像素子１４が生成したライトフィールド画像（一連の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅからなる）を取り込み、そのライトフィールド画像を不図示のバッファメモリへ一時的に保管する。また、画像処理部１５は、システム制御部１７からの指示に応じて、バッファメモリ上のライトフィールド画像へ各種の画像処理を施す。

例えば、画像処理部１５は、ライトフィールド画像を構成する５枚の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを互いに位置ずらししてから重み付け合成することにより、撮影条件（撮影距離、絞り値、視点）の設定された１枚の撮影画像を作成する。以下、撮影条件の後設定された撮影画像を「リフォーカス画像」と称す。

なお、リフォーカス画像の撮影距離は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量が「ゼロ」であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面と同じ距離となり、位置ずらし量が「ゼロ」以外の値であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と非共役な面と同じ距離となる。

また、リフォーカス画像の絞り値は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：１：０：０」であるときには、リフォーカス画像の絞り値は最大となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：１：１：１：１」であるときには、リフォーカス画像の絞り値は最小となる。

また、リフォーカス画像の視点も、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：０：０：０：０」であるときには、リフォーカス画像の視点は一方の端点となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：０：０：１」であるときには、リフォーカス画像の視点は他方の端点となる。

なお、以上の撮像部１１の構成には、公知の何れかのライトフィールドカメラの構成が適用可能であり、以上の画像処理部１５の動作には、公知の何れかのライトフィールドカメラの動作が適用可能である。公知のライトフィールドカメラとしては、例えば、特開２０１１−２１７４１１号公報、米国特許公報第７９３６３９２号明細書、特開２０１１−２５９２１８号公報に開示されたもの等が挙げられる。

カメラ制御部１６は、撮像部１１を駆動する機構と、その機構を制御する回路とを備えている。このカメラ制御部１６は、システム制御部１７からの指示に応じて撮像素子１４を駆動し、ライトフィールド画像を取得する。

カードメモリ２１は、撮像部１１が取得したライトフィールド画像の画像ファイル（後述）や、他のライトフィールドカメラで取得されたライトフィールド画像の画像ファイルなどを多数に亘って記憶することのできる記憶媒体である。

記録インタフェース１８は、ライトフィールドカメラ１０に装着されたカードメモリ２１とシステム制御部１７との間のインタフェースをとる。この記録インタフェース１８は、システム制御部１７からの指示に従い、ライトフィールド画像の画像ファイルをカードメモリ２１へ書き込んだり、ライトフィールド画像の画像ファイルをカードメモリ２１から読み込んだりする。

表示部１９は、マルチタッチパネルで構成され、少なくとも、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するマルチタッチセンサとを備える。このうち、マルチタッチセンサは、１本の手指を使用したユーザ操作（タッチ（触る）、スライド（なぞる）、タップ（叩く）、ダブルタップ（２連続で叩く）など）の他に、２本以上の手指を同時に使用したユーザ操作（ピンチ（挟む）、ピンチイン（狭める）、ピンチアウト（拡げる）など）を検出することが可能である。このような表示部１９は、システム制御部１７からの指示に従い各種の画像を表示すると共に、その画像に対するユーザ操作の内容を検出してシステム制御部１７へ送信する。

操作部材２０は、不図示の電源釦の他に、図１（Ｂ）に示したレリーズ釦２０ａ、再生釦２０ｂ、十字釦２０ｃなどの各種の入力スイッチを備える。ユーザは、この操作部材２０を介して撮影指示やモード切り換え指示などの各種の指示をシステム制御部１７へ入力する。なお、本実施形態ではタッチパネルで構成された表示部１９が使用されるので、電源釦以外の操作部材２０については省略することも可能である。

システム制御部１７は、不図示のＲＯＭ、ＲＡＭ、ＣＰＵなどを備えたコンピュータである。ＣＰＵは、ＲＯＭに格納されたプログラムを実行することによりライトフィールドカメラ１０の各部を制御し、ライトフィールドカメラ１０を撮影モードや再生モードなどの各種のモードで動作させる。なお、ＲＡＭは、ＣＰＵの動作中に必要となったデータを一時的に格納するメモリである。

因みに、ライトフィールドカメラ１０が撮影モードにあるとき、システム制御部１７は、ユーザからの撮影指示に応じて撮像部１１を駆動してライトフィールド画像を取得すると、そのライトフィールド画像の画像ファイルを作成してカードメモリ２１へ保存する。

また、ライトフィールドカメラ１０が再生モードにあるとき、システム制御部１８は、カードメモリ２１上の画像ファイルをサムネイル表示したり、カードメモリ２１上の画像ファイルを再生表示したりする。

図２（Ａ）は、画像ファイルの構成例である。図２（Ａ）に示すとおりこの画像ファイルは、ライトフィールド画像を格納した領域と、そのライトフィールド画像の付随情報を格納した領域とを有する。付随情報には、例えば、被写体情報、サムネイル画像などが含まれる。

先ず、被写体情報は、ライトフィールド画像に写っている１又は複数の被写体の各々を説明する情報であり、各被写体の被写体情報には、その被写体の被写体属性を示す属性情報と、その被写体の存在エリアを示すエリア情報と、その被写体の被写体距離を示す距離情報と、その被写体の優先順位を示す優先順位情報とが含まれる。

このうち、属性情報には、被写体の種類を示す被写体種類情報（ヒト、建物、樹木、山、海、…）と、同種の被写体を互いに区別するための被写体名情報（Ａさん、Ｂさん、建物１、建物２、樹木１、樹木２、…）とが含まれる。

次に、サムネイル画像は、ライトフィールド画像から作成されたリフォーカス画像のサイズ縮小版である。ここでは、撮影条件（撮影距離、絞り値、視点の組み合わせ）の異なる複数のサムネイル画像が画像ファイルに格納されていると仮定する。複数のサムネイル画像の中には、パンフォーカス画像のサムネイル画像（＝被写界深度が最大、つまり絞り値が最大であるリフォーカス画像のサムネイル画像）も含まれる。

なお、以上の付随情報のうち、被写体情報及びサムネイル画像は、画像ファイルが作成されるタイミング又は必要なタイミングで、画像処理部１５がライトフィールド画像から抽出したものである。或いは、画像ファイルが作成されたタイミング又は必要なタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータがライトフィールド画像から抽出したものである。

因みに、ライトフィールド画像から被写体の存在エリア及び被写体属性を抽出するためには、テンプレートマッチングなどの公知の被写体抽出処理をライトフィールド画像に施せばよい。但し、全ての被写体の存在エリア及び被写体属性を抽出するためには、そのライトフィールド画像から撮影距離の異なる複数のリフォーカス画像を作成すると共に、それら複数のリフォーカス画像の各々に対して被写体抽出処理を施す必要がある。或いは、そのライトフィールド画像からパンフォーカス画像を作成すると共に、そのパンフォーカス画像に対して被写体抽出処理を施す必要がある。なお、パンフォーカス画像は、被写界深度が最大（絞り値が最大）のリフォーカス画像に相当する。また、ライトフィールド画像から被写体の被写体距離を抽出するためには、ライトフィールド画像を構成する少なくとも２枚の視差画像に対して、その被写体の座標に応じた距離算出処理を施す必要がある。

図２（Ｂ）は、優先度テーブルを示す図である。図２（B）に示すとおり優先度テーブルには、被写体属性ごとの優先度が格納されている。これらの優先度は、被写体属性間の相対的な優先順位を示すものであり、図２（Ｂ）では、優先順位を高くすべき被写体属性ほど優先度の値を小さくした。この優先度テーブルは、ライトフィールド画像に写っている被写体の優先順位を決定する際に参照される。

なお、この優先度テーブルは、必要に応じてユーザが手動で書き換えることが可能である。また、この優先度テーブルは、或る画像ファイルの優先順位情報をユーザが手動で登録したとき（後述）に自動的に更新される。

また、以上の優先度テーブルの格納先は、例えば、多数の画像ファイルを一括管理するデータベースである。データベースの格納先は、例えば、カードメモリ２１である。

また、以上の説明では、各画像ファイルの付随情報の格納先を各画像ファイルとしたが、各画像ファイルの付随情報の一部又は全部の格納先をデータベースとしてもよい。その場合、各画像ファイルの付随情報は、各画像ファイルのファイル名に対応づけられる。

以下、撮影モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、被写界のライブビュー表示を開始する。ライブビュー表示に当たり、システム制御部１７は、撮像部１１を高速駆動モードで連続駆動してスルー画像を繰り返し取得し、そのスルー画像をライブビュー画像として取得順に表示部１９へ送出する。

なお、スルー画像は保存用の画像ではないため、解像度は低くても構わないが、ライブビュー表示のリアルタイム性を重視するならば、なるべく短いフレーム周期で取得されることが望まれる。そこで、高速駆動モードにおける撮像部１１は、例えば、読み出しの対象となる画素座標を画素座標ｃのみに制限した「間引き読み出し」を行い、視差画像Ｉｃのみからなるライトフィールド画像をスルー画像として取得する。このスルー画像は、視点が正面であって絞り値が最大のリフォーカス画像（つまり視点が正面のパンフォーカス画像）に相当する。

以上のライブビュー表示中、システム制御部１７は、ユーザから撮影指示が入力されたか否かを判別し、入力された場合には保存用ライトフィールド画像の撮影を開始する。

保存用ライトフィールド画像の撮影に当たり、システム制御部１７は、撮像部１１を詳細駆動モードで駆動して保存用ライトフィールド画像を取得する。画像処理部１５は、その保存用ライトフィールド画像に基づきアフタービュー画像を作成し、システム制御部１７は、そのアフタービュー画像を表示部１９へ送出することによりアフタービュー表示を行う。

なお、保存用ライトフィールド画像は多くの情報を含んでいる必要があるため、詳細駆動モードにおける撮像部１１は、読み出しの対象となる画素座標を５種類の画素座標ａ、ｂ、ｃ、ｄ、ｅの全部とした「全画素読み出し」を行い、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅからなるライトフィールド画像を保存用ライトフィールド画像として取得する。

また、アフタービュー画像の撮影条件はデフォルト（例えば、視点は正面、絞り値は最大）に設定される。

また、画像処理部１５は、保存用ライトフィールド画像に対する被写体抽出処理を実行することにより、その保存用ライトフィールド画像に写っている各被写体の被写体属性及び存在エリアを既知とすると共に、各被写体に対する距離算出処理を実行することにより、各被写体の被写体距離を既知とする。また、画像処理部１５は、保存用ライトフィールド画像から各種のサムネイル画像を作成する。

また、システム制御部１７は、優先度テーブル（図２（Ｂ））を参照し、保存用ライトフィールド画像に写っている各被写体に該当する優先度を認識すると、優先度の高い被写体から順に高い優先順位を割り当てることにより、各被写体の優先順位を決定する。

但し、必要な被写体属性の優先度が優先度テーブル（図２（Ｂ））に書き込まれていなかった場合、システム制御部１７は、その被写体属性と類似度の最も高い被写体属性の優先度を、その被写体属性の優先度とみなす。

また、優先度の共通する２以上の被写体が保存用ライトフィールド画像に写っていた場合、システム制御部１７は、それら被写体の優先順位をそれら被写体の被写体距離に応じて決定する。例えば、システム制御部１７は、優先度が共通であるならば、被写体距離の短い被写体ほど高い優先順位を付けてもよい。

次に、システム制御部１７は、保存用ライトフィールド画像の画像ファイル（図２（Ａ）参照）を作成する。

画像ファイルの作成に当たり、システム制御部１７は、保存用ライトフィールド画像から抽出された各被写体の被写体属性、存在エリア、被写体距離、優先順位と、保存用ライトフィールド画像から抽出された各種のサムネイル画像とを、画像ファイルに書き込む。

次に、システム制御部１７は、作成した画像ファイルを記録インタフェース１８へ送出することにより、その画像ファイルをカードメモリ２１に保存する（以上、撮影モード）。

したがって、本実施形態の撮影モードでは、ライトフィールド画像中の複数の被写体の優先順位が、そのライトフィールド画像の画像ファイルへ自動的に登録される。

このように、画像ファイルに登録される優先順位を「距離の優先順位」ではなく「被写体の優先順位」としておけば、後述するスライドショー再生モード又は通常再生モードの利便性を、簡単に高めることができる。

以下、スライドショー再生モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

ここでは図３（Ａ）に示すとおり、ライトフィールド画像にはＡさん、Ｂさん、Ｃさん、樹木１が写っており、Ａさんの優先順位は１位、Ｂさんの優先順位は２位、Ｃさんの優先順位は３位、樹木１の優先順位は４位であったと仮定する。

次に、システム制御部１７は、画像ファイルの付随情報を参照し、優先順位が１位である被写体（Ａさん）の被写体距離Ｌ１、優先順位が２位である被写体（Ｂさん）の被写体距離Ｌ２、優先順位が３位である被写体（Ｃさん）の被写体距離Ｌ３、優先順位が４位である被写体（樹木１）の被写体距離Ｌ４を認識する。画像処理部１５は、ライトフィールド画像から、撮影距離がＬ１である第１リフォーカス画像（図３（Ｂ））と、撮影距離がＬ２である第２リフォーカス画像（図３（Ｃ））と、撮影距離がＬ３である第３リフォーカス画像（図３（Ｄ））と、被写体距離がＬ４である第４リフォーカス画像（図３（Ｅ））とを生成する。これらのリフォーカス画像（図３（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ））の撮影距離以外の撮影条件（視点及び絞り値）は、デフォルト（例えば、視点は正面、絞り値は最小）に設定される。

ここで、第１リフォーカス画像（図３（Ｂ））は、優先順位が１位であるＡさんに合焦しており、第２リフォーカス画像（図３（Ｃ））は、優先順位が２位であるＢさんに合焦しており、第３リフォーカス画像（図３（Ｄ））は、優先順位が３位であるＣさんに合焦しており、第４リフォーカス画像（図３（Ｅ））は、優先順位が４位である樹木１に合焦している。

次に、システム制御部１７は、第１リフォーカス画像（図３（Ｂ））、第２リフォーカス画像（図３（Ｃ））、第３リフォーカス画像（図３（Ｄ））、第４リフォーカス画像（図３（Ｅ））を表示部１９へ順次に送出することにより、スライドショー再生を行う。

但し、スライドショー再生に当たり、システム制御部１７は、これらリフォーカス画像の間の切り換えパターンを、複数の被写体（Ａさん、Ｂさん、Ｃさん、樹木１）の優先順位に従って設定する。

具体的に、システム制御部１７は、優先順位の高い被写体に合焦したリフォーカス画像ほど表示タイミングを早期にし、優先順位の高い被写体に合焦したリフォーカス画像ほど表示時間を長くする（以上、スライドショー再生モード）。

したがって、本実施形態のスライドショー再生モードでは、リフォーカス画像の撮影距離が、複数の被写体間の優先順位と複数の被写体の被写体距離とに応じたパターンで切り換わる。

具体的に、本実施形態のスライドショー再生モードでは、優先順位の高い被写体ほど早いタイミングで合焦し、優先順位の高い被写体ほど長い時間に亘って合焦する。

なお、本実施形態のスライドショー再生モードでは、スライドショー再生の対象を、被写体に合焦したリフォーカス画像のみに制限したが、或る被写体に合焦したリフォーカス画像と、他の被写体に合焦したリフォーカス画像との間に、それら被写体の中間距離に合焦したリフォーカス画像（被写体に合焦していないリフォーカス画像）を挿入してもよい。但し、被写体に合焦していないリフォーカス画像の表示時間は、被写体に合焦したリフォーカス画像の表示時間より短く設定されることが望ましい。

また、本実施形態のスライドショー再生モードでは、スライドショー再生の対象となった画像ファイルに優先順位情報が登録済みであることを前提としたが、もしも優先順位情報が未登録であった場合には、スライドショー再生を行う代わりに、全ての被写体に合焦したパンフォーカス画像を連続的に表示してもよい。

また、本実施形態のスライドショー再生モードでは、スライドショー再生の対象となった画像ファイルに優先順位情報が未登録であった場合は、リフォーカスカメラ１０を手動登録モード（後述）に移行させてもよい。

以下、通常再生モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

ここでも図３（Ａ）に示すとおり、ライトフィールド画像にはＡさん、Ｂさん、Ｃさん、樹木１が写っており、Ａさんの優先順位は１位、Ｂさんの優先順位は２位、Ｃさんの優先順位は３位、樹木１の優先順位は４位であったと仮定する。

次に、システム制御部１７は、画像ファイルの付随情報を参照し、優先順位が１位である被写体（Ａさん）の被写体距離Ｌ１を認識する。画像処理部１５は、ライトフィールド画像から、撮影距離がＬ１である第１リフォーカス画像を生成する。このリフォーカス画像の撮影距離以外の撮影条件（視点及び絞り値）はデフォルト（例えば、視点は正面、絞り値は最小）に設定される。システム制御部１７は、そのリフォーカス画像を表示部１９へ表示する（図３（Ｂ）参照）。

このリフォーカス画像上で、優先順位が２位以下である任意の被写体（例えばＢさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ｂさん）の被写体距離（Ｌ２）を参照し、そのリフォーカス画像の撮影距離を、その被写体距離（Ｌ２）と同じに切り換える。これによって、リフォーカス画像の合焦先は、優先順位が１位である被写体（Ａさん）からタップされた被写体（Ｂさん）へと移行し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図３（Ｂ）→（Ｃ）を参照）。

その後、所定時間（例えば２秒）が経過すると、システム制御部１７は、表示中のリフォーカス画像の撮影距離を元の値Ｌ１に戻す。これによって、リフォーカス画像の合焦先は、タップされた被写体（Ｂさん）から優先順位が１位である被写体（Ａさん）へと戻り、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図３（Ｃ）→（Ｂ）を参照）。

また、このリフォーカス画像上で、優先順位が２位以下である別の任意の被写体（例えばＣさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ｃさん）の被写体距離（Ｌ３）を参照し、そのリフォーカス画像の撮影距離を、その被写体距離（Ｌ３）と同じに切り換える。これによって、リフォーカス画像の合焦先は、優先順位が１位である被写体（Ａさん）からタップされた被写体（Ｃさん）へと移行し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図３（Ｂ）→（Ｄ）を参照）。

その後、所定時間（例えば２秒）が経過すると、システム制御部１７は、表示中のリフォーカス画像の撮影距離を元の値Ｌ１に戻す。これによって、リフォーカス画像の合焦先は、タップされた被写体（Ｃさん）から優先順位が１位である被写体（Ａさん）へと戻り、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図３（Ｄ）→（Ｂ）を参照）。以上が通常再生モードである。

したがって、本実施形態の通常再生モードでは、リフォーカス画像の合焦先が、優先順位の最も高い被写体（Ａさん）に維持され、優先順位が２位以下である被写体（Ｂさん、Ｃさん、樹木１の何れか）がタップされたときにのみ、リフォーカス画像の合焦先がタップされた被写体へと移行する。

なお、本実施形態の通常再生モードでは、被写体を指定するためのユーザ操作を、表示部１９上の被写体に対するタップ操作としたが、他の所定操作としてもよい。例えば、ユーザが十字釦２０ｃを操作して表示部１９上のカーソル１９ａ（図１（Ｂ）参照）を移動させ、カーソル１９ａが被写体上に位置したときにＯＫ釦を押下することで、被写体の指定を行ってもよい。

また、本実施形態の通常再生モードでは、リフォーカス画像の撮影距離を変更してから元に戻すタイミングを、ユーザが被写体を指定してから所定時間（例えば２秒）が経過したタイミングとしたが、ユーザが被写体を指定した後に所定操作を行ったタイミングとしてもよい。例えば、ユーザがリフォーカス画像上の任意のポイントをタップしたタイミングや、十字釦２０ｃの左方向キー（戻る釦）が押下されたタイミングとしてもよい。

また、本実施形態の通常再生モードでは、通常再生の対象となった画像ファイルに優先順位情報が登録済みであることを前提としたが、もしも優先順位情報が未登録であった場合には、優先順位が１位である被写体の距離に合焦したリフォーカス画像を表示する代わりに、全ての被写体に合焦したパンフォーカス画像を表示してもよい。

また、本実施形態の通常再生モードでは、通常再生の対象となった画像ファイルに優先順位情報が未登録であった場合は、リフォーカスカメラ１０を手動登録モード（後述）に移行させてもよい。

以下、手動登録モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

続いて、画像処理部１５は、ライトフィールド画像からリフォーカス画像を生成し、システム制御部１７は、そのリフォーカス画像を表示部１９へ表示する。このリフォーカス画像の撮影条件は、デフォルト（例えば、視点は正面、絞り値は最大）に設定される。

また、システム制御部１７は、画像ファイルの付随情報を参照し、ライトフィールド画像に写っている各被写体の存在エリア及び優先順位を認識すると、表示部１９におけるリフォーカス画像の各被写体の近傍に、その被写体の優先順位を示す文字イメージ「順位：××位」を重畳表示する（図４（Ａ）参照）。

因みに、図４（Ａ）に示したのは、リフォーカス画像にＡさん、Ｂさん、Ｃさん、樹木１が写っており、Ａさんの優先順位は１位、Ｂさんの優先順位は２位、Ｃさんの優先順位は３位、樹木１の優先順位は４位であった場合の例である。

したがって、ユーザは、各被写体の現在の優先順位を表示部１９上で確認することができる。

なお、優先順位情報が画像ファイルに未登録であった場合、システム制御部１７は、各被写体の近傍に、各被写体の優先順位が未登録である旨を示す文字イメージ「順位：＿位」を表示する（不図示）。

このリフォーカス画像上で、任意の被写体（例えばＢさん）をユーザがタップすると（図４（Ｂ）参照）、システム制御部１７は、タップポイントに位置する被写体（Ｂさん）の優先順位が１位に繰り上がるように、表示部１９上の文字イメージと、画像ファイルの優先順位情報とを、それぞれ更新し（図４（Ｃ）参照）、更新後の優先順位情報に応じて、優先度テーブルを更新する。

また、このリフォーカス画像上で、別の任意の被写体（例えばＣさん）をユーザがタップすると（図４（Ｄ）参照）、システム制御部１７は、タップポイントに位置する被写体（Ｃさん）の優先順位が１位に繰り上がるように、表示部１９上の文字イメージと、画像ファイルの優先順位情報とを、それぞれ更新し（図４（Ｅ）参照）、更新後の優先順位情報に応じて、優先度テーブルを更新する（以上、手動登録モード）。

したがって、本実施形態の手動登録モードによると、画像ファイルに登録されている優先順位情報をユーザが手動で書き換えることもできるし、優先順位情報が未登録の画像ファイルへユーザが優先順位情報を手動で登録することもできる。

なお、本実施形態の手動登録モードでは、被写体がタップされる度に、その被写体の優先順位を１位に繰り上げたが、複数の被写体をユーザに順次にタップさせ、先にタップされた被写体ほど高い優先順位を付与してもよい。

また、本実施形態の手動登録モードにおいて、優先順位情報が未登録である画像ファイルをユーザが指定した場合、システム制御部１７は、各被写体の優先順位を自動的に仮決定すると共に、仮決定した優先順位を示す文字イメージ「順位：××位」を各被写体の近傍に表示してもよい。これによって、システム制御部１７は、仮決定した優先順位をユーザに提案することができる。なお、優先順位の仮決定は、自動登録時（上述）における優先順位の決定と同様に行うことができる。

また、本実施形態の手動登録モードでは、被写体を指定するためのユーザ操作を、表示部１９上の被写体に対するタップ操作としたが、他の所定操作としてもよい。例えば、ユーザが十字釦２０ｃを操作して表示部１９上のカーソル１９ａ（図１（Ｂ）参照）を移動させ、カーソル１９ａが被写体上に位置したときにＯＫ釦を押下することで、被写体の指定を行ってもよい。

［第１実施形態の変形例］
なお、本実施形態のシステム制御部１７は、優先度テーブルに格納される優先度を最新の優先度のみとしたが、優先度テーブルに優先度の履歴を残し、その履歴に基づき優先順位の決定又は仮決定を行ってもよい。このようにすれば、優先順位の決定又は仮決定に最新の優先度だけでなく過去の優先度をも反映させることができる。

また、本実施形態のシステム制御部１７は、ユーザによる手動登録が行われる度に、その手動登録の傾向を学習して優先度テーブルを更新してもよい。このようにすれば、優先順位の決定又は仮決定に、ユーザによる手動登録の傾向を反映させることができる。

また、本実施形態の優先度テーブルは、優先度を被写体属性（Ａさん、Ｂさん、Ｃさん、建物１、建物２、樹木１、樹木２、…）ごとに格納したが、被写体種類ごと（人物、建物、樹木、…）ごとに格納してもよい。但し、その場合、被写体種類の共通する２以上の被写体が保存用ライトフィールド画像に写っていると、それら２以上の被写体の間で優先度が同じになってしまうので、システム制御部１７は、それら被写体の優先順位をそれら被写体の被写体距離に応じて決定することが望ましい。

また、本実施形態のシステム制御部１７は、優先順位の決定又は仮決定を、優先度テーブルに基づき行ったが、撮影前にユーザの指定した撮影シーン（撮影テーマ）の種類に基づき行ってもよい。例えば、ユーザの指定した撮影シーンが「ポートレート」であった場合、システム制御部１７は、人物の優先順位を人物以外の被写体の優先順位より高くしてもよい。例えば、ユーザの指定した撮影シーンが「マクロ撮影」であった場合、システム制御部１７は、花の優先順位を花以外の被写体の優先順位より高くしてもよい。

また、本実施形態のシステム制御部１７は、優先順位の決定又は仮決定を、優先度テーブルに基づき行ったが、優先度テーブルに基づく代わりに、被写体の被写体距離に基づき行ってもよい。例えば、被写体距離の短い被写体の優先順位を、被写体距離の長い被写体の優先順位より高くしてもよい。

また、本実施形態のシステム制御部１７は、撮影前にユーザに被写体を指定させ、指定された被写体に類似した被写体ほど高い優先順位を付与してもよい。

また、本実施形態のシステム制御部１７は、撮影前の被写界の状況に応じて被写体の優先順位を決定してもよい（例えば、第２実施形態を参照）。

[第２実施形態]
以下、本発明の第２実施形態としてライトフィールドカメラを説明する。ここでは、第１実施形態との相違点のみを説明する。相違点は、撮影モードにおける動作にあり、具体的には、撮影前の被写界の状況を被写体の優先順位に反映させる点にある。

図５は、第２実施形態の撮影モードにおけるライトフィールドカメラ１０の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１１：システム制御部１７は、撮像部１１を高速駆動モードで駆動して現フレームのスルー画像を取得し、そのスルー画像をライブビュー画像として表示部１９へ送出する。

ステップＳ１２：画像処理部１５は、現フレームのスルー画像に対して被写体抽出処理を施すことにより、現フレームに写っている各被写体の被写体属性及び存在エリアを既知とする。

ステップＳ１３：システム制御部１７は、現フレームに写っている各被写体の被写体属性に基づき被写界監視テーブルを更新する。但し、初回のステップＳ１３では、更新前に被写界監視テーブルをクリアする。

ここで、被写界監視テーブルは、被写体の出現回数を被写体属性ごとにカウントするためのテーブルであって、例えば、現フレームに「Ａさん」、「Ｂさん」、「Ｃさん」、「樹木１」が写っていた場合は、本ステップにて「Ａさん」の出現回数、「Ｂさん」の出現回数、「Ｃさん」の出現回数、「樹木１」の出現回数が１ずつインクリメントされる。

ステップＳ１４：システム制御部１７は、ユーザから撮影指示が入力されたか否かを判別し、入力されない場合はステップＳ１５へ移行し、入力された場合はステップＳ１７へ移行する。

ステップＳ１５：システム制御部１７は、被写界監視テーブルが前回クリアされてから所定時間（例えば１分）が経過したか否かを判別し、経過した場合にはステップＳ１６へ移行し、経過していない場合にはステップＳ１１に戻る。

ステップＳ１６：システム制御部１７は、被写界監視テーブルをクリアしてからステップＳ１１に戻る。

ステップＳ１７：システム制御部１７は、撮像部１１を詳細駆動モードで駆動して新規フレームの保存用ライトフィールド画像を取得する。画像処理部１５は、その保存用ライトフィールド画像に基づきアフタービュー画像を作成する。

また、画像処理部１５は、保存用ライトフィールド画像に対する被写体抽出処理を実行することにより、その保存用ライトフィールド画像に写っている各被写体の被写体属性及び存在エリアを既知すると共に、各被写体に対する距離算出処理を実行することにより、各被写体の被写体距離を既知とする。また、画像処理部１５は、保存用ライトフィールド画像から各種のサムネイル画像を作成する。

ステップＳ１８：システム制御部１７は、前のステップで作成されたアフタービュー画像を表示部１９へ送出することにより、アフタービュー表示を行う。

ステップＳ１９：システム制御部１７は、被写界監視テーブルを参照し、保存用ライトフィールド画像に写っている各被写体の出現回数を認識すると、出現回数の多い被写体から順に高い優先順位を割り当てることにより、各被写体の優先順位を決定する。

ステップ２０：システム制御部１７は、保存用ライトフィールド画像の画像ファイル（図２参照）を作成する。

画像ファイルの作成に当たり、システム制御部１７は、保存用ライトフィールド画像に写っている各被写体の被写体属性、各被写体の存在エリア、各被写体の被写体距離と、その保存用ライトフィールド画像から作成された各種のサムネイル画像とを、画像ファイルに書き込む。

そして、システム制御部１７は、作成した画像ファイルを記録インタフェース１８へ送出することにより、その画像ファイルをカードメモリ２１に保存する（以上、撮影モード）。

したがって、本実施形態の撮影モードによれば、撮影前の被写界に長時間に亘って出現した被写体ほど優先順位が高くなる。

ここで、撮影前の被写界に長時間に亘って出現した被写体は、撮影前にユーザから注目されていた被写体とみなせる。

よって、本実施形態の撮影モードによれば、撮影前にユーザから注目されていた被写体ほど優先順位を高くすることができる。

また、本実施形態の撮影モードでは、撮影前の被写界の状況を監視するので、データベースに優先度テーブル（図２（Ｂ）参照）が格納されている必要は無い。

なお、本実施形態の撮影モードでは、被写体の優先順位を被写界における被写体の出現時間に応じて決定したが、被写界における被写体の出現サイズに応じて決定してもよい。また、被写体が人物である場合は、被写界における人物の顔の出現サイズに応じて決定してもよい。

また、本実施形態の撮影モードでは、被写体の優先順位を被写界における被写体の出現時間に応じて決定したが、被写界における被写体の出現時間と出現サイズとの双方に応じて決定してもよい。

［第３実施形態］
以下、本発明の第３実施形態としてライトフィールドカメラを説明する。ここでは、第１実施形態との相違点のみを説明する。相違点は、通常再生モードにおける動作にあり、具体的には、優先順位情報を利用しない点にある。

以下、通常再生モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

続いて、画像処理部１５は、ライトフィールド画像からパンフォーカス画像を生成し、システム制御部１７は、そのパンフォーカス画像を表示部１９へ表示する（図６（Ａ）参照）。なお、このパンフォーカス画像の視点はデフォルト（例えば、正面）に設定される。

このパンフォーカス画像上で、任意の被写体（例えばＢさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ｂさん）の被写体距離を認識し、その被写体距離と同じ撮影距離を有し、かつ絞り値が非最大（例えば最小）であるリフォーカス画像を、パンフォーカス画像の代わりに表示部１９へ表示する。このリフォーカス画像の視点は、パンフォーカス画像の視点と同じである。これによって、全ての被写体に合焦したパンフォーカス画像が、一部の被写体に合焦したリフォーカス画像へと切り換わる（図６（Ａ）→（Ｂ）を参照）。

その後、所定時間（例えば２秒）が経過すると、システム制御部１７は、表示中のリフォーカス画像の代わりにパンフォーカス画像を表示部１９へ再び表示する。このパンフォーカス画像の視点は、リフォーカス画像の視点と同じである。これによって、一部の被写体に合焦したリフォーカス画像が、全ての被写体に合焦したパンフォーカス画像へと切り換わる（図６（Ｂ）→（Ｄ）を参照）。

また、パンフォーカス画像上で、別の任意の被写体（例えばＡさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ａさん）の被写体距離を認識し、その被写体距離と同じ撮影距離を有し、かつ絞り値が非最大（例えば最小）であるリフォーカス画像を、パンフォーカス画像の代わりに表示部１９へ表示する。このリフォーカス画像の視点は、パンフォーカス画像の視点と同じである。これによって、全ての被写体に合焦したパンフォーカス画像が、一部の被写体に合焦したリフォーカス画像へと切り換わる（図６（Ａ）→（Ｃ）を参照）。

その後、所定時間（例えば２秒）が経過すると、システム制御部１７は、表示中のリフォーカス画像の代わりにパンフォーカス画像を表示部１９へ再び表示する。このパンフォーカス画像の視点は、リフォーカス画像の視点と同じである。これによって、一部の被写体に合焦したリフォーカス画像が、全ての被写体に合焦したパンフォーカス画像へと切り換わる（図６（Ｃ）→（Ｄ）を参照）。

したがって、本実施形態の通常再生モードでは、全ての被写体に合焦したパンフォーカス画像が連続的に表示され、任意の被写体がタップされたときにのみ、その被写体に合焦したリフォーカス画像がパンフォーカス画像の代わりに表示される。

なお、本実施形態の通常再生モードでは、被写体を指定するためのユーザ操作を、表示部１９上の被写体に対するタップ操作としたが、他の所定操作としてもよい。例えば、ユーザが十字釦２０ｃを操作して表示部１９上のカーソル１９ａ（図１（Ｂ）参照）を移動させ、カーソル１９ａが被写体上に位置したときにＯＫ釦を押下することで、被写体の指定を行ってもよい。

［第４実施形態］
以下、本発明の第４実施形態としてライトフィールドカメラを説明する。ここでは、第３実施形態との相違点のみを説明する。相違点は、被写体の連続指定を可能とした点にある。

以下、通常再生モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

続いて、画像処理部１５は、ライトフィールド画像からパンフォーカス画像を生成し、システム制御部１７は、そのパンフォーカス画像を表示部１９へ表示する（図７（Ａ）参照）。なお、このパンフォーカス画像の視点はデフォルト（例えば、正面）に設定される。

このパンフォーカス画像上で、任意の被写体（例えばＢさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ｂさん）の被写体距離を認識し、その被写体距離と同じ撮影距離を有し、かつ絞り値が非最大（例えば最小）であるリフォーカス画像を、パンフォーカス画像の代わりに表示部１９へ表示する。このリフォーカス画像の視点は、パンフォーカス画像の視点と同じである。これによって、全ての被写体に合焦したパンフォーカス画像が、一部の被写体に合焦したリフォーカス画像へと切り換わる（図７（Ａ）→図７（Ｂ）を参照）。

また、そのリフォーカス画像上で、別の任意の被写体（例えばＡさん）をユーザがタップすると、システム制御部１７は、タップポイントに位置する被写体（Ａさん）の被写体距離を参照し、その被写体距離と同じ撮影距離を有し、かつ絞り値が非最大（例えば最小）であるリフォーカス画像を、表示中のリフォーカス画像の代わりに表示部１９へ表示する。このリフォーカス画像の視点は、パンフォーカス画像の視点と同じである。これによって、一部の被写体に合焦したリフォーカス画像が、他の一部の被写体に合焦したリフォーカス画像へと切り換わる（図７（Ｂ）→図７（Ｃ）を参照）。

また、リフォーカス画像の表示中、十字釦２０ｃの左方向キー（戻る釦）が押下されると、システム制御部１７は、表示中のリフォーカス画像の代わりに、パンフォーカス画像を表示部１９へ再び表示する。このパンフォーカス画像の視点は、前述したパンフォーカス画像の視点と同じである。これによって、一部の被写体に合焦したリフォーカス画像が、全ての被写体に合焦したパンフォーカス画像へと切り換わる（図７（Ｃ）→図７（Ｄ）を参照）。

したがって、本実施形態の通常再生モードによると、ユーザは、リフォーカス画像の合焦先となる被写体を任意の順序で切り換えることができ、必要時にはワンタッチでリフォーカス画像をパンフォーカス画像に戻すことができる。

なお、本実施形態の通常再生モードでは、一部の被写体に合焦したリフォーカス画像から全ての被写体に合焦したパンフォーカス画像へと切り換えるタイミングを、戻る釦が押下されたタイミングとしたが、ユーザが他の所定操作を行ったタイミングとしてもよい。例えば、ユーザが被写体以外の任意のポイントをタップしたタイミングや、ユーザがキャンセル釦を押下したタイミングとしてもよい。

［第５実施形態］
以下、本発明の第５実施形態としてライトフィールドカメラを説明する。ここでは、上述した実施形態との相違点のみを説明する。相違点は、ズーム操作に応じて撮影距離を調整する点にある。

本実施形態のライトフィールドカメラには、ズームレバーが設けられる。ズームレバーの設け先は、例えば、レリーズ釦２０ａの近傍である。通常、撮影モードにおけるズームレバーには、撮影レンズ１２の実際の画角を調整する機能（光学ズーム機能）が割り当てられ、再生モードにおけるズームレバーには、画像の表示サイズを調整する機能（電子ズーム機能）が割り当てられる。しかし、本実施形態のライトフィールドカメラでは、再生モードにおけるズームレバーに、リフォーカス画像の撮影距離を調整する機能が割り当てられる。

以下、通常再生モードにおけるライトフィールドカメラ１０の動作を説明する。

先ず、システム制御部１７は、カードメモリ２１に格納中の複数の画像ファイルの中から、ユーザの指定した画像ファイルを読み出し、その画像ファイルに格納されたライトフィールド画像をバッファメモリへ書き込む。

続いて、画像処理部１５は、ライトフィールド画像からリフォーカス画像を生成し、システム制御部１７は、そのリフォーカス画像を表示部１９へ表示する（図８（Ａ）参照）。このリフォーカス画像の撮影距離は、例えば、リフォーカス画像に写っている各被写体のうち中間距離に位置した被写体（Ｂさん）の被写体距離と同じに設定され、このリフォーカス画像の撮影距離以外の撮影条件は、デフォルト（例えば、視点は正面、絞り値は最小）に設定される。

リフォーカス画像の表示中、ズームレバーがテレ側へ１回操作されると、システム制御部１７は、リフォーカス画像の現在の合焦先被写体（Ｂさん）の遠方側に位置する被写体（Ａさん）の被写体距離を認識し、リフォーカス画像の撮影距離を、その被写体距離と同じに切り換える。これによって、リフォーカス画像の合焦先は、当初の合焦先被写体（Ｂさん）から遠方側の被写体（Ａさん）へと移行し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図８（Ａ）→（Ｂ）を参照）。

また、リフォーカス画像の表示中、ズームレバーがワイド側へ１回操作されると、システム制御部１７は、リフォーカス画像の現在の合焦先被写体（例えばＢさん）の近方側に位置する被写体（Ｃさん）の被写体距離を認識し、リフォーカス画像の撮影距離を、その被写体距離と同じに切り換える。これによって、リフォーカス画像は、当初の合焦先被写体（Ｂさん）から近方側の被写体（Ｃさん）へと移行し、そのリフォーカス画像の撮影距離以外の撮影条件は、維持される（図８（Ａ）→（Ｃ）を参照）。

但し、ズームレバーがテレ側へ操作された場合であっても、現在の合焦先被写体の遠方側に被写体が存在しない場合、システム制御部１７は、リフォーカス画像の撮影距離が遠方端に達したとみなし、リフォーカス画像の代わりにパンフォーカス画像を表示部１９へ表示する。このパンフォーカス画像の視点は、リフォーカス画像の視点と同じに設定される。これによって、ユーザは、リフォーカス画像の撮影距離が遠方端に達したことを認識できる（図８（Ｂ）→（Ｄ）を参照）。

同様に、ズームレバーがワイド側へ操作された場合であっても、現在の合焦先被写体の近方側に被写体が存在しない場合、システム制御部１７は、リフォーカス画像の撮影距離が近方端に達したとみなし、リフォーカス画像の代わりにパンフォーカス画像を表示部１９へ表示する。このパンフォーカス画像の視点は、リフォーカス画像の視点と同じに設定される。これによって、ユーザは、リフォーカス画像の撮影距離が近方端に達したことを認識できる（図８（Ｃ）→（Ｅ）を参照）
したがって、本実施形態の通常再生モードによると、ユーザは、ズームレバーを操作するだけで、リフォーカス画像の撮影距離を拡縮させることができると共に、リフォーカス画像の撮影距離が遠方端又は近方端に達したタイミングを、パンフォーカス画像の出現（＝リフォーカス画像の被写界深度が最大になったこと）によって認識することができる。

なお、本実施形態の通常再生モードでは、ズームレバーが連続操作されている期間中（ズームレバーが非基準ポジションに変移している期間中）には、リフォーカス画像の撮影距離を連続して変化させることが望ましい。

また、本実施形態の通常再生モードでは、通常再生の対象となるリフォーカス画像を、被写体に合焦したリフォーカス画像のみに制限したが、或る被写体の被写体距離に合焦したリフォーカス画像と、他の被写体の被写体距離に合焦したリフォーカス画像との間に、それらの中間距離に合焦したリフォーカス画像（被写体に合焦していないリフォーカス画像）を挿入してもよい。但し、被写体に合焦していないリフォーカス画像の表示時間は、被写体に合焦したリフォーカス画像の表示時間より短く設定されることが望ましい。

また、本実施形態の通常再生モードでは、ズームレバーが単発操作された場合（ズームレバーが非基準ポジションに変移してから所定時間内に基準ポジションに戻った場合）と、ズームレバーが連続操作された場合（ズームレバーが非基準ポジションに変移している時間が所定時間より長い場合）との間で、撮影距離の変化パターンを異ならせてもよい。

例えば、ズームレバーが単発操作されたときには、或る被写体の被写体距離から次の被写体の被写体距離へと撮影距離をスキップさせ、ズームレバーが連続操作されたときには、撮影距離を連続変化（コマ送り又は早送り）させてもよい。

また、本実施形態の通常再生モードでは、リフォーカス画像の撮影距離が遠方端に達した後もなおズームレバーがテレ側に操作されたときには、図８（Ｄ）→図９（Ｆ）に示すとおり、パンフォーカス画像の表示サイズを連続的（又はステップ状）に拡大してもよい。また、その拡大の際には、最遠方に位置する被写体（Ａさん）の中心を、パンフォーカス画像の表示域（例えば表示部１９の全域）の中心に一致させ続けることが望ましい。因みに、図９（Ｆ）では、Ａさんの中心が表示域の中心に一致した様子を描いている。これによって、最遠方の被写体（Ａさん）を中心とした電子ズームアップが行われる。

また、本実施形態の通常再生モードでは、リフォーカス画像の撮影距離が近方端に達した後もなおズームレバーがワイド側へ操作されたときには、図８（Ｅ）→図９（Ｇ）に示すとおり、パンフォーカス画像の表示サイズを連続的（又はステップ状）に縮小してもよい。また、その縮小の際には、最近方に位置する被写体（Ｃさん）の中心を、パンフォーカス画像の表示域（例えば表示部１９の全域）の中心に一致させ続けることが望ましい。因みに、図９（Ｇ）では、Ｃさんの中心が表示域の中心に一致した様子を描いている。これによって、最近方の被写体（Ｃさん）を中心とした電子ズームバックが行われる。

また、本実施形態の通常再生モードにおけるシステム制御部１７は、「最遠方に位置する被写体の被写体距離」を撮影距離の遠方端とみなし、「最近方に位置する被写体の被写体距離」を撮影距離の近方端とみなしたが、「後設定可能な撮影距離の範囲の遠方端」を撮影距離の遠方端とみなし、「後設定可能な撮影距離の範囲の近方端」を撮影距離の近方端とみなしてもよい。

また、本実施形態の通常再生モードでは、リフォーカス画像の撮影距離又は表示サイズを拡大するためのユーザ操作を、「ズームレバーのテレ操作」とし、リフォーカス画像の撮影距離又は表示サイズを縮小するためのユーザ操作を、「ズームレバーのワイド操作」としたが、リフォーカス画像の撮影距離又は表示サイズを拡大するためのユーザ操作を、「ズームレバーのワイド操作」とし、リフォーカス画像の撮影距離又は表示サイズを縮小するためのユーザ操作を、「ズームレバーのテレ操作」としてもよい。

また、本実施形態の通常再生モードでは、リフォーカス画像の撮影距離又はパンフォーカス画像の表示サイズを調整するためのユーザ操作をズームレバー操作としたが、他の所定操作としてもよい。例えば、十字釦２０ｃの上下方向キーの操作や、表示部１９に対する指のスライド操作としてもよい。また、十字釦２０ｃの上下方向キーを使用する場合、例えば、撮影距離又は表示サイズを拡大する機能を上方向キーに割り当て、撮影距離又は表示サイズを縮小する機能を下方向キーに割り当ててもよい。

また、上記説明では、リフォーカス画像の撮影距離の拡縮機能と表示サイズの拡縮機能とを順次に発現させたが、リフォーカス画像の撮影距離の拡縮機能と表示サイズの拡縮機能と同時に発現させてもよい。

例えば、ズームレバーがテレ操作されたときにはリフォーカス画像の撮影距離の拡大と表示サイズの拡大とを同時に行い、ズームレバーがワイド操作されたときには撮影距離の縮小と表示サイズの縮小とを同時に行ってもよい。

［各実施形態の変形例］
なお、上述した各実施形態では、後設定可能な撮影条件として、撮影距離、絞り、視点の３つを説明したが、後設定可能な撮影条件に、「合焦面の姿勢又は形状」、すなわち「リフォーカス画像内の撮影距離の分布」を加えてもよい。

また、第１実施形態のライトフィールドカメラ１０の機能と、第２実施形態のライトフィールドカメラ１０の機能と、第３実施形態のライトフィールドカメラ１０の機能と、第４実施形態のライトフィールドカメラ１０の機能と、第５実施形態のライトフィールドカメラ１０の機能とを併せ持ったライトフィールドカメラを構成してもよい。

また、上述した各実施形態では、ライトフィールドカメラ１０を説明したが、撮影条件の後設定が可能な撮影画像を取得できる他のカメラ、例えば、フォーカスブラケット撮影可能なカメラ、カメラアレイなどにも本発明は適用が可能である。

また、上述した各実施形態では、撮像機能とモニタ機能との双方を搭載した装置を説明したが、撮像機能とモニタ機能との少なくとも一方を搭載しない装置にも本発明は適用が可能である。例えば、ディジタルフォトフレーム、タブレットＰＣ、スマートフォン、デスクトップ型ＰＣ、ノートＰＣなどにも本発明は適用が可能である。

また、コンピュータ実行可能なプログラム又はそれを記憶した記憶媒体に対して上述した何れかの実施形態の装置の少なくとも一部の機能を付与してもよい。

［第１実施形態の作用効果］
以上、第１実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像（ライトフィールド画像）を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、前記撮影画像（リフォーカス画像）をモニタへ表示する表示制御手段（システム制御部１７）と、前記撮影画像（ライトフィールド画像）中に存在する複数の被写体間の優先順位と、それら被写体の被写体距離とに応じたパターンで、前記撮影画像（リフォーカス画像）の撮影距離を切り換える調整手段（システム制御部１７、画像処理部１５）とを備える。

したがって、前記撮影距離（リフォーカス画像）の切り換えは、効果的に行われる。例えば、優先順位の高い被写体を積極的に合焦させたり、優先順位の高い被写体を早いタイミングで合焦させたり、優先順位の高い被写体を長い時間に亘って合焦させたりすることができる。

また、前記調整手段は、被写体属性間の相対的な優先度を予め記憶したテーブルに基づき、前記複数の被写体間の優先順位を決定する。したがって、前記調整手段は前記優先順位の決定を常に適正に行うことができる。

また、前記調整手段は、優先順位が最高である被写体の被写体距離と同じ距離に前記撮影画像の撮影距離を維持しつつ、ユーザが他の被写体を指定したときにのみ、その被写体の被写体距離と同じ距離に前記撮影距離を移行させる。

したがって、前記撮影画像（リフォーカス画像）の合焦先は、優先順位が最も高い被写体に維持され、優先順位の低い被写体が指定されたにのみ、前記撮影画像（リフォーカス画像）の合焦先が、その被写体に移行する。

また、前記調整手段は、前記優先順位が未決定であった場合には、前記撮影画像の絞り値を最大に設定する。

したがって、ユーザは、絞り値が最大の前記撮影画像（パンフォーカス画像）の出現により、前記優先順位が未決定であることを認識することができる。

また、前記調整手段は、ユーザからの指示に応じて前記優先順位を決定する。

したがって、ユーザは、未決定の優先順位を手動で決定したり、決定済みの優先順位を手動で書き換えたりすることができる。

［第２実施形態の作用効果］
以上、第２実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）において、前記調整手段（システム制御部１７）は、前記撮影画像の撮影前の被写界に長時間に亘り出現した被写体ほど優先順位を高くする。

また、前記調整手段（システム制御部１７）は、前記撮影画像の撮影前の被写界に大サイズで出現した被写体ほど優先順位を高くする。

したがって、第２実施形態の画像処理装置によると、撮影前にユーザから注目されていた被写体ほど優先順位が高くなる。また、第２実施形態の画像処理装置によると、優先度を予め記憶したテーブルは、非必須である。

［第３実施形態又は第４実施形態の作用効果］
以上、第３実施形態又は第４実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、前記撮影画像（リフォーカス画像）をモニタへ表示する表示制御手段（システム制御部１７）と、前記撮影画像（リフォーカス画像）の絞り値を最大に維持し、ユーザが被写体を指定したときにのみ、前記撮影画像（リフォーカス画像）の絞り値を非最大に移行させる調整手段（システム制御部１７、画像処理部１５）とを備える。

また、前記調整手段は、前記ユーザが被写体を指定したときには、その被写体の被写体距離と同じ距離に前記撮影画像（リフォーカス画像）の撮影距離を移行させる。

したがって、第３実施形態又は第４実施形態の画像処理装置によると、絞り値が最大である前記撮影画像（パンフォーカス画像）が連続的に表示され、任意の被写体が指定されたとき又は所定操作（戻る操作）が行われたときにのみ、その被写体に合焦した前記撮影画像（リフォーカス画像）がパンフォーカス画像の代わりに表示される。

［第５実施形態の作用効果］
以上、第５実施形態の画像処理装置（画像処理部１５、システム制御部１７、記録インタフェース１８）は、撮影条件（撮影距離、絞り値、視点）の後設定が可能な撮影画像を読み込む読み込み手段（システム制御部１７、記録インタフェース１８）と、前記撮影画像（リフォーカス画像）をモニタへ表示する表示制御手段（システム制御部１７）と、ユーザからの拡縮指示に応じて前記撮影画像（リフォーカス画像）の撮影距離を拡縮し、その撮影距離が遠方端又は近方端に達したときには、前記撮影画像（リフォーカス画像）の絞り値を最大に設定する調整手段（システム制御部１７、画像処理部１５）とを備える。

したがって、ユーザは、拡縮指示を入力するだけで、前記撮影画像（リフォーカス画像）の撮影距離を拡縮させることができ、しかも、前記撮影画像（リフォーカス画像）の撮影距離が遠方端又は近方端に達したタイミングを、絞り値が最大の前記撮影画像（パンフォーカス画像）の出現によって認識することができる。

また、前記調整手段は、前記撮影距離が遠方端に達した後に前記ユーザから拡大指示が入力されたときには、その拡大指示に応じて前記撮影画像（パンフォーカス画像）の表示倍率を拡大し、前記撮影距離が近方端に達した後に前記ユーザから縮小指示が入力されたときには、その縮小指示に応じて前記撮影画像（パンフォーカス画像）の表示倍率を縮小する。

したがって、ユーザは、拡大指示を入力するだけで前記撮影画像（リフォーカス画像）の撮影距離の拡大と前記撮影画像（パンフォーカス画像）の表示倍率の拡大とを順次に行うことができ、縮小指示を入力するだけで前記撮影画像（リフォーカス画像）の撮影距離の縮小と前記撮影画像（パンフォーカス画像）の表示倍率の縮小とを順次に行うことができる。

また、前記調整手段は、前記撮影画像（パンフォーカス画像）の表示倍率を拡大する際には、最遠方に位置する被写体の中心を前記撮影画像の表示域の中心に一致させ、前記撮影画像（パンフォーカス画像）の表示倍率を縮小する際には、最近方に位置する被写体の中心を前記撮影画像の表示域の中心に一致させる。

したがって、ユーザは、拡大指示を入力するだけで、前記撮影画像（リフォーカス画像）の撮影距離の拡大と、最遠方の被写体に向かった前記撮影画像（パンフォーカス画像）の電子ズームアップとを、順次に行うことができ、縮小指示を入力するだけで、前記撮影画像（リフォーカス画像）の撮影距離の縮小と、最近方の被写体を基準とした前記撮影画像（パンフォーカス画像）の電子ズームバックとを、順次に行うことができる。

また、前記調整手段は、前記ユーザからの拡縮指示に応じて前記撮影画像（リフォーカス画像）の撮影距離と前記撮影画像（リフォーカス画像）の表示倍率とを同時に拡縮する。

したがって、ユーザは、拡縮指示を入力するだけで、前記撮影画像（リフォーカス画像）の撮影距離の拡縮と、前記撮影画像（リフォーカス画像）の表示倍率の拡縮とを、同時に行うことができる。

１１…撮像部、１５…画像処理部、１６…カメラ制御部、１７…システム制御部、１８…記録インタフェース、１９…表示部、２０…操作部材、１２…撮影レンズ、１３…マイクロレンズアレイ、１４…撮像素子、１０…カードメモリ

Claims (9)

1. 撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
   前記撮影画像をモニタへ表示する表示制御手段と、
   ユーザからの指示によらずに決定された前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記調整手段は、
   前記優先順位が最高である被写体の被写体距離と同じ距離に前記撮影画像の撮影距離を維持しつつ、前記ユーザが他の被写体を指定したときにのみ、その被写体の被写体距離と同じ距離に前記撮影距離を移行させる
   ことを特徴とする画像処理装置。
3. 撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
   前記撮影画像をモニタへ表示する表示制御手段と、
   優先度を記憶したテーブルに基づき決定された前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、
   を備えたことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記調整手段は、
   前記優先順位が最高である被写体の被写体距離と同じ距離に前記撮影画像の撮影距離を維持しつつ、ユーザが他の被写体を指定したときにのみ、その被写体の被写体距離と同じ距離に前記撮影距離を移行させる
   ことを特徴とする画像処理装置。
5. 請求項１〜請求項４の何れか一項に記載の画像処理装置において、
   前記調整手段は、
   前記優先順位が未決定であった場合には、前記撮影画像の絞り値を最大に設定する
   ことを特徴とする画像処理装置。
6. 撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
   前記撮影画像をモニタへ表示する表示制御手段と、
   前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、を備え、
   前記調整手段は、
   前記撮影画像の撮影前の被写界に長時間に亘り出現した被写体ほど前記優先順位を高くする
   ことを特徴とする画像処理装置。
7. 撮影条件の後設定が可能な撮影画像を読み込む読み込み手段と、
   前記撮影画像をモニタへ表示する表示制御手段と、
   前記撮影画像中に存在する複数の被写体間の優先順位に基づいて、前記撮影画像の撮影距離を切り換える調整手段と、を備え、
   前記調整手段は、
   前記撮影画像の撮影前の被写界に大サイズで出現した被写体ほど前記優先順位を高くする
   ことを特徴とする画像処理装置。
8. 請求項１〜請求項７の何れか一項に記載の画像処理装置と、
   前記撮影画像を表示する前記モニタと、
   を備えたことを特徴とする画像表示装置。
9. 前記撮影画像を取得する撮像手段と、
   請求項８に記載の画像表示装置と、
   を備えたことを特徴とする撮像装置。