JP6141093B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には撮影後に合焦距離を変更したリフォーカス画像を生成可能なライトフィールドデータを取り扱う画像処理装置およびその制御方法に関する。

近年、固体撮像素子の前面にマイクロレンズアレイを配置し、個々のマイクロレンズを通過して入射する光を複数の画素で受光することにより、入射光の強度のみならず入射方向の情報も記録する装置が知られている（非特許文献１）。このような装置（ライトフィールドカメラとも呼ばれる）で記録した情報（以下、ライトフィールドデータと呼ぶ）からは、合焦距離を撮影後に変更した画像を再構成することが可能であり、この再構成画像をリフォーカス画像と呼ぶ。

ライトフィールドデータを閲覧する場合、何らかの合焦距離に基づいてリフォーカス画像を生成する必要があるが、閲覧に適した合焦距離を画像処理装置が判断することは容易でない。そのため、特許文献１では、画像から人物の顔領域を抽出し、その人物に合焦したリフォーカス画像を表示したり、画像データに付与した画像取得時の撮像条件に基づいてリフォーカス画像を生成したりすることが提案されている。

特開２０１１−２２７９６号公報

Ren.Ng、他5名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

画像に複数の人物が含まれる場合に、撮影時に合焦させた人物（主要被写体）と合焦距離が異なる人物に合焦したリフォーカス画像をユーザが閲覧したいとする。この場合、従来の方法では、主要被写体に合焦したリフォーカス画像が一端表示されてから、個々のリフォーカス画像について、合焦させたい人物を指定しなおし、リフォーカス画像が生成されるのを待つ必要があった。そのため、合焦距離（または合焦させたい被写体）の選択を行う手間と、選択した合焦距離に合焦したリフォーカス画像が生成されるのを待つ手間がかかっていた。

本発明はこのような従来技術の問題点を少なくとも緩和し、ライトフィールドデータの閲覧時におけるユーザの手間を減少させることが可能な画像処理装置およびその制御方法を提供することを目的とする。

上述の目的は、ライトフィールドデータを取得する取得手段と、ライトフィールドデータからリフォーカス画像を生成する生成手段と、リフォーカス画像において合焦していない被写体が指定されると、リフォーカス画像の生成に用いたライトフィールドデータから、被写体に合焦したリフォーカス画像を生成するように生成手段を制御するとともに、被写体を含んだ他のリフォーカス画像を生成する場合も、前記被写体に合焦したリフォーカス画像を生成するように生成手段を制御する制御手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、ライトフィールドデータの閲覧時におけるユーザの手間を減少させることが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 図１の画像処理部の機能構成例を示すブロック図 本発明の第１の実施形態における撮影動作を説明するためのフローチャート 本発明の第１の実施形態における再生動作を説明するためのフローチャート 本発明の第１の実施形態の再生動作時の表示を模式的に示した図 本発明の第２の実施形態の再生動作時の表示を模式的に示した図

（第１の実施形態）
以下、本発明をその例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、本発明は撮像装置はもちろん、カメラを備えた任意の電子機器（コンピュータ、タブレット端末、ゲーム機、携帯電話機、ロボットなど）にも適用可能である。また、撮像機能は必須ではないため、カメラを備えない任意の電子機器（汎用コンピュータや組み込み機器など）にも適用可能である。

交換型もしくは非交換型の光学系１０１は、フォーカシングレンズ１０１ａとズームレンズ１０１ｂとを有している。光学系１０１は被写体からの光を集光してマイクロレンズアレイ１０２に投射する。

フォーカシングレンズ１０１ａは、被写体の各点からの光をマイクロレンズアレイ１０２上の一つの収束点に投射する。ズームレンズ１０１ｂは、操作部１１３を介したユーザの指示に従って光学系１０１の画角を変更する。

撮像素子１０３には複数の画素（例えば１０００万画素以上）が配列されており、マイクロレンズアレイ１０２を構成する各マイクロレンズに対して複数の画素（例えば４×４画素）が対応づけられている。各画素は光電変換素子を有し、電荷蓄積期間内に蓄積した電荷量に応じたアナログ信号を出力する。

Ａ／Ｄ変換部１１８は、撮像素子１０３から出力されたアナログ信号にＡ／Ｄ変換を行いデジタル信号に変換する。
画像処理部１０６は、リフォーカス画像の再構成や、画像データの圧縮符号化（例えばJPEG圧縮など）等の画像処理を行う。
第１メモリ１０５は、例えばDRAM等の記憶デバイスで構成され、処理中の画像データ、ＣＰＵ１１７が実行するプログラム等が保存される。

被写体情報取得部１０４は、顔検出部１０７、個人認証部１０８、第２メモリ１１２を有する。顔検出部１０７は、画像から特徴点を抽出して被写体の顔領域の大きさ、位置等を検出する。顔検出部１０７は、公知の特徴点抽出処理によって顔領域を抽出する。また、特徴点の例としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。また、顔検出部１０７は、検出した顔までの距離情報についても取得する。

個人認証部１０８は、顔検出部１０７で検出した特徴点に基づいて顔認識データを生成する。例えば、個人認証部１０８は、検出した顔の特徴点の位置、特徴点から求まる顔パーツ（目、口、鼻など）の大きさ、各特徴点の相対距離などから、認識対象となる人物を認証するための顔認識データを生成する。

また、個人認証部１０８は、顔認識データが登録済みの人物が画像内に含まれているかどうかを判定する顔認識処理を行う。具体的には、まず個人認証部１０８は画像から検出された顔の特徴点に基づいて、画像に含まれる人物の顔の特徴点の位置、各特徴点の相対距離、顔パーツの大きさなどを演算する。次に個人認証部１０８は、これらの演算結果を登録済みの顔認識データと比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、個人認証部１０８は上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。

通信Ｉ／Ｆ１０９は外部機器に接続するためのインタフェースであり、ＵＳＢなどの有線インタフェースや、IEEE 802.11x、ブルートゥース（登録商標）、ＮＦＣなどの規格に準拠した無線通信インタフェースなどであってよい。

表示部１１０は、例えばＬＣＤや有機ＥＬディスプレイなどのフラットパネルディスプレイであり、撮影画像やメニュー等の情報の表示やライブビュー表示などに用いられる。

第２メモリ１１２には、個人認証部１０８で生成された顔認識データが記録される。この第２メモリ１１２には登録した人物ごとにグループフォルダを生成することができ、グループフォルダによって顔認識データを登録人物ごとにグループ化できる。例えば、グループフォルダには、同一の登録人物に関して、顔の向きや撮影条件などが異なる複数の顔認識データを記録することができる。

操作部１１３はユーザがデジタルカメラ１００に各種の指示や設定を入力するための入力デバイス群であり、ボタン、スイッチ、レバー、タッチパネルなどが含まれる。なお、音声認識技術を利用した入力など、非接触な入力方法を実現する構成も操作部１１３に含まれる。

記録Ｉ／Ｆ１１４にはメモリカードなどの記録媒体１１５を接続するためのコネクタが設けられている。そして、記録Ｉ／Ｆ１１４は、ＣＰＵ１１７の制御に従い、コネクタに接続された記録媒体１１５に対して撮影画像データの書き込みや読み込みを実行する。記録媒体１１５は、例えばハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。

撮影情報取得部１１６は、撮影した時点におけるデジタルカメラ１００の撮影パラメータ（シャッタースピード、絞り値、感度、光学系の焦点距離など）や、ＧＰＳによる撮影位置情報や撮影時刻などを撮影情報として収集し、画像処理部１０６へ出力する。

ＣＰＵ１１７は、例えば不揮発性メモリに記憶されたプログラムを実行して各部を制御することにより、後述する処理を含めたデジタルカメラ１００の各種動作を実現する。ＣＰＵ１１７と各機能ブロックは内部バス１１１を通じて相互に通信可能に接続されている。なお、上述した機能ブロックの内、画像処理部１０６、顔検出部１０７、個人認証部１０８、撮影情報取得部１１６の１つ以上は、ＣＰＵ１１７がソフトウェア的に実現してもよい。

次に、デジタルカメラ１００のライトフィールドデータの閲覧動作について説明する。上述したように、ライトフィールドデータは、指定された像面に合焦したリフォーカス画像を生成可能なデータである。ここでは、記録媒体１１５に複数のライトフィールドデータが記録済みであり、例えばデジタルカメラ１００が再生モードに設定された際に、記録媒体１１５に記録されたライトフィールドデータの閲覧が行われるものとする。

本実施形態では、表示部１１０に表示中のリフォーカス画像に含まれる被写体が選択されると、記録媒体１１５に記録された他のライトフィールドデータを表示する際に、同じ被写体に合焦させたリフォーカス画像を再構築して表示することを特徴とする。なお、ライトフィールドデータからのリフォーカス画像の生成は、公知の方法で実現できるため、その詳細については説明を省略する。必要であれば例えば「Fourier Slice Photography」(Ren Ng著、2005 ACM Trans.Graph.24,735-744）を参照されたい。

図２は、画像処理部１０６の機能構成例を示すブロック図である。
ライトフィールドデータ生成部２１０は、撮影時にＡ／Ｄ変換部１１８からデジタル信号を受信し、公知の方法でライトフィールドデータに変換して、画像データ生成部２１１とヘッダ付加部２１３へ出力する。

画像データ生成部２１１は、ライトフィールドデータ生成部２１０あるいは記録Ｉ／Ｆ１１４からのライトフィールドデータと、像面情報生成部２１２からの像面情報からリフォーカス画像を構成／再構成する。

像面情報生成部２１２は、被写体情報取得部１０４から得る被写体情報のうち操作部１１３を介してユーザが指定した被写体を特定し、その被写体に合焦するための像面情報を生成する。さらに、後述するヘッダ解析部２１４からの被写体情報に基づいて像面情報を生成する。

ヘッダ付加部２１３は、ライトフィールドデータを記録媒体１１５に保存する際に、被写体情報取得部１０４からの被写体情報や、撮影情報取得部１１６からの合焦距離などのカメラ情報をライトフィールドデータのヘッダに付加する。

ヘッダ解析部２１４は、ライトフィールドデータからヘッダ情報を読み取り、ヘッダ情報の中から、操作部１１３で指定された被写体の情報を抽出して像面情報生成部２１２に出力する。

次に、本実施形態のデジタルカメラ１００の撮影時および再生（閲覧）時の動作について図２と、図３Ａ〜図３Ｃに示すフローチャートとを用いて説明する。
まずは撮影時の動作について図２および図３Ａを用いて説明する。

（Ｓ００１）
操作部１１３に含まれるシャッターボタンの押下などにより、ユーザから撮影が指示されると、ＣＰＵ１１７は露出条件に基づいたシャッタースピード、絞り値、感度の組み合わせに従って撮像素子１０３を露光する。これにより、撮像素子１０３の各画素には入射光量に応じた電荷が蓄積する。撮像素子１０３の各画素から読み出されたアナログ信号はＡ／Ｄ変換部１１８でデジタル信号に変換され、ライトフィールドデータ生成部２１０に入力される。

（Ｓ００２）
ＣＰＵ１１７は像面情報生成部２１２に対してパンフォーカス画像を生成するための像面情報を生成させ、画像データ生成部２１１へ出力させる。画像データ生成部２１１は、ライトフィールドデータ生成部２１０からのライトフィールドデータと、像面情報生成部２１２からの像面情報に基づいてパンフォーカス画像を生成し被写体情報取得部１０４へ出力する。

（Ｓ００３）
被写体情報取得部１０４はパンフォーカス画像に含まれる顔領域を検出し、顔領域の大きさや位置、デジタルカメラ１００から被写体までの距離等の被写体情報をリスト化して像面情報生成部２１２とヘッダ付加部２１３に出力する。

（Ｓ００４）
像面情報生成部２１２は、撮影時にユーザが合焦させた被写体（主被写体）を、被写体情報のリストと、撮影時の合焦距離および被写界深度から特定し、特定した主被写体に合焦する像面情報を生成する。
生成した像面情報は、リフォーカス画像を生成する像面情報のデフォルト値としてヘッダ付加部２１３と画像データ生成部２１１へ出力する。

（Ｓ００５）
画像データ生成部２１１は、像面情報生成部２１２から受けた像面情報のデフォルト値を用いて、リフォーカスデータからリフォーカス画像を生成する。

（Ｓ００６）
ＣＰＵ１１７は、画像データ生成部２１１が生成したリフォーカス画像を、表示部１１０にレビュー画像として表示させる。

（Ｓ００７）
ヘッダ付加部２１３は、ライトフィールドデータ生成部２１０からのライトフィールドデータに対し、被写体情報取得部１０４からの被写体情報リストと、像面情報生成部２１２からの像面情報のデフォルト値とでヘッダ情報を更新する。そして、ヘッダ付加部２１３は、ライトフィールドデータを記録Ｉ／Ｆ１１４へ出力する。
記録Ｉ／Ｆ１１４はライトフィールドデータを記録媒体１１５に書き込む。また表示部１１０はライブビュー表示に戻り、撮影動作は終了する。

次に、操作部１１３から再生モードに切り替えられた際のリフォーカス画像の初期表示と、初期表示のレビュー画像のリフォーカス処理の動作について図２および図３Ｂを用いて説明する。
（Ｓ１０１）
ＣＰＵ１１７は、記録Ｉ／Ｆ１１４を通じて記録媒体１１５から（例えば直近に撮影された）ライトフィールドデータを読み出し、画像データ生成部２１１とヘッダ解析部２１４へ供給する。なお、第１メモリ１０５にライトフィールドデータを残しておいてもよい。

（Ｓ１０２）
ヘッダ解析部２１４は、記録媒体１１５から読み出されたライトフィールドデータのヘッダに含まれる像面情報のデフォルト値を抽出し、像面情報生成部２１２へ送る。

（Ｓ１０３）
像面情報生成部２１２は、ヘッダ解析部２１４から受けた像面情報のデフォルト値をそのまま画像データ生成部２１１へ送る。
画像データ生成部２１１は、記録媒体１１５から読み出されたライトフィールドデータに対して、像面情報生成部２１２から受けた像面情報のデフォルト値を適用することで初期表示用のリフォーカス画像を構成する。これにより、撮影時にユーザが合焦させた主被写体に合焦したリフォーカス画像が生成される。なお、像面情報のデフォルト値としてはこれに限らず、例えば風景写真に適した無限遠等、任意の値に設定可能である。
ＣＰＵ１１７は、画像データ生成部２１１が生成したリフォーカス画像を表示部１１０に表示する。

（Ｓ１０４）
ＣＰＵ１１７は、例えば操作部１１３を通じ、デフォルトの合焦距離とは異なる合焦距離に、ユーザがリフォーカスの要求をしたかどうかを判定する。具体的には例えばＣＰＵ１１７は、表示部１１０に表示中のリフォーカス画像の、位置が指定されたかどうかを判定する。そして、位置指定が検出された場合、ＣＰＵ１１７は、リフォーカスが必要な程度ぼけた領域が指定されたかどうかを判定する。ＣＰＵ１１７は、この判定を、ライトフィールドデータ中の少なくとも２つの異なる角度情報を有する画像を用いた相関演算によって算出した、指定された位置のデフォーカス量に基づいて行うことができる。なお、これに限らず、予め画角全体の距離分布を測定して得られる距離情報を取得しておき、現在の像面位置と指定された位置に対応する像面位置が異なるかどうかを判定してもよい。また、指定された位置を中心としたリフォーカス画像の所定領域のコントラストを算出し、リフォーカスが必要な程度ぼけた領域が指定されたかどうかを判定してもよい。また、リフォーカスの要求がある場合、要求前の像面位置に関わらず、リフォーカスを行うように構成してもよい。デフォルトの合焦距離とは異なる合焦距離にユーザがリフォーカスの要求をしたと判定された場合はＳ１０５に、そうでない場合はＳ１０８に、ＣＰＵ１１７は処理を進める。

（Ｓ１０５）
ヘッダ解析部２１４は、ユーザが指定した位置と、ライトフィールドデータのヘッダに含まれる被写体情報リストに含まれる顔領域の情報とから、ユーザが操作部１１３を介してリフォーカス対象に指定した被写体を特定する。そして、ヘッダ解析部２１４は、特定した被写体に合焦する像面情報を生成するために必要な情報（例えば被写体までの距離情報）を、像面情報生成部２１２へ出力する。また、ヘッダ解析部２１４は、特定した被写体の認証結果を保持しておく。

（Ｓ１０６）
像面情報生成部２１２は、ヘッダ解析部２１４からの情報に基づき、指定された被写体に合焦させるための像面情報を生成して、画像データ生成部２１１へ出力する。

（Ｓ１０７）
画像データ生成部２１１は、像面情報生成部２１２から受けた像面情報を用いてリフォーカス画像を生成する。ＣＰＵ１１７は、表示部１１０の画像を、新たなリフォーカス画像で更新する。

（Ｓ１１０）
ＣＰＵ１１７は、Ｓ１０６で合焦被写体を変更したリフォーカス画像の他に、リフォーカス画像を生成する必要があれば処理をＳ２０１に、必要が無ければ処理をＳ１０４に戻す。前者に該当するのは、例えば、サムネイル画像を使用して複数のリフォーカス画像を表示している場合である。

（Ｓ１０８）
ＣＰＵ１１７は、操作部１１３を通じて表示画像の切り替え指示があったかどうかを判断する。ＣＰＵ１１７は、切り替え指示があった場合はＳ１０１へ、指示が無い場合はＳ１０９へそれぞれ処理を進める。

（Ｓ１０９）
ＣＰＵ１１７は、操作部１１３を通じて再生モードの終了指示があったかどうかを判断する。終了指示があった場合、ＣＰＵ１１７は再生モードを終了し、終了指示がなければ処理をＳ１０４へ進める。以上により、再生モードにおけるリフォーカス画像の初期表示と、最初のレビュー画像をリフォーカスする処理は終了する。

続いて、再生モードにおける他の複数のリフォーカス画像を再構成するシーケンスについて説明する。

（Ｓ２０１）
ＣＰＵ１１７は、更新すべきリフォーカス画像のライトフィールドデータが第１メモリ１０５に残っていなければ、記録Ｉ／Ｆ１１４を通じて記録媒体１１５から読み出し、画像データ生成部２１１とヘッダ解析部２１４へ与える。

（Ｓ２０２）
ヘッダ解析部２１４は、ライトフィールドデータのヘッダに含まれる被写体情報リストの被写体情報の中から、Ｓ１０５で保持しておいた特定被写体の認証結果と合致する被写体を検索する。

（Ｓ２０３）
ヘッダ解析部２１４は、被写体情報リストの中に特定被写体が含まれていたかどうかを判断し、特定被写体が含まれていた場合はＳ２０４へ、含まれていない場合はＳ２０６へ処理を進める。

（Ｓ２０４）
ヘッダ解析部２１４は、Ｓ２０２で検出した特定被写体に合焦する像面情報を生成するために必要な情報（例えば被写体までの距離情報）を像面情報生成部２１２へ出力する。それを受けて像面情報生成部２１２は像面情報を生成する。

（Ｓ２０５）
画像データ生成部２１１は、ライトフィールドデータに対して像面情報生成部２１２からの像面情報を用いることにより、特定被写体にリフォーカスした画像を再構成する。ＣＰＵ１１７は、再構成されたリフォーカス画像を表示部１１０に表示する。

（Ｓ２０６）
ＣＰＵ１１７は、まだ更新すべきリフォーカス画像が残っているか判定する。例えば、リフォーカス画像のサムネイルを表示部１１０に複数表示している場合、ＣＰＵ１１７は、表示している複数のリフォーカス画像の全てについて、新たに指定された被写体に合焦したリフォーカス画像の再構成が完了したかどうかを判断する。ＣＰＵ１１７は、表示している全てのサムネイル画像の再構成が完了した場合はリフォーカス処理を終了し、未だ再構成していないサムネイル画像が残っている場合は処理をＳ２０１へ戻す。以上により、再生モードにおける他の複数のリフォーカス画像を再構成する処理は終了する。

なお、図３Ｂに示した処理では、Ｓ１０８で表示画像の切り替え指示があった場合、新たに表示するリフォーカス画像についてはデフォルトの合焦距離を用いた。しかし、ユーザがデフォルトの合焦距離以外の被写体へのリフォーカスを指示した後に表示画像の切り替え指示があった場合には、直近にリフォーカスの指定がなされた被写体に合焦するリフォーカス画像を最初から表示するようにしてもよい。

図３Ｂの処理により、表示画像がどのように変化するかを図４を用いて説明する。図４は、表示部１１０に複数のライトフィールド画像のサムネイルが表示された状態を模式的に示している。
図４（ａ）は、図３ＢのＳ１０３における表示状態を示している。つまり、撮影時にユーザが合焦させた被写体（主被写体）に対応した像面情報のデフォルト値を用いて生成したリフォーカス画像を初期表示した状態である。この状態で、ユーザが操作部１１３の一例としてのタッチパネルを通じて、サムネイル画像DSC0002について、主被写体と合焦距離が異なる被写体をタッチし、リフォーカス指示したとする。

このリフォーカス指示により、Ｓ１０５〜Ｓ１０７，Ｓ１１０，Ｓ２０１〜Ｓ２０６が実施された後の表示部１１０の表示状態を図４（ｂ）に示す。ユーザが指定した被写体を認証し、その認証結果を用いて表示中のその他の画像（DSC0001、DSC0003〜DSC0006）に対しても同一被写体にリフォーカスするための像面情報を生成し、リフォーカス画像を生成して表示した結果である。なお、図４（ａ）でユーザが指定した被写体が、図４（ｂ）の点線で囲んだ被写体と同一人物であるとする。

このように、本実施形態によれば、あるライトフィールド画像において合焦している被写体とは別の被写体に合焦したリフォーカス画像の生成が指示された場合、他のライトフィールド画像についても、合焦被写体を自動的に変更する。そのため、例えば撮影時に合焦させた被写体と異なる被写体に合焦させたリフォーカス画像を一括して閲覧したい場合におけるユーザの手間を大幅に軽減することができる。

（第２の実施形態）
第１の実施形態では、ユーザがリフォーカス対象となる被写体を変更した場合、その被写体を含んだ他のリフォーカス画像の全てを再構成した。しかし、撮影時の情報などが特定の情報を満たすリフォーカス画像だけを再構築するようにしてもよい。

本実施形態において、画像処理部１０６は、撮影情報取得部１１６からＧＰＳによる撮影位置情報と撮影時刻などの撮影情報を取得する。
そして、ヘッダ付加部２１３は、被写体情報取得部１０４から受け取る被写体情報に加えて、撮影情報取得部１１６から受け取る撮影情報をライトフィールドデータのヘッダに付加する。

本実施形態の画像処理装置は、第１の実施形態で説明したデジタルカメラで実施可能であるため、第１の実施形態と異なる動作についてのみ説明する。
撮影時の動作は、Ｓ００７以外、図３Ａに示した第１の実施形態の動作と同様である。

（Ｓ００７）
ヘッダ付加部２１３は、ライトフィールドデータ生成部２１０からのライトフィールドデータのヘッダに、被写体情報リストと像面情報のデフォルト値に加え、撮影情報取得部１１６からの撮影情報を含めて、記録Ｉ／Ｆ１１４へ出力する。

また、再生モードにおけるリフォーカス画像の初期表示と、初期表示のレビュー画像をリフォーカスする動作は、Ｓ２０３以外、図３Ｂに示した第１の実施形態の動作と同様である。

（Ｓ２０３）
ヘッダ解析部２１４は、被写体情報リストの中に特定被写体が含まれているかどうかを判定する。さらにヘッダ解析部２１４は、撮影情報を読み出して、リフォーカスするライトフィールドデータを選定するためにユーザが指定した条件（例えば、撮影場所や撮影時間帯）を満たしているかを判断する。
なお、この条件は、再生モードになる前に予め設定されていてもよいし、Ｓ１０４において位置指定が検出された際にユーザに設定画面を表示して指定させてもよい。
特定被写体を含んでおり、かつユーザが指定した条件を満たしている場合、ヘッダ解析部２１４は処理をＳ２０４へ進め、それ以外の場合はＳ２０６へ処理を進める。

第１の実施形態と同様、図４（ａ）の状態で、初期表示で合焦していない被写体にリフォーカス指示がなされた場合の、本実施形態における再生処理結果の例を図５に示す。なお、ここでは、撮影位置と撮影時間が所定範囲内であることが条件として設定されているものとする。

図４（ａ）の表示状態で、画像DSC0002に含まれる、現在合焦している被写体と合焦距離が異なる被写体にリフォーカス要求がなされたとする。この場合、表示中の他の画像DSC0001およびDSC0003〜DSC0006のうち、画像DSC0002と撮影位置および撮影時間が所定範囲内のものを、ヘッダ情報を用いて抽出し、条件に合致した画像についてのみ、再構成を行う。撮影位置が所定範囲内かどうかは例えばＧＰＳなどの測位情報間の距離を算出することで判定することができる。

例えば、画像DSC0006は条件に合致しなかった場合、第１の実施形態と異なり、画像DSC0006についてはリフォーカス画像の再構成が行われない。この状態を図５に示す。

このように、本実施形態によれば、第１の実施形態の効果に加え、特定の条件を満たす画像に限ってリフォーカス対象の被写体を自動的に更新するので、より柔軟な要求に対応可能であり、使い勝手がさらに向上する。

なお、ユーザが指定可能な条件の例として、撮影位置と撮影時刻を用いた場合を説明したが、条件の数や種類は特に制限されず、ヘッダ情報から判別可能な任意の条件を用いることが可能である。例えば、露出パラメータやフラッシュの点灯／非点灯といった撮影条件や、顔領域の大きさ（同程度の大きさで写っている画像）など、様々な条件を設定できる。

（第３の実施形態）
リフォーカス画像は、像面情報とライトフィールドデータとの組み合わせとして記憶することも可能だが、ライトフィールドデータは光線の方向情報を含むためデータ量が大きい。また、通常の画像データとは形式が異なるため、一般的な画像データと同じような取扱いはできない。そのため、一般的な画像データの形式に変換することで、互換性やデータ量の削減を実現できる。

本実施形態は、再構築したリフォーカス画像をJPEG形式などの一般的なデータ形式に変換して出力するようにした点を特徴とする。

具体的には、本実施形態において画像処理部１０６は、画像データ生成部２１１で生成したリフォーカス画像を画像圧縮部２１５へ入力し、ライトフィールドデータとは異なる一般的なデータ形式の画像データに符号化する。例えば、JPEG形式、GIF形式のような圧縮符号化データが現在は一般的であるが、他の型式であってもよい。画像圧縮部２１５は、生成した符号化画像データを例えば記録Ｉ／Ｆ１１４と通信Ｉ／Ｆ１０９に出力する。

撮影時の動作は、Ｓ００７以外は第１または第２の実施形態と同様である。
（Ｓ００７）
ヘッダ付加部２１３は、ライトフィールドデータ生成部２１０からのライトフィールドデータに対し、被写体情報取得部１０４からの被写体情報リストと、像面情報生成部２１２からの像面情報のデフォルト値とでヘッダ情報を更新する。そして、ヘッダ付加部２１３は、ライトフィールドデータを記録Ｉ／Ｆ１１４へ出力する。
一方、画像圧縮部２１５は、ライトフィールドデータ生成部２１０からのライトフィールドデータを圧縮符号化し、圧縮符号化データを記録Ｉ／Ｆ１１４と通信Ｉ／Ｆ１０９へ出力する。
記録Ｉ／Ｆ１１４はライトフィールドデータと圧縮符号化データを記録媒体１１５に書き込む。通信Ｉ／Ｆ１０９は、圧縮符号化データを設定に従って外部に出力する（例えば、予め設定されたオンラインストレージに送信したり、サーバにアップロートする）。また表示部１１０はライブビュー表示に戻り、撮影動作は終了する。

再生モード時の動作についても、Ｓ１０７およびＳ２０５以外は第１または第２の実施形態と同様である。
（Ｓ１０７）
画像データ生成部２１１は、像面情報生成部２１２から受けた像面情報を用いてリフォーカス画像を生成する。ＣＰＵ１１７は、表示部１１０の画像を、新たなリフォーカス画像で更新する。
画像圧縮部２１５は、画像データ生成部２１１が生成したリフォーカス画像を圧縮符号化して、通信Ｉ／Ｆ１０９と記録Ｉ／Ｆ１１４へ出力する。

（Ｓ２０５）
画像データ生成部２１１は、ライトフィールドデータに対して像面情報生成部２１２からの像面情報を用いることにより、特定被写体にリフォーカスした画像を再構成する。ＣＰＵ１１７は、再構成されたリフォーカス画像を表示部１１０に表示する。
画像圧縮部２１５は、画像データ生成部２１１が生成したリフォーカス画像を圧縮符号化して、通信Ｉ／Ｆ１０９と記録Ｉ／Ｆ１１４へ出力する。

なお、圧縮符号化データの出力先は設定によって変更可能である。例えば記録媒体１１５に記録する必要が無ければ、通信Ｉ／Ｆ１０９のみに出力するようにしてもよい。また、必ずしも再構成の時点で通信Ｉ／Ｆ１０９に出力しなくてもよい。

本実施形態によれば、再構築したリフォーカス画像をより汎用的かつ少ないデータ量の画像データとすることができるため、外部機器との通信の時間を節約したり、リフォーカス画像を他の機器で利用し易くできる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. ライトフィールドデータを取得する取得手段と、
   前記ライトフィールドデータからリフォーカス画像を生成する生成手段と、
   リフォーカス画像において合焦していない被写体が指定されると、該リフォーカス画像の生成に用いたライトフィールドデータから、前記被写体に合焦したリフォーカス画像を生成するように前記生成手段を制御するとともに、前記被写体を含んだ他のリフォーカス画像を生成する場合も、前記被写体に合焦したリフォーカス画像を生成するように前記生成手段を制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記制御手段は、
   表示中のリフォーカス画像において前記被写体が指定された場合、該表示中のリフォーカス画像を、前記被写体に合焦したリフォーカス画像で更新し、
   前記被写体が指定されたリフォーカス画像の他に表示されているリフォーカス画像に前記被写体が含まれていれば、該他に表示されているリフォーカス画像についても、前記被写体に合焦したリフォーカス画像で更新する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、
   前記被写体が指定されたリフォーカス画像の他に表示されているリフォーカス画像に前記指定された被写体が含まれていれば、該他に表示されているリフォーカス画像についても、前記被写体に合焦したリフォーカス画像で更新する、
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記制御手段は、
   表示中のリフォーカス画像において前記被写体が指定された場合、該表示中のリフォーカス画像を前記被写体に合焦したリフォーカス画像で更新し、
   前記表示中のリフォーカス画像を該リフォーカス画像の生成に用いたライトフィールドデータとは他のライトフィールドデータから生成されるリフォーカス画像に切り替える場合、該他のライトフィールドデータから前記被写体に合焦したリフォーカス画像が生成可能か判定し、生成可能と判定されれば前記他のライトフィールドデータから前記被写体に合焦したリフォーカス画像を生成するように前記生成手段を制御し、該生成されたリフォーカス画像で前記表示中のリフォーカス画像を更新する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記生成手段が前記他のライトフィールドデータからリフォーカス画像を生成する場合に、前記他のライトフィールドデータが予め指定された条件を満たし、かつ前記指定された被写体を含んでいれば、前記被写体に合焦したリフォーカス画像を生成するように前記生成手段を制御する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記ライトフィールドデータには、該ライトフィールドデータに撮影されている被写体の情報が記録されており、
   前記制御手段は、前記被写体が指定されたリフォーカス画像の生成に用いたライトフィールドデータに記録された前記被写体の情報から、前記被写体に合焦する像面の情報を生成して前記生成手段に指定することにより、前記被写体に合焦したリフォーカス画像を生成させる、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記生成手段が生成したリフォーカス画像を圧縮符号化する圧縮手段と、
   前記圧縮符号化されたリフォーカス画像を出力する出力手段と、
   をさらに有することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記出力手段が、前記圧縮符号化されたリフォーカス画像を、外部に送信することを特徴とする請求項７記載の画像処理装置。
9. 撮像素子をさらに有し、
   前記取得手段は、前記撮像素子を用いて得られたライトフィールドデータを取得することを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
10. 前記撮像素子は複数のマイクロレンズを有し、前記複数のマイクロレンズの各マイクロレンズに対して複数の光電変換部が対応づけられていることを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記被写体に対応する像面情報と前記ライトフィールドデータとから前記被写体に合焦したリフォーカス画像を生成することを特徴とする請求項１から請求項１０のいずれか１項に記載の画像処理装置。
12. ライトフィールドデータからリフォーカス画像を生成する生成手段を有する画像処理装置の制御方法であって、
    検出手段が、リフォーカス画像において合焦していない被写体が指定されたことを検出する検出工程と、
    制御手段が、前記リフォーカス画像の生成に用いたライトフィールドデータから、前記被写体に合焦するリフォーカス画像を生成するように前記生成手段を制御するとともに、前記被写体を含んだ他のリフォーカス画像を生成する場合も、前記被写体に合焦したリフォーカス画像を生成するように前記生成手段を制御する制御工程と、
    を有することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から請求項１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。