JP6074201B2 - 画像処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離に対応する面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

上述したように、非特許文献１のような方法で記録されたＬＦデータは、画像として閲覧するためには再構成処理を必要とする。再構成処理による再構成画像の生成においては、任意の被写体距離を設定し、該被写体距離に対応する再構成面について再構成画像の各画素の生成に使用する画素の特定等を行う必要がある。

ところで、例えば画像閲覧アプリケーション等による一覧表示等、再構成処理を行う被写体距離をユーザが都度設定することは現実的ではないことがある。このような場合、一時的にＬＦデータの内容をユーザが確認するために、予め再構成処理が行われる被写体距離がデフォルト値として設定されていることが好ましい。しかしながら、ＬＦデータに対応する再構成画像の生成を行うデフォルトの被写体距離については、これまで特に定めはなかった。

また再構成画像の生成について、画素の並べ替えを必要としない撮像面（撮影時の焦点位置に対応する）をデフォルトとして再構成処理を行う方法が考えられる。しかしながら、撮像面について生成された再構成画像は、必ずしもＬＦデータの内容を示す好適な画像とは限らなかった。例えば、特定の被写体が画像に含まれているか否かを判断する際に、撮影時の焦点位置の被写界深度内に存在しない被写体については、その判断を行うことができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、ＬＦデータの内容を好適に示す再構成画像を生成する画像処理装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
撮像装置により異なる複数の視点につき撮像されて得られた画像信号を取得する取得手段と、取得手段により取得された画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有する画像処理装置であって、生成手段により生成された再構成画像と、画像信号とを関連付けて記録する記録手段を有し、撮像装置により撮像がなされたことに応じて、生成手段は、該撮像で得られた画像信号を用いて、該撮像時の撮像装置の状態に応じて、予め設けられた複数の生成条件のうちから選択した生成条件に従って再構成画像を生成し、記録手段は、該生成した再構成画像と撮像で得られた画像信号とを関連付けて記録することを特徴とする。

このような構成により本発明によれば、ＬＦデータの内容を好適に示す再構成画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行されるＬＦデータ記録処理を例示したフローチャート 本発明の実施形態に係る付加画像の生成方法の一例を説明するための図 本発明の実施形態に係る付加画像の生成方法の別の例を説明するための図 本発明の実施形態に係る再構成画像の生成において使用する画素群の分布を説明するための図 Ｅｘｉｆ画像ファイル形式のデータ構造を示した図 ＲＡＷファイルのデータ構造を示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後にＬＦデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０７及びＤＦＥ１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、再構成画像の生成方法の概要について、図を用いて説明する。

本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されれている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。

《ＬＦデータ記録処理》
このような構成をもつ本実施形態のデジタルカメラ１００で実行されるＬＦデータ記録処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本ＬＦデータ記録処理は、例えばユーザによりなされた撮影指示に応じて撮影処理が行われ、ＬＦデータが出力された際に開始されるものとして説明する。

Ｓ６０１で、制御部１０１は、出力されたＬＦデータに対して、ＡＦＥ１０７、ＤＦＥ１０８、及び画像処理部１０９の各々による処理を適用させ、記録用のＬＦデータを生成する。本実施形態のデジタルカメラ１００は、ＬＦデータの記録形式として、ＪＰＥＧ方式に対応する画像圧縮処理を行うＪＰＥＧ形式と、非圧縮あるいは不可逆圧縮処理を行うＲＡＷ形式とを有するものとする。記録形式の情報はユーザにより設定可能であり、例えばＲＯＭ１０２に格納されているものとする。本ステップでは制御部１０１は、ＲＯＭ１０２に格納された記録形式の情報を参照し、対応する処理を画像処理部１０９に実行させることにより記録用のＬＦデータを生成させる。

Ｓ６０２で、制御部１０１は、記録用のＬＦデータに付加する付加画像の生成方法を決定する。本実施形態では、ＬＦデータの内容確認が容易なように、ＬＦデータから好適な被写体距離に対応する画像を生成し、付加画像として該ＬＦデータに付加して記録する。

〈付加画像の生成方法〉
ここで、本実施形態のデジタルカメラ１００における記録用のＬＦデータに付加する付加画像の生成方法の決定について、以下に説明する。

（撮像レンズのＦナンバーが小さい場合）
撮像レンズのＦナンバーが小さい場合、通常、得られる画像は被写界深度が狭くなる。即ち、被写体がデジタルカメラ１００に対して様々な距離を有して存在する場合、ポートレート写真のようにいずれかの被写体や背景に焦点が合っていない、つまり像のぼけを有する画像が撮影される。このような像のぼけを有する画像は、撮影者により意図的に撮影されているか、あるいはＦナンバーが小さいことによりぼけが発生してしまうかのいずれであると考えられる。

撮影者により意図的に像をぼかした画像が撮影される場合、再構成画像は撮像面について生成されればよい。即ち、ＬＦデータにおいて画素の並び替えを行うことなく、図４（ｂ）のように各マイクロレンズに対応する全ての画素の画素値を加算・平均することで、撮像面において生じている像のぼけを再現した画像を付加画像として生成することができる。意図的に像をぼかした画像を付加画像に用いるか否かは、撮影者により被写体ぼけの再現を優先することが予め設定されているかにより判断されてもよいし、ポートレートモード等の撮影時の撮影モードに応じて判断されてもよい。もちろん、撮影されるシーンを自動で判定してもよい。撮影シーンの判定は、例えば、各マイクロレンズの一部の画素から生成される深度の深い画像に基づいて公知の被写体検出、輝度や色のヒストグラム等の情報から特定できる。

またＬＦデータについて、撮影範囲に含まれる、より多くの被写体を確認することを目的とする場合、付加画像として記録される再構成画像は被写界深度が広い、所謂パンフォーカス画像であることが好ましい。この場合、図７（ａ）に示されるように、各マイクロレンズに対応する画素のうち、射出瞳３０１の中央領域に対応する画素（ハッチングなし）の画素値を再構成画像の生成に用いる。即ち、射出瞳３０１の中央領域に対応する画素を用いて再構成画像を生成することで、図７（ｂ）に示されるように撮像光学系１０４とマイクロレンズアレイ１０５との間に開口の小さい絞り７０１を設けて撮像を行った際と等価な画像を得ることができる。図７（ｂ）には撮像面についての再構成画像の生成において射出瞳３０１の中央領域に対応する画素を用いる例が示されているが、該画素を使用して再構成画像を生成するのであれば、再構成面は撮像面に限らなくてもよい。つまり、このようにして生成された再構成画像は、被写界深度が広く、デジタルカメラ１００との距離が様々な被写体について像のぼけが少ない画像となる。なお、被写界深度の広い再構成画像を生成するか否かは、撮影者に被写界深度の広い再構成画像の生成を優先することが予め設定されているかにより判断されてもよいし、再構成画像の利用が被写体検索用途であるかにより判断されてもよい。

（再構成画像におけるＳ／Ｎ比を優先する場合）
また、撮像レンズのＦナンバーに依らず、再構成画像についてＳ／Ｎ比を優先することが予め設定されている場合も、図４（ｂ）と同様に各マイクロレンズに対応する全ての画素を再構成画像の生成に用いればよい。

（特定の被写体に合焦させる場合）
さらに、撮影範囲に含まれる所定の被写体に合焦するように再構成画像を生成することも可能である。

１つのＬＦデータからは、画素の加算を行う射出瞳の範囲を分けることで異なる光線方向に対応した２種類の画像を生成することができる。具体的には図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分に対応するＢ像を生成することができる。即ち、これを式で表すと
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する射出瞳３０１の領域の重心位置を光軸とする画像である。

つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する被写体距離を取得することができ、例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

特定の被写体距離に対応する再構成面が図８の面８０１である場合、中央の画素８０２を通過する光束に対応する画素については、図示されるようにＬＦデータの５つのマイクロレンズに対応付けられた画素群内に分布する。簡単のため、再構成処理において図８の縦方向についてのみ、画素の並び替えを行う場合を考えると、例えば図９に示されるように、画素８０２の生成に用いられる画素は分布する。

なお、所定の被写体に合焦する再構成画像を生成するか否かについても、再構成画像において合焦する被写体について、そのカテゴリ（人物像等）や特定の人物の顔等が予め設定されているかにより判断されてよい。また撮影時に撮影者により被写体が選択された場合は、該被写体に合焦する再構成画像を付加画像として生成すると判断してもよい。

このように記録用のＬＦデータに付加する付加画像の生成方法を、予め設定された生成条件に従って選択した後、制御部１０１は処理をＳ６０３に移す。

Ｓ６０３で、制御部１０１は、ＬＦデータから付加画像となる再構成画像をＳ６０２において決定した生成方法に従って画像処理部１０９に生成させる。

Ｓ６０４で、制御部１０１は、ＬＦデータの記録形式がＪＰＥＧ形式及びＲＡＷ形式のいずれであるかを判断する。制御部１０１は、ＬＦデータの記録形式がＪＰＥＧ形式であると判断した場合は処理をＳ６０５に移し、ＲＡＷ形式であると判断した場合は処理をＳ６０６に移す。

Ｓ６０５で、制御部１０１は、ＪＰＥＧ形式に圧縮されたＬＦデータを含む記録用のＪＰＥＧファイルを生成する。本実施形態では記録用のＪＰＥＧファイルは、Ｅｘｉｆ（Exchangeable Image File Format）画像ファイル規格に準拠するものとする。

Ｅｘｉｆでは、図１０に示されるように１つのファイルは様々な内部情報を格納する「マーカ」と呼ばれるデータ領域の集合として定義されている。図において画像ファイル１０００は、まずファイルの先頭を表すＳＯＩマーカから始まる。そしてＥｘｉｆ付属情報を記録するアプリケーションマーカセグメント１（APP1）１００１、Ｅｘｉｆ拡張データを記録するアプリケーションマーカセグメント２（APP2）が続く。さらに、量子化テーブルマーカセグメント（DQT）、ハフマンテーブルマーカセグメント（DHT）、リスタートマーカセグメント（DRI）、フレームヘッダマーカセグメント（SOF）、スキャンヘッダマーカセグメント（SOS）が続く。その後、画像データである、画像圧縮データ（Compressed Data）１００２が続き、最後にファイルの終端を表すＥＯＩマーカが続いている。

APP1−１００１は、アプリケーション領域であることを表すAPP1 Marker、その大きさを示すAPP1 Data Size、識別コードExif Headerと以下の付属情報本体で構成される。付属情報はＴＩＦＦの構造をとっており、TIFF Header、圧縮処理されているＬＦデータに関する付属情報を記録するIFD（Image File Directry）0、Ｅｘｉｆ固有の付属情報を記録するExif SubIFDと続く。またさらに、ＬＦデータについてのサムネイル画像である付加画像がIFD1−１００３で構成されている。

即ち、本ステップで制御部１０１は、Ｓ６０３において生成させた付加画像を記録用のＪＰＥＧファイルのIFD1領域に格納し、ファイルを完成させる。

一方、ＬＦデータの記録形式がＲＡＷ形式であった場合、制御部１０１はＳ６０６で、非圧縮のＬＦデータを含む記録用のＲＡＷファイルを生成する。

ここで、ＲＡＷデータのデータ構造について図１１に示す。図示されるようにＲＡＷ形式の画像ファイル１１００は、ヘッダ、カメラ機種情報、各種情報をＥｘｉｆのタグ形式で示した画像付加情報、ＲＡＷデータの現像用パラメータ、サムネイル画像である付加画像データ１１０１、及びＲＡＷデータ１１０２で構成される。

即ち、本ステップで制御部１０１は、ＲＡＷデータ１１０２の領域にＬＦデータを、付加画像データ１１０１の領域にＳ６０３において生成させた付加画像を格納して、記録用のＲＡＷファイルを生成する。

なお、Ｓ６０５及びＳ６０６で生成される記録用のファイルには、ＬＦデータを撮影時のデジタルカメラ１００の各種撮影設定等の情報がＥｘｉｆ形式で格納される。

Ｓ６０７で、制御部１０１は、記録形式に従って生成した記録用のファイルを記録媒体１１１に記録し、本ＬＦデータ記録処理を完了する。

このようにすることで、ＬＦデータの内容を示す好適な画像を関連付けて記録することができる。またユーザに被写体距離の設定を行わせる必要がないため、ＬＦデータの内容を示す画像を表示する際の処理を高速化することができる。

なお、本実施形態では付加画像である再構成画像をＬＦデータを記録する際に生成するものとして説明したが、本発明の実施はこれに限られるものではない。例えばＬＦデータそのものが記録されている状態で、該ＬＦデータについての再構成画像を生成して表示する際にも本発明を利用できる。即ち、撮影時の設定や表示用アプリケーションの設定に応じて再構成画像の生成方法を選択する際に、本発明を利用することができる。

また、本実施形態ではＬＦデータについてサムネイル画像を生成し、ＬＦデータに関連付けて記録するものとして説明したが、サムネイル画像の表示を高速化するために、次のようにしてもよい。例えばＬＦデータから生成する再構成画像の用途が一覧表示や内容確認のための簡易表示等、マイクロレンズアレイ１０５のレンズ数と同数の画素数を有する必要がない用途である場合、サムネイル画像用に画素数の少ないＬＦデータを付加してもよい。即ち、図４（ｂ）に示したように各マイクロレンズに５×５の画素が対応付けられている場合、間引きや変換処理を行うことで、各マイクロレンズに３×３の画素が対応付けられたＬＦデータを生成してサムネイル画像用に記録してもよい。

以上説明したように、本実施形態の画像処理装置はＬＦデータの内容を好適に示す再構成画像を生成することができる。具体的には画像処理装置は、設定された再構成画像の生成条件に従って、再構成画像の生成を行う被写体距離を決定する。また決定手段により決定した被写体距離についての再構成画像の生成において、各画素に対応する画像信号の画素のうち、画素値の合算に使用する画素を、再構成画像の生成条件に従って選択し、再構成画像を生成する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 撮像装置により異なる複数の視点につき撮像されて得られた画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置であって、
   前記生成手段により生成された前記再構成画像と、前記画像信号とを関連付けて記録する記録手段を有し、
   前記撮像装置により撮像がなされたことに応じて、
   前記生成手段は、該撮像で得られた画像信号を用いて、該撮像時の前記撮像装置の状態に応じて、予め設けられた複数の生成条件のうちから選択した生成条件に従って前記再構成画像を生成し、
   前記記録手段は、該生成した再構成画像と前記撮像で得られた画像信号とを関連付けて記録する
   ことを特徴とする画像処理装置。
2. 前記生成手段による前記再構成画像の生成に係り、予め設けられた複数の生成条件のうちから選択した生成条件に従って、前記再構成画像の生成を行う被写体距離を決定する決定手段を有し、
   前記生成手段は、前記決定手段で決定された被写体距離の被写体に合焦した前記再構成画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記再構成画像の生成条件として、被写界ぼけの再現を優先すること、あるいは前記再構成画像におけるＳ／Ｎ比を優先する生成条件が選択される場合に、
   前記決定手段は、前記再構成画像の生成を行う被写体距離を、前記画像信号の撮影時に前記撮像装置において設定されていた被写体距離に決定し、
   前記生成手段は、前記各画素に対応する前記画像信号の画素の全てを、前記画素値の合算に使用する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記再構成画像の生成条件として、被写界深度の広い再構成画像の生成を優先する生成条件が選択される場合に、前記生成手段は、前記各画素に対応する前記画像信号の画素のうち、前記複数の視点のうちの中央位置に対応する視点につき撮像された画素を、前記画素値の合算に使用する画素として選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像信号について、所定の被写体が存在する被写体距離を検出する検出手段をさらに有し、
   前記決定手段は、前記再構成画像の生成条件として、前記所定の被写体に合焦する生成条件が選択される場合に、前記検出手段により検出された前記所定の被写体が存在する被写体距離を、前記再構成画像の生成を行う被写体距離に決定する
   ことを特徴とする請求項２または３に記載の画像処理装置。
6. 前記検出手段は、１つの被写体距離について前記生成手段により生成された、異なる視点に対応する２種類の再構成画像に基づいて、所定の被写体が存在する被写体距離を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記再構成画像は、サムネイル画像として前記画像信号に関連付けられて前記記録手段により記録されることを特徴とする請求項６に記載の画像処理装置。
8. 前記画像信号は、光電変換素子各々が、前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束をそれぞれ受光する前記撮像装置から得られることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像信号は、１つのマイクロレンズに複数の画素が対応付けられた撮像素子を有する前記撮像装置から得られることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像信号および前記再構成画像は、Ｅｘｉｆ画像ファイルの規格に準拠した１つの画像ファイルに、ともに記録されることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 撮像時の前記撮像装置の状態とは撮像レンズのＦナンバーを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 撮像時の前記撮像装置の状態とはユーザによる前記撮像装置への設定を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 撮像装置により異なる複数の視点につき撮像されて得られた画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置の制御方法であって、
    前記画像処理装置の記録手段が、前記生成手段により生成された前記再構成画像と、前記画像信号とを関連付けて記録する記録工程を有し、
    前記撮像装置により撮像がなされたことに応じて、
    前記生成手段は、該撮像で得られた画像信号を用いて、該撮像時の前記撮像装置の状態に応じて、予め設けられた複数の生成条件のうちから選択した生成条件に従って前記再構成画像を生成し、
    前記記録手段は前記記録工程において、該生成した再構成画像と前記撮像で得られた画像信号とを関連付けて記録する
    ことを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. １つのマイクロレンズに複数の画素が対応する撮像素子を有する撮像装置から出力された画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号から、特定の被写体距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する前記画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する画像処理装置であって、
    前記生成手段により生成された前記再構成画像と、前記画像信号とを関連付けて記録する記録手段を有し、
    前記撮像装置により撮像がなされたことに応じて、
    前記生成手段は、該撮像で得られた画像信号を用いて、該撮像時の前記撮像装置の状態に応じて、予め設けられた複数の生成条件のうちから選択した生成条件に従って前記再構成画像を生成し、
    前記記録手段は、該生成した再構成画像と前記撮像で得られた画像信号とを関連付けて記録する
    ことを特徴とする画像処理装置。