JP5854984B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に画像信号から任意の焦点面に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の焦点面に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られたＬＦデータ（Light Field Data）は、隣り合う画素が異なる方向から入射した光束を記録しており、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離の焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の焦点面に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

非特許文献１の方法を用いて記録されたＬＦデータは、上述したように焦点面を設定した上で該焦点面に合焦した再構成画像を生成するまでは、被写体の内容を把握できる状態で閲覧することができない。このため、例えば各ＬＦデータについて、１つの焦点面に合焦するように生成されたサムネイル画像を表示することで、ユーザに所望のシーンを撮影したＬＦデータを選択させることが想定される。

しかしながら、このようなＬＦデータから生成した、１つの焦点面に合焦したサムネイル画像では、該焦点面とは異なる焦点面で合焦する被写体の像がぼやけるため、ユーザは被写体を認識できない。即ち、ユーザは所望の被写体が含まれるシーンを撮影したＬＦデータを特定することができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、画像信号を記録したシーンに含まれる被写体を特定可能な情報表示を行う画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力される画像信号を取得する取得手段と、取得手段により取得された画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定手段と、設定手段により設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する画像信号の画素値を合成することにより生成する生成手段と、複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成して出力する出力手段と、を有し、動画像は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含むことを特徴とする。

このような構成により本発明によれば、画像信号を記録したシーンに含まれる被写体を特定可能な情報表示を行うことが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像素子の光電変換素子との関係を説明するための図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像素子の光電変換素子との関係を説明するための別の図 本発明の実施形態に係る撮像レンズの瞳領域と、１つのマイクロレンズに対応する光電変換素子との関係を説明するための図 本発明の実施形態に係る撮影処理を例示したフローチャート 本発明の実施形態に係る撮像素子の各光電変換素子に入射する光束の光路を説明するための図 本発明の実施形態に係るリフォーカス画像の生成方法を説明するための図 本発明の実施形態に係る、ＬＦデータから生成される動画像を説明するための図 本発明の実施形態に係る一覧表示処理を例示したフローチャート 本発明の実施形態に係る一覧表示画面を例示した図 本発明の変形例に係る撮影処理を例示したフローチャート 本発明の変形例に係る、ＬＦデータから生成される動画像を説明するための図 本発明の変形例に係る光学系を例示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後に焦点面を変更した再構成画像を生成可能なＬＦデータを記録するデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮影後に任意の焦点面に合焦した再構成画像を生成可能なＬＦデータを生成すること、あるいは該ＬＦデータから任意の焦点面に合焦した再構成画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において「ＬＦデータ」とは、後述するように各マイクロレンズに対して撮像素子の複数の光電変換素子が割り当てられているマイクロレンズアレイを用いた撮影により得られた画像データを示す。１つのマイクロレンズに対して割り当てられた複数の光電変換素子の各々は、撮像光学系の射出瞳の異なる領域を通過した光束を受光する。即ち、ＬＦデータにおいて、１つのマイクロレンズに対して割り当てられた光電変換素子の出力に対応する画素は、隣り合う画素で像が連続しないことになる。このため本実施形態のＬＦデータは、撮影後に所定の焦点面に合焦した画像を生成する処理が実行されることで、隣り合う画素で像が連続する画像に変換される。本明細書では、このように撮影後に焦点面を決定し、ＬＦデータから該焦点面に合焦した画像を生成することを「リフォーカス」あるいは「再構成」と表現するものとする。

＜デジタルカメラ１００の構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理や一覧表示処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示によりＴＧ１０７から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

（マイクロレンズと光電変換素子との関係）
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応付けられており、図２の例では１つのマイクロレンズ２０１に対して６×６＝３６画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_６に入射する光束を図示している。図は、デジタルカメラ１００の横位置における鉛直方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_６には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を水平方向に６分割した領域ａ_１乃至ａ_６を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では鉛直方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は水平方向に限らず、撮像光学系１０４の光軸のｙ軸においても同様に行われる。即ち、撮像光学系１０４の射出瞳を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０８及びＤＦＥ１０９は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０８は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、デジタル画像信号（ＬＦデータ）をＤＦＥ１０９に出力する。ＤＦＥ１０９は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１１０は、ＤＦＥ１０９による補正処理が適用されたＬＦデータに対して、色変換、ホワイトバランス調整、γ補正処理等の各種画像処理を適用する。各種画像処理は、例えばデジタルカメラ１００に設定されている撮影モードに応じて異なるものであってもよい。また本実施形態では画像処理部１１０は、ＬＦデータから任意の焦点面に合焦する再構成画像（リフォーカス画像）の生成する処理も行う。任意の焦点面に合焦する画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

表示部１１１は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１１は、画像処理部１１０により生成された、任意の焦点面に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１１には、該ＬＦデータではなく画像処理部１１０により生成された再構成画像が表示される。

記録媒体１１２は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１２には、ＬＦデータ、及び各ＬＦデータに関連付けられる、該ＬＦデータから生成された被写体確認用の動画像が記録される。

操作入力部１１３は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１３は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。

＜撮影処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本撮影処理は、例えばデジタルカメラ１００が起動された際に開始されるものとして説明する。

Ｓ５０１で、制御部１０１は、撮影指示がなされたか否かを判断する。具体的には制御部１０１は、ユーザによって不図示のシャッタボタンが操作されたことを示す制御信号を、操作入力部１１３から受信したか否かにより、撮影指示の有無を判断する。制御部１０１は、撮影指示がなされたと判断した場合は処理をＳ５０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ５０２で、制御部１０１は撮影処理を実行し、撮像部１０６により出力された画像信号に係るＬＦデータを取得する。具体的には制御部１０１は、ＡＦＥ１０８によりＡ／Ｄ変換され、ＤＦＥ１０９による補正処理が適用されたＬＦデータを取得し、ＲＡＭ１０３に格納する。

Ｓ５０３で、制御部１０１は、リフォーカス画像を生成する目標被写体距離を、最も短い被写体距離、即ち最も近景の被写体に対応する被写体距離に設定する。

Ｓ５０４で、制御部１０１は、設定された目標被写体距離に合焦するリフォーカス画像を画像処理部１１０に生成させる。即ち、画像処理部１１０は、撮像光学系１０４の撮像レンズとマイクロレンズアレイ１０５との間の、設定された目標被写体距離に応じて決定されるリフォーカス面（焦点面）において形成される画像を擬似的に生成（再構成）する。

ここで、リフォーカス面において形成される画像の各画素について、該画素を通過する光束が出射される撮像レンズの瞳領域と、該光束が入射するマイクロレンズの対応関係について、図を用いて説明する。

本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様であり、また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々通過した瞳領域及び入射方向の組み合わせが異なる光束を受光することになる。

このため、本実施形態のデジタルカメラ１００では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、図６に示すように射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）とで規定している。リフォーカス画像の生成では、リフォーカス面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分（合算）することで画素値を得ることができる。

図７ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されれている。以下ではｘｚ平面における、リフォーカス面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、リフォーカス面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域とリフォーカス面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズからリフォーカス面までの距離（αはリフォーカス係数：リフォーカス面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

このように全ての画素について上記積分式を行うことで、画像処理部１１０は目標被写体距離に合焦する静止画像を生成できる。制御部１０１は、生成された静止画像をＲＡＭ１０３に格納する。

Ｓ５０５で、制御部１０１は、設定されている目標被写体距離が、リフォーカス範囲のうちの最も長い被写体距離、即ち最も遠景の被写体に対応する被写体距離であるか否かを判断する。制御部１０１は、目標被写体距離がリフォーカス範囲のうちの最も長い被写体距離であると判断した場合は処理をＳ５０７に移し、最も長い被写体距離ではないと判断した場合は処理をＳ５０６に移す。

Ｓ５０６で、制御部１０１は、リフォーカス画像を生成する目標被写体距離を、現在設定されている被写体距離よりも長い被写体距離に設定し、処理をＳ５０４に戻す。なお、新たに設定される目標被写体距離は、現在設定されている被写体距離に予め定められた距離を加算した被写体距離であってよい。

Ｓ５０７で、制御部１０１は、異なる複数の焦点面に対して生成された複数のリフォーカス画像を連結した、ＬＦデータに対応する動画像を画像処理部１１０に生成させる。本実施形態では画像処理部１１０は、図８に示されるように、リフォーカス範囲に含まれる焦点面を順に設定しながら生成したＮ枚のリフォーカス画像を、合焦する被写体距離の短い順に連結した、Ｎフレームの動画像を生成する。即ち、生成される動画像は、取得したＬＦデータについて設定可能な焦点面の範囲に含まれる、全ての被写体に対して順に合焦するフレームで構成されている。

さらに、生成される動画像は、画像処理部１１０により予め定められた符号化方式、例えばＭＰＥＧ規格、Ｈ．２６４規格、Ｈ．２６５規格、ＨＥＶＣ規格（High Efficiency Video Coding：高効率動画像圧縮符号化）等の規格に従って符号化され、汎用的な動画像データとして生成される。

Ｓ５０８で、制御部１０１は、Ｓ５０２において取得したＬＦデータとＳ５０７において生成した動画像とを関連付けて記録媒体１１２に記録し、本撮影処理を完了する。なお、ＬＦデータと動画像とは、例えば別々のファイルとして記録し、ＬＦデータのヘッダ情報に動画像の格納先情報を含めるものであってもよい。また動画像は、例えばＬＦデータのヘッダ情報にサムネイル画像として記録されてもよい。

＜一覧表示処理＞
次に、記録媒体１１２に記録されているＬＦデータを一覧表示する際に実行される、本実施形態のデジタルカメラ１００の一覧表示処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本一覧表示処理は、例えばデジタルカメラ１００が再生モードに設定されて起動された際に開始されるものとして説明する。

Ｓ９０１で、制御部１０１は、記録媒体１１２に記録されているＬＦデータのうち、表示部１１１に一覧表示するＬＦデータを設定する。本実施形態では図１０に示されるように、表示部１１１には記録媒体１１２に記録されているＬＦデータのうちの、６つのデータ１００１、１００２、１００３、１００４、１００５、及び１００６が一覧画面に表示されるものとする。

Ｓ９０２で、制御部１０１は、一覧表示するＬＦデータの各々について、関連付けられて記録されている動画像を記録媒体１１２からＲＡＭ１０３に読み出す。

Ｓ９０３で、制御部１０１は、ＲＡＭ１０３に読み出した各動画像について、一覧画面に表示する再生フレームを設定する。具体的には制御部１０１は、初めてフレームの設定を行う場合は先頭フレームを、既にフレームが設定されていた場合は次のフレームを再生フレームとして設定する。なお、既に設定されていたフレームがその動画像の最終フレームであった場合は、制御部１０１は例えば該動画像の先頭フレームを再生フレームに設定すればよい。

Ｓ９０４で、制御部１０１は、ＲＡＭ１０３に読み出した各動画像に対し復号処理を適用し、Ｓ９０３において設定された再生フレームの画像を取得する。

Ｓ９０５で、制御部１０１は、各動画像の再生フレームの画像を画像処理部１１０に縮小処理させ、表示部１１１に一覧画面として表示させる。

Ｓ９０６で、制御部１０１は、一覧表示するＬＦデータの切り替え指示がなされたか否かを判断する。具体的には制御部１０１は、例えばユーザによってページ送り指示に対応するボタンが操作されたことを示す制御信号を操作入力部１１３から受信したか否かによって、切り替え指示の有無を判断する。制御部１０１は、一覧表示するＬＦデータの切り替え指示がなされたと判断した場合は処理をＳ９０１に戻し、なされていないと判断した場合は処理をＳ９０３に戻す。

なお、本一覧表示処理は、デジタルカメラ１００のモードが再生モードから変更された際、あるいは１つのＬＦデータの選択指示がなされた際に終了するものとする。

以上説明したように、本実施形態の画像処理装置は、ＬＦデータを記録したシーンに含まれる被写体を特定可能な情報表示を行うことができる。具体的には画像処理装置は、撮像装置により撮影された画像信号であって、画素の各々が前記撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する。画像処理装置は、合焦する被写体に対応する焦点面を設定し、設定された焦点面の被写体に合焦した再構成画像を画像信号生成する。そして画像処理装置は、複数の異なる焦点面について生成された複数の再構成画像を連結させて動画像を生成し、画像信号に関連付けて出力する。このため、ユーザはＬＦデータについて焦点面を変更しながら再構成画像を生成することなく、所望の被写体が含まれるＬＦデータを容易に特定できる。

［変形例］
上述した実施形態では、ＬＦデータについて、合焦する焦点面が設定可能な焦点面の範囲内で連続的に切り替わる動画像を生成するものとして説明したが、本発明の実施はこれに限られるものではない。本変形例では、ＬＦデータについて、該出力データを記録したシーンに含まれる特定の被写体を、ユーザに対して認識しやすくした動画像を生成する方法について以下に説明する。

＜デジタルカメラ１００の構成＞
本変形例のデジタルカメラ１００の構成は、以下の顔検出部１１４をさらに有する以外は上述の実施形態と同様であるため、他のブロックについての説明は省略する。

顔検出部１１４は、ＬＦデータから生成されたリフォーカス画像に対して、特定の被写体である人物の顔を検出する顔検出処理を行う。顔検出部１１４は、予め記憶されている人物の顔検出用の顔パターンを用い、リフォーカス画像に人物の顔が含まれるか否かを判断する。なお、本変形例では人物の顔を検出するものとして説明するが、特定の被写体はこれに限らず、例えば人体や、予め登録された被写体を検出するものであってもよい。

＜撮影処理＞
以下、本変形例のデジタルカメラ１００の撮影処理について、図１１のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本撮影処理は、例えばデジタルカメラ１００が起動された際に開始されるものとして説明する。また、本変形例の撮影処理において、上述した実施形態の撮影処理と同様の処理を行うステップについては同一の参照符号を付すことにより説明を省略し、以下では本変形例の撮影処理において特徴的な処理を行うステップについてのみ説明するものとする。

Ｓ５０４において目標被写体距離に合焦するリフォーカス画像が生成されると、制御部１０１はＳ１１０１で、生成されたリフォーカス画像について顔検出部１１４に人物の顔を検出する顔検出処理を実行させ、人物の顔が含まれているか否かを判断する。制御部１０１は、リフォーカス画像に人物の顔が含まれていると判断した場合は処理をＳ１１０２に移し、含まれていないと判断した場合は処理をＳ５０５に移す。

Ｓ１１０２で、制御部１０１は、生成されたリフォーカス画像の識別情報（例えば最近景から何番目に設定された被写体距離であるかを示す情報等）を、ＲＡＭ１０３に記憶されている人物の顔が検出されたリフォーカス画像のリストに追加する。なお、本変形例では人物の顔が検出されたリフォーカス画像のリストに識別情報を追加することで、顔検出結果を保持するものとして説明するが、人物の顔が検出されたか否かの情報を格納する方法はこれに限られるものではない。即ち、リフォーカス画像について人物の顔が検出されたか否かの情報は、例えばリフォーカス画像に顔が検出されたことを示す情報を関連付けられてもよいことは容易に想像されよう。

このように目標被写体距離を順に選択してリフォーカス範囲の全体についてのリフォーカス画像の生成が完了した後、制御部１０１は処理をＳ１１０３に移す。

Ｓ１１０３で、制御部１０１は、異なる複数の焦点面に対して生成された複数のリフォーカス画像を連結した、ＬＦデータに対応する動画像を画像処理部１１０に生成させる。このとき画像処理部１１０は、ＲＡＭ１０３に記憶されている人物の顔が検出されたリフォーカス画像のリストを参照し、顔が検出されたリフォーカス画像については該画像を複数フレーム連続させて動画像を生成するものとする。即ち、例えば図１２に示すように、画像処理部１１０は６０ＦＰＳの再生フレームレートの動画像を生成する際に、顔が検出されたリフォーカス画像については、該画像を４フレーム連続させる。つまり、このようにして生成された動画像は、特定の被写体である人物の顔が含まれる焦点位置のリフォーカス画像については再生フレームレートが１５ＦＰＳであるように見せることができる。

このようにすることで本変形例のデジタルカメラ１００は、ＬＦデータについて、該出力データを記録したシーンに含まれる特定の被写体をユーザが認識しやすい動画像を生成することができる。

なお、上述した実施形態及び変形例では、ＬＦデータに対して生成する動画像は、合焦する被写体距離の短い順に遷移する動画像であるものとして説明したが、これに限られるものではない。動画像は、例えば合焦する被写体距離の長い順に遷移するものであってもよい。また動画像は、例えば人物が検出された範囲のみ等、設定可能な焦点面の範囲の一部の範囲についてのみ、合焦する被写体が被写体距離に応じて遷移するものであってもよい。このような場合、動画像を生成する焦点面の範囲や、焦点面を遷移する順番は、ユーザにより設定可能であってもよい。

図１３を用いて本実施例に適用可能な別の光学系の例について説明する。図１３は物体（被写体）からの光線が撮像素子１０６上に結像する状態を模式的に示した図である。同図において、図１及び図３と同じ部分は同じ符号を付して示す。

図１３（ａ）乃至（ｃ）は図３で説明した光学系と対応している。ただし、撮像素子１０６において、マイクロレンズアレイ１０５内の１つのマイクロレンズに割り当てられる画素数は５×５の２５個となっており、射出瞳３０１は垂直方向に５つの瞳領域（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５）で表現している。撮影光学系１０４の結像面近傍にマイクロレンズアレイ１０５を配置した例である。図１３（ｂ）は撮影光学系１０４の結像面よりも物体寄りにマイクロレンズアレイ１０５を配置した例である。図１３（ｃ）は撮影光学系１０４の結像面よりも物体から遠い側にマイクロレンズアレイ１０５を配置した例である。

図１３において、１０６は撮像素子を、１０５はマイクロレンズアレイを、ｂ１、ｂ２、ｂ３、ｂ４、ｂ５は瞳領域を、１３０１は物体平面を、１３０１ａ、１３０１ｂは物体上の適当な点を、１３０２は撮影光学系の瞳平面を示す。また、２０１ｅ、２０１ｆ、２０１ｇ、２０１ｈ、２０１ｉ、２０１ｊ、２０１ｋ、２０１ｌ、２０１ｍはマイクロレンズアレイ１０５上の特定のマイクロレンズをそれぞれ示している。図１３（ｂ）及び（ｃ）に示した１０６ａは仮想的な撮像素子を、１０５ａは仮想的なマイクロレンズアレイを示している。これらは、図１３（ａ）との対応関係を明確にするために参考に示した。また、物体上の点１３０１ａから出て瞳平面上の領域ｂ１およびｂ３を通過する光束を実線で、物体上の点１３０１ｂから出て瞳平面上の領域ｂ１およびｂ３を通過する光束を破線で図示した。

図１３（ａ）の例では、撮影光学系１０４の結像面近傍にマイクロレンズアレイ１０５を配置することで、撮像素子１０６と撮影光学系の瞳平面１３０２が共役の関係にある。さらに、物体平面１３０１とマイクロレンズアレイ１０５が共役の関係にある。このため物体上の点１３０１ａから出た光束はマイクロレンズ２０１ｅに、１３０１ｂを出た光束はマイクロレンズ２０１ｆに到達し、領域ｂ１からｂ５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図１３（ｂ）の例では、マイクロレンズアレイ１０５で撮影光学系１０４からの光束を結像させ、その結像面に撮像素子１０６を設ける。このように配置することで、物体平面１３０１と撮像素子１０６は共役の関係にある。物体上の点１３０１ａから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ２０１ｇに到達し、物体上の点１３０１ａから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ２０１ｈに到達する。物体上の点１３０１ｂから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ２０１ｈに到達し、物体上の点１３０１ｂから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ２０１ｉに到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面１０６ａ上の位置に並べなおせば、図１３（ａ）と同様の情報（再構成画像）を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図１３（ｃ）の例では、マイクロレンズアレイ１０５で撮影光学系１０４からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子１０６を設ける。このように配置することで、物体平面１３０１と撮像素子１０６は共役の関係にある。物体上の点１３０１ａから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ２０１ｌに到達し、物体上の点１３０１ａから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ２０１ｊに到達する。物体上の点１３０１ｂから出で瞳平面上の領域ｂ１を通過した光束はマイクロレンズ２０１ｍに到達し、物体上の点１３０１ｂから出で瞳平面上の領域ｂ３を通過した光束はマイクロレンズ２０１ｌに到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図１３（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおせば、図１３（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

なお、図１３ではマイクロレンズアレイ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

また、ＬＦデータから任意の焦点面の画像を取得する方法としては、例えば特開２０１１−２２７９６号公報に開示されているような方法も適用できる。すなわち、複数のカメラを２次元平面上に格子状に配置したいわゆる多眼カメラによって、少なくとも２つの異なる視点から撮像した画像を取得し、それら複数の画像を処理して任意の焦点面の画像を取得する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (30)

1. 画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力される画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定手段と、
   前記設定手段により設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成手段と、
   複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成して出力する出力手段と、を有し、
   前記動画像は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含む
   ことを特徴とする画像処理装置。
2. 前記出力手段は、前記複数の異なる焦点面について生成された前記複数の再構成画像を、焦点面に対応する被写体の前記撮像装置からの距離の順に含む前記動画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の異なる焦点面について生成された前記複数の再構成画像を連結する順番を、前記距離が短い順とするか、前記距離が長い順とするかを選択する選択手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段により生成された再構成画像について、特定の被写体を検出する検出手段をさらに有し、
   前記出力手段は、前記複数の異なる焦点面についてそれぞれ生成された前記複数の再構成画像のうち、前記検出手段により前記特定の被写体が検出された再構成画像については、該画像を複数フレーム連続させて前記動画像を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記出力手段は、前記動画像を前記画像信号に関連付けて出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記出力手段は、前記動画像を予め定められた符号化方式で符号化して出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記出力手段は、前記動画像を規格に従って符号化して出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記規格は、ＭＰＥＧ規格であることを特徴とする請求項７に記載の画像処理装置。
9. 前記規格は、ＨＥＶＣ規格であることを特徴とする請求項７に記載の画像処理装置。
10. 前記規格は、Ｈ．２６５規格であることを特徴とする請求項７に記載の画像処理装置。
11. 前記動画像をファイル形式で記録媒体に記録する記録手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記設定手段は、ユーザ操作に応じて前記焦点面を設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記出力手段は、各フレームの再構成画像が前記設定手段により設定可能な範囲のうちの一部の範囲内の焦点面にのみ関連付けられた前記動画像を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記動画像の各フレームが、前記設定手段の設定可能な範囲のうちの一部の範囲内の焦点面にのみ関連付けられていることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記出力手段は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含むように前記動画像を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 表示媒体を用いて、前記画像信号に対応する表示として、前記動画像を再生する表示手段をさらに有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 表示媒体を用いて、前記撮像装置により撮像された他の画像信号に対応する表示と共に、前記撮像装置により撮像された画像信号から生成された前記動画像を再生する表示手段をさらに有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
18. 前記画像信号は、前記撮像装置による１回の撮像により得られた信号であることを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理装置。
19. 前記画像信号は、ライトフィールドデータに対応していることを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力される画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定手段と、
    前記設定手段により設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成手段と、
    前記生成手段により生成される再構成画像について、特定の被写体を検出する検出手段と、
    複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成して出力する出力手段と、を有し、
    前記出力手段は、前記検出手段により前記特定の被写体が検出された再構成画像のフレームを複数フレーム連続させて含めるように前記動画像を生成する
    ことを特徴とする画像処理装置。
21. 画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力される画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定手段と、
    前記設定手段により設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成手段と、
    複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成して出力する出力手段と、を有し、
    前記生成手段は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含むように前記動画像を生成する
    ことを特徴とする画像処理装置。
22. 画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力されるデジタル信号を取得する取得手段と、
    前記取得手段により取得された前記デジタル信号から生成される、ある焦点面に合焦する画像について、当該合焦する焦点面を設定する設定手段と、
    前記設定手段により設定された焦点面に合焦した画像を、該焦点面における各画素に対応する前記デジタル信号の画素値を合成することにより生成する生成手段と、
    複数の異なる焦点面をそれぞれ合焦面とする複数の画像をフレームとして含む動画像を生成して出力する出力手段と、を有し、
    前記動画像は、同一の焦点面を合焦面とする画像を連続するフレームとして含む
    ことを特徴とする画像処理装置。
23. 画素の各々が撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を受光することで、画像信号を出力する撮像手段と、
    前記撮像手段により出力された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定手段と、
    前記設定手段により設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成手段と、
    複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成し、前記画像信号に関連付けて記録する記録手段と、を有し、
    前記動画像は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含む
    ことを特徴とする撮像装置。
24. 画素の各々が撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を受光することで、デジタル信号を出力する撮像手段と、
    前記撮像手段により出力された前記デジタル信号から生成される、ある焦点面に合焦する画像について、当該合焦する焦点面を設定する設定手段と、
    前記設定手段により設定された焦点面に合焦した画像を、該焦点面における各画素に対応する前記デジタル信号の画素値を合成することにより生成する生成手段と、
    複数の異なる焦点面をそれぞれ合焦面とする複数の画像をフレームとして含む動画像を生成し、前記デジタル信号に関連付けて記録する記録手段と、を有し、
    前記動画像は、同一の焦点面を合焦面とする画像を連続するフレームとして含む
    ことを特徴とする撮像装置。
25. 画像処理装置の取得手段が、画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力される画像信号を取得する取得工程と、
    前記画像処理装置の設定手段が、前記取得工程において取得された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定工程と、
    前記画像処理装置の生成手段が、前記設定工程において設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成工程と、
    前記画像処理装置の出力手段が、複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成し、前記画像信号に関連付けて出力する出力工程と、を有し、
    前記動画像は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含む
    ことを特徴とする画像処理装置の制御方法。
26. 画像処理装置の取得手段が、画素の各々が撮像装置の撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段から出力されるデジタル信号を取得する取得工程と、
    前記画像処理装置の設定手段が、前記取得工程において取得された前記デジタル信号から生成される、ある焦点面に合焦する画像について、当該合焦する焦点面を設定する設定工程と、
    前記画像処理装置の生成手段が、前記設定工程において設定された焦点面に合焦した画像を、該焦点面における各画素に対応する前記デジタル信号の画素値を合成することにより生成する生成工程と、
    前記画像処理装置の出力手段が、複数の異なる焦点面をそれぞれ合焦面とする複数の画像をフレームとして含む動画像を生成して出力する出力工程と、を有し、
    前記動画像は、同一の焦点面を合焦面とする画像を連続するフレームとして含む
    ことを特徴とする画像処理装置の制御方法。
27. 撮像装置の撮像手段が、画素の各々が撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を受光することで、画像信号を出力する撮像工程と、
    前記撮像装置の設定手段が、前記撮像工程において出力された前記画像信号から生成される、ある焦点面に合焦する再構成画像について、当該合焦する焦点面を設定する設定工程と、
    前記撮像装置の生成手段が、前記設定工程において設定された焦点面に合焦した再構成画像を、該焦点面における各画素に対応する前記画像信号の画素値を合成することにより生成する生成工程と、
    前記撮像装置の記録手段が、複数の異なる焦点面をそれぞれ合焦面とする複数の再構成画像をフレームとして含む動画像を生成し、前記画像信号に関連付けて記録する記録工程と、を有し、
    前記動画像は、同一の焦点面を合焦面とする再構成画像を連続するフレームとして含む
    ことを特徴とする撮像装置の制御方法。
28. 撮像装置の撮像手段が、画素の各々が撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を受光することで、デジタル信号を出力する撮像工程と、
    前記撮像装置の設定手段が、前記撮像工程において出力された前記デジタル信号から生成される、ある焦点面に合焦する画像について、当該合焦する焦点面を設定する設定工程と、
    前記撮像装置の生成手段が、前記設定工程において設定された焦点面に合焦した画像を、該焦点面における各画素に対応する前記デジタル信号の画素値を合成することにより生成する生成工程と、
    前記撮像装置の記録手段が、複数の異なる焦点面をそれぞれ合焦面とする複数の画像をフレームとして含む動画像を生成し、前記デジタル信号に関連付けて記録する記録工程と、を有し、
    前記動画像は、同一の焦点面を合焦面とする画像を連続するフレームとして含む
    ことを特徴とする撮像装置の制御方法。
29. コンピュータを、請求項１乃至２２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
30. コンピュータに、請求項２７または２８に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。