JP6047025B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、ライトフィールドデータをリフォーカス演算処理する撮像装置に関するものである。

近年、固体撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が、非特許文献１などにおいて提案されている。このような撮像装置の用途としては、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、次のようなものが考えられる。即ち、撮影された画像に対して、所望の焦点位置に焦点を合わせた係数（以下、リフォーカス係数という）を用いたリフォーカス演算処理により、画像を再構築することが可能である。

このようなリフォーカス可能な画像を閲覧する場合には、焦点位置が合っていない箇所では画像がぼけており、所望の被写体を探すことが難しいという問題があった。この問題を解決するため、特許文献１には、画像からオブジェクトを抽出し、そのオブジェクトの存在する部分に関して合焦したリフォーカス画像を表示することが記載されている。

特開２０１１−２２７９６号公報

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら、上述の特許文献１に開示された従来技術では、撮影時の情報をタグデータとして有し、再構成後のリフォーカス面を決定するために、視点の異なる複数画像間の位相差を算出する必要があるため、演算量が多くなってしまうという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、リフォーカス演算処理により画像を再構築することができる撮像装置において、正確かつ容易に所望の被写体位置へリフォーカス演算処理を行えるようにすることである。

本発明に係わる撮像装置は、被写体空間の光の３次元的な情報であるライトフィールドデータを取得するライトフィールドデータ取得手段と、前記ライトフィールドデータの撮像された画角内における被写体の位置の情報を取得する位置情報取得手段と、前記ライトフィールドデータの所定の焦点位置におけるリフォーカス係数を用いて画像データを生成するリフォーカス画像生成手段と、前記リフォーカス画像を表示する表示手段と、前記表示手段により表示された画像の任意の位置を指定する位置指定手段と、前記指定された位置と前記被写体の位置との間の距離を算出する距離算出手段と、前記距離算出手段により算出された距離に基づいて１つの被写体を選択する選択手段と、前記選択手段により選択された被写体の位置のリフォーカス係数を用いてリフォーカス画像を生成する補正リフォーカス画像生成手段と、を備えることを特徴とする。

本発明によれば、リフォーカス演算処理により画像を再構築することができる撮像装置において、正確かつ容易に所望の被写体位置へリフォーカス演算処理を行うことが可能となる。

本発明の各実施形態に共通する撮像装置の構成を示すブロック図。 撮像素子とマイクロレンズアレイの構成を説明する図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 撮影レンズの瞳領域と受光画素の対応関係を説明する図。 リフォーカス画像生成光線の通過領域を説明する図。 被写体を推測して焦点位置を自動的に合わせる第１の実施形態のフローチャート。 第１、第３の実施形態を説明するための画像を示した図。 被写体を推測して現在の焦点位置から所定の被写界深度内にあるかを判断して、焦点位置を自動的に合わせる第２の実施形態のフローチャート。 ユーザーが指定した焦点位置と、被写体を推測して選択した被写体の焦点位置と、現在の焦点位置とにおけるリフォーカス演算処理を行う第３の実施形態のフローチャート。 ユーザーが指定した画像領域のクロップ画角を拡大表示させた時において、被写体を推測して焦点位置を自動的に合わせる第４の実施形態のフローチャート。 第４の実施形態を説明するための画像を示す図。

（第１の実施形態）
図１は、本実施形態における撮像装置の構成を示すブロック図である。

撮像装置１００は、撮影レンズ１０１と、マイクロレンズアレイ１０２（以下、ＭＬＡと記す）と、撮像素子１０３と、アナログ信号処理部１０４と、画像処理部１０５と、カメラ制御部１０６と、操作部１０７とを備える。また、被写体検出部１０８と、メモリ１０９と、表示部１１０と、リフォーカス処理部１２０と、システムバス１１１も備える。ここで、画像処理部１０５、カメラ制御部１０６、被写体検出部１０８、メモリ１０９、表示部１１０、リフォーカス処理部１２０は、システムバス１１１を介して接続されている。また、撮影レンズ１０１、アナログ信号処理部１０４、操作部１０７は、カメラ制御部１０６に接続されている。リフォーカス処理部１２０は、距離算出部１２２と、被写体選択部１２３と、リフォーカス画像生成部１２４とを備え、ローカルバス１２１を介して、システムバス１１１と接続されている。

撮影レンズ１０１は、不図示ではあるが、複数枚のレンズから構成される。この複数枚のレンズの中に、可動なフォーカシングレンズを含み、カメラ制御部１０６の指示に応じて、フォーカシングレンズを動かすことにより、被写体のピントを調節可能となっている。

ＭＬＡ１０２は、複数のマイクロレンズから構成され、撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域（瞳の部分領域）を通過した光は、ＭＬＡ１０２に入射し、瞳領域毎に分離して出射される。

撮像素子１０３は、撮影レンズ１０１とＭＬＡ１０２を通過した被写体の画像光を光電変換してアナログ画像信号に変換する多数の画素配列を有するＣＣＤ、ＣＭＯＳセンサ等の撮像素子である。なお、撮像素子１０３としては、特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像素子１０３とみなす構成もライトフィールドデータを得られる撮像光学系として本発明にも有効であり、このような一般的に被写体空間の３次元的な情報であるライトフィールドデータを取得できる撮像光学系であれば、上記に限定されない。

アナログ信号処理部１０４は、カメラ制御部１０６の指示に応じて、撮像素子１０３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施す。そして、信号処理されたデジタル画像信号を画像処理部１０５へ転送する。

画像処理部１０５は、カメラ制御部１０６の指示に応じて、アナログ信号処理部１０４で処理されたデジタル画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換などの画像処理を施す。そして、信号処理されたデジタル画像信号をメモリ１０９へ記憶させる。

メモリ１０９は、画像処理部１０５から出力されるデジタル画像信号を一時的に記憶する。また、メモリ１０９は、カメラ制御部１０６による処理の過程で作成された設定情報を一時的に記憶する。

操作部１０７は、ボタンやタッチパネルなどといった、ユーザーからの操作を受け付ける部分であり、受け付けた操作に応じて、ピント合わせ動作の開始や、メモリ１０９に保存されたデジタル画像データの再生、消去など、各種の動作を行う。

カメラ制御部１０６は、操作部１０７からの指示を受け、撮影を実行するために各ブロックの動作を統括制御する。表示部１１０は、ＬＣＤ（液晶表示装置）等で構成され、リフォーカス処理部２１０で処理されたデジタル画像信号を受けて表示する。

被写体検出部１０８は、画像処理部１０５で得られたデジタル画像データの中からすべての被写体の顔を検出し、その画面内における顔位置を検出するものである。ここでは、顔検出について説明するが、人体検出等の被写体検出処理を行っても良い。また、被写体検出に関しては、公知の顔検出処理や人体検出処理を行うものとする。

距離算出部１２２は、操作部１０７からユーザーが指定した位置と被写体検出部１０８で得られた被写体の位置との距離を算出し、算出結果をメモリ１０９へ記憶させる。複数の被写体が検出されている場合は、検出した被写体の数の分だけ距離を算出し、算出結果をメモリ１０９へ記憶させる。

被写体選択部１２３は、距離算出部１２２の結果をメモリ１０９から読み出し、ユーザーが指定した位置から最も近い被写体を選択し、選択した被写体位置の情報をリフォーカス画像生成部１２４へ転送する。

リフォーカス画像生成部１２４は、被写体選択部１２３で選択された被写体のリフォーカス係数を用いて、リフォーカス演算処理を行い、リフォーカス画像データを生成する。リフォーカス演算処理に関しては、例えば、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）という手法を用いる。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。

１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では画素配列２０には、単位画素２０１が５行５列の計２５個、さらに撮像素子１０３は画素配列２０が５行５列の２５個あるものとする。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像する。

図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。

ここで、画面内（画像中）の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。

図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、上記の撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データ（画像データ）に対して、任意に設定した焦点位置（リフォーカス面）で画像を再構成する処理（リフォーカス可能とする処理）について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見て示した図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

以下、図６を参照して、本発明の第１の実施形態による、被写体を推測して焦点位置を自動的に合わせる動作のフローチャートについて説明する。

まず、ステップＳ２０１では、ユーザーにより操作部１０７から撮影の指示が行われ、撮影レンズ１０１により光束を集光して、ＭＬＡ１０２を介し被写体像を撮像素子１０３の受光面に形成することによりライトフィールドデータを取得する（ライトフィールドデータ取得）。次に、ステップＳ２０２では、ライトフィールドデータに対し、アナログ信号処理部１０４でＡ／Ｄ変換、画像処理部１０５で現像処理等を行い、生成したデジタル画像データをメモリ１０９へ記憶させる。図７（ａ）に、被写体ＳＵＢ１、ＳＵＢ２、ＳＵＢ３の撮影画像について、ステップＳ２０２にて現像処理が行われた画像を示す。

次に、ステップＳ２０３では、被写体検出部１０８がメモリ１０９に記憶されているデジタル画像データを読み出し、すべての被写体の顔を検出し、その画角内における顔位置をメモリ１０９へ記憶させる（位置情報取得）。図７（ｂ）において、顔位置は、顔検出した顔枠の中心位置であることを示しており、被写体ＳＵＢ１の顔位置は３０１、被写体ＳＵＢ２の顔位置は３０２、被写体ＳＵＢ３の顔位置は３０３である。

次に、ステップＳ２０４では、リフォーカス画像生成部１２４がメモリ１０９に記憶されているデジタル画像データを読み出し、初期設定の焦点位置におけるリフォーカス係数を用いてリフォーカス画像を生成し、表示部１１０へ出力する。初期設定の焦点位置は、定められた特定の焦点位置であってもよいし、以前にリフォーカス処理を行った焦点位置であってもよい。図７（ｃ）に、被写体ＳＵＢ１、ＳＵＢ２、ＳＵＢ３の撮影画像において、初期設定の焦点位置が被写体ＳＵＢ１である表示画像を示す。

ステップＳ２０４により、被写体ＳＵＢ１にリフォーカスされ、被写体ＳＵＢ２、ＳＵＢ３はぼけた画像となっている。次に、ステップＳ２０５では、ユーザーにより操作部１０７から焦点位置の変更の指示がある場合、ステップＳ２０６へ移行し、指示がなければステップＳ２０５に戻る。

次に、ステップＳ２０６では、距離算出部１２２により、ステップＳ２０５で指示された焦点位置とＳ２０３で検出したすべての被写体位置の距離を算出し、算出結果をメモリ１０９へ記憶させる。図７（ｄ）において、３０４はユーザーにより変更指示された焦点位置である（位置指定）。また、被写体ＳＵＢ１の顔位置と３０４の距離をＤ１、被写体ＳＵＢ２の顔位置と３０４の距離をＤ２、被写体ＳＵＢ３の顔位置と３０４の距離をＤ３とする。

次に、ステップＳ２０７では、被写体選択部１２３により、ステップＳ２０６にて算出した距離の結果より、ユーザーが指定した位置から最も距離が近い被写体（近い距離に対応する被写体）を選択する。そして、選択した被写体位置の情報をリフォーカス画像生成部１２４へ転送する。図７（ｄ）において、Ｄ２＜Ｄ１＜Ｄ３の関係にあるので、被写体ＳＵＢ２が選択され、顔位置３０２がリフォーカス画像生成部１２４へ転送される。

次に、ステップＳ２０８では、リフォーカス画像生成部１２４がメモリ１０９に記憶されているデジタル画像データを読み出す。そして、ステップＳ２０７により被写体選択部１２３から転送される焦点位置におけるリフォーカス係数を用いてリフォーカス画像を生成し（補正リフォーカス画像生成）、表示部１１０へ出力する。図７（ｅ）では、被写体ＳＵＢ１、ＳＵＢ２、ＳＵＢ３の撮影画像において、選択された焦点位置が被写体ＳＵＢ２である表示画像を示す。ステップＳ２０８により、被写体ＳＵＢ２にリフォーカスされ、被写体ＳＵＢ１、ＳＵＢ３はぼけた画像となっている。

以上の構成によって、取得したライトフィールドデータに対し、ユーザーが指定した任意の焦点位置へリフォーカス演算処理を行う場合、指定した位置から最も近い被写体の位置へリフォーカス演算処理を行う。これにより、焦点位置が合っておらずぼけて確認が困難な被写体に対しても、着目被写体を推測し、正確かつ容易に所望の被写体位置へリフォーカス演算処理を行ことが可能となる。

（第２の実施形態）
以下、図８を参照して、本発明の第２の実施形態による、被写体が現在の焦点位置から所定の被写界深度内にあるかを判断して、焦点位置を自動的に合わせる動作のフローチャートについて説明する。

図８のステップＳ４０１からＳ４０７の処理は、第１の実施形態の図６のステップＳ２０１からＳ２０７と同じである。次に、ステップＳ４０８では、リフォーカス画像生成部１２４が、ステップＳ４０７により被写体選択部１２３から転送される焦点位置が、現在設定されている焦点位置から所定の被写界深度内にあるかを判定する。そして、所定の被写界深度外であれば、ステップＳ４０９へ移行し、所定の被写界深度内であれば処理を終了する。所定の被写界深度範囲は、あらかじめユーザーによって設定できるようになっていても良い。次に、ステップＳ４０９では、リフォーカス画像生成部１２４がメモリ１０９に記憶されているデジタル画像データを読み出し、ステップＳ４０７により被写体選択部１２３から転送される焦点位置におけるリフォーカス係数を用いてリフォーカス画像を生成する。そして、表示部１１０へ出力する。

以上の構成によって、複数の被写体が所定の被写界深度内にある場合、被写体の選択結果によって逐次リフォーカス演算を行う必要がなくなり、第１の実施形態に比較して消費電力の削減を図ることができる。

（第３の実施形態）
以下、図９を参照して、本発明の第３の実施形態による、ユーザーが指定した焦点位置と、被写体を推測して選択した被写体の焦点位置と、現在の焦点位置とにおけるリフォーカス演算処理を行う動作のフローチャートについて説明する。

図９のステップＳ５０１からＳ５０７の処理は、第１の実施形態の図６のステップＳ２０１からＳ２０７と同じである。次に、ステップＳ５０８では、リフォーカス画像生成部１２４がメモリ１０９に記憶されているデジタル画像データを読み出し、ステップＳ５０５により指定された焦点位置におけるリフォーカス係数を用いて所定のクロップ画角のリフォーカス画像を生成する。さらに、ステップＳ５０７により被写体選択部１２３から転送される焦点位置におけるリフォーカス係数を用いて所定のクロップ画角のリフォーカス画像を生成する。そして、上記リフォーカスされた２つのクロップ画角画像を現在の画像に対して合成する。

図７（ｆ）に、ステップＳ５０４により、被写体ＳＵＢ１にリフォーカスされた画像に対し、クロップ画像３０５、３０６を合成した表示画像を示す。３０４はユーザーにより変更指示された焦点位置であり、３０６は３０４で指定した焦点位置を中心に所定のクロップ画角で切り出して、リフォーカス演算処理を行った画像である。また、３０５はステップＳ５０３にて顔検出した顔枠の画角でクロップ切り出して、リフォーカス演算処理を行った画像である。

以上の構成によって、複数の焦点位置にリフォーカス演算処理された画像を同時に確認することが可能となる。

（第４の実施形態）
以下、図１０を参照して、本発明の第４の実施形態による、ユーザーが指定した画像領域のクロップ画角を拡大表示させた時において、被写体を推測して焦点位置を自動的に合わせる動作のフローチャートについて説明する。

図１０のステップＳ６０１からＳ６０４の処理は、第１の実施形態の図６のステップＳ２０１からＳ２０４と同じである。次に、ステップＳ６０５では、ユーザーが操作部１０７からクロップ拡大表示させたい画像領域を指示した場合、ステップＳ６０６へ移行し、指示がなければステップＳ６０５に戻る。

図１１（ａ）に、被写体ＳＵＢ１、ＳＵＢ２、ＳＵＢ３の撮影画像において、初期設定の焦点位置が被写体ＳＵＢ１である表示画像を示す。ステップＳ６０４により、被写体ＳＵＢ１にリフォーカスされ、被写体ＳＵＢ２、ＳＵＢ３はぼけた画像となっている。７０１は、ユーザーがクロップ拡大表示させたい画像領域を示す。

次に、ステップＳ６０６では、ステップＳ６０５にて指示された画像領域をクロップし、表示画面サイズに拡大して、表示部１１０へ出力する。

図１１（ｂ）に、７０１で指定された画像領域を表示画面サイズにクロップ拡大した表示画像を示す。次に、ステップＳ６０７では、距離算出部１２２により、ステップＳ６０５で指示された画像領域の中心位置とＳ６０３で検出したクロップ画像内のすべての被写体位置の距離を算出し、算出結果をメモリ１０９へ記憶させる。

図１１（ｃ）において、７０４は指示された画像領域の中心位置、７０２は被写体ＳＵＢ１の顔位置、７０３は被写体ＳＵＢ３の顔位置である。また、被写体ＳＵＢ１の顔位置と７０４の距離をＤ４、被写体ＳＵＢ３の顔位置と７０４の距離をＤ５とする。ここで、被写体位置の距離は、指示された画像領域の中心位置と被写体位置で算出したが、指示された画像領域の中心位置でなく、指示された画像領域の任意の位置でも構わない。

次に、ステップＳ６０８では、被写体選択部１２３により、ステップＳ６０７にて算出した距離の結果より、指示された画像領域の中心位置から最も距離が近い被写体を選択し、選択した被写体位置の情報をリフォーカス画像生成部１２４へ転送する。

図１１（ｃ）において、Ｄ５＜Ｄ４の関係にあるので、被写体ＳＵＢ３が選択され、顔位置７０３がリフォーカス画像生成部１２４へ転送される。次に、ステップＳ６０９では、リフォーカス画像生成部１２４がメモリ１０９に記憶されているデジタル画像データを読み出し、ステップＳ６０８により被写体選択部１２３から転送される焦点位置におけるリフォーカス係数を用いてリフォーカス画像を生成し、表示部１１０へ出力する。

図１１（ｄ）に、被写体ＳＵＢ１、ＳＵＢ２、ＳＵＢ３の撮影画像において、クロップ拡大表示されて、選択された焦点位置が被写体ＳＵＢ３である表示画像を示す。ステップＳ６０９により、被写体ＳＵＢ３にリフォーカスされ、被写体ＳＵＢ１はぼけた画像となっている。ここで、指示された画像領域内に選択された最も近い被写体がない場合、選択した被写体が画像領域に入るように移動してからリフォーカス演算処理を行っても構わない。

以上の構成によって、取得したライトフィールドデータに対し、ユーザーが指示した任意の画像領域をクロップ拡大した表示画像においてリフォーカス演算処理を行う場合、指定した画像領域の中心位置から最も近い被写体の位置へリフォーカス演算処理を行う。これにより、焦点位置が合っておらずぼけて確認が困難な被写体に対しても、着目被写体を推測し、正確かつ容易に所望の被写体位置へリフォーカス演算処理を行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 被写体空間の光の３次元的な情報であるライトフィールドデータを取得するライトフィールドデータ取得手段と、
   前記ライトフィールドデータの撮像された画角内における被写体の位置の情報を取得する位置情報取得手段と、
   前記ライトフィールドデータの所定の焦点位置におけるリフォーカス係数を用いて画像データを生成するリフォーカス画像生成手段と、
   前記リフォーカス画像を表示する表示手段と、
   前記表示手段により表示された画像の任意の位置を指定する位置指定手段と、
   前記指定された位置と前記被写体の位置との間の距離を算出する距離算出手段と、
   前記距離算出手段により算出された距離に基づいて１つの被写体を選択する選択手段と、
   前記選択手段により選択された被写体の位置のリフォーカス係数を用いてリフォーカス画像を生成する補正リフォーカス画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記ライトフィールドデータ取得手段は、前記ライトフィールドデータを得るための、撮影レンズの瞳の部分領域を通過する光束を受光する複数の画素が配列された撮像素子を有することを特徴とする請求項１に記載の撮像装置。
3. 前記選択手段は、前記距離算出手段により算出された距離のうち最も小さい距離に対応する被写体を選択することを特徴とする請求項１に記載の撮像装置。
4. 前記補正リフォーカス画像生成手段は、前記選択された被写体が、予め設定されているリフォーカス係数の焦点位置から所定の被写界深度の範囲内にあるかを判定する判定手段を有し、前記選択された被写体が前記所定の被写界深度の範囲内ならば画像データを生成せず、前記所定の被写界深度の範囲内でないならば前記選択された被写体の位置のリフォーカス係数を用いて画像データを生成することを特徴とする請求項１に記載の撮像装置。
5. 前記補正リフォーカス画像生成手段は、前記指定された位置のリフォーカス係数と、前記選択された被写体の位置のリフォーカス係数と、予め設定されているリフォーカス係数とを用いて、それぞれ画像データを生成することを特徴とする請求項１に記載の撮像装置。
6. 前記位置指定手段は、前記表示手段により表示された画像内の領域を指定し、指定された領域のクロップ画像内の位置を焦点位置とすることを特徴とする請求項１に記載の撮像装置。
7. 画像を撮像する撮像手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
8. 前記撮像手段は、マイクロレンズアレイと、複数の光電変換部のセットとを有し、各光電変換部のセットはそれぞれのマイクロレンズに対応することを特徴とする請求項７に記載の撮像装置。
9. 特定の被写体とそのリフォーカス画像上での位置を検出する検出手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
10. 前記検出手段は、前記特定の被写体として顔を検出することを特徴とする請求項９に記載の撮像装置。
11. 被写体空間の光の３次元的な情報であるライトフィールドデータを取得するライトフィールドデータ取得工程と、
    前記ライトフィールドデータの撮像された画角内における被写体の位置の情報を取得する位置情報取得工程と、
    前記ライトフィールドデータの所定の焦点位置におけるリフォーカス係数を用いて画像データを生成するリフォーカス画像生成工程と、
    前記リフォーカス画像を表示する表示工程と、
    前記表示工程により表示された画像の任意の位置を指定する位置指定工程と、
    前記指定された位置と前記被写体の位置との間の距離を算出する距離算出工程と、
    前記距離算出工程により算出された距離に基づいて１つの被写体を選択する選択工程と、
    前記選択工程により選択された被写体の位置のリフォーカス係数を用いてリフォーカス画像を生成する補正リフォーカス画像生成工程と、
    を備えることを特徴とする撮像装置の制御方法。
12. コンピュータに請求項１１に記載の制御方法を実行させるためのプログラム。
13. コンピュータに請求項１１に記載の制御方法を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。