JP6211137B2 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Description

本発明は、撮像装置に関し、特にマイクロレンズアレイを用いて光の入射方向の情報を取得し、リフォーカス画像を再構成する手段を有する撮像装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。

例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対してひとつのマイクロレンズを対応させることで、マイクロレンズを通過した光は複数の画素によって入射方向別に取得される。このように取得された画素信号（ライトフィールド）に対して、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成することができる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

非特許文献１に記載されているライトフィールドカメラでは、再構成可能なリフォーカス面の深度を深くするために、撮影レンズの絞りは開放に近く設定し、光のより大きな角度情報を取得することが望ましい。その場合、一般的に被写界深度は浅いものとなる。

一方、被写界深度が浅い場合、背景等を含めた構図の確認が困難になることが想定される。特に、近年の電子カメラに搭載されているライブビュー（ＬＶ）駆動時において、その目的のひとつである構図の確認に支障をきたす恐れがある。

換言すれば、ライトフィールドカメラでは撮影後に任意の焦点位置にリフォーカスが可能であるが、ライブビュー駆動時においては、主被写体以外のより広範囲にピントが合っていることが望ましい。

しかしながら、被写界深度を深くするために絞りを絞り込むことは、入射光量の低下によるＳ／Ｎ比の悪化が問題になるだけでなく、入射する光の角度情報が一部消失することを意味する。これは、撮影後にリフォーカスが可能な撮像装置本来の用途・目的に相反するものである。

また、主被写体以外のより広範囲にピントが合った画像を表示するために再構成可能なリフォーカス面をすべて再構成して表示することは、演算量が膨大になり、特にライブビュー駆動時においては現実的ではない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点が合った画像を表示できるようにすることである。

本発明に係わる画像処理装置は、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、前記生成手段は、設定する複数の焦点位置のうちの少なくとも１つを撮像時のフォーカスレンズ位置に対応する焦点位置とすることを特徴とする。
また、本発明に係わる画像処理装置は、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートに応じて前記リフォーカス画像を構成する領域の数を変更することを特徴とする。
また、本発明に係わる画像処理装置は、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、前記被写体の距離に対応する情報を有する領域は、前記リフォーカス画像を構成する領域と一致することを特徴とする。

本発明によれば、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点が合った画像を表示することが可能となる。

本発明の一実施形態に係わる撮像装置の全体ブロック図。 撮像素子とマイクロレンズアレイの構成を説明する図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 撮影レンズの瞳領域と受光画素の対応関係を説明する図。 リフォーカス画像生成光線の通過領域を説明する図。 画像処理回路の画像再構成動作を説明するフローチャート。 距離情報の領域分割方法を説明する図。 リフォーカス面の選択方法を説明する図。 リフォーカス面ごとの再構成処理方法を説明する図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる画像処理装置の一例である撮像装置１００のブロック構成を示す図である。図１において、１０１は撮影レンズ、１０２はマイクロレンズアレイ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。複数のマイクロレンズ１０２０ひとつに対して複数の画素が対応するように配置されることで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。

１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力されるデジタル画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理回路、１０７はメモリ回路、１０８は記録回路である。画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理や本実施形態の特徴であるリフォーカス演算を施す。メモリ回路１０７および記録回路１０８は画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

１０９は制御回路、１１０は操作回路、１１１は表示回路である。制御回路１０９は撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動・制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を反映する。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

なお、本実施形態は画像処理回路１０６に特徴を有している。画像処理回路１０６（リフォーカス画像生成手段）は「Light Field Photography」と呼ばれる手法を用いた演算処理を行うことにより、撮像データ（撮像画像）から、任意の焦点位置（リフォーカス面）に設定した画像（再構成画像、出力画像）を再構成するようになっている。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施形態では画素配列２０には、単位画素２０１が５行５列の計２５個あるものとする。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５でそれぞれ結像する。

図４（ａ）は撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。

ここで、画面内の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。

図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１〜ａ２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ４〜ａ５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の構成によって取得された撮像データに対して、任意に設定した焦点位置（リフォーカス面）での画像の再構成処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見た図である。図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）、撮影レンズからマイクロレンズアレイまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に、本実施形態の特徴である画像処理回路１０６における画像再構成動作について、図６のＬＶ表示画像生成フローチャートを参照して説明する。

本実施形態においては、これまでに説明した構成のライトフィールドカメラを用いて光の強度、および方向の記録を時系列的に連続した動画像として撮影を行ない、撮影した動画像の各フレームに対してリフォーカス画像を生成することで、被写界の広い領域に焦点の合った画像を得ることができる。

図６において、ステップＳ６０１では、撮像素子１０３から得られた撮像データを取得する。

ステップＳ６０２では、入力された撮像データをあらかじめ決められた距離情報取得エリア（以下、Ｄエリアとする）に分割する。ここで、Ｄエリア（第１の分割領域）の分割数は再構成時の合焦精度に反映されるため、最小位置分解能である画素配列２０ごとに分割されることが望ましい。しかし、複数の画素配列２０をまとめてひとつのＤエリアを構成する等、画像処理回路１０６の演算能力やフレームレート等の制限に応じて適宜決められる。すなわち、フレームレートが高い、あるいは画像処理回路１０６の演算能力が低いほど、Ｄエリアの分割数を少なくするようにしてもよい。

ステップＳ６０３では、Ｄエリアに分割された撮像データに対して前述の式（１）、式（２）を適用し、各Ｄエリアを代表する被写体距離を算出する。ここで、複数の画素配列２０をまとめてひとつのＤエリアを構成した場合（例えば、５×５など）は、中心の画素配列２０のみの結果で代用してもよいし、５×５の画素配列２０の平均値を用いてもよい。また、このようにして得られたＤエリアごとの被写体距離情報を距離情報マップとする。

ステップＳ６０４では、前述の距離情報マップに応じてリフォーカス面を選択する。このとき、選択されるリフォーカス面は距離情報マップの頻度分布（以下、距離情報ヒストグラムとする）から、最頻値を取得する方法、あるいはあらかじめ決められた関数形によるカーブフィッティングを適用する方法等によって選択される。また、再構成処理の負荷を軽減するために、リフォーカス面の少なくともひとつは撮影時のフォーカスレンズ位置から決まる距離を基準に取ることも可能である。この場合は、画素配列２０ごとに画素信号を単純加算して出力する等、再構成処理を省略することができる。なお、リフォーカス面はリフォーカス可能範囲と光学系の被写界深度とに応じて最適な数が決められることが望ましいが、本実施形態ではリフォーカス面を３面として説明する。

ステップＳ６０５では、入力された撮像データを距離情報マップに基づいて再構成エリア（以下、Ｒエリアとする）に分割する。ここで、Ｒエリア（第２の分割領域）はＤエリアと一致していてもよい。この場合、ステップＳ６０５はステップＳ６０２に包含される。

ステップＳ６０６では、Ｒエリアごとに、各Ｒエリアの属するリフォーカス面において、前述した再構成処理を行う。

ステップＳ６０７では、再構成処理を行ったＲエリアをつなぎ合わせ、１フレームの画像を生成する。

ステップＳ６０８では、つなぎ合わされた画像を表示回路１１１で表示する。

ステップＳ６０９では、ＬＶ表示継続の有無が判定され、継続の場合はＳ６０１に戻り、終了の場合は画像処理回路１０６における画像再構成動作が完了する。

次に、ステップＳ６０２とステップＳ６０３における距離情報の領域分割方法について図７を参照して説明する。図７（ａ）は取得された撮像データである。この撮像データにおいて、あらかじめ決められたＤエリアごとに被写体距離を算出する。これら被写体距離をコントラスト図として表現した模式図が図７（ｂ）である。

次に、ステップＳ６０４におけるリフォーカス面の選択方法について詳しく述べる。図８は、ステップＳ６０３で得られたＤエリアごとの被写体距離情報を、横軸をフォーカスレンズ位置、縦軸を頻度として表した距離情報ヒストグラムの模式図である。ここでは、画像を撮影した際に、近距離（リフォーカス面（ａ））、中距離（リフォーカス面（ｂ））、遠距離（リフォーカス面（ｃ））の３つの距離領域に最頻値が現れる撮影条件を仮定している。

一般に、代表的な被写体の存在する位置に距離情報ヒストグラムの最頻値が対応すると考えることは妥当である。この最頻値を検出することで、代表的な被写体の存在するリフォーカス面を選択することができる。また、検出する方法は最頻値に限らず、あらかじめ決められた関数形によるカーブフィッティング等、既知の方法が適用可能である。

あるいは、撮影時のフォーカスレンズ位置はあらかじめわかっているため、その位置を少なくともひとつのリフォーカス面に選択してもよい。これは図８において、リフォーカス面（ｂ）が撮影時のフォーカスレンズ位置に一致することを意味する。これにより、再構成処理を行わなくても焦点の合った画像が取得でき、再構成処理の負荷を軽減することができる。この場合、中距離に存在する最頻値に完全に焦点を合わせることはできないが、被写界深度の範囲内で適宜ずらすことは許容されると考えられる。

また、距離情報ヒストグラムに特徴的な分布が現れず被写体の存在位置が特定できない場合は、リフォーカス可能範囲内で任意にリフォーカス面を選択することもできる。この場合、被写界深度程度の間隔を開けてリフォーカス面を選択することが望ましい。

次に、ステップＳ６０５とステップＳ６０６、ならびにステップＳ６０７におけるリフォーカス面ごとの再構成処理方法について詳しく説明する。

図９（ａ）、（ｂ）、（ｃ）は、ステップＳ６０４で選択された複数のリフォーカス面において、再構成されるＲエリアを示す模式図であり、図９（ｄ）は、ステップＳ６０６でリフォーカス面ごとに再構成された小エリアをつなぎ合わせた合成画像を示す模式図である。なお、図９において実線は焦点の合った被写体、破線は焦点の合っていない被写体を表している。

まず、入力された撮像データを距離情報ヒストグラムに基づいてＲエリアに分割する。ここで、Ｒエリアの分割方法はあらかじめ決められていてもよいし、すべてＤエリアと同一でもよい。あるいは、被写体距離情報が撮影時のフォーカスレンズ位置に対して外れている領域ほど面積を大きくする等、距離情報ヒストグラムに応じて決めることができる。例えば、図９（ｂ）のように、撮影時のフォーカスレンズ位置に近いリフォーカス面（ｂ）で再構成されるＲエリアはＤエリアと同一に、一方、図９（ｃ）のように、撮影時のフォーカスレンズ位置から遠いリフォーカス面（ｃ）で再構成されるＲエリアは面積を大きくすることができる。

そして、各Ｒエリアは選択されたリフォーカス面のうちの少なくともひとつと関連付けられている。これは図８において、距離領域（Ａ）に属するＲエリアはリフォーカス面（ａ）、距離領域（Ｂ）に属するＲエリアはリフォーカス面（ｂ）、距離領域（Ｃ）に属するＲエリアはリフォーカス面（ｃ）に対応することを意味する。

また、どの距離領域にも属さない、つまり距離が算出できずリフォーカス可能範囲外にあると判定されたＲエリアについては、リフォーカスを行わないという付加情報を関連付けることもできる。

図８の距離領域（Ａ）に属するＲエリアはリフォーカス面（ａ）で再構成処理が行われる。この場合、図９（ａ）の「人物」が近距離に存在する被写体として該当する。以下、距離領域（Ｂ）、距離領域（Ｃ）に属するＲエリアも同様に対応するリフォーカス面で再構成処理が行われる。この場合、図９（ｂ）、図９（ｃ）の「門扉」、「家屋」がそれぞれ中距離、遠距離に存在する被写体として該当する。

また、撮影時のフォーカスレンズ位置に該当するＲエリアおよびリフォーカス可能範囲外にあると判定されたＲエリア（例えば、図９における「空」）については、リフォーカス処理を行わず、例えば画素配列２０ごとに画素信号を単純加算して出力する。

さらに、距離領域（Ａ）、（Ｂ）、（Ｃ）それぞれの境界付近に属するＲエリアについては、合成後の不連続性を緩和させることを目的として、各リフォーカス面の中間付近の焦点位置を用いて再構成することも可能である。また、この際の焦点位置、あるいはこの焦点位置を適用するＲエリアの数（境界からのヒストグラム階級数）は、各リフォーカス面と撮影時のフォーカスレンズ位置との相対距離にしたがって、重みづけがされても構わない。

以上のように、複数のリフォーカス面を設定し、Ｒエリアごとに少なくともひとつと関連付けられたリフォーカス面でリフォーカス処理を施すことで、再構成のための処理負荷を軽減しながら、被写界の広い領域に焦点の合った画像を得ることができる。

本実施形態の処理動作は、ライブビュー駆動時に常に行われてもよいし、ユーザーの指示がある場合のみ（例えば、一般的な絞り込みボタンに類似した機能が備えられている場合のみ）、行われてもよい。さらに、ライブビュー駆動時だけでなく、他の再生装置で再生する場合においても、本実施形態の処理動作が行われてもよい。すなわち、本実施形態における画像処理装置は、必ずしも例示したような撮像素子を有する必要はなく、例示した撮像素子より取得される画像を入力画像として取得して、本実施形態の処理動作を行うものであっても良い。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

Claims (18)

1. 異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
   前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
   前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
   前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
   前記生成手段は、設定する複数の焦点位置のうちの少なくとも１つを撮像時のフォーカスレンズ位置に対応する焦点位置とすることを特徴とする画像処理装置。
2. 前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートに応じて前記リフォーカス画像を構成する領域の数を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートが高いほど前記リフォーカス画像を構成する領域の数を小さくすることを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体の距離に対応する情報を有する領域は、前記リフォーカス画像を構成する領域と一致することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、領域ごとに異なる複数の焦点位置の画像を生成し、つなぎ合わせて前記リフォーカス画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の視点画像は、複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換素子が対応した撮像素子から得られたものであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２の取得手段は、前記撮像素子から得られる複数の視点画像間の相関演算に基づいて前記被写体の距離に対応する情報を算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記複数の視点画像は被写体からの光の強度及び方向を記録したライトフィールドデータであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、
   前記表示制御手段は、ライブビュー画像として前記リフォーカス画像を表示デバイスに表示することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記表示制御手段は、前記第１の取得手段により順次取得される複数の視点画像から前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに順次表示することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
    前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
    前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートに応じて前記リフォーカス画像を構成する領域の数を変更することを特徴とする画像処理装置。
12. 異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
    前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
    前記被写体の距離に対応する情報を有する領域は、前記リフォーカス画像を構成する領域と一致することを特徴とする画像処理装置。
13. 複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換素子が対応した撮像素子と、
    前記撮像素子を用いて、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
    前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
    前記生成手段は、設定する複数の焦点位置のうちの少なくとも１つを撮像時のフォーカスレンズ位置に対応する焦点位置とすることを特徴とする撮像装置。
14. 複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換素子が対応した撮像素子と、
    前記撮像素子を用いて、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
    前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
    前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートに応じて前記リフォーカス画像を構成する領域の数を変更することを特徴とする撮像装置。
15. 複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換素子が対応した撮像素子と、
    前記撮像素子を用いて、異なる視点で撮像された複数の視点画像を取得する第１の取得手段と、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得手段と、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成手段と、
    前記生成手段により順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御手段と、を有し、
    前記被写体の距離に対応する情報を有する領域は、前記リフォーカス画像を構成する領域と一致することを特徴とする撮像装置。
16. 異なる視点で撮像された複数の視点画像を取得する第１の取得ステップと、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得ステップと、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成ステップと、
    前記生成ステップにて順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御ステップと、を有し、
    前記生成ステップでは、設定する複数の焦点位置のうちの少なくとも１つを撮像時のフォーカスレンズ位置に対応する焦点位置とすることを特徴とする画像処理方法。
17. 異なる視点で撮像された複数の視点画像を取得する第１の取得ステップと、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得ステップと、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成ステップと、
    前記生成ステップにて順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御ステップと、を有し、
    前記複数の視点画像は同一タイミングで撮像され、かつ繰り返し撮像され取得されたものであり、該撮像のフレームレートに応じて前記リフォーカス画像を構成する領域の数を変更することを特徴とする画像処理方法。
18. 異なる視点で撮像された複数の視点画像を取得する第１の取得ステップと、
    前記複数の視点画像に対応する、被写体の距離に対応する情報を取得する第２の取得ステップと、
    前記複数の視点画像及び前記被写体の距離に対応する情報を用いて、領域ごとに焦点位置が設定された画像を生成し、領域ごとの該画像をつなぎ合わせて１つのリフォーカス画像を生成する生成ステップと、
    前記生成ステップにて順次生成される前記リフォーカス画像を表示デバイスに表示する表示制御ステップと、を有し、
    前記被写体の距離に対応する情報を有する領域は、前記リフォーカス画像を構成する領域と一致することを特徴とする画像処理方法。

Images