JP6406804B2 - 画像処理装置、画像処理方法およびプログラム並びに撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特にマイクロレンズアレイを用いて光の入射方向の情報を取得し、再構成画像を生成する手段を有する撮像装置に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能なライトフィールドカメラと呼ばれる撮像装置が提案されている。例えば、非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイ（以下、ＭＬＡと記す）を配置し、撮像素子の複数の画素に対してひとつのマイクロレンズ（以下、ＭＬと記す）を対応させている。この構成により、ＭＬを通過した光は複数の画素によって入射方向別に取得される。

このように取得された画素信号（ライトフィールド）に対して、通常の撮影画像を生成することが可能である。また、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）に焦点を合わせた画像を撮影後に再構成することもできる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02 Todor Georgiev,et al.,"Superresolution with Plenoptic 2.0 Camera",2009 Optical Society of America

特開２０１１−１９９５６５号公報

非特許文献１に記載されているライトフィールドカメラの撮像画角の範囲は、撮影レンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードウェアの性能に依存している。また、特許文献１ではハードウェアの性能を越えるような広角画像を取得する場合に、撮像装置の撮影範囲を動かしながら連続撮影し、得られた複数の画像を合成する技術が提案されている。

しかしながら、特許文献１で提案された技術で撮影後に選択した被写体に焦点があった広角画像を表示したい場合は、ライトフィールドカメラで撮影した複数の撮像画像を全て保持するため、データ量が膨大となってしまう。そのため、本発明は、再構成のためのデータ量を軽減しながら、撮影後に選択した被写体に焦点があった広角画像の表示を可能とする画像処理装置の提供を目的とする。

本発明によれば、画像処理装置は、複数の異なる画角の画像データを取得する取得手段と、前記複数の異なる画角の画像データから得られる被写体情報に基づいて、複数の像面における再構成画像を、前記複数の異なる画角の画像データの各画像データからそれぞれ生成する生成手段と、前記生成手段により生成された複数の異なる画角の再構成画像を、前記複数の像面の像面ごとに合成する合成手段と、を備え、前記生成手段は、各画像データから検出された被写体に基づいて、前記複数の異なる画角の画像データ全てに同一の前記複数の像面を設定し、再構成画像を生成し、前記合成手段は、前記合成後に前記合成に用いた画像データを削除することを特徴とする。

本発明によれば、再構成のためのデータ量を軽減しながら、撮影後に選択した被写体に焦点があった広角画像を生成することが可能な画像処理装置を提供することができる。

本発明の実施例に係る画像処理装置を適用した撮像装置のブロック図 図１の撮像装置における撮像素子とＭＬＡの対応関係を説明するための図 図１の撮像装置における撮影レンズ、ＭＬＡ、撮像素子の配置構成を説明するための図 図１の撮像装置における撮影レンズの瞳領域と受光画素の対応関係を説明するための図 リフォーカス画像生成光線の通過領域を説明するための図 図１の撮像装置における画像合成記録動作のフローチャートを示す図 図６の画像合成記録動作で処理される撮像データとその撮影状況を説明するための図 図６の画像合成記録動作における距離リストの補正を説明するための図 図６の画像合成記録動作における再構成画像の生成例を示す図 図６の画像合成記録動作における広角画像の合成例を示す図 図６の画像合成記録動作において記録するファイルの構成を示す図 図６の画像合成記録動作で記録されたファイルの再生動作のフローチャートを示す図 図１の撮像装置における撮影レンズ、ＭＬＡ、撮像素子の他の構成例を示す図 本発明の実施例に係る画像処理装置を適用可能な撮像装置の他の構成例を示すブロック図

以下、本発明の実施の形態を、添付の図面を参照して説明する。

本実施例は、ライトフィールドデータを取得可能な撮像装置で得られた再構成可能な複数の画像データから複数の広角画像を合成することで、選択した被写体に焦点があった広角画像の表示を可能とする画像処理装置の実施例を示す。しかし、本実施例に係る画像処理動作は、撮像装置による連続撮影中に行われてもよいし、他の再生装置で画像データを再生する場合に行ってもよい。即ち、本発明に係る画像処理は、必ずしも例示したような撮像装置において実現する必要はなく、例示した撮像装置で取得される画像データを入力画像データとして取得して、本発明に係る画像処理動作を行うことが可能な装置で実現してもよい。

図１は、本発明の実施例に係る画像処理装置を適用した、ライトフィールドデータを取得可能な撮像装置１００のブロック図である。同図において、１０１は撮影レンズ、１０２はＭＬＡ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置の近傍に被写体像として結像する。ＭＬＡ１０２は、複数のＭＬ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する瞳分割手段である。撮像素子１０３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子である。各ＭＬ１０２０は、複数の画素が対応するように配置されることで、撮像素子１０３はＭＬ１０２０により撮影レンズ１０１の瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する。撮像素子１０３により生成された画像信号は、Ａ／Ｄ変換部１０４に出力される。Ａ／Ｄ変換部１０４は、画像信号をデジタル化し、画像データとして画像処理部１０５へ出力する。

画像処理部１０５は、ホワイトバランス、色変換等の様々な画像形成処理や、形成後の画像を圧縮する圧縮処理、人物の顔が誰であるかを認識する画像認識処理を行う。本画像処理部１０５は、本実施例の特徴であるリフォーカス演算により再構成画像を生成する再構成処理と、再構成画像を合成して広角画像を生成する画像合成処理を行い、記録部１１５によって記録されるファイルを生成する。

画像処理部１０５により処理された画像データおよび生成された再構成画像は、バス１１２を介してメインメモリ１１４へ一時的に格納される。格納された画像データおよび再構成画像は、ファイルとして記録部１１５を介して外部の記録媒体（図示せず）に記録されるか、もしくは通信部１１６を介して、パーソナルコンピュータ等の外部装置（図示せず）に送信される。

スイッチ群１１７は、撮影モードの設定など、撮影に関わる様々な情報をＣＰＵ１１１へ出力する。またレリーズスイッチが出力する信号は、ＡＥやＡＦの動作開始トリガや、撮影の開始トリガとなる。ＣＰＵ１１１はこれらの開始トリガを受けて、撮像素子１０３、表示部１０６をはじめとする、撮影装置の各部の制御を行う。また、ＲＯＭ１１３には、ＣＰＵ１１１のためのプログラムやデータが格納され、ＣＰＵ１１１がそのプログラムを実行することで、撮像装置の各部を制御して本実施例に係る画像処理動作（画像合成記録動作）を実現する。

表示部１０６は、撮影装置のユーザインターフェース画面を表示するか、電子ビューファインダとして使用するか、もしくは撮影後の広角画像を表示する。また表示部１０６はタッチパネルを有しており、タッチ操作の情報をＣＰＵ１１１へ出力する。

上述のように、本実施例は、画像処理部１０５が本発明に係る画像処理装置の動作を行うことを特徴としている。即ち、画像処理部１０５は演算処理（再構成処理）を行うことにより、画像データ（撮影画像）から、任意の焦点位置（リフォーカス面）に設定した画像（再構成画像）を再構成して合成するよう構成される。この場合の演算処理は、「Light Field Photography」と呼ばれる手法を用いて行う。

次に、本実施例に係る撮像装置における撮影レンズ１０１、ＭＬＡ１０２および撮像素子１０３の構成について説明する。

図２は、撮像素子１０３およびＭＬＡ１０２を図１の光軸Ｚ方向から見た図である。ＭＬＡは、複数の単位画素２０１に対して１つのＭＬ１０２０が対応するように配置されている。１つのＭＬの後方にある複数の単位画素２０１をまとめて画素配列２０と定義する。なお、本実施例では画素配列２０は、単位画素２０１の５行５列の計２５個を含むものとする。

図３は、撮影レンズ１０１から出射された光が１つのＭＬ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から見た図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射され、ＭＬ１０２０を通過した光は、後方の対応する単位画素ｐ１〜ｐ５にそれぞれ結像する。

図４（ａ）は、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は、１つのＭＬ１０２０とその後方に配置された画素配列２０を光軸Ｚ方向から見た図である。図４（ａ）に示すように、撮影レンズ１０１の瞳領域を１つのＭＬの後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とＭＬ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳分割領域ａ１１から出射した光は、ＭＬの後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のＭＬ１０２０を通過する光も、そのＭＬの後方にある画素配列２０の中の画素ｐ１１に結像する。

ここで、画面内の任意の被写体位置に対応した像面（リフォーカス面）を算出する方法について説明する。図４で説明したように、画素配列２０の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの画素からの複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各単位画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１〜ａ２）を通過した光を積分する式である。これを水平方向に並ぶ各画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。
また、式（２）は、ある画素配列２０の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ４〜ａ５）を通過した光を積分する式である。これを水平方向に並ぶ各画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、撮影レンズ１０１、ＭＬＡ１０２および撮像素子１０３の構成によって取得された画像データに対して、任意に設定した像面（リフォーカス面）での画像の再構成する処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズのどの瞳分割領域から出射され、どのＭＬへ入射するかを光軸Ｚに対して垂直方向から見た図である。

図５において、撮影レンズの瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の単位画素の位置を座標（ｘ，ｙ）、ＭＬＡ上のＭＬの位置を座標（ｘ’，ｙ’）、撮影レンズからＭＬＡまでの距離をＦ、撮影レンズからリフォーカス面までの距離をαＦとする。ここで、αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。

図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、ＭＬＡ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、式（３）から光の入射するＭＬの位置（ｘ’，ｙ’）がわかる。

そして、そのＭＬに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）を算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

次に、本実施例の特徴である画像処理部１０５における再構成処理と画像合成記録処理について、図６の画像合成記録動作のフローチャートを参照して説明する。

同図において、ステップＳ６０１では、撮影順にメインメモリ１１４に保持されている各画像データを読み出す。ステップＳ６０２では、読み出した画像データをあらかじめ決められた距離情報取得エリア（以下、Ｄエリアとする）に分割する。ここで、Ｄエリアへの分割は、再構成時の合焦精度に反映されるため、最小の分解能である画素配列２０ごとに分割することが望ましい。しかし、複数の画素配列２０をまとめてひとつのＤエリアを構成する等、画像処理部１０５の演算能力やフレームレート等の制限に応じて分割領域（Ｄエリア）のサイズを適宜決めてもよい。すなわち、フレームレートが高い、あるいは画像処理部１０５の演算能力が低いほど、Ｄエリアの数が少なくするようにしてもよい。

ステップＳ６０３では、Ｄエリアに分割された画像データに対して前述した式（１）および式（２）を適用し、各Ｄエリアを代表する距離情報として被写体距離を算出する。ここでの距離取得は、複数の画素配列２０をまとめてひとつのＤエリアを構成した場合（例えば、５×５画素配列など）は、中心の画素配列２０のみの結果を被写体距離としてもよいし、５×５の画素配列２０の平均値を被写体距離としてもよい。また、このようにして得られたＤエリアごとの被写体距離を距離情報マップとする。

ステップＳ６０４では、読み出した画像データから被写体を抽出し、距離情報マップの該当する被写体距離と対応つける距離リストを被写体情報として生成する。ここで、被写体の抽出方法はエッジ検出などの任意のアルゴリズムを使用する。また、生成した距離リストは画像データごとに更新する。

ステップＳ６０５では、全画像データの読み出しが完了か否かを判定し、完了の場合はＳ６０６に進み、否の場合はＳ６０１に戻る。ステップＳ６０６では、画像データ間の整合をとるため、前述した距離リストで不足している被写体距離を追加することで距離リストを補正する。尚、本実施例における距離リストの補正例は後述する。

ステップＳ６０７では、撮影順にメインメモリ１１４に保持されている画像データを読み出す。ステップＳ６０８では、読み出した画像データと距離リストを用いて前述した再構成処理を行い、被写体距離ごとに焦点があった再構成画像とパンフォーカスの再構成画像を生成する。このとき、これら再構成画像の生成にともない、メインメモリ１１４から読み出した画像データとそれから生成した再構成画像とを関連付けるリンク情報を生成する。本情報は、ステップＳ６１５での画像データの削除の際に参照される。ここで、パンフォーカスの再構成画像とは、距離情報マップのＤエリアごとに焦点の合うよう再構成処理を行って生成した再構成画像のこととする。尚、本実施例における再構成処理の例は後述する。

ステップＳ６０９では、Ｓ６０８で生成した再構成画像と合成する広角画像をメインメモリ１１４に保持しているか否かを判定し、保持している場合はＳ６１２に進み、否の場合はＳ６１０に進む。ここで、広角画像とは、複数の再構成画像をつなぎ合わせ、通常の画角を超えた画像のこととする。

ステップＳ６１０では、Ｓ６０８で生成したパンフォーカスの再構成画像をパンフォーカスの広角画像の初期画像としてメインメモリ１１４に保持する。ステップＳ６１１では、Ｓ６０８で生成した被写体距離ごとに焦点があった再構成画像を、被写体距離ごとの広角画像の初期画像としてメインメモリ１１４に保持する。

ステップＳ６１２では、生成したパンフォーカスの再構成画像とパンフォーカスの広角画像を位置合わせした際の位置ずれから合成可能か否かを判定し、合成可能の場合はＳ６１３に進み、否の場合はＳ６１５に進む。ここで、パンフォーカスの広角画像とは、複数のパンフォーカスの再構成画像をつなぎ合わせ、通常の画角を超えた画角の画像のこととする。また、位置ずれの判定は、画像を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点から、動きベクトルを算出する方法などによる周知の技術により行う。

ステップＳ６１３では、Ｓ６０８で生成したパンフォーカスの再構成画像とメインメモリ１１４に保持されているパンフォーカスの広角画像の合成処理を行い、合成した画像によりパンフォーカスの広角画像を更新する。また、更新したパンフォーカスの広角画像は次のパンフォーカスの再構成画像との合成に備えて、メインメモリ１１４に保持しておく。

ステップＳ６１４では、Ｓ６０８で生成した再構成画像とメインメモリ１１４に保持されている広角画像を被写体距離ごとに画像合成処理を行い、合成した画像は広角画像として被写体距離ごとに更新する。また、更新した広角画像は次の再構成画像との合成に備えて、メインメモリ１１４に保持しておく。尚、本実施例におけるこれらの画像合成処理の例は後述する。ステップＳ６１５では、上述したリンク情報に基づいて、Ｓ６０７で読み出した画像データをメインメモリ１１４から削除する。

ステップＳ６１６では、全画像データ読み出し完了か否かを判定し、完了の場合はＳ６１７に進み、否の場合はＳ６０７に戻る。ステップＳ６０７からＳ６１６を繰り返すことで、被写体距離ごとに焦点が合った広角画像を生成することができる。

ステップＳ６１７では、被写体距離ごとに焦点が合った広角画像をデータ部に、各広角画像の先頭アドレスをヘッダ情報部に付加したファイルを記録して記録動作を終了する。尚、本実施例において記録したファイルの構成例は後述する。

次に、本実施例の撮影状況と撮像データについて図７を参照して説明する。

図７（ａ）は被写体Ｂ１、Ｂ２、Ｂ３を撮影位置Ｓ１、Ｓ２、Ｓ３の順に３回撮影した場合の撮影状況を模式的に示す図である。ここで、Ｄ１は、撮像装置１００から被写体Ｂ１までの被写体距離である。また、Ｄ２は、撮像装置１００から被写体Ｂ２までの被写体距離である。さらに、Ｄ３は、撮像装置１００から被写体Ｂ３までの被写体距離である。図７（ｂ）は、撮影位置Ｓ１で撮影した画像データＬ１の画角を示す。図７（ｃ）は撮影位置Ｓ２で撮影した画像データＬ２の画角を示す。図７（ｄ）は撮影位置Ｓ３で撮影した画像データＬ３の画角を示す。

次に、ステップＳ６０６における距離リストの補正について、図８を参照して説明する。

図８（ａ）は、横軸を撮影位置Ｌ１〜Ｌ３、縦軸を被写体Ｂ１〜Ｂ３として検出した被写体と算出した被写体距離とを対応付ける補正前の距離リストを示す。補正前の距離リストは、画像データＬ３の被写体Ｂ３について被写体距離が不足している。図８（ｂ）は、図８（ａ）と同様に被写体距離を表した補正後の距離リストを示す。本実施例では、例えば、不足している撮像データＬ３の被写体Ｂ３の被写体距離を、例えば撮像データＬ２の被写体Ｂ３の被写体距離で補正する。

次に、ステップＳ６０８における再構成処理について、図９を参照して説明する。

図９は、画像データＬ２について距離リストをもとに再構成処理を行って生成した被写体距離ごとに焦点が合った再構成画像を示す。ここで、図９（ａ）は再構成前の画像データＬ２を示す。図９（ｂ）は被写体距離Ｄ１に焦点があった再構成画像Ｒ２１を示す。また、図９（ｃ）は被写体距離Ｄ２に焦点があった再構成画像Ｒ２２を、図９（ｄ）は被写体距離Ｄ３に焦点があった再構成画像Ｒ２３を示す。図９（ｅ）は、パンフォーカスの再構成画像Ｒ２４を示す。

また、図９では図示しないが画像データＬ２およびＬ３についても同様に距離リストをもとに再構成処理を行い、被写体距離ごとに焦点が合った再構成画像を生成する。

次に、ステップＳ６１０、Ｓ６１１における画像合成処理について図１０を参照して説明する。

図１０は、撮像データＬ１から生成した再構成画像と、画像データＬ２から生成した再構成画像を被写体距離ごとに合成して生成した広角画像を示す。図１０（ａ）は、被写体距離Ｄ１に焦点があった再構成画像Ｒ１１と被写体距離Ｄ１に焦点があった再構成画像Ｒ２１を合成して生成した合成画像を示す。図１０（ｂ）は、被写体距離Ｄ２に焦点があった再構成画像Ｒ１２と被写体距離Ｄ２に焦点があった再構成画像Ｒ２２を合成して生成した合成画像を示す。図１０（ｃ）は、被写体距離Ｄ３に焦点があった再構成画像Ｒ１３と被写体距離Ｄ３に焦点があった再構成画像Ｒ２３を合成して生成した合成画像を示す。図１０（ｄ）は、パンフォーカスの再構成画像Ｒ１４とパンフォーカスの再構成画像Ｒ２４を合成して生成した合成画像を示す。

また、図１０では、図示しないが画像データＬ３についても同様に生成した再構成画像と、画像データＬ１及びＬ２を合成して得られた、被写体距離ごとの広角画像を合成して広角画像を更新する。

次に、ステップＳ６１３におけるファイル生成および記録について図１１を参照して説明する。

図１１は、被写体距離Ｄ１、被写体距離Ｄ２、および被写体距離Ｄ３それぞれに焦点があった広角画像と、パンフォーカス広角画像の４種類の広角画像を含むファイル１１００の構成例を示す。ファイル１１００は、ヘッダ情報部１１０１と、データ部１１０２で構成される。ヘッダ情報部１１０１には、データサイズや初期再生画像、作成時間等を書き込む。さらに、被写体距離Ｄ１、被写体距離Ｄ２、および被写体距離Ｄ３それぞれに焦点があった広角画像とパンフォーカス広角画像の４種類の広角画像のアドレス情報（先頭アドレス）１１１２乃至１１１５も書き込む。ここで、初期再生画像は、再生時のデフォルト画像としてパンフォーカスの広角画像の先頭アドレスとしても良いし、任意の被写体距離に焦点が合ったものにしても良く、特に限定しない。

データ部１１０２は、被写体距離Ｄ１、被写体距離Ｄ２、被写体距離Ｄ３それぞれに焦点があった広角画像とパンフォーカス広角画像の４種類の広角画像１１２１乃至１１１５を保持する。すなわち、ヘッダ情報部１１０１に書き込まれている各広角画像の先頭アドレス１１１２乃至１１１５から、任意の広角画像を取得することができる。

次に、ステップＳ６１３で記録したファイルの再生処理の動作について、図１２の再生フローチャートを参照して説明する。

図１２において、ステップＳ１２０１では、メインメモリ１１４に保持されているファイルを読み出す。ステップＳ１２０２では、読み出したファイルから初期再生画像を参照して再生する広角画像を設定する。ステップＳ１２０３では、設定した広角画像を表示する。ステップＳ１２０４では、ユーザによりスイッチ群１１７や表示部１０６のタッチ操作などの入力があるか否かを判定し、否の場合Ｓ１２０４へ戻る。

ステップＳ１２０５では、画像内の領域を選択する入力があるか否かを判定する。ここで、画面内の領域を選択する入力は表示部１０６のタッチ操作情報などから判断する。また、画像内の領域を選択する入力があった場合はＳ１２０６に進む。さらに、画像内の領域を選択する入力がなかった場合は、その他処理を実行するため再生動作を終了する。

ステップＳ１２０６では、再生するのに最適な広角画像を判断するため、読み出したファイルに保持されている広角画像の中から画像内の選択された領域のコントラストが最大になる広角画像を選択する。ステップＳ１２０７では、選択した広角画像の先頭アドレスを読み出したファイルの初期再生画像として設定し、Ｓ１２０３へ戻る。

以上の動作により、ユーザーの選択に応じて被写体ごとに焦点のあった広角画像を再生することができる。

上述した本発明によれば、再構成のためのデータ量を軽減しながら、撮影後に選択した被写体に焦点があった広角画像を生成することが可能な画像処理装置を提供することが可能となる。

ここで、上述した本実施例の画像処理装置が適用可能な他の撮像装置の構成例について説明する。

上述した実施例に係る画像処理装置は、リフォーカス可能なライトフィールドデータとして、図３に示した撮影レンズ１０１、ＭＬＡ１０２、撮像素子１０３の構成にて取得されたデータを対象とした。しかし、図１３に示す構成で取得したライトフィールドデータを用いてもよい。なお、図１３において、図３と同様の構成部分は同じ符号を付して示す。

図１３の詳細は非特許文献２に記載されているので、ここでは簡単に述べる。図３との違いは、図３の構成はカメラの撮影レンズ１０１はＭＬＡ１０２の平面に焦点が合うように調整されているが、図１３ではＭＬＡ１０２の平面の手前の像面ＩＰ１に焦点が合うように調整されている。

また、本実施例では、リフォーカス可能なライトフィールドデータとして、図１に示す装置構成の撮像装置で取得したデータを対象としたが、代わりに図１４に示す構成の撮像装置で取得したライトフィールドデータを用いてもよい。なお、同図においても、図１と同様の構成部分については同じ符号を付して示す。

図１４の場合、光学系１０１ａ〜１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ〜１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、つまりライトフィールドを得ることができる。図１４のような多眼構成のカメラにおいて複数の画像を合わせてライトフィールドを得る方法については特許文献１等に記載されているのでここでは割愛する。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (17)

1. リフォーカス可能な、複数の異なる画角の画像データを取得する取得手段と、
   前記複数の異なる画角の画像データから被写体及び当該被写体に対応する被写体距離を検出することで、当該被写体と当該被写体に対応する被写体距離とをそれぞれ対応付けた複数の被写体情報を生成し、当該被写体情報に基づいて、複数の像面における再構成画像を、前記複数の異なる画角の画像データの各画像データからそれぞれ生成する生成手段と、
   前記生成手段により生成された複数の異なる画角の再構成画像を、前記複数の像面の像面ごとに合成する合成手段と、を備え、
   前記生成手段は、前記複数の被写体情報に基づいて各画像データの少なくとも１つで検出された被写体に対応する被写体距離に基づいた像面の再構成画像を、該被写体が検出されていない画像データを含む前記複数の異なる画角の画像データ全てで生成することで、前記複数の異なる画角の画像データ全てに同一の前記複数の像面の再構成画像を生成し、
   前記合成手段は、前記合成後に前記合成に用いた再構成画像を生成するのに前記生成手段が用いた、前記複数の異なる画角の画像データを削除することを特徴とする画像処理装置。
2. 前記生成手段は、各画像データを複数の分割領域に分割し、各分割領域の画像データから被写体距離を算出するとともに、各画像データから被写体を検出し、前記検出した被写体と前記算出した被写体距離とを対応付けて画像データごとに前記被写体情報を生成する距離取得手段を有し、前記検出された被写体に対応付けられた被写体距離に基づいて前記像面を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記距離取得手段は、前記複数の異なる画角の画像データの少なくとも１つで検出された被写体に対応する被写体情報が不足している画像データがある場合は、他の画像データにおいて対応付けられた被写体距離を用いて当該画像データの被写体情報を補正し、前記生成手段は、当該画像データにおいても、前記補正された被写体情報に基づいた像面における再構成画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記被写体情報に基づいた像面における再構成画像を生成したときは、前記生成された再構成画像と生成に用いた画像データとを関連付けるリンク情報を生成し、前記合成手段は、各画像データについて再構成画像を合成した後に、前記リンク情報に従って画像データを削除することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記像面ごとに合成された再構成画像を記憶するデータ部と、前記データ部に記憶された前記合成された再構成画像のアドレス情報を記憶する情報部とを有するファイルを生成するファイル生成手段を備えることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 記録媒体から再生された前記ファイルを取得し、前記取得したファイルのデータ部に記憶されている前記像面ごとに合成された再構成画像のいずれかを前記ファイルの初期再生画像として設定する再生処理手段を備えることを特徴とする請求項５に記載の画像処理装置。
7. 撮影レンズで結像された被写体像を撮像して再構成可能な画像データを生成する撮像手段と、
   前記撮像手段により異なる画角で前記被写体像を撮像して生成された画像データを取得して処理する請求項６に記載の画像処理装置と、
   前記像面ごとに合成された再構成画像を記録媒体に記録する記録手段と、
   前記記録媒体に記録された前記像面ごとに合成された再構成画像を再生する再生手段とを備えることを特徴とする撮像装置。
8. 前記記録手段は、前記ファイル生成手段で生成された前記ファイルを前記記録媒体に記録し、前記再生手段は、前記ファイルを前記記録媒体から再生することを特徴とする請求項７に記載の撮像装置。
9. 前記再生処理手段が設定する前記初期再生画像を、前記再生されたファイルのデータ部に記憶されている合成された再構成画像から選択する選択手段を備えることを特徴とする請求項８に記載の撮像装置。
10. 前記撮像手段は、前記撮影レンズの瞳分割手段を有し、前記撮像手段は、前記瞳分割手段が前記撮影レンズの焦点位置の近傍に位置するように配置されていることを特徴とする請求項７乃至９のいずれか一項に記載の撮像装置。
11. 前記撮像手段は、前記撮影レンズの瞳分割手段を有し、前記撮像手段は、前記瞳分割手段が前記撮影レンズの焦点位置より後方に位置するように配置されていることを特徴とする請求項７乃至９のいずれか一項に記載の撮像装置。
12. 前記撮像手段は、対応する撮影レンズで結像された被写体像を撮像して前記画像データを生成する複数の撮像素子を備え、異なる画角の画像データを生成することを特徴とする請求項７乃至９のいずれか一項に記載の撮像装置。
13. リフォーカス可能な、複数の異なる画角の画像データを取得する取得ステップと、
    前記複数の異なる画角の画像データから被写体及び当該被写体に対応する被写体距離を検出することで、当該被写体と当該被写体に対応する被写体距離とをそれぞれ対応付けた複数の被写体情報を生成し、当該被写体情報に基づいて、複数の像面における再構成画像を、前記複数の異なる画角の画像データの各画像データからそれぞれ生成する生成ステップと、
    前記生成ステップにおいて生成された複数の異なる画角の再構成画像を、前記複数の像面の像面ごとに合成する合成ステップと、を備え、
    前記合成ステップにおいて、前記複数の被写体情報に基づいて各画像データの少なくとも１つで検出された被写体に対応する被写体距離に基づいた像面の再構成画像を、該被写体が検出されていない画像データを含む前記複数の異なる画角の画像データ全てで生成することで、前記複数の異なる画角の画像データ全てに同一の前記複数の像面の再構成画像を生成し、
    前記合成ステップにおいて、前記合成後に前記合成に用いた再構成画像を生成するのに前記生成手段が用いた、前記複数の異なる画角の画像データを削除することを特徴とする画像処理方法。
14. コンピュータに、請求項１３に記載された画像処理方法を実行させるためのプログラム。
15. コンピュータに、請求項１３に記載された画像処理方法を実行させるためのプログラムを記憶した記憶媒体。
16. コンピュータを、請求項１乃至６のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至６のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを記憶した記憶媒体。

Images