JP6230239B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、被写体空間における光の２次元強度分布および光線の角度情報を取得する撮像装置、および、そのような撮像装置で取得された画像から再構成画像を生成する画像処理装置に関する。

近年、撮像素子で取得されたデータから演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせてライトフィールドと呼び、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができる。このような撮像装置によれば、ライトフィールドを取得して撮影後に画像処理を行うことにより、リフォーカスと呼ばれる画像のピント位置、撮影視点、被写界深度などを変更（調整）することが可能である。

一方、写真表現としては、ポートレート撮影や花や昆虫などのマクロ撮影において、意図的に前景や背景をぼかすことにより主要被写体を浮かび上がらせる写真表現が好まれる。このような写真表現を行う場合、美しい背景ぼけを得るため、被写界深度の浅い撮像装置で撮影されることが多い。しかしながら、被写界深度の浅いレンズを使用すると、美しい背景ぼけは得られるものの、被写体自体に奥行きがある場合には被写体全体をくっきりと写すことができず、被写体の一部がぼけてしまう。これを防ぐために被写界深度を深くして撮影すると、美しいぼけが得られない。このように、従来の撮像装置では、背景ぼけと被写界深度を独立に制御することができない。

特許文献１には、ピント位置を変更して複数の画像を撮影することにより、ぼけ制御を行う構成が開示されている。

特開２０１１−２１１５２３号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ

しかしながら、特許文献１の構成では、複数の画像を撮影する必要があるため、例えば、昆虫などの動きの速い動体を撮影する場合、複数の画像の撮影に生じる時間差により複数の画像の各々に含まれる動体の位置が異なってしまう。このため、複数の撮影画像を用いてぼけ制御を行うことが困難な場合がある。

そこで本発明は、一画像中の複数の領域ごとに異なる撮影条件値を適用して再構成画像を生成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理装置であって、前記出力画像の領域を少なくとも第１の領域および第２の領域に分割する領域分割部と、前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成する再構成画像生成部を有し、前記再構成画像生成部は、前記第１の領域および前記第２の領域に対して互いに異なる仮想被写界深度が適用された出力画像を生成する。

本発明の他の側面としての画像処理装置は、被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理装置であって、前記出力画像の領域を少なくとも第１の領域および第２の領域に分割する領域分割部と、前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成する再構成画像生成部を有し、前記領域分割部は、前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定する境界決定部と、前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定する撮影条件決定部と、前記第１の領域と前記第２の領域との間の境界処理範囲を決定する境界処理範囲決定部と、前記境界処理範囲に対して、該境界処理範囲を挟んで隣接する前記第１の領域および前記第２の領域に適用する前記撮影条件の間の撮影条件を適用して境界処理を行う境界処理部を有する。

本発明の他の側面としての撮像装置は、被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記画像処理装置を有し、前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されている。

本発明の他の側面としての撮像装置は、被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、前記画像処理装置を有し、前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されている。

本発明の他の側面としての撮像装置は、被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、正の屈折力を有する複数の光学系を備えた結像光学系と、複数の画素を備えた少なくとも１つの撮像素子と、前記画像処理装置を有し、前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳である。

本発明の他の側面としての画像処理方法は、被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理方法であって、前記出力画像の領域を少なくとも第１の領域および第２の領域に分割するステップと、前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成するステップを含み、前記第１の領域および前記第２の領域に対して互いに異なる仮想被写界深度が適用される。
本発明の他の側面としての画像処理方法は、被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理方法であって、前記出力画像の領域を少なくとも第１の領域および第２の領域に分割するステップと、前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成するステップを含み、前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定し、前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定し、前記第１の領域と前記第２の領域との間の境界処理範囲を決定し、前記境界処理範囲に対して、該境界処理範囲を挟んで隣接する前記第１の領域および前記第２の領域に適用する前記撮影条件の間の撮影条件を適用して境界処理を行う。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法を情報処理装置に実行させる。

本発明の他の側面としての画像処理プログラムは、互いに異なる第１撮影条件、第２撮影条件、および、第３撮影条件でそれぞれ撮影された第１画像、第２画像、および、第３画像を取得する取得ステップと、出力画像の第１領域に前記第１撮影条件を設定し、第２領域に前記第２撮影条件を設定する撮影条件設定ステップと、前記第１領域に対応する前記第１画像と、前記第２領域に対応する前記第２画像と、前記第１領域と前記第２領域との間の第３領域に対応し、前記第１撮影条件と前記第２撮影条件の間の前記第３撮影条件に基づく前記第３画像とを合成する合成ステップと、を情報処理装置に実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、一画像中の複数の領域ごとに異なる撮影条件値を適用して再構成画像を生成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

本実施形態において、被写体Ａ、被写体Ｂ、および、背景を含むシーンの撮影例である。 本実施形態において、入力画像から出力画像を取得する画像処理の説明図である。 本実施形態において、境界処理範囲を決定する方法を説明するための撮影シーンである。 本実施形態において、境界処理範囲を決定する方法の説明図である。 本実施形態におけるリフォーカス処理の説明図である。 ぼけの広がり量Δｘ_ｉを算出する方法の説明図である。 本実施形態における境界処理の説明図である。 本実施形態において、境界処理範囲を決定する方法の説明図である。 本実施形態において、ぼけの広がり量Δｘ_ｉを算出する方法の説明図である。 本実施形態において、境界処理範囲を決定する方法の説明図である。 本実施形態における境界処理の説明図である。 本実施形態における境界処理の説明図である。 実施例１における撮像光学系の概略構成図である。 実施例２における撮像光学系の概略構成図である。 実施例３における撮像光学系の概略構成図である。 実施例４における撮像光学系の概略構成図である。 実施例５における画像処置システムのブロック図である。 実施例１〜３、５における撮像装置のブロック図である。 実施例１におけるリフォーカス画像生成に関する説明図である。 実施例２、３におけるリフォーカス画像生成に関する説明図である。 実施例４における撮像装置のブロック図である。 実施例４における撮像光学系の概略構成図である。 実施例４のリフォーカス画像生成に関する説明図である。 実施例１〜５における画像処理方法のフローチャートである。 本実施形態において、光の滲み出し量を算出する方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態において、「被写体空間情報」とは、被写体から射出された光の２次元強度分布の情報、および、被写体から射出され、撮像素子へと導かれる各光線の角度情報を含む情報である。或いは、「被写体空間情報」とは「ライトフィールド」と同じ意味である。被写体を特定の視点から捉えた画像を視点画像とすれば、複数の視点画像から被写体空間情報を取得可能な撮像装置は、「ライトフィールドカメラ」とも呼ばれる。このライトフィールドカメラは一度の撮像動作で、複数の視点画像を含む画像を取得可能である。つまり、「被写体空間情報を含む入力画像」とは、複数の視点画像を含む画像である。

まず、本実施形態における入力画像（入力画像情報）を取得する撮像装置として、複数の視点画像を同時に取得可能な撮像装置の構成について説明する。本実施形態における画像処理方法（画像処理プログラム）に適用される入力画像は、前述の撮像装置（ライトフィールドカメラ）で取得された画像である。この撮像装置は、複数の結像光学系を配列するか、または、結像光学系の像側にレンズアレイを配置することにより、被写体空間情報を取得可能である。なお本実施形態において、「入力画像情報」とは、複数の視点から得られた画像情報であり、複数の視点画像を配列して構成された画像情報である。また、「入力画像」とは、「入力画像情報」から形成された一つの画像である。本実施形態では、後述のように、被写体空間情報を含む「入力画像」または「入力画像情報」を用いて（再構成して）、出力画像が生成される。

このような撮像装置を構成する撮像光学系の例として、図１３乃至図１６に示される撮像光学系がある。本実施形態において、撮像光学系は、結像光学系および撮像素子を含んで構成され、レンズアレイを有する場合にはレンズアレイも含む。図１３乃至図１６に示される被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは、後述の再構成処理により、被写体面２０１より奥または手前に存在する人物や物体に、撮影後でもピントを合わせることができるためである。

「再構成」とは、入力画像（入力画像情報）から得られた各画素の情報について、所望の出力画像が得られるように選択し、または、並べ替えることをいう。また、各画素の情報の選択や並べ替えだけでなく、必要に応じて各画素の情報同士を演算することも含まれる。このため、入力画像自体は、人間が被写体を認識できるいわゆる写真画像である必要はなく、あるルールに則った再構成処理を経ることにより生成される出力画像が所望の画像となっていればよい。

「撮影条件値」とは、ピント位置、被写界深度、露出などに代表される撮影条件に関する情報である。従来のカメラでは、撮影後に撮影条件値を変更することはできないが、ライトフィールドカメラによれば撮影条件値を変更することが可能である。撮影条件値を変更する方法は、以下に説明する撮像装置の構成に応じて異なるが、カメラアレイのような構成であれば、カメラ１台１台での撮影条件値を実際に変更してもよい。また、１つの結像光学系中にレンズアレイを含むような構成であれば、後述のように、仮想結像面位置、仮想被写界深度値、仮想露出値などを撮影条件値（撮影条件）として用い、これらを変更してもよい。

「仮想結像面位置」は、後述のリフォーカス操作によりピントを合わせなおす際に考慮する仮想的な結像面位置である。「仮想被写界深度値」は、仮想的に決定された任意のＦナンバーである。Ｆナンバーは、光学系の焦点距離や瞳径で決定されるが、仮想被写界深度値の決定方法についても従来のＦナンバーを算出する方法と同様である。ただし、実際の絞り機構を駆動して光束を制御するのではなく、入力画像において、取得したいＦナンバー光束に対応する画素を選択して入力画像を再構成することにより、所望のＦナンバー相当の被写界深度を有する画像を得る。

「仮想露出値」とは、出力画像において実現したい明るさ（輝度値）を仮想的な露出値として表現した値である。画像全体を同じ条件で再構成処理を行うと、非特許文献１や特許文献１にて開示されているように、画像全体が均一な露出値（同一のシャッタースピード、Ｆナンバー、ＩＳＯ感度）となる。しかし、再構成時に部分的に重み付けを変更して再構成処理を行うことにより、画像内であたかも部分的に露出が異なった条件で撮影したような効果を得ることもできる。

「入力画像情報」または「入力画像」は、撮像素子と結像光学系とを備えた撮像装置を用いて、複数の視点画像を同時に取得した画像情報（画像）であり、被写体空間情報を含む。後述のように、領域分割部は、入力画像（出力画像領域）を複数の領域（第１の領域および第２の領域）に分割する。「出力画像領域」（入力画像）は、最終的に出力する所望の画像サイズで決定される２次元領域（画像）である。そして、再構成画像生成部は、分割された複数の領域のうち、２つの分割領域（第１の領域および第２の領域）に対して入力画像に基づいて得られる互いに撮影条件値を適用することにより、入力画像を再構成して出力画像を生成する。

続いて、図１および図２を参照して、これらの工程について説明する。図１は、撮像装置３０１を用いた被写体Ａ、被写体Ｂ、および、背景を含むシーンの撮影例である。図２は、本実施形態において、入力画像（入力画像情報）から出力画像を取得する画像処理の説明図である。

従来のカメラでは、美しい背景ぼけはそのままにしつつ被写体Ａと被写体Ｂの両方ともシャープに写し取ろうとしても、いずれか一方にしかピントを合わせることができない。または、いずれか一方にピントを合わせ、Ｆ値を大きくするなどして被写界深度を深くして被写体Ａと被写体Ｂをシャープに写し取っても、背景ぼけが失われてしまう。一方、本実施形態のライトフィールドカメラで取得した入力画像（入力画像情報）があれば、撮影後の再構成処理によりこのような課題を解決することができる。

まず、図２（ａ）に示されるように、出力画像領域（入力画像）を、任意の領域（領域１、２、３）に分割する。本実施形態において、これらの３領域のうちいずれか２つが第１の領域および第２の領域に相当する。分割領域は、ユーザーが自分で領域を指定することができる。また、撮像装置により従来技術である被写体認識手段（顔認識など）を用いて自動的に領域を分割してもよい。また、ユーザーが画像を見ながら領域を分割するために基準となる画像が必要の場合、撮影時の撮影条件での撮影画像などを一旦再構成して出力し、予め撮像装置のモニターや編集時のＰＣモニターに表示しておいてもよい。

次に、図２（ｂ）に示されるように、それぞれの分割領域（領域１、２、３）に対応する撮影条件値（撮影条件値１、２、３）を決定する。本実施形態において、撮影条件値は、例えば、仮想結像面位置、仮想被写界深度値、または、仮想露出値である。次に、図２（ｃ）に示されるように、分割領域ごとにそれぞれ決定された撮影条件値（撮影条件値１、２、３）を適用して再構成画像を生成する。最後に、図２（ｄ）に示されるように、分割領域ごとの再構成画像を１枚の画像に合成して、これを出力画像として出力する。このようにして、本実施形態の出力画像が得られるが、図２（ｃ）から図２（ｄ）への出力画像生成工程において、撮影条件値の決定後、全ての撮影条件値に対応する再構成画像を１枚１枚作成してから出力画像を合成してもよい。または、再構成処理を行う工程において、各撮影条件値に対応するパラメータを用いながら１度に再構成処理を行って出力画像を得てもよい。

続いて、撮影条件値として仮想結像面位置を用いる場合について説明する。具体的には、図２において、領域２と領域３に同時にピントを合わせ、領域１をぼかす場合を考える。このとき本実施形態において、領域２にピントが合うように再構成した画像、および、領域３にピントが合うように再構成した画像を用意する。更に、領域１については、領域２よりも撮像装置（手前）側にピントが合った画像になるように再構成した画像を用意する。これら３枚の画像を１枚の画像として合成する。このような構成により、背景ぼけはそのままで（もしくは更にぼかして）、かつ被写体Ａおよび被写体Ｂの両方がシャープに（くっきりと）写った出力画像を得ることができる。

なお、上記実施形態において、３枚の画像それぞれが全画像領域を再構成した画像でなくてもよく、領域２や領域３に関しては、最低限、被写体とその周辺を再構成した画像を用意してもよい。

また、撮像条件値として仮想被写界深度値を用いる場合にも、同様の効果が得られる。この場合、図２（ｂ）の撮影条件値を決定する段階で、領域２と領域３をシャープに写すために被写界深度を大きくするように仮想被写界深度値を設定すればよい。それ以降は、撮影条件値として仮想結像面位置を用いる場合と同様である。また、これらは仮想露出値についても同様である。なお本実施形態において、ポイントごとに図２（ａ）〜図２（ｄ）に示しているが、被写体も自動認識する場合にはこれらを内部処理で行い、ユーザーには最後の図２（ｄ）のみ表示させるようにしてもよい。

以上により、本実施形態における画像処理方法を行うことができる。また本実施形態の画像処理方法（画像処理装置）は、次の条件のうち少なくとも一つを満たすことが好ましい。このような条件を満たすことにより、更に自然なぼけ表現が可能になる。すなわち、（Ａ）入力画像情報を第１の画像（入力画像）に再構成して出力する再構成部、および、（Ｂ）第１の画像を少なくとも２つ以上の領域（第１の領域、第２の領域）に分割する境界を決定する境界決定部を有することが好ましい。また、（Ｃ）第１の領域および第２の領域のそれぞれに対する撮影条件を決定する撮影条件決定部を有することが好ましい。また、（Ｄ）第１の領域と第２の領域との間の境界処理範囲を決定する境界処理範囲決定部を有することが好ましい。また、（Ｅ）境界処理範囲に対して、撮影条件値が互いに異なることにより生じた第１の領域と第２の領域との間の差を低減するように境界処理を行う境界処理部を有することが好ましい。

また、（Ｄ）に関しては、境界処理範囲決定部は、第１の領域または第２の領域に対する撮影条件値に基づいてぼけの広がり量を算出することが好ましい。このとき、ぼけの広がり量は、被写体画像の変化前後の視差に対応するぼけの広がり量であり、撮影条件値に基づいて算出される。また、境界処理範囲決定部は、ぼけの広がり量に基づいて境界処理範囲を決定する。

また、（Ｅ）に関しては、境界処理部は、境界処理範囲に対して、境界処理範囲を挟んで隣接する領域（第１の領域および前記第２の領域）に対する撮影条件値の間の撮影条件値を適用して境界処理を行うことが好ましい。

まず、（Ａ）に関し、再構成部は、撮影した画像について、最初にユーザーが確認する画像（第１の画像）を出力する。前述のように、入力画像情報は、人間が被写体を認識可能な情報でない場合がある。この場合、入力画像情報のままでは、どのような写真が撮影されたか、また、編集する必要があるのかも判定できない。このため本実施形態において、再構成部は、撮影後のプレビュー画像のような形で、これから編集作業に移る必要があるか否かを確認するための画像（第１の画像）を再構成して出力することが好ましい。また、第１の画像を基準画像として、ユーザーが次の工程である境界を決定するために用いることもできる。自動的に被写体を認識させて境界を決定する場合でも、基準画像が必要であれば、自動認識システムに被写体を認識させるために第１の画像を用いてもよい。

また、（Ｂ）に関し、境界決定部は、出力画像領域（入力画像情報に基づく画像）を複数の領域（第１の領域、第２の領域）に分割する境界を決定する。後述のように、境界決定部により分割された領域に対して、所望の撮影条件値（互いに異なる撮影条件値）が割り当てられることになる。この工程は、ユーザー自身が画面でタッチ操作を行うか、または、パソコン上でのマウス操作などで決定することもできる。また、顔認識や物体認識（自動認識）によって自動的に境界を決定して領域分割を行ってもよい。

また、（Ｃ）に関し、再構成画像生成部は、複数の領域（第１の領域および第２の領域）に対して互いに異なる撮影条件値を決定（適用）する。撮影条件値は、前述のように、仮想結像面位置、仮想被写界深度値、仮想露出値などである。撮影条件値は、ユーザーがその都度任意に決定することができる。または、被写体形状に合わせてプリセットとして撮像装置側で複数のテーブルを持ち、シーンに合わせて自動的に撮影条件値を決定してもよい。

また、（Ｄ）に関し、境界処理範囲決定部は、境界処理範囲を決定し、次に境界処理部による境界処理への準備を行う。例えば、１つの出力画像領域内に複数の仮想結像面位置を有する画像を生成することを考える。ここでは簡単のために、図３に示されるように、２つの被写体（被写体Ａ、Ｂ）を含み、図示しない撮像装置から２つの被写体までの距離が互いに異なっているシーンを想定する。被写体Ａは撮像装置に近い被写体であり、被写体Ｂは撮影装置から遠い被写体である。また、これら２つの被写体自体には奥行きのない平面的な被写体であるとする。なお、被写体Ａと被写体Ｂの背後には、何らかの背景があるものとする。所望の画像は、被写体Ａ、Ｂの両方にピントが合った画像であり、背景のぼけ具合は、被写体Ａにピントが合っている状態での背景ぼけが好ましいとする。

被写体Ａにピントが合っている画像では、被写体Ｂはぼけている。そして、被写体Ａにピントが合っている画像の被写体Ｂ上にシャープに写った被写体Ｂの画像を貼り付けると、もともとの被写体Ｂがぼけて広がっている部分が残り、若干不自然な画像になることがある。このとき、ぼけて広がっている部分を除去することが好ましいが、各物体までの距離情報が分からないと、ぼけの広がり量を知ることができない。

一方、本実施形態の撮像装置（ライトフィールドカメラ）によれば、距離情報を取得しているため、ぼけの広がり量を算出することができる。例えば、図４に示されるような工程を経ることにより、ぼけの広がり量を考慮して境界処理範囲を決定することが可能である。本実施形態において「境界処理範囲」とは、ある再構成後の画像において、最初にぼけてない被写体によって決定された境界から被写体のぼけの広がり量Δｘ_ｐピクセル分の範囲である。なお、「境界処理範囲」は、少なくともΔｘ_ｐピクセルの範囲とすればよいが、被写体やシーンに応じて、Δｘ_ｐ＋αピクセル分の余裕量をもって「境界処理範囲」を決定してもよい。余裕量αの程度は、ユーザーがその都度決定することができる。また、その情報を、被写体の形状に合わせて予めプリセットとして撮像装置側で持っていてもよい。

図４は、境界処理範囲を決定する方法の説明図である。まずステップＳ００１において、境界処理範囲決定部は、例えば、第１の画像として手前の被写体Ａにピントが合っている画像を取得する。続いてステップＳ００２において、境界処理範囲決定部は、被写体Ｂの境界を決定する。このとき、例えば、被写体Ａ、Ｂの両方がシャープに写っている被写界深度の深い画像を再構成して境界決定範囲を決定することができる。また、距離情報を利用した距離マップ（デプスマップ）を利用して被写体Ｂの輪郭から境界を決定するか、または、被写体Ｂにリフォーカスすることで被写体Ｂの境界を決定してもよい。リフォーカスとは、撮影後の再構成処理により任意の被写体にピントを合わせなおす処理である。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでの説明は省略する。

続いて、ステップＳ００３において、境界処理範囲決定部は、被写体Ｂにピントが合った状態の仮想結像面位置から被写体Ａにピントが合った状態の仮想結像面位置へ仮想結像面位置を移動させたときの被写体Ｂのぼけの広がり量Δｘ_ｐを算出する。そしてステップＳ００４において、ステップＳ００３にて算出されたぼけの広がり量Δｘ_ｐに基づいて境界処理範囲を決定する。境界処理範囲は、少なくとも、ぼけの広がり量Δｘ_ｐ（Δｘ_ｐピクセル）以上の幅を有することが好ましい。

次に、図５を参照して、ぼけの広がり量Δｘ_ｐの算出方法について説明する。図５は複数の視点画像を用いて任意の場所にピントを合わせる方法（リフォーカス処理）の説明図である。図５（ａ）は、複数の視点から撮像した画像（複数の視点画像）を示している（本実施形態では、９視点画像）。この画像から手前にある被写体Ａにピントが合った画像を生成する場合、９つの画像の全てを被写体Ａが一致する（重なる）ように再構成処理を行う必要がある。重ねる基準となる画像は、９つの画像のうちいずれの画像でも構わないが、例えば９つのうち中心の画像を基準として再構成を行うと、図５（ｂ）に示される画像（再構成画像）が生成される。

図５（ｂ）において、被写体Ａが一致する（重なる）ように９つの画像を再構成しているため、被写体Ａにはピントが合っている。一方、９つの画像の全てに視差が存在するため、被写体Ａよりも奥にある被写体Ｂは、その視差分だけずれることになる。このずれがぼけとなって現れる。このため、本実施形態でのぼけの広がり量（Δｘ_ｐピクセル）を算出するということは、視差量を算出することに等しい。視差量の中でも、撮像装置で撮影した場合のその被写体のとりうる最大の視差量がわかれば、ぼけの広がり量の最大値が把握できる。被写体の最大の視差量は、対象となる被写体までの距離と撮像装置の射出瞳径により決定される。このように、複数の視点画像から１枚の画像へ再構成した場合のぼけの広がり量を算出するには、対象となる被写体までの距離と撮像装置の射出瞳径がわかればよい。これは、従来のカメラによりぼけの広がり量を幾何学的に算出する方法と同じ方法である。

そこで、まず図６を参照して、従来のカメラにおけるぼけの広がり量を算出する方法について説明する。図６は、ぼけの広がり量Δｘ_ｉを求めるための説明図である。図６は、焦点距離ｆ、射出瞳半径ｈを有する結像光学系Ｌのモデルを示している。簡単のために、結像光学系Ｌの物体側主平面位置と像側主平面位置は同一であるとする。結像光学系Ｌの物体側主平面位置から被写体Ａまでの距離をｓ、被写体Ｂまでの距離をｔとする。結像光学系Ｌの像側主平面位置から被写体Ａの結像面までの距離ｓｋ、結像光学系Ｌの像側主平面から被写体Ｂの結像面までの距離ｔｋとする。被写体Ａと被写体Ａの結像面位置は、共役な関係になっている。図６では、被写体Ａにピントが合っている状態の光路図を実線で描き、そのときの被写体Ｂからの光線を点線で描いている。このとき、以下の式（１）、（２）が成立する。

１／ｓ＋１／ｓｋ＝１／ｆ … （１）
１／ｔ＋１／ｔｋ＝１／ｆ … （２）
図６より、Ｏ_Ｓ＝ｓ＋ｓｋ、Ｏ_Ｔ＝ｔ＋ｓｋである。また、被写体Ａと被写体Ｂの距離Ｏ_ＳとＯ_Ｔが既知であるとすると、結像面上でのぼけの広がり量Δｘ_ｉは、以下の式（３）のように表される。

Δｘ_ｉ＝（ｓｋ−ｔｋ）×ｈ／ｔｋ
＝（Ｏ_Ｓ−ｓ）×ｈ×｛１／ｆ−１／（Ｏ_Ｔ−Ｏ_Ｓ＋ｓ）｝−ｈ … （３）
このように、結像光学系Ｌの結像面上でのぼけの広がり量Δｘ_ｉを算出することができる。このため、従来のカメラでは、出力画像におけるぼけの広がり量Δｘ_ｐは、結像面上での撮像素子の画素ピッチをｓ_ｐとすると、以下の式（４）で表されるように、結像面上のぼけの広がり量を出力画像のピクセル数に変換できる。

Δｘ_ｐ＝Δｘ_ｉ／ｓ_ｐ … （４）
ここまでは、前述のように、本実施形態のカメラ（ライトフィールドカメラ）も従来のカメラと同じである。しかし、本実施形態のカメラは、入力画像情報を再構成して出力画像を生成する点で、従来のカメラとは異なる。このため、本実施形態では、撮像装置の構成によっては、単純に式（４）を用いても再構成後の出力画像上でのぼけの広がり量（ピクセル）に変換することはできないことがある。そこで本実施形態では、前述のように幾何学的に求められたぼけの広がり量を出力画像上でのピクセル数に変換するための係数Ｑを考慮する必要がある。係数Ｑは、撮像装置の構成により様々な値をとる。本実施形態において用いられる変換式は、以下の式（５）のように表される。

Δｘ_ｐ＝Ｑ×Δｘ_ｉ／ｓ_ｐ … （５）
なお、係数Ｑの値については、後述の撮像装置ごとの実施形態において詳述する。

以上により、任意の場所にリフォーカスした場合でも、再構成後の画像上での他の被写体のぼけ量を算出することができる。なお、ぼけの広がり量Δｘ_ｉの算出方法はこれに限定されるものではなく、他の方法を用いて算出してもよい。

次に、図７を参照して、（Ｅ）に関して説明をする。図７は、本実施形態における境界処理の説明図である。ここでは、被写体Ａにピントが合った画像に対して、決定された境界内に被写体Ｂにピントが合った画像を再構成する。このとき、被写体Ｂの境界においてエッジが立つなど不自然になることを防ぎ、より自然に見えるようにすることを目的とする。

まず、ステップＳ１０１において、境界処理範囲を挟んで隣接する領域Ｆ１、Ｆ２（第１の領域、第２の領域）における仮想結像面位置を比較する。そして、境界処理範囲を更に細分化する必要があるか否かを判定する。ステップＳ１０１において境界処理範囲を更に細分化すれば、より自然な画像を生成することができるため、好ましい。細分化の必要性について、ユーザーは任意に決定することができる。また、領域Ｆ１、Ｆ２の仮想結像面位置の乖離量からある閾値をもたせて自動的に決定してもよい。

続いてステップＳ１０２において、境界処理範囲内に領域Ｆ１、Ｆ２の間の仮想結像面位置の画像を再構成して合成する。これにより、領域Ｆ１、Ｆ２の間をグラデーション的につなぎ合わせることができ、自然な画像を生成することができるため、好ましい。「領域Ｆ１、Ｆ２の間の仮想結像面位置」とは、領域Ｆ１の仮想結像面位置と領域Ｆ２の仮想結像面位置との中心（厳密な意味での中心）の仮想結像面位置である必要はない。少し領域Ｆ１や領域Ｆ２の仮想結像面位置に寄ったものであってもよい。

ステップＳ１０１にて細分化の必要がないと判定された場合、前述のように、領域Ｆ１、Ｆ２の間の仮想結像面位置の画像を境界処理する範囲内全てに再構成すればよい。一方、細分化の必要があると判定された場合、領域Ｆ１から領域Ｆ２に向かって仮想結像面位置を徐々に変えた画像（細分化領域１〜４）を再分化数分だけ再構成すればよい。これにより、被写体Ｂの境界においてエッジが立つなど不自然になることを防ぎ、画像をより自然に見えるようにすることができる。本実施形態では仮想結像面位置について説明したが、仮想被写界深度値や仮想露出値についても同様である。

次に、図８を参照して、撮影条件値として仮想被写界深度値を設定した場合について説明する。図８は、境界処理範囲を決定する方法の説明図である。図８（ａ）は、ある背景を背にして、おもちゃのロボットのような奥行きのある被写体Ｃを撮影する場合の例を示している。被写界深度の浅い撮像装置により、背景をぼかしつつ被写体Ｃの右目にピントを合わせて撮影するシーンを例とする。ここで、被写界深度の浅い撮像装置とは、カメラアレイであれば合成Ｆナンバーが小さいもの、また、結像光学系とセンサの間にレンズアレイ有するものであれば結像光学系のＦナンバーが小さいものである。

ここで、従来のカメラで撮影すると、図８（ｂ）に示されるように、背景は綺麗にぼけるが、その被写界深度の浅さから、被写体Ｃの全体はシャープに写らず、胴体の後方などはぼけてしまう場合がある。これは例えば焦点距離５０ｍｍ、Ｆナンバー１．４のような明るいレンズや超望遠レンズを用いた場合に起こり得る。

一方、本実施形態のライトフィールドカメラによれば、距離情報も取得しているため、ぼけの広がり量Δｘ_ｐを算出することができる。算出の仕方は前述と同様であるが、指定した仮想被写界深度値に応じて使用する光束径が異なるため、射出瞳半径ｈの値は異なる。絞り開放相当の仮想被写界深度値であれば、射出瞳半径ｈの値も前述と変わらないが、仮想被写界深度値を大きく（仮想Ｆナンバーを大きく）すると、その分だけ射出瞳半径ｈの値も小さくして計算すればよい。

図９を参照して、ぼけの広がり量Δｘ_ｉを算出する方法について説明する。図９は、ぼけの広がり量Δｘ_ｉを算出する方法の説明図であり、一例としてシンプルなモデルを示している。図９において、被写体Ｃの右目位置と被写体Ｃの右目にピントを合わせた時の結像面位置とが共役な関係になっている。ｈは射出瞳半径であり、光束を決定する。なお、本実施形態において、背景は綺麗にぼけるが、被写界深度が浅いために被写体Ｃの胴体の後部もぼけている。そのときの結像面位置上におけるぼけの広がり量がΔｘ_ｉである。従来のカメラの場合、ぼけの広がり量Δｘ_ｉの大きさが画素ピッチの半分以下となれば、撮像素子上ではぼけの広がり量を判定することができず、シャープな画像として得られる。射出瞳半径ｈ’で決定される一点鎖線で示される光束がその場合を表しており、Δｘ_ｉ’がそのときのぼけの広がり量である。撮像装置の画素ピッチがわかれば、Δｘ_ｉ’となるｈ’の値を得ることができるため、Ｆナンバーをいくらにすれば被写体Ｃ全体がシャープに写るかも算出可能である。本実施形態においても、同様の計算で仮想被写界深度値（仮想Ｆナンバー）をいくらにすれば被写体Ｃ全体がシャープに写るかも算出可能であるが、式（５）で表されるような変換式が必要なのは前述のとおりである。

次に、図１０を参照して、境界処理範囲を決定する方法について説明する。図１０は、境界処理範囲を決定する方法の説明図である。図１０の各ステップを経ることにより、ぼけの広がり量を考慮した領域同士の境界を決定することができる。この例についても、前述の仮想結像面位置の場合と同様に、被写体のぼけの広がり量（Δｘ_ｐピクセル）の範囲を「境界処理範囲」という。また、被写体やシーンに応じて、Δｘ_ｐ＋αピクセル分余裕量をもって「境界処理範囲」としてもよい。

まず、図１０のステップＳ２０１において、例えば、第１の画像として被写体Ｃの右目にピントが合っている被写界深度の浅い画像を取得する。このとき、背景ぼけのぼけ量は良好であるが、被写体Ｃの胴体の後ろ部分はその被写界深度の浅さからぼけている。続いてステップＳ２０２において、被写体Ｃの境界を決定する。第１の画像を用いて被写体Ｃの輪郭を境界として設定しようとしても、この状態ではぼけている部分があるため輪郭を捉えるのは難しいためである。このとき、例えば、被写体Ｃの全体がシャープに写っている仮想被写界深度値の大きい画像を再構成して境界決定に用いることができる。また、距離情報を利用した距離マップ（デプスマップ）を利用して被写体Ｃの輪郭から境界を決定してもよい。

続いてステップＳ２０３において、被写体Ｃの全体がシャープに写っている仮想被写界深度値が大きい画像から、所望の背景ぼけが得られている仮想被写界深度値に切り替えた際の被写体Ｃのぼけの広がり量Δｘ_ｐを算出する。ここで、仮想被写界深度が大きい画像とは、例えば、ステップＳ２０２にて得られた第１の画像である。

続いてステップＳ２０４において、ステップＳ２０３にて算出されたぼけの広がり量Δｘ_ｐに基づいて境界処理範囲を決定する。境界処理範囲は、少なくとも、Δｘ_ｐピクセル以上の幅を有することが好ましい。境界処理範囲を自動的にΔｘ_ｐピクセルと決定してもよく、または、被写体に合わせてΔｘ_ｐ＋αピクセル分の余裕量を持たせてもよい。余裕量αは、ユーザーがその都度決定することができる。また、被写体の形状に合わせて予めプリセットとして撮像装置側で持っていてもよい。また、被写体Ｃが奥行きを持っていることから、Δｘ_ｐの値は境界上の各点により異なる。このため、厳密にはΔｘ_ｐの値を画素ごとに求めるのが好ましいが、被写体Ｃの大きさによってはある程度間引いてΔｘ_ｐの値を算出して補間してつなげてもよい。

以上のように、再構成後の画像上で被写界深度が浅い場合、奥行きがある被写体の一部のぼけ量を算出することができる。これにより、境界処理範囲を決定することが可能である。なお、ぼけの広がり量Δｘ_ｉの算出方法はこれに限定されるものではなく、他の方法を用いてもよい。

次に、図１１および図１２を参照して、本実施形態における境界処理について詳述する。図１１および図１２は、本実施形態における境界処理の説明図である。

まず、図１１のステップＳ３０１において、境界処理範囲を挟んで隣り合う領域Ｆ１、Ｆ２における仮想被写界深度値を比較し、境界処理する範囲を更に細分化する必要があるか否かを判定する。ステップＳ３０１にて境界処理範囲を更に細分化すれば、より自然な画像を生成することができるため、好ましい。この細分化の必要性については、ユーザーが任意に決定することができる。または、領域Ｆ１、Ｆ２の仮想被写界深度値の乖離量からある閾値をもたせて自動的に決定してもよい。

続いてステップＳ３０２において、境界処理範囲内に領域Ｆ１、Ｆ２の間の仮想被写界深度値の画像を再構成して合成する。これにより、領域Ｆ１、Ｆ２の間をグラデーション的につなぎ合わせることができる。その結果、自然な画像を生成することができるため、好ましい。「領域Ｆ１、Ｆ２の間の仮想被写界深度値」とは、領域Ｆ１の仮想被写界深度値と領域Ｆ２の仮想被写界深度値との中心（厳密な意味での中心）の仮想被写界深度値である必要はなく、場合によって少し領域Ｆ１や領域Ｆ２の仮想被写界深度値に寄ったものでもよい。

ステップＳ３０１にて細分化の必要がないと判定された場合、前述のように、領域Ｆ１、Ｆ２の間の仮想被写界深度値の画像を境界処理範囲内の全てに再構成すればよい。一方、細分化の必要があると判定された場合、図１２に示されるように、領域Ｆ１から領域Ｆ２に向かって仮想被写界深度値を徐々に変えた画像（細分化領域１〜３）を再分化数分だけ再構成して合成すればよい。これにより、被写体Ｃの境界においてエッジが立つなど不自然になることを防ぎ、より自然に見える画像を生成することができるため、好ましい。

更に、仮想被写界深度値の異なる画像を再構成して１枚の画像にするため、そのまま最後の出力画像として合成すると、仮想被写体深度値が異なる領域ごとに明るさが異なって出力される場合がある。これは、シャッタースピードが同じである一方、絞り値が領域ごとに異なっている場合を想定することにより理解できる。このとき、領域ごとにエッジが目立ってしまい浮いて見える場合があるため、好ましくない。これを防ぐには、各領域での明るさ（輝度レベル）に差が生じないように、領域ごとの仮想被写界深度値の差で生じる明るさの差（輝度レベル差）だけ異なった重み付け係数を輝度信号値に掛けてから出力画像として合成すればよい。

次に、撮影条件値として仮想露出値を用いる場合について説明する。この場合、ピント位置や被写界深度は任意であり、入力画像情報を再構成するときの輝度値の重み付け方法を利用して、決定した領域ごとの仮想露出値（画像の明るさ）を変化させて出力画像として合成する。

前述のように、図５を参照して入力画像情報から１枚の画像に再構成する方法を説明した。図５に示されるような９つの視差画像を用いて１枚の画像に再構成する場合、単純に９つの画像の輝度値を足すと、再構成画像は輝度飽和を起こし、白く飛んだ画像になる。このため、９つの視差画像ごとに重み付けをせず単純に再構成しようとすると、９つの画像の輝度値を足すだけではなく、再構成に用いた視差画像数分だけ輝度値を割る必要がある。これにより、１枚の視差画像と同じ明るさを維持した再構成画像が得られる。このとき、利用した視差画像ごとの輝度値について均等な重み付けではなく、重み付け係数を変更することにより、領域内の明るさを変化させることができる。

なお、前述と重複する内容については説明を省略するが、仮想結像面位置や仮想被写界深度値の場合と異なる点は、ぼけの広がり量を算出する工程である。仮想結像面位置や仮想被写界深度値の場合には、対象がぼけ量であるため、ぼけの広がり量を算出した。一方、仮想露出値の場合、ぼけの広がり量ではなく、光の滲み出し量を算出する。光の滲み出しとは、光源が白く飛んだ（輝度飽和した）状態で撮像されたとき、光源だけでなく光源の周辺も光源の光の強さに応じて輝度飽和し、または、飽和しなくても明るく撮像されることをいう。光の滲み出し量を算出して境界処理範囲を決定する工程は、仮想結像面位置や仮想被写界深度値の場合と異なる。

また、仮想結像面位置や仮想被写界深度値の場合、ぼけた被写体の上にシャープに写った被写体を再構成すると、もともとぼけた被写体のぼけの広がりが残存し、これを消すために境界処理を行っている。一方、光の滲み出しについて想定するシーンは、通常どおり再構成すると光源の輝度値が飽和して光源の周囲も輝度飽和する（または、明るく写ってしまう）シーンである。このシーンで単純に光源の輝度飽和を除去するには、光源部分の領域について、光源の輝度値が輝度飽和していない暗い画像を再構成すればよい。

しかしながら、領域を光源の部分とそれ以外の部分に分けて、光源の領域部分だけ輝度値の重み付け係数を変えて画像を暗くして再構成しても、光源以外の部分は光源の滲み出しが残存しているため、好ましくない。この光の滲み出している量がわかればその部分を「境界処理範囲」として、光の滲み出しが目立たなくなるように、その範囲は別の重み付け量で暗めに再構成すればよい。しかし、再構成する前の視差画像の状態ですでに光の滲み出し部分が輝度飽和していると、情報がないため、光の滲み出し部分を消すことはできない。この場合、除去したい光の滲み出し部分が輝度飽和を起こさないように、暗めに視差画像を取得しておく必要がある。そして再構成時には、明るめに重み付けを行って再構成することにより、適正な明るさで出力画像を生成することが好ましい。

次に、図２５を参照して、本実施形態における光の滲み出し量の算出方法について説明する。図２５は、光の滲み出し量を算出する方法の説明図である。前述のように、除去したい光の滲み出し部分が輝度飽和を起こさないように暗めに視差画像を取得しておくことが前提であるが、その視差画像において、以下の処理を行えばよい。

まずステップＳ４０１において、通常の適正な明るさになるように再構成時に明るめに重み付けを行って画像全体について再構成処理を行う。続いてステップＳ４０２において、光源の領域の周辺部分が輝度飽和した、または、所定の閾値以上の輝度値になった領域を境界処理範囲として決定する。そしてステップＳ４０３において、決定した境界処理範囲内において、境界処理を行う。ステップＳ４０３以降の境界処理の内容（境界処理範囲の細分化の判定やそれ以降の処理）は、前述の仮想結像面位置や仮想被写界深度値の場合と同様であるため、これらの説明は省略する。なお、所定の閾値はユーザーが任意に決定することができる。または、想定されるシーンごとに撮像装置側で閾値テーブルを持っていてもよい。

本実施形態における画像処理方法（画像処理プログラム）によれば、１つの画像内に複数の撮影条件値を有する出力画像が得られる。なお本実施形態において、理解を容易にするため、仮想結像面位置、仮想被写界深度値、仮想露出値を互いに独立に制御して撮影条件値を変更する場合について説明したが、これに限定されるものではない。本実施形態において、これらを組み合わせて１つの出力画像領域内に複数の仮想結像面位置、仮想被写界深度値、仮想露出値を混在させてもよい。本実施形態において、撮影条件値は、仮想結像面位置、仮想被写界深度値、または、仮想露出値に限定されるものではない。

以下、本実施形態における画像処理方法（画像処理プログラム）を実行する撮像装置（画像処理装置）について、実施例ごとに説明する。

次に、図１８を参照して、本発明の実施例１における撮像装置（撮像光学系）の構成について説明する。図１８は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、本実施例の画像処理方法を実行することにより、入力画像（撮影画像）から出力画像（再構成画像）を生成可能である。

図１８に示されるように、撮像装置１００は、１つの結像光学系１０１（撮像光学系）と撮像素子１０３との間にレンズアレイ１０２を備え、複数の視点からの画像を同時に取得可能である。撮像装置１００において、被写体（不図示）は、絞り１０１１およびフォーカスレンズ１０１２を含む結像光学系１０１とレンズアレイ１０２とを介して、撮像素子１０３に結像する。

撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。結像光学系１０１およびレンズアレイ１０２を介して撮像素子１０３へ入射した光線のエネルギーは、電気信号（アナログ信号）となる。このように撮像素子１０３は、結像光学系１０１およびレンズアレイ１０２を介して形成された被写体像を光電変換して撮影画像を取得する。撮像素子１０３により取得された撮影画像（結像光）は、電気信号に変換され、Ａ／Ｄコンバータ１０４に出力される。Ａ／Ｄコンバータ１０４は、撮像素子１０３から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号を画像処理部１０５に出力する。

画像処理部１０５は、所定の処理と併せて画像の再構成処理を行う。画像処理部１０５は、状態検知部１０８から撮像装置１００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、撮像光学系（結像光学系）の構成、撮影距離、絞り値、ズームレンズにおける焦点距離などを含む。状態検知部１０８は、システムコントローラ１１１から直接に撮像条件情報を取得可能であり、また、例えば結像光学系１０１（撮像光学系）に関する撮像条件情報を光学系制御部１０７から取得することもできる。

画像処理部１０５で処理された画像は、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで記録される。表示部１０６には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。このとき、画像処理部１０５はノイズ低減処理も行う。その結果、表示部１０６には、所望の視点、ピント位置、および、被写界深度に再構成された画像（再構成画像）が表示される。また高速化のため、所望の設定（画像の視点、ピント、被写界深度など）を予め記憶部１０９に記憶し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させることもできる。なお、画像記録媒体１１０に記録される画像は、再構成画像であってもよい。

撮像装置１００における一連の制御はシステムコントローラ１１１により行われる。また、結像光学系１０１の機械的な駆動は、システムコントローラ１１１の指示に基づいて光学系制御部１０７により行われる。絞り１０１１は、絞り値（Ｆナンバー）の撮影状態設定として、その開口径が制御される。フォーカスレンズ１０１２は、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構（いずれも不図示）により、その位置が制御される。

本実施例において、結像光学系１０１（レンズ装置）は、撮像装置（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。結像光学系１０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。

次に、図１３を参照して、本実施例における撮像光学系の構成について説明する。図１３は、撮像光学系の概略構成図である。撮像光学系は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成される。本実施例において、レンズアレイ１０２は、複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２を構成してもよい。また、レンズアレイ１０２は複数のレンズから構成されていてもよい。レンズアレイ１０２を構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。

レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。またレンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。被写体面２０１上の同一位置からの光線は、結像光学系１０１およびレンズアレイ１０２を通過した後、この光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の互いに異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐように機能する。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１３に示される構成では、被写体面２０１上の同一の位置を３つの画素（２次元では９画素）が撮像している。このため本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が１／９に低下する。これは、被写体面２０１上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。

続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。

続いて図１９を参照して、リフォーカス画像を生成する方法の一例について説明する。図１９（ａ）、（ｂ）は、図１３に示される撮像光学系において、レンズアレイ１０２および撮像素子１０３の詳細図である。図１９（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの像側主点を通過する光線の経路を延長したものである。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２の物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２の主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。

例えば、図１３中の被写体面２０１にピントの合った画像を生成するには、図１９（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２の主平面（像側主平面）に仮想結像面２０３を設定すればよい。図１９（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図１９（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。

続いて、被写界深度の調節方法について説明する。図１３の撮像光学系の構成では、前述のように被写体面２０１上の同一の位置を３つの画素（２次元では９画素）が撮像している。例えばこの場合、３つの画素（２次元では９画素）を全て用いて再構成処理を行うことにより、図１３の状態の結像光学系１０１において被写界深度が一番浅い画像を再構成することができる。また、被写界深度の深い画像を生成する場合、３つの画素の全てを用いずに、例えば中心の１画素のみを用いて再構成処理を行えばよい。これにより、結像光学系１０１の瞳の全てを用いずに瞳の中心付近を通過する光束のみを選択して画像生成することができる。このため、結像光学系１０１の開口絞りを絞ったことと同様の効果が得られる。このときの光束の選択により決定される仮想Ｆナンバーが前述の各工程で説明した仮想被写界深度値に対応する。これは、軸上光束だけではなく、軸外の光束についても同様である。

図１３に示される撮像光学系では、被写体面２０１上の同一の位置を３つの画素でのみ撮像している。このため、前述のような被写界深度の調節を行う場合、３つの画素を用いるか、または、中心の１画素のみを用いるかの２通りしかない。しかし、この間の被写界深度に調節することも可能である。その場合、使用画素の重み付けを変更することにより、被写界深度の調節を行う。例えば、中心の１画素はそのまま用いて、周辺の２画素は中心の画素に対して０．５の割合で再構成処理に用いるなどすれば、中間の被写界深度を再現することも可能である。

続いて、露出値を変更する方法について説明する。前述のように、リフォーカス画像生成の際には、撮像素子１０３で得られた画素値を、仮想結像面２０３へ平行移動させて合成することにより、所望のピント位置でのリフォーカス画像を生成することができる。この例では、３つの画素を平行移動させて合成しているが、合成時に補正値のような係数を掛ける（適用する）ことにより、合成時の画素の輝度値を制御することができる。これを画像全体について一律の補正値をかければ、画像全体の明るさを変化させることができる。また、特定の画素（または画素群）のみに対して部分的に補正値を掛けることにより、特定の部分のみの明るさを変更することが可能である。このように補正値を掛けることにより、あたかも実際に露出値を変更したように明るさを変化させることができる。補正値を掛けることにより決定される明るさは、前述の仮想露出値に対応している。

続いて、前述の式（５）中の係数Ｑの値について説明する。本実施例における撮像装置（撮像光学系）の場合、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。このため、結像光学系１０１による被写体面２０１の像をレンズアレイ１０２でサンプリングしていることに等しい。これに関し、前述のとおり、光の２次元強度分布のみを取得する撮像装置に対して２次元的な空間解像度が１／９に低下する、と説明している。このため、レンズアレイ１０２のピッチをＬ_１ｐすると、係数Ｑ、Δｘ_ｐは、それぞれ、以下の式（６）、（５ａ）のように表される。

Ｑ＝ｓ_ｐ／Ｌ_１ｐ … （６）
Δｘ_ｐ＝（ｓ_ｐ／Ｌ_１ｐ）×（Δｘ_ｉ／ｓ_ｐ）＝Δｘ_ｉ／Ｌ_１ｐ … （５ａ）
続いて、図２４を参照して、本実施例における画像処理方法について説明する。図２４は、本実施例における画像処理方法のフローチャートである。図２４の各工程は、システムコントローラ１１１の指令に基づいて画像処理部１０５により行われる。

画像処理部１０５は、領域分割部１０５ａおよび再構成画像生成部１０５ｂを有する。領域分割部１０５ａは、入力画像情報に基づいて生成された入力画像（第１の画像）を複数の領域（第１の領域および第２の領域）に分割する。再構成画像生成部１０５ｂは、第１の領域および第２の領域に対して互いに異なる撮影条件値を適用することにより、入力画像情報を再構成して出力画像を生成する。好ましくは、画像処理部１０５の領域分割部１０５ａは、境界決定部１０５１ａ、撮影条件値決定部１０５１ｂ、境界処理範囲決定部１０５１ｃ、および、境界処理部１０５１ｄを有する。境界決定部１０５１ａは、画像を第１の領域および第２の領域に分割する境界を決定する。撮影条件値決定部１０５１ｂは、第１の領域および第２の領域のそれぞれに対する撮影条件値を決定する。境界処理範囲決定部１０５１ｃは、境界処理範囲を決定する境界処理部１０５１ｄは、境界処理範囲に対して境界処理を行う。

好ましくは、境界処理範囲決定部１０５１ｃは、第１の領域または第２の領域に対する撮影条件値を適用したときに第１の領域または第２の領域の被写体画像がぼけることにより被写体画像が変化する場合、ぼけの広がり量を算出する。ぼけの広がり量とは、被写体画像の変化前後のぼけの広がり量であり、撮影条件値に基づいて算出される。そして境界処理範囲決定部１０５１ｃは、ぼけの広がり量に基づいて境界処理範囲を決定する。

また好ましくは、境界処理部１０５１ｄは、境界処理範囲に対して、境界処理範囲を挟んで隣接する第１の領域および第２の領域に対する撮影条件値の間の撮影条件値を適用して境界処理を行う。

まず、図２４のステップＳ５０１において、入力画像情報（複数の視点画像情報）から第１の画像（入力画像）を生成して出力する。続いてステップＳ５０２において、第１の画像に対して、領域（第１の領域、第２の領域）に分割するための境界を決定する。そしてステップＳ５０３において、それぞれの領域に対応する撮影条件値を決定する。また、ステップＳ５０４において、境界処理範囲を決定する。続いてステップＳ５０５において、決定した境界処理範囲内において境界処理を行う。そしてステップＳ５０６において、再構成して１つの出力画像を生成する。これにより、一画像中の複数の領域ごとに異なる撮影条件値を適用して再構成画像を生成することができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図１８を参照して説明した実施例１の撮像装置１００と同様であるため、それらの説明は省略する。

まず、図１４を参照して、本実施例における撮像光学系の構成について説明する。図１４は、撮像光学系の概略構成図である。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側に配置されている。またレンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２と撮像素子１０３が共役となる（共役関係を有する）ように配置されている。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて撮像素子１０３の異なる画素へ入射し、これにより被写体空間情報（ライトフィールド）が取得される。被写体面２０１上の同一位置からの光線は、この光線が被写体面２０１となす角に応じて、結像光学系１０１の異なる瞳領域を通過する。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。

図１４に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へさらに縮小結像するためである。その縮小倍率は｜σ_２／σ_１｜倍である。ここで、σ_１は像側共役面２０２とレンズアレイ１０２の物体側主平面の間の距離、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３の間の距離である。したがって、図１４に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が（σ_２／σ_１）^２倍される。

次に、図２０（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図２０（ａ）、（ｂ）は、図１４に示される撮像光学系の構成において、レンズアレイ１０２および撮像素子１０３の詳細図である。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。

図２０（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図１４中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図２０（ａ）、（ｂ）において、リフォーカス画像生成の際にレンズアレイ番号ｊ＝−１〜＋１から投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。

続いて、被写界深度の調節方法について説明する。図１４に示される撮像装置（撮像光学系）の構成では、被写体面２０１上の同一の位置を３つのレンズアレイ１０２で瞳領域を分割して撮像している。例えばこの場合、３つのレンズアレイ１０２を全て用いて再構成処理を行うことにより、図１４に示される撮像装置（結像光学系１０１）において、被写界深度が一番浅い画像を生成することができる。また、被写界深度の深い画像を生成する場合、３つのレンズアレイ１０２の全てを用いずに、例えば中心の１つのレンズアレイ１０２のみを用いて再構成処理を行えばよい。これにより、結像光学系１０１の瞳の全てを用いることなく、瞳の中心付近を通過する光束のみを用いて画像生成することができる。このため、結像光学系１０１の開口絞りを絞ったことと同様の効果が得られる。このときのレンズアレイ１０２の選択により決定される仮想Ｆナンバーが前述の各工程で説明される仮想被写界深度値に対応する。これは、軸上光束だけではなく、軸外の光束についても同様である。

図１４に示される撮像装置（撮像光学系）においても、図１３に示される撮像装置（撮像光学系）と同様に、使用するレンズアレイ１０２に対応する各画素についての重み付けを変化させることにより、被写界深度の細かい調節を行うことができる。例えば、中心の１つのレンズアレイ１０２に対応する各画素はそのまま使用し、周辺の２つのレンズアレイ１０２は中心のレンズアレイ１０２に対して０．５の割合で周辺の２つのレンズアレイ１０２に対応する各画素値に重み付けを行う。この結果を再構成処理に利用することにより、その間の任意の被写界深度を再現することも可能である。

続いて、露出値を変更する方法について説明する。前述のように、リフォーカス画像生成の際には、撮像素子１０３で得られた画素値を、該画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することにより、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。合成時に各レンズアレイ１０２に対応する画素値ごとに補正値のような係数を掛ける（適用する）ことにより、実施例１の撮像装置と同様に、合成時の画素の輝度値を制御することができる。これを画像全体について一律の補正値を掛ければ、画像全体の明るさを変更することができる。また、特定の画素（または画素群）のみに部分的に補正値を掛けることにより、特定の部分のみの明るさを変更するが可能である。このように補正値を掛けることにより、あたかも実際に露出値を変更したように明るさを変化させることができる。補正値を掛けることで決定される明るさは、前述の仮想露出値に対応している。

続いて、前述の式（５）中の係数Ｑの値について説明する。本実施例の撮像装置（撮像光学系）において、レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置されている。また、像側共役面２０２と撮像素子１０３は、レンズアレイ１０２を介して共役関係を有するように配置されている。このため、撮像素子１０３上には、σ_２／σ_１倍だけ縮小されて撮像素子１０３上の画素によってサンプリングされていることになる。このため、以下の式（７）で表されるように、係数Ｑはσ_２／σ_１に等しい。このとき、Δｘ_ｐは以下の式（５ｂ）のように表される。

Ｑ＝σ_２／σ_１ … （７）
Δｘ_ｐ＝（σ_２／σ_１）×（Δｘ_ｉ／ｓ_ｐ） … （５ｂ）

次に、本発明の実施例３について説明する。本実施例における撮像装置の基本構成は、図１８を参照して説明した実施例１の撮像装置１００と同様であるため、それらの説明は省略する。

まず、図１５を参照して、本実施例における撮像光学系の構成について説明する。図１５は、撮像光学系の概略構成図である。本実施例の撮像光学系は、レンズアレイ１０２が像側共役面２０２より像側へ配置されていることを除いて、実施例２の撮像光学系と同様である。実施例２の撮像装置（撮像光学系）との違いは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させることである。しかし、実施例２（図１４）と本実施例（図１５）に示される撮像装置（撮像光学系）は、いずれも結像光学系１０１が結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。このため、実施例２の撮像装置（撮像光学系）に対するリフォーカスや被写界深度調節についての議論は、本実施例の撮像装置（撮像光学系）に関しても同様に成り立つ。

また、露出値を変更する方法についても、実施例２の撮像装置（撮像光学系）と同様の考え方で制御することができるため、その説明は省略する。式（５）中の係数Ｑの値についても、式（５ｂ）が適用可能である。

次に、本発明の実施例４について説明する。図２１は、本実施例における撮像装置１００ａのブロック図である。撮像装置１００ａの構成は、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を除いて図１８の撮像装置１００と同様である。

図２５は、本実施例における撮像光学系の概略構成図であり、物体側から結像光学系１０１を見た図である。図２１において、不図示の被写体空間からの光線は、結像光学系１０１に入射する。結像光学系１０１は、図２２に示されるように、正の屈折力を有する複数の光学系１０１ａ〜１０１ｇを備えて構成されている。結像光学系１０１は、光学系１０１ｂの光軸を回転軸とした場合、六回対称性を有した構成をしている。ただし、結像光学系１０１の構成はこれに限定されるものではなく、光学系の個数や配列は適宜変更可能である。光学系１０１ａ〜１０１ｇの像側には、それぞれ撮像素子１０３ａ〜１０３ｇが配列されている。ただし、本実施例では複数の撮像素子１０３ａ〜１０３ｇを備えることは必須でなく、光学系１０１ａ〜１０１ｇにより形成される像を受光できる場合には単数の撮像素子を備えたものであってもよい。このため、本実施例の撮像装置は、少なくとも１つの撮像素子を有していればよい。

図１６は、本実施例の撮像光学系を光学系１０１ａ〜１０１ｃの光軸を含む断面で見た概略図である。光学系１０１ａ、１０１ｂ、１０１ｃで屈折された光線は、それぞれに対応した撮像素子１０３ａ、１０３ｂ、１０３ｃで受光される。撮像素子１０３ａ〜１０３ｃで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間における光の２次元強度分布と角度情報、すなわち被写体空間情報（ライトフィールド）を得ることができる。本実施例では、このような複数の視差画像が入力画像となる。ところで、図１６に示される構成は、使用する撮像素子の全画素数が同じであるとすると、光の２次元強度のみを取得する撮像系に対して解像度は低下する。これは被写体空間情報の角度成分の取得に画素を割く必要があるためである。

続いて、本実施例におけるリフォーカス画像の生成方法について説明する。図２３は、リフォーカス画像生成に関する説明図であり、図１６の構成の詳細図である。図２３中の合成物体側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの物体側主点を通る面であると定義する。同様に、合成像側主平面は、光学系１０１ａ〜１０１ｇのそれぞれの像側主点を通る面である。図２１に示される撮像装置１００ａにおいて、結像光学系１０１の物体側主平面、及び像側主平面は、それぞれ合成物体側主平面と合成像側主平面で表されるとする。図２３の一点鎖線は、各光学系の画角を表す。

像側のピント位置を仮想結像面２０３に合わせる場合、撮像素子１０３ａ〜１０３ｇで得られた画素値を、各撮像素子１０３ａ〜１０３ｇに対応する光学系１０１ａ〜１０１ｇを介して物体側リフォーカス面２０４へ投影して合成すればよい。物体側リフォーカス面２０４は、仮想結像面２０３と光学系１０１ａ〜１０１ｇを介して共役な面である。仮想結像面２０３を移動することで、任意の位置にピントの合ったリフォーカス画像を生成することができる。

例えば、図１６の被写体面２０１にピントの合った画像を生成するには、撮像素子１０３ａ〜１０３ｇ上に仮想結像面２０３を設定すればよい。このとき、被写体面２０１と物体側リフォーカス面２０４は一致する。図２３において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして示している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過した光学系が同じである場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した光学系に応じて決定される。

続いて、被写界深度の調節方法について説明する。図２１に示される撮像装置１００ａにおいて、不図示の被写体空間上の同一の位置を７つの光学系１０１ａ〜ｇで瞳領域を分割して撮像している。例えばこの場合、７つの光学系１０１ａ〜１０１ｇの全てを用いて再構成処理を行うと、撮像装置１００ａの結像光学系１０１において、被写界深度が一番浅い画像を生成することができる。また、被写界深度の深い画像を生成する場合、７つの光学系１０１ａ〜ｇの全てを用いずに、例えば中心の１つの光学系１０１ｂのみを用いて再構成処理を行えばよい。これにより、結像光学系１０１の瞳の全てを用いることなく、瞳の中心付近を通過する光束のみを用いて画像生成することができる。このため、結像光学系１０１の開口絞りを絞ったことと同じ効果が得られる。このときの光学系１０１の選択により決定される仮想Ｆナンバーは、前述の各工程で説明した仮想被写界深度値に対応する。これは、軸上光束だけではなく、軸外の光束についても同様である。

図２１に示される撮像装置１００ａの場合でも、図１３に示される撮像装置１００と同様に、使用する光学系１０１ａ〜１０１ｇに対応する各画素についての重み付けを変更することにより、被写界深度の細かい調節を行うことができる。例えば、中心の１つの光学系１０１ｂに対応する各画素はそのまま使用する。また、周辺の６つの光学系１０１ａ、光学系１０１ｃ〜１０１ｇは、中心の光学系１０１ｂに対して０．５の割合で周辺の６つの光学系１０１ａ、光学系１０１ｃ〜１０１ｇに対応する各画素値に重み付けを行う。この結果を再構成処理に用いることにより、その間の任意の被写界深度を再現することが可能である。

続いて、露出値を変更する方法について説明する。前述のように、リフォーカス画像生成の際には、撮像素子１０３ａ〜１０３ｇで得られた画素値を、各撮像素子１０３ａ〜１０３ｇに対応する光学系１０１ａ〜１０１ｇを介して物体側リフォーカス面２０４へ投影して合成する。これにより、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。合成時に各光学系１０１に対応する画素値ごとに補正値のような係数を掛ける（適用する）ことにより、実施例１の撮像装置（撮像光学系）と同様に、合成時の画素の輝度値を制御することができる。これを画像全体について一律の補正値を掛ければ、画像全体の明るさを変更することができる。また、特定の画素（または画素群）のみに部分的に補正値を掛ければ、特定の部分のみの明るさを変更することが可能である。このように補正値を掛けることにより、あたかも実際に露出値を変更したように明るさを変化させることができる。補正値を掛けることにより決定される明るさは、前述の仮想露出値に対応している。

続いて、式（５）中の係数Ｑの値について説明する。実施例４の撮像装置（撮像光学系）の場合、被写体空間からの光線は、図２１に示される結像光学系１０１に入射する。このような構成の場合、各結像光学系の合成瞳を分割して被写体空間情報を取得していることになるが、結像光学系１０１や撮像素子１０３は独立に存在する。このため、係数Ｑの値は、従来の複数視点からの被写体空間情報を取得しない撮像装置と変わらず、以下の式（８）で表されるように１となる。従って、このときΔｘ_ｐは以下の式（５ｃ）ように表される。

Ｑ＝１ … （８）
Δｘ_ｐ＝１×（Δｘ_ｉ／ｓ_ｐ） … （５ｃ）

次に、本発明の実施例５について説明する。本実施例は、前述の各実施例における画像処理方法を行う画像処理装置（画像処理システム）について説明する。図１７は、本実施例における画像処理システム３００のブロック図である。本実施例の画像処理装置は、複数の視点画像から得られた被写体空間情報を含む入力画像情報を用いて出力画像を生成する。

図１７に示されるように、画像処理システム３００は撮像装置３０１を備えている。撮像装置３０１は、図１３乃至図１６（実施例１〜４）のいずれかの構成を備えた撮像光学系を有する。画像処理装置３０２は、前述の画像再構成を行うコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された入力画像の撮影条件情報を記憶する記憶部を備える。画像処理装置３０２は、この入力画像に対して所定の再構成処理を行い、その処理結果（出力画像）を出力機器３０５、表示機器３０４、記録媒体３０３のいずれか又は複数に出力する。画像処理装置３０２は、図２４の各工程を実行する。

記録媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理ソフトウェア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタなどである。

また、本実施例は、以下の処理を実行することによっても実現される。すなわち、前述の各実施例における機能を実現するソフトウェア（プログラム）を、ネットワークまたは例えばＣＤ−ＲＯＭなどの記憶媒体３０７を介してシステム或いは装置に供給する。そして、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵなど）が画像処理プログラムを読み出して実行する。

また、各実施例の画像処理プログラムは、以下の画像取得ステップ、撮影条件設定ステップ、および、合成ステップを情報処理装置に実行させるように構成してもよい。画像取得ステップは、互いに異なる第１撮影条件値、第２撮影条件値、および、第３撮影条件値の下でそれぞれ撮影された第１画像、第２画像、および、第３画像を含む入力画像を取得するステップである。撮影条件設定ステップは、出力画像の第１領域に第１撮影条件値を設定し、第２領域に第２撮影条件値を設定するステップである。合成ステップは、第１領域に対応する第１画像と、第２領域に対応する第２画像と、第１領域と第２領域との間の第３領域に対応し、第１撮影条件値と第２撮影条件値との間の第３撮影条件値に基づく第３画像とを合成するステップである。

前記各実施例によれば、一画像中の複数の領域ごとに異なる撮影条件を適用して再構成画像を生成可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。これにより、背景ぼけと被写界深度を独立に制御可能になり、例えば被写体が動体の場合や撮影者が手持ちで撮影した場合に特に効果的である。

また、各実施例の画像処理装置によれば、一画像内で複数のピント位置を有する画像を容易に得ることができる。このことから、これを応用して、仮想結像面位置を手前から奥（またはその逆）に向かって連続的に変化させるようないわゆるチルトレンズのような効果を得ることが可能である。また、仮想結像面位置を曲面状や自由曲面状に連続的に変化させれば、従来の平面の撮像素子では不可能であった撮影効果も期待できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 画像処理部
１０５ａ 領域分割部
１０５ｂ 再構成画像生成部

Claims (16)

1. 被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理装置であって、
   前記出力画像の領域を少なくとも第１の領域および第２の領域に分割する領域分割部と、
   前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成する再構成画像生成部を有し、
   前記再構成画像生成部は、前記第１の領域および前記第２の領域に対して互いに異なる仮想被写界深度が適用された出力画像を生成することを特徴とする画像処理装置。
2. 前記領域分割部は、
   前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定する境界決定部と、
   前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定する撮影条件決定部と、
   前記第１の領域と前記第２の領域との間の境界処理範囲を決定する境界処理範囲決定部と、
   前記境界処理範囲に対して、前記撮影条件が互いに異なることにより生じた前記第１の領域と前記第２の領域との間の差を低減するように境界処理を行う境界処理部を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記境界処理範囲決定部は、前記第１の領域または前記第２の領域に適用する前記撮影条件に基づいて被写体画像の変化前後の視差に対応するぼけの広がり量を算出し、該ぼけの広がり量に基づいて前記境界処理範囲を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記境界処理部は、前記境界処理範囲に対して、該境界処理範囲を挟んで隣接する前記第１の領域および前記第２の領域に適用する前記撮影条件の間の撮影条件を適用して前記境界処理を行うことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記再構成画像生成部は、前記第１の領域および前記第２の領域に対して互いに異なる仮想結像面位置が適用された出力画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記再構成画像生成部は、前記第１の領域および前記第２の領域に対して互いに異なる仮想露出が適用された出力画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理装置であって、
   前記出力画像の領域を少なくとも第１の領域および第２の領域に分割する領域分割部と、
   前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成する再構成画像生成部を有し、
   前記領域分割部は、
   前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定する境界決定部と、
   前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定する撮影条件決定部と、
   前記第１の領域と前記第２の領域との間の境界処理範囲を決定する境界処理範囲決定部と、
   前記境界処理範囲に対して、該境界処理範囲を挟んで隣接する前記第１の領域および前記第２の領域に適用する前記撮影条件の間の撮影条件を適用して境界処理を行う境界処理部を有することを特徴とする画像処理装置。
8. 被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、
   結像光学系と、
   複数の画素を備えた撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
   請求項１乃至７のいずれか１項に記載の画像処理装置を有し、
   前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする撮像装置。
9. 被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、
   結像光学系と、
   複数の画素を備えた撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるレンズアレイと、
   請求項１乃至７のいずれか１項に記載の画像処理装置を有し、
   前記レンズアレイは、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子が共役となるように配置されていることを特徴とする撮像装置。
10. 被写体空間情報を含む入力画像を用いて出力画像を生成する撮像装置であって、
    正の屈折力を有する複数の光学系を備えた結像光学系と、
    複数の画素を備えた少なくとも１つの撮像素子と、
    請求項１乃至７のいずれか１項に記載の画像処理装置を有し、
    前記複数の光学系は、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように配列されており、
    前記結像光学系の瞳は、前記複数の光学系の瞳を合成した合成瞳であることを特徴とする撮像装置。
11. 被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理方法であって、
    前記出力画像の領域を少なくとも第１の領域および第２の領域に分割するステップと、
    前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成するステップを含み、
    前記第１の領域および前記第２の領域に対して互いに異なる仮想被写界深度が適用されることを特徴とする画像処理方法。
12. 前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定するステップと、
    前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定するステップと、
    前記第１の領域と前記第２の領域との間の境界処理範囲を決定するステップと、
    前記境界処理範囲に対して、前記撮影条件が互いに異なることにより生じた前記第１の領域と前記第２の領域との間の差を低減するように境界処理を行うステップと、を有することを特徴とする請求項１１に記載の画像処理方法。
13. 被写体空間情報を含む入力画像を用いて出力画像を生成する画像処理方法であって、
    前記出力画像の領域を少なくとも第１の領域および第２の領域に分割するステップと、
    前記入力画像を再構成することにより、前記第１の領域および前記第２の領域に対して互いに異なる撮影条件が適用された出力画像を生成するステップを含み、
    前記出力画像の領域を少なくとも前記第１の領域および前記第２の領域に分割する境界を決定し、
    前記第１の領域および前記第２の領域のそれぞれに適用する前記撮影条件を決定し、
    前記第１の領域と前記第２の領域との間の境界処理範囲を決定し、
    前記境界処理範囲に対して、該境界処理範囲を挟んで隣接する前記第１の領域および前記第２の領域に適用する前記撮影条件の間の撮影条件を適用して境界処理を行うことを特徴とする画像処理方法。
14. 請求項１１乃至１３のいずれか１項に記載の画像処理方法を情報処理装置に実行させることを特徴とする画像処理プログラム。
15. 互いに異なる第１撮影条件、第２撮影条件、および、第３撮影条件でそれぞれ撮影された第１画像、第２画像、および、第３画像を取得する取得ステップと、
    出力画像の第１領域に前記第１撮影条件を設定し、第２領域に前記第２撮影条件を設定する撮影条件設定ステップと、
    前記第１領域に対応する前記第１画像と、前記第２領域に対応する前記第２画像と、前記第１領域と前記第２領域との間の第３領域に対応し、前記第１撮影条件と前記第２撮影条件の間の前記第３撮影条件に基づく前記第３画像とを合成する合成ステップと、を情報処理装置に実行させることを特徴とする画像処理プログラム。
16. 請求項１４または１５に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。