JP5553862B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な撮像装置に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１および非特許文献２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体面上での２次元的な光強度分布と視差情報（これらをまとめて「ライトフィールド」という。）を同時に取得する撮像装置が開示されている。このような撮像装置によれば、ライトフィールドを取得することにより被写体空間の３次元的な情報を得ることができ、撮影後の画像処理によってリフォーカスと呼ばれる画像のピント位置の変更や、被写界深度の調節などが可能となる。しかし、このような撮像装置では、撮像素子の画素を光の２次元強度分布だけでなく、視差情報の保存にも割り当てる必要がある。このため、光の２次元強度分布のみを保存する撮像装置に対して、空間解像度が低下する。

非特許文献２には、結像光学系によって形成された像面のある一点を、レンズアレイを構成する複数の小レンズを用いて複数の小画像を取得する構成が開示されている。このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化することができる。このような高解像度化手法を「画素ずらし超解像」と呼ぶ。

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，"Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ"，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ

非特許文献２には、特定のピント位置において画素ずらし超解像の効果を得る方法が開示されている。しかしながら、任意のピント位置へリフォーカスした画像を生成する際の画素ずらし超解像の効果に関しては開示されていない。画素ずらし超解像の効果は、ピント位置に応じて変化するため、リフォーカス可能な範囲内に特定のピント位置より高解像になるピント位置が存在する場合がある。このように、撮影時にユーザーの指定した被写体（主被写体）は、必ずしも高解像度となるピント位置に存在していない。

そこで本発明は、主被写体を高解像度で取得可能な撮像装置および撮像装置の制御方法を提供する。

本発明の一側面としての撮像装置は、第１画像の再構成を行うことによりピント位置の異なる複数の第２画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備え、前記第１画像を取得する撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させる瞳分割部と、前記結像光学系の結像位置を調整するピント調整部と、前記撮像素子で取得された前記第１画像に対して、該第１画像の撮影条件情報を用いた前記再構成を行うことにより、前記第２画像を生成する画像処理部とを有し、前記ピント調整部は、基準被写体に対する前記結像光学系の結像位置を調整する第１ピント調整と、前記再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように該主被写体に対する前記結像光学系の結像位置を移動させる第２ピント調整とを行う。

本発明の他の側面としての撮像装置の制御方法は、第１画像の再構成を行うことによりピント位置の異なる複数の第２画像を生成可能な撮像装置の制御方法であって、前記撮像装置に含まれる結像光学系の基準被写体に対する結像位置を調整する第１ピント調整を行うステップと、前記再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように該主被写体に対する前記結像光学系の結像位置を移動させる第２ピント調整を行うステップと、前記撮像装置の撮影により前記第１画像を取得するステップとを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、主被写体を高解像度で取得可能な撮像装置および撮像装置の制御方法を提供することができる。

実施例１における撮像光学系の概略構成図である。 実施例２における撮像光学系の概略構成図である。 実施例３における撮像光学系の概略構成図である。 実施例１、２における撮像装置のブロック図である。 実施例１におけるリフォーカス画像の生成方法に関する説明図である。 実施例１におけるリフォーカス範囲の説明図である。 仮想結像面の位置とリフォーカス画像の空間解像度の関係の説明図である。 実施例１、２における撮像装置の撮影手順を示すフローチャートである。 実施例２におけるリフォーカス画像の生成方法に関する説明図である。 実施例２におけるリフォーカス範囲の説明図である。 実施例２における再構成処理時に重なり合う画素の数に関する説明図である。 実施例３における画像処理システムのブロック図である。 実施例３における撮像装置のブロック図である。 実施例３における撮像装置の撮影手順を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態の撮像装置および撮像装置の制御方法は、第１画像（入力画像）の再構成を行うことによりピント位置の異なる複数の第２画像（出力画像）を生成可能である。また、本実施形態の撮像装置は、正の屈折力を有する複数の光学系を配列し、または、結像光学系の像側にレンズアレイを配置することにより、ライトフィールドを取得可能に構成されている。第１画像は、このような撮像装置（撮像素子）で取得された画像である。また、第２画像を生成する際は、第１画像に対してデモザイキング等の処理を施した画像を用いてもよい。

図１乃至図３は、本実施形態における撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系が構成される。図１乃至図３中に示される被写体面２０１の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために１次元系を用いて行うが、２次元系に関しても同様の議論が成り立つ。

まず、図４を参照して、本発明の実施例１における撮像装置の構成について説明する。図４は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部１０５により実行される。

瞳分割部１０２は、被写体面の同一位置からの光線を、光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させる。結像光学系１０１、瞳分割部１０２、および、撮像素子１０３により撮像光学系が構成される。撮影時、被写体空間からの光線は、結像光学系１０１および瞳分割部１０２を介して、撮像素子１０３へ入射する。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。結像光学系１０１（主レンズ群）および瞳分割部１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。

画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。このように画像処理部１０５は、撮像素子１０３で取得された第１画像に対して、第１画像の撮影条件情報を用いた再構成を行うことにより、第２画像を生成する。

ユーザーは、システムコントローラ１１１を用いて撮像装置を制御することにより撮影を行う。本実施例において、撮影前にピント合わせの基準となる被写体を基準被写体、ユーザーが高い解像度でピントを合わせたい被写体を主被写体という。ライトフィールドを取得する撮像装置では、リフォーカスにより撮影後にピント位置を変更可能であるため、基準被写体と主被写体とが一致している必要はない。

光学系制御部１０７は、結像光学系１０１を駆動制御する。また、光学系制御部１０７は、結像光学系１０１のフォーカス群１０１ａを駆動して、結像光学系１０１の結像位置を調整するピント調整部１０７ａを有する。ピント調整部１０７ａは、基準被写体が指定された際に結像光学系１０１のフォーカス群１０１ａを駆動し、基準被写体に対する結像光学系１０１の結像位置が所定の位置に調整されるように第１ピント調整を行う。本実施例において、結像光学系１０１のフォーカス群１０１ａは単数または複数枚のレンズを備えて構成され、結像光学系１０１全体を構成するものであってもよい。

またピント調整部１０７ａは、フォーカス群１０１ａを駆動して、記憶部１０９に記憶されたピントずらし量ζだけ結像光学系１０１の結像位置を移動させる第２ピント調整を行う。すなわちピント調整部１０７ａは、再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように主被写体に対する結像光学系１０１の結像位置を移動させる。第２ピント調整が行われた後、撮影が実行される。ピントずらし量ζは、撮像光学系の構成に応じて決定される量であり、第２ピント調整により主被写体にピントの合った高解像な画像を取得することができる。第１ピント調整および第２ピント調整の詳細に関しては後述する。なお本実施例において、基準被写体と主被写体は一致しているものとする。

以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。

次に、図１を参照して、本実施例における撮像光学系の構成について説明する。図１は、撮像光学系の概略構成図である。撮像光学系は、結像光学系１０１、瞳分割部１０２（レンズアレイ１０２ａ）、および、撮像素子１０３を備えて構成される。本実施例において、結像光学系１０１は開口絞り（不図示）を備えている。

本実施例において、瞳分割部１０２として、固体レンズからなるレンズアレイ１０２ａを用いているが、これに限定されるものではなく、ピンホールアレイなど他の構成でもよい。また本実施例において、レンズアレイ１０２ａは複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２ａを構成してもよい。レンズアレイ１０２ａを構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。ただし、レンズアレイ１０２ａを構成する小レンズの像側の面は、凸形状であることが好ましい。これにより、レンズアレイ１０２ａの非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。逆に、小レンズの像側面が凸形状でない場合には非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に使用すると、再構成により得られた画像が鮮鋭に形成されない場合がある。また、レンズアレイ１０２ａを構成する小レンズの物体側の面は、平面又は凸形状であることがより好ましい。これにより、小レンズの曲率が緩まって収差が低減し、更に鮮鋭な画像を得ることができる。

レンズアレイ１０２ａは、結像光学系１０１の像側焦点、または、像側焦点よりも像側に配置されている。またレンズアレイ１０２ａは、結像光学系１０１の射出瞳と撮像素子１０３とが略共役関係となるように構成されている。略共役関係とは、厳密な共役関係だけでなく実質的に共役関係であると評価される関係をも含む意味である。本実施例において、レンズアレイ１０２ａの物体側主平面の位置を像側ピント面２０２と定義する。また、像側ピント面２０２と結像光学系１０１を介して共役な面が、被写体空間のピントが合った面であるとする。そして、被写体空間のピントが合った面を、被写体面２０１という。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２ａを通過した後、この光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。ここでレンズアレイ１０２ａは、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１０３では、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１の構成では、被写体面２０１上の同一の領域を３つの画素（２次元では９画素）が撮像している。したがって、本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が１／３（２次元系では１／９）に低下する。この性質は、被写体面２０１上の同一の領域を撮像する画素の数が変化しても同じである。

続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。図５を参照して、リフォーカス画像を生成する方法の一例について説明する。図５（ａ）、（ｂ）は、図１に示される撮像光学系において、レンズアレイ１０２ａと撮像素子１０３の部分を詳細に示した図である。図５（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの主平面と光軸の交点を結んだ直線である。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２ａの物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２ａの主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて重なり合う画素を合成することで、所望のピント位置でのリフォーカス画像を生成することができる。

例えば、図１中の被写体面２０１にピントの合った画像を生成するには、図５（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２ａの主平面（像側主平面）に仮想結像面２０３を設定すればよい。このとき、仮想結像面２０３は、像側ピント面２０２、または、像側ピント面２０２からレンズアレイ１０２ａの主平面間隔だけ像側へ移動した位置と一致している。図５（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図５（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。

次に、リフォーカスが可能な範囲に関して説明する。結像光学系１０１の開口径は有限であるため、撮像素子１０３で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙ（結像光学系１０１を介して主被写体と共役な面でのサンプリングピッチ）および角度成分のサンプリングピッチΔｕにより決定され、その係数α_±は以下の式（１）のように与えられる。

式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２と、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ_２は、結像光学系１０１の像側主平面と像側ピント面２０２との間隔である。

図６は、リフォーカス範囲の説明図である。図６に示される構成例では、レンズアレイ１０２ａの１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子１０３の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系１０１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（１）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（１）は、撮像素子１０３の画素ピッチΔが結像光学系１０１の瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。

ここで、結像光学系１０１の瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。また、Ｎはレンズアレイ１０２ａによる結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値、Δ_ＬＡはレンズアレイ１０２ａのピッチである。Δ_ＬＡは、瞳分割部１０２がピンホールアレイなどの場合は、その構造周期となる。図５の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式（２）の最大リフォーカス量を超えたところで、各画素の間隔がΔｙより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。

次に、画像再構成時の画素ずらし超解像に関して説明する。図５（ａ）を参照すると、仮想結像面２０３において、平行移動した画素が互いにずれて重なり合っている（オーバーラップしている）ことが分かる（オーバーラップ画素）。これらを合成することにより、見かけの画素サイズ（見かけの画素ピッチ）を小さくすることができる。これを画素ずらし超解像と呼ぶ。一方、図５（ｂ）のように平行移動した画素がずれずに一致して重なり合っている場合、画素ずらし超解像の効果を得ることはできず、高解像度化を図ることはできない。重なり合っている画素のずれは、画素を平行移動する仮想結像面２０３の位置に応じて変化するため、画素ずらし超解像の効果も仮想結像面２０３により変化する。

ここで、画素ずらし超解像により小さくなった見かけの画素ピッチの中で、最も大きい画素ピッチがリフォーカス画像の解像度を決定すると定義する。また、解像度を決定する画素ピッチを見かけの画素ピッチの最大値と定義する。このとき、被写体面２０１の同一の領域を撮像している１次元方向の画素数がｎ画素であるとする。ここで、ｎは結像光学系１０１の１次元瞳分割数に対応している。画素が１／ｎ画素ずつずれていれば、見かけの画素ピッチの最大値が最小となり、リフォーカス画像が最も高解像度になる。

図５（ａ）に示した状態は、ｎ＝３であり、仮想結像面２０３上で各画素が１／３画素ずつずれているため、リフォーカス画像が最も高解像となる状態である。図５から、同様の効果を得られるリフォーカス画像のピント位置は、リフォーカス範囲内に４点存在していることが分かる。逆に、図５（ｂ）のように平行移動した画素が一致して重なり合っている場合、画素ずらし超解像を行うことはできない。図７は、この関係を模式的に示す図であり、横軸は仮想結像面２０３の位置、縦軸は画素ずらし超解像を含めたリフォーカス画像の空間解像度である。

次に、本実施例におけるピント調整部１０７ａに関して説明する。ピント調整部１０７ａは、結像光学系１０１のフォーカス群１０１ａを駆動することで、第１ピント調整および第２ピント調整を行う。第１ピント調整では、基準被写体に対する結像光学系１０１の結像位置を、像側ピント面２０２へ位置させる。この調整では、例えば以下の方法が用いられる。本実施例の構成において、被写体面２０１上のある位置を通過した複数の光線は、図１に示されるように同一の小レンズへ入射する。この小レンズに対応した画素群の信号を比較することにより、ピントが合っているか否かを判定することができる。基準被写体のエッジ部分を撮像している画素群の信号の相関が高い場合、主被写体は被写体面２０１上に存在し、ピントが合っていることとなる。逆に、基準被写体が被写体面２０１上に存在しない場合、画素群の信号の相関が低くなる。

または、画像のコントラストから第１ピント調整を行ってもよい。コントラストを算出する画像は、結像光学系１０１の同一の瞳領域を通過した光線が入射した画素だけを抜き出した画像でもよいし、また、撮像素子１０３で得られた第１画像を画像処理したものでもよい。一例として、各々の小レンズに対応した画素群を足し合わせて１画素とした画像や、図５（ｂ）に示されるように重なり合う画素を合成した再構成画像などが挙げられる。また、コントラストの算出に用いられる画像は、撮像素子１０３で取得された画角の全体を使用してもよいし、基準被写体近傍のみでもよい。

前述のとおり、像側ピント面２０２にピントを合わせた画像は、図５（ｂ）を参照して説明したように、画素ずらし超解像の効果を得ることができない。しかし本実施例において、基準被写体と主被写体は一致している。したがって、ユーザーの指定した被写体（主被写体）を高解像にする（解像度を高める）には、撮影前に結像光学系１０１の結像位置をずらして、画素ずらし超解像の効果が得られるようにすればよい。このとき行われるピント調整が、第２ピント調整である。ここで、第２ピント調整の際の像側におけるピント位置のずらし量を、ピントずらし量ζとする。また、ピントずらし量ζだけピント位置をずらした後の、像側ピント面２０２から主被写体に対応する結像光学系１０１の仮想結像面２０３までの距離をηとする。

図７にηの一例を示す。本実施例では基準被写体と主被写体は一致しているため、ζ＝ηである。しかし、基準被写体と主被写体が異なる場合、撮像装置から両者までの距離が等しい場合を除いて、ζ≠ηである。図７から、仮想結像面２０３が像側ピント面２０２に一致している場合（ｘ＝ｓ_２）に対して、ｘ＝ｓ_２＋ζ＝ｓ_２＋ηでは再構成画像の解像度が高くなっていることが分かる。このため、主被写体の像がｘ＝ｓ_２＋ζ＝ｓ_２＋ηの位置に結像するように結像位置をずらすことにより、主被写体にピントがあった高解像な画像を生成することができる。本実施例において、ピントずらし量ζは、画素ずらし超解像を含めた再構成画像における空間解像度の向上を図る量である。したがって、第２ピント調整は、近軸結像面からＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が高くなるようにピント位置を調整する従来のピント補正とは、その物理的意味が異なる。

ここまでで、本実施例における撮像光学系の構成と、リフォーカス、および、ピント調整に関して説明した。次に、図８を参照して、本実施例における撮像装置を用いた撮影手順（撮像装置の制御方法）について説明する。図８は、本実施例における撮影手順のフローチャートである。図８のフローチャートの各ステップは、システムコントローラ１１１の指令に基づいてピント調整部１０７ａなどにより実行される。

まずステップＳ００１において、ユーザーは、ピントを合わせたい基準被写体を指定する。続いてステップＳ００２において、ステップＳ００１で指定された基準被写体に従い、ピント調整部１０７ａは第１ピント調整を行う。具体的には、ピント調整部１０７ａは、基準被写体に対する結像光学系１０１の結像位置が像側ピント面２０２に一致するように、結像光学系１０１のフォーカス群１０１ａを駆動する。結像位置が像側ピント面２０２に一致しているか否かを判定する方法としては、例えば前述の方法などが用いられるが、これに限定されるものではない。ここで、基準被写体の結像光学系１０１による像のＭＴＦが、像側ピント面２０２において高くなるようにピント位置の補正を行ってもよい。

次にステップＳ００３において、ピント調整部１０７ａは第２ピント調整を行う。すなわち、再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように、ステップＳ００２で決定された結像位置（結像光学系１０１の結像位置）をピントずらし量ζだけシフトさせる。これは、主被写体にピントが合った再構成画像を生成する際に、ピントずらし量ζだけシフトさせる前の状態と比較して、見かけの画素ピッチの最大値を画素ピッチで除した値が再構成で重なり合う画素の数の逆数に近づくことを意味する。すなわち、ピント調整部１０７ａは、再構成により形成される見かけの画素ピッチの最大値を撮像素子１０３の画素ピッチで除した値が、再構成で重なり合う画素の数の逆数に近づくように、第２ピント調整を行う。

主被写体にピントの合った画像がリフォーカスによって生成されるには、ηは式（２）で表されるリフォーカス範囲内、すなわち、−ＮＦΔｙ≦η≦ＮＦΔｙを満たす範囲内に収まっている必要がある。このため、ピント調整部１０７ａは、像側ピント面２０２と仮想結像面との間の距離がＮＦΔｙ以下になるように第２ピント調整を行う。

また、画素ずらし超解像の効果が最も高くなるのは、図５から、ｓ_２±ＦΔ、および、α_±ｓ_２±ＦΔの４点である。許容錯乱円の直径をεとすると、結像光学系１０１の焦点深度は近似的に±Ｆεで表される。εは、撮像装置に必要とされる性能によって決定される値である。例えば、εは、焦点深度内における点像の広がりとピント位置での点像の広がりの差がユーザーに感知できないように決定される。よって、ηは±Ｆεの範囲内に収めてもよい。ここで、ε≧Δが満たされるため、最も画素ずらし超解像の効果が高いピント位置であるｓ_２±ＦΔは、必ずｓ_２±Ｆε内に収まる。｜η｜がＦεを超えると、主被写体にピントを合わせたリフォーカス画像におけるピント位置での点像の広がりは、εを超える。このため、画素ずらし超解像によって解像度が高まっても、画像のピント位置がぼけて見えるため、鮮鋭さは低下する。

また、ηは以下の条件式（３）を満たしていることが望ましい。

ただし、−σ_２≦η≦σ_２である。ここで、σ_２はレンズアレイ１０２ａの像側主平面と撮像素子１０３との間の距離である。条件式（３）は、画素ずらし超解像の効果の大きさを表す。σ_２／（ＦΔ）が、被写体面２０１の同一の領域を撮像している１次元方向の画素数を表し、｜η／σ_２｜は合成する画素のずれの割合を表す。｜η｜＝ＦΔの時、条件式（３）の値は１となり、画素ずらし超解像の効果が最も高いことを表す。条件式（３）の値が１から離れるにつれて、画素ずらし超解像の効果が弱まる。条件式（３）の上下限を超えると、十分な画素ずらし超解像の効果を得られなくなる。

更に望ましくは、以下の条件式（３ａ）を満たすことにより、主被写体にピントの合ったより高解像な画像を得ることができる。

条件式（３ａ）を満たすことにより、特にｎが小さい場合、再構成画像が高解像度となる。例えば、結像光学系１０１のＦ値が２．８００、撮像素子１０３の画素ピッチΔが０．００６ｍｍの場合を考える。このとき、ζ＝η＝０．０２５（ｍｍ）とすれば、条件式（３）の値が１．４８８となり、主被写体にピントの合った高解像度の画像を生成することができる。なお本実施例において、ステップＳ００２およびステップＳ００３を同時に行うように構成してもよい。

続いてステップＳ００４において、撮像装置は撮影を行い、第１画像を取得する。第１画像は、画像処理部１０５にて所定の画像処理を行ってから画像記録媒体１１０に保存される。または、画像処理部１０５は、取得した第１画像から主被写体にピントの合った第２画像を生成し、画像記録媒体１１０に保存するように構成してもよい。画像処理部１０５は、必要に応じて、リフォーカスと同時に、視点や被写界深度を変更する再構成処理を行ってもよい。さらに、画像の再構成処理の際に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。

以上の構成により、本実施例によれば、主被写体を高解像度で取得可能な撮像装置および撮像装置の制御方法を提供することができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。

図２を参照して、本実施例における撮像光学系の構成について説明する。図２は、撮像光学系の概略構成図である。レンズアレイ１０２ａは、結像光学系１０１の被写体面２０１に対する像側共役面より物体側へ配置され、像側共役面と撮像素子１０３とが、レンズアレイ１０２ａを介して共役関係であるように配置されている。本実施例において、像側共役面は像側ピント面２０２に相当する。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２ａを通過した後、光線の被写体面２０１上での位置と角度に応じて撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。

図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２ａが虚物体として見ることで、撮像素子１０３へさらに縮小結像するためである。その縮小倍率はσ_２／σ_１倍である。ここで、σ_１は像側ピント面２０２とレンズアレイ１０２ａの物体側主平面の間の距離、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３の間の距離である。したがって、図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が（σ_２／σ_１）^２倍される。

次に、図９（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図９（ａ）、（ｂ）は、図２に示される撮像光学系の構成において、レンズアレイ１０２ａと撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２ａは、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２ａの形状はこれに限定されるものではない。

図９（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図２中の被写体面２０１にピントの合った画像を生成するには、像側ピント面２０２に仮想結像面２０３を設定すればよい。図９（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２ａの位置が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、対応する撮像素子１０３の画素に入射する光束が通過した瞳分割部１０２の位置に応じて決定される。

続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表される。その関係は、図１０に示されるとおりである。図１０は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δｙ＝Δ（σ_１／σ_２）、Δｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐであるから、式（１）は以下の式（４）のように書き換えられる。

実施例１と同様に式（４）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。

次に、画素ずらし超解像による空間解像度の向上について説明する。図９（ａ）に示されるように、仮想結像面２０３へ投影された画素は重なり合っている。図９（ａ）のように、投影された画素が各々ずれていれば、それらを合成することで見かけの画素ピッチを小さくすることができる。一方、図９（ｂ）に示されるように、投影された画素のずれが画素の整数倍になっている場合、画素ずらし超解像の効果は得られない。画素ずらし超解像によって最も高解像度化が図れるのは、画素がずれている割合が重なり合う画素の数に対応している場合である。具体的には、図９（ａ）のｙ＝０近傍において、重なり合う画素の数が３であるため、画素ずれの割合が１／３または２／３のときに解像度を最大にすることができる。画素ずれの割合と重なり合う画素の数の関係については、追って詳述する。以上のように本実施例においても、仮想結像面２０３によって画素ずらし超解像の効果が変化する。したがって、リフォーカス範囲内で、図７に示されるようにリフォーカス画像の解像度が変化する。

次に、本実施例の撮像装置による撮影手法について説明する。本実施例の撮影手法は、図８のフローチャートで表され、実施例１と同様の部分の説明は省略する。

ステップＳ００１においてユーザーが基準被写体を指定し、ステップＳ００２において結像光学系１０１が形成する基準被写体の像を像側ピント面２０２に一致させる（第１ピント調整）。その後、ステップＳ００３において、主被写体にピントが合った再構成画像の解像度を高めるためるための第２ピント調整を行う。

ここで、本実施例において、ηが満たすことが好ましい条件について説明する。リフォーカス画像生成時の仮想結像面２０３における画素ずれの割合は、Δ_ＬＡを仮想結像面２０３上に投影された画素のピッチで割った比Δ_ＬＡσ_２／（Δτ）で表される。ここで、τは結像光学系１０１の物体側主平面と仮想結像面２０３との間隔である。また、図９（ｂ）に示されるように画素の整数倍のずれは意味がないため、整数部分は落として考えてよい。したがって、画素ずれの割合δは、以下の式（５）のように表される。

ここでｚ＝ｍｏｄ（ｘ，ｙ）は、ｚがｘをｙで割った時の剰余に等しいことを表す。ここで、画素ずらし超解像の効果が高く、かつ、高解像度となる仮想結像面２０３を求める。そのため、まず、仮想結像面２０３で重なり合う画素の数を見積もる。

図１１は、重なり合う画素の数の説明図あり、図９（ａ）に示される小レンズの番号ｊを横軸、仮想結像面２０３上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２ａの任意の小レンズとしてよい。図１１中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素の集合を仮想結像面２０３へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝Δ_ＬＡ｛ｊ＋｜τ／（２σ_２）｜｝で与えられ、また一点鎖線Ｂはｙ＝Δ_ＬＡ｛ｊ−｜τ／（２σ_２）｜｝で与えられる。重なり合う画素の数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応している。ｊ＝０に対応する画素で重なり合う画素の数が最も少なくなるのは、ｙ＝０近傍の画素であり、その数は｜τ／σ_２｜程度と見積もることができる。

続いて、画素ずらし超解像を含めた空間解像度を求める。前述のとおり、最も解像度が高くなるのは、重なり合う画素の数と式（５）で表される画素ずれの割合δが対応している場合である。例えば、画素のオーバーラップ数が８で、画素ずれの割合δが０．４５のとき、８つの画素のそれぞれの画素ずれは、０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決める見かけの画素ピッチの最大値は０．７０−０．４５＝０．２５となる。次に、重なり合う画素の数が同じで、画素ずれの割合δが３／８の場合を考える。このとき、８つの画素のそれぞれの画素ずれは、０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素ピッチの最大値は１／８となり、重なり合う画素の数の逆数と一致する。したがって、最も高い画素ずらし超解像の効果が得られていることとなる。これは、画素ずれの割合δが１／８、５／８、７／８の場合でも同じである。

ただし、画素ずれの割合δが２／８、４／８、６／８の場合、画素ずらし超解像の効果は低下する。例えば、画素ずれの割合δが２／８の場合を考える。このとき、重なり合う８つの画素のそれぞれの画素ずれは、０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素ピッチの最大値が２／８＝１／４となる。したがって、画素ずれの割合δが１／８、３／８、５／８、７／８のときに対して、画素ずらし超解像の効果は半分になる。このことから、画素ずれの割合δがｍ_０／Ｍ_０に等しいとき、最大の画素ずらし超解像の効果が得られることが分かる。ここで、Ｍ_０は重なり合う画素の数であり、ｍ_０はＭ_０より小さく、かつＭ_０との最大公約数が１となる整数である。Ｍ_０は前述したように、τ／σ_２程度と見積もることができ、画素ずれの割合δがｍ_０／Ｍ_０に近いほど画素ずらし超解像の効果は高くなる。

以上より、ηは以下の条件式（６）を満たす範囲内に収まっていることが望ましい。

ここでＭは、以下の条件式（７）を満たす整数である。

また、ｍはＭより小さく、かつＭとの最大公約数が１となる整数である。条件式（６）および条件式（７）は、画素ずらし超解像の効果の大きさを表し、条件式（６）および条件式（７）を満たすことで主被写体にピントの合った高解像な再構成画像が得られる。条件式（６）および条件式（７）の値が１に近くなるにつれて、画素ずらし超解像の効果は高くなる。一方、条件式（６）および条件式（７）の上限または下限を超えると、十分な画素ずらし超解像の効果が得られず、空間解像度の向上が不十分となる。

望ましくは、以下の条件式（６ａ）を満たす範囲とすることで、主被写体にピントの合った、より高解像度の再構成画像が得られる。

更に望ましくは、以下の条件式（６ｂ）を満たす範囲とすることで、更なる高解像度化を図ることができる。

また望ましくは、以下の条件式（７ａ）を満たす範囲、更には条件式（７ｂ）を満たす範囲とすることで、更に高い画素ずらし超解像の効果を得ることができる。

例えば、レンズアレイ１０２ａのピッチΔ_ＬＡ＝４．３５５９（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）、σ_１＝３７．７６５７（ｍｍ）、σ_２＝５．４３２５（ｍｍ）の場合を考える。このとき、ζ＝η＝０．０２４３（ｍｍ）とすれば、条件式（６）の値が１．０４、条件式（７）の値が０．７となる。ここでＭ＝５、ｍ＝３である。これにより、主被写体にピント合った高解像度の画像を生成することができる。また、ζまたはηは、レンズアレイ１０２ａのピッチや配置に依存するため、撮像装置の製造時にキャリブレーションを行い、撮像装置ごとに補正されたζまたはηを予め記憶部１０９に記憶してもよい。これは、実施例１の場合でも同様である。

以上の構成により、本実施例によれば、主被写体を高解像度で取得可能な撮像装置および撮像装置の制御方法を提供することができる。

次に、本発明の実施例３について説明する。本実施例は、上述の画像処理方法を行う画像処理装置（画像処理システム）について説明する。図１２は、本実施例における画像処理システムのブロック図である。なお本実施例において、基準被写体と主被写体は互いに異なっているものとする。

図１２に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、例えば図３に示される撮像光学系を有する。また撮像装置３０１は、例えば図１３に示される構成を有する。画像処理装置３０２は、画像再構成を行うコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された第１画像（入力画像）から再構成画像（出力画像）を生成する。再構成画像は、主被写体にピントが合った画像だけでなく、その他のリフォーカス画像や、被写界深度や視点が調節された画像でもよい。その結果は、記憶媒体３０３、表示機器３０４、および、出力機器３０５のいずれか一つまたは複数に出力される。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、または、ネットワーク上のサーバーである。表示機器３０４は、例えば、液晶ディスプレイやプロジェクタである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。画像処理装置３０２には画像処理ソフトウエア３０６がインストールされている。画像処理ソフトウエア３０６（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。

続いて、図１３を参照して、本実施例における撮像装置３０１の構成について説明する。図１３は、撮像装置３０１のブロック図である。撮像装置３０１の基本的構成は実施例１の撮像装置と同様であるため、実施例１と異なる部分についてのみ説明し、その他の説明は省略する。

演算部４０５は、再構成処理などを行う画像処理部４０５ａ、および、被写体空間の距離情報を取得する距離情報取得部４０５ｂを備えて構成される。また演算部４０５は、第２ピント調整の際に用いられるピントずらし量ζを算出する。演算部４０５で算出されたピントずらし量ζは、光学系制御部４０７のピント調整部４０７ａで用いられる。

本実施例の撮像装置３０１を構成する撮像光学系は、図３に示されるように配置されている。図３に示される本実施例の撮像光学系は、レンズアレイ１０２ａが像側ピント面２０２よりも像側へ配置されていることを除いて、図２に示される実施例２の構成と同様である。本実施例（図３）の構成は、レンズアレイ１０２ａが結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させる点で、実施例２（図２）の構成と異なる。ただし、図２の構成と図３の構成は、いずれも結像光学系１０１の結んだ像をレンズアレイ１０２ａが物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同様である。したがって、本実施例のリフォーカス画像の生成方法は実施例２と同様である。

次に、図１４を参照して、本実施例の撮像装置３０１による撮影手順（撮像装置の制御方法）について説明する。図１４は、本実施例における撮影手順を示すフローチャートである。図１４のフローチャートの各ステップは、システムコントローラ１１１の指令に基づいてピント調整部４０７ａなどにより実行される。

まずステップＳ１０１において、ユーザーは、ピントを合わせたい基準被写体を指定する。続いてステップＳ１０２において、ステップＳ１０１で指定された基準被写体に従い、ピント調整部４０７ａは第１ピント調整を行う。すなわち、ピント調整部４０７ａは、基準被写体に対する結像光学系１０１の結像位置が像側ピント面２０２に一致するように、結像光学系１０１のフォーカス群１０１ａを駆動する。

次にステップＳ１０３において、ユーザーが高解像度でピントを合わせたい被写体である主被写体を指定する。このように本実施例において、基準被写体と主被写体は互いに異なる被写体であり、主被写体は基準被写体に対する第１ピント調整が行われた後に指定される。ただし本実施例はこれに限定されるものではなく、主被写体の指定（ステップＳ１０３）は基準被写体の指定（ステップＳ１０１）よりも前に行っても構わない。

続いてステップＳ１０４において、演算部４０５の距離情報取得部４０５ｂは、被写体空間の距離情報を取得する。被写体空間の距離情報は、例えば以下のような方法を用いて取得することができる。すなわち、撮像素子１０３では、異なる視点から被写体空間を観察した視差情報が得られる。このため、一度撮影を行って再構成処理を行うことにより複数の視差画像を取得することができる。これらの視差画像の特徴点を比較することにより、被写体空間の距離情報を取得することが可能である。または、撮像光学系のフォーカス群１０１ａを駆動しながら複数の撮影を行って距離情報を取得してもよい。また、撮像光学系とは別に距離情報を取得する手段を有していてもよい。ここで、撮像装置３０１から基準被写体および主被写体までの距離が互いに同じである場合には、以下の手順を実施例２のステップＳ００３以降と同様にしてもよい。

次にステップＳ１０５において、演算部４０５は、ピント調整部４０７ａによる第２ピント調整の際に用いられるピントずらし量ζを算出する。このとき、演算部４０５は、距離情報取得部４０５ｂで取得された距離情報から、主被写体に対する結像光学系１０１の結像位置を算出する。仮想結像面２０３の位置に対する画素ずれの割合δの振舞いは、式（５）で表されるように撮像光学系の構成により決定される。したがって、予め高解像となる仮想結像面２０３の位置を記憶部１０９に記憶し、その位置と主被写体に対する結像光学系１０１の結像位置の差をとることで、ピントずらし量ζを算出することができる。記憶部１０９に予め記憶される高解像な仮想結像面２０３の位置は、単数でも複数でもよく、また撮像装置３０１の製造時にキャリブレーションを行って補正した値でもよい。

続いてステップＳ１０６において、ピント調整部４０７ａは、演算部４０５で算出されたピントずらし量ζだけ結像位置を変化させるように第２ピント調整を行う。リフォーカス範囲は、式（４）で表されるように有限である。このため、第２ピント調整後における、像側ピント面２０２から主被写体に対応する仮想結像面２０３までの距離ηが、ＮＦΔｙ以内に収まっている必要がある。また、実施例１と同様に、主被写体にピントを合わせたリフォーカス画像における点像の広がりは、εに収まっていることが望ましい。このため、ηは結像光学系１０１の焦点深度内に収まっていることが望ましい。このときピント調整部４０７ａは、像側ピント面２０２と仮想結像面との間の距離が結像光学系１０１の焦点深度の範囲内になるように第２ピント調整を行う。また、実施例２と同様に、条件式（６）、（６ａ）、（６ｂ）、（７）、（７ａ）、（７ｂ）を満たしていることが望ましい。

例えば、レンズアレイ１０２ａのピッチΔ_ＬＡ＝４．３５５９（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）、σ_１＝３７．７６５７（ｍｍ）、σ_２＝５．４３２５（ｍｍ）の場合を考える。基準被写体と主被写体が一致していないため、主被写体に対応した結像面の位置はσ_１とは一般的に異なる。ここで、結像面の位置をτ＝３７．７１００（ｍｍ）とする。このとき、ζ＝０．０１００（ｍｍ）とすれば、η＝−０．０４５７（ｍｍ）となり、条件式（６）の値は１．０１、条件式（７）の値は１．３となる。ここで、Ｍ＝９、ｍ＝８である。これにより、高解像でかつ主被写体にピント合った画像を生成することができる。

最後に、ステップＳ１０７において、撮像装置３０１は撮影を行い、第１画像を取得する。

以上の構成により、本実施例によれば、主被写体を高解像度で取得可能な撮像装置および撮像装置の制御方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

１０１ 結像光学系
１０２ 瞳分割部
１０３ 撮像素子
１０５ 画像処理部
１０７ａ ピント調整部

Claims (12)

1. 第１画像の再構成を行うことによりピント位置の異なる複数の第２画像を生成可能な撮像装置であって、
   結像光学系と、
   複数の画素を備え、前記第１画像を取得する撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させる瞳分割部と、
   前記結像光学系の結像位置を調整するピント調整部と、
   前記撮像素子で取得された前記第１画像に対して、該第１画像の撮影条件情報を用いた前記再構成を行うことにより、前記第２画像を生成する画像処理部と、を有し、
   前記ピント調整部は、
   基準被写体に対する前記結像光学系の結像位置を調整する第１ピント調整と、
   前記再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように該主被写体に対する前記結像光学系の結像位置を移動させる第２ピント調整と、を行うことを特徴とする撮像装置。
2. 前記ピント調整部は、前記結像光学系の指定された仮想結像面にピント位置が合った前記第２画像を生成する際、前記再構成により形成される見かけの画素ピッチの最大値を前記撮像素子の画素ピッチで除した値が、前記再構成で重なり合う画素の数の逆数に近づくように、前記第２ピント調整を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記ピント調整部は、前記結像光学系のＦ値をＦ、前記瞳分割部による前記結像光学系の瞳の１次元分割数をＮ、前記結像光学系を介して前記主被写体と共役な面でのサンプリングピッチをΔｙとしたとき、像側ピント面と前記仮想結像面との間の距離がＮＦΔｙ以下になるように前記第２ピント調整を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記ピント調整部は、像側ピント面と前記仮想結像面との間の距離が前記結像光学系の焦点深度の範囲内になるように前記第２ピント調整を行うことを特徴とする請求項２または３に記載の撮像装置。
5. 前記基準被写体と前記主被写体は同一の被写体であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記基準被写体と前記主被写体は互いに異なる被写体であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 前記瞳分割部は、レンズアレイであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記レンズアレイは、前記結像光学系の瞳と前記撮像素子とが共役関係になるように配置されていることを特徴とする請求項７に記載の撮像装置。
9. 前記レンズアレイは、前記結像光学系により形成された像と前記撮像素子とが共役関係になるように配置されていることを特徴とする請求項７に記載の撮像装置。
10. 前記レンズアレイは、複数の小レンズを備えて構成され、
    前記小レンズの像側の面は、凸形状であることを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 前記レンズアレイは、複数の小レンズを備えて構成され、
    前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項１０に記載の撮像装置。
12. 第１画像の再構成を行うことによりピント位置の異なる複数の第２画像を生成可能な撮像装置の制御方法であって、
    前記撮像装置に含まれる結像光学系の基準被写体に対する結像位置を調整する第１ピント調整を行うステップと、
    前記再構成により合成される画素のずれ量に応じて、主被写体の解像度を高めるように該主被写体に対する前記結像光学系の結像位置を移動させる第２ピント調整を行うステップと、
    前記撮像装置の撮影により前記第１画像を取得するステップと、を有することを特徴とする撮像装置の制御方法。