JP5649702B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に撮影後に出力データから任意の被写体に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像光学系の異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、任意の被写体距離を設定し、該被写体距離に対応する焦点面における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを生成（再構成）することができる。

Ren.Ng、外７名、「Light Field Photography with a Hand-Held Plenoptic Camera」、Stanford University Computer Science Tech Report CTSR 2005-02

非特許文献１のような方法を用いる撮像装置では、マイクロレンズアレイの各レンズに割り当てられた撮像素子の画素が、撮像光学系の射出瞳の全領域を通過した光束をカバーするように、撮像光学系の有効口径に合わせてマイクロレンズが設計されていた。即ち、撮像光学系のＦナンバー（焦点距離／有効口径）とマイクロレンズアレイの各マイクロレンズのＦナンバーとが一致するように設計されることが前提とされていた。しかしながら、レンズを交換可能なデジタル一眼レフカメラ等の撮像装置では、装着される撮像光学系のＦナンバーが変わる可能性がある。このため、該撮像装置において非特許文献１のような方法を用いて撮影されたＬＦデータから任意の被写体距離に合焦した再構成画像を生成する場合に、好適な再構成画像を生成することができないことがあった。

本発明は、上述の問題点に鑑みてなされたものであり、異なるＦナンバーの撮影光学系に対応した好適なＬＦデータを出力する撮像装置を提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
第１のＦ値と、第１のＦ値よりも大きい第２のＦ値とをとる撮像光学系と、複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、撮像素子の画素の各々に、撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイであって、各マイクロレンズが撮像素子の所定数の画素に対応付けられているマイクロレンズアレイと、を有する撮像装置であって、各マイクロレンズは、該マイクロレンズに対応付けられた所定数の画素において、撮像光学系が第１のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲に対する、撮像光学系が第２のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲の比率が、第２のＦ値に対する第１のＦ値の比率よりも高い歪曲収差特性を示すことを特徴とする。

このような構成により本発明によれば、異なるＦナンバーの撮影光学系に対応した好適なＬＦデータを出力することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るマイクロレンズの歪曲収差特性を説明するための図 本発明の実施形態に係るマイクロレンズを通過した光束の、像高と結像位置との関係を示した図 本発明のマイクロレンズアレイ１０５の別の構成例を示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後にＬＦデータから特定の距離の被写体に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから特定の距離の被写体に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において光軸上の撮像光学系１０４と撮像素子との間に設けられるマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は３行３列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して９×９＝８１画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、撮像光学系１０４のＦナンバーとマイクロレンズアレイ１０５の各マイクロレンズのＦナンバーとが略一致している場合の、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_０乃至ｐ_８に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_０乃至ｐ_８には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に９分割した領域ａ_０乃至ａ_８を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、図４の例においても、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０７及びＤＦＥ１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、再構成画像の生成方法の概要について、図を用いて説明する。

本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。

《撮像光学系１０４と各マイクロレンズのＦナンバーが異なることによる問題》
ここで、本発明の課題である、撮像光学系１０４のＦナンバーｆ_systemとマイクロレンズアレイ１０５の各マイクロレンズのＦナンバーｆ_microとが一致しない場合に生じる問題について、図を参照して説明する。なお、以下の説明では、Ｆナンバーがｆ２．８及びｆ５．６の撮像光学系１０４がデジタルカメラ１００の撮影において用いられるものとして説明するが、本発明の実施はこれらのＦナンバーに限られるものではない。

〈ｆ_system＜ｆ_microの場合〉
マイクロレンズ２０１のＦナンバーがｆ２．８であり、撮像光学系１０４のＦナンバーがｆ２．８のときの射出瞳３０１を通過する光束が、１つのマイクロレンズ２０１に対応付けられた光電変換素子群に結像されるように設計されている場合を考える。このとき、レンズ変更等により撮像光学系１０４のＦナンバーがｆ５．６に変更されると、撮像光学系１０４の有効口径は小さく、即ち撮像光学系１０４の射出瞳３０１は狭くなる。つまり、１つのマイクロレンズ２０１に対応付けられた光電変換素子群は、図６（ａ）に示されるように光束が結像される範囲が狭まることになる。具体的には撮像光学系１０４がｆ２．８のときに光束が結像される範囲の垂直方向あるいは水平方向の最大長さを１とすると、撮像光学系１０４がｆ５．６の時にはＦナンバーの比をとり２．８／５．６＝１／２の長さになる。このとき得られたＬＦデータから生成される再構成画像は、マイクロレンズ２０１のＦナンバーがｆ５．６であった場合に得られるＬＦデータから生成される再構成画像よりも、分解能が低くなる。

〈ｆ_system＞ｆ_microの場合〉
一方、マイクロレンズ２０１のＦナンバーがｆ５・６であり、撮像光学系１０４のＦナンバーがｆ５．６のときの射出瞳３０１を通過する光束が、１つのマイクロレンズ２０１に対応付けられた光電変換素子群に結像されるように設計されている場合を考える。このとき、撮像光学系１０４のＦナンバーがｆ２．８に変更されると、撮像光学系１０４の有効口径が大きく、即ち撮像光学系１０４の射出瞳３０１は拡がる。つまり、図６（ｂ）に示されるように、１つのマイクロレンズ２０１に対応付けられた光電変換素子群の範囲よりも広い範囲に光束が結像されることになる。即ち、予めマイクロレンズ２０１に対応付けられた光電変換素子群は、光束の一部の範囲しか結像されないため、射出瞳３０１の拡大分の光束についての情報を失うことになる。また拡大分の光束についての情報は、図示されるように隣接するマイクロレンズ２０１に対応付けられた光電変換素子に結像されることになる。このため、得られるＬＦデータは隣り合うマイクロレンズ２０１に対応する一部の画素においてクロストークが発生することになり、該ＬＦデータを用いても好適な再構成画像を生成することができない可能性がある。

このため、本実施形態のデジタルカメラ１００では、対応可能な撮像光学系１０４のＦナンバーを、第１のＦナンバー（最小のＦナンバー：想定する最大有効口径を有する）から第２のＦナンバー（最大のＦナンバー：想定する最小有効口径）までと定め、
・第１のＦナンバーの光学系が使用された場合に、１つのマイクロレンズを通過する光束が結像される範囲の幅及び高さが、該マイクロレンズに対応付けられた全ての光電変換素子群で規定される範囲の幅及び高さと一致する
・１つのマイクロレンズを通過する光束が撮像素子上に結像される範囲について、光学系が第１のＦナンバーをとる場合の値に対する光学系が第２のＦナンバーをとる場合の値の比率が、第２のＦナンバーに対する第１のＦナンバーの比率よりも高い
ように、マイクロレンズアレイ１０５の各マイクロレンズを設計する。具体的には図６（ｃ）に示されるように、ｆ５．６に対応する光束は密集させず、ｆ２．８に対応する光束のうち、ｆ５．６に対応する光束の外側にある光束については密集させるような歪曲収差特性を有するマイクロレンズをマイクロレンズアレイ１０５に用いる。このようなマイクロレンズを通過し、該マイクロレンズに対応付けられた光電変換素子群に結像され出力される画像は、所謂樽型歪みを有する画像となる。

ここで、本実施形態のデジタルカメラ１００で用いられるマイクロレンズの歪曲収差特性について、図７を用いて説明する。図７は、光束の像高（撮像光学系１０４の光軸中心からの距離）と、その光束が結像される光電変換素子の位置との関係を示しており、縦軸に像高、横軸に結像位置が示されている。ここで縦軸は、１つのマイクロレンズに対応付けられた光電変換素子群の中心を０とし、光電変換素子群の水平方向あるいは垂直方向の一端を１としている。つまり、図４（ｂ）の例においてｐ_４４の中心を０、例えばｐ_４８を１としている。また横軸は、ｆ２．８の場合の有効口径（の半径）を１としている。撮像光学系１０４の焦点距離は変化しないものとすると、ｆ５．６の場合の有効口径は０．５にあたる。

本実施形態のマイクロレンズアレイ１０５の各マイクロレンズを使用した場合の像高と結像位置の関係は、図７において実線で示されるような挙動を示す。また図７において、一点鎖線はｆ_microがｆ２．８であるときの像高と結像位置の関係、二点鎖線はｆ_microとがｆ５．６であるときの像高と結像位置の関係を示している。図示されるように、撮像光学系１０４がｆ２．８をとるときの光束は、像高が高くなるほど収差が強くなり、想定する最大有効口径の光束がマイクロレンズに対応付けられた光電変換素子群に収まっている。つまり、最大有効口径の光束における最大の像高を示す光束の結像位置が１となっている。また、撮像光学系１０４がｆ５．６をとるときの光束は、マイクロレンズがｆ２．８をとるときに比べて結像範囲が広くなる。つまり、撮像光学系１０４がｆ５．６をとるときの結像位置は、Ｆナンバーの比２．８／５．６＝１／２よりも大きいため、ＬＦデータから得られる再構成画像の分解能を高くすることができる。

なお、このような構成により得られたＬＦデータは、歪曲収差を含んだ像に対応しているため、再構成画像を生成する際には、画像処理部１０９において収差補正を行う必要がある。具体的には画像処理部１０９は、図７に示される特性を補正する変換テーブルを参照することで、各画素に対応する光束の通過した瞳領域及びその入射方向の組み合わせを補正し、該補正したＬＦデータを用いて再構成画像の生成を行う。

また、上述したマイクロレンズアレイ１０５の各マイクロレンズによる歪曲収差とは別に、撮影光学系１０４すなわち主レンズの歪曲収差も考える必要がある。撮影光学系１０４の歪曲収差はマイクロレンズと同様の樽型かあるいは糸巻き型が考えられるが、いずれにしても撮影光学系１０４の歪曲収差特性を補正するための変換テーブルを参照して補正を行う。また、マイクロレンズアレイ１０５の各マイクロレンズによる歪曲収差は再構成前のＬＦデータの段階で補正するのが好ましいが、撮影光学系１０４、すなわち主レンズの歪曲収差の補正については、再構成画像の生成後に行うのが好ましい。なぜならば、ＬＦデータの再構成にあたって、各画素に入射された光線の方向の情報が必要になるからである。

また本実施形態のデジタルカメラ１００では、像のマイクロレンズにおける歪曲収差を含んだＬＦデータを記録するものとして説明したが、マイクロレンズアレイ１０５における歪曲収差補正後のＬＦデータを記録するものであってもよい。このとき、補正後のＬＦデータは補正前のＬＦデータよりも多くの画素数を有することになる。また記録においては、データは符号化されてもよい。

また最大有効口径よりも小さい有効口径に対応したＦナンバーの撮像光学系１０４を用いる場合は、マイクロレンズに対応付けられた光電変換素子群の中に光束が結像される素子の出力（有効画素）以外にも光束に対応した画素値を有さない画素が含まれる。このため、補正を行わないＬＦデータを記録する場合も、補正を行ったＬＦデータを記録する場合も、有効画素に対応する矩形領域に含まれない画素のみを抽出して生成されたＬＦデータを記録するようにしてもよい。

なお、本実施形態では従来技術としてのマイクロレンズアレイの各マイクロレンズに、上述のような歪曲収差特性を有するレンズに置き換えるものとしてマイクロレンズアレイ１０５を説明したが、本発明の実施はこれに限られない。例えばマイクロレンズアレイ１０５は、図８に示されるように魚眼レンズを各マイクロレンズとして用いることで、上述の歪曲収差特性を実現するものであってもよい。

以上説明したように、本実施形態の撮像装置は、異なるＦナンバーの撮影光学系に対応した好適なＬＦデータを出力する。具体的には撮像装置において各マイクロレンズは、該マイクロレンズに対応付けられた所定数の画素において、撮像光学系が第１のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲に対する、撮像光学系が第２のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲の比率が、第２のＦ値に対する第１のＦ値の比率よりも高い歪曲収差特性を示す。このようなマイクロレンズを用いることで、第１のＦ値と第２のＦ値とをとる撮像光学系について、良好な再構成画像を生成可能なＬＦデータを取得することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、
   前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイを有する撮像装置であって、
   各マイクロレンズは、該マイクロレンズにおける像高が高くなるほど収差が強くなるような歪曲収差特性を有する
   ことを特徴とする撮像装置。
2. 前記各マイクロレンズは、前記撮像光学系が第１のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲の幅及び高さが、該マイクロレンズに対応付けられた所定数の画素で規定される範囲の幅及び高さに対応する歪曲収差特性を有することを特徴とする請求項１に記載の撮像装置。
3. 前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う補正手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記撮像光学系による歪曲収差を補正する処理をさらに行うことを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段により前記マイクロレンズによる歪曲収差が補正された画像信号を用いて、特定の被写体に合焦する再構成画像を生成する生成手段をさらに有することを特徴とする請求項３または４に記載の撮像装置。
6. 前記補正手段は、前記生成手段により生成された再構成画像に対して前記撮像光学系による歪曲収差の補正を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記光電変換により得られた画像信号を記録する記録手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う補正手段と、
   前記補正手段により歪曲収差が補正された画像信号を記録する記録手段と、をさらに有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記マイクロレンズは、魚眼レンズであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 複数の画素を有し、撮像光学系を通過した光束を光電変換する撮像素子と、
    前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイを有する撮像装置であって、
    前記光電変換により得られた画像信号について、前記マイクロレンズによる歪曲収差の補正を行う第１の補正手段と、
    前記撮像光学系による歪曲収差の補正を行う第２の補正手段と、
    前記第２の補正手段により出力される画像を符号化し、記録する記録手段と、を有する
    ことを特徴とする撮像装置。
11. 前記第１の補正手段により歪曲収差が補正された画像信号を用いて、特定の被写体に合焦する再構成画像を生成する生成手段をさらに有し、
    前記第２の補正手段は、前記再構成画像に対して前記撮像光学系による歪曲収差の補正を行う
    ことを特徴とする請求項１０に記載の撮像装置。
12. 第１のＦ値と、前記第１のＦ値よりも大きい第２のＦ値とをとる撮像光学系と、
    複数の画素を有し、前記撮像光学系を通過した光束を光電変換する撮像素子と、
    前記撮像素子の画素の各々に、前記撮像光学系において通過した瞳領域及び入射方向の組み合わせが異なる光束を結像するマイクロレンズアレイであって、各マイクロレンズが前記撮像素子の所定数の画素に対応付けられているマイクロレンズアレイと、を有する撮像装置であって、
    前記各マイクロレンズは、該マイクロレンズに対応付けられた前記所定数の画素において、前記撮像光学系が前記第１のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲に対する、前記撮像光学系が前記第２のＦ値をとる場合に該マイクロレンズを通過する光束が結像される範囲の比率が、前記第２のＦ値に対する前記第１のＦ値の比率よりも高くなるような歪曲収差特性を有する
    ことを特徴とする撮像装置。