JP5820650B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置及び画像処理プログラムに関する。

従来、デジタルカメラ等の撮像装置に生ずる非等方性の収差を補正するために、光学レンズが組み合わされた光学系が用いられ、又は、光学系を製造する際に光学系のレンズに工夫がされていた（特許文献１、２等参照）。光学系のレンズの工夫として、レンズの屈折力に応じて適切なカーブを選択する方法(ベンディング)や非球面を用いる方法がある。なお、非等方性の収差とは、光軸方向に結像位置がずれた場合に生じるもので、光軸方向の結像位置に応じた態様で、収差の形状（像面内でのぼけ方など）が方向によって異なる収差である。

特開２００９−１０９７２３ 特開２００８−１４５８０５

しかし、光学レンズの組み合わせによる収差補正では、多数のレンズを利用しなければならないため、撮像光学系が大型化し製造コストがかさむという問題がある。また、ベンディングや非球面レンズを用いる方法でも、製造コストがかさむという問題点がある。

本発明は、上記の問題に鑑みて、コストをかけず簡単に非等方性の収差が補正された画像を得ることを目的とする。

本発明のある態様に係る撮像装置は、被写体の光を集光する撮像光学系と、前記撮像光学系を通過した光を受光して、被写体像に関連する複数の画像を生成可能にする撮像素子と、前記複数の画像の前記撮像光学系に対する像面位置を設定する像面位置設定部と、前記複数の画像の画素値に基づいて、収差の補正された補正画像を生成する収差補正部と、を備え、前記複数の画像は、少なくとも一部で一方向の収差が他方向の収差より小さい第一画像と、少なくとも他の一部で前記他方向の収差が前記一方向の収差より小さい第二画像を含み、前記撮像装置は、前記撮像光学系と前記撮像素子の間にマイクロレンズアレイを備え、前記撮像素子は、前記マイクロレンズアレイを通過した光を受光して、複数の画素により複数の出力値を生成し、前記撮像装置は、前記撮像素子が生成した前記複数の出力値から選択した出力値を合成して、前記複数の画像を生成する画像生成部を備えることを特徴とする。

本発明の別の態様に係る撮像装置は、被写体の光を集光する撮像光学系と、前記撮像光学系を通過した光を受光して、複数の画素により被写体像に関連した複数の出力値を生成する撮像素子と、前記撮像光学系と前記撮像素子の間に配置されるマイクロレンズアレイと、前記撮像素子が生成した前記複数の出力値から選択した出力値を合成して、前記撮像光学系に対する像面位置を変更した複数の画像を生成する画像生成部と、前記複数の画像の画素値に基づいて、収差の補正された補正画像を生成する収差補正部と、を備える。前記複数の画像は、少なくとも一部で一方向の収差が他方向の収差より小さい第一画像と、少なくとも他の一部で前記他方向の収差が前記一方向の収差より小さい第二画像を含むことを特徴とする。

本発明によると、多数のレンズを組み合わせて光学系を大型化させることなく、画像処理により簡単に非等方性の収差が補正された画像を得られる。製造コストのかさむ光学系の製造方法を利用することがないため、コストを小さくして非等方性の収差が補正された画像を得られる。

第一実施形態に係る撮像装置の構成を示すブロック図である。 非点収差を説明する図である。 エッジ量検出の際の画像の回転処理を説明する図である。 （ａ）水平方向のエッジ量（画素値の微分量）を検出するソーベルフィルタの例を示す図である。（ｂ）に垂直方向のエッジ量（画素値の微分量）を検出するソーベルフィルタの例を示す図である。 ラプラシアンフィルタの一例を示す図である。 第一実施形態に係る撮像装置が実行する処理の手順を例示するフローチャートである。 第二実施形態に係る撮像装置の構成を示すブロック図である。 （ａ）画像をある像面で生成する際に行われる画像生成（画素値の合成）を説明する図である。（ｂ）画像を他の像面で生成する際に行われる画像生成を説明する図である。 合焦する設定像面が特定の面（Ｚ＝０)である場合の画像生成方法を説明する図である。 合焦する設定像面が特定の面（Ｚ＝ｈ１)である場合の画像生成方法を説明する図である。 合焦する設定像面が特定の面（Ｚ＝ｈ２)である場合の画像生成方法を説明する図である。 第二実施形態に係る撮像装置が実行する処理の手順を例示するフローチャートである。

［第一実施形態］
図１は、第一実施形態に係る撮像装置の構成を示すブロック図である。撮像装置は、例えば、ビデオカメラ、電子スチルカメラなどである。第一実施形態では、撮像部１０の撮像光学系に生ずる非等方性の収差の例として、非点収差が扱われる。

撮像装置は、撮像部１０と、記録部１２と、入出力部１６と、制御部１８と、外部インターフェース２０と、収差データ保持部２２と、収差補正部２４と、を備える。記録部１２と、収差データ保持部２２と、収差補正部２４とは、画像処理装置を構成する。

撮像部１０は、撮像光学系（撮像レンズ）１０ａと、撮像素子１０ｂと、Ａ／Ｄ（アナログ−デジタル）変換回路１０ｃと、絞り１０ｄと、絞り駆動機構１０ｅと、像面位置設定部としての焦点距離調節機構１０ｆなどを備える。撮像光学系１０ａは、撮像装置の外部から被写体の光を取り込んで集光する。撮像素子１０ｂは、撮像光学系１０ａを通過した光を受光して、複数の画素値からなる画像信号（出力信号）を生成する。Ａ／Ｄ変換回路１０ｃは、撮像素子１０ｂからの画像信号をアナログ−デジタル変換する。これにより、撮像部１０は、被写体像に関連する複数の画素値を画像データとして取得できる。絞り１０ｄは、撮像光学系１０ａを通過して撮像素子１０ｂに達する光の量を制御する。絞り駆動機構１０ｅは、絞り１０ｄの開口を調整する。

焦点距離調節機構１０ｆは、撮像光学系１０ａを構成するレンズの位置の調整によって、撮像光学系１０ａの焦点距離Ｆ（又は光軸上での焦点位置）を調節する。即ち焦点距離調節機構１０ｆは、焦点位置に対する像面の相対的な位置を設定する像面位置設定部として機能する。撮像部１０は、焦点距離調節機構１０ｆによって被写体像を構成する光の焦点距離Ｆを変更させた画像（焦点距離変更画像と呼ぶ）を、複数枚撮像する。焦点距離調節機構１０ｆは、焦点距離の調節によって、被写体の設定像面を撮像素子１０ｂの位置に移動でき、撮像素子１０ｂは設定像面の画像を生成できる。撮像部１０の撮像光学系が、撮像光学系の焦点距離の調整によりピント合わせを行うオートフォーカス（自動焦点）用のレンズを有する場合には、焦点距離調節機構はこのレンズを移動させて撮像光学系１０ａの焦点距離の調整を行ってよい。前玉移動方式やリア／インナーフォーカス方式等でオートフォーカス（自動焦点）用のレンズは駆動される。

記録部１２は、大容量の画像メモリ（ＲＡＭ等）であり、撮像部１０によって撮像された複数の焦点距離変更画像（収差が互いに異なる）を記録保存する。焦点距離調節機構１０ｆや記録部１２等は、焦点距離が互いに異なる複数の焦点距離変更画像を生成するための複数画像生成部１４を構成する。

入出力部１６は、メモリカードデバイスなどであり、制御部１８からの指示に応じて、記録部１２に保存された収差補正画像（収差補正部２４が生成する新たな画像）をメモリカードなどの外部記録媒体へ出力でき、或いは、外部記録媒体から画像を記録部１２に入力できる。

制御部１８は、撮像部１０（撮影部）、記録部１２、入出力部１６、収差データ保持部２２、収差補正部２４の動作を制御する。例えば、制御部１８は、撮像部１０の撮像光学系１０ａに対するオートフォーカス制御や、焦点距離調節機構１０ｆを介して焦点距離の調節を行う。外部インターフェース２０は、レリーズスイッチ等のスイッチ類であり、ユーザの指令を制御部１８に伝達する。レリーズスイッチの全押し操作に応じて、撮影動作が行われる。

収差データ保持部２２は、メモリ（ＲＡＭ等）であり、収差データを保持する。収差補正部２４は、画像合成部として機能し、記録部１２から送られた複数枚の焦点距離変更画像を使用して、収差の補正された鮮鋭な新たな画像（収差補正画像と呼ぶ）を合成する。収差補正部２４は、収差補正画像を記録部１２に転送し、記録部１２は収差補正画像を記憶保存する。収差補正画像は、記録部１２から入出力部１６を介して外部記録媒体などへ出力される。

収差補正部２４と制御部１８の各々又はその全体は、それぞれＡＳＩＣ、ＦＰＧＡなどの論理回路から構成されてよい。或いは、収差補正部２４と制御部１８の各々又はその全体は、データを格納するメモリ、演算プログラムを格納するメモリ、この演算プログラムを実行するＣＰＵ／ＤＳＰ（中央演算処理装置／デジタルシグナルプロセッサ）等から構成されてもよい。

次に、収差データ保持部２２が保持する非点収差の収差データについて説明する。まず、図２を参照して非点収差について説明する。撮像光学系において、メリディオナル面１００を通る光線（メリディオナル光線）とサジタル面１０２を通る光線（サジタル光線）との間で結像位置が異なるために、非点収差は生じる。ここで、メリディオナル面１００は、撮像光学系の光軸１０４と主光線１０６を含む平面であり、サジタル面１０２は、主光線１０６を含みメリディオナル面１００に垂直な平面である。メリディオナル光線が最も集光する像面であるメリディオナル像面１０８と、サジタル光線が最も集光する像面であるサジタル像面１１０の位置は異なる。

本実施形態において、収差データとは、図２における方向Ａ（メリディオナル方向又は光軸１０４を中心とする放射方向）における横収差（像面内での主光線からのズレ）の情報と方向Ｂ（サジタル方向又は光軸１０４を中心とする円周方向）における横収差の情報を設定像面毎、撮像光学系のレンズ位置（焦点距離Ｆ）ごとに保持しているデータをあらわす。ここで、方向Ａは、メリディオナル面１００と光軸に垂直な設定像面が交わる直線の方向である。方向Ｂは、サジタル面１０２と光軸に垂直な設定像面が交わる直線の方向である。このデータより、メリディオナル像面１０８やサジタル像面１１０を設定像面として、この設定像面での画像を撮像することができる。例えば、メリディオナル像面１０８は、所定の像高（又は半画角ω）において方向Ａにおける横収差が最少となる面に、メリディオナル像面１０８は、所定の像高において方向Ｂにおける横収差が最少となる面に設定できる。なお、収差が方向Ａにおいて小さい像面であれば、メリディオナル像面以外の設定像面でもよい。収差が方向Ｂにおいて小さい像面であれば、サジタル像面以外の設定像面でもよい。

なお、メリディオナル像面で撮影される画像、サジタル像面で撮影される画像などを、像面を設定して撮像するためには、必ずしも上記の様な形態の収差データを用意する必要はない。メリディオナル像面およびサジタル像面などの設定像面で撮像を行うために、撮像光学系の焦点距離をどの値に設定すれば良いかという情報のみを収差データとして簡易的に記録しておいても構わない。

撮像部１０は、複数枚の焦点距離変更画像を撮影する際に、収差データ保持部２２に保持している収差データを参照する。撮像部１０は、収差データを参照することで、例えば、非点収差においてメリディオナル像面で撮像される画像、サジタル像面で撮影される画像、メリディオナル像面とサジタル像面の中間位置の像面で撮影される画像などを、これら像面を設定して撮像することができる。

以下に、収差補正部（画像合成部）２４における収差補正処理を以下の収差補正例１−８に例示して説明する。なお、焦点距離変更画像として二枚の画像を用いて、収差の補正を行う例を説明する。二枚の画像は、メリディオナル像面で撮像された画像ＩＡ（第一画像）、および、サジタル像面で撮像された画像ＩＢ（第二画像）である。ここで、画像ＩＡは、少なくとも画像の一部においてＡ方向の収差（ボケ）がＢ方向の収差（ボケ）より小さな画像（Ａ方向でＢ方向より解像が良い画像）の一例である。画像ＩＢは、少なくとも画像の一部においてＢ方向の収差がＡ方向の収差より小さな画像（Ｂ方向でＡ方向より解像が良い画像）の一例である。

−収差補正例１−
まず最初に、収差補正部２４は、画像ＩＡ及び画像ＩＢにおいて、エッジ量の検出を行うフィルタリング処理により、方向Ａと方向Ｂのエッジ量の検出を行う。方向Ａと方向Ｂは互いに垂直の関係にあるので、画像の回転処理を行い方向Ａ、方向Ｂをそれぞれ画像の水平方向、垂直方向に合わせた後で、水平方向と垂直方向のエッジ量を検出する。例えば、図３のように、フィルタリング処理の対象となる対象画素の画像内での位置が水平方向からθ°ずれている場合、画像は−θ°だけ回転され、方向Ａ（メリディオナル方向）は画像の水平方向に、方向Ｂ（サジタル方向）は画像の垂直方向に合致する。

エッジ量は、水平方向、垂直方向のエッジ量を検出するソーベルフィルタなどの微分フィルタにより検出される。図４（ａ）に水平方向のエッジ量（即ち画素値の微分量）を検出するソーベルフィルタ(Filter1) の例を示す。図４（ｂ）に垂直方向のエッジ量（即ち画素値の微分量）を検出するソーベルフィルタ(Filter2)の例を示す。具体的にはエッジ量は、ソーベルフィルタを対象画素にかけた後の出力値の絶対値とする。

ここで、画像ＩＡの画素位置ｘにある対象画素に対して、Filter1で検出されたエッジ量をF1a(x)と、Filter2で検出されたエッジ量をF2a(x)と表す。画像ＩＢの画素位置ｘにある対象画素に対して、Filter1で検出されたエッジ量をF1b(x)と、Filter2で検出されたエッジ量をF2b(x)と表す。本実施形態において、画素位置ｘの水平方向のエッジ量Fh(x)と垂直方向Fv(x)のエッジ量は、それぞれ以下の式（１ａ）（１ｂ）のように定義される。

水平方向と垂直方向は、それぞれ画像の回転により方向Ａ、方向Ｂに対応している。画像ＩＡは方向Ａに解像が良いためF1a(x)がF2a(x)より大きくなり、画像ＩＢは方向Ｂに解像が良いためF2b(x)がF1b(x)より大きくなる。従って、方向Ａのエッジ量Fh(x)が方向Ｂのエッジ量Fv(x)よりも大きい場合、収差補正画像の画素位置ｘの画素値として、画像ＩＡの画素位置ｘの画素値が用いられる。方向Ｂのエッジ量Fv(x)が方向Ａのエッジ量Fh(x)よりも大きい場合、収差補正部２４が生成する収差補正画像の画素位置ｘの画素値として、画像ＩＢの画素位置ｘの画素値が用いられる。このように、収差補正部２４が生成する収差補正画像において、鮮鋭な画像からの画素値が用いられるため、収差（ボケ）が補正されている。

−収差補正例２−
前述のエッジ量F1a(x)、F2a(x)、F1b(x)、F2b(x)を比較して、最大のエッジ量を有する画像の画素値が、収差補正部２４が生成する収差補正画像の画素位置ｘの画素値として用いられる。F1a(x)又はF2a(x)が最大の場合、画像ＩＡの画素位置ｘの画素値が用いられる。F1b(x)又はF2b(x)が最大の場合、画像ＩＢの画素位置ｘの画素値が用いられる。収差補正画像の画素値として、画素位置ｘについて、鮮鋭な画像からの画素値が用いられるため、収差（ボケ）が補正される。

−収差補正例３−
画像ＩＡおよび画像ＩＢにおいて、エッジ量の検出を行うフィルタリング処理により、エッジの方向を無視してエッジの絶対量（全方向でのエッジ量）を比較しても良い。例えば、画像ＩＡおよび画像ＩＢの画素位置ｘの対象画素のエッジ量をラプラシアンフィルタで検出して比較する。ラプラシアンフィルタで検出されるエッジ量は、ラプラシアンフィルタを対象画素にかけた後の出力値の絶対値とする。そして、画素位置ｘに関して、画像ＩＡのエッジ量が画像ＩＢのエッジ量よりも大きい場合、収差補正画像の画素値として、画像ＩＡの画素値が用いられる。逆に、画素位置ｘに関して、画像Ｂのエッジ量が画像Ａのエッジ量よりも大きい場合、収差補正画像の画素値として、画像ＩＢの画素値が用いられる。図５にラプラシアンフィルタの一例を示す。

−収差補正例４−
エッジを検出する方法として、例えばキャニーのエッジ検出法が画像ＩＡ、ＩＢに適応される。画像回転をすることなく、画像について検出されたエッジ方向が方向Ａと方向Ｂのどちらに近いかによって、画像ＩＡ又は画像ＩＢのいずれかの画素値が選択される。選択された画素値は、収差補正画像の画素値として用いられる。図２のように、画像ＩＡは方向Ｂに像が流れ、画像ＩＢは方向Ａに像が流れる。このため、例えば、画素位置ｘについて、画像ＩＡのエッジ方向が方向Ｂに近い場合、画像ＩＡの画素値が選択され、画像ＩＢのエッジ方向が方向Ａに近い場合、画像ＩＢの画素値が選択されてよい。

−収差補正例５−
収差補正例１−３の処理は、画像ＩＡと画像ＩＢの全ての画素に適用され、全ての画素に対してエッジ量が取得され、収差の補正された収差補正画像が生成される。しかし、処理量削減および画質の改善のために、収差補正部２４は、画像ＩＡと画像ＩＢをそれぞれ部分領域（例えば１０×１０画素）に分割して、部分領域毎に最適な画素値を画像ＩＡと画像ＩＢの一方から選択し、収差補正画像を生成してよい。収差補正部２４は、部分領域の中心付近の一つの画素について画像ＩＡのエッジ量と画像ＩＢのエッジ量を計算し、これらエッジ量に基づいて部分領域の各画素の画素値を画像ＩＡと画像ＩＢの一方から選択する。これにより、画像ＩＡと画像ＩＢのエッジ量を全画素について演算する必要がなく、収差補正画像を生成する演算量が減少し、収差補正画像を生成する速度が速まる。

例えば、部分領域の中心付近の一つの画素について、ラプラシアンフィルタで検出した画像ＩＡのエッジ量が画像ＩＢのエッジ量より大きい場合、収差補正部２４は、画像ＩＡの部分領域の画素値を、そのまま収差補正画像の対応する部分領域の画素値に設定する（別の言い方では、画像ＩＡの部分領域を、そのまま収差補正画像の対応する部分領域として使用する）。これと逆の場合、収差補正部２４は、画像ＩＢの部分領域の画素値を、そのまま収差補正画像の対応する部分領域の画素値に設定する（別の言い方では、画像ＩＢの部分領域を、そのまま収差補正画像の対応する部分領域として使用する）。

なお、収差補正画像の部分領域の境界部分において、選択画素値が画像ＩＡの画素値から画像ＩＢの画素値へ急に切り替わると、収差補正画像が不自然になる可能性がある。これを防止するため、収差補正部２４は、部分領域の境界部分において、画像ＩＡの画素値と画像ＩＢの画素値を加重平均した値を収差補正画像の画素値に設定してもよい。これにより、収差補正画像において、画像ＩＡの画素値を有する部分領域と画像ＩＢの画素値を有する部分領域との境界が目立たなくなる。

−収差補正例６−
収差補正例１−４について、画像Ａの画素値または画像Ｂの画素値を択一的に選択して、収差補正画像の画素値とした。しかし、垂直方向および水平方向のエッジ量に応じた、画像Ａおよび画像Ｂの重み付け加算（加重平均）処理を行ってもよい。これにより、選択画素値が画像ＩＡの画素値から画像ＩＢの画素値へ急に切り替わって収差補正画像が不自然になることが防止できる。

例えば、画素ＩＡの画素位置ｘにおける画素のエッジ量をFa(x)、画素値をPa(x)、それに対応する画素ＩＢの画素位置xにおけるエッジ量をFb(x)、画素値をPb(x)とした場合、画素位置ｘの収差補正画像の画素値Pc(x)は、以下のような重み付け加算の式（２）で求めても良い。例えば、エッジ量は、ラプラシアンフィルタにより求められる。

式（２）において、エッジ量Fa(x)は、画素ＩＡの画素値Pa(x)の重みとなり、エッジ量Fb(x)は、画素ＩＢの画素値Pb(x)の重みとなっている。

特に、前記の収差補正例５のように、部分領域毎に最適な画素値を画像ＩＡと画像ＩＢの一方から選択し収差補正画像を生成する場合、隣接する部分領域の境界の所定幅の領域において上記の重み付け加算（加重平均）処理を行ってもよい。この場合、部分領域の境界において、選択画素値が画像ＩＡの画素値から画像ＩＢの画素値へ急に切り替わって収差補正画像が不自然になることが防止できる。

なお、下記の重み付け加算の式（３）のように、収差補正画像の画質調整のため、エッジ量の関数Ｄを重みとしてよい。ここで、関数Ｄは、エッジ量Fa(x)、Fb(x)に対して、増加する関数である。

−収差補正例７−
上記の収差補正例１−４の複数の最適画素値選択方法で選択した画素値を重み付け加算（加重平均）などで混合した値を、収差補正画像の画素値としてもよい。

−収差補正例８−
収差補正部２４は、画像ＩＡおよび画像ＩＢに対して、周波数変換処理を行う。周波数変換処理としてフーリエ変換処理を用いることができる。収差補正部２４は、周波数帯域（ωh、ωv）ごとに、画像ＩＡと画像ＩＢのフーリエ変換後の空間周波数係数の絶対値Ｃ_AとＣ_Bを比較して、Ｃ_AとＣ_Bのうち絶対値が大きい方の周波数係数を、収差補正画像のその周波数（ωh、ωv）における周波数係数に設定する。なお、ここで、ωhは画像の水平方向の周波数、ωvは画像の垂直方向の周波数であり、最大周波数は単位長さあたりの画素数で定まる。収差補正部２４は、全ての周波数帯域で周波数係数を設定し、設定された周波数係数に対してフーリエ逆変換処理を行い、収差補正された実空間画像（即ち収差補正画像）を生成する。

別の方法として、周波数変換処理としてウェーブレット変換を用いてもよい。ウェーブレット変換では、部分領域ごとに周波数変換処理を行える。例えば、収差補正部２４は、その部分領域において、方向Ａのエッジ量が方向Ｂのエッジ量よりも大きい周波数帯域では、画像ＩＡの周波数係数を選択し、Ｂ方向のエッジ量が方向Ａのエッジ量よりも大きい周波数帯域では、画像ＩＢの周波数係数を選択する。上述の収差補正例１のエッジ量算出手段により、方向Ａのエッジ量と方向Ｂのエッジ量は求められてよい。そして、収差補正部２４は、画像ＩＡ又は画像ＩＢから選択された周波数係数を統合し、逆ウェーブレット変換を行うことで、収差が補正された収差補正画像を生成する。

なお、収差補正部２４は、画像ＩＡおよび画像ＩＢの周波数係数の選択ではなく、周波数帯域に応じた重みを用いて、画像ＩＡの周波数係数および画像ＩＢの周波数係数の重み付け加算を行ってもよい。例えば、フーリエ変換においては、方向Ａのエッジを多く含む周波数帯域（例えば（ωh，0））、方向Ｂのエッジを多く含む周波数帯域（例えば（0，ωv））がある。そこで、方向Ａのエッジを多く含む周波数帯域では、画像ＩＡの周波数係数の重みを大きく、方向Ｂのエッジを多く含む周波数帯域では画像ＩＢの周波数係数の重みを大きくして、画像ＩＡおよび画像ＩＢ間の周波数係数を重み付け加算する。

次に、収差補正部２４が収差補正処理の前に行う前処理を、以下の前処理１、２として例示する。

−前処理１−
画像ＩＡと画像ＩＢの間に幾何的変形が生じている場合、収差補正部２４は、エッジ検出の処理を行う前に、前処理としてその幾何的変形を補正し、画像を幾何的に合わせておく処理（レジストレーション処理）を行ってよい。例えば、収差補正部２４は、焦点距離の変更により画像ＩＡと画像ＩＢの倍率が異なる場合に、拡大又は縮小処理を行う。

−前処理２−
前述のように収差補正部２４は、複数画像生成部１４（撮像部１０および記録部１２等）で生成された複数枚の焦点距離変更画像を合成して、収差補正画像を生成する。しかし、収差補正部２４は、収差補正画像の生成の前処理として、各焦点処理変更画像に対して復元処理を行い、各画像の収差（ボケ）を緩和してよい。焦点距離変更画像の収差を小さくしてから焦点距離変更画像（復元画像）を合成することで、より高精度に収差の補正を行える。なお、収差補正部２４とは、別に、収差の復元処理を行う収差復元部を設けてもよい。

収差補正部２４は、収差の復元処理において、収差データ保持部２２に保持されている収差データに基づいて、どれだけの収差を修復するかを決め、復元処理を行ってもよい。或いは、収差補正部２４は、収差データ保持部２２の収差データを用いずに線ブレやガウシアンボケをパラメトリックに定義して、収差を復元してもよい。

例えば、収差データ保持部２２に詳細な収差のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）データが記録されている場合、それを用いて復元処理を行う。詳細な収差のＰＳＦデータがない場合は、簡易的な収差のデータから、パラメトリックにＰＳＦの形状を定義し、その形状に沿ったＰＳＦデータの生成を行うなどして復元処理を行う。

収差の復元処理には、逆フィルタやウィナーフィルタが用いられる。以下に、復元処理を逆フィルタで行う例を具体的に説明する。

例えば、収差データ保持部２２は、画像ＩＡ（例えば、メリディオナル像面で結像された画像）と画像ＩＢ（例えば、サジタル像面で結像された画像）の画素位置ｘの収差データをＰＳＦとして保持している。このＰＳＦの情報を用いて、画像ＩＡと画像ＩＢの画素位置ｘの周辺の復元処理が、逆フィルタで行われる。

収差情報としてのＰＳＦをＨ、収差の大きい画像（画像ＩＡと画像ＩＢ）の画素位置ｘ近傍の画像領域をＧとし、Ｇが復元処理された結果である復元画像Ｆとすると、逆フィルタにより復元画像Ｆは、以下の式（４）のように求められる。

ここで、ＦＦＴとＩＦＦＴは、それぞれ画像のフーリエ変換とフーリエ逆変換を表す。記号“／”は、フーリエ変換後の画像の周波数係数ごとの割り算をあらわす。ここで、ＧおよびＨを直接フーリエ変換しているが、例えばＨに対してＰＳＦ値の変更を部分的に行ったのち、逆フィルタを施すなどしてより自然な復元処理を行っても良い。収差補正部２４は、収差の復元処理の後、画像ＩＡと画像ＩＢの復元画像から収差補正画像を合成する。

図６のフローチャートは、第一実施形態の撮像装置が実行する上記の処理の手順を例示する。

ステップＳ１１において、撮像部１０は、同一の被写体を互いに異なる焦点距離で撮像して複数枚の画像を取得する。ステップＳ１２において、記録部１２は、取得された複数枚の画像を保存する。

ステップＳ１３において、収差補正部２４は、保存された複数枚の画像に対して復元処理を行い、収差（ボケ）を弱める。復元処理として、逆フィルタまたはウィナーフィルタが用いられる。このステップは、オプションであり省略されてもよい。ステップＳ１４において、収差補正部２４は、複数枚の画像に対して、エッジ量を検出する。エッジ量の代わりに、周波数係数が検出されてもよい。

ステップＳ１５において、収差補正部２４は、同じ画素位置のエッジ量を比較して、エッジ量に基づいて、複数枚の画像の画素値のうち最適な画素値を選択するか、或いは、エッジ量に応じた重みで、複数枚の画像の画素値を重み付け加算する。又は、収差補正部２４は、複数枚の画像において同じ周波数帯域の周波数係数を比較して、最大の周波数係数を選択するか、或いは、周波数帯域に応じた重みで、複数枚の画像の周波数係数を重み付け加算する。

ステップＳ１６において、収差補正部２４は、選択された画素値や周波数係数から収差が補正された収差補正画像を生成する。又は、収差補正部２４は、重み付け加算した画素値や周波数係数から収差が補正された収差補正画像を生成する。ステップＳ１７において、記録部１２は、生成した収差補正画像を記録する。

なお、上記のように、第一実施形態では、二枚の焦点距離変更画像を用いて収差が補正された。しかし、収差の補正において、三枚以上の画像から最適画素や最適周波数係数の選択、又は、選択された画素又は選択された周波数係数の重み付け加算を行える。従って、焦点距離変更画像の枚数は二枚に限定されない。例えば、非点収差では、メリディオナル像面の焦点距離変更画像およびサジタル像面の焦点距離画像に加え、その中間の像面の画像が、焦点距離変更画像として撮像され、収差補正に用いられてよい。

作用効果
第一実施形態によれば、撮像素子１０ｂは、撮像光学系１０ａを通過した光を受光して被写体像に関連する複数の画像を生成可能にする。焦点距離調節機構１０ｆは、撮像光学系の焦点距離を変更する。これにより、焦点位置に対し相対的な位置が異なる複数の像面に対応する複数の画像が生成される。収差補正部２４は、収差の補正された収差補正画像を複数の画像の画素値に基づいて生成する。複数の画像は、少なくとも一部で一方向（例えばＡ方向）の収差が他方向（例えばＢ方向）の収差より小さい第一画像（例えば画像ＩＡ）と、少なくとも他の一部で前記他方向の収差が前記一方向の収差より小さい第二画像（例えば画像ＩＢ）を含む。これにより、複数の画像の収差の小さい画素値を利用することなどによって、コストをかけず簡単に非等方性の収差を補正した収差補正画像を得ることができる。

収差補正部２４は、複数の画像の各々を複数の部分領域に分割してよい。収差補正部２４は、複数の画像の間で対応し合う部分領域の一つの画素のエッジ量に基づいて、当該部分領域に対応する収差補正画像の部分領域の画素値を設定してよい。これにより、複数の画像の一部の画素についてエッジ量を計算すればよく、収差補正画像を生成する演算量が減少し、収差補正画像を短時間で生成できる。

収差補正部２４は、複数の画像の間で対応し合う画素のエッジ量を検出し、エッジ量に基づいて複数の画像の画素値のいずれかを選択して、収差補正画像の画素値に設定してよい。エッジ量に基づいて、鮮鋭な画像からの画素値が収差補正画像の画素値として採用できるため、収差（ボケ）の小さい収差補正画像が生成できる。収差補正部２４は、前記エッジ量に基づいて複数の画像の画素値を重み付け加算した値を、収差補正画像の画素値に設定してよい。エッジ量に基づいて、鮮鋭な画像からの画素値の重みを重くして収差補正画像の画素値を重み付け加算により合成できるため、収差（ボケ）の小さい収差補正画像が生成できるとともに、重み付け加算により自然な収差補正画像が得られる。

収差補正部２４は、複数の画像の各々を周波数変換して周波数係数を取得し、複数の画像の周波数係数の選択又は重み付け加算によって得た新たな周波数係数に基づいて、収差補正画像を生成してよい。フィルタ処理を要しないため、正確に収差補正した収差補正画像を高速に生成できる。

収差補正部２４は、前記複数の画像に対して収差を小さくする処理（復元処理）を行い、前記処理がされた前記複数の画像の画素値に基づいて補正画像を生成してよい。複数の画像の収差（ボケ）を予め復元処理により小さくしておくことで、より収差が補正された収差補正画像を生成できる。

収差データ保持部２２は、撮像光学系の収差データを保持し、焦点距離調節機構１０ｆは、収差データに応じて焦点距離を変更して、撮像素子１０ｂは、焦点距離が互いに異なる複数の画像を生成する。収差データを利用して、上記の第一画像と第二画像を適切に生成できる。

［第二実施形態］
図７は、第二実施形態に係る撮像装置の構成を示すブロック図である。ここで、第一実施形態と同じ機能を有する部は、同じ符号を付して説明を省略する。撮像部１０は、撮像部１０に備わる撮像光学系２００とマイクロレンズアレイ２０１を介して被写体の撮像を行う。撮像された画像は、記録部１２に送られ、記録保持される。記録保持された画像は、複数画像生成部２０４に送られる。記録部１２と、複数画像生成部２０４と、収差データ保持部２２と、収差補正部２４とは、画像処理装置を構成する。

複数画像生成部２０４は、撮像素子２０３によって撮像された画像データに対してリフォーカス処理における像面の位置が相対的に異なり、マイクロレンズアレイの位置に対して異なる相対距離Ｚを有する複数の像面を設定する像面位置設定部２０４ａを備える。特に、複数画像生成部２０４は、像面位置設定部２０４ａで設定された第一の像面に対応する第一画像と上記の第二の像面に対応する第二画像を生成する。収差補正部２４は、複数画像生成部２０４から送られた、互いに異なる像面位置を有する２つの像面にそれぞれ対応する第一画像と第二画像を用いて、非点収差が解消された収差補正画像を生成する。

以下、撮像素子２０３によって撮像された一枚の画像データから、互いに異なる像面位置を有する複数の画像を生成する方法について説明する。複数画像生成部２０４は、互いに異なる像面位置を有する複数の画像の生成に必要な各処理を行う。特に、複数画像生成部２０４は、像面位置設定部２０４ａによって設定された複数の異なる像面位置に基づき、各像面位置毎に撮像素子２０３の画素からの出力値（画素値）を選択、合成して、像面位置が設定された画像の各画素の画素値を生成する。

図８（ａ）と（ｂ）は、像面位置が設定された画像の生成の際に行われる画像生成（画素値の生成）の原理を説明する図である。図８（ａ）と（ｂ）において、撮像素子２０３内の各画素は複数の画素配列に区分けされ、撮像素子の画素全体の画素配列の数はマイクロレンズ２０１Ｎの数に等しくなる。画素配列内の画素の５つのグループa、b、c、d、eに関し、それぞれのグループによって生成される画像データを符号Ia、Ib、Ic、Id、Ieで示す。例えば、撮像素子２０３内のグループａに属する画素の画素値の集まりから画像データIaが形成される。ここでは説明を簡単にするために、画像は一次元方向に限定され、レンズ作用も一次元方向に限定されて説明が行われる。しかし、実際には、二次元のレンズ作用をもつマイクロレンズが用いられ、二次元の画像に対して処理が行われる。

まず、図８（ａ）は、像面の高さ（マイクロレンズアレイ２０１からの高さ）Ｚが０である場合を示す。この場合、この高さに像面が位置する場合の画像が得られる。

像Ｉ０において、あるマイクロレンズの直上部分から射出した光束は直ぐにこのマイクロレンズ２０１Ｎに入射して、同一の画素配列内の画素a、b、c、d、eには、被写体像Ｉ０上の同一箇所の光が入射する。このようにするため、マイクロレンズアレイ２０１と撮像素子２０３の距離は適切に調整されている。この画素配列は、同一のマイクロレンズ２０１Ｎに属する画素配列であり、本実施形態において５つの画素からなる。このとき、画像データIa、Ib、Ic、Id、Ieの間では、互いに同じ位置に像Ｉ０が現れる。よって、これらの画像データIa、Ib、Ic、Id、Ieの同一の画素毎に当該画素配列に属する全ての画素の画素値を加算すれば、設定像面（Ｚ＝０）の画像データを得ることができる。

次に、図８（ｂ）に示すように、設定像面の高さＺが０ではない場合（ここではＺ＝ｈ１）、設定像面に形成される像Ｉ’（マイクロレンズアレイ２０１の位置と設定された像面の位置が同一でない）の各位置から射出した光束は、発散した後にマイクレンズアレイ２０１に入射する。即ち、像Ｉ’上の同一箇所から射出した光束は、発散した後にマイクロレンズアレイ２０１に入射する。これにより、像Ｉ’上の同一箇所から射出した各角度の光線は、角度に依存して互いに異なるマイクロレンズ２０１Ｎに入射する。

故に、同一のマイクロレンズ２０１Ｎに対応する画素配列内の画素a、b、c、d、eは、像I'上の少しずつ異なった箇所の光を受ける。このとき画像データIa、Ib、Ic、Id、Ieの間では、互いにずれた位置に像I'が現れる。このずれ量は、設定像面の高さＺに依存する。

これらの異なる複数の像面位置に対応する複数の画像を生成する方法についてさらに詳細に説明する。図９は、設定像面が画像生成範囲内の特定の面（Ｚ＝０)である場合の画像生成方法を説明する図である。図１０は、設定像面が画像生成範囲内の上記以外のある面（Ｚ＝ｈ１)であるときの画像生成方法を説明する図である。図１１は、設定像面が画像生成範囲内の上記以外のある面（Ｚ＝ｈ２)であるときの画像生成方法を説明する図である。なお、図９−図１１には、撮像素子２０３の５つの画素a、b、c、d、eに入射する各光線（マイクロレンズ２０１の中心を通る主光線のみ）が示されている。また各図中の像面の位置における各領域には、光軸と垂直な面内における座標を示すために添え字（１，２，３・・・）が付されている。図９−図１１において、像面における仮想的な画素が斜線で例示されている。仮想的な画素（仮想画素）の幅は、マイクロレンズの配置ピッチＰと同じであり、位置Ｘ１、・・・、Ｘ９に示されている。

図９に示すように、設定像面が画像生成範囲内の特定の面（Ｚ＝０）である場合について説明する。Ｚ＝０の面上の座標Ｘ５に位置してマイクロレンズＣＬ５に対向する幅Ｐの領域からの射出光束（光線r１、r２、r３、r４、r５）は、各画素ａ５、ｂ５、ｃ５、ｄ５、ｅ５に個別に入射する。従って、式（５）のように、画素ａ５、ｂ５、ｃ５、ｄ５、ｅ５それぞれの出力値Out(a5)、Out(b5)、Out(c5)、Out(d5)、Out(e5)の和は、像面の座標Ｘ５の仮想画素の画素値L(5)となる。画素値L(5)が、設定像面Ｚ＝０での座標Ｘ５における画像の画素値である。

同様に、座標Ｘ５に隣接する座標Ｘ６における仮想画素の画素値L(6)は、以下の式（６）により求められる。

従って、各座標Ｘ１、Ｘ２、Ｘ３、・・・における各仮想画素の画素値L(1)、L(2)、L(3)・・・は、複数の出力値から選択した出力値（Out(ai)、 Out(bi)、 Out(ci) 、Out(di)、Out(ei)）を用いて、以下の式（７）により求められる。なお、式中ｉは、任意の整数である。

この式は、図８（ａ）に示した画像データIa、Ib、Ic、Id、Ieをそのまま重ね合わせることを示している。式（７）にしたがって、ピクセル値L(1)、L(2)、L(3)・・・からなる設定像面Ｚ＝０の画像データが生成される。

なお、式（７）は、ユーザによる指定絞り値が開放（開口サイズ最大）である場合に採用される式である。ユーザは、外部インターフェース２０により絞り値を指定し、絞り駆動機構１０ｅは、絞り１０ｄを指定絞り値に設定できる。仮に、ユーザによる指定絞り値が最大（開口サイズ最小）である場合、光線r1、r2、r3、r4、r5からなる光束を、光線r3のみからなる光束に制限すればよい。従って、上式（７）に代えて、以下の式（８）を採用すればよい。

また、ユーザによる指定絞り値が中間値（開口サイズが中間）である場合、光線r1、r2、r3、r4、r5からなる光線を、光線r2、r3、r4のみからなる光束に制限すればよい。従って、上式（７）（８）に代えて、以下の式（９）を採用すればよい。

次に、図１０に示すように、設定像面が画像生成範囲内の上記以外のある面（Ｚ＝ｈ１）である場合について説明する。Ｚ＝ｈ１の面上の座標Ｘ５に位置してマイクロレンズＣＬ５に対向する幅Ｐの仮想画素からの射出光束（光線r１、r２、r３、r４、r５）は、各画素ａ３、ｂ４、ｃ５、ｄ６、ｅ７に個別に入射する。よって、画素ａ３、ｂ４、ｃ５、ｄ６、ｅ７それぞれの出力値の和は、座標Ｘ５における仮想画素の画素値L(5)となる。正確には、出力値の和は、光線の入射角に依存した重み付け和である。画素値L(5)が、設定像面Ｚ＝ｈ１での座標Ｘ５における画像データである。

同様に、座標Ｘ５に隣接する座標Ｘ６における仮想画素の画素値L(6)は、以下の式（１１）により求められる。

従って、各座標Ｘ１、Ｘ２、Ｘ３、・・・における各仮想画素の画素値L(1)、L(2)、L(3)・・・は、複数の出力値から選択した出力値（Out(a(i-2))、Out(b(i-1))、Out(ci)、Out(d(i+1))、Out(e(i+2))）を用いて、以下の式（１２）により求められる。なお、式中ｉは、任意の整数である。

上式（１２）は、図８（ｂ）に示した画像データIa、Ib、Ic、Id、Ieを設定像面の高さＺに応じた量（ここでは仮想画素１つ分）だけずらして重ね合わせることを示している。式（１２）にしたがって、画素値L(1)、L(2)、L(3)・・・からなる設定像面（ｚ＝ｈ1)の画像データが生成される。

なお、上式（１２）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。仮に、ユーザによる指定絞り値が最大（開口サイズ最小）である場合、光線r1、r2、r3、r4、r5からなる光束を、光線r3のみからなる光束に制限すればよい。従って、上式（１２）に代えて、以下の式（１３）を採用すればよい。

また、ユーザによる指定絞り値が中間値（開口サイズが中間）である場合、光線r1、r2、r3、r4、r5からなる光線を、光線r2、r3、r4のみからなる光束に制限すればよい従って、上式（１２）（１３）に代えて、以下の式（１４）を採用すればよい。

次に、図１１に示すように、設定像面が生成範囲内の上記以外のある面（Z=h2）である場合について説明する。Ｚ＝ｈ２の面上の座標Ｘ５に位置してマイクロレンズＣＬ５に対向する幅Ｐの仮想画素からの射出光束（光線r１、r２、r３、r４、r５）は、撮像素子２０３の複数の画素にまたがって入射する。例えば、光線ｒ１は、画素a3、b3の両方にまたがって撮像素子２０３に入射する。この場合、光線ｒ１の光量は、以下の式（１５）のように、画素ａ３、ｂ３の出力値Out(a3)、Out(b3)の重み付け和によって求められる。

ここで、重み係数q1、q2は、設定像面の高さＺに依存して決まる。

従って、各座標Ｘ１、Ｘ２、Ｘ３、・・・における各仮想画素の画素値L(1)、L(2)、L(3)・・・は、撮像素子の複数の出力値の重み付け和となる。重み付けの重み係数は、設定像面の高さＺに依存して決まる。また、重み付け和に含まれる撮像素子の画素の数は、絞り値に応じて変化する。以上の重み付け和により、ピクセル値L(1)、L(2)、L(3)・・・からなる設定像面（Ｚ＝ｈ２)の画像データが生成される。

座標Ｘ５における仮想ピクセル値L(5)は、以下の式（１６）により求めることができる。仮想ピクセル値L(5)が、設定像面Ｚ＝ｈ２での座標Ｘ５における画像データである。

上記のように、複数画像生成部２０４は、ある設定像面を仮定し（上記の例ではＺ＝０あるいはＺ＝ｈ１あるいはＺ＝ｈ２）、仮定された設定像面を介して射出される光線が入射する（撮像素子の）画素を追跡して、各画素の出力値の和をとることにより画像データを得る。設定像面によって光線が入射する画素は異なるため、画像データを算出するときに加算される画素の出力値も異なる。

第二実施形態において、互いに像面位置が異なる複数の画像として、メリディオナル方向の解像がサジタル方向より良好な画像（第一画像）およびサジタル方向の解像がメリディオナル方向より良好な画像（第二画像）を用いて、収差補正画像が生成される。第一画像の例として、メリディオナル像面に対応する画像、および、第二画像の例として、サジタル像面に対応する画像がある。その際、複数画像生成部２０４は、非点収差のデータとして、メリディオナル像面のマイクロレンズアレイの位置に対する高さ（又は光学系の主点からの距離、或いは焦点位置に対する相対的な位置）に基づく非点収差のデータ、及び、サジタル像面のマイクロレンズアレイの位置に対する高さ（又は光学系の主点からの距離、或いは焦点位置に対する相対的な位置）に基づく非点収差のデータを参照しながら、像面位置が設定された画像を生成してもよい。

図１２のフローチャートは、第二実施形態の撮像装置が実行する処理の手順を例示する。

ステップＳ２０において、マイクロレンズアレイ２０１を有する撮像部１０は、被写体を撮像して一枚の画像データを取得する。ステップＳ２１において、記録部１２は、取得された画像を記録する。

ステップＳ２２において、複数画像生成部２０４は、ステップＳ２１で記録された画像に対してリフォーカス処理を行い、複数枚の像面位置の異なる画像を生成する。以降のステップＳ２３−Ｓ２７の処理は、第一実施形態のステップＳ１３−Ｓ１７（図６）と同じである。

なお、第二実施形態において、画像全体で同一の設定像面が設定されたが、これに限定されない。生成される画像の部分領域毎に設定像面を自由に設定して、画像を生成してもよい。例えば、レンズに縦収差が存在する場合、生成される画像の像高に応じて設定像面を設定する事により縦収差の影響を緩和することができる。

作用効果
第二実施形態によれば、撮像装置は、撮像光学系２００と撮像素子２０３の間にマイクロレンズアレイ２０１を備える。撮像素子２０３は、マイクロレンズアレイ２０１を通過した光を受光して、複数の画素により複数の出力値を生成する。複数画像生成部２０４は、式（５）−（１６）のように、この複数の出力値から選択した出力値（例えば、式（１２）中のOut(a(i-2))、Out(b(i-1))、Out(ci)、Out(d(i+1))、Out(e(i+2))など）を用いて、像面位置を変更した収差の異なる複数の画像を生成する。これにより、撮像光学系２００内のレンズ移動により焦点距離を変えることなく（撮像光学系２００は単焦点レンズでもよい）、一回の撮像による撮像素子２０３の出力信号から、演算によって簡便に像面位置を変更した複数の画像を生成できる。

［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。

画像処理装置（コンピュータ）は、撮像された画像、撮像パラメータ（絞り値、焦点距離など）、及び、収差データを入出力部（メモリカードデバイスなど）から読み込む。そして、画像処理装置（コンピュータ）は、例えば、図６のステップＳ１２−Ｓ１７又は図２０のステップＳ２１−Ｓ２７の手順を含む画像処理プログラムを実行して、収差補正画像を生成する。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしてもよい。

本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。例えば、上記の各実施形態では収差の例として、非点収差を挙げているが、実際は非等方性の収差（光軸方向の像面位置により非等方に収差の形状が異なるような収差）であれば、どのような収差であっても構わない。例えば、コマ収差では、像高の高い位置に集光する斜光線が像面の１点に集まらず、非等方の収差を形成する場合がある。コマ収差にも本発明は適用可能であり、コマ収差を弱めた収差補正画像を生成できる。

１０ 撮像部
１０ａ 撮像光学系（撮像レンズ）
１０ｂ 撮像素子
１０ｃ Ａ／Ｄ（アナログ−デジタル）変換回路
１０ｄ 絞り
１０ｅ 絞り駆動機構
１０ｆ 焦点距離調節機構
１２ 記録部
１４ 複数画像生成部
１６ 入出力部
１８ 制御部
２２ 収差データ保持部
２４ 収差補正部（画像合成部）
２０１ マイクロレンズアレイ
２０４ 複数画像生成部（画像生成部）
２０４ａ 像面位置設定部

Claims (8)

1. 撮像装置において、
   被写体の光を集光する撮像光学系と、
   前記撮像光学系を通過した光を受光して、被写体像に関連する複数の画像を生成可能にする撮像素子と、
   前記複数の画像の前記撮像光学系に対する像面位置を設定する像面位置設定部と、
   前記複数の画像の画素値に基づいて、収差の補正された補正画像を生成する収差補正部と、を備え、
   前記複数の画像は、少なくとも一部で一方向の収差が他方向の収差より小さい第一画像と、少なくとも他の一部で前記他方向の収差が前記一方向の収差より小さい第二画像を含み、
   前記撮像装置は、前記撮像光学系と前記撮像素子の間にマイクロレンズアレイを備え、
   前記撮像素子は、前記マイクロレンズアレイを通過した光を受光して、複数の画素により複数の出力値を生成し、
   前記撮像装置は、前記撮像素子が生成した前記複数の出力値から選択した出力値を合成して、前記複数の画像を生成する画像生成部を備えることを特徴とする撮像装置。
2. 前記収差補正部は、
   前記複数の画像の各々を複数の部分領域に分割し、
   前記複数の画像の間で対応し合う部分領域の少なくとも一つの画素のエッジ量に基づいて、当該部分領域に対応する前記補正画像の部分領域の画素値を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記収差補正部は、
   前記複数の画像の間で対応し合う画素のエッジ量を検出し、
   前記エッジ量に基づいて前記複数の画像の画素値のいずれかを選択して、前記補正画像の画素値に設定することを特徴とする請求項１又は２のいずれか一つに記載の撮像装置。
4. 前記収差補正部は、
   前記複数の画像の間で対応し合う画素のエッジ量を検出し、
   前記エッジ量に基づいて前記複数の画像の画素値を重み付け加算した値を、前記補正画像の画素値に設定することを特徴とする請求項１又は２のいずれか一つに記載の撮像装置。
5. 前記収差補正部は、
   前記複数の画像の各々を周波数変換して周波数係数を取得し、
   前記複数の画像の周波数係数の選択又は重み付け加算によって得た新たな周波数係数に基づいて、補正画像を生成することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像装置は、前記撮像光学系の収差データを保持する保持部を備え、
   前記像面位置設定部は、前記収差データに応じて前記撮像光学系の焦点距離を変更して、前記撮像素子は、前記焦点距離の異なる前記複数の画像を生成することを特徴とする請求項１に記載の撮像装置。
7. 前記収差補正部は、前記複数の画像に対して前記収差を小さくする処理を行い、前記処理がされた前記複数の画像の画素値に基づいて補正画像を生成することを特徴とする請求項１に記載の撮像装置。
8. 被写体の光を集光する撮像光学系と、
   前記撮像光学系を通過した光を受光して、複数の画素により被写体像に関連した複数の出力値を生成する撮像素子と、
   前記撮像光学系と前記撮像素子の間に配置されるマイクロレンズアレイと、
   前記撮像素子が生成した前記複数の出力値から選択した出力値を合成して、前記撮像光学系に対する像面位置を変更した複数の画像を生成する画像生成部と、
   前記複数の画像の画素値に基づいて、収差の補正された補正画像を生成する収差補正部と、を備え、
   前記複数の画像は、少なくとも一部で一方向の収差が他方向の収差より小さい第一画像と、少なくとも他の一部で前記他方向の収差が前記一方向の収差より小さい第二画像を含むことを特徴とする撮像装置。

Images