JP6478511B2 - 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、視差画像の画像処理方法に関する。

ビデオカメラ、デジタルカメラのような撮像装置には、薄型化および高変倍比が求められている。従来の一般的な撮像系においては、光学系の収差の発生を抑え、所望の光学性能を満足させるため、複数の光学レンズを組み合わせることにより光学系が構成される。このような光学系の小型化を図るには、イメージサイズを小さくし、光学系の口径を小さくすることが考えられる。しかしながら、解像度を維持しつつイメージサイズを小さくすることは困難である。

一方、光学系を複数に分割することにより小型の光学系を実現する複眼撮像装置（多眼撮像装置）が提案されている。「複眼」とは、昆虫の眼の構造を利用した構成であり、例えば複数のレンズユニットからなるレンズアレイで光学系を構成し、各レンズユニットを小径化及び短焦点距離化して光学系を小型化する構成が知られている。しかしながら、従来の複眼撮像装置には、撮影画角を可変にする光学的なズーム機能を付加することが困難である。これは、光学系を構成するレンズの位置を移動させる方式により撮影画角を可変にする光学的なズーム機能は、機械的な移動機構が必要であり、撮像系の構成が大型化してしまうためである。

そこで特許文献１には、画角の異なる短焦点のレンズユニットと長焦点のレンズユニットを配置し、被写体の同じ部分を含むように撮像する構成が開示されている。すなわち、短焦点レンズに対応する撮像素子により得られるワイド画像の一部に、長焦点レンズに対応する撮像素子により得られるズームアップ画像を嵌め込む。これにより、一部の領域に関して解像度が高く、その他の領域に関して解像度は低いが広い画角の画像を得ることができる。これは、監視カメラに有用であり、例えば監視対象領域の全域を把握しつつ、中心領域の不審人物などをズームアップして詳細に監視することが可能となる。

特許文献２には、それぞれ異なるカラーフィルタを配した複数のサブカメラモジュールにより構成された複眼撮像系が開示されている。また特許文献２には、薄型化に伴い発生しやすくなる光学系の収差を補正するため、色成分ごとの画像に対して復元処理を行う方法が開示されている。

複眼撮像装置において、撮像系をアレイ状に配置して視差画像を取得することにより、「Ｌｉｇｈｔ Ｆｉｅｌｄ」を取得することができる。「Ｌｉｇｈｔ Ｆｉｅｌｄ」とは、撮像装置に取り込まれる被写体側からの光線の位置と角度の情報である。「Ｌｉｇｈｔ Ｆｉｅｌｄ」については、非特許文献１に詳述されている。「Ｌｉｇｈｔ Ｆｉｅｌｄ」を取得可能な撮像装置の構成は、複数知られており、複眼撮像装置もその一つである。撮像素子上に像として得られる「Ｌｉｇｈｔ Ｆｉｅｌｄ」は、撮像装置の構成によって視差画像または光学系の瞳の像であるが、光学系の瞳を通過する光線を位置と角度に分離して取得している点では同じである。すなわち、視差画像と光学系の瞳の像は画素ごとの情報を再配置することでおよそ等価とみなすことができる。また、「Ｌｉｇｈｔ Ｆｉｅｌｄ」を取得し、画像処理により画像を再構成することにより撮影後に所定の範囲でのピント調整や深度調整が可能になる。薄型の複眼撮像装置にとって、このような機能は駆動部を減らすことに役立つ。

特開２００５−３０３６９４号公報 特開２０１１−１３５３５９号公報

Ｒｅｎ．Ｎｇ， 他５名「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２

しかしながら、特許文献１の構成では、互いに異なる焦点距離の光学系の光軸がずれている。このため、一般的な単眼のズーム光学系のように広角から望遠まで視点の揃った連続的なズーム処理を行うには適していない。また、この構成では、「Ｌｉｇｈｔ Ｆｉｅｌｄ」を取得することもできない。

また、実際の撮影レンズには少なからず収差が存在する。被写体空間の一点と共役な点での光束の広がりを点像分布関数（ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ぶ。カラー画像での色にじみ（軸上色収差、色の球面収差、色のコマ収差など）や横方向の色ずれ（倍率色収差）も波長ごとのＰＳＦの位置や形状の相違ということができる。複眼撮像装置においても、各光学系に収差がある場合、各光学系の形成する画像が劣化しているため再構成画像も劣化してしまう。特許文献２では、それぞれ異なるカラーフィルタを配した各光学系の画像に対して復元処理をしている。しかし、同じ焦点距離の光学系を複数配置しているため、ズーム処理を行うことができない。また、同じ焦点距離の光学系を複数配置しているが、それぞれ異なるカラーフィルタを配しているため、「Ｌｉｇｈｔ Ｆｉｅｌｄ」を取得することはできない。

そこで本発明は、互いに異なる複数の焦点距離を有する複数の光学系を介して得られた撮影画像から高精細画像を生成可能な画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、複眼撮像装置を用いて撮影された第一の画像を取得するステップと、前記第一の画像の撮影条件情報を取得するステップと、前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得するステップと、前記光学特性情報に基づいて前記第一の画像を補正するステップと、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成するステップを有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての画像処理装置は、複眼撮像装置を用いて撮影された第一の画像を取得する画像取得手段と、前記第一の画像の撮影条件情報を取得する撮影条件取得手段と、前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得する光学特性取得手段と、前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成する画像処理手段を有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての複眼撮像装置は、互いに異なる複数の焦点距離を有する複数の光学系と、前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、前記複数の光学系および前記複数の撮像素子を用いて撮影された第一の画像を取得する画像取得手段と、撮影条件情報を取得する撮影条件取得手段と、前記撮影条件情報に応じて、前記複数の光学系の光学特性情報を取得する光学特性取得手段と、前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成する画像処理手段を有し、前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含む。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、互いに異なる複数の焦点距離を有する複数の光学系を介して得られた撮影画像から高精細画像を生成可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置の概略図である。 本実施形態における画像回復フィルタの説明図である。 本実施形態における画像回復フィルタの説明図である。 本実施形態における点像の補正状態の説明図である。 本実施形態における振幅成分および位相成分の説明図である。 実施例１における撮影レンズ部（複数の光学系）の説明図である。 実施例１における複数の光学系の配置図である。 実施例１における複数の光学系の配置図である。 実施例１における電子ズーム処理の説明図である。 実施例１における撮像装置のブロック図である。 実施例１における撮像部のブロック図である。 実施例１における多眼画像処理のフローチャートである。 実施例１における再構成画像の生成方法の説明図である。 実施例１における再構成画像の生成方法の説明図である。 実施例１における再構成画像の生成方法の説明図である。 実施例１における画像フォーマットの説明図である。 実施例２における電子ズーム処理の説明図である。 実施例２における電子ズーム処理の説明図である。 実施例２における電子ズーム処理時の画像合成の説明図である。 実施例２における電子ズーム処理時の画像合成の説明図である。 実施例３における画像処置システムのブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、本実施形態において用いられる用語の定義、および、画像回復処理について説明する。ここで説明する画像処理方法は、後述の各実施例において適宜用いられる。

（入力画像）
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像であり、撮像光学系と各種の光学フィルタ類の光学伝達関数（ＯＴＦ）により劣化している。また、歪曲収差による画像の歪みや、倍率色収差による画像の色ずれも発生している。歪曲収差や倍率色収差は、光学伝達関数に含めることもできるが、ここでは補正処理をそれぞれ独立して行う場合を考慮して、別々に記載している。その他にも、画像の周辺部に行くに従って光量が低下する周辺光量の低下もある。ここで、撮像光学系として、レンズの他に、曲率を有するミラー（反射面）を用いることもできる。

また、入力画像の色成分は、例えばＲＧＢ色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更には色温度を用いることも可能である。

また、入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件（撮影条件情報）やこの画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、前述のように画像に撮影条件情報や補正情報を付帯することが好ましい。

（光学伝達関数（ＯＴＦ））
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。従って、ＭＴＦ、ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分ＰＴＦは、位相角として以下の式（１）のように表される。式（１）において、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、ＯＴＦの実部、虚部をそれぞれ表す。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） … （１）
このように、撮像光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分および位相成分に劣化を与えるため、結像位置での像は、被写体の各点がコマ収差のように非対称にぼけた状態になっている。

（画像回復処理）
光学伝達関数（ＯＴＦ）の振幅成分（ＭＴＦ）の劣化および位相成分（ＰＴＦ）の劣化を、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正する方法が知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以降、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理という。

以下、画像回復処理の概要について説明する。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とするとき、以下の式（２）が成り立つ。式（２）において、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （２）
また、式（２）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）で表されるように、周波数ごとの積の形式になる。式（３）において、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ、Ｆはそれぞれ、ｇ、ｆをフーリエ変換したものである。（ｕ，ｖ）は、２次元周波数面での座標、すなわち周波数である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （３）
撮影された劣化画像から元の画像を得るには、以下の式（４）で表されるように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （４）
式（４）において、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すと、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（５）で表されるように、実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （５）
式（５）において、Ｒ（ｘ，ｙ）を画像回復フィルタと呼ぶ。画像が２次元の場合、一般的にこの画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタのタップ数（セルの数）は、要求画質、画像処理能力、収差の特性などに応じたタップ数に設定して用いられる。この画像回復フィルタは、収差の特性を反映している必要があるため、従来のエッジ強調フィルタ（ハイパスフィルタ）などとは一線を隔する技術である。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいているため、振幅成分（ＭＴＦ）および位相成分（ＰＴＦ）の劣化をともに高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、前述のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がり、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。従って、ノイズが含まれると、鑑賞用画像としては良好な画像は得られない。これは、以下の式（６−１）または式（６−２）のように表される。式（６−１）、式（６−２）において、Ｎはノイズ成分を表している。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （６−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （６−２）
この点に関し、例えば、以下の式（７）で表されるウィナーフィルタのように、画像信号とノイズ信号との強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。

式（７）において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に、撮像光学系のＭＴＦは、低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となる。

続いて、図２および図３を参照して、画像回復フィルタについて説明する。図２および図３は、本実施形態の画像処理方法に用いられる画像回復フィルタの説明図である。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じて、そのタップ数が決定される。図２の画像回復フィルタは、例として１１×１１タップの２次元フィルタである。図２では各タップ内の値（係数）を省略しているが、図３は画像回復フィルタの一断面を示している。画像回復フィルタの各タップの値（係数値）は、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たしている。すなわち、画像に画像回復フィルタをコンボリューション処理（畳み込み積分、積和）することにより、収差が補正された画像を得ることができる。

続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、本実施形態における点像の補正状態の説明図であり、図４（Ａ）は回復前のＰＳＦ、図４（Ｂ）は回復後のＰＳＦをそれぞれ示している。図５は、本実施形態における振幅成分および位相成分の説明図である。図５（Ａ）において、点線（１）は回復前のＭＴＦ、一点鎖線（２）は回復後のＭＴＦを示している。また、図５（Ｂ）において、点線（１）は回復前のＰＴＦ、一点鎖線（２）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりを有し、この非対称性によりＰＴＦは周波数に対して非直線的な値を有する。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で先鋭になる。

この画像回復フィルタの作成方法については、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは、適宜変更可能であり、例えば前述のウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（７）を逆フーリエ変換することにより、実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは、像高に応じて変更して使用することが好ましい。以上が、画像回復処理の概要である。

その他の光学特性を用いた画像の補正処理として、歪曲収差補正処理は、像高に応じた結像位置の歪みの情報に基づいて画像を補正する処理である。また、倍率色収差補正処理は、像高に応じた色成分（例えばＲＧＢ）ごとの結像位置のずれ情報に基づいて画像を補正する処理である。また、周辺光量補正は、像高に応じた光量の情報に基づいて画像を補正する処理である。

次に、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００（複眼撮像装置としてのカメラ）の概略図である。図１において、１０１はカメラ本体部（撮像装置本体）、１０２は撮影レンズ部、１０３は撮影レンズ保持部、１０４はシャッターボタン、１０５はズームレバー、１０６はグリップである。撮影レンズ部１０２は、複数の光学系（撮像光学系）を備えて構成されている。本実施例において、撮影レンズ部１０２は、縦４×横４の１６個の光学系を有するが、これに限定されるものではない。なお本実施例において、撮像装置１００は、撮影レンズ部１０２とカメラ本体部１０１とが一体的に構成されているが、これに限定されるものではない。本実施例は、撮影レンズ部１０２（レンズ装置）がカメラ本体部１０１に対して着脱可能な構成に対しても適用可能である。

続いて、図６を参照して、本実施例における複数の光学系の構造について説明する。図６は、複数の光学系（撮影レンズ部１０２）の説明図である。本実施例の撮影レンズ部１０２は、互いに異なる４つの焦点距離を有する光学系（ａ）〜（ｄ）をそれぞれ４つずつ、合計１６個の光学系を用いて構成されている。

光学系（ａ）は、物体側（図６中の左側）から順に、凹レンズ１１ａ、凸レンズ１２ａ、凸レンズ１３ａ、および、凹レンズ１４ａから構成され、その像面において撮像素子１５ａが配置されている。光学系（ｂ）、（ｃ）、（ｄ）に関しても、レンズの凹凸の順序は異なるが、光学系（ａ）と同様に、それぞれ、レンズ１１ｂ〜１４ｂ、１１ｃ〜１４ｃ、１１ｄ〜１４ｄから構成されている。Ｏａ、Ｏｂ、Ｏｃ、Ｏｄは、光学系（ａ）〜（ｄ）のそれぞれの光軸である。４つの撮像素子１５ａ〜１５ｄの直前には、光量調整素子１７が配置されている。光量調整素子１７は、一体的に形成されたエレクトロ・ルミネッセンス・フィルタなどである。また、複数の光学系（ａ）〜（ｄ）は互いに近接して配置される。このため、隣接する光学系からの不要な光が対応する撮像素子１５ａ〜１５ｄに到達しないように、レンズ間およびレンズと撮像素子との間には、光線の有効範囲を限定する不図示の開口絞りまたは遮光壁を設けることが好ましい。図６において、Ｆはフォーカス移動群（フォーカスレンズ）であり、不図示の駆動機構を用いて一体的に駆動（移動）することにより、ピント調節（フォーカス制御）が可能である。

図７および図８は、撮影レンズ部１０２における複数の光学系の配置図である。図７および図８において、○の中に示されるａ〜ｄは、撮影レンズ部１０２を構成する１６個の光学系に関し、互いに異なる４つの焦点距離を有するユニット（群）から構成される光学系である。また、点Ｏは、１６個の光学系の重心（中心）位置である。図８（Ａ）に示されるように、４つの光学系（ａ）の光軸Ｏａの重心は光軸重心Ｏａ２である。光学系（ｂ）、（ｃ）、（ｄ）についても同様に、図８（Ｂ）、（Ｃ）、（Ｄ）に示されるように、４つの光学系（ｂ）、（ｃ）、（ｄ）の光軸Ｏｂ、Ｏｃ、Ｏｄの重心はそれぞれ、光軸重心Ｏｂ２、Ｏｃ２、Ｏｄ２である。

続いて、図９を参照して、互いに異なる焦点距離を有する光学系（ａ）〜（ｄ）を用いて電子ズーム処理を行う方法について説明する。図９は、電子ズーム処理の説明図である。図９に示されるように、光学系（ａ）〜（ｄ）の焦点距離は、それぞれ、２０ｍｍ、４０ｍｍ、８０ｍｍ、１６０ｍｍと設定されている。図８（Ａ）に示される４つの光学系（ａ）の画像を用いて、視点Ｏに相当する焦点距離２０ｍｍの画像を再構成する。このように、複数の視点の画像から生成された別の視点Ｏの画像を自由視点画像と呼ぶ。すなわち自由視点画像は、複数の視点を有する（画角は一致するが視点は互いに異なる）複数の画像から得られた、所定の視点（視点Ｏ）を有する画像である。自由視点画像の生成方法については、多眼画像処理とともに後述する。

焦点距離２０〜４０ｍｍの間の画像は、光学系（ａ）の画像の切り出し（トリミング）を行うことにより生成することができる。画像を切り出す際に画素数を一定にするため、画素補間を用いることが好ましい。同様に、焦点距離４０〜８０ｍｍの間の画像は光学系（ｂ）、焦点距離８０〜１６０ｍｍの間の画像は光学系（ｃ）、焦点距離１６０〜３２０ｍｍの間の画像は光学系（ｄ）の画像の切り出し（トリミング）を行うことによりそれぞれ生成可能である。このとき、それぞれの焦点距離の画像の視点（自由視点）を視点Ｏに揃えることにより、電子ズーム処理中の仮想光軸が一定となる。このように自由視点は、ズーム中の光軸を固定するために各焦点距離に関して同じ位置となるように設定される。

次に、図１０を参照して、本実施例における撮像装置１００の内部構成について説明する。図１０は、撮像装置１００のブロック図である。図１０において、２１は撮影動作を制御するシステム制御部、２２は撮像部、２３は転送部、４３は画像修復部、２４は現像部、および、２５は画像処理部である。２６は多眼画像処理部であり、本実施例における画像処理装置を構成する。多眼画像処理部２６は、画像取得手段２６ａ、撮影条件取得手段２６ｂ、光学特性取得手段２６ｃ、補正手段２６ｄ、および、画像処理手段２６ｅを有する。２７はモニタ画像処理部、２８は距離演算部、および、２９はＡＦ／ＡＥ評価部である。３０はユーザが撮影の指示を行うための操作部、３１は駆動制御部、３２は駆動ドライバ、３３はエンコーダ、３４は露出制御部、３５は記録エンコード部、３６は記録部、３７は通信エンコード部、３８は通信部、および、３９は外部出力部である。また、４０は手ぶれ検知部、４２はモニタである。以下、それぞれの部位の機能について説明する。

（撮影処理）
システム制御部２１は、ＣＰＵ、および、ＣＰＵにより実行される制御プログラムを格納するＲＯＭ（いずれも不図示）を含み、カメラ（撮像装置１００）の全体の処理を制御する。操作部３０は、ユーザがカメラに対して所望の指示を与えるために用いられるキーやボタンなどの入力デバイスを有する。これらの入力デバイスの操作に応じて、システム制御部２１は、撮像装置１００のモード遷移、メニュー画面、または、各種情報などを表示するためのデータをモニタ４２へ供給する。これにより、モニタ４２は、システム制御部２１から供給されたデータを、撮影時／再生時の画像とともに表示する。画像の撮影は、ユーザが操作部３０を介した撮影指示に基づいて実行される。撮影指示がなされると、システム制御部２１は、撮影指示信号を撮像部２２へ送る。

続いて、図１１を参照して、撮像部２２の構成および動作について詳述する。図１１は、撮像部２２のブロック図である。撮像部２２は、図６に示される光学系（ａ）〜（ｄ）、光量調整素子１７、それぞれの光学系に対応して設けられた撮像素子１５（１５ａ〜１５ｄ）およびＡ／Ｄ変換部４１を有する。システム制御部２１からの撮影指示信号は、それぞれの撮像素子１５（１５ａ〜１５ｄ）に送られる。そして撮像素子１５は、所定の期間露光し、光電変換により電荷を生成する。撮像素子１５は、例えばＣＭＯＳ型イメージセンサであり、ローリングシャッター方式により、撮像信号（アナログ信号）を所定の読み出しタイミングで読み出す。Ａ／Ｄ変換部４１は、撮像素子１５から読み出されたアナログ信号をデジタルデータ列（デジタル信号）に変換し、転送部２３へ供給する。

転送部２３は、複数の光学系（ａ）〜（ｄ）からの撮像信号（デジタル信号）に関し、後工程の現像部２４や画像処理部２５などの処理部の構成に応じて、撮像信号のデータ出力の順番およびタイミングを適宜調整する。画像修復部４２は、画素ごとのノイズや欠陥を補修する画像処理を行い、いわゆるＲＡＷデータとして現像部２４へ供給する。現像部２４は、各画素について色補間処理により画像信号を生成し、所定のダイナミックレンジの範囲のデジタル撮像信号として画像処理部２５へ供給する。現像部２４は、色補間処理において、撮像素子１５ａ〜１５ｄ（イメージセンサ）のカラーフィルタ構造に対応して全画素にＲＧＢ情報が割り当てられるように色デコード処理を施す。

操作部３０のシャッタが押されると、システム制御部２１は、画像処理部２５に対して、画像処理の指示を出力する。また画像処理部２５は、ホワイトバランス補正、ガンマ補正、シャープネス補正、彩度補正などの画像処理を行う。

（多眼画像処理）
多眼画像処理部２６（画像処理装置）は、ユーザが操作部３０（図１ではズームレバー１０５）を介して指示した撮影画角の仮想光軸から撮影したＲＧＢ画像（再構成画像信号）を生成する。仮想光軸とは、図７に示される視点の重心Ｏに仮想のレンズ系を設定したときの光軸である。本実施例において、多眼画像処理部２６は、４つの視点の画像から、仮想光軸Ｏに視点を補正した画像信号（再構成画像信号）を生成する。また、ユーザが指定した撮像画角が光学系（ａ）〜（ｄ）の焦点距離と異なる場合、多眼画像処理部２６は、指定した画角より一段階広角の焦点距離の光学系で撮影した再構成画像信号から、指定した画角に相当する領域を切り出す電子ズーム処理を行う。

次に、図１２を参照して、多眼画像処理部２６による画像処理方法（多眼画像処理）について説明する。図１２は、多眼画像処理のフローチャートである。図１２の各ステップは、主に、システム制御部２１の指令に基づいて多眼画像処理部２６により実行される。

まず、ステップＳ１１において、多眼画像処理部２６（画像取得手段２６ａ）は多視点画像（第一の画像）を取得する。続いてステップＳ１２において、多眼画像処理部２６（撮影条件取得手段２６ｂ）は、撮像装置１００の撮影条件（撮影条件情報）を取得する。撮影条件とは、ズーム位置、絞り値（Ｆ値）、および、撮影距離などである。ただし、例えば開口の大きさが可変な絞りを有していない場合、絞り値を撮影条件から省いてもよい。多眼画像処理部２６は、ステップＳ１１にて取得された多視点画像に付加された情報から撮影条件を取得することができる。または、多眼画像処理部２６は、撮像装置１００（システム制御部２１）から直接取得してもよい。この場合、多眼画像処理部２６は、ステップＳ１１の処理をステップＳ１４の開始までに行えばよい。

続いてステップＳ１３において、多眼画像処理部２６（光学特性取得手段２６ｃ）は、予め保持された複数の光学系（ａ）〜（ｄ）のそれぞれの光学特性（光学特性情報）を取得する。ここで、光学特性とは、光学系の収差に関する特性であり、倍率色収差（倍率色収差補正情報）、歪曲収差（歪曲収差補正情報）、光学伝達関数、または、光学伝達関数に基づいて生成された画像回復フィルタのいずれかまたは複数である。また、多眼画像処理部２６は、ジャイロセンサなどを有する手ぶれ検知部４０を用いて、露光中の撮像装置１００のブレ軌跡（ブレ関数などのブレ情報）を取得することができる。光学特性として、ブレ関数またはブレ関数に基づいて生成されたブレ補正フィルタを含めることにより、ブレを補正することができる。多眼画像処理部２６は、撮像装置１００を手持ちで撮影するなどで発生するブレ軌跡をＰＳＦとして扱うことにより、画像回復処理を適用することが可能になる。さらに光学特性は、周辺光量の特性（周辺光量補正情報）を含んでもよい。光学特性に関するデータ（光学特性情報）は、撮像装置１００に予め保持されたデータから選択することができ、また、予め保持されたデータを撮影条件に応じて補正して用いてもよい。また、ブレのように撮影の際に光学特性を取得して用いてもよい。

続いてステップＳ１４において、多眼画像処理部２６（補正手段２６ｄ）は、各光学系により撮像された画像（第一の画像）に対して、ステップＳ１３にて取得した光学特性を用いて補正処理を行う。補正処理は、ＲＧＢ間の撮像倍率のずれを補正する倍率色収差補正処理、画像の歪みを補正する歪曲収差補正処理、および、光学伝達関数による劣化を補正する画像回復処理などである。また補正処理は、画像周辺部の光量不足を補正する周辺光量補正処理を含んでもよい。続いてステップＳ１５において、多眼画像処理部２６（画像処理手段２６ｅ）は、光学的な画質低下が補正された多視点画像（補正された第一の画像）に対して画像再構成処理を行う。そしてステップＳ１６において、多眼画像処理部２６は、再構成画像（第二の画像）を出力する。

ここで、ステップＳ１３における光学特性の取得およびステップＳ１４における補正処理は、処理の負荷を低減するため、多視点画像のうち、出力画像の再構成処理に必要な画像に限定して行うことが好ましい。例えば図９において、焦点距離１００ｍｍの画像を出力するには、光学系（ｃ）の画像を用いればよいため、図７中の４つの光学系（ｃ）を介して得られた画像に対して補正処理を行えばよい。また、再構成処理に用いられる画像の中でも、十分高精細であって画像の補正を必要としない画像に関しては、補正の対象から除いてよい。

次に、図１３乃至図１５を参照して、多眼画像処理部２６における再構成画像（第二の画像）の生成方法について説明する。図１３乃至図１５は、再構成画像の生成方法の説明図である。

図１３において、前述のように被写体ｐは、２つのレンズ系Ａ１、Ａ２（光学系）により、それぞれの撮像素子Ｓ１、Ｓ２（対応点ｐ１’、ｐ２’）に結像され、撮像信号として読み出される。まずシステム制御部２１（多眼画像処理部２６）は、画像の輝度信号分布や色信号分布の相関性に基づいて、レンズ系Ａ１、Ａ２で生成された画像から対応点ｐ１’、ｐ２’を抽出する。

続いてシステム制御部２１（多眼画像処理部２６）は、以下の式（８）を用いて、レンズ系Ａ１、Ａ２の主点の位置から被写体ｐまでの距離（被写体距離Ｌ）を求める。ここで、図１４に示されるように、レンズ系Ａ１、Ａ２による画像の原点を基準とした座標ｐ１’（ｘ１’，ｙ１’）、ｐ２’（ｘ２’，ｙ２’）、被写体距離Ｌ、２つの光軸ｏ１、ｏ２の間隔をＤ、レンズ系Ａ１、Ａ２の主点から撮像素子までの距離ｆａ’とする。また、対応点ｐ１’と、光軸ｏ１と撮像素子Ｓ１との交点Ｏ１との間隔をｄ１、対応点ｐ２’と、光軸ｏ２と撮像素子Ｓ２との交点Ｏ２との間隔をｄ２とする。システム制御部２１（多眼画像処理部２６）は、これらの値を用いて、撮像系原点Ｏ’（図１４では２つのレンズ系Ａ１、Ａ２の中点）に対する計算上の被写体ｐ”の座標ｐ”（ｘ”，ｙ”，Ｌ）を求める。

ここで、レンズ系Ａ１、Ａ２の焦点距離の誤差やレンズ系Ａ１、Ａ２と撮像素子Ｓ１、Ｓ２の位置ずれなどから、図１４における逆トレース直線（直線Ｒ１’、Ｒ２’）が計算上三次元の空間で交差しない場合がある。このとき、２つの直線Ｒ１’、Ｒ２’が最も接近する位置に仮想の平面を設定し、この平面とそれぞれの直線の交点の中点を座標として求めてもよい。レンズ系が２つよりも多い場合、それぞれのレンズ系から求められる直線を用いて同様な計算を行う。

続いて、図１５に示されるように求められた計算上の被写体ｐ”を撮像系原点Ｏ’に仮想的に配置した焦点距離ｆａ’のレンズ系Ａ０により、仮想の撮像素子面上に射影して、仮想の像の座標ｐ０’（ｘ０’，ｙ０’）を求める。多眼画像処理部２６は、このような画像処理を画像全体に対して実行し、仮想のレンズ系Ａ０による仮想光軸の再構成画像を生成する。

以上の再構成画像の生成処理は、複数の視差画像（第一の画像）から得られる光線の位置と角度の情報に基づいて再構成画像（第二の画像）を生成しているということができる。

（撮影中のモニタ表示）
次に、撮像装置１００に電源を投入したときに液晶パネルや有機ＥＬなどの薄型のユニットから構成されたモニタ４２に画像を表示する処理に関して説明する。モニタ画像処理部２７は、多眼画像処理部２６の出力を受け、画像を表示する。またモニタ画像処理部２７は、多眼画像処理部２６と同様に、視点の補正処理を簡易的に行い、表示用再構成画像信号を生成してモニタ４２に送る。モニタ４２は、表示用再構成画像信号をリアルタイムで表示する。モニタ画像処理部２７は、このような簡易表示処理により、画像切り出し処理、補間処理、光軸合わせ処理などの処理時間を有する画像処理を省いて撮影画像をモニタ４２に表示することができる。このため、表示遅延の少ない画面をユーザに提供することが可能となる。これにより、被写体のフレーミング操作などの妨げにならないような利便性の良い撮像装置を構成することができる。なお、光学特性を用いた補正処理においても、この簡易表示処理では必要に応じて取捨選択して行えばよい。

（画像記録）
記録エンコード部３５は、多眼画像処理部２６にて生成された再構成画像信号を、図１６に例示されるような所定のフォーマットにエンコードする。図１６は、本実施例における画像フォーマットの説明図である。画像フォーマットは、撮影の情報を格納するファイルのヘッダー部、画像データ（画像信号ａ１〜ｄ４）を格納する画像データ部、および、距離マップデータを格納する距離マップデータ部から構成される。

ヘッダー部は、「レンズの指定」、「レンズの情報」、「レンズの位置関係」、「撮影情報」、「画素構造」、および、「画像形式」から構成される。「レンズの指定」の部分には、撮像装置１００に設けられたレンズ系（光学系）の構成に関する情報が格納されている。「レンズの情報」には、各レンズの画角情報や光学特性情報などが格納されている。「レンズの位置関係」には、各レンズの光軸の位置関係の情報が格納されている。「レンズの指定」、「レンズの情報」、および、「レンズの位置関係」は、演算係数に相当する。「撮影情報」には、ユーザが撮影を指示したときの画角の情報、撮影した場所の経度、緯度の情報、撮影した場所の時刻の情報、および、撮影したときの撮像装置１００の方向の情報が格納されている。「画素構造」には、記録された画像データの縦横の画素数の情報が格納されている。「画像形式」には、画像の圧縮の有無および圧縮の種類の情報が格納されている。

画像データは、ユーザが指示した画角で生成された再構成画像信号が記録され、次に光学系（ａ）で撮像された画像データａ１、ａ２、ａ３、ａ４が記録される。以降、光学系（ｂ）、（ｃ）、（ｄ）についても同様に記録される。距離マップデータとしては、光学系（ａ）〜（ｄ）で撮像された画像信号（画像データ）からの距離マップが順次記録される。記録部３６は、記録エンコード部３５でエンコードされた再構成画像信号を不図示のメモリカードなどの記録媒体に記録する。

次に、図１７乃至図２０を参照して、本発明の実施例２における電子ズーム処理に伴う多眼画像処理について説明する。図１７および図１８は、本実施例における電子ズーム処理の説明図である。図１９および図２０は、本実施例における電子ズーム処理時の画像合成処理の説明図である。なお、本実施例の撮像装置の基本構成は、実施例１の撮像装置１００と同様であるため、重複する説明については省略する。

図９を参照して説明した実施例１の多眼画像処理では、ユーザが指定した撮像画角が光学系（ａ）〜（ｄ）の焦点距離と異なる場合、指定した画角より一段階広角の焦点距離の光学系で撮影した再構成画像に対して電子ズーム処理を行っている。一方、本実施例では、図１７に示されるように、指定した撮像画角が光学系（ａ）〜（ｄ）の焦点距離と異なる場合、指定した画角の一段階広角および望遠の焦点距離の光学系で撮影した再構成画像に対して電子ズーム処理を行う。

図１９中のａ、ｂは、それぞれ、光学系（ａ）、（ｂ）の画像である。ここで、ユーザが指定した焦点距離が画像Ｘに相当する場合、画像Ｘのうち、画像ｂと重なる領域に関しては、画像ａと画像ｂとを合成することができる。一方、画像Ｘのうち、画像ｂと重ならない領域に関しては、画像ａと画像ｂとを合成することができないため、画像ａのみを用いる。光学系（ｂ）、（ｃ）の間や、光学系（ｃ）、（ｄ）の間の焦点距離に関しても同様である。

また、図１８に示されるように、例えば光学系（ａ）、（ｂ）の間の焦点距離の画像を生成する際に、画像ａ、ｂ、ｃ、ｄの全てまたはそれらの一部を選択的に用いることもできる。これにより、図２０に示されるように、画像Ｘはより望遠側の高解像な画像（画像ｃ、ｄ）を合成することができる。ここで、光学特性を用いた画像の補正処理は、ユーザが指定した焦点距離の画像Ｘを生成するために使用する画像に対してのみ行うことで、処理の高速化が可能である。

次に、図２１を参照して、本発明の実施例３について説明する。本実施例は、前述の画像処理方法を行う画像処理システムについて説明する。図２１は、本実施例における画像処理システムのブロック図である。図２１に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、例えば、カメラ、顕微鏡、内視鏡、スキャナなどの複眼撮像装置であり、図１０を参照して説明した実施例１の撮像装置１００と同様の基本構成を有する。画像処理装置３０２は、前述の各実施例の画像処理方法を実行可能なコンピュータ機器（情報処理装置）である。画像処理装置３０２は、図１０に示される多眼画像処理部２６（画像取得手段２６ａ、撮影条件取得手段２６ｂ、光学特性取得手段２６ｃ、補正手段２６ｄ、および、画像処理手段２６ｅ）と同様の機能を有する。

記録媒体３０３は、例えば、半導体メモリ、ハードディスク、ネットワーク上のサーバーなどであり、撮影画像を記憶している。画像処理装置３０２は、撮像装置３０１または記録媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像装置３０１、および、記録媒体３０３のいずれかまたは複数に出力する。また、画像処理装置３０２に内蔵された記憶部に画像データを出力して保存することもできる。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４（モニタ４２）が接続され、補正画像が表示機器３０４へ入力される。ユーザは、表示機器３０４を介して補正画像を確認しながら作業を行うことができる。画像処理ソフトウエア３０６（画像処理プログラム）は、前述の各実施例の画像処理方法を行うとともに、必要に応じて現像処理やその他の画像処理を行う。表示機器３０４は、例えば液晶ディスプレイやプロジェクタである。

本実施例において、画像処理方法を行うための補正情報などのデータの内容、および、各機器間でのデータの受け渡しに関する情報については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることにより、本実施例の画像処理装置を搭載した機器であれば補正処理を行うことができる。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例の画像処理方法は、撮影された第一の画像を取得するステップ、撮影条件情報を取得するステップ（Ｓ１２）、および、撮影条件情報に応じて互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得するステップ（Ｓ１３）を含む。画像処理方法は、更に、光学特性情報に基づいて第一の画像を補正するステップ（Ｓ１４）、および、補正された第一の画像から得られる光線の位置および角度の情報に基づいて第二の画像を生成するステップ（Ｓ１５）を含む。

好ましくは、複数の焦点距離は固定である。また、複数の光学系は、第一の焦点距離を有する複数の第一の光学系（光学系（ａ）〜（ｄ）の一つ）、および、第一の焦点距離とは異なる第二の焦点距離を有する複数の第二の光学系（光学系（ａ）〜（ｄ）のうち他の一つ）を有する。より好ましくは、光学特性情報は、倍率色収差補正情報、歪曲収差補正情報、および、周辺光量補正情報の少なくとも一つを含む。また好ましくは、光学特性情報は、光学伝達関数、または、光学伝達関数に基づいて生成された画像回復フィルタを含む。また好ましくは、光学特性情報は、ブレ関数、または、ブレ関数に基づいて生成されたブレ補正フィルタを含む。また好ましくは、光学特性情報は、複数の光学系に応じて異なる。

好ましくは、第二の画像は、補正された第一の画像に対して再構成処理を行うことにより生成される。より好ましくは、第二の画像は、補正された第一の画像に対して再構成処理を行った後、電子ズーム処理を行うことにより生成される。また好ましくは、複数の焦点距離は、広角側の第一の焦点距離および望遠側の第二の焦点距離を含む。そして第二の画像は、第一の焦点距離と第二の焦点距離との間の第三の焦点距離に相当する画角を有する画像である。また好ましくは、第二の画像は、第一の焦点距離に相当する画角を有する第一の画像に対して再構成処理を行った後、電子ズーム処理を行うことにより生成される。また好ましくは、第二の画像は、第一の焦点距離および第二の焦点距離のそれぞれに相当する画角を有する第一の画像に対して再構成処理を行った後、電子ズーム処理および画像合成処理を行うことにより生成される。

好ましくは、補正された第一の画像の再構成処理を行う際に、補正された第一の画像を用いて、複数の焦点距離のそれぞれに関する自由視点画像を生成する。より好ましくは、複数の焦点距離のそれぞれに関する自由視点画像は、互いに一致する視点を有する。すなわち自由視点は、ズーム中の光軸を固定するために各焦点距離に関して同じ位置となるように設定される。また好ましくは、第二の画像を生成する際に、複数の光学系のうち特定の光学系の光学特性情報に基づいて第一の画像うち特定の第一の画像を補正する。

各実施例によれば、互いに異なる複数の焦点距離を有する複数の光学系を介して得られた撮影画像から高精細画像を生成可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２６ 多眼画像処理部（画像処理装置）
２６ａ 画像取得手段
２６ｂ 撮影条件取得手段
２６ｃ 光学特性取得手段
２６ｄ 補正手段
２６ｅ 画像処理手段

Claims (17)

1. 複眼撮像装置を用いて撮影された第一の画像を取得するステップと、
   前記第一の画像の撮影条件情報を取得するステップと、
   前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得するステップと、
   前記光学特性情報に基づいて前記第一の画像を補正するステップと、
   補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成するステップを有し、
   前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする画像処理方法。
2. 前記複数の焦点距離は固定であり、
   前記複数の光学系は、
   第一の焦点距離を有する複数の第一の光学系と、
   前記第一の焦点距離とは異なる第二の焦点距離を有する複数の第二の光学系を有することを特徴とする請求項１の画像処理方法。
3. 前記光学特性情報は、倍率色収差補正情報、歪曲収差補正情報、および、周辺光量補正情報の少なくとも一つを含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記光学特性情報は、光学伝達関数、または、該光学伝達関数に基づいて生成された画像回復フィルタを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記光学特性情報は、前記複数の光学系に応じて異なることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記第二の画像は、前記補正された第一の画像に対して再構成処理を行うことにより生成されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記第二の画像は、前記補正された第一の画像に対して前記再構成処理を行った後、電子ズーム処理を行うことにより生成されることを特徴とする請求項６に記載の画像処理方法。
8. 前記複数の焦点距離は、広角側の第一の焦点距離および望遠側の第二の焦点距離を含み、
   前記第二の画像は、前記第一の焦点距離と前記第二の焦点距離との間の第三の焦点距離に相当する画角を有する画像であることを特徴とする請求項７に記載の画像処理方法。
9. 前記第二の画像は、前記第一の焦点距離に相当する画角を有する前記第一の画像に対して前記再構成処理を行った後、前記電子ズーム処理を行うことにより生成されることを特徴とする請求項８に記載の画像処理方法。
10. 前記第二の画像は、前記第一の焦点距離および前記第二の焦点距離のそれぞれに相当する画角を有する前記第一の画像に対して前記再構成処理を行った後、前記電子ズーム処理および画像合成処理を行うことにより生成されることを特徴とする請求項８に記載の画像処理方法。
11. 前記補正された第一の画像の前記再構成処理を行う際に、該補正された第一の画像を用いて、前記複数の焦点距離のそれぞれに関する自由視点画像を生成することを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理方法。
12. 前記複数の焦点距離のそれぞれに関する前記自由視点画像は、互いに一致する視点を有することを特徴とする請求項１１に記載の画像処理方法。
13. 前記第二の画像を生成する際に、前記複数の光学系のうち特定の光学系の光学特性情報に基づいて前記第一の画像のうち特定の第一の画像を補正することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理方法。
14. 複眼撮像装置を用いて撮影された第一の画像を取得する画像取得手段と、
    前記第一の画像の撮影条件情報を取得する撮影条件取得手段と、
    前記撮影条件情報に応じて、前記複眼撮像装置における互いに異なる複数の焦点距離を有する複数の光学系の光学特性情報を取得する光学特性取得手段と、
    前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、
    補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成する画像処理手段を有し、
    前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする画像処理装置。
15. 互いに異なる複数の焦点距離を有する複数の光学系と、
    前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
    前記複数の光学系および前記複数の撮像素子を用いて撮影された第一の画像を取得する画像取得手段と、
    撮影条件情報を取得する撮影条件取得手段と、
    前記撮影条件情報に応じて、前記複数の光学系の光学特性情報を取得する光学特性取得手段と、
    前記光学特性情報に基づいて前記第一の画像を補正する補正手段と、
    補正された前記第一の画像から得られる光線の位置および角度の情報に基づいて、それぞれ視点の位置が同一であり画角の異なる複数の第二の画像を生成する画像処理手段を有し、
    前記光学特性情報は、前記複数の光学系の収差に関する情報と周辺光量に関する情報の少なくとも一方を含むことを特徴とする複眼撮像装置。
16. 請求項１乃至１３のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。