JP5677366B2

JP5677366B2 - 撮像装置

Info

Publication number: JP5677366B2
Application number: JP2012115521A
Authority: JP
Inventors: 法人日浅; 弘至畠山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-05-21
Filing date: 2012-05-21
Publication date: 2015-02-25
Anticipated expiration: 2032-05-21
Also published as: US9338336B2; US20130308035A1; JP2013243522A

Description

本発明は、結像光学系からの光を、レンズアレイを通して撮像素子に導いて撮像を行う撮像装置に関する。

撮像素子を用いて得られたデータに対して演算を行って様々なデジタル画像を生成および出力する撮像装置が各種提案されている。例えば、非特許文献１，２には、「Light Field Photography」という手法を用いて、被写体面上での２次元的な光の強度分布と視差情報（以下、これらをまとめて「ライトフィールド」という）を同時に取得する撮像装置が開示されている。このような撮像装置によれば、取得したライトフィールドを用いた画像処理により、画像のピント位置の変更（リフォーカス）や被写界深度の調節等の撮像後処理が可能になる。

ただし、このような撮像装置では、撮像素子の画素を光の２次元強度分布だけでなく、視差情報の保存にも割り当てる必要がある。このため、光の２次元強度分布のみを保存する撮像装置に対して空間解像度が低下する。

そこで、非特許文献２には、レンズアレイの各レンズセルが結像光学系によって形成された像面のある一点を異なる複数の画素に、かつそれぞれの画素における異なる位置に結像させる構成が開示されている。このようにして得られた複数の小画像を合成することで、再構成画像を高解像度化できる。このような高解像度化手法を「画素ずらし超解像」という。

Todor Georgiev, et al., "Full Resolution Light Field Rendering", Adobe Technical Report January 2008 Todor Georgiev, et al.,"Superresolution with Plenoptic 2.0 Camera", 2009 Optical Society of America

しかしながら、非特許文献２では、画素ずらし超解像の効果を得る方法として、特定のピント位置に関してのみ説明されている。このため、リフォーカスにより異なるピント位置の画像を生成する場合に、ピント位置によって画素ずらし超解像の効果が変化すると、空間解像度が低下するおそれがある。

本発明は、簡易な構成により、リフォーカスにより生成された画像が高解像度となるピント位置を多く持つ撮像装置を提供する。

本発明の一側面としての撮像装置は、被写体面と像側共役面とを共役にする結像光学系と、複数の画素を含み、該結像光学系からの光線を受けて光電変換を行う撮像素子と、それぞれ像側共役面と撮像素子とを共役にする複数の光学素子セルを含み、該複数の光学素子セルが、被写体面の同一点からの複数の光線を、該複数の光線が結像光学系の瞳面を通過する位置に応じて撮像素子における異なる画素に入射させるように配置された光学素子アレイとを有する。そして、光学素子アレイにおける光学素子セルの配置ピッチが、撮像素子における画素の配置ピッチの２５倍以下であることを特徴とする。

本発明によれば、リフォーカスにより生成された画像が高解像度となるピント位置を多く有する撮像装置を簡単な構成で実現することができる。

本発明の実施例１の撮像装置に用いられる撮像光学系の構成を示す図。本発明の実施例２の撮像装置に用いられる撮像光学系の構成を示す図。各実施例の撮像装置の構成を示すブロック図。各実施例におけるリフォーカス範囲を示す図。各実施例における画素ずらし超解像を示す図。各実施例におけるパラメータの関係を示す図。各実施例において撮像素子上に形成される像を示す図。各実施例における距離σ_１と画素ずれ量との関係を示す図。各実施例における距離τと画素ずれ量との関係を示す図。各実施例にける距離τと画素ずれ量との割合の関係の例を示した図。各実施例における画素のオーバーラップ数を示す図。各実施例における距離τに対する見かけの画素の最大値と画素のオーバーラップ数の逆数との関係の例を示す図。各実施例における距離τと空間解像度比との関係の例を示す図。数値例１における撮像光学系の断面図。数値例２における撮像光学系の断面図。数値例３における撮像光学系の断面図。数値例４における撮像光学系の断面図。

以下、本発明の実施例について図面を参照しながら説明する。ここでは、撮像光学系の構成が異なる２種類の撮像装置をそれぞれ実施例１，２として説明する。

実施例１，２の撮像装置は、結像光学系と撮像素子との間に、光学素子アレイとしてのレンズアレイを配置して、被写体面上での２次元的な光の強度分布および視差情報であるライトフィールドを取得することを目的とした撮像装置である。そして、実施例１，２では、さらに撮像後に画像のピント位置の変更であるリフォーカスにより生成された画像（以下、リフォーカス画像という）が高解像度となるピント位置を多く確保する。このために、レンズアレイを構成する複数のレンズセルの配置ピッチを、撮像素子の画素の配置ピッチの２５倍以下に設定している。

実施例１，２では、レンズアレイ１０２を用いた撮像光学系について説明するが、該レンズアレイ１０２を構成する複数のレンズセルとしては、固体レンズセル、液体レンズセル、液晶レンズセル等の各種レンズセルを用いることができる。さらに、レンズアレイ１０２に代えて、複数の回折光学素子等の各種光学素子セルが２次元配列されて構成された光学素子アレイを用いてもよい。

図１には、実施例１の撮像装置における撮像光学系の構成を示している。なお、実施例１の撮像光学系の具体例として、後に数値例１〜３を示す。また、図２には、実施例２の撮像装置における撮像光学系の構成を示している。なお、実施例２の撮像光学系の具体例として、後に数値例４を示す。

図１および図２において、撮像光学系は、被写体面２０１側から順に、結像光学系１０１と、レンズアレイ１０２と、撮像素子１０３とを有する。

結像光学系１０１は、不図示の開口絞り（図示せず）を備え、被写体面２０１からの光線を、その像側共役面２０２に結像させる。像側共役面２０２は、被写体面２０１に対する結像光学系１０１の像側共役面である。撮像素子１０３は、複数の画素を含み、結像光学系１０１からの光線を受けて光電変換を行う。

レンズアレイ１０２は、像側共役面２０２と撮像素子１０３（の受光面）とを共役にする複数のレンズセルを含む。該複数のレンズセルは、被写体面２０１の同一点からの複数の光線を、該複数の光線が結像光学系１０１の瞳面を通過する位置に応じて撮像素子１０３における異なる画素に入射させるように配置されている。

図１に示す撮像光学系では、レンズアレイ１０２は、撮像素子１０３とともに、像側共役面２０２よりも前側（被写体面の近く）に配置されている。結像光学系１０１からの光線は、レンズアレイ１０２を介して撮像素子１０３上に結像される。一方、図２に示す撮像光学系では、レンズアレイ１０２は、撮像素子１０３とともに、像側共役面２０２より後側（被写体面とは反対側）に配置されている。結像光学系１０１により結像された光線は、レンズアレイ１０２によって撮像素子１０３上にて再結像される。

図１および図２に示す２つの撮像光学系は、上記のように構成は異なるが、いずれも結像光学系１０１に対する被写体面２０１の像を、レンズアレイ１０２（レンズセル）が物体として観察し、その像を撮像素子１０３上に形成する点で同じである。そして、被写体面２０１上での光線の位置と角度に応じて、それぞれの光線が撮像素子１０３の異なる複数の画素に入射するため、撮像視点と撮像範囲の異なる複数の小画像が並んだ画像を取得することができる。

図３には、実施例１，２の撮像装置の構成を示している。撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサとして知られる２次元光電変換素子である。撮像素子１０３は、結像光学系１０１とレンズアレイ１０２を介して画素に入射した光線の強度に応じた値の電気信号（アナログ信号）を出力する。

撮像素子１０３から出力された電気信号は、Ａ／Ｄコンバータ１０４によってデジタル信号に変換される。このデジタル信号に対して、画像処理部１０５にて所定の処理が行われることでデジタル画像データが生成される。該画像データは、半導体メモリや光ディスク等の画像記録媒体１１０に保存される。このとき、状態検知部１０８から取得した撮像条件情報も、画像データに関連付けられて保存される。撮影条件情報とは、撮影距離（被写体距離）、絞り値、ズーム値（焦点距離）等である。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報については光学系制御部１０７から得ることもできる。

画像記録媒体１１０に保存された画像データをＬＣＤ等により構成される表示部１０６に表示する際には、画像処理部１０５にて撮影条件情報に基づいた再構成処理が行われる。これにより、表示部１０６には、ユーザ任意の画像設定（視点、ピント位置および被写界深度）に応じて再構成された画像（以下、再構成画像という）が表示される。また、処理の高速化のため、任意の画像設定を予め記憶部１０９に保存しておき、画像記録媒体１１０を介さずに再構成画像を生成して表示部１０６に表示してもよい。さらに、画像記録媒体１１０に再構成画像を保存してもよい。
以上の一連の撮像装置の動作は、システムコントローラ１１１により制御される。また、撮像光学系のズーム、フォーカスおよび絞り等の機構の駆動は、システムコントローラ１１１からの指示を受けた光学系制御部１０７により制御される。

以下、再構成画像のうちリフォーカス画像が高解像度になるピント位置を多く確保するための条件について説明する。

まず、ライトフィールドの取得に伴う空間解像度の低下について説明し、次にリフォーカスが可能な範囲（以下、リフォーカス範囲という）とリフォーカス画像の生成方法について説明する。さらに、リフォーカス時のピント面と画素ずらし超解像の効果との関係から、リフォーカス画像が高解像度になるピント位置を多く確保するためにレンズアレイ１０２（レンズセル）が満足すべき条件について説明する。以下の説明において、「レンズアレイ１０２」は、該レンズアレイ１０２を構成する各レンズセルの意味でも用いられる。また、説明を簡単にするために、計算は１次元系に関して行うが、２次元系に関しても同様の計算を行うことができる。

図４を参照して、ライトフィールドの取得に伴う撮像系での空間解像度の低下について説明する。図４は、図２に示した撮像光学系をより詳細に描いた図である。被写体面２０１上の光線は、結像光学系１０１を介して、その像側共役面２０２上に結像される。

光の２次元強度分布のみを取得する一般的な撮像光学系では、像側共役面２０２に撮像素子が配置され、被写体の画像が取得される。そのサンプリングピッチは、撮像素子における画素の配置ピッチ（以下、画素ピッチという）である。

これに対して、図４に示す実施例２の構成では、像側共役面２０２の後側に配置されたレンズアレイ１０２が、結像光学系１０１によって一旦結像された光線を撮像素子１０３上で再結像させる。このときの像側共役面２０２上でのサンプリングピッチは、レンズアレイ１０２を介して撮像素子１０３の画素を像側共役面２０２へ投影したときの画素サイズΔｘとなる。

空間成分のサンプリングピッチΔｘは、撮像素子１０３の画素ピッチをレンズアレイ１０２の倍率｜σ_１／σ_２｜倍した値となる。ここで、σ_１はレンズアレイ１０２の物体側主平面から、結像光学系１０１の被写体面２０１に対する像側共役面２０２までの距離である。σ_２はレンズアレイ１０２の像側主平面から撮像素子１０３までの距離である。このため、光の２次元強度分布のみを取得する撮像系に対して、図４に示したライトフィールドを取得する撮像系は、空間解像度が｜σ_２／σ_１｜倍（２次元系ではその２乗倍）された値になる。この説明は、図１に示した撮像光学系についても成り立つ。

次に、リフォーカス範囲について説明する。図４中のΔｕは、結像光学系１０１の瞳面上でのサンプリングピッチであり、光線の角度情報に対応する。「Fourier Slice Photography」（Ren Ng著、２００５ ACM Trans. Graph.24,735-744参照）で説明されているように、リフォーカス範囲はΔｕとεによって決まり、その係数α_±は以下の式（１）のように求められる。

ここで、εはリフォーカス画像の空間分解能に対する許容錯乱円の直径を表し、Δｕは結像光学系１０１の射出瞳面上のサンプリングピッチを表す。式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２と結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここで、ｓ_２は、結像光学系１０１の像側主平面から、被写体面２０１に対応した像側共役面２０２までの距離である。

次に、リフォーカス画像を生成する方法について図５を用いて説明する。ピントを合わせたい被写体側の面に対する結像光学系１０１の像側の共役面を考える。この像側の共役面をリフォーカス画像のピント面と称する。

図５（ａ）には、図２の撮像光学系の一部を拡大し、レンズアレイ１０２と撮像素子１０３とリフォーカス画像のピント面との関係を示している。図５中の破線は、レンズアレイ１０２を構成する各レンズセルの画角を表している。図５（ｂ）は、撮像素子１０３の画素をレンズセルを介してリフォーカス画像のピント面に投影した様子を示している。図５（ｂ）より、互いに隣り合うレンズセルによりリフォーカス画像のピント面に投影された画素（複数の画素を含む画素セット）が互いにオーバーラップしていることが分かる。このオーバーラップした投影画素同士を合成することで、リフォーカス画像のピント面に、結像光学系１０１を介して該ピント面に共役な被写体側の面にピントが合った画像が生成される。

リフォーカス画像のピント面が像側共役面２０２に一致している場合には、被写体面２０１にピントの合った画像が生成される。ただし、前述したようにリフォーカス範囲には制限があり、リフォーカス画像のピント面は結像光学系１０１の像側主平面からα_＋ｓ_２〜α₋ｓ_２の範囲に収まっている必要がある。つまり、α_＋ｓ_２〜α₋ｓ_２の範囲外にリフォーカス画像のピント面を配置した場合には、正しいリフォーカス画像が得られない。

ここで、図５（ｂ）に示すように、リフォーカス画像のピント面上にてオーバーラップしている投影画素同士は、ピント面内方向に互いにずれている。このように互いにずれた投影画素同士を合成することにより、見かけ上の画素サイズを小さくすることができる。これを画素ずらし超解像という。

これに対して、図５（ｃ）に示すようにオーバーラップした投影画素同士がずれていない（一致する）場合には、画素ずらし超解像の効果を得ることはできず、高解像度化は図れない。オーバーラップした投影画素間のずれは、画素を投影するリフォーカス画像のピント面の位置によって変化するため、画素ずらし超解像の効果を全く得られないピント位置が存在する。画素ずらし超解像によって最も高解像度化を図ることができるのは、画素のずれている割合がオーバーラップしている投影画素の数に対応しているときである。具体的には、図５（ｂ）では投影画素のオーバーラップ数が３であるため、画素ずれの割合が１／３または２／３であるならば、最も高解像度を得ることができる。画素ずれの割合と投影画素のオーバーラップ数との関係については、後に詳細に説明する。

続いて、リフォーカス画像のピント面と画素ずらし超解像との関係について具体的に説明する。まず、リフォーカス画像のピント面が、被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致している場合を考える。距離σ_１と画素ずれの割合との関係は、以下のように求められる。

隣り合うレンズセルによる相対的な画素ずれ量ｇは、レンズセルの配置ピッチ（以下、レンズセルピッチという）Δ_ＬＡを、結像光学系１０１の像側共役面２０２上に投影された画素の配置ピッチ（以下、投影画素ピッチという）で除した値（比）である、
｜Δ_ＬＡσ_２／（Δσ_１）｜
で表される。ここで、Δは撮像素子１０３の画素ピッチである。

次に、レンズアレイ１０２の配置と隣り合うレンズセルによる相対的な画素ずれ量との関係を求めるために、図６を用いて、距離σ_１と距離σ_２と画素ずれ量との関係について説明する。図６には、図１に示した撮像光学系をより詳細に示している。なお、ここでの説明は、図２に示した撮像光学系にも成り立つ。

図６中のＦは結像光学系１０１のＦ値であり、Ｐ_ｅｘは結像光学系１０１の射出瞳（近軸射出瞳）と、被写体面２０１に対する結像光学系１０１の像側共役面２０２との間の距離である。Ｎは正の実数であり、結像光学系１０１の瞳面の１次元分割数を表している。Ｐ_ｅｘ／（ＮＦ）が、撮像素子１０３が取得する角度情報のサンプリングピッチとなる。図６から、Δ_ＬＡとσ_１には、以下の式（２）の関係があることが分かる。

ここで、σ_１は、レンズアレイ１０２の物体側主平面が、像側共役面２０２に対して、前側にある場合は正の値をとり、後側にある場合は負の値をとる。図６中の一点鎖線は、レンズアレイ１０２におけるあるレンズセルの中心と、そのレンズセルに対応した画素セットの一端とを結んだ直線であり、その直線の瞳面上での交点と瞳中心との距離は、以下の式（３）で与えられる。

ここで、ｌ_ｒは撮像素子１０３上での不感帯とクロストークの度合いを表すパラメータである。

図７を用いて、不感帯とクロストークについて説明する。図７（ａ）はｌ_ｒが負の値を持つ場合の撮像素子１０３上における像の様子を示している。白い部分が撮像素子１０３に光線が入射する領域であり、灰色の部分が不感帯、つまり光線が入射しない領域である。ｌ_ｒが小さくなるほど不感帯が広がる。このことは情報を取得しない画素が増えることを意味するため、できる限り不感帯は小さくなることが望ましい。

図７（ｂ）は、ｌ_ｒが正の値を持つ場合の撮像素子１０３上における像の様子を示しており、この図から、異なるレンズセルを介して形成された像が重なり合っていることが分かる。この重なり合った領域では、被写体面２０１上で異なる位置と角度を持つ光線が同一画素に入射している。この現象を、クロストークと称する。ｌ_ｒが大きくなるほど、クロストークする領域が広がる。

このようなクロストークが発生している画素ではライトフィールドを取得できていないため、画像の再構成に使用すると正しい再構成画像が生成できない。クロストークの起きている画素を画像の再構成に使用しない場合は、クロストークの領域が広いほど使用できない画素が増えてしまう。このため、クロストークしている領域はできる限り小さいことが望ましい。ｌ_ｒが０のとき、不感帯とクロストークの発生が最も抑えられる。

ただし、現実の系では、収差によるベストピント位置のずれや、結像光学系１０１のヴィネッティングや周辺光量落ち等の影響により、ｌ_ｒが０から少しずれていたとしても、不感帯やクロストークの発生が抑えられる場合がある。

図６と式（３）から、以下の式（４）が成り立つことが分かる。

したがって、隣り合うレンズセルによる相対的な画素ずれ量ｇは、式（２）と式（４）を用いて、以下の式（５）で与えられる。

これにより、距離σ_１に対する画素ずれ量ｇの関係を表す式が得られた。式（５）から、画素ずれ量ｇは、距離σ_１の２次関数で記述されることが分かる。図１に示す撮像光学系では、画素ずれ量ｇは、図８に示すように表される。図８中の菱形の点は、レンズセルに対応する画素セットの画素数が整数個になる解を表す。これらの解以外の距離σ_１では、前述したクロストークが生じる。ただし、あるレンズセルに対応した画素セットに異なるレンズセルを通過した光線が入射しないように、撮像素子１０３に遮光面（壁）を設置すれば、レンズセルに対応する画素セットの画素数が整数個でなくともクロストークの発生を抑えることができる。ここで、画素の整数倍のずれは、図５（ｃ）に示されるように意味がないため、式（５）により求められる整数値としての画素ずれ量ｇは無視してよい。よって、画素ずれの割合δは、以下の式（６）のように表される。

ここでｚ＝ｍｏｄ（ｘ，ｙ）は、ｚがｘをｙで割ったときの剰余に等しいことを表す。

式（６）は、リフォーカス画像のピント面が、被写体面２０１に対する結像光学系１０１の像側共役面２０２に一致する場合の画素ずれの割合を示す。任意のピント面にリフォーカスした画像を生成する場合、画素を投影するリフォーカス画像のピント面の位置を変化させればよい。よって、任意のピント面では、式（５）および式（６）はそれぞれ、以下の式（７）および式（８）のようになる。

ここで、τはレンズアレイ１０２の物体側主平面から物体側にて合わせたいピント位置に対する結像光学系１０１の像側の共役面までの距離である。式（７）から、リフォーカス画像のピント面の距離τと画素ずれ量ｇは、反比例の関係にあることが分かる。

図９には、距離τと画素ずれ量ｇとの関係を示す。τ_＋とτ₋は、式（１）から決まるリフォーカス可能な範囲の上限値および下限値であり、以下の式（９）で表される。

ここでΔｕ＝Ｐ_ｅｘ／（ＮＦ）であり、Δ＜＜Ｐ_ｅｘを用いた。

図１０は、後述する数値例３のパラメータを用いて、式（８）の値（距離τと画素ずれの割合δ）をプロットしたものである。図１０では、ε＝３Δとした。

以上、リフォーカス画像のピント位置と画素ずれ量との関係を説明した。以下、リフォーカス画像が高解像度となるピント位置を多く確保する条件について説明する。

例えば、オーバーラップした投影画素の数が３である場合を考える。このとき、リフォーカス画像が高解像度になる画素ずれの割合δは、１／３または２／３である。図９に示したように、画素ずれ量ｇは、距離τが大きくなると連続的に単調減少する。このため、距離τ₋のときのｇとτ_＋のときのｇとの差が大きいほど、リフォーカス範囲内に高解像度になる点、つまりδが１／３または２／３になる点が増える。したがって、ｇ（τ₋）−ｇ（τ_＋）が大きくなるようにレンズアレイ１０２を配置すれば、画素ずらし超解像によって高解像になるピント位置の数が増大する。ｇ（τ₋）−ｇ（τ_＋）は以下の式（１０）によって与えられる。

式（１０）から、１−（ε／Δ_ＬＡ）^２が小さいほど、ｇ（τ₋）−ｇ（τ_＋）が大きくなることが分かる。

ここで、εはリフォーカス画像の空間分解能に対する許容錯乱円の直径である。εの値は必要性能により決まるが、撮像素子１０３の画素ピッチΔより小さくはできない。１−（ε／Δ_ＬＡ）^２を小さくするためには、εをレンズアレイ１０２のレンズセルピッチΔ_ＬＡで除した値が１に近付けばよいことが分かる。リフォーカス画像が最も高解像となるεは、その最小値ε＝Δである。よってεをΔに置き換えると、ΔをΔ_ＬＡで除した値（Δ／Δ_ＬＡ）が１に近付けば、ｇ（τ₋）−ｇ（τ_＋）が増大することとなる。また、Δ／Δ_ＬＡが１に近付けば、レンズアレイ１０２が像側共役面２０２に近付き、｜σ_２／σ_１｜の値が大きくなるため、ｇ（τ₋）−ｇ（τ_＋）は大きくなる。これによって、前述した例では、高解像度なリフォーカス画像が得られるδ＝１／３または２／３となるピント位置の数が増大する。

例えば、図１０に示した例では、δ＝１／３または２／３となるピント位置が５点存在する。Δ／Δ_ＬＡが０．０４以上ならば、ｇ（τ₋）−ｇ（τ_＋）が大きくなり、画素ずらし超解像により高解像になるピント位置の数が増大する。これは、ε＝Δのときだけでなく、εがΔよりある程度大きい範囲までならば成り立つ。よって、レンズアレイ１０２のレンズセルピッチが撮像素子１０３の画素ピッチの２５倍以下であれば、リフォーカス範囲内に高解像度なリフォーカス画像が得られるピント位置（以下、高解像度ピント位置という）を多く確保できる。

望ましくは、レンズアレイ１０２のレンズセルピッチを撮像素子１０３の画素ピッチの１４倍以下とすることで、リフォーカス範囲内により多くの高解像ピント位置を確保できる。

さらに望ましくは、レンズアレイ１０２のレンズセルピッチを撮像素子１０３の画素ピッチの１０倍以下とすることで、リフォーカス範囲内に高解像ピント位置を十分に確保できる。

次に、レンズアレイ１０２を像側共役面２０２に近付けることは、図８に示した画素ずれ量の傾きが急な部分をとることに等しい。したがって、以下の式（１１）で示される条件を満足するようにレンズアレイ１０２を配置することで、ｇ（τ₋）−ｇ（τ_＋）を大きくして、リフォーカス範囲内における高解像度ピント位置の数を増加させることができる。

｜σ_１／Ｐ_ｅｘ｜の値が式（１１）の上限値を超えると、ｇ（τ₋）−ｇ（τ_＋）の値が小さくなり、リフォーカス範囲内における高解像度ピント位置の数が少なくなってしまい、好ましくない。なお、｜σ_１／Ｐ_ｅｘ｜の値は、式（１１）の下限値を理論的に超えることができない。

望ましくは、以下の式（１１ａ）で示される条件を満足することで、リフォーカス範囲内における高解像度ピント位置の数をより増やすことができる。

より望ましくは、以下の式（１１ｂ）で示される条件を満足することで、リフォーカス範囲内における高解像度ピント位置の数をさらに増やすことができる。

また、前述したリフォーカス画像の生成方法から、距離｜τ｜が距離σ_２より小さくなると、図５から読み取れるように、隣り合うレンズセルの画角が重ならず、高解像度なリフォーカス画像を生成できなくなる。リフォーカス範囲内で距離｜τ｜が距離σ_２より小さくならないためには、距離｜τ₋｜の値が距離σ_２以上であればよい。これにより、以下の式（１２）が導かれる。

εの最小値はΔであるので、式（１２）から、以下の式（１３）で示される条件が導かれる。つまり、式（１３）で示される条件を満足することが望ましい。

（Δ_ＬＡ／Δ）（１−｜σ_２／σ_１｜）の値が式（１３）の下限値を下回ると、リフォーカス範囲内で距離｜τ｜が距離σ_２より小さくなる範囲が存在し、それにより高解像度なリフォーカス画像が生成できる範囲が狭まってしまう。（Δ_ＬＡ／Δ）（１−｜σ_２／σ_１｜）の値が式（１３）の上限値を超えると、ｇ（τ₋）−ｇ（τ_＋）が小さくなり、高解像度ピント位置が減少してしまう。

より望ましくは、以下の式（１３ａ）で示される条件を満足することで、より高解像ピント位置の数を増大させつつ、リフォーカス範囲が狭まるのを抑制することができる。

さらに望ましくは、以下の式（１３ｂ）で示される条件を満足することで、さらに高解像ピント位置の数を増大させつつ、リフォーカス範囲が狭まるのを抑制することができる。

次に、リフォーカス範囲内での画素ずらし超解像を含めた空間解像度について説明する。そのために、まず投影画素のオーバーラップ数を見積もる。

図１１には、図５（ｂ）に示したレンズアレイ１０２のレンズセルの番号ｊを横軸に表し、リフォーカス画像のピント面上の座標ｙを縦軸に表したグラフを示す。ｊ＝０はレンズアレイ１０２の任意のレンズセルとしてよい。図１１中のｙ軸に平行な直線はそれぞれ、ｊ番目のレンズセルに対応した画素セットをリフォーカス画像のピント面に投影したときの投影画素の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。
一点鎖線Ａは、
ｙ＝Δ_ＬＡ｛ｊ＋｜τ／（２σ_２）｜｝
で与えられ、一点鎖線Ｂは、
ｙ＝Δ_ＬＡ｛ｊ−｜τ／（２σ_２）｜｝
で与えられる。

オーバーラップする投影画素の数（以下、オーバーラップ画素数という）は、一点鎖線Ａと一点鎖線Ｂのｊ方向での間隔に対応している。ｊ＝０のレンズセルにおいて、最もオーバーラップ画素数が小さくなる画素は、ｙ＝０近傍の画素であり、そのオーバーラップ画素数は、｜τ／σ_２｜個程度と見積もることができる。

続いて、画素ずらし超解像を含めた空間解像度を求める。理想的には、１／ｎずつ画素ずれを起こした投影画素がｎ個オーバーラップしていれば、解像度はｎ倍される。ここで、ｎは正の整数である。しかし、現実の系では、ノイズや結像光学系の収差の影響によって、画素ずらし超解像による解像度の上昇量は理想系より小さくなる。ただし、説明を簡単にするため、ここでは理想系における解像度の上昇について説明する。最終的な解像度は、画素ずらし超解像によって見かけ上小さくなった画素の中で最も大きい画素によって決定されると定義する。また、その画素サイズを見かけの画素の最大値と称する。

例えば、オーバーラップ画素数が８で、式（８）で表される隣り合うレンズセルによる画素ずれの割合δが０．４５であるとき、８つのレンズセルのそれぞれの画素ずれは、０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決める見かけの画素の最大値は、０．７０−０．４５＝０．２５となる。

次にオーバーラップ画素数が同じで、δが３／８の場合を考える。この場合、８つのレンズセルのそれぞれの画素ずれは、０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。そして、このときの見かけの画素の最大値は１／８となり、オーバーラップ画素数の逆数と一致する。したがって、画素ずらし超解像の効果が最も得られていることとなる。

これは、式（８）で表されるδが１／８、５／８、７／８の場合でも同じである。ただし、式（８）で表されるδが２／８、４／８、６／８の場合は、画素ずらし超解像の効果が低下する。

例として、δが２／８の場合を考える。この場合、８つのレンズセルのそれぞれの画素ずれは、０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素の最大値が２／８＝１／４となる。よって、δが１／８、３／８、５／８、７／８のときに対して、画素ずらし超解像の効果は半分になってしまう。

このことから、式（８）で与えられるδがｍ_０／Ｍ_０に等しいときに、画素ずらし超解像の効果は最大になると分かる。Ｍ_０はオーバーラップ画素数であり、ｍ_０はＭ_０より小さく、かつＭ_０との最大公約数が１となる整数である。Ｍ_０については、前述したように、｜τ／σ_２｜程度と見積もることができ、δがｍ_０／Ｍ_０に近いほど画素ずらし超解像の効果は高くなる。

図１２には、図１０と同様のパラメータを用いた場合における、距離τに対する見かけの画素の最大値とオーバーラップ画素数の逆数との関係を示している。実線で表される見かけの画素の最大値と、破線で表されるオーバーラップ画素数の逆数とが近い距離τほど、画素ずらし超解像の効果が高く、再構成画像（リフォーカス画像）の解像度が上昇する。逆に、見かけの画素の最大値とオーバーラップ画素数の逆数とが離れている距離τでは、高い画素ずらし超解像の効果は得られない。

図１３には、図１０と同様のパラメータを用いた場合における、距離τと空間解像度比との関係を示している。縦軸の空間解像度比は、再構成画像の空間解像度を撮像素子の画素数で規格化したものである。図１３に示すように、図１２において見かけの画素の最大値（実線）とオーバーラップ画素数の逆数（破線）とが近い距離τほど、画素ずらし超解像を含めた解像度が高いことが分かる。逆に、図１２において見かけの画素の最大値が１に近い距離τでは、画素ずらし超解像による解像度の上昇がほとんどない。

実施例１，２では、レンズアレイ１０２を像側共役面２０２に近づけることで、図１２に示された実線のピークの数を増大させている。さらに、距離τが小さい領域では、破線で示された画素ずらし超解像を考慮しない場合の解像度が上昇している。これはレンズアレイ１０２を像側共役面２０２に近づけたことで、リフォーカス画像のピント面に投影された画素の拡大倍率｜τ₋／σ_２｜が１に近づくためである。

先にも述べた通り、現実の系においては、画素ずらし超解像は収差やノイズの影響により、その効果が理想系より減少する。このため、現実の系では、図１３に示した実線よりも空間解像度比は減少する。したがって、再構成画像が高解像度であるためには、画素ずらし超解像を考慮しない場合の解像度が高いことが望ましい。よって、レンズアレイ１０２を像側共役面２０２に近づけたことで、距離｜τ｜が小さい領域でリフォーカス画像の高解像度化が図られている。

また、レンズアレイ１０２を構成する各レンズセルの像側（撮像素子側）の面は、凸面であることが望ましい。これにより、レンズアレイ１０２にて発生する非点収差を抑え、撮像素子１０３上で得られる画像が鮮鋭になる。逆に、レンズセルの像側の面が凸面でない場合は、非点収差が大きくなり、各レンズセルによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に使用すると、再構成画像が鮮鋭にならなくなる。

さらに、レンズアレイ１０２を構成する各レンズセルの物体側（被写体面側）の面は、平面又は凸面であることが望ましい。これにより、レンズセルの物体側の面の曲率が緩まって収差の発生が抑制され、より画像の鮮鋭さを増すことができる。

なお、図１に示す撮像光学系では、レンズアレイ１０２および撮像素子１０３が、被写体面２０１に対する結像光学系１０１の像側共役面２０２よりも物体側（被写体面側）に配置されている。この構成によれば、図２に示すレンズアレイ１０２および撮像素子１０３が像側共役面２０２に対して被写体面２０１とは反対側に配置された撮像光学系に比べて光学系全長を短くすることができる。また、図１の撮像光学系は、軸外光線がレンズアレイ１０２および撮像素子１０３に入射する像高が、図２の撮像光学系に比べて小さい。このため、図１のような構成を採用することで、撮像光学系の小型化を図ることができる。

図１および図２に示した撮像光学系の撮像素子１０３では、それぞれ撮像視点と撮像領域が異なる小画像が並んだ画像が得られる。これらの小画像の全てまたは一部を互いにずらして重ね合わせる等の再構成処理を行うことで、ピント位置を変更したリフォーカス画像だけでなく、被写界深度や視点を変更した再構成画像を得ることができる。ここでの詳しい説明は省略するが、例えば、“Light Field Photography with a Hand-held Plenoptic Camera” (Ren Ng, et al. Stanford Tech Report CTSR 2005-02)に記載されている方法と同様の再構成方法により、再構成画像を得ることができる。この際にも、画素ずらし超解像を使用することで、再構成画像の高解像度化が可能である。

以上説明したように、実施例１，２によれば、リフォーカスにより生成された画像が高解像度となるピント位置を多く有する撮像装置を、レンズアレイにおけるレンズセルピッチを、撮像素子における画素ピッチの２５倍以下とする簡単な構成で実現できる。

なお、実施例１，２では、再構成処理を撮像装置の内部の画像処理部１０５で行う場合について説明した。しかし、再構成処理を、撮像装置とは別の画像処理装置で行ってもよい。例えば、パーソナルコンピュータを画像処理装置とし、撮像装置により取得された再構成前の画像データを、記憶媒体、有線／無線通信またはインターネット等の回線を介して画像処理装置に入力する。そして、画像を取得した画像処理装置に、コンピュータプログラムである画像処理プログラムに従って再構成処理を行わせ、その結果である再構成画像を出力させる。

さらに、図１および図２に示した被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは再構成処理によって、被写体面２０１より奥や手前に存在する人物や物体に、撮影後でもピントを合わせることができるためである。

なお、リフォーカス画像の再構成処理だけでなく、視点や被写界深度を変更した再構成画像を生成する際の再構成処理において画素ずらし超解像を用いてもよい。また、再構成処理において、ＭＡＰ（Maximum a posteriori）推定等の画像推定手法を併用して、さらなる高解像度化を図ってもよい。

以下、実施例１および実施例２に対する具体的な数値例について説明する。
［数値例１］
図１４には、実施例１に対応する数値例１である撮像光学系の構成を示している。結像光学系１０１は単焦点レンズであり、Ｆ値を制御する開口絞りＳＰを備えている。ただし、より多くの視差情報を得るために、撮像時の開口径は大きい方が望ましい。本実施例では、Ｆ値は、撮像後に再構成処理によって変更できるため、開口径は固定でもよい。

また、結像光学系１０１は、不図示のオートフォーカス（ＡＦ）機構およびマニュアルフォーカス機構のうち少なくとも一方を有し、該フォーカス機構によりフォーカスレンズの位置（フォーカス位置）が制御される。本実施例では、再構成処理によって撮像後にリフォーカスが可能であるが、開口絞りＳＰの開口径が有限であるため、撮像素子１０３により得られる視差情報も有限である。これにより、先に説明したようにリフォーカス範囲も有限となる。撮像時のフォーカス位置を変化させることで、リフォーカス範囲を被写界深度方向にシフトさせることができる。

レンズアレイ１０２を構成する各レンズセルは正の屈折力を有し、被写体側および撮像素子側の両面が凸面として形成された球面固体レンズである。各レンズセルの両面のうちいずれか一方は平面でもよく、非球面の曲面でもよい。レンズアレイ１０２は、結像光学系１０１により形成された像を虚物体として見て、その虚物体の像を撮像素子１０３上に形成する。

本数値例において、結像光学系１０１の射出瞳から結像光学系１０１の像側共役面２０２までの距離Ｐ_ｅｘは６３．４９０９（ｍｍ）、レンズアレイ１０２のピッチΔ_ＬＡは０．１０３２（ｍｍ）、撮像素子１０３の画素ピッチΔは０．００４３（ｍｍ）である。

また、レンズアレイ１０２は、距離σ_１が２．０８０５（ｍｍ）で、距離σ_２が０．２７９５（ｍｍ）となる位置に配置されている。このときに条件式（１１）および（１３）の値を表１に示す。

像側のリフォーカス範囲は、許容錯乱円の直径εによって決まり、εの値は必要性能によって決定される。例として、ε＝４．６５Δとした場合を考えると、本数値例のリフォーカス範囲はτ_±＝σ_１±０．４０３２（ｍｍ）である。

本数値例では、リフォーカス範囲内に解像度が極大値をとるピント位置（数値例１〜４ではこれを高解像度ピント位置とする）が８点得られる。さらに、距離τ₋近傍で画素ずらし超解像を考慮しないときの解像度が上がるため、画素ずらし超解像とノイズ等の影響を加味した最終的なリフォーカス画像の解像度が上昇する。したがって、本数値例では、従来の撮像装置に比べて、高解像度ピント位置を多く確保した撮像装置を実現できる。
［数値例２］
図１５には、実施例１に対応する数値例２である撮像光学系の構成を示している。結像光学系１０１は単焦点レンズである。レンズアレイ１０２を構成する各レンズセルの被写体側の面は平面であり、撮像素子側の面は凸面である。レンズアレイ１０２は、結像光学系１０１により形成された像を虚物体として見て、その虚物体の像を撮像素子１０３上に形成する。

本数値例において、結像光学系１０１の射出瞳から結像光学系１０１の像側共役面２０２までの距離Ｐ_ｅｘは９３．５１２７（ｍｍ）、レンズアレイ１０２のピッチΔ_ＬＡは０．０４３０（ｍｍ）、撮像素子１０３の画素ピッチΔは０．００４３（ｍｍ）である。

また、レンズアレイ１０２は、距離σ_１が１．１２２３（ｍｍ）で、距離σ_２が０．１２３２（ｍｍ）となる位置に配置されている。このときに条件式（１１）および（１３）の値を表１に示す。

本数値例における像側のリフォーカス範囲は、例えばε＝３Δとした場合には、τ_±＝σ_１±０．３２５１（ｍｍ）である。

本数値例では、リフォーカス範囲内に高解像度ピント位置が５点得られる。さらに、本数値例では、数値例１と同様に、距離τ₋近傍でリフォーカス画像の解像度が上昇するため、従来の撮像装置に比べて、高解像度ピント位置を多く確保した撮像装置を実現できる。
［数値例３］
図１６には、実施例１に対応する数値例３である撮像光学系の構成を示している。結像光学系１０１は、変倍が可能なズームレンズである。レンズアレイ１０２を構成する各レンズセルの被写体側の面は平面であり、撮像素子側の面は凸面である。レンズアレイ１０２は、結像光学系１０１により形成された像を虚物体として見て、その虚物体の像を撮像素子１０３上に形成する。

結像光学系１０１は、被写体面側から順に、正の屈折力を持つ第１レンズ群Ｌ１、正の屈折力を持つ第２レンズ群Ｌ２、負の屈折力を持つ第３レンズ群Ｌ３、正の屈折力を持つ第４レンズ群Ｌ４および正の屈折力を持つ第５レンズ群Ｌ５により構成されている。図１６中の各レンズ群の下に示すように、ワイド端からテレ端への変倍時には、第１レンズ群Ｌ１と第５レンズ群Ｌ５は不動であり、第２レンズ群Ｌ２、第３レンズ群Ｌ３および第４レンズ群Ｌ４は光軸上を矢印で示すように移動する。

本数値例において、結像光学系１０１の射出瞳から結像光学系１０１の像側共役面２０２までの距離Ｐ_ｅｘは１２９．８９９４（ｍｍ）、レンズアレイ１０２のピッチΔ_ＬＡは０．０２５６（ｍｍ）、撮像素子１０３の画素ピッチΔは０．００６４（ｍｍ）である。これらのパラメータと、Ｎ＝５、ｌ_ｒ＝０．５およびε＝３Δを用いて、画像ずれの割合δと見かけの画素の最大値と画素ずらし超解像を含めた解像度を示したのが、先に示した図１０、図１２および図１３である。

また、レンズアレイ１０２は、距離σ_１が０．３７１２（ｍｍ）で、距離σ_２が０．０７４０（ｍｍ）となる位置に配置されている。このときに条件式（１１）および（１３）の値を表１に示す。

本数値例における像側のリフォーカス範囲は、例えばε＝３Δとした場合には、τ_±＝σ_１±０．２７８４（ｍｍ）である。図１３から分かるように、本数値例では、リフォーカス範囲内に高解像度ピント位置が５点得られる。さらに、本数値例では、数値例１と同様に、距離τ₋近傍でリフォーカス画像の解像度が上昇するため、従来の撮像装置に比べて、高解像度ピント位置を多く確保した撮像装置を実現できる。
［数値例４］
図１７には、実施例２に対応する数値例４である撮像光学系の構成を示している。結像光学系１０１は、変倍が可能なズームレンズである。レンズアレイ１０２を構成する各レンズセルの被写体側の面は平面であり、撮像素子側の面は凸面である。レンズアレイ１０２は、結像光学系１０１により形成された像を実物体として見て、その実物体の像を撮像素子１０３上に形成する。

結像光学系１０１は、被写体面側から順に、正の屈折力を持つ第１レンズ群Ｌ１、正の屈折力を持つ第２レンズ群Ｌ２、負の屈折力を持つ第３レンズ群Ｌ３、正の屈折力を持つ第４レンズ群Ｌ４および正の屈折力を持つ第５レンズ群Ｌ５により構成されている。図１７中の各レンズ群の下に示すように、ワイド端からテレ端への変倍時には、第１レンズ群Ｌ１と第５レンズ群Ｌ５は不動であり、第２レンズ群Ｌ２、第３レンズ群Ｌ３および第４レンズ群Ｌ４は光軸上を矢印で示すように移動する。

本数値例において、結像光学系１０１の射出瞳から結像光学系１０１の像側共役面２０２までの距離Ｐ_ｅｘは１２９．８９９４（ｍｍ）、レンズアレイ１０２のピッチΔ_ＬＡは０．０１９２（ｍｍ）、撮像素子１０３の画素ピッチΔは０．００６４（ｍｍ）である。

また、レンズアレイ１０２は、距離σ_１が−０．１１１４（ｍｍ）で、距離σ_２が０．０５５６（ｍｍ）となる位置に配置されている。このときに条件式（１１）および（１３）の値を表１に示す。

本数値例における像側のリフォーカス範囲は、例えばε＝３．１２５Δとした場合には、τ_±＝σ_１±０．１１６０（ｍｍ）である。

本数値例では、リフォーカス範囲内に高解像度ピント位置が３点得られる。さらに、本数値例では、数値例１と同様に、距離τ₋近傍でリフォーカス画像の解像度が上昇するため、従来の撮像装置に比べて、高解像度ピント位置を多く確保した撮像装置を実現できる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

高解像度のリフォーカス画像等の再構成画像が得られる撮像装置を提供できる。

１０１結像光学系
１０２レンズアレイ
１０３撮像素子

Claims

被写体面と像側共役面とを共役にする結像光学系と、
複数の画素を含み、前記結像光学系からの光線を受けて光電変換を行う撮像素子と、
それぞれ前記像側共役面と前記撮像素子とを共役にする複数の光学素子セルを含み、該複数の光学素子セルが、前記被写体面の同一点からの複数の光線を、該複数の光線が前記結像光学系の瞳面を通過する位置に応じて前記撮像素子における異なる前記画素に入射させるように配置された光学素子アレイとを有し、
前記光学素子アレイにおける前記光学素子セルの配置ピッチが、前記撮像素子における前記画素の配置ピッチの２５倍以下であることを特徴とする撮像装置。
σ_１を前記光学素子アレイの物体側主平面から前記像側共役面までの距離とし、Ｐ_ｅｘを前記結像光学系の射出瞳から前記像側共役面までの距離とするとき、以下の条件を満足するすことを特徴とする請求項１に記載の撮像装置。
σ_１を前記光学素子アレイの物体側主平面から前記像側共役面までの距離とし、σ_２を前記光学素子アレイの像側主平面から前記撮像素子までの距離とし、Δを前記画素の配置ピッチとし、Δ_ＬＡを前記光学素子セルの配置ピッチとするとき、以下の条件を満足することを特徴とする請求項１または２に記載の撮像装置。
前記光学素子アレイにおける前記光学素子セルはレンズセルであり、
該レンズセルのうち前記撮像素子側の面が、凸面であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記光学素子アレイにおける前記光学素子セルはレンズセルであり、
該レンズセルのうち前記被写体面側の面が、平面または凸面であることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
前記光学素子アレイおよび前記撮像素子は、前記像側共役面よりも前記被写体面の近くに配置されていることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記光学素子アレイおよび前記撮像素子は、前記像側共役面に対して、前記被写体面とは反対側に配置されていることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。