JP5672989B2 - 撮像装置 - Google Patents

Description

本発明は、レンズアレイを用いた撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、撮像レンズの焦点面にレンズアレイを配置し、更にこのレンズアレイの焦点面にイメージセンサを設けたものである。これにより、レンズアレイ上に結像する被写体の映像を、イメージセンサにおいて、各視点方向の光線に分割しつつ受光し、同時刻に多視点の画像を取得することができる。

国際公開第０６／０３９４８６号パンフレット

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

上記のような撮像装置では、レンズアレイにおける１つのレンズに、イメージセンサ上の複数の画素が割り当てられ（各レンズの縦横の寸法がそれぞれ、画素ピッチの整数倍に等しく）、そのレンズに割り当てられた画素数分の視点画像を取得可能である。また、レンズに割り当てられた画素の縦方向および横方向の数（レンズの縦横の寸法）が互いに等しくなっている。例えば、１つのレンズが３×３の画素に割り当てられており（縦横の寸法がそれぞれ３画素分のピッチに等しく）、縦方向および横方向にそれぞれ３視点の画像（合計９視点分の画像）を取得可能である。このようにして撮影された各視点方向からの画像（以下、視点画像という）を所定のディスプレイを用いて表示することにより、例えば立体映像表示を実現できる。

ところが、複数の視点画像を表示可能なディスプレイでは、一般に、縦方向と横方向の視点数が一致していないものが多い。例えば、横方向では２つ以上の視点数となるが、縦方向では視点数が１つであることが多い。このようなディスプレイでは、上記３×３の視点分の画像の中から適当な視点画像を選択して表示することになる。例えば、ディスプレイにおいて縦方向１視点、横方向３視点の画像（１×３の視点画像）を選択的に表示させる場合には、縦方向３視点のうち２視点分は使用しないこととなる。従って、上記のような撮像装置を用いて撮影された複数の視点画像のうち、一部が無駄となってしまう。

また、各視点画像における解像度は、イメージセンサの解像度（画素数）を視点数（レンズアレイのレンズ数）で割ったものに等しくなるので、即ち、取得される視点画像の視点数と、その解像度とは互いにトレードオフの関係となる。このため、使用しない視点画像があると、各視点画像の解像度を低下させてしまうという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、解像度の低下を抑制しつつ所望の視点画像を取得可能な撮像装置を提供することにある。

本発明の撮像装置は、撮像レンズと、撮像レンズの結像面に配置されたレンズアレイと、互いに異なる第１および第２の方向に沿って２次元配置された複数の画素を有する撮像素子とを備えたものである。レンズアレイは、それぞれが撮像素子におけるｍ×ｎ（ｍ，ｎは互いに異なる１以上の整数）の画素領域に割り当てられて設けられたレンズ部を複数含み、光入射側の面において第１の方向に沿って延在すると共に、第２の方向に沿って画素幅のｎ倍の幅を有する複数の第１の突条レンズと、光出射側の面において第２の方向に沿って延在すると共に、第１の方向に沿って画素幅のｍ倍の幅を有する複数の第２の突条レンズとを有するものである。複数のレンズ部はそれぞれ、第１および第２の突条レンズの交差部に対応する領域に形成されている。

本発明の撮像装置では、撮像レンズを通過した被写体からの光線は、レンズアレイによって視点方向毎に分割された後、撮像素子において受光される。レンズアレイが、ｍ×ｎの画素領域に割り当てられたレンズ部を複数含むことにより、第１の方向ではｍ個、第２の方向ではｎ個の視点画像がそれぞれ取得される（計ｍ×ｎ個の視点画像が取得される）。

本発明の撮像装置によれば、撮像レンズと２次元配置された複数の画素を有する撮像素子とを備えると共に、撮像レンズの結像面に、ｍ×ｎの画素領域に割り当てられたレンズ部を複数含むレンズアレイを備えるようにしたので、必要数の視点画像だけを過不足なく取得可能となる。視点画像では、その視点数と解像度とが互いにトレードオフの関係にあるため、不要な視点画像を減らすことにより、解像度の低下を抑制することができる。即ち、解像度の低下を抑制しつつ所望の視点画像を取得可能となる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。 レンズアレイとイメージセンサの斜視構成を表す模式図である。 図２における（Ａ）Ａ方向からみた側面図と、（Ｂ）Ｂ方向からみた側面図である。 レンズアレイのＸＹ平面構成を表す模式図である。 カラーフィルタの色配列の一例を表す模式図である。 視点方向毎の光線分割について説明するための模式図である。 図１に示した撮像装置により取得される撮像データの模式図である。 図７に示した撮像データから得られる各視点画像データの模式図である。 比較例１に係るレンズおよびイメージセンサの配置構成についての模式図である。 比較例２に係るレンズおよびイメージセンサの配置構成についての模式図である。 カラーフィルタ配列による効果を説明するための模式図である。 変形例１に係るレンズアレイの概略構成を表す模式図である。 変形例２に係るレンズアレイおよびイメージセンサの斜視構成を表す模式図である。 図１３における（Ａ）Ａ方向からみた側面図と、（Ｂ）Ｂ方向からみた側面図である。 変形例３に係るカラーフィルタの色配列を表す模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（レンズ割り当て画素を１×３とし、レンズアレイの光入射面および光出射面に突条レンズを有する例）
２．変形例１（レンズアレイをトロイダルレンズとした例）
３．変形例２（レンズアレイをイメージセンサに直に形成した例）
４．変形例３（レンズ割り当て画素１×２の場合のカラーフィルタ例）

＜実施の形態＞
［全体構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、被写体２を撮像して、所定の画像処理を施すことにより、画像データＤoutを出力するものである。この撮像装置１は、撮像レンズ１１と、レンズアレイ１２と、イメージセンサ１３と、画像処理部１４と、イメージセンサ駆動部１５と、制御部１６とを備える。尚、以下では、光軸をＺとし、光軸Ｚに直交する面内において、水平方向（横方向）をＸ、垂直方向（縦方向）をＹとする。

撮像レンズ１１は、被写体２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ１１の光入射側（または光出射側）には、開口絞り１０が配設されている。

（レンズアレイ１２の構成）
レンズアレイ１２は、撮像レンズ１１の焦点面（結像面）に配置され、例えばガラスなどの基板上に複数のレンズ部（後述のレンズ部１２Ｌ）を有するものである。これらの複数のレンズ部はそれぞれ、イメージセンサ１３における所定の画素領域、具体的にはｍ×ｎの画素領域に割り当てられて配置されている。ｍ，ｎは互いに異なる１以上の整数であり、以下では、縦方向Ｙに沿ってｍ＝１個、横方向Ｘに沿ってｎ＝３個の画素が配列してなる画素領域に対応してレンズ部が設けられているものとして説明する。このレンズアレイ１２の焦点面には、イメージセンサ１３が配設されている。

図２は、レンズアレイ１２の斜視構成について、イメージセンサ１３と共に示したものである。レンズアレイ１２は、光入射側（撮像レンズ１１側）の面と、光出射側（イメージセンサ１３側）の面とにそれぞれ、互いに直交して設けられると共に焦点距離の異なる突条レンズ１２Ａ，１２Ｂを複数有している。図３（Ａ）は、図２におけるＡの方向からみたレンズアレイ１２およびイメージセンサ１３の側面図、図３（Ｂ）は、図２におけるＢの方向からみたレンズアレイ１２およびイメージセンサ１３の側面図である。尚、図３（Ａ）では突条レンズ１２Ｂ、図３（Ｂ）では突条レンズ１２Ａの図示をそれぞれ省略している。

このように、突条レンズ１２Ａは、例えば、縦方向Ｙに沿って延在すると共に、横方向Ｘに沿って３画素（３ｐ）分の幅を有している。突条レンズ１２Ｂは、例えば、横方向Ｘに沿って延在すると共に、縦方向Ｙに沿って１画素（１ｐ）分の幅を有している。本実施の形態では、レンズアレイ１２のＸＹ面内における突条レンズ１２Ａと突条レンズ１２Ｂとの交差部に対応する領域が、上記ｍ×ｎ（１×３）の画素領域に割り当てられたレンズ部１２Ｌに相当する（図４）。このように、レンズ部１２Ｌは、ＸＹ平面において縦横比（縦：横＝１：３）の異なる矩形状となる。

上記のような突条レンズ１２Ａ，１２Ｂは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板の両面に、例えばレジストリフロー法やナノインプリント法を用いて、形成することができる。この他にも、金型を用いた成形法によっても形成可能である。

これらの突条レンズ１２Ａ，１２Ｂは、レンズアレイ１２の互いに異なる面に配置され、かつ焦点距離も異なるため、これらのことを考慮してレンズアレイ１２の位置（イメージセンサ１３に対する相対的位置）およびレンズアレイ１２の厚み（基板の厚み）が設定されている。詳細には、撮像レンズ１１のＦナンバーをＦ、画素幅（画素ピッチ）をｐ、突条レンズ１２Ａの焦点距離をｆ１、突条レンズ１２Ｂの焦点距離をｆ２としたとき、焦点距離ｆ１，ｆ２はそれぞれ以下の式（２），（３）ように表され、これより式（１）が導かれる。
ｆ１＝Ｆ×ｎ×ｐ ………（２）
ｆ２＝Ｆ×ｍ×ｐ ………（３）
ｆ１＝（ｎ／ｍ）×ｆ２ ………（１）

従って、式（１）を満足するように、レンズアレイ１２の位置および厚みが設定されていればよい。ここでは、ｍ×ｎ＝１×３なので、焦点距離ｆ１を焦点距離ｆ２の３倍となるように位置および厚みが設定されている。

イメージセンサ１３は、レンズアレイ１２からの光線を受光して撮像データＤ０を取得するものである。このイメージセンサ１３は、複数の画素がマトリクス状に（縦方向Ｙおよび横方向Ｘに沿って）２次元配列したものである。各画素は、ＣＣＤ（Charge Coupled Device：電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの固体撮像素子により構成されている。イメージセンサ１３では、レンズアレイ１２におけるマイクロレンズの２次元座標に対応する画素領域に、被写体２の像が開口絞り１０の開口形状（例えば円形状）に相似形の像として結像するようになっている。

上記複数の画素のうち、ｍ×ｎの配列よりなる画素領域に、上記レンズアレイ１２における１つのレンズ部１２Ｌ（突条レンズ１２Ａ，１２Ｂの交差部）が割り当てられている。このｍ×ｎの値が大きくなるに従って、即ち１つのマイクロレンズに割り当てられる画素（以下、レンズ割り当て画素という）の数が多くなるに従って、例えば後述する視点画像における視点数が多くなる。一方、レンズ割り当て画素数が少なくなる（ｍ×ｎの値が小さくなる）に従って、各視点画像における画素数（解像度）が高くなる。このように、視点画像における視点数と解像度とはトレードオフの関係となっている。

このイメージセンサ１３の受光面上には、カラーフィルタが設けられている。図５（Ａ），（Ｂ）に、そのカラーフィルタにおける色配列の一例を模式的に示す。カラーフィルタとしては、例えば、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の各色のフィルタが例えば１：２：１の比率で配列（ベイヤー配列）してなるものが挙げられる。具体的には、図５（Ａ）に示したように、１×３の画素領域毎に、Ｒ，Ｇ，Ｂのいずれかを配置する（画素領域内は全て同一色）か、あるいは、図５（Ｂ）に示したように、同一色が隣り合わないように各色を配置してもよい。どちらの場合であっても、視点毎に画像合成した後には、ベイヤー配列となるが、図５（Ｂ）のように同一色の画素が隣り合わない配列とすれば、異なる視点方向からの光線同士のクロストークが抑制される。

画像処理部１４は、イメージセンサ１３で得られた撮像データＤ０に対して、所定の画像処理を施し、例えば視点画像としての画像データＤoutを出力するものである。この画像処理部１４の具体的な画像処理動作については後述する。

イメージセンサ駆動部１５は、イメージセンサ１３を駆動してその露光や読み出しの制御を行うものである。

制御部１６は、画像処理部１４およびイメージセンサ駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。

［作用、効果］
（撮像データの取得）
撮像装置１では、撮像レンズ１１およびイメージセンサ１３間の所定の位置にレンズアレイ１２が設けられていることにより、イメージセンサ１３において、被写体２からの光線は、その強度分布に加え進行方向（視点方向）についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ１２を通過する光線は、視点方向毎に分割され、イメージセンサ１３の異なる画素において受光される。例えば、図６に示したように、３画素分の幅を有する突条レンズ１２Ａの通過光線のうち、ある視点方向（第１視点）からの光線（光束）Ｌ１は画素「１」、それとは異なる視点方向（第２，３視点）からの光線Ｌ２，Ｌ３は、画素「２」「３」において、それぞれ受光される。尚、図６では、便宜上、画素に番号を付している。イメージセンサ１３では、イメージセンサ駆動部１５による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データＤ０が取得される。図７に、撮像データＤ０のデータ配列について模式的に示す。このように、３つの視点方向からの光線Ｌ１〜Ｌ３はそれぞれ、１×３の矩形状の画素領域（単位領域）Ｕにおける所定の位置にある画素で受光される。

他方、イメージセンサ１３の受光面側には、図５（Ａ），（Ｂ）に示したようなカラーフィルタが配置されているため、撮像データＤ０は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データＤ０は、画像処理部１４へ出力される。

（画像処理動作）
画像処理部１４は、撮像データＤ０に基づいて、例えば３つの視点画像を生成する。具体的には、撮像データＤ０における単位領域Ｕごとに、互いに同一の位置にある画素（ここでは、図７中の「１」，「２」，「３」の各位置にある画素）における画素データをそれぞれ抽出し、抽出した画素データ同士を合成する。即ち、「１」の位置にある画素データ同士の合成により第１視点の視点画像Ｄ１（図８（Ａ））を、「２」の位置の画素データ同士の合成により第２視点の視点画像Ｄ２（図８（Ｂ））を、「３」の位置の画素データ同士の合成により第３視点の視点画像Ｄ３（図８（Ｃ））をそれぞれ生成する。この後、これら３枚の各視点画像に対して、例えばデモザイク処理等のカラー補間処理を施すことにより、カラーの視点画像が画像データＤoutとして出力される。尚、画像処理部１４は、例えば欠陥検出部、クランプ処理部、欠陥補正処理部、カラー補間処理部、ノイズ低減処理部、輪郭強調処理部、ホワイトバランス調整処理部およびガンマ補正処理部等（いずれも図示せず）を備えていてもよい。

ここで、図９，１０に本実施の形態の比較例（比較例１，２）に係るレンズ形状について模式的に示す。比較例１では、図９（Ａ）〜（Ｃ）に示したように、例えば３×３の画素領域に対して１つのレンズ１０２が割り当てられている。尚、図９（Ａ）は、レンズ１０２のＸＹ平面形状、図９（Ｂ）は、縦方向におけるレンズ１０２およびイメージセンサ１０３の配置構成、図９（Ｃ）は、横方向におけるレンズ１０２およびイメージセンサ１０３の配置構成をそれぞれ表すものである。即ち、比較例１では、縦横の寸法が同一のレンズを用いて、視点方向毎の光線分割を行っている。このような構成によれば、縦方向に３視点、横方向に３視点を有する計３×３＝９つの視点画像を取得可能である。

ところが、一般に複数の視点画像を表示するディスプレイでは、縦方向と横方向とにおける視点数が異なることが多く、例えば縦方向では１視点、横方向に２視点以上の視点画像を表示することが多い。このため、比較例１では、取得した９つの視点画像のうちの選択的な視点画像（例えば１×３の視点画像）のみが使用されて、残りの視点画像（例えば６つ分の視点画像）については、使用されないことになる。ここで、上述のように、視点画像における視点数（この場合９つ）と、解像度についてはトレードオフの関係にあるから、視点数が増えるほど、解像度が低下してしまう。従って、不要な視点画像はできるだけ少ないことが望ましい。

そこで、図１０（Ａ）〜（Ｃ）に示したように、縦方向の視点数を減らすために、レンズ１０４としてシリンドリカルレンズを用いることも考えられる。図１０（Ａ）は、レンズ１０４のＸＹ平面形状、図１０（Ｂ）は、縦方向におけるレンズ１０４およびイメージセンサ１０３の配置構成、図１０（Ｃ）は、横方向におけるレンズ１０４およびイメージセンサ１０３の配置構成をそれぞれ表すものである。この場合、横方向については、上記比較例１と同様３つの視点方向に分割されるが、縦方向については、屈折しない（あるいは屈折作用が弱い）ために、受光面上においてデフォーカスしたような画像となってしまう。

これに対し、本実施の形態では、レンズアレイ１２が、その光入射面に突条レンズ１２Ａ、光出射面に突条レンズ１２Ｂを有し、これらのうち突条レンズ１２Ａが縦方向Ｙに延在すると共に横方向Ｘにおいては画素幅のｎ倍（ここでは３倍）の幅を有する（横方向Ｘにおいて、焦点距離ｆ１のレンズ機能を発揮する）。一方、突条レンズ１２Ｂが横方向Ｘに延在すると共に縦方向Ｙにおいては画素幅のｍ倍（ここでは１倍）の幅を有する（縦方向Ｙにおいて、焦点距離ｆ２のレンズ機能を発揮する）。また、上述の所定の条件式（１）を満足するようにレンズアレイ１２の位置および厚みが設定されている。これにより、レンズアレイ１２を通過する光線は、横方向Ｘでは、突条レンズ１２Ａの作用により、３視点に分割されてイメージセンサ１３の３つの画素においてそれぞれ受光される。一方、縦方向Ｙでは、突条レンズ１２Ｂの作用により、１視点方向からの光線として１画素で受光される。即ち、レンズアレイ１２における各レンズ部１２Ｌ（突条レンズ１２Ａ，１２Ｂの交差部）を通過した光線は、１×３の画素領域でそれぞれ受光される。そして、図７および図８に示したように、取得された撮像データＤ０に基づき、縦１視点、横３視点の視点画像を過不足なく生成することができる。

以上のように、本実施の形態では、撮像レンズ１１とイメージセンサ１３との間にレンズアレイ１２を配置したので、被写体２からの光線を、視点方向毎に分割しつつ受光することができる。ここで、レンズアレイ１２では、各レンズ部１２Ｌがｍ×ｎの画素領域に割り当てられている（突条レンズ１２Ａがｎ画素分、突条レンズ１２Ｂがｍ画素分の幅をそれぞれ有する）。これにより、レンズアレイ１２の通過光線は、イメージセンサ１３のｍ×ｎの画素領域において受光される。即ち、本実施の形態では、ディスプレイ等で必要とされる視点数が、例えば縦１視点、横３視点等、縦横で異なる場合であっても、過不足なく視点画像を取得することができ、不要な視点画像による解像度の低下を防ぐことができる。よって、解像度の低下を抑制しつつ所望の視点画像を取得可能となる。

また、イメージセンサ１３の受光面上に、図５（Ｂ）に示したような隣接画素間で互いに色が異なるように配列したカラーフィルタを設けることにより、次のような効果がある。即ち、図１１に示したように、設計波長光Ｓａにおいては所望の領域に集光するが、レンズは色収差を有するために、設計波長以外の光Ｓｂでは、十分に集光せず広がってしまうことがある。図５（Ｂ）に示したような色配列とすることにより、このような設計波長外の光Ｓｂが生じた場合であっても、隣接画素への光線漏れを抑制（異なる視点画像間での色のクロストークを抑制）することができる。

以下、上記実施の形態の変形例（変形例１〜３）について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例１＞
図１２は、変形例１に係るレンズアレイ（レンズアレイ１７）の概略構成を表す模式図である。レンズアレイ１７は、上記実施の形態におけるレンズアレイ１２と異なり、光入射面（または光出射面）側にのみ、複数のレンズ部としてのトロイダルレンズ１２Ｌ１が設けられている。各トロイダルレンズ１２Ｌ１は、横方向に画素幅ｐのｎ倍（ここでは３倍）、縦方向Ｙに画素幅ｐのｍ倍（ここでは１倍）の寸法を有している。また、横方向Ｘにおいては焦点距離ｆ１、縦方向Ｙでは焦点距離ｆ２の互いに異なる屈折力を発揮するようになっている。レンズアレイ１７は、このようなトロイダルレンズ１２Ｌ１をアレイ状に配列させたものである。

このように、レンズアレイ１７としては、屈折力分布を有するトロイダルレンズを用いてもよく、その場合であっても、上記実施の形態と同等の効果を得ることができる。

＜変形例２＞
図１３は、変形例２に係るレンズアレイ１２とイメージセンサ１３との配置関係について表すものである。図１４（Ａ）は、図１３におけるＡの方向からみたレンズアレイ１２およびイメージセンサ１３の側面図、図１４（Ｂ）は、図１３におけるＢの方向からみたレンズアレイ１２およびイメージセンサ１３の側面図である。尚、図１４（Ａ）では突条レンズ１２Ｂ、図１４（Ｂ）では突条レンズ１２Ａの図示をそれぞれ省略している。本変形例では、イメージセンサ１３の受光面側にレンズアレイ１２が一体的に形成されている。具体的には、本変形例では、レンズアレイ１２が、樹脂層１８を介してイメージセンサ１３上に積層されている。このような積層構造は、例えば次のようにして作製することができる。即ち、まず、イメージセンサ１３上に樹脂層１８を成膜した後、突条レンズ１２Ｂを上述の手法を用いて形成する。一方、ガラス等の基板上に突条レンズ１２Ａを上述の手法により形成する。そして、この突条レンズ１２Ａが形成されたガラス基板を、突条レンズ１２Ｂ上にアライメントして貼り合わせることにより上記積層構造を作製する。あるいは、次のようにして作製することもできる。即ち、イメージセンサ１３の受光側には、一般に画素毎にオンチップレンズが形成されるため、このオンチップレンズの製造プロセスを応用して、イメージセンサ１３上に直接、突条レンズ１２Ａ，１２Ｂを形成するようにしてもよい。

このように、レンズアレイ１２とイメージセンサ１３とは一体的に設けられていてもよく、この場合であっても上記実施の形態と同等の効果を得ることができる。但し、本変形例では、両者が一体化されているため、経時劣化等による位置ずれが起こりにくく、上記実施の形態よりもレンズアレイ１２のイメージセンサ１３に対する位置精度を高めることができる。尚、上記変形例１のようなトロイダルレンズを複数配列させてなるレンズアレイ１７についても、本変形例２を適用することができる。即ち、レンズアレイ１７をイメージセンサ１３の受光面上に一体的に設けるようにしてもよい。

＜変形例３＞
図１５（Ａ），（Ｂ）は、変形例３に係るカラーフィルタにおける色配列の一例を模式的に表すものである。上記実施の形態では、１×３の画素領域に対応するカラーフィルタの例を挙げたが、ここでは、１×２の画素領域に対応するカラーフィルタの一例を挙げる。即ち、縦１視点、横２視点の視点画像を取得する場合のベイヤー配列は、例えば図１５（Ｂ）に示したような、１×２の画素領域毎に、Ｒ，Ｇ，Ｂのいずれかを配置する（画素領域内は全て同一色）か、あるいは、図１５（Ａ）に示したように、同一色が隣り合わないように各色を配置してもよい。どちらの場合であっても、視点毎に画像合成した後には、ベイヤー配列となるが、図１５（Ａ）のように同一色の画素が隣り合わない配列とすれば、異なる視点方向からの光線同士のクロストークを抑制することができる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素（画素領域）ｍ×ｎ＝１×３（または１×２）である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばｍが１でｎが４以上であってもよいし、ｍが２でｎが３以上であってもよい。また、このように縦方向よりも横方向において視点数が多い場合に限らず、横方向よりも縦方向において視点数が多くなるように設定してもよい。

また、上記実施の形態等では、撮像装置が視点画像を生成する画像処理部を備えている場合について説明したが、この画像処理部については必ずしも内部に備えている必要はない。加えて、視点画像生成処理についても上述のものに限定されず、他の画像処理手法により視点画像を生成してもよい。

１…撮像装置、１１…撮像レンズ、１２，１７…レンズアレイ、１２Ａ，１２Ｂ…突条レンズ、１２Ｌ…レンズ部、１２Ｌ１…トロイダルレンズ、１３…イメージセンサ、１４…画像処理部、１５…イメージセンサ駆動部、１６…制御部、１８…樹脂層、２…撮像対象物、Ｄ０…撮像データ、Ｄ１，Ｄ２，Ｄ３…視点画像データ、Ｄout…画像データ。

Claims (6)

1. 撮像レンズと、
   前記撮像レンズの結像面に配置されたレンズアレイと、
   互いに異なる第１および第２の方向に沿って２次元配置された複数の画素を有する撮像素子とを備え、
   前記レンズアレイは、それぞれが前記撮像素子におけるｍ×ｎ（ｍ，ｎは互いに異なる１以上の整数）の画素領域に割り当てられて設けられたレンズ部を複数含み、
   光入射側の面において前記第１の方向に沿って延在すると共に、前記第２の方向に沿って画素幅のｎ倍の幅を有する複数の第１の突条レンズと、
   光出射側の面において前記第２の方向に沿って延在すると共に、前記第１の方向に沿って画素幅のｍ倍の幅を有する複数の第２の突条レンズとを有し、
   前記複数のレンズ部はそれぞれ、前記第１および第２の突条レンズの交差部に対応する領域に形成されている
   撮像装置。
2. 前記レンズアレイにおいて、前記第１および第２の突条レンズの各焦点面が、前記撮像素子の受光面上に一致するように配置されている
   請求項１に記載の撮像装置。
3. 前記第１の突条レンズの焦点距離をｆ１、前記第２の突条レンズの焦点距離をｆ２としたとき、前記レンズアレイの厚みおよび位置は、以下の式（１）を満足するように設定されている
   請求項２に記載の撮像装置。
   ｆ１＝（ｎ／ｍ）×ｆ２ ………（１）
4. 前記複数のレンズ部はそれぞれトロイダルレンズである
   請求項１に記載の撮像装置。
5. 前記レンズアレイは、前記撮像素子と一体的に設けられている
   請求項１ないし請求項４のいずれか１項に記載の撮像装置。
6. 前記撮像素子の受光面に、複数の画素のうち隣り合う画素同士の間で互いに異なる色が配列してなるカラーフィルタが配置されている
   請求項１ないし請求項４のいずれか１項に記載の撮像装置。

Images