JP6189061B2 - 固体撮像装置 - Google Patents

Description

本発明の実施形態は、マイクロレンズアレイユニットおよび固体撮像装置に関する。

２次元アレイ情報として被写体までの奥行き方向の距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が知られている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な、距離情報を得ることのできる撮像デバイスのニーズが高まっている。

システムのコストを抑えるため参照光を用いない距離撮像方式として、視差を利用した三角測量方式がある。この方式を用いたデバイスとして、ステレオカメラや複眼カメラが知られている。これらの場合、カメラを複数用いることとなり、システムの巨大化や部品点数増大による故障率上昇といった問題が存在する。

距離情報を得ることのできる撮像デバイスとして、マイクロレンズアレイを画素の上方に配置し、各マイクロレンズ下部には複数の画素を配置する構造が知られている。この構造により、画素ブロック単位で視差をもった画像群を取得することが可能であり、この視差により被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。

焦点距離の等しいマイクロレンズ１種類のみで構成されたマイクロレンズアレイの場合、被写体との距離によって再構成画像の倍率は決まる。このため、同じ被写体との距離で他の倍率による画像を得ることはできない。再構成倍率を可変とする場合はVoice Coil Motorまたはアクチュエータを装備する必要がある。

T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, "Reducing Plenoptic Camera Artifacts"

本実施形態は、高解像度な画像と、リフォーカス効果も得られる画像とを得ることのできるマイクロレンズアレイユニットおよび固体撮像装置を提供する。

本実施形態によるマイクロレンズアレイユニットは、基板と、前記基板に設けられ、第１焦点距離を有する凸形状の複数の第１マイクロレンズを含む第１マイクロレンズ群と、前記基板に設けられ、前記第１焦点距離と異なる第２焦点距離を有する凸形状の複数の第２マイクロレンズを含む第２マイクロレンズ群と、を備え、前記第１のマイクロレンズ群の第１結像面および第２マイクロレンズ群の第２結像面とは平行であり、前記第１結像面に垂直な方向における前記第１結像面と前記第２結像面の距離が前記第１焦点距離の２０％以下であり、前記複数の第１マイクロレンズおよび前記複数の第２マイクロレンズは、それぞれを前記基板に射影した像が重ならないように配置されている。

第１実施形態による固体撮像装置を示す図。 第１実施形態の固体撮像装置の光学系の一例を示す図。 第１実施形態の固体撮像装置の光学系の他の例を示す図。 第１具体例のマイクロレンズアレイを示す図。 第２具体例のマイクロレンズアレイを示す図。 第３具体例のマイクロレンズアレイを示す図。 第４具体例のマイクロレンズアレイを示す図。 第５具体例のマイクロレンズアレイを示す図。 第６具体例のマイクロレンズアレイを示す図。 第１具体例のマイクロレンズアレイを用いた光学系を示す図。 第３具体例のマイクロレンズアレイを用いた光学系を示す図。 正方配列のマイクロレンズアレイを用いた場合の撮像素子で得られるマイクロレンズ像を示す図。 六方配列のマイクロレンズアレイを用いた場合の撮像素子で得られるマイクロレンズ像を示す図。 図１４（ａ）乃至１４（ｃ）は、マイクロレンズアレイの製造方法を説明する断面図。 被写体までの距離と再構成倍率との関係を示す図。 図１６（ａ）、１６（ｂ）はそれぞれ、パンフォーカス画像およびリフォーカス画像を得る方法を説明する図。 パンフォーカス画像およびリフォーカス画像を得るための画像再構成処理の手順を示すフローチャート。 偏光板と組み合わせた場合の光学系を説明する図。 偏光板と組み合わせた場合の光学系を説明する図。 偏光板の一例を示す図。 偏光板アレイによってセンサで得られる二次元画像を示す図。 ０°偏光軸のマイクロレンズ像を用いた画像再構成の例を示す図。 画像の撮影から偏光情報取得および距離情報計算までの手順を示すフローチャート。 偏光画像マッチング処理を説明する図。 偏光軸角度と光強度からフィッティングにより偏光主軸を得る方法を説明する図。 図２６（ａ）、２６（ｂ）は、多数のマイクロレンズに偏光主軸を計測したい被写体が写るマイクロレンズ画像を得るための説明図。 偏光軸角度と光強度からフィッティングにより偏光主軸を得る方法を説明する図。 図２８（ａ）、２８（ｂ）は、偏光軸０°の像同士の画像マッチングを説明する図。 第２実施形態による携帯情報端末を示す図。

以下、図面を参照して実施形態を説明する。

本発明の実施形態を説明する前に、本発明に至った経緯について説明する。マイクロレンズアレイが画素の上方に配置され、各マイクロレンズ下部に複数の画素が配置された距離情報を得ることのできる、リフォーカスの効果が得られる光学構成を有する撮像デバイスがある。この撮像デバイスにおいては、被写体までの距離によって得られる再構成画像の解像度が急激に変化する。そのため、複数の距離の異なる被写体が存在する状況において、焦点を合わせる被写体までの距離によっては解像度の低い再構成画像となってしまう場合がある。逆に、全ての被写体において解像度の高い再構成画像が得られる光学構成を有する撮像デバイスにおいては、リフォーカスの効果が得られにくいという特性がある。したがって、両者の上記短所を解決し、高解像度な画像に加えてリフォーカス効果も得られる画像を同時に取得できれば、カメラを用いた応用分野の拡大や、カメラ使用者の利便性向上等につながると、本発明者達は考えた。以下の実施形態においては、高解像度な画像と、リフォーカス効果も得られる画像とを得ることのできるマイクロレンズアレイ、固体撮像素子、およびそれを用いた撮像装置を提供する。

（第１実施形態）
図１に、第１実施形態による固体撮像装置（カメラモジュール）１を示す。第１実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。

撮像モジュール部１０は、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８とを有する。結像光学系１２は、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。マイクロレンズアレイ１４は、複数のマイクロレンズを有する。

結像光学系１２によって結像面に結像する光線群を、マイクロレンズアレイ１４のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。あるいは、駆動回路部と、画素信号処理回路部を合わせて駆動処理回路としてもよい。以降の実施形態においては、撮像回路１８は駆動処理回路を有することとする。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路などを有している。

ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。

（光学系の詳細）
次に、第１実施形態の固体撮像装置の光学系を図２に示す。ここでは結像光学系１２は１つの結像レンズからなることとする。被写体１００からの光線８０が結像レンズ（結像光学系）１２に入射され、結像レンズ１２によって結像面７０に結像される。この結像面７０に結像された像は、マイクロレンズアレイ１４に入射され、マイクロレンズアレイ１４を構成するマイクロレンズ１４ａによって撮像素子１６上に縮小結像される。図２において、また、Ａは結像レンズ１２と被写体１００との間の距離、Ｂは結像レンズ１２による結像距離、Ｃは結像レンズ１２の結像面７０とマイクロレンズアレイ１４との間の距離、Ｄはマイクロレンズアレイ１４と撮像素子１６との間の距離である。以下の説明では、ｆは結像レンズ１２の焦点距離、ｇ、ｇ’はマイクロレンズ１４ａの焦点距離を表す。

本明細書では、説明のため、結像レンズ１２の中心を通り光軸に垂直な面に対して被写体１００側を前方、撮像素子１６側を後方と定義する。光学系内でマイクロレンズアレイ１４は結像レンズ１２の光線を各視点の像に分離し、撮像素子１６上に結像させる役割をもつ。

なお、本実施形態の固体撮像装置においては、図２に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より結像レンズ１２に対して後方に設置されている。しかし、本実施形態では図２に示す光学系に限定されるものではなく、例えば図３に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より前方に設置されていてもよい。

（マイクロレンズアレイの詳細）
第１実施形態による固体撮像装置に係るマイクロレンズアレイ（マイクロレンズアレイユニット）１４について図４乃至図６を参照して説明する。

（第１具体例）
マイクロレンズアレイ１４の第１具体例を図４に示す。この第１具体例のマイクロレンズアレイ１４は、基板１４ｂと、この透明な基板１４ｂの対向する面にそれぞれ設けられた異なる焦点距離を有する２種類の凸状のマイクロレンズ群１４ａ_１、１４ａ_２と、を有している。すなわち、マイクロレンズ群１４ａ_１は基板１４ｂの対向する一対の面のうちの一方の面（第１面）に設けられ、マイクロレンズ群１４ａ_２は基板１４ｂの対向する一対の面のうちの他方の面（第２面）に設けられる。マイクロレンズ群１４ａ_１はマイクロレンズ群１４ａ_２よりも焦点距離が長い。マイクロレンズ群１４ａ_１の焦点距離を第１焦点距離とする。マイクロレンズ群１４ａ_２の焦点距離を第２焦点距離とする。しかし、これらのマイクロレンズ群１４ａ_１、１４ａ_２は、同じ結像面９０に結像する構成をマイクロレンズアレイ１４は有している。すなわち、マイクロレンズ群１４ａ_１、１４ａ_２にそれぞれ入射した光線８０は、同じ結像面９０に結像する。言い換えると、第１のマイクロレンズ群１４ａ_１の結像面（第１結像面）および第２マイクロレンズ群１４ａ_２の結像面（第２結像面）とは同じである。あるいは、第１結像面および第２結像面は平行であり、第１結像面に垂直な方向における第１結像面と第２結像面の距離は第１焦点距離の２０％以下であり、好ましくは１０％以下である。第１結像面と第２結像面を同じにしようとしても製造誤差等によりこれらにずれが生じてしまうことがあるが、例えば２０％以下の誤差であれば固体撮像素子としての機能を得ることができる。

そして、マイクロレンズ群１４ａ_１を基板１４ｂの第１面に平行な面に射影した像と、マイクロレンズ群１４ａ_２を基板１４ｂの第１面に平行な面に射影した像が重ならないように、マイクロレンズ群１４ａ_１、１４ａ_２が基板１４ｂに配置される。このときのマイクロレンズ群１４ａ_１、１４ａ_２は、射影した像が例えば正方配列または六方配列となるように配置される。また、結像面９０は、撮像素子の上面に位置する。すなわち、撮像素子１６と基板１４ｂの第２面とが対向する。

なお、凸状とは基板１４ｂのマイクロレンズ群が設けられた面に対して凸であることをいい、凹状とは基板１４ｂのマイクロレンズ群が設けられた面に対して凹であることをいう。

マイクロレンズアレイ１４は、例えば光透過性であり、例えば透明である。基板１４ｂは、例えばガラスや樹脂等により形成される。マイクロレンズ群１４ａ_１、１４ａ_２は、例えば樹脂等により形成される。

以下に示す具体例においても、第１具体例と同様に、第１結像面および第２結像面は平行であり、第１結像面に垂直な方向における第１結像面と第２結像面の距離は第１焦点距離の２０％以下であり、好ましくは１０％以下である。また、複数の第１マイクロレンズ１４ａ_１および複数の第２マイクロレンズ１４ａ_２は、それぞれを基板１４ｂに射影した像が重ならないように配置されている。

（第２具体例）
マイクロレンズアレイ１４の第２具体例を図５に示す。この第２具体例のマイクロレンズアレイ１４は、この透明な基板１４ｂの一方の面に、異なる焦点距離を有する２種類の凸状のマイクロレンズ群１４ａ_１、１４ａ_２が交互に配置されるように設けられている。基板１４ｂの他方の面の、短焦点距離を有するマイクロレンズ群１４ａ_２に対向する位置に凹状のマイクロレンズ群１４ａ_３が更に設けられている。マイクロレンズ群１４ａ_２の凸状の各マイクロレンズと、マイクロレンズ群１４ａ_３の凹状のマイクロレンズとが組みになって、１つの短焦点距離のマイクロレンズを構成する。凸レンズと凹レンズの組み合わせによる光学系はレンズの主点に仮想レンズを置いた光学系と置き換える事が出来る。この場合、仮想レンズの位置は必ずしもマイクロレンズ基板上である必要は無く、マイクロレンズ基板外の位置に仮想レンズを配置することが出来るため、マイクロレンズの焦点距離などの設計自由度を上げる事が出来る。被写体側に凹レンズ、撮像素子側に凸レンズがある場合は主点をマイクロレンズ基板よりも撮像素子側へ配置することが出来る。対して被写体側に凸レンズ、撮像素子側に凹レンズを配置した場合は主点を被写体側へ配置することが可能である。

この第２具体例のマイクロレンズアレイ１４においても、長焦点距離のマイクロレンズ群１４ａ_１と、短焦点距離のマイクロレンズ群１４ａ_２，１４ａ_３とは、第１具体例と同様に、同一の結像面（図示せず）を有する。

（第３具体例）
マイクロレンズアレイ１４の第３具体例を図６に示す。この第３具体例のマイクロレンズアレイ１４は、並列に配置された複数の透明な基板１４ｂ_１、１４ｂ_２を有している。これらの基板１４ｂ_１、１４ｂ_２の、図示しない撮像素子が配置される側のそれぞれの面上に、凸状のマイクロレンズ群１４ａ_１、１４ａ_２が設けられる。すなわち、撮像素子から遠い位置に配置される基板１４ｂ_１には長焦点距離を有するマイクロレンズ群１４ａ_１が設けられ、撮像素子から近い位置に配置される基板１４ｂ_２には短焦点距離を有するマイクロレンズ群１４ａ_２が設けられる。マイクロレンズ群１４ａ_１の各マイクロレンズは互いに離間して基板１４ｂ_１上に配置され、マイクロレンズ群１４ａ_２の各マイクロレンズは互いに離間して基板１４ｂ_２上に配置される。マイクロレンズ群１４ａ_２を基板１４ｂ_１に射影したときに、マイクロレンズ群１４ａ_２の射影像と、マイクロレンズ群１４ａ_１とが重ならないように、基板１４ｂ_１、１４ｂ_２およびマイクロレンズ群１４ａ_１、１４ａ_２が配置される。基板１４ｂ_１とマイクロレンズ群１４ａ_１とが第１サブマイクロレンズアレイを構成し、基板１４ｂ_２とマイクロレンズ群１４ａ_２とが第２サブマイクロレンズアレイを構成する。

この第３具体例のマイクロレンズアレイ１４においても、長焦点距離のマイクロレンズ群１４ａ_１と、短焦点距離のマイクロレンズ群１４ａ_２とは、第１具体例と同様に、同一の結像面（図示せず）を有する。

（第４具体例）
マイクロレンズアレイ１４の第４具体例を図７に示す。この第４具体例のマイクロレンズアレイ１４は、並列に配置された複数の透明な基板１４ｂ_１、１４ｂ_２を有している。基板１４ｂ_１には、図示しない撮像素子が配置される側の面上に、凸状のマイクロレンズ群１４ａ_１が設けられ、基板１４ｂ_２には、上記撮像素子が配置される側の面上に、凸状のマイクロレンズ群１４ａ_２が設けられる。マイクロレンズ群１４ａ_１の各マイクロレンズは互いに離間して基板１４ｂ_１上に配置され、マイクロレンズ群１４ａ_２の各マイクロレンズは互いに離間して基板１４ｂ_２上に配置される。更に、この基板１４ｂ_２には、マイクロレンズ群１４ａ_２が設けられた面とは反対側の面の、マイクロレンズ群１４ａ_２に対向する位置に凹状のマイクロレンズ群１４ａ_３が設けられる。マイクロレンズ群１４ａ_２の凸状の各マイクロレンズと、この凸状のマイクロレンズに対応する、マイクロレンズ群１４ａ_３の対応する凹状のマイクロレンズとが組みになって、１つの短焦点距離のマイクロレンズを構成する。更に、この基板１４ｂ_２には、マイクロレンズ群１４ａ_２の各マイクロレンズと、交互に配置された複数のマイクロレンズからなるマイクロレンズ群１４ａ_４が設けられている。マイクロレンズ群１４ａ_４のマイクロレンズは、マイクロレンズ群１４ａ_１のマイクロレンズに対応する位置に設けられ、対応するマイクロレンズ同士は、光軸を共有する。マイクロレンズ群１４ａ_１の凸状の各マイクロレンズと、マイクロレンズ群１４ａ_３の対応する凸状のマイクロレンズとが組みになって、１つの長焦点距離のマイクロレンズを構成する。また、基板１４ｂ_１とマイクロレンズ群１４ａ_１とが第１サブマイクロレンズアレイを構成し、基板１４ｂ_２とマイクロレンズ群１４ａ_２、１４ａ_３、１４ａ_４とが第２サブマイクロレンズアレイを構成する。

この第４具体例のマイクロレンズアレイ１４においても、長焦点距離のマイクロレンズ群１４ａ_１、１４ａ_４と、短焦点距離のマイクロレンズ群１４ａ_２、１４ａ_３とは、第１具体例と同様に、同一の結像面（図示せず）を有する。

（第５具体例）
マイクロレンズアレイ１４の第５具体例を図８に示す。この第５具体例のマイクロレンズアレイは、図７に示す第４具体例のマイクロレンズアレイにおいて、基板１４ｂ_１とマイクロレンズ群１４ａ_１とから構成される第１サブマイクロレンズアレイと、基板１４ｂ_２とマイクロレンズ群１４ａ_２、１４ａ_３、１４ａ_４とから構成される第２サブマイクロレンズアレイとの配置を逆にした配置を有している。すなわち、第１サブマイクロレンズアレイが図示しない撮像素子に近い側に配置され、第２サブマイクロレンズアレイが上記撮像素子から遠い位置に配置される。この第５具体例においては、マイクロレンズ群１４ａ_１、１４ａ_４が長焦点距離のマイクロレンズ群となり、マイクロレンズ群１４ａ_２、１４ａ_３が短焦点距離のマイクロレンズ群となる。

この第５具体例のマイクロレンズアレイ１４においても、短焦点距離のマイクロレンズ群１４ａ_１、１４ａ_４と、長焦点距離のマイクロレンズ群１４ａ_２、１４ａ_３とは、第１具体例と同様に、同一の結像面（図示せず）を有する。

（第６具体例）
マイクロレンズアレイの第６具体例を図９に示す。この第６具体例のマイクロレンズアレイ１４は、図７に示す第４具体例の第２サブマイクロレンズアレイと同じ構成の第１および第２サブマイクロレンズアレイを有している。第１サブマイクロレンズアレイが図示しない撮像素子から遠い位置に配置され、第２サブマイクロレンズアレイが上記撮像素子から近い位置に配置される。この第６具体例においては、第１サブマイクロレンズアレイのマイクロレンズ群１４ａ_４および第２サブマイクロレンズアレイのマイクロレンズ群１４ａ_４が、短焦点距離および長焦点距離うちの一方のマイクロレンズ群となり、第１サブマイクロレンズアレイのマイクロレンズ群１４ａ_２、１４ａ_３および第２サブマイクロレンズアレイのマイクロレンズ群１４ａ_２、１４ａ_３が短焦点距離および長焦点距離うちの他方のマイクロレンズ群となる。

この第６具体例のマイクロレンズアレイ１４においても、第１サブマイクロレンズアレイのマイクロレンズ群１４ａ_４および第２サブマイクロレンズアレイのマイクロレンズ群１４ａ_４と、第１サブマイクロレンズアレイのマイクロレンズ群１４ａ_２、１４ａ_３および第２サブマイクロレンズアレイのマイクロレンズ群１４ａ_２、１４ａ_３とは、第１具体例と同様に、同一の結像面（図示せず）を有する。

なお、第１乃至第６具体例においては、像同士のオーバーラップを防止するため、全マイクロレンズの実効Ｆナンバーは統一されている。

次に、マイクロレンズアレイ１４における短焦点距離レンズと長焦点距離レンズの配置関係を、図１０乃至図１１を参照してより詳細に説明する。図１０は、図４に示す第１具体例のマイクロレンズアレイ１４を用いた光学系を示す図である。図１０において、符号８５は結像レンズから出射される光線を表す。短焦点距離マイクロレンズ１４ａ_２の焦点距離をｇ、長焦点距離マイクロレンズ１４ａ_１の焦点距離をｇ’、マイクロレンズアレイ１４の基板１４ｂの厚みをｄ、屈折率をｎとおき、短焦点距離マイクロレンズ１４ａ_２と、図示しない結像レンズの結像面７０との間の距離をＣ、短焦点距離マイクロレンズ１４ａ_２と撮像素子１６との間の距離をＤとおく。このとき、短焦点距離マイクロレンズ１４ａ_２および長焦点距離マイクロレンズ１４ａ_１の結像面が撮像素子１６の近傍に位置するためには次の式（１）および式（２）満たす必要がある。

また、マイクロレンズアレイ１４が複数のサブマイクロレンズアレイから構成されている場合について図１１を参照して説明する。図１１は、図６に示す第３具体例のマイクロレンズアレイ１４を用いた光学系を示す図である。図１１において、符号８５は結像レンズから出射される光線を表す。第１および第２サブマイクロレンズアレイ間の距離をＤ’とおくと、この第３具体例のマイクロレンズアレイにおいては、第１具体例のマイクロレンズアレイの式（２）は、次の式（２’）に置き換えたものとなる。

次に、図１２を参照して、撮像素子１６にて得られるマイクロレンズ像について説明する。なお、ここでは正方配列のマイクロレンズアレイを例に取って説明する。マイクロレンズアレイ１４を被写体のある前方側から見た場合、短焦点距離マイクロレンズと長焦点距離マイクロレンズは空間的にオーバーラップしないよう配置されている。そのため図１２に示すように、短焦点距離レンズ像６２と長焦点距離マイクロレンズ像６４はオーバーラップせずに像が並んでいる。このことは、例えば六方配列のマイクロレンズアレイであっても同様にである。すなわち、図１３に示すように、短焦点距離レンズ像６２と長焦点距離マイクロレンズ像６４はオーバーラップせずに像が並んでいる。

次に、本実施形態で用いられるマイクロレンズアレイ１４の製造方法について、図１４（ａ）乃至１４（ｃ）を参照して説明する。マイクロレンズアレイ１４の製造方法は各種存在するが、今回は型押しによるマイクロレンズアレイの製造方法を例にとって説明する。この製造方法によって製造されるマイクロレンズアレイ１４は、図４に示す第１具体例のマイクロレンズアレイである。

まず、例えばガラスからなる透明な基板１４ｂを用意するとともに、マイクロレンズ群を形成するための型５２_１、５２_２を用意する。これらの型５２_１、５２_２には、それぞれ凸形状のマイクロレンズ群１４ａ_１、１４ａ_２に対応する凹形状が表面に形成されている（図１４（ａ））。

次に、基板１４ｂの両面に樹脂１４ａを塗布し、その後、型５２_１，５２_２を上記樹脂１４ａに押し当てる。これにより、樹脂１４ａはマイクロレンズ群１４ａ_１，１４ａ_２の形状に形成される（図１４（ｂ））。

続いて、型５２_１，５２_２を上記樹脂１４ａから離すことにより、マイクロレンズアレイ１４を形成する（図１４（ｃ））。

このような製造方法においては、型５２_１、５２_２の位置合わせを予め行っておくことで、位置合わせ精度の高いマイクロレンズアレイ１４を形成することができ、かつマイクロレンズアレイの形成工程を短縮できるといった利点がある。

（再構成倍率の異なる２つの画像を得る方法）
次に、再構成倍率の異なる２つの画像を得る方法について説明する。図２に示す光学系を例にとって説明する。この光学系においては、次の式（３）が成立する。

ここで、Ａは被写体１００から結像光学系（結像レンズ）１２までの距離、Ｂは結像レンズ１２から結像面７０までの距離、ｆは結像レンズ１２の焦点距離である。結像レンズ１２と被写体１００との間の距離Ａが変化した場合、式（３）より、結像レンズ１２から結像面７０までの距離Ｂの値が変化する。この実施形態では、結像レンズ１２とマイクロレンズアレイ１４との間の距離Ｅは一定であると、仮定する。光学系の位置関係からＥ＝Ｂ＋Ｃである。Ｅは一定値であるため、Ｂの変化に伴ってＣの値も変化する。マイクロレンズについて式（４）のレンズの式を用いると、Ｃの変化に伴ってさらにＤの値も変化することが分かる。

この結果、各マイクロレンズを通って結像する像は結像レンズ１２の仮想イメージである結像面７０をＮ（Ｎ＝Ｄ／Ｃ）倍に縮小した画像が得られ、Ｎは次に式（５）で表される。

式（５）より、マイクロレンズ像の縮小率は被写体１００までの距離Ａに依存することが分かる。したがって、元の二次元画像を再構成するためにはマイクロレンズ像を１／Ｎ倍に拡大し、重ね合わせて合成を行うことで距離Ａに焦点が合った再構成画像を得ることができる。なお、重ねあわせ時には、距離Ａに位置する以外の部分については像がずれながら重なることになり、ぼけの様な効果を得ることができる。

このように撮影したマイクロレンズ像から任意の位置に焦点を合わせる操作をリフォーカスと呼ぶ。被写体までの距離Ａにより再構成倍率が大きく変動する場合、距離の異なる被写体の間でぼけが強く発生する画像（リフォーカス画像）となる。逆に、被写体までの距離Ａに対して再構成倍率の変動が小さい場合は、距離の違いによるぼけ感の小さい画像（パンフォーカス画像）となる。

式（５）を変形すると、次の式（６）が得られる。式（６）から明らかなように、再構成倍率１／Ｎはマイクロレンズの焦点距離ｇに対して反比例の関係にあることがわかる。

したがって、被写体までの距離Ａと再構成倍率１／Ｎとの関係はマイクロレンズの焦点距離ｇ、ｇ’の値によって、図１５に示すような異なる特性を示す。このことからマイクロレンズの焦点距離ｇの値を調節することによってリフォーカス画像と、パンフォーカス画像のどちらが取得可能な光学系となるかを選択することができる。

（パンフォーカス画像およびリフォーカス画像を得る方法）
次に、パンフォーカス画像およびリフォーカス画像を得る方法について説明する。

まず、パンフォーカス画像を得る方法について説明する。ここでは、光学系においてマイクロレンズアレイ１４が長焦点距離マイクロレンズと短焦点距離マイクロレンズの２種類で構成されていると仮定する。この場合、図１５に示すｇ’のグラフ、すなわち長焦点距離レンズの画像であれば、マイクロレンズ像を再構成した場合にピントが合う範囲が広く、パンフォーカス画像となる。

これに対して、短焦点距離レンズの画像の場合、被写体までの距離Ａに対する再構成倍率１／Ｎの変動が大きいためリフォーカス画像となる。したがって、パンフォーカス画像の場合は図１６（ａ）に示すように長焦点距離マイクロレンズ像６４同士を重ね合わせることにより得られる。これに対してリフォーカス画像の場合は図１６（ｂ）に示すように短焦点距離マイクロレンズ像６２同士を重ね合わせることによって得られる。このとき、リフォーカス画像の生成においては再構成倍率を変えることによってピント位置を任意に指定することができる。

パンフォーカス画像およびリフォーカス画像を得るための画像再構成処理の手順を図１７に示す。この再構成処理は、図示しない画像再構成部によって行われる。まず、図示しない画像再構成部の選択部によって、再構成モードの選択を行う。すなわちパンフォーカスモードおよびリフォーカスモードのいずかのモードを選択する（ステップＳ１）。リフォーカスモードを選択する場合はステップＳ２に進み、短焦点距離マイクロレンズを選択する。パンフォーカスモードを選択した場合はステップＳ３に進み、長焦点距離マイクロレンズを選択する。

次に、公知の方法、例えば特開２０１２−１８６７６４号公報に記載された方法を用いて、マイクロレンズ内の輝度補正を行う（ステップＳ４）。その後、マイクロレンズの画像の抜き出しを行う（ステップＳ５）。抜き出し処理ではマイクロレンズ像の中心座標を中心として円領域などのRegion Of Interest(ROI)を設定し、領域内の画素値データをメモリ等に格納する。抜き出し処理で用いるマイクロレンズ像の中心座標についてはあらかじめメモリ内に格納しておく。マイクロレンズ像の中心座標データは白色の板状光源などを被写体としたキャリブレーション用の画像を撮影し、２値化処理及び輪郭フィッティングなどを用いる事で取得可能である。

続いて、公知の方法、例えば特開２０１２−１８６７６４号公報に記載された方法を用いて、マイクロレンズ中心位置の並び替えおよびマイクロレンズの画素位置の補正を行う（ステップＳ６、Ｓ７）。

その後、マイクロレンズ像の拡大を行う（ステップＳ８）。マイクロレンズ像の拡大処理ではメモリに格納したROI画素値データに対して、バイリニア法、バイキュービック法などの補間法を用いて拡大画像を生成する。続いて、公知の方法、例えば特開２０１２−１８６７６４号公報に記載された方法を用いて、画素の再配置を行う。このとき、再配置された画素について、マイクロレンズの重なり領域があるか否かの判定を行う（ステップＳ９）。重なり領域が無い場合は処理を終了する。重なり領域が有る場合はステップＳ１０に進み、画像の合成処理を行い、処理を終了する。

（被写体までの距離を得る方法）
次に、被写体までの距離を得る方法について説明する。

式（５）の導出部にて述べたように、図２に示す光学系において、被写体１００までの距離Ａの値が変化するとそれに伴って、Ｂ、Ｃ、Ｄの値も変化し、マイクロレンズ像の縮小倍率Ｎも変わることになる。式（５）をＡについて整理すると、

が得られる。したがって、マイクロレンズによる像の縮小倍率Ｎを画像マッチング等により算出し、かつＤ、Ｅ、ｆの値が既知であれば、式（７）からＡの値を逆算することが可能である。

図３に示される光学系の場合は、Ｅ＋Ｃ＝Ｂであり、さらにマイクロレンズに関するレンズの式は、次の式（８）で表される。

したがって、この場合は、ＡとＮの関係は（９）式で表すことができる。

縮小倍率Ｎは、光線の幾何的関係からマイクロレンズ間の像ずれ量をΔ’、マイクロレンズ間の中心間距離をＬとおくと、

と表すことができる。したがって縮小倍率Ｎを求めるにはSum of Squared DifferenceやSum of Absolute Differenceなどの評価値を用いて画像マッチングによるマイクロレンズ間の像のずれ量を求めればよい。この方法では焦点距離が同じマイクロレンズ像同士では一般的な画像マッチング方法を用いて像のずれ量を求めることが可能である。また、異なる焦点距離のマイクロレンズ像同士についても、公知の方法により、像の縮小率を補正してマイクロレンズ像の拡大処理などを行うことにより、同様の画像マッチングを用いて像のずれ量を計算することができる。

（偏光板と組み合わせた場合の光学系）
次に、偏光板と組み合わせた場合の光学系について詳細に説明する。図１８および図１９に、偏光板９０を備えた光学系を示す。図１８および図１９はそれぞれ、図２および図３に対応する光学系である。結像レンズ１２、偏光板アレイ９０、マイクロレンズアレイ１４、撮像素子１６の順に光線８０が入射する。マイクロレンズアレイ１４と、偏光板アレイ９０の配置位置は入れ替えてもよい。

マイクロレンズ像ごとに異なる偏光方向の情報を得るために、偏光板アレイ９０を用いる。図２０に示すように偏光板アレイ９０は、アレイ状に配置された偏光板９１を有し、偏光板９１の１つがマイクロレンズアレイの１つのマイクロレンズに対応するように配置される。各偏光板９１を通過した光は、対応するマイクロレンズに入射する。図２０で示されている偏光板９１の偏光軸は９２ａ、９２ｂ、９２ｃの３方向である。偏光軸９２ａ、９２ｂ、９２ｃはそれぞれ、図で横方向、縦方向、斜め方向に偏光軸を有する。図２０に示した偏光軸は、一例であって、本実施形態に用いられる偏光軸はこれに制限されるものではない。高精度に偏光主軸を計測したい場合は、より多方向の偏光板で構成された偏光板アレイを用いる。

また、図１８および図１９では偏光板アレイ９０はマイクロレンズ上に形成されているが、本実施形態においては、これに制限されるものではない。例えば、偏光板アレイ９０は、図示しない固定装置により、中空に固定されていてもよく、撮像素子１６の画素上に形成されていてもよい。

（各偏光角画像を得る方法）
次に、各偏光角画像を得る方法について説明する。例として、偏光軸が０°、４５°、９０°、１３５°という４種類の偏光板が格子状に並んだ偏光板アレイによってセンサで得られる二次元画像を図２１に示す。被写体の像はマイクロレンズによって縮小されるため、複数のマイクロレンズに渡って像がオーバーラップする領域ができる。偏光板９０の偏光軸が同じマイクロレンズ像ごとに画像を拡大して合成すると、特定の偏光軸による二次元再構成画像を得ることができる。例えば、図２２に、０°偏光軸のマイクロレンズ像を用いた画像再構成の例を示す。このように合成処理を行うことで０°、４５°、９０°、１３５°の偏光強度を表す二次元情報を取得することができる。

（撮影画像から偏光情報を計算する方法）
次に、撮影画像から偏光情報を計算する方法について説明する。画像の撮影から偏光情報取得、および距離情報計算までの手順を図２３に示す。再構成用画像を撮影し、マイクロレンズ内の輝度補正を行う（ステップＳ２１，Ｓ２２）。輝度補正された画像データはまずマイクロレンズ像の抜き出しが行われ、その後、マイクロレンズの中心位置の並び替えが行われる（ステップＳ２３、Ｓ２４）。その後、マイクロレンズの画素位置の補正が行われ、マイクロレンズ像の補正が終了する（ステップＳ２５）。

その後、距離情報計算処理を行うか否かの判定を行う（ステップＳ２６）。距離情報計算処理を行う場合は、後述する偏光画像マッチング処理を行う（ステップＳ２７）。距離情報計算処理を行わない場合は、ステップＳ２８に進み、オートフォーカスの有無を判定する。オートフォーカスが有る場合は、ステップＳ２７に進み、偏光画像マッチング処理を行う。オートフォーカスが無い場合は、ステップＳ２９に進みマイクロレンズ像の拡大処理を行う。また、ステップＳ２７で、偏光画像マッチング処理を行った後は、同様に、ステップＳ２９に進みマイクロレンズ像の拡大処理を行う。

拡大処理が行われたマイクロレンズ像に対して、マイクロレンズ像に重なりがあるか否かを判定し、重なりが有る場合には画素の再配置を行い、重なりが無い場合には画素の再配置を行わない（ステップＳ３０）。画素の再配置を行わない場合は、処理を終了する。画素の再配置を行う場合は、ステップＳ３１に進み、各画素で、偏光角フィッティング処理を行う。偏光角フィッティング処理が行われた画素を用いて、偏光角による二次元画像を作成し（ステップＳ３２）、処理を終了する。この二次元画像は、各マイクロレンズ像について中心位置を固定しながら拡大して重複画素値を足し合わせることで再構成される。

前述した偏光画像マッチング処理について説明する。まず、図２４に示すマイクロレンズ画像中の画素６６に着目する。画素６６は４つのマイクロレンズがオーバーラップする領域内の画素であり、被写体の同一点が複数のマイクロレンズ像内に結像していることを示す。これは結像レンズの像がマイクロレンズで分割されて撮像素子の結像面に結像する際、各マイクロレンズが視差を持っているため視差の重なる領域が複数のマイクロレンズ像に現れるためである。

各マイクロレンズ像の光強度はそれぞれ各偏光板の偏光軸に依存している。このため、被写体の同一点について偏光軸の異なる複数の偏光板を通過した光強度を一度に測定可能である。例として画素６６にオーバーラップするマイクロレンズ像の偏光軸がそれぞれ０°、４５°、９０°、１３５°である場合を仮定する。偏光された各マイクロレンズ像の光強度は拡大合成前のマイクロレンズアレイ画像より得られる。偏光板の偏光軸角度と光強度からフィッティングにより偏光カーブを求めると、図２５に示すように、偏光主軸θを得ることができる。計算可能な全ての画素で偏光主軸を計算することにより二次元偏光画像を得る。この二次元偏光画像は、図示しない偏光画像生成部によって生成される。

図２４では４方向の偏光板を用いて偏光主軸を計算しているが、偏光板の偏光軸方向と配置によって偏光主軸の精度を可変にすることが可能である。例えば、図２６（ｂ）に示す偏光軸を有する偏光板アレイを用いた場合に、図２６（ａ）に示すように、多数のマイクロレンズに偏光主軸を計測したい被写体が写るマイクロレンズ画像６８が得られるようにするためには、マイクロレンズの倍率を調節する。これにより、多方向の偏光軸に関する光強度の情報を一度に得ることができる。したがって、図２７に示すように、偏光軸の角度を多く取ることにより、図２５で説明した場合よりも多い光強度の情報を用いて偏光カーブのフィッティングを行うことができる。このため、偏光主軸の決定をより高精度に行うことが可能である。

本光学系のように、マイクロレンズ間での焦点距離が異なる場合、例えば長焦点距離マイクロレンズ像を用いて偏光情報による高解像二次元画像を作成し、短焦点距離マイクロレンズ像を用いて、より高精度な偏光情報を計算するという使い方ができる。すなわち、二次元偏光角分布と、奥行き情報を高精度に求めることができる。

偏光板アレイと組み合わせた状態で被写体までの距離を求める場合は、異なる偏光軸画像を比較することによるミスマッチングを防止するため、マイクロレンズ間の画像マッチングでは偏光軸が等しいマイクロレンズ像同士を比較する。例えば、図２８（ａ）、２８（ｂ）に示すように、偏光軸０°の像同士の画像マッチングを行うことができる。このように、同じ偏光軸の偏光画像同士であればＳＡＤやＳＳＤなどの画像マッチング評価値を用いて通常の二次元可視画像と同様の方法でマッチング位置を求めることが可能である。マッチング位置からマイクロレンズ像のずれ量を求められれば、あとは二次元可視画像の場合と同様に式（７）又は式（９）を用いて被写体までの距離を計算することができる。

以上説明したように、第１実施形態によれば、高解像度な画像と、リフォーカス効果も得られる画像とを得ることのできるマイクロレンズアレイユニット、および固体撮像装置を提供することができる。

（第２実施形態）
第２実施形態による携帯情報端末を図２９に示す。この第２実施形態の携帯情報端末２００は、第１実施形態の固体撮像装置１を備えている。図２９では、固体撮像装置１の撮像モジュール部１０が示されている。なお、図２９に示す携帯情報端末は一例である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 固体撮像装置（カメラモジュール）
１０ 撮像モジュール部
１２ 結像光学系
１４ マイクロレンズアレイ
１４ａ 樹脂
１４ａ_１ マイクロレンズ群
１４ａ_２ マイクロレンズ群
１４ａ_３ マイクロレンズ群
１４ａ_４ マイクロレンズ群
１４ｂ 透明な基板
１４ｂ_１ 透明な基板
１４ｂ_２ 透明な基板
１６ 撮像素子
１８ 駆動回路
２０ 撮像信号プロセッサ（ＩＳＰ）
２２ カメラモジュールインターフェース
２４ 画像取り込み部
２６ 信号処理部
２８ ドライバインターフェース
９０ 偏光板アレイ

Claims (5)

1. 被写体を結像面に結像する結像光学系と、
   前記結像光学系と対向し、複数の画素を含む画素ブロックを複数有する撮像領域を有する撮像素子と、
   前記結像光学系と前記撮像素子との間に設けられたマイクロレンズアレイユニットであって、前記マイクロレンズアレイユニットは、
   前記結像光学系に対向する第１面と、前記第１面に対向する第２面とを有する基板と、
   前記基板の前記第１面に設けられ、第１焦点距離を有する凸形状の複数の第１マイクロレンズを含む第１マイクロレンズ群と、
   前記基板の前記第２面に設けられ、前記第１焦点距離よりも小さい第２焦点距離を有する凸形状の複数の第２マイクロレンズを含む第２マイクロレンズ群と、
   を備え、前記複数の第１マイクロレンズおよび前記複数の第２マイクロレンズは、それぞれを前記基板に射影した像が重ならないように配置されているマイクロレンズアレイユニットと、
   前記撮像素子から出力された画像信号から、各マイクロレンズに対応するマイクロレンズ画像を取りだし、パンフォーカス画像およびリフォーカス画像のうち一方の画像を再構成するとともに前記マイクロレンズ画像の画像マッチングを行う画像再構成部と、
   を備えた固体撮像装置。
2. 被写体を結像面に結像する結像光学系と、
   前記結像光学系と対向し、複数の画素を含む画素ブロックを複数有する撮像領域を有する撮像素子と、
   前記結像光学系と前記撮像素子との間に設けられたマイクロレンズアレイユニットであって、前記マイクロレンズアレイユニットは、
   前記結像光学系に対向する第１面と、前記第１面に対向する第２面とを有する基板と、
   前記基板の前記第１面に設けられ、第１焦点距離を有する凸形状の複数の第１マイクロレンズを含む第１マイクロレンズ群と、
   前記基板の前記第１面に設けられ、前記第１焦点距離よりも小さい第２焦点距離を有する凸形状の複数の第２マイクロレンズを含む第２マイクロレンズ群と、
   前記複数の第２マイクロレンズが設けられた位置に対応する前記第２面の位置に設けられた、凹形状の複数の第３マイクロレンズを含む第３マイクロレンズ群と、
   を備え、前記複数の第１マイクロレンズおよび前記複数の第２マイクロレンズは、それぞれを前記基板に射影した像が重ならないように配置されているマイクロレンズアレイユニットと、
   前記撮像素子から出力された画像信号から、各マイクロレンズに対応するマイクロレンズ画像を取りだし、パンフォーカス画像およびリフォーカス画像のうち一方の画像を再構成するとともに前記マイクロレンズ画像の画像マッチングを行う画像再構成部と、
   を備えた固体撮像装置。
3. 前記画像再構成部は、パンフォーカス画像およびリフォーカス画像のうち一方の画像を選択する選択部を備え、この選択部によって選択された選択結果にしたがって、画像を再構成する請求項１または２記載の固体撮像装置。
4. 前記マイクロレンズアレイユニットと前記結像光学系との間または前記マイクロレンズアレイユニットと前記撮像素子との間に設けられ、前記マイクロレンズアレイユニットの各マイクロレンズに対応する複数の偏光板を有する偏光板アレイを更に備えている請求項１乃至３のいずれかに記載の固体撮像装置。
5. 前記撮像素子から出力された画像信号から、偏光情報を取得し、二次元偏光画像を生成する二次元偏光画像生成部を更に備えている請求項４記載の固体撮像装置。

Images