JP5627622B2 - 固体撮像装置および携帯情報端末 - Google Patents

Description

本発明の実施形態は、固体撮像装置および携帯情報端末に関する。

２次元アレイ情報として奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。

システムコストを抑えるため参照光を用いない測距撮像方式として、視差を利用した三角測量方式がある。この方式ではステレオカメラや複眼カメラが知られているが、これらの場合、カメラを複数用いることとなり、システムの巨大化や部品点数増大による故障率上昇といった問題が存在する。

マイクロレンズアレイを画素上方に配置し、各マイクロレンズの下部には複数の画素を配置する構造が提案されている。この構造により、画素ブロック単位で視差をもった画像群を取得することが可能であり、この視差により被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。上記構造を用いた固体撮像素子においては、マイクロレンズの結像位置の検出に関して、キャリブレーション画像を撮影し、二値化して輪郭フィッティングにより座標を求めている。しかし、この方法ではマイクロレンズやセンサ上のごみや汚れ、マイクロレンズ自体の個別バラつきにより中心座標が正確に求められない場合が存在する。また、本撮影前にキャリブレーション画像の撮影が必要となる。

T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, "Reducing Plenoptic Camera Artifacts"

本実施形態は、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする固体撮像装置および携帯情報端末を提供する。

本実施形態の固体撮像装置は、複数の画素を含む画素ブロックを複数有する撮像素子と、被写体を結像面に結像する第１の光学系と、光透過基板と前記光透過基板上に形成された複数の第１マイクロレンズ及び前記第１マイクロレンズの周囲に形成された複数の第２マイクロレンズとを有するマイクロレンズアレイであって、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離が実質的に等しく、かつ前記第１マイクロレンズの前記光透過基板に接する領域のサイズが前記第２マイクロレンズの前記光透過基板に接する領域のサイズよりも大きいマイクロレンズアレイを備え、前記撮像素子と前記第１の光学系の間に配置され、前記結像面に結像される像を前記マイクロレンズアレイを介して前記画素ブロックに縮小再結像する第２の光学系と、を備えていることを特徴とする。

第１実施形態による固体撮像装置を示すブロック図。 固体撮像装置の第１例の光学系を示す図。 固体撮像装置の第２例の光学系を示す図。 マイクロレンズを説明する図。 図５（ａ）、５（ｂ）は、第１実施形態に用いられるマイクロレンズアレイを説明する図。 第１実施形態に用いられる第１例のマイクロレンズアレイの断面図。 第１実施形態に用いられる第２例のマイクロレンズアレイの断面図。 撮像マイクロレンズおよびマーカーマイクロレンズの像を説明する図。 マイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す図。 マイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す図。 図１１（ａ）乃至図１１（ｃ）は、マーカーマイクロレンズの像フィッティングに与える効果について説明する図。 マーカーマイクロレンズを用いた二次元画像取得までの手順を説明するフローチャート。 マーカーマイクロレンズを用いた二次元画像取得までの手順を説明するフローチャート。 マイクロレンズアレイ上にカラーフィルタを設ける場合について説明する図。 マーカーマイクロレンズの結像領域にホワイト画素を用いた場合の効果を説明する図。 偏光板をマイクロレンズアレイのプレーンな面に設置した場合の光学系を示す図。 偏光軸の異なる複数種類の偏光板が撮像マイクロレンズの周囲に設置されていることを示す図。 マーカーマイクロレンズの光強度に関する偏光軸角度依存性を示す図。 第１実施形態の固体撮像装置によって得られる二次元の偏光主軸分布を示す図。 第２実施形態による携帯情報端末を示す図。

以下、図面を参照して実施形態を説明する。

（第１実施形態）
第１実施形態による撮像装置について図１乃至図１１（ｃ）を参照して説明する。第１実施形態による固体撮像装置（以下、カメラモジュール）を図１に示す。第１実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。

撮像モジュール部１０は、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８とを有する。結像光学系１２は、１または複数のレンズを有し、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。各画素は、例えば、赤色波長光域に対して高い透過率を有する層（赤色カラーフィルタ）を有するＲ画素、または緑色波長光域に対して高い透過率を有する層（緑色カラーフィルタ）を有するＧ画素、または青色波長光域に対して高い透過率を有する層（青色カラーフィルタ）を有するＢ画素である。

マイクロレンズアレイ１４は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系１２によって結像面に結像する光線群を、個々のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。画素ブロックとは、複数の画素から構成され、結合光学系１２の光軸に平行な方向（z方向）において１つのマイクロレンズと重なる。画素ブロックとマイクロレンズは１つずつ対応し、マイクロレンズと同じ大きさであるか、あるいはマイクロレンズよりも大きい。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路となどを有している。

ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。

次に、第１実施形態の固体撮像装置の光学系を図２に示す。ここでは結像光学系１２は１つの結像レンズからなることとする。被写体１００からの光線８０が結像レンズ（結像光学系）１２に入射され、結像レンズ１２によって結像面７０に結像される。この結像面７０に結像された像は、マイクロレンズアレイ１４に入射され、マイクロレンズアレイ１４を構成するマイクロレンズ１４ａによって撮像素子１６上に縮小結像される。図２において、また、Ａは結像レンズ１２と被写体１００との間の距離、Ｂは結像レンズ１２による結像距離、Ｃは結像レンズ１２の結像面７０とマイクロレンズアレイ１４との間の距離、Ｄはマイクロレンズアレイ１４と撮像素子１６との間の距離である。以下の説明では、ｆは結像レンズ１２の焦点距離、ｇはマイクロレンズ１４ａの焦点距離を表す。本明細書では、説明のため、結像レンズ１２の中心を通り光軸に垂直な面に対して被写体１００側を前方、撮像素子１６側を後方と定義する。光学系内でマイクロレンズアレイ１４は結像レンズ１２の光線を各視点の像に分離し、撮像素子１６上に縮小結像させる役割をもつ。

なお、本実施形態の固体撮像装置においては、図２に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より結像レンズ１２に対して後方に設置されている。しかし、本実施形態では図２に示す光学系に限定されるものではなく、例えば図３に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面７０より前方に設置されていてもよい。

（マイクロレンズアレイ）
次に、第１実施形態で用いられるマイクロレンズアレイ１４について説明する。このマイクロレンズアレイ１４は、図４に示すように、可視光透過基板１４ｂ上に複数のマイクロレンズが形成された構成を有している。なお、図４では、１個のマイクロレンズ１４ａを示しているが、後述するように、大きさの異なる少なくとも２種類のマイクロレンズが可視光基板１４ｂ上に形成されている。ここで、マイクロレンズ１４ａの径ｄとは、マイクロレンズ１４ａが可視光透過基板１４ｂに接する領域の最大径を意味する。最大径とは、マイクロレンズ１４ａが可視光透過基板１４ｂに接する領域の周囲上の２点間の距離で最大の値を意味する。また、マイクロレンズ１４ａの高さｈとは、可視光基板１４ｂからマイクロレンズ１４ａの表面上の点までの距離で最大の値を意味する。すなわち、マイクロレンズ１４ａの高さｈとは、可視光基板１４ｂからマイクロレンズ１４ａの頂点までの距離である。マイクロレンズ１４ａの径ｄおよび高さｈを図４に示す。

マイクロレンズアレイ１４の平面図を図５（ａ）に示し、図５（ａ）の一部分の拡大図を図５（ｂ）に示す。図５（ａ）、５（ｂ）に示すように、本実施形態に用いられるマイクロレンズアレイ１４は、可視光透過基板１４ｂ上に形成された大きさの異なる第１マイクロレンズ１４ａ_１および第２マイクロレンズ１４ａ_２を備えている。第１マイクロレンズ１４ａ_１は径ｄ１を有しており、第２マイクロレンズ１４ａ_２はｄ１よりも小さな径ｄ２を有している。第２マイクロレンズ１４ａ_２は第１マイクロレンズの周囲に形成されている。例えば、列方向（図５（ａ）の縦方向）に配置された第１マイクロレンズ１４ａ_１の群においては、第１マイクロレンズ１４ａ_１の中心が実質的に同一線上に位置し、隣接する第１マイクロレンズ１４ａ_１間の間隔が実質的に同じとなるように配置される。それぞれが第１マイクロレンズ１４ａ_１の群からなる隣接する第１列および第２列に関しては、行方向（図５（b）横方向）において、第１列の隣接する第１マイクロレンズ１４ａ_１間の中心に第２列のマイクロレンズの１４ａ_１の中心が位置する配置となっている。すなわち、第１列の第１マイクロレンズ１４ａ_１は、第２列の第１マイクロレンズ１４ａ_１とは、列方向にずれて配置されている。なお、上記説明で、列方向を行方向（図５（ａ）の横方向）に置き換えた配置であってもよい。第２マイクロレンズ１４ａ_２は各第１マイクロレンズ１４ａ_１を囲む６角形の頂点に配置され、かつ隣接する第１マイクロレンズ１４ａ_１間で共有するように配置された構成となっている。すなわち、六角形の頂点に配置された第２マイクロレンズ１４ａ_２の中に第１マイクロレンズ１４ａ_１が配置されている。第１マイクロレンズ１４ａ_１は撮像マイクロレンズともよばれ、第２マイクロレンズ１４ａ_２はマーカーマイクロレンズともよばれる。

なお、図５（ａ）、５（ｂ）においては、マイクロレンズが２種類の場合について示しているが、実際にはこの限りではなく、マイクロレンズが３種類以上の場合であってもよい。また、マイクロレンズの並び方は図５（ａ）、５（ｂ）２に限定されるものではなく、例えば撮像マイクロレンズとマーカーマイクロレンズがそれぞれ四角形、あるいは正方格子状に並んでいてもよい。第１マイクロレンズ１４ａ_１は、四角形あるいは正方格子の頂点に配置された第２マイクロレンズ１４ａ_２の中に配置されている。撮像マイクロレンズ１４ａ_１と、マーカーマイクロレンズ１４ａ_２は、ともに同じ結像面、すなわち撮像素子１６に結像する構成となっている。言い換えると、撮像マイクロレンズ１４ａ_１と、マーカーマイクロレンズ１４ａ_２は、結像レンズ１２により結像面に結像される像を画素ブロックに縮小再結像する。

次に、マーカーマイクロレンズの詳細について図６乃至図７を参照して説明する。図６は、マーカーマイクロレンズの第１例を示す断面図であり、図７は、マーカーマイクロレンズの第２例を示す断面図である。

図６に示す第１例の場合では、撮像マイクロレンズ１４ａ_１とマーカーマイクロレンズ１４ａ_２の曲率半径は同一であり、撮像マイクロレンズ１４ａ_１とマーカーマイクロレンズ１４ａ_２は、例えば石英ガラス、プラスチックなど同じ材料で形成される。マーカーマイクロレンズ１４ａ_２については可視光透過基板１４ｂからマーカーマイクロレンズの頂点までの距離、すなわち高さｈ_２が撮像マイクロレンズ１４ａ_１の高さｈ_１よりも小さい。図６に示す第１例の場合は、マーカーマイクロレンズ１４ａ_２と撮像マイクロレンズ１４ａ_２の曲率半径がに同一であるため、焦点距離に等しくなる。

図７の第２例では、撮像マイクロレンズ１４ａ_１とマーカーマイクロレンズ１４ａ_２の曲率半径が異なる場合を示している。図７に示す第２例では、曲率半径が異なるが、レンズの近軸理論式を満たすようにマーカーマイクロレンズ１４ａ_２と撮像マイクロレンズ１４ａ_１の屈折率を材料などで調節することで、両マイクロレンズとも実質的に同じ焦点距離を実現する。図６および図７示すいずれの場合において、マーカーマイクロレンズ１４ａ_２の径は撮像マイクロレンズ１４ａ_１のそれよりも小さい。

次に、マイクロレンズアレイの一般的な製作方法について概要を述べる。マイクロレンズアレイの製作方法は各種存在する。図６に示す第１例のマイクロレンズアレイについては、フォトレジストを用いる方法を例に挙げる。より具体的には、フォトレジストを露光、現像してレジストパターンを形成し、熱融解して凸レンズ形状に成形する方法である。図６に示すように、マイクロレンズ高さｈ_１、ｈ_２（ＳＡＧ量）を変化させる場合は、レジスト塗布時にマーカーマイクロレンズ部分にグレースケールマスクなどを用いることによりＳＡＧ量を調節する。

次に、図７に示す第２例のマイクロレンズアレイの製作方向について説明する。図７に示す第２例のように、曲率半径が異なる場合はレジストパターンの底面半径が大小異なる２種類のマスクを作成し、図６に示す第１例の場合と同様に熱溶融でレンズ形状を作成する。このマイクロレンズの形成にはナノ粒子を透明材料の面内に分散させた基板を用いており、例えば、アクリル樹脂中に酸化チタンの粒子を、密度を変えて添加することにより、作成することが出来る。この基板は、粒子密度や粒子径等の変化により屈折率を部分々で制御されて形成されている。この基板に対してドライエッチングなどでマイクロレンズ形状を形成すれば、曲率半径と屈折率が異なる撮像マイクロレンズ１４ａ_１とマーカーマイクロレンズ１４ａ_２からなるマイクロレンズアレイを形成できる。

（撮像レンズ中心位置を得る方法）
撮像素子１６上に形成される撮像マイクロレンズ１４ａ_１の像３６と、その周囲に配置されるマーカーマイクロレンズ１４ａ_２の像３７を図８に示す。撮像マイクロレンズ１４ａ_１の像３６の中心位置を求めるために、まずその周囲のマーカーマイクロレンズ１４ａ_２の像３７それぞれについて円形フィッティングなどを用いて、マーカーマイクロレンズ１４ａ_２の像３７の中心位置の座標を求めておく。図８に示すように、マーカーマイクロレンズが撮像マイクロレンズに対して均等に六方に存在している場合、６個のマーカーマイクロレンズ１４ａ_２の像３７の中心Ｘ座標をｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５、ｘ_６とおくと、撮像マイクロレンズの像３６の中心Ｘ座標ｘ_０は次式で表される。

ここで、各マーカーマイクロレンズ１４ａ_２の中心Ｘ座標ｘ_ｉ（ｉ＝１，・・・，６）の検出誤差の絶対値Δｘ_ｉが
Δｘ_１＝Δｘ_２＝Δｘ_３＝Δｘ_４＝Δｘ_５＝Δｘ_６＝Δ （２）
と表される時、誤差伝播より撮像マイクロレンズ１４ａ_１の中心Ｘ座標の検出誤差Δｘ_０は

と表される。Δは、マーカーマイクロレンズの検出誤差を表す。このように、マーカーマイクロレンズ単体よりも高い精度で撮像マイクロレンズの中心Ｘ座標を求めることが可能である。以上と同様の方法でＹ座標についても求める事ができ、得られた画像中の撮像マイクロレンズの像中心位置についての二次元座標を得ることができる。また、この方法で得た中心座標検出誤差Δｘ_０およびΔｙ_０はマーカーマイクロレンズの検出誤差Δよりも小さくなるため、後述する再構成した二次元画像中のアーティファクトなどを低減することができ、画質を改善することができる。

（不完全な撮像レンズ像から撮像レンズ像中心位置を得る方法）
図９にマイクロレンズアレイ上にごみやキズなどがある場合のマイクロレンズ像を示す。マーカーマイクロレンズが無い状態での撮像マイクロレンズ１４ａ_１の像３６にマイクロレンズアレイ上のごみやキズによる像３８がオーバーラップしている場合、マイクロレンズ像の中心位置を円形フィッティングなどで検出することが困難になる。

これに対して、図１０に示す第１実施形態のように、撮像マイクロレンズ１４ａ１の周囲に複数のマーカーマイクロレンズ１４ａ_２が設けられている場合は、複数のマーカーマイクロレンズ１４ａ_２の像３７が検出困難な状態であっても、残りの検出可能なマーカーマイクロレンズ１４ａ_２の像３７から撮像マイクロレンズ１４ａ_１の像の中心位置を求めることが可能である。

（マーカーマイクロレンズによる像フィッティングへの効果）
図１１（ａ）乃至図１１（ｃ）を参照して、第１実施形態のように、複数のマーカーマイクロレンズ１４ａ_２が撮像マイクロレンズ１４ａ_１の周囲に配置されている場合の像フィッティングに与える効果について説明する。光学系の前方に被写体１００が存在し、撮像マイクロレンズ１４ａ_１の視野４１と、マーカーマイクロレンズ１４ａ_２の視野４２が図１１（ａ）に示すように位置していると仮定する。マーカーマイクロレンズ１４ａ_２が設けられていない場合、得られる撮影画像は図１１（ｂ）に示す画像である。この場合、被写体像によってマイクロレンズ像内の輝度値は一様ではなく、像単体での輪郭による円フィッティングの精度が低下する。

これに対して、本実施形態のように、撮像マイクロレンズ１４ａ_１の周囲にマーカーマイクロレンズ１４ａ_２が設けられている場合に得られる撮影画像は図１１（ｃ）に示す画像となる。この場合、マーカーマイクロレンズ１４ａ_２の視野が撮像マイクロレンズ１４ａ１よりも小さいため、比較的一様な輝度の被写体を撮影する確率が高くなる。したがって、この一様な輝度値のマーカーマイクロレンズ１４ａ_２の像３７の輪郭を円フィッティングで近似し、その中心座標を求めれば、一度の撮影で再構成用の二次元画像と撮像マイクロレンズの中心位置座標を得ることが可能である。

さらに、複数のマーカーマイクロレンズ１４ａ_２の像３７内に被写体が写りこみ、輝度値が一様で無い状態であったとしても、前述した方法を用いて同様の復元方法により残ったマーカーマイクロレンズ１４ａ_２の像３７で撮像マイクロレンズ１４ａ_１の像３６の中心座標を求めることができる。

（二次元画像を再構成により得る方法）
次に、二次元画像を再構成により得る方法について説明する。マーカーマイクロレンズを用いた二次元画像取得までのフローチャートを図１２に示す。

まず、マニュアル操作で再構成用画像を撮影する（ステップＳ１）。続いて、撮影した画像に二値化処理を行う（ステップＳ２）。マーカーマイクロレンズの輪郭を円形であるとしてフィッティングを行う（ステップＳ３）。マーカーマイクロレンズの像それぞれの円の中心座標を計算し、これらのマーカーマイクロレンズの像の中心座標を用いて撮像マイクロレンズの像の中心座標を計算する（ステップＳ４）。計算された撮像マイクロレンズの像の中心座標をメモリ等に保存する（ステップＳ５）。保存された中心座標を用いて、リフォーカス処理等を行う（ステップＳ６）。この中でユーザーが行うべきマニュアル操作は通常のカメラを用いるのと同様に、写真（再構成画像）を撮影するだけであり、中心座標検出のためのキャリブレーション作業等を省略することが可能となる。

次に、上記保存した中心座標および二値化された画像に基づいて、二次元画像を得るためのフローチャートを図１３に示す。

まず。撮像マイクロレンズ内の像について、シェーディングなどの補正処理により輝度の補正を行う（ステップＳ１１）。次に、撮像マイクロレンズ領域を抜き出す（ステップＳ１２）。続いて、上記保存した中心座標を用いて撮像マイクロレンズ内の画素それぞれの歪み補正処理を行い、位置を補正する（ステップＳ１３）。その後、撮像マイクロレンズの像を拡大する（ステップＳ１４）。続いて、マイクロレンズの重なり領域の有無を判定し、重なり領域がない場合は、画素の再配置を行わずに処理を終了する（ステップＳ１５）。マイクロレンズの重なり領域がある場合は、画素の再配置を行い、画像合成処理を行う（ステップＳ１６）。

このように、二次元画像を得るにはマーカーマイクロレンズにより計算した撮像レンズ中心座標を用いて撮像レンズ像を抽出し、拡大して撮像マイクロレンズ像同士の合成処理を行う。この合成画像が求める二次元画像となる。

（カラーフィルタを組み合わせた場合の光学系組み立て精度向上の効果） 次に、マイクロレンズアレイ１４上にカラーフィルタを設ける場合について述べる。図１４に、カラーフィルタ１５をマイクロレンズアレイ１４上のマーカーマイクロレンズ１４ａ_２の面上と、撮像素子１６上の、マーカーマイクロレンズ１４ａ_２の像面に設置した場合の光学系を示す。すなわち、第２マイクロレンズ１４ａ_２と結像レンズ１２との間にはＲ（赤色）、Ｇ（緑色）、またはＢ（青色）の少なくとも１色を有する第２カラーフィルタが設けられ、撮像素子１６との第２マイクロレンズ１４ａ_２と対向する側には第２カラーフィルタと同じ色の第１カラーフィルタが設けられている。言い換えると、撮像素子１６はマーカーマイクロレンズ１４ａ_２の面上に設けられたカラーフィルタに対向する領域に、このカラーフィルタと同じ色を透過するカラーフィルタを有する画素を有している。

ここでカラーフィルタ１５が設けられる位置は、図１４に示す位置に限定されるものではなく、例えばより撮像素子１６に近い面へ設置してもよい。カラーフィルタ１５は１種類ではなく、例えばＲ（赤色）フィルタと、Ｇ（緑色）フィルタ、Ｂ（青色）など複数種類設置されており、マーカーマイクロレンズ１４ａ_２の面とマーカーマイクロレンズ１４ａ_２の像面とで同じ並び方、すなわち同じ色のフィルタが配置された構成となっている。この状態でマイクロレンズアレイ１４と撮像素子１６を組み合わせると、マーカーマイクロレンズ１４ａ_２のカラーフィルタ１５の色と撮像素子１６上のカラーフィルタ１５の色が一致していない場合にはマーカーマイクロレンズの像はできないか、もしくは歪んだ形状となる。従って、ｘｙ方向の位置合わせをマーカーマイクロレンズの像の有無と像の歪みを調べることで行うことができる。

また、ｘｙ方向の位置合わせが行われ、全てのマーカーマイクロレンズ１４ａ_２の像が得られている時、マーカーマイクロレンズ像内の像の倍率を求めることでｚ方向の位置合わせを行うことができる。したがって、３次元での位置合わせは、マーカーマイクロレンズ１４ａ_２を用いて行うことが可能である。また、マーカーマイクロレンズ１４ａ_２の像の大きさについて分布を調べることにより、マイクロレンズアレイ１４の傾きを求めることができる。これを用いて、組み合わせ時の撮像素子１６に対するマイクロレンズアレイ１４の傾き修正を行うことが可能となる。

マイクロレンズアレイ１４上のカラーフィルタ１５の製造方法の例としては、有機顔料レジストをマイクロレンズアレイ１４に塗布する方法がある。これは、可視光透過基板１４ｂのマイクロレンズ１４が設けられた面とは反対のプレーンな面に対して、有機顔料を分散したレジストを塗布し、マーカーマイクロレンズ１４ａ_２の対応位置のみ露光し感光させてカラーフィルタ１５を形成するという方法である。撮像素子１６上のカラーフィルタ１５は通常の製造方法で形成するが、この際、マーカーマイクロレンズ１４ａ_２と対応する領域のみマーカーマイクロレンズ１４ａ_２上のカラーフィルタと対応する色のカラーフィルタを設置する必要がある。このカラーフィルタが形成されるマイクロレンズアレイ１４と、カラーフィルタ１５が形成された撮像素子とを組み合わせることで、撮像素子１とマイクロレンズアレイ１４の組み立て時の組み立て精度を向上することができる。

（ホワイト画素（Ｗ画素）によるマーカーマイクロレンズの検出率向上の効果）
本明細書では、Ｒ色のカラーフィルタが形成された画素をＲ画素、Ｇ色のカラーフィルタが形成された画素をＧ画素、Ｂ色のカラーフィルタが形成された画素をＢ画素、色フィルタが形成されていない画素をホワイト画素（Ｗ画素）と呼ぶ。

マーカーマイクロレンズ１４ａ_２とホワイト画素との組み合わせの効果を述べる。通常、撮像素子の各画素にはカラーフィルタがベイヤー配列などの並び方で配置されており、このカラーフィルタによってＲ、Ｇ、Ｂ画素ごとの信号を取得することで二次元画像を撮影している。カラーフィルタを透過することで光は減衰するため、入射光よりも輝度値は小さく検出される。

これに対して、図１５に示すように、マーカーマイクロレンズ１４ａ_２の像が結像される結像領域の画素をホワイト画素とする。すなわち、第２マイクロレンズ１４ａ_２と結像レンズ１２との間にはカラーフィルタを設けず、第２マイクロレンズ１４ａ_２と撮像素子１６との間にもカラーフィルタを設けない。この場合は入射光がそのまま画素に入射するため、Ｒ画素、Ｂ画素、Ｂ画素である場合よりも検出する輝度値は大きいものとなる。したがって、マーカーマイクロレンズ１４ａ_２の結像領域１６ａの画素にホワイト画素を用いた場合、信号が飽和しやすくなる。このため一様なマーカーマイクロレンズ像が得られる可能性が高くなり、像の輪郭フィッティングが可能なマーカーマイクロレンズ１４ａ_２の数が増加する。さらに、カラーフィルタ１５が設けられている状態よりも輝度値が大きくなるため、光量が少ない室内などでの環境下でもマーカーマイクロレンズ１４ａ_２の像の輪郭を検出できるようになるという効果もある。したがって、ホワイト画素と組み合わせることで、マイクロレンズの中心座標の検出精度を向上することができる。合わせて、光量の低い場所でもマイクロレンズ１４ａ_２の中心座標を検出出来るようになる。

（偏光板と組み合わせた場合の二次元偏光画像取得方法）
偏光板１７をマイクロレンズアレイのプレーンな面に設置した場合の光学系を図１６に示す。ここで偏光板１７が設けられる位置は、図１６に示す位置に限定されるものではなく、例えばより撮像素子１６に近い位置へ設置してもよいしマーカーマイクロレンズ１４ａ_２上に設置してもよい。

今回用いる偏光板１７の一つの製造方法として、微細構造薄膜をスパッタ法で積層する方法が挙げられる。可視光透過基板１４ｂ上にスパッタ薄膜を積層して作成した偏光板アレイを、マーカーマイクロレンズの位置と偏光板アレイ位置を合わせてマイクロレンズアレイと張り合わせることで偏光板付きマーカーマイクロレンズを作成することができる。偏光板１７は１種類ではなく、例えば図１７に示すように、偏光軸の異なる複数種類が設置されており、マーカーマイクロレンズの面とマーカーマイクロレンズの像面とで同じ並び方をしている。この状態でマイクロレンズアレイと撮像素子を組み合わせると、マーカーマイクロレンズ１４ａ２に対応する偏光板１７の偏光軸と入射光の偏光主軸が一致していない場合、マーカーマイクロレンズの像の輝度値が低下する。

更に、例えば図１７に示すように、ある撮像マイクロレンズの周囲のマーカーマイクロレンズ上の偏光板１７の偏光軸１７ａの角度θが０°、３０°、６０°、９０°、１２０°、１５０°という６種類ある状態を仮定する。このとき図１８に示すように、横軸に偏光軸角度θ、縦軸に光強度を取ったグラフに、各マーカーマイクロレンズの値をプロットし、フィッティングを行うことで、マーカーマイクロレンズに囲まれた撮像マイクロレンズへ入る入射光の偏光主軸θ’を求めることができる。以上の操作を全てのマーカーマイクロレンズに対して行うことで、図１９に示すように、二次元の偏光主軸分布を得ることができる。すなわち、偏光板と組み合わせることで、二次元偏光角分布を求めることができる。

一様な物体表面にキズなどがある状態では、キズ部分と周辺の一様な部分とでは反射光の偏光特性が異なって観測される。また、後述するように、撮像マイクロレンズ像を用いて被写体までの距離を得ることが可能であるため、この被写体距離情報と、二次元偏光分布を使った検査装置などに応用が可能である。より具体的には撮像マイクロレンズ像で検査したい被写体へのレンズピント合わせを行うと同時に被写体の二次元画像を撮影し、マーカーマイクロレンズで得られる二次元偏光分布でキズの位置と範囲を測定する。この場合、例えば製品の出荷前検査などで、可視光による見た目の検査と、可視光で判別しにくい表面のキズに対するチェックを同時に行うことが可能な検査装置を実現することができる。

（被写体までの距離を得る方法）
図２に示す光学系を例にとって被写体１００までの距離を得る方法について説明する。レンズと被写体との距離Ａが変化すると、（４）式からわかるように、結像距離Ｂの値が変化する。

光学系の位置関係からＢ＋Ｃ＝Ｅであるため、結像距離Ｂの変化に伴って距離Ｃの値も変化する。マイクロレンズについて（５）式を用いると、距離Ｃの変化に伴ってさらに距離Ｄの値も変化することが分かる。

この結果、各マイクロレンズ１４を通って結像する像は結像レンズ１２の仮想イメージである結像面７０をＭ（Ｍ＝Ｄ／Ｃ）倍に縮小した画像が得られ、式で表すと（６）式で表される。

このように、被写体距離Ａの値が変化するとそれに伴ってＢ、Ｃ、Ｄの値も変化するため、マイクロレンズ像の縮小倍率Ｍも変わることとなる。
（６）式をＡについて整理すると

が得られる。したがってマイクロレンズによる像の縮小倍率Ｍを画像マッチング等により算出し、かつＤ、Ｅ、ｆの値が既知であれば、（７）式からＡの値を求めることが可能である。

図３に示す光学系の場合はＥ＋Ｃ＝Ｂであり、さらにマイクロレンズに関するレンズの式は次の（８）式で表される。

したがって、この場合ＡとＭの関係は、次の（９）式で表すことができる。

縮小倍率Ｍは光線の幾何的関係からマイクロレンズ間の像ずれ量をΔ’、マイクロレンズ間の中心間距離をＬとおくと

と表すことができる。したがって、縮小倍率Ｍを求めるにはＳＡＤやＳＳＤなどの評価値を用いて画像マッチングによるマイクロレンズ間の像のずれ量を求めればよい。

第１実施形態の方法では撮像マイクロレンズの中心座標を高精度に検出できるため、距離計算中のΔ’の値の精度が上がり、結果として被写体距離Ａを高精度で求めることが可能となる。

第１実施形態によれば、マイクロレンズの中心座標の、より高精度な算出が可能となる。これにより、二次元再構成画像のアーティファクト低減によって画質が向上する。また、距離推定の精度が向上する。さらに、撮影前のキャリブレーション撮影が不要となる。

以上説明したように、第１実施形態によれば、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする固体撮像装置を提供することができる。

なお、マーカーマイクロレンズは、全ての撮像マイクロレンズの周囲に設けなくともよく、一部の撮像マイクロレンズの周囲にマーカーマイクロレンズを配置することも許容する。

（第２実施形態）
第２実施形態による携帯情報端末を図２０に示す。この第２実施形態の携帯情報端末２００は、第１実施形態の固体撮像装置を適用したものである。図２０に示す携帯情報端末２００は一例であって、符号１０は第１実施形態における固体撮像装置の撮像モジュールを示す。このように、第１実施形態の固体撮像装置は、スチルカメラばかりでなく、携帯情報端末２００等に適用することができる。

以上説明したように、第２実施形態によれば、マイクロレンズの中心座標の検出を高精度に行うことを可能にするとともに、キャリブレーションの撮影を不要とする携帯情報端末を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 固体撮像装置
１０ 撮像モジュール部
１２ 結像光学系（結像レンズ）
１４ マイクロレンズアレイ
１４ａ マイクロレンズ
１４ａ１ 第１マイクロレンズ（撮像マイクロレンズ）
１４ａ２ 第２マイクロレンズ（マーカーマイクロレンズ）
１４ｂ 可視光透過基板
１６ 撮像素子
１８ 撮像回路
２０ 撮像信号プロセッサ
２２ カメラモジュールＩ／Ｆ
２４ 画像取り込み部
２６ 信号処理部
２８ ドライバＩ／Ｆ

Claims (9)

1. 複数の画素を含む画素ブロックを複数有する撮像素子と、
   被写体を結像面に結像する第１の光学系と、
   光透過基板と前記光透過基板上に形成された複数の第１マイクロレンズ及び前記第１マイクロレンズの周囲に形成された複数の第２マイクロレンズとを有するマイクロレンズアレイであって、前記第１マイクロレンズの焦点距離と前記第２マイクロレンズの焦点距離が実質的に等しく、かつ前記第１マイクロレンズの前記光透過基板に接する領域のサイズが前記第２マイクロレンズの前記光透過基板に接する領域のサイズよりも大きいマイクロレンズアレイを備え、前記撮像素子と前記第１の光学系の間に配置され、前記結像面に結像される像を前記マイクロレンズアレイを介して前記画素ブロックに縮小再結像する第２の光学系と、
   前記第２マイクロレンズの像に基づいて、前記第１マイクロレンズの中心位置の座標を検出する処理を行う信号処理部と、
   を備えている固体撮像装置。
2. 前記第２マイクロレンズは六角形または四角形の頂点に配置され、前記第１マイクロレンズは前記第２マイクロレンズが形成する六角形または四角形の中に配置される請求項１記載の固体撮像装置。
3. 前記第１マイクロレンズおよび第２マイクロレンズは、材料および曲率半径が等しく、前記光透過基板からの高さが異なっている請求項１または２記載の固体撮像装置。
4. 前記第１マイクロレンズおよび第２マイクロレンズは、材料および曲率半径がそれぞれ異なる請求項１または２記載の固体撮像装置。
5. 前記第２マイクロレンズと前記第１の光学系との間にはＲ、Ｇ、またはＢの少なくとも１色を有する第２カラーフィルタが設けられ、前記撮像素子は前記第２カラーフィルタと対向する領域に前記第２カラーフィルタと同じ色の第１カラーフィルタを有する請求項１乃至４のいずれかに記載の固体撮像装置。
6. 前記撮像素子の前記画素は、Ｒ画素、Ｇ画素、Ｂ画素、またはＷ画素のいずれかであり、前記第２マイクロレンズの像領域内の画素はＷ画素である請求項１乃至４のいずれかに記載の固体撮像装置。
7. 前記光透過基板の前記第２マイクロレンズが形成された面とは反対側の面又は前記撮像素子の前記第２マイクロレンズの対応する位置に偏光板を更に備えている請求項１乃至４のいずれかに記載の固体撮像装置。
8. 前記信号処理部は、検出された前記第１マイクロレンズの中心位置の座標を用いて、前記撮像素子によって撮像された画像から二次元画像を再生する処理を行う請求項１乃至７のいずれかに記載の固体撮像装置。
9. 請求項１乃至８のいずれかに記載の固体撮像装置を備えている携帯情報端末。

Images