JP5490309B2 - 撮像装置および測距装置 - Google Patents

Description

本発明は、カメラ等の撮像装置および測距装置に関する。

高ダイナミックレンジ画像を取得する技術として、対数変換型の撮像素子を設ける方法や、２つの撮像素子を用いて、露光量を異ならせて撮影を行い、２つの画像を合成する方法が知られている。また、時分割で露光時間の異なる画像を得て、これらを合成する方法が知られている。

特許文献１には、対数変換型の撮像装置において、画素毎の感度の不均一性を補正するために、各画素の撮像データから、メモリに記憶された均一光照射時の撮像データを減算する方法が開示されている。

特許文献２には、プリズムによって光路を分割し、２つの撮像素子によって撮影条件（露光量）を変えて撮像を行う方法が開示されている。

また、時分割で露光時間の異なる画像を得て、これらを合成する方法では、時分割で被写体を撮影するため、被写体が動いている場合には、時間差による画像のズレが生じ、画像の連続性が乱れるという課題が生じる。特許文献３には、このような方式における画像のズレを補正する技術が開示されている。

特開平５−３０３５０号公報 特開２００９−３１６８２号公報 特開２００２−１０１３４７号公報

しかしながら、受光した信号を対数変換する方法では、画素毎に画素信号を対数変換する回路が必要となるため、画素サイズを小さくすることができない。また、特許文献１に開示される方法では、画素毎の感度の不均一性を補正するための補正用データを記録しておく手段が必要となり、コストアップとなってしまう。

また、特許文献２の方法では、撮像素子が２つ必要となるため、撮像装置が大型化し、大幅なコストアップとなってしまう。

特許文献３では、画像のズレを補正する技術が開示されているものの、あらゆる動体に対して時間差による画像のズレを完全に補正することは原理的に困難である。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、１つの撮像素子を用いて複数の画像情報を取得し、動画への対応が可能であり、高ダイナミックレンジ画像を生成する撮像装置および測距装置を提供することにある。

本発明の撮像装置は、レンズおよび絞りを有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と、前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備え、前記レンズ光学系は、前記絞りまたは前記絞り近傍の光軸に垂直な平面において第１の領域および第２の領域を有し、前記アレイ状光学素子は前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第２の領域に入射する光の量に対する前記第２の領域から出射する光の量の割合は、前記第１の領域に入射する光の量に対する前記第１の領域から出射する光の量の割合よりも小さい。

本発明によれば、第２の画素に供給される光の量（露光量）を第１の画素に供給される光の量（露光量）よりも少なくすることにより、検出できる量よりも多い光が第１の画素に供給された場合（第１の画素の画素値が飽和している場合）においても、第２の画素において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、第１の画素によって検出できる範囲内の光が第１の画素に供給された場合（第１の画素の画素値が飽和していない場合）には、第１の画素によって検出される値を用いることができる。これにより、単一の撮像系を用いて、高ダイナミックレンジ画像を取得することができる。本発明では、対数変換型等の特殊な撮像素子を用いる必要がなく、また、複数の撮像素子を必要としない。

本発明による撮像装置Ａの実施の形態１を示す模式図である。 本発明の実施の形態１における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、本実施の形態１における図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎの画素との位置関係を示す図である。 本発明の実施の形態１における撮像装置Ａを示す断面図である。 本発明の実施の形態１における撮像画像を示す図である。 本発明の実施の形態１におけるダイナミックレンジの高い画像を生成するフローチャートである。 （ａ）、（ｂ）は、本発明の実施の形態１における絞りＳを被写体側から見た正面図である。 本発明の実施の形態２における光学素子Ｌ１を被写体側から見た正面図である。 本発明の実施の形態２におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、本実施の形態２における図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎの画素との位置関係を示す図である。 本発明の実施の形態２における撮像画像を示す図である。 本発明の実施の形態２におけるダイナミックレンジの高い画像を生成するフローチャートである。 本発明の実施の形態２における絞りＳを被写体側から見た正面図である。 本発明による撮像装置Ａの実施の形態３を示す模式図である。 本発明の実施の形態３の光学素子Ｌ１を被写体側から見た正面図である。 （ａ）は、図１５に示すアレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本発明の実施の形態４におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。 （ａ）および（ｂ）は、本発明による実施の形態５におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本発明による実施の形態６におけるアレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）は、光学素子Ｌ１を被写体側から見た正面図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ１）、（ｂ１）および（ｃ１）は、被写体距離毎の光線図を示している。（ａ２）、（ｂ２）および（ｃ２）は、光学領域Ｄ１を通過した物点Ｏの光がレンチキュラを介して奇数列の画素に到達することにより得られた点像の画像情報を模式的に示す図である。（ａ３）、（ｂ３）、（ｃ３）は、光学領域Ｄ２を通過した物点Ｏの光が、レンチキュラを介して偶数列の画素に到達することにより得られた画像情報である。 （ａ１）、（ｂ１）および（ｃ１）は、奇数行奇数列の画素と偶数行偶数列の画素との画素値を加算して得られる点像の画像情報を模式的に示す図である。（ａ２）、（ｂ２）および（ｃ３）は、偶数行奇数列の画素と奇数行偶数列の画素との画素値を加算して得られる点像の画像情報を模式的に示す図である。 本発明による実施の形態８における測距装置の概略図である。 本発明によるその他の形態における撮像装置の断面図である。 （ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。 （ａ）から（ｃ）は、境界面に遮光部材Ｑを設けた光学素子Ｌ１を示す図である。 （ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの等高線を示す図である。（ａ３）は、（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの等高線を示す図である。（ｂ３）は、（ｂ１）、（ｂ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。

以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、信号処理部Ｃとを備える。

レンズ光学系Ｌは、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。

アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。

図１において、光束Ｂ１は、光学素子Ｌ１上の光学領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４等に示す）に到達する。

図２は、光学素子Ｌ１を被写体側から見た正面図である。図２に示すように、レンズ光学系Ｌにおける光学素子Ｌ１は、絞り近傍の光軸に垂直な平面において、互いに透過率の異なる２つの光学領域Ｄ１、Ｄ２を有する。光学領域Ｄ１、Ｄ２の透過率が互いに異なるため、光学領域Ｄ２に入射する光の量に対する光学領域Ｄ２から出射する光の量の割合は、光学領域Ｄ１に入射する光の量に対する光学領域Ｄ１から出射する光の量の割合よりも小さい。

光学領域Ｄ１、Ｄ２は、レンズ光学系Ｌの光軸Ｖに垂直な平面を、レンズ光学系Ｌの光軸Ｖと交わる直線ｌによって上下に２分割した領域である。原則として、光学領域Ｄ１、Ｄ２は、等しい面積を有している。ただし、光学領域Ｄ１、Ｄ２は異なる面積を有していてもよい。

図２において、破線ｓは、絞りＳの位置を示している。

図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、横方向に細長い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向）は、撮像素子Ｎ側に突出した曲面の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。

アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１（図１において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の複数の画素Ｐ１（図４に示す）のそれぞれに到達し、光学領域Ｄ２を通過した光束（図１において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の複数の画素Ｐ２（図４に示す）のそれぞれに到達するように設計されている。アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータは、適切な値に設定される。

図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。

撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１（Ｐ１Ａ、Ｐ１Ｂ、・・・）および画素Ｐ２（Ｐ２Ａ、Ｐ２Ｂ、・・・）に区別できる。上述したように、画素Ｐ１は、光学領域Ｄ１を通過した光の大部分が入射する画素であり、画素Ｐ２は、光学領域Ｄ２を通過した光の大部分が入射する画素である。縦方向（列方向）において、画素Ｐ１と画素Ｐ２とは交互に配置されている。

撮像面Ｎｉ上においては、複数の単位領域Ｍ１Ｉが、縦方向（列方向）に配置されている。それぞれの単位領域Ｍ１Ｉ内には、１行の画素Ｐ１および１行の画素Ｐ２から構成される２行の画素が配置されている。撮像面Ｎｉにおける１つの単位領域Ｍ１Ｉは、アレイ状光学素子Ｋにおける１つの光学要素Ｍ１に対応している。撮像素子Ｎの撮像面Ｎｉ上には、画素Ｐ１、Ｐ２の表面を覆うようにマイクロレンズＭｓが設けられている。

単位領域Ｍ１Ｉ内において上下に配置される画素（例えば画素Ｐ１Ａと画素Ｐ２Ａ）には、被写体における同じ部分からの光が入射する。本実施形態では、光学領域Ｄ１、Ｄ２の透過率が異なり、画素Ｐ１Ａ、Ｐ２Ａに入射する光の量の比は、光学領域Ｄ１、Ｄ２の透過率の比とほぼ等しくなる。ただし、クロストークが生じることにより、光学領域Ｄ１、Ｄ２の透過率の比と、画素Ｐ１Ａ、Ｐ２Ａに入射する光の量の比にばらつきが生じる場合がある。

図１に示す信号処理部Ｃは、複数の画素Ｐ１において得られる画素値（例えば階調値）と、複数の画素Ｐ２において得られる画素値とに基づいて画像を生成する。

光学領域Ｄ２の透過率は光学領域Ｄ１の透過率よりも小さいため、画素Ｐ２の露光量は画素Ｐ１の露光量よりも少なくなる。これにより、検出できる量よりも多い光が画素Ｐ１に供給された場合（画素Ｐ１の画素値が飽和している場合）においても、画素Ｐ２において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、画素Ｐ１によって検出できる範囲内の光が画素Ｐ１に供給された場合（画素Ｐ１の画素値が飽和していない場合）には、の画素Ｐ１によって検出される値を用いることができる。得られた画素値の具体的な処理は、後に詳述する。

図５は、実施の形態１における撮像装置Ａを示す断面図である。図５において図１と同じ構成要素には、図１と同じ符号を付している。図５においてはアレイ状光学素子Ｋ（図１等に示す）の図示は省略しているが、図５の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図４（ａ）に示す構成を有する。

表１および表２は、図５に示す撮像装置Ａの光学系Ｌの設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、表１、表２の面番号において、Ｒ１面とＲ２面は、それぞれ図５の光学素子Ｌ１の物体側の面と像側の面であり、Ｒ３面とＲ４面は、それぞれ図５のレンズＬ２の物体側の面と像側の面である。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａ_m（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数１）で表される。

本設計例では、光学素子Ｌ１における被写体側の面のうち、光学領域Ｄ１が透過率９２％であり、光学領域Ｄ２が透過率２３％である。すなわち、光学領域Ｄ１とＤ２の透過率の比は、４：１である。このような透過率の構成を実現するには、例えば光学素子Ｌ１を平板ガラスとし、Ｄ２に対応する領域のみに透過率が２３％となる誘電体多層膜を形成すればよい。誘電体多層膜としては、例えば、ＳｉＯ₂、ＴｉＯ₂等から形成される積層膜を用いればよい。

図６は、被写体距離４ｍの位置に４０ｍｍ×４０ｍｍの正方形パターンを配置したときに撮像素子Ｎにおいて得られる撮像画像である。図６の撮像画像は、図４に示す撮像素子Ｎ上の画素ピッチを６μｍに、アレイ状光学素子Ｋの光学要素Ｍ１のピッチを１２μｍに設定し、シミュレーションにより求めたものである。図６の撮像画像では、光学素子Ｌ１とアレイ状光学素子Ｋの作用で明暗パターンが交互に出現している。図６において画素Ｐ１によって形成される画像は、光学素子Ｌ１の透過率が高い光学領域Ｄ１を通過した光束によって形成されるため明るくなり、画素Ｐ２によって形成される画像は、光学素子Ｌ１の透過率が低い光学領域Ｄ２を通過した光束によって形成されるため暗くなる。図６の中央の破線の枠内において、画素Ｐ１の画素値の９箇所の平均値と画素Ｐ２の画素値の９箇所の平均値との比を画像から求めると、３．９８：１であり、光学領域Ｄ１とＤ２の透過率の比にほぼ一致している。

次に、画素Ｐ１およびＰ２の画素値からダイナミックレンジの高い画像を生成する方法について説明する。

図７は、画素Ｐ１の画素値と画素Ｐ２の画素値からダイナミックレンジの高い画像を生成するためのステップを示すフローチャートである。この処理は、図１の信号処理部Ｃにおいて実行される。画素Ｐ１と画素Ｐ２の画素値は８ビット（２５６階調）として説明する。

まず、ステップＳ１０１において、画素Ｐ１のうちの１つ（例えば画素Ｐ１Ａ）において得られた画素値と、画素Ｐ２のうちの１つ（例えば画素Ｐ２Ａ）において得られた画素値をそれぞれ撮像素子から読み込む。ここで、画素Ｐ１と画素Ｐ２の画素値は、それぞれＶ１、Ｖ２とする。上述したように、画素Ｐ１には光学領域Ｄ１を通過した光が入射し、画素Ｐ２には光学領域Ｄ２を通過した光が入射する。光学領域Ｄ２の光の透過率が光学領域Ｄ１の光の透過率の４分の１である場合、画素Ｐ１には、画素Ｐ２の約４倍の量の光が入射する。そのため、画素Ｐ１の画素値Ｖ１は画素Ｐ２の画素値Ｖ２の約４倍になる。

続いて、ステップＳ１０２において、画素Ｐ１Ａにおける画素値Ｖ１が飽和しているかどうかを判定する。それぞれの画素の情報量が８ビットであるため、画素値が２５５である場合に飽和していると判定され、画素値が２５５未満の場合に飽和していないと判定される。

ステップＳ１０２において画素Ｐ１Ａの画素値Ｖ１が飽和していないと判定された場合は、ステップＳ１０３において、画素値Ｖ１が出力値Ｖｏとして出力される。

一方、ステップＳ１０２において画素Ｐ１Ａにおける画素値Ｖ１が飽和していると判定された場合は、ステップＳ１０４において、画素値Ｖ２に光学素子Ｌ１における光学領域Ｄ１とＤ２の透過率の比Ａ（本実施の形態ではＡ＝４）を乗じた値が出力値Ｖｏとなる。これにより、例えば、画素Ｐ１Ａに、画素値Ｖ１が飽和する光の量よりも多い光が入射した場合にも、その光の量に相当する画素値を、画素値Ｖ２を用いて算出することができる。以上の演算を画素Ｐ１、Ｐ２の全ての画素について実行することにより、単一の撮像光学系を用いて（例えば１回の）撮像を行うだけで、ダイナミックレンジの広い画像情報を生成することができる。

本実施の形態では、透過率の比Ａが４であるため、ステップＳ１０４において出力される画像の情報値は１０ビットとなる。生成された１０ビットの画像を、例えば８ビットのディスプレイに表示させるには、ダイナミックレンジを圧縮する必要がある。圧縮時に画素値を比例させて圧縮すると暗部の画像情報が欠落するため、対数変換やテーブル変換等によって暗部の階調性を維持しつつダイナミックレンジを圧縮することが望ましい。

なお、図６の画像の合成処理後は、ｙ方向の画素値が１画素おきに欠落するため、欠落している画素の画素値をｙ方向に隣接する画素の画素値によって補間して生成してもよい。具体的には、画像において、座標（ｘ、ｙ＋１）の画素値が欠落している場合は、座標（ｘ、ｙ）の画素値と座標（ｘ、ｙ＋２）の画素値を平均して座標（ｘ、ｙ＋１）の画素値を補間すればよい。あるいは、ｘ方向の画素値を２画素ずつ加算、もしくは加算平均して各画像を生成してもよい。

また、本実施の形態１では、光学領域Ｄ１と光学領域Ｄ２の透過率の比は、４：１であるが、透過率の比はこれに限定されず、自由に設定することができる。これにより、ダイナミックレンジを自由に設定することができる。

本実施形態において、光学素子Ｌ１は、絞りＳの近傍に設けられていることが好ましい。図１においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射することが好ましい。像側テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りＳを通過する光線の位置によって一義的に決定される。また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍に光学素子Ｌ１を設け、光学系の焦点近傍にアレイ状光学素子Ｋを設けることにより、各光学領域Ｄ１、Ｄ２を通過した光を別の画素に入射させることができる。

また、本実施形態においては、光学素子Ｌ１を設ける代わりに、光学領域をレンズＬ２における絞り側の面に設けていてもよい。この場合、レンズＬ２のＲ３面上に透過率を異ならせる膜を形成すればよい。また、レンズＬ２が薄肉レンズである場合には、光学素子Ｌ１を設ける代わりに、レンズＬ２自体の透過率を異なるものとしてもよい。

また、本実施の形態１では、光学領域Ｄ１、Ｄ２の透過率を互いに異ならせているが、図８（ａ）、（ｂ）のように、絞りＳの開口面積（開口率）を異ならせてもよい。この場合、光学素子Ｌ１は不要となる。

図８（ａ）、（ｂ）において、Ｖはレンズ光学系Ｌの光軸を示す。図８（ａ）、（ｂ）のいずれにおいても、光学領域Ｄ１、Ｄ２は、レンズ光学系Ｌの光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌによって分割した領域である。光学領域Ｄ１、Ｄ２のそれぞれには開口Ｒ１、Ｒ２が設けられており、開口Ｒ２は開口Ｒ１よりも小さい。例えば、画素Ｐ２に供給される光の量を画素Ｐ１に供給される光の量の４分の１にしたい場合には、開口Ｒ２の面積を開口Ｒ１の面積の４分の１にすればよい。

図８（ａ）においては、開口Ｒ１、Ｒ２は共に半円であり、開口Ｒ２の半径を開口Ｒ１の半径よりも小さくしている。図８（ｂ）においては、開口Ｒ１、Ｒ２は同じ半径を有する扇形であり、開口Ｒ２の中心角の角度を開口Ｒ１の中心角の角度よりも小さくすることにより、光学領域Ｄ１、Ｄ２の開口部の面積を調整している。このような構成であっても、透過率を異ならせた場合と同様に、画素Ｐ１と画素Ｐ２に到達する光の量を異ならせることができるため、画素Ｐ１の画素値と画素Ｐ２の画素値からダイナミックレンジの高い画像を生成することができる。なお、開口は、図８（ａ）、（ｂ）に示す形に限られない。例えば、互いに面積の異なる円や楕円の形の開口や矩形の開口を、光学領域Ｄ１、Ｄ２のそれぞれに１個ずつ設けてもよい。

また、表１および表２に示す撮像装置の光学系は、像側テレセントリック光学系としている。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１に到達する光束と画素Ｐ２に到達する光束とのクロストークを低減することができる。

（実施の形態２）
本実施の形態２は、光学素子Ｌ１の領域を４つに分割した点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態１と異なっている。ここでは、実施の形態１と同様の内容についての詳細な説明は省略する。

図９は、光学素子Ｌ１を被写体側から見た正面図である。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ１、ｌ２によって４つに分割した領域である。直線ｌ１と直線ｌ２とは、光軸Ｖに垂直な平面において、互いに垂直に交わっている。原則として、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４は、等しい面積を有している。ただし、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４は異なる面積を有していてもよい。

また、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４において、光の透過率は、それぞれ、９２％、２３％、５．７５％、１．４４％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、６４：１６：４：１である。また、破線ｓは、絞りＳの位置を示している。

図１０は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は曲面であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図１１（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１１（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態１と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向うように配置されている。

撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３、Ｐ４に区別できる。画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を通過した光の大部分が入射する画素である。図１１（ｂ）において、画素Ｐ１Ａ、Ｐ１Ｂ・・・は画素Ｐ１に分類され、画素Ｐ２Ａ、Ｐ２Ｂ・・・は画素Ｐ２に分類され、画素Ｐ３Ａ、Ｐ３Ｂ・・・は画素Ｐ３に分類され、画素Ｐ４Ａ、Ｐ４Ｂ・・・は画素Ｐ４に分類される。

撮像面Ｎｉには、単位領域Ｍ２Ｉが、縦方向（列方向）および横方向に、複数配置されている。それぞれの単位領域Ｍ２Ｉには、２行２列の画素Ｐ１〜Ｐ４から構成される４つの画素が設けられている。撮像面Ｎｉにおける１つの単位領域Ｍ２Ｉは、アレイ状光学素子Ｋにおける１つの光学要素Ｍ２に対応している。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の表面を覆うようにマイクロレンズＭｓが設けられている。

単位領域Ｍ２Ｉ内に配置される画素（例えば画素Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ）には、被写体における同じ部分からの光が入射する。

図１２は、被写体距離４ｍの位置に４０ｍｍ×４０ｍｍの正方形パターンを配置したときに得られる撮像画像である。図１２に示す撮像画像は、図１１に示す撮像素子Ｎ上の画素ピッチを６μｍとし、アレイ状光学素子Ｋの光学要素Ｍ２のピッチを１２μｍに設定し、シミュレーションにより求めたものである。図１２の撮像画像では、光学素子Ｌ１とアレイ状光学素子Ｋの作用で４段階の明暗パターン（明暗パターンを見やすくするために、図１２の画像には、γ補正を行っている）が出現している。図１２の中央の破線の枠内において、画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４の比の９箇所の画素値の平均を画像から求めると、４７．５４：１２．４７：３．７６：１となる。この画素値の比は、前述した透過率の比からずれた結果となっている。これは、隣接する画素間のクロストークが存在するためである。例えば、光学領域Ｄ１を通過した光束の大部分は、画素Ｐ１に到達するが、一部は画素Ｐ２、Ｐ３、およびＰ４に到達する。同様に他の領域を通過した光束についても、到達すべき画素に隣接した画素にその一部が到達するため、クロストークが生じ、各画素値の比は各領域の透過率に対してずれた値となる。従って、各画素値の比を所望の値にするには、クロストーク量をシミュレーションや実験によって予め測定し、光学素子Ｌ１上の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４の透過率を適正に設定すればよい。本実施の形態においては、画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４の画素値の比を６４：１６：４：１にするための光学素子Ｌ１上の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４の透過率の比をシミュレーションによって求めると、９２：２１．８：４．８：１となる。

次に、画素Ｐ１、Ｐ２、Ｐ３、および画素Ｐ４の画素値からダイナミックレンジの高い画像を生成する方法について説明する。

図１３は、画素Ｐ１、Ｐ２、Ｐ３、および画素Ｐ４の画素値からダイナミックレンジの高い画像を生成するフローチャートである。この処理は、図１の信号処理部Ｃにおいて実行される。画素Ｐ１、Ｐ２、Ｐ３およびＰ４の画素値は８ビット（２５６階調）として説明する。

まず、ステップＳ１０１において、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４のそれぞれから１個ずつ、すなわち同じ単位領域Ｍ２Ｉ内に位置する４つの画素を選択し（例えば画素Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ）、それらの画素値を撮像素子から読み込む。ここで、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の画素値は、それぞれＶ１、Ｖ２、Ｖ３、およびＶ４とする。

続いて、ステップＳ２０２において、画素Ｐ１が飽和しているかどうかを判定する。それぞれの画素の情報量が８ビットであるため、画素値が２５５である場合に飽和していると判定され、画素値が２５５未満の場合に飽和していないと判定される。

ステップＳ２０２において画素Ｐ１が飽和していないと判定された場合は、ステップＳ２０３において、画素値Ｖ１が出力値Ｖｏとして出力される。

一方、ステップＳ２０２において画素Ｐ１が飽和している場合と判定された場合は、ステップＳ２０４において、画素Ｐ２が飽和しているかどうかを判定する。ここで、画素Ｐ２が飽和していない場合（ステップＳ２０４でＮｏ）は、ステップＳ２０５において、画素値Ｖ２に光学素子Ｌ１における光学領域Ｄ１とＤ２の透過率の比Ａ（本実施の形態ではＡ＝４）を乗じた値を出力値Ｖｏとする。また、画素Ｐ２が飽和している場合（Ｓ２０４でＹｅｓ）は、ステップＳ２０６において、画素Ｐ３が飽和しているかどうかを判定する。ここで、画素Ｐ２が飽和していない場合（Ｓ２０６でＮｏ）は、画素値Ｖ３に光学素子Ｌ１における光学領域Ｄ１とＤ３の透過率の比Ｂ（本実施の形態ではＢ＝１６）を乗じた値を出力値Ｖｏとする（Ｓ２０７）。また、画素Ｐ３が飽和している場合（Ｓ２０６でＹｅｓ）は、画素値Ｖ４に光学素子Ｌ１における光学領域Ｄ１とＤ４の透過率の比Ｃ（本実施の形態ではＣ＝６４）を乗じた値を出力値Ｖｏとする（Ｓ２０８）。以上の演算を全ての画素Ｐ１、Ｐ２、Ｐ３、およびＰ３について実行することにより、高ダイナミックレンジの画像情報を生成することができる。

本実施の形態２では、Ｃ＝６４であるため、ステップＳ２０８において生成される画像の情報値は１４ビットとなる。生成された１４ビットの画像を、例えば８ビットのディスプレイに表示させるには、ダイナミックレンジを圧縮する必要がある。圧縮時に画素値をそのまま比例して圧縮すると暗部の画像情報が欠落するため、対数変換やテーブル変換等によって暗部の階調性を維持しつつダイナミックレンジを圧縮することが望ましい。

以上のように、本実施の形態２では、画像データが１４ビットとなるため、実施の形態１に比べてさらに高ダイナミックレンジの画像を取得することができる。

なお、図１２の画像の合成処理後は、ｘ方向とｙ方向の画素値が１画素おきに欠落するため、欠落している画素の画素値をそれぞれｘ方向、ｙ方向に隣接する画素の画素値によって補間して生成してもよい。具体的には、画像において、座標（ｘ＋１、ｙ）の画素値が欠落している場合は、座標（ｘ、ｙ）の画素値と座標（ｘ＋２、ｙ）の画素値を平均して座標（ｘ＋１、ｙ）の画素値を補間し、座標（ｘ、ｙ＋１）の画素値が欠落している場合は、座標（ｘ、ｙ）の画素値と座標（ｘ、ｙ＋２）の画素値を平均して座標（ｘ、ｙ＋１）の画素値を補間すればよい。また、座標（ｘ＋１、ｙ＋１）の画素値が欠落している場合は、座標（ｘ、ｙ）の画素値と座標（ｘ＋２、ｙ＋２）の画素値を平均して座標（ｘ＋１、ｙ＋１）の画素値を補間してもよい。

また、本実施の形態２では、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率を互いに異ならせる構成としているが、図１４のように、絞りＳによって開口率を異ならせた構成であってもよい。図１４において、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４は、レンズ光学系Ｌの光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌによって分割した領域である。光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４のそれぞれには開口Ｒ１、Ｒ２、Ｒ３、Ｒ４が設けられている。開口Ｒ１、Ｒ２、Ｒ３、Ｒ４は中心角が９０度の扇形であり、それぞれの開口の半径が異なっている。このような構成であっても、透過率を異ならせた場合と同様に、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４に到達する光の量を異ならせることができるため、これらの画素の画素値からダイナミックレンジの高い画像を生成することができる。

なお、開口は、図１４に示す形に限られない。例えば、同じ半径を有する扇形の中心角の角度を調整することによって開口の面積を調整してもよいし、互いに面積の異なる円や矩形を、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４のそれぞれに１個ずつ設けてもよい。

（実施の形態３）
本実施の形態３は、光学素子Ｌ１の領域を同心円で分割した点と、アレイ状光学素子であるマイクロレンズアレイの１つのマイクロレンズに９つの画素が対応している点で、実施の形態２と異なっている。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１５は、本発明による撮像装置Ａの実施の形態３を示す模式図である。図１５において実施の形態１と同じ構成要素には、同じ符号を付して示している。

図１６は、光学素子Ｌ１を被写体側から見た正面図である。光学領域Ｄ１、Ｄ２は、レンズ光学系Ｌの光軸Ｖに垂直な平面と光軸Ｖが交わる点を中心とする円Ｃによって分割された領域である。光学領域Ｄ１は透過率の低い領域であり、光学領域Ｄ２は、透過率の高い領域である。また、破線ｓは、絞りＳの位置を示している。

本実施形態において、アレイ状光学素子Ｋの構成は第２の実施形態（図１０）と同様である。

図１７（ａ）は、図１５に示すアレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１７（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向かうように配置されている。

撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐａ、Ｐｃに区別できる。画素Ｐａは、図１６に示す光学素子Ｌ１上の光学領域Ｄ２を通過した光束（図１５において実線で示される光束Ｂ１）の大部分が入射する画素であり、画素Ｐｃは、光学領域Ｄ１を通過した光束（図１５において破線で示される光束Ｂ２）の大部分が入射する領域である。図１７（ｂ）において、画素ＰｃＡ、ＰｃＢ・・・は画素Ｐｃに分類され、画素ＰａＡ、ＰａＢ・・・は画素Ｐａに分類される。

撮像面Ｎｉには、単位領域Ｍ２Ｉが、縦方向（列方向）および横方向に、複数配置されている。それぞれの単位領域Ｍ２Ｉには、３行３列の９つの画素が設けられている。９つの画素のうちの中心は画素Ｐｃであり、残りの８つの画素が画素Ｐａである。撮像面Ｎｉにおける１つの単位領域Ｍ２Ｉは、アレイ状光学素子Ｋにおける１つの光学要素Ｍ２に対応している。撮像面Ｎｉ上には、画素Ｐｃ、Ｐａの表面を覆うように、マイクロレンズＭｓが設けられている。

このような構成により、画素Ｐｃによって露光量の小さい画素値と、画素Ｐａの総和によって露光量の高い画素値が生成される。これらの画素値から実施の形態１と同様に信号処理部Ｃにてダイナミックレンジの高い画像が生成される。

（実施の形態４）
本実施の形態４は、レンチキュラレンズやマイクロレンズアレイを撮像面上に形成したという点で、実施の形態１から３と異なる。ここでは、本実施形態において実施の形態１から３と同様の内容についての詳細な説明は省略する。

図１８（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、レンチキュラレンズ（またはマイクロレンズアレイ）Ｍｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐに対して、１つのレンチキュラレンズの光学要素あるいは、１つのマイクロレンズが対応している。本実施の形態においても、実施の形態１から３と同様に、光学素子Ｌ１上の異なる領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図１８（ｂ）は、本実施形態の変形例を示す図である。図１８（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子が積層されている。図１８（ｂ）に示す構成では、図１８（ａ）の構成よりも集光効率を高めることができる。

実施の形態１のようにアレイ状光学素子が撮像素子と分離していると、アレイ状光学素子と撮像素子との位置合せが難しくなるが、本実施の形態３のように、アレイ状光学素子Ｋを撮像素子上に形成する構成にすることにより、ウエハプロセスにおいて位置合せが可能になるため、位置合せが容易となり、位置合せ精度も増すことができる。

（実施の形態５）
本実施の形態５は、アレイ状光学素子の各光学要素に対応する各画素が色分けされているという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１から３のいずれかと同様の内容についての詳細な説明は省略する。

本実施の形態では、図１９（ａ）に示すように、撮像面における単位領域Ｍ１Ｉ（レンチキュラの１つの光学要素Ｍ１に対応する領域）内に、１行の画素Ｐ１と１行の画素Ｐ２とが配置されている。画素Ｐ１、Ｐ２のそれぞれは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）に色分けされている。すなわち、画素Ｐ１、Ｐ２のそれぞれとして、Ｒ（赤）、Ｇ（緑）およびＢ（青）のいずれかの光を検出するための画素が設けられている。具体的には、画素Ｐ１、Ｐ２のそれぞれの表面には、異なる波長帯域の光を透過するフィルタが設けられていればよい。このような構成を有することにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光のいずれかの色の光を主に検出することができる。

図１９（ｂ）は、本実施形態の変形例を示す図である。図１９（ｂ）に示す構成においては、撮像面における単位領域Ｍ１Ｉ（レンチキュラの１つの光学要素Ｍ１に対応する領域）内に、Ｇ（緑）、Ｒ（赤）の画素が繰り返し配列されており、その単位領域Ｍ１Ｉの隣りの単位領域Ｍ１Ｉでは、Ｂ（青）、Ｇ（緑）の画素が繰り返し配列されている。

本実施形態の構成では、カラー画像を生成することが可能となる。

なお、図１９（ａ）に示す１つの単位領域Ｍ１Ｉ内の６つの画素によって取得された情報から、１つの画素の画像を生成してもよい。また、図１９（ａ）の１つの光学要素Ｍ１において、上下に配置された２つの画素によって取得された情報から、１つの画素の画像を生成してもよい。例えば赤（Ｒ）の２つの画素において取得された情報を用いて１つの画素の画像を生成する場合には、この１つの画素の画像に、青（Ｂ）および緑（Ｇ）の情報を補間する。青（Ｂ）および緑（Ｇ）の情報としては、図１９（ａ）において赤（Ｒ）の画素の周囲に配置される画素の情報を用いればよい。

（実施の形態６）
本実施の形態６は、各画素は光学要素毎に色分けされているという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１から３のいずれかと同様の内容についての詳細な説明は省略する。

本実施形態では、図２０（ａ）に示すように、撮像面における単位領域Ｍ１Ｉ（レンチキュラの１つの光学要素Ｍ１に対応する領域）内に、２行の画素Ｐが配置されている。例えば、２行の画素Ｐのうち上の行には画素Ｐ１が配置され、下の行には画素Ｐ２が配置されている。本実施形態において、レンチキュラレンズの１つの単位領域Ｍ１Ｉに設けられる各画素Ｐ１、Ｐ２は全て同じ色である。それぞれの画素Ｐ１、Ｐ２は、単位領域Ｍ１Ｉごとに色分けされ、繰り返し配列されている。画素Ｐ１、Ｐ２は、異なる波長帯域の光を透過するフィルタを有することにより、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光のいずれかの色の光を主に検出することができる。

図２０（ｂ）は、本実施形態の変形例を示す図である。図２０（ｂ）に示す構成において、撮像面における単位領域Ｍ２Ｉ（マイクロレンズにおける１つの光学要素Ｍ２に対応する領域）内の各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は全て同じ色である。それぞれの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、光学要素Ｍ２毎に色分けされ、繰り返し配列されている。

このような構成にすることにより、実施の形態５と同様にカラー画像を生成することができる。

（実施の形態７）
本実施の形態７は、光学領域Ｄ１、Ｄ２のそれぞれが、光軸を挟んで分けられた複数の領域である点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態１と異なっている。ここでは、実施の形態１と同様の内容についての詳細な説明は省略する。

図２１（ａ）は、光学素子Ｌ１を被写体側から見た正面図である。図２１（ａ）において、光学素子Ｌ１は、レンズ光学系の光軸に垂直な平面において、光軸Ｖを中心とした回転対称の４つの領域（２つの光学領域Ｄ１および２つの光学領域Ｄ２）に分割されている。２つの光学領域Ｄ１同士および２つの光学領域Ｄ２同士が隣接しないように、光学領域Ｄ１、Ｄ２は交互に設けられている。２つの光学領域Ｄ１は、互いに光軸を中心（接点）として点対称な関係にある。同様に、２つの光学領域Ｄ２は、互いに光軸を中心（接点）として点対称な関係にある。

図２１（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。本実施の形態７では、光学領域Ｄ１を通過した光線は奇数行奇数列と偶数行偶数列に到達するため、光学要素Ｍ２に対応する画素において、奇数行奇数列の画素値と偶数行偶数列の画素値とを加算する。光学領域Ｄ２を通過した光線が偶数行奇数列と奇数行偶数列に到達するため、光学要素Ｍ２に対応する画素において、偶数行奇数列の画素値と奇数行偶数列の画素値とを加算して画像を生成する。

次に、本実施形態において得られる効果を、実施の形態１において得られる効果と比較して説明する。

実施の形態１では、図２に示すように、光学領域Ｄ１と光学領域Ｄ２のそれぞれが、半円形状の領域で２つ分割されている。このため、各領域を通過した光の像面におけるスポット重心が被写体距離によって変化し、位置ずれが発生する場合がある。

図２２は、実施の形態１において、光学領域Ｄ１を平面、光学領域Ｄ２を球面とした場合の、被写体距離毎の光線図、および、点像とその重心の変化について模式的に説明する図である。図２２において、（ａ１）、（ｂ１）および（ｃ１）は、被写体距離毎の光線図を示している。図２２の（ａ１）、（ｂ１）および（ｃ１）においては、被写体として物点Ｏを示している。ここでは、図２２において図１と同様の符号の説明は省略する。図２２の（ａ２）、（ｂ２）および（ｃ２）は、光学領域Ｄ１を通過した物点Ｏの光がレンチキュラを介して奇数列の画素に到達することにより得られた点像の画像情報である。図２２の（ａ３）、（ｂ３）、（ｃ３）は、光学領域Ｄ２を通過した物点Ｏの像が、レンチキュラを介して偶数列の画素に到達することにより得られた点像の画像情報である。それぞれの画像情報において、物点Ｏの像は半円形状となる。図２２の（ａ２）、（ａ３）、（ｂ２）、（ｂ３）、（ｃ２）、（ｃ３）には、それぞれの像の照度の重心（黒点）を示している。

それぞれの画像情報は、奇数列の画素毎に抽出した画像情報（ａ２、ｂ２、ｃ２）、および偶数列の画素毎に抽出した画像情報（ａ３、ｂ３、ｃ３）を、補間処理によってＹ方向に２倍に引き伸ばしたものとして模式的に示している。

図２２に示す通り、物点Ｏの位置（被写体距離）によってスポット径は変化する。光学領域Ｄ１、Ｄ２のそれぞれを通過した光によって得られた画像情報はそれぞれ半円形状になるため、奇数列の画素の画像情報と偶数列の画素の画像情報のそれぞれにおける点像の重心間距離ｄは、物点の位置によって異なる。この重心間距離ｄが存在すると、画像合成時に位置ずれが生じるため好ましくない。

一方、本実施の形態７では、光学領域Ｄ１、Ｄ２のそれぞれは、光軸を中心として点対称に配置されているため、被写体距離が変化しても点像の重心間距離ｄは変化しない。

図２３は、本実施形態において、被写体距離毎の点像とその重心の変化について模式的に説明する図である。図２３において、（ａ１）と（ａ２）、（ｂ１）と（ｂ２）および（ｃ１）と（ｃ２）は、マイクロレンズを介して物点Ｏを撮像した点像（半円で図示）とその重心（黒点）を示しており、それぞれ図２２の（ａ１）、（ｂ１）および（ｃ１）に示す物点Ｏの被写体距離に対応している。

図２３の（ａ１）、（ｂ１）および（ｃ１）は、奇数行奇数列の画素と偶数行偶数列の画素との画素値を加算した点像の画像情報である。図２３の（ａ２）、（ｂ２）および（ｃ３）は、偶数行奇数列の画素と奇数行偶数列の画素との画素値を加算した点像の画像情報である。図２３に示す通り、本実施の形態７では、それぞれの点像は、中心角が９０°の扇形が光軸を中心として対向した形状になるため、奇数行奇数列および偶数行偶数列の画素を加算した画像情報と偶数行奇数列および奇数行偶数列の画素を加算した画像情報のそれぞれにおける点像の重心間距離ｄは常に０であり、被写体距離によって変化しない。

このように、本実施の形態７では、光学領域Ｄ１、Ｄ２のそれぞれを、光軸を挟んで分離して配置することにより、被写体距離が変化しても取得した画像情報における像の位置がずれないようにすることができる。これにより、画像合成のズレを抑制することができる。

（実施の形態８）
本実施の形態は、実施の形態１に示す撮像装置を複数用いた測距装置である。図２４は撮像装置を２つ用いた測距装置の概略図である。図２４の構成要素には、図５と同様の符号を付している。本実施の形態では、アレイ状光学素子をレンチキュラとし、測距装置の基線方向Ｂに対して各撮像装置のレンチキュラの光学要素の配列方向Ｅを直交させている。測距装置では、視差をパターンマッチングすることにより抽出し、抽出した視差を用いて三角測量の原理により被写体までの距離を算出する。従って、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｅを直交させることで、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｅを同一にした場合に比べて、視差抽出の分解能を上げることができる。

本実施の形態の測距装置により、高ダイナミックレンジの環境下において、画像の白とびや黒つぶれを減少させることができ、従来の撮像装置では白とびや黒つぶれしていた領域においても測距することが可能となる。

（その他の実施形態）
なお、実施の形態１から７において、レンズＬ２は１枚のレンズから構成されているが、レンズＬ２は、複数群または複数枚の構成のレンズから構成されていてもよい。

また、複数の光学領域は、図２５のように絞り近傍に配置したレンズの表面上に形成されていてもよい。図２５は、図５の光学素子Ｌ１をレンズに置き換えた場合の断面図である。図２５の構成要素には、図５の符号と同様の符号を付している。

また、光学素子Ｌ１は、絞りの位置に対して被写体側に配置されているが、絞りの位置に対して像側に配置されていてもよい。

また、前述の実施の形態１から７では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図２６（ａ）は、撮像部近傍を拡大して示す図である。図２６（ａ）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示している。図２６（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、撮像面の周辺部では、光線が斜めに入射するため、隣接画素に光が漏れてクロストークが発生しやすい。図２６（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は、像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。なお、像側非テレセントリック光学系の場合、光学系の焦点における光線の入射角は、絞りＳを通過する光線の位置と画角によって一義的に決定される。

また、本実施の形態１から７において用いられている誘電体多層膜の代わりに、ＮＤフィルタ（減光フィルタ）を設けてもよい。この場合、ＮＤフィルタを設ける領域と設けない領域との間の境界面において、光の全反射が生じるおそれがある。そのため、境界面の物体面側に境界面を覆う遮光部材を設けることにより、各画素に不要な光が入射するのを防止することができる。遮光部材Ｑとしては、例えば、カーボンブラックを練りこんだポリエステルフィルム等を用いればよい。

図２７（ａ）から（ｃ）は、境界面に遮光部材Ｑを設けた光学素子Ｌ１を示す図である。図２７（ａ）に示す光学素子Ｌ１においては、例えば光学領域Ｄ２にＮＤフィルタＮ１を設け、光学領域Ｄ１には透明ガラスが設けられている。この場合、光学領域Ｄ１、Ｄ２の境界に、遮光部材Ｑを設ければよい。図２７（ｂ）に示す光学素子Ｌ１においては、例えば光学領域Ｄ２、Ｄ３、Ｄ４にＮＤフィルタＮ２、Ｎ３、Ｎ４を設け、光学領域Ｄ１には透明ガラスが設けられている。ＮＤフィルタＮ２、Ｎ３、Ｎ４の減光効果はそれぞれ異なっている。図２７（ｂ）においては、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４のそれぞれの領域の境界に、遮光部材Ｑを設ければよい。図２７（ｃ）に示す光学素子Ｌ１においては、図２７（ａ）と同様に、例えば光学領域Ｄ１にＮＤフィルタＮ１を設け、光学領域Ｄ２にはＮＤフィルタを設けていない。この場合、光学領域Ｄ１、Ｄ２の境界に、遮光部材Ｑを設ければよい。なお、誘電体多層膜や絞りの開口面積によって露光量を異ならせる場合にも、遮光部材を各光学領域の境界部分に設けることができる。

また、遮光部材は絞りと一体的に形成されていてもよい。

また、各領域の境界近傍を通過する光線は、クロストークの要因となるため、各領域を構成するフィルタを分割しない場合においても、各領域の境界部に遮光部材を設けてもよい。

また、本実施の形態２から７におけるマイクロレンズアレイの各光学要素（マイクロレンズ）は、光軸に対して回転対称形状であることが好ましい。以下、光軸に対して回転非対称な形状を有するマイクロレンズと比較して説明する。

図２８（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。このようなマイクロレンズアレイは、アレイの上に四角柱状のレジストを形成して熱処理を行うことによりレジストの角部を丸め、そのレジストを用いてパターニングを行うことにより形成される。図２８（ａ１）に示すマイクロレンズの等高線を図２８（ａ２）に示す。回転非対称な形状を有するマイクロレンズでは、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なる。

図２８（ａ３）は、図２８（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図２８（ａ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、このように回転非対称形状のマイクロレンズの場合、隣接の画素に光が漏れてクロストークが発生する。

図２８（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。

図２８（ｂ２）に、回転対称形状のマイクロレンズの等高線を示す。回転対称な形状を有するマイクロレンズでは、縦横方向と斜め方向の曲率半径は等しい。

図２８（ｂ３）は、図２８（ｂ１）、（ｂ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図２８（ｂ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、図２８（ａ３）のようなクロストークは、発生していないことがわかる。このように、マイクロレンズを回転対称形状にすることにより、クロストークを低減させることができる。極めて明るい画像を撮像した場合、本来飽和すべきでない画素情報がクロストークによって飽和してしまう可能性があり、ダイナミックレンジを低下させる要因となるが、クロストークを低減させることにより、ダイナミックレンジの低下を抑制することができる。

本発明にかかる撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の撮像装置、監視カメラ用の撮像装置、および測距装置の用途にも応用できる。

Ａ 撮像装置
Ｂ 基線方向
Ｂ１、Ｂ２ 光束
Ｃ 信号処理部
Ｄ１、Ｄ２、Ｄ３、Ｄ４ 光学領域
Ｅ 配列方向
Ｈ 領域
Ｋ アレイ状光学素子
Ｌ レンズ光学系
Ｌ１ 光学素子
Ｌ２ レンズ
Ｎ 撮像素子
Ｎｉ 撮像面
Ｎ１、Ｎ２、Ｎ３、Ｎ４ ＮＤフィルタ
Ｍｄ レンチキュラレンズ
Ｍｓ マイクロレンズ
Ｍ１、Ｍ２ 光学要素
Ｍ１Ｉ、Ｍ２Ｉ 単位領域
Ｏ 物点
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ 画素
Ｒ１、Ｒ２ 開口
Ｓ 絞り

Claims (23)

1. レンズおよび絞りを有するレンズ光学系と、
   前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
   前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と、
   前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備え、
   前記レンズ光学系は、前記絞りまたは前記絞り近傍の光軸に垂直な平面において第１の領域および第２の領域を有し、
   前記アレイ状光学素子は前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、
   前記第２の領域に入射する光の量に対する前記第２の領域から出射する光の量の割合は、前記第１の領域に入射する光の量に対する前記第１の領域から出射する光の量の割合よりも小さい、撮像装置。
2. 前記レンズ光学系は、前記第２の領域に設けられた光量調整膜を備え、
   前記光量調整膜は、前記第２の領域に入射した光の一部のみを透過させる、請求項１に記載の撮像装置。
3. 前記絞りは、前記第１の領域および前記第２の領域のそれぞれに開口を有し、
   前記第２の領域における前記絞りの開口が、前記第１の領域における前記絞りの開口よりも小さい、請求項１に記載の撮像装置。
4. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸に垂直な平面を、前記レンズ光学系の光軸と交わる直線によって分割した領域である、請求項１から３のいずれかに記載の撮像装置。
5. 前記第１の領域および前記第２の領域は、前記レンズ光学系の光軸に垂直な平面を、前記光軸が交わる点を中心とする円によって分割した領域である、請求項１から３のいずれかに記載の撮像装置。
6. 前記第１の領域および前記第２の領域は、それぞれ、前記レンズ光学系の光軸に垂直な平面において前記光軸を挟んで分けられた複数の領域である、請求項１から４のいずれかに記載の撮像装置。
7. 前記複数の第１の領域から前記複数の第１の画素に供給される光の量は前記複数の第２の領域から前記複数の第２の画素に供給される光の量のｋ倍（ｋ＞１）であり、
   前記信号処理部は、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、
   前記画素値Ｖ１が飽和していない場合には、画素値Ｖ１を出力し、
   前記画素値Ｖ１が飽和している場合には、前記第２の画素における画素値をＶ２にｋを乗じた値を出力する処理を行う、請求項１から６のいずれかに記載の撮像装置。
8. 前記信号処理部は、前記複数の第１の画素および前記複数の第２の画素のそれぞれについて、前記処理を行う、請求項７に記載の撮像装置。
9. 前記第１の画素および前記第２の画素には、被写体における同じ部分からの光が入射する、請求項７または８に記載の撮像装置。
10. 前記レンズ光学系は、前記第１、第２の領域以外の少なくとも第３および第４の領域をさらに備え、
    前記アレイ状光学素子は、前記第３および第４の領域を通過した光を、それぞれ、前記複数の第１、第２の画素以外の複数の第３の画素および複数の第４の画素に入射させ、
    前記信号処理部は、前記複数の第３の画素および複数の第４の画素のうちのそれぞれにおいて得られた画像の画素値を用いて前記画像を生成し、
    前記第３の領域に入射する光の量に対する前記第３の領域から出射する光の量の割合は、前記第１の領域に入射する光の量に対する前記第１の領域から出射する光の量の割合と、前記第２の領域に入射する光の量に対する前記第２の領域から出射する光の量の割合とのいずれとも異なり、
    前記第４の領域に入射する光の量に対する前記第４の領域から出射する光の量の割合は、前記第１の領域に入射する光の量に対する前記第１の領域から出射する光の量の割合と、前記第２の領域に入射する光の量に対する前記第２の領域から出射する光の量の割合と、前記第３の領域に入射する光の量に対する前記第３の領域から出射する光の量の割合とのいずれとも異なる、請求項１から９のいずれかに記載の撮像装置。
11. 前記レンズ光学系が像側テレセントリック光学系である、請求項１から１０のいずれかに記載の撮像装置。
12. 前記レンズ光学系は像側非テレセントリック光学系であって、
    前記レンズ光学系の光軸外において前記アレイ状光学素子の配列を前記撮像素子の画素の配列に対してオフセットさせている、請求項１から１０のいずれかに記載の撮像装置。
13. 前記アレイ状光学素子はレンチキュラレンズまたはマイクロレンズアレイである、請求項１から１２のいずれかに記載の撮像装置。
14. 前記アレイ状光学素子は、レンチキュラレンズであって、
    前記レンチキュラレンズは、横方向に細長い複数の光学要素が縦方向に配置されてなり、
    前記複数の光学要素のそれぞれは、１行の前記複数の第１の画素と１行の前記複数の第２の画素からなる２行の画素に対応するように配置されている、請求項１３に記載の撮像装置。
15. 前記アレイ状光学素子はマイクロレンズアレイであって、
    前記マイクロレンズアレイは、横方向および縦方向に複数の光学要素が２次元的に配置されてなり、
    前記複数の光学要素のそれぞれは、前記複数の第１の画素のうちの１つ、前記複数の第２の画素のうちの１つ、前記複数の第３の画素のうちの１つ、および前記複数の第４の画素のうちの１つ、に対応するように配置されている、請求項１０に記載の撮像装置。
16. 前記アレイ状光学素子はマイクロレンズアレイであって、
    前記マイクロレンズアレイは複数の光学要素を有し、
    前記複数の光学要素のそれぞれは、光軸に対して回転対称な形状を有する、請求項１から１３のいずれかに記載の撮像装置。
17. 前記アレイ状光学素子は前記撮像素子上に形成されている、請求項１から１６のいずれかに記載の撮像装置。
18. 前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
    前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１から１６のいずれかに記載の撮像装置。
19. 前記複数の第１の画素および前記複数の第２の画素は、異なる波長帯域の光を透過するフィルタを有する、請求項１から１８のいずれかに記載の撮像装置。
20. 前記アレイ状光学素子は複数の光学要素を有し、
    前記撮像素子は、前記複数の光学要素のそれぞれに対応する複数の単位領域を有し、
    前記複数の単位領域のそれぞれは、前記複数の第１の画素のうちの少なくとも１つと、前記複数の第２の画素のうちの少なくとも１つとを有し、
    前記複数の単位領域内の画素は、同じ波長域の光を透過するフィルタを有する、請求項１９に記載の撮像装置。
21. 前記レンズ光学系は、前記第２の領域に設けられた減光フィルタを備える、請求項１に記載の撮像装置。
22. 前記レンズ光学系における前記第１の領域と前記第２の領域との境界には、遮光部材が設けられている、請求項１から２１のいずれかに記載の撮像装置。
23. 請求項１から２２のいずれかに記載の撮像装置を複数備える測距装置。

Images