JP6260006B2 - 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 - Google Patents

Description

本開示は、撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置に関する。

例えば、特許文献１には、車載カメラの分野において、路面の状態または車線を検知するため、複眼カメラの光路中に、個眼毎に偏光軸の方向を異ならせた偏光子を設けた撮像装置が開示されている。

また、内視鏡システムおよび肌診断システム等、医療・美容分野のカメラにおいて、無偏光画像と偏光画像の両方を取得する撮像装置が実用化されている。これらの撮像装置には、無偏光の光と所定の偏光軸の方向に振動する光とを生体組織に照射する偏光照明が備えられている。所定の偏光成分の光を生体組織に照射する場合、生体表面での反射光は、偏光成分が維持された鏡面反射光となり、生体深部での反射光は、偏光成分が乱れた散乱反射光となる。したがって、撮像装置側に、偏光照明の偏光軸と平行な方向に振動する光を透過する偏光フィルタと、偏光照明の偏光軸と垂直な方向に振動する光を透過する偏光フィルタを配置することで、生体表面と生体深部の画像を取得することが可能となる。

例えば、特許文献２、３には、このような偏光特性の異なる画像を取得するための撮像装置が開示されている。

特開２０１０−２５９１５号公報 特開２００８−２３７２４３号公報 特開２０１１−９７９８７号公報

しかしながら、上述した従来の技術では、より簡単な構成で動画を撮影可能な撮像装置が求められていた。

本開示の、限定的ではない例示的なある実施の形態は、より簡単な構成で動画を撮影可能な撮像装置を提供する。

本開示の一態様にかかる撮像装置は、レンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と前記レンズ光学系を通過した光が入射する複数の第２の画素とを少なくとも有するカラー撮像素子と、前記レンズ光学系と前記カラー撮像素子との間に配置された第１のアレイ状光学素子とを備え、前記レンズ光学系は、複数の光学領域を有し、前記複数の光学領域は、分光透過率特性および透過偏光特性のうち少なくとも１つが互いに異なる第１の光学領域および第２の光学領域を含み、前記複数の第１の画素のそれぞれは、複数種類の互いに異なる分光透過率特性の分光フィルタを含み、前記複数の第２の画素のそれぞれは、少なくとも１種類以上の分光透過率特性の分光フィルタを含み、前記第１のアレイ状光学素子、前記第１の光学領域を通過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を通過した光を前記複数の第２の画素に入射させる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様にかかる撮像装置によれば、簡単な構成で動画を撮影することができる。

本開示による撮像装置Ａの実施の形態１を示す模式図である。 本開示の実施の形態１における光学素子Ｌ１の第１および第２の光学領域Ｄ１、Ｄ２を被写体側から見た正面図である。 本開示の実施の形態１におけるレンチキュラレンズＫの斜視図である。 （ａ）は、本実施の形態１における図１に示すレンチキュラレンズＫおよびカラー撮像素子Ｎを拡大して示す図であり、（ｂ）は、レンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本実施の形態１の変形例におけるレンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本開示の実施の形態２におけるレンチキュラレンズＫおよびカラー撮像素子Ｎを拡大して示す図である。 （ａ）は、本開示の実施の形態２の変形例における撮像素子上に設けることが可能な回折光学素子の断面図であり、（ｂ）および（ｃ）は、断面図である。 本開示の実施の形態３における撮像装置Ａを示すブロック図である。 本開示の実施の形態１におけるＳＡＤ演算について説明する図である。 本開示の実施の形態４における撮像システムＡＰ１を示す模式図である。 本開示の実施の形態５における電子ミラーＡＰ２の正面図である。 本開示の実施の形態６における測距装置の概略図である。 （ａ）は、本開示の実施の形態７における光学素子Ｌ１ｐの第１、第２、第３および第４の光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を被写体側から見た正面図であり、（ｂ）は、レンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本実施の形態７の変形例におけるレンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）は、本開示の実施の形態８における光学素子Ｌ１ｐの第１、第２、第３および第４の光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を被写体側から見た正面図であり、（ｂ）は、マイクロレンズアレイの斜視図であり、（ｃ）は、マイクロレンズとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本実施の形態８の変形例におけるマイクロレンズとカラー撮像素子Ｎ上の画素との位置関係を示す図である。 （ａ）および（ｂ）は、本開示の実施の形態９における第３の信号処理部の動作を説明するフローチャートである。 （ａ）は、本開示の実施の形態１０における撮像装置の配置を示す模式図であり、（ｂ）は、ｓ波およびｐ波の入射角と反射率との関係を示す図である。

本開示による撮像装置および撮像システムの一実施形態は以下の通りである。

本開示の一実施形態に係る撮像装置は、レンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と前記レンズ光学系を通過した光が入射する複数の第２の画素とを少なくとも有するカラー撮像素子と、前記レンズ光学系と前記カラー撮像素子との間に配置された第１のアレイ状光学素子とを備え、前記レンズ光学系は、複数の光学領域を有し、前記複数の光学領域は、分光透過率特性および透過偏光特性のうち少なくとも１つが互いに異なる第１の光学領域および第２の光学領域を含み、前記複数の第１の画素のそれぞれは、複数種類の互いに異なる分光透過率特性の分光フィルタを含み、前記複数の第２の画素のそれぞれは、少なくとも１種類以上の分光透過率特性の分光フィルタを含み、前記第１のアレイ状光学素子は、前記第１の光学領域を通過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を通過した光を前記複数の第２の画素に入射させる。

本開示の一態様にかかる撮像装置によれば、単一の撮像系を用いて偏光特性の異なる複数の画像、または分光特性の異なる複数の画像を同時に取得することができる。

前記カラー撮像素子は、前記レンズ光学系を通過した光が入射する複数の第３の画素、および前記レンズ光学系を通過した光が入射する複数の第４の画素をさらに有し、前記レンズ光学系における前記複数の光学領域は、第３の光学領域および第４の光学領域をさらに含み、前記第１の光学領域、前記第２の光学領域、前記第３の光学領域、および前記第４の光学領域は、分光透過率特性および透過偏光特性のうち少なくとも１つが互いに異なり、前記複数の第３の画素および前記複数の第４の画素は、複数種類の互いに異なる分光透過率特性の分光フィルタを含み、前記第１のアレイ状光学素子は、前記第３の光学領域を通過した光を前記複数の第３の画素に入射させ、前記第４の光学領域を通過した光を前記複数の第４の画素に入射させてもよい。

前記第１のアレイ状光学素子が、マイクロレンズアレイであってもよい。

前記第１の光学領域は、第１の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成され、前記第２の光学領域は、前記第１の偏光軸とは異なる第２の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成されていてもよい。

前記第１の光学領域は、無偏光の光を透過し、前記第２の光学領域は、所定の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成されていてもよい。

前記第１の光学領域は、可視光帯域の光を主に透過する分光フィルタによって構成され、前記第２の光学領域は、非可視光帯域の光を主に透過する分光フィルタによって構成されていてもよい。

前記第１のアレイ状光学素子が第１のレンチキュラレンズであり、前記第１のレンチキュラレンズは、前記カラー撮像素子上に形成されていてもよい。

撮像装置は、前記第１のレンチキュラレンズと前記カラー撮像素子との間に設けられた第２のレンチキュラレンズをさらに備え、前記第１のレンチキュラレンズは、前記第２のレンチキュラレンズを介して前記カラー撮像素子上に形成されていてもよい。

前記第２のレンチキュラレンズは、バイナリー形状で形成された屈折率分布素子、またはマルチレベル形状で形成された屈折率分布素子であってもよい。

撮像装置は、前記第１のレンチキュラレンズと前記カラー撮像素子との間に設けられたマイクロレンズをさらに備え、前記第１のレンチキュラレンズは、前記マイクロレンズを介して前記カラー撮像素子上に形成されていてもよい。

前記マイクロレンズは、バイナリー形状で形成された屈折率分布素子、またはマルチレベル形状で形成された屈折率分布素子であってもよい。

撮像装置は、前記複数の第１の画素および前記複数の第２の画素から得られる画素信号に基づいて、それぞれ第１の画像情報および第２の画像情報を生成するように構成された第１の信号処理部をさらに備えていてもよい。

撮像装置は、前記第１の画像情報および前記第２の画像情報に基づき被写体の視差情報を生成するように構成された第２の信号処理部と、前記視差情報に基づいて合焦制御信号を生成するように構成された制御部と、レンズ駆動部とをさらに備え、前記レンズ光学系は、前記レンズ光学系の光軸に沿って移動可能な少なくとも１つのレンズを含み、前記レンズ駆動部は、前記合焦制御信号に基づいて前記レンズを前記光軸に沿って移動させてもよい。

撮像装置は、第３の信号処理部をさらに備え、前記第３の信号処理部は、前記第１の画像情報または前記第２の画像情報のうち少なくともいずれか一方の画像情報の明るさを読みとり、前記画像の明るさを所定の閾値と比較し、前記比較結果に応じて前記第１の画像情報と前記第２の画像情報のうちいずれか一方を出力してもよい。

撮像装置は、第３の信号処理部をさらに備え、第３の信号処理部は、記第１の画像情報または前記第２の画像情報のうち少なくともいずれか一方の画像情報の明るさを読み取り、前記画像の明るさに応じて前記第１の画像情報と前記第２の画像情報との各加算比率を決定し、前記加算比率に基づいて、前記第１の画像情報と前記第２の画像情報とを加算した加算画像を生成し、出力してもよい。

本開示の一実施形態に係る撮像システムは、上記いずれかに記載の撮像装置と、偏光光を出射する偏光照明とを備える。

撮像システムは、前記撮像装置において取得された画像を表示する表示装置をさらに備えていてもよい。

本開示の一実施形態に係る電子ミラーシステムは、上記撮像装置と、前記撮像装置において取得された画像を表示する表示装置とを備える。

電子ミラーシステムは、偏光光を出射する偏光照明をさらに備え、前記撮像装置、前記偏光照明、および前記表示装置が略同一平面状に配置されていてもよい。

電子ミラーシステムは、前記第１の画像情報および前記第２の画像情報を用いて被写体の特徴を定量化した情報を生成するように構成された第３の信号処理部をさらに備え、前記表示装置は、前記定量化された情報をさらに表示してもよい。

電子ミラーシステムは、前記第１の画像情報および前記第２の画像情報に基づき被写体の視差情報を生成し、生成した情報に基づき、被写体の位置を移動させるための情報を生成するように構成された第２の信号処理部とをさらに備え、前記表示装置は、前記被写体と前記表示装置との距離を変化させるための情報を表示してもよい。

本開示の一実施形態に係る撮像システムは、上記撮像装置と、近赤外照明または近紫外照明とを備える。

本開示の一実施形態に係る測距装置は、上記いずれかに記載の撮像装置を複数備える。

（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施の形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたレンチキュラレンズＫと、カラー撮像素子Ｎを含む撮像部ＩＭと、第１の信号処理部Ｃ１とを備える。

レンズ光学系Ｌは、被写体（図示せず）からの光が入射する絞りＳと、絞りＳを通過した光が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射するレンズＬ２とから構成されている。レンズ光学系Ｌは、第１、第２の光学領域Ｄ１、Ｄ２を有する。

レンズＬ２は、一枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。また、レンズＬ２は、絞りＳの前後に複数枚に分かれて配置された構成であってもよい。図１では、レンズＬ２を一枚構成として図示している。

光学素子Ｌ１は、絞りＳの近傍に配置され、第１の光学領域Ｄ１に位置する部分と第２の光学領域Ｄ２に位置する部分とによって構成される。第１の光学領域Ｄ１には、透過軸である第１の偏光軸の方向に振動する光を透過する偏光フィルタが配置され、第２の光学領域Ｄ２には、第１の偏光軸と直交する透過軸である第２の偏光軸の方向に振動する光を透過する偏光フィルタが配置されている。

第１の光学領域Ｄ１と第２の光学領域Ｄ２との界面には、偏光フィルタの端面が存在するため、偏光フィルタの端面に入射する光を遮光するための遮光領域ＳＳが設けられている。

本実施の形態では、２つの光学領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、レンチキュラレンズＫに入射する。レンチキュラレンズＫは、光学領域Ｄ１を通過した光をカラー撮像素子Ｎにおける複数の画素Ｐ１に、光学領域Ｄ２を通過した光をカラー撮像素子Ｎにおける複数の画素Ｐ２に入射させる。カラー撮像素子Ｎは画素Ｐ１、Ｐ２に入射した光を光電変換によって、入射した光の強度に応じた画素信号に変換する。画素信号とは、各画素Ｐ１、Ｐ２において、光電変換によって生成した輝度情報を示す信号をいう。第１の信号処理部Ｃ１は、カラー撮像素子Ｎから画素信号を受け取り、複数の画素Ｐ１を含む画素群の輝度情報から、第１の偏光軸の方向に振動する光による画像の画像情報を生成し、出力する。また、第１の信号処理部Ｃ１は、複数の画素Ｐ２を含む画素群の輝度情報から、第２の偏光軸の方向に振動する光による画像の画像情報を生成し、出力する。第１の信号処理部Ｃ１は、電子回路等によって構成されていてもよいし、演算装置、メモリおよびソフトウエアによって構成されていてもよい。

図１において、光束Ｂ１は、光学素子Ｌ１上の第１の光学領域Ｄ１を通過する光束（ｌｉｇｈｔ ｂｅａｍ）であり、光束Ｂ２は、光学素子Ｌ１上の第２の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、絞りＳ、光学素子Ｌ１、レンズＬ２、レンチキュラレンズＫをこの順に通過し、カラー撮像素子Ｎ上の撮像面Ｎｉに到達する。

図２は、第１の光学領域Ｄ１および第２の光学領域Ｄ２を被写体側から見た正面図である。光学素子Ｌ１における第１の光学領域Ｄ１および第２の光学領域Ｄ２は、光軸Ｖを含む平面によって分割される２つの空間に配置される。図２において、破線ｓは、絞りＳの開口領域を示している。また、図１および図２における矢印Ｈが、撮像装置が使用される場合における水平方向を示す。

図３は、レンチキュラレンズＫの斜視図である。レンチキュラレンズは、複数のシリンドリカルレンズＭ１を有する。各シリンドリカルレンズＭ１はｘ方向（第１の方向）に伸び、複数のシリンドリカルレンズＭ１がｙ方向（第２の方向）に配列されている。ｙ方向は図１、２における水平方向に対応する。それぞれのシリンドリカルレンズＭ１のｘ方向に垂直な断面は、カラー撮像素子Ｎ側に突出した曲面の形状を有する。本実施の形態では、ｘ方向およびｙ方向は互いに直交している。

図１に示すように、レンチキュラレンズＫは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。

図４（ａ）は、図１に示すレンチキュラレンズＫおよびカラー撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、レンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を示す図である。レンチキュラレンズＫは、シリンドリカルレンズＭ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。

カラー撮像素子Ｎは、撮像面Ｎｉと複数の画素Ｐとを含む。図４（ｂ）に示すように、複数の画素Ｐは、ｘ方向およびｙ方向に２次元に配列されている。ｙ方向およびｘ方向への配列をそれぞれ行および列と呼ぶ場合、複数の画素は、撮像面Ｎｉ上において、例えば、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置されている。つまり、ｘ方向に１からｌ個の画素が配列した一行の画素群が、ｙ方向に１からｍ行目までのｍ行に配列されている。

ｍ行の画素群のうち、ｊ行目（１≦ｊ＜ｍ）に配列されたｌ個の画素のｘ方向における中心Ｃ’_ｊの各位置は、ｊ＋１行目に配列されたｌ個の画素のｘ方向における中心Ｃ’_ｊ＋１の各位置と略同一である。

同様に、複数の画素を、ｙ方向に配列された複数の画素により構成される１列の画素群がｘ方向に１からｌ列までのｌ列に配列されていると見ることもできる。この場合、ｌ列の画素群のうちｕ列目（１≦ｕ＜ｌ）に配列されたｍ個の画素のｙ方向における中心の各位置は、ｕ＋１列目に配列されたｍ個の画素のｙ方向における中心の各位置と略同一である。

複数の画素Ｐは、それぞれｘ方向に配列され、行を構成する複数の画素Ｐ１および複数の画素Ｐ２に分けられる。複数の画素Ｐ１および複数の画素Ｐ２のそれぞれは、上述したようにｘ方向に１行に並んで配置されている。ｙ方向において、画素Ｐ１の行と画素Ｐ２の行とは交互に配置されている。レンチキュラレンズＫは、レンチキュラレンズＫを構成する複数のシリンドリカルレンズＭ１のうちの１つが、撮像面Ｎｉ上における１行の画素Ｐ１により構成される画素群および撮像面Ｎｉ上における１行の画素Ｐ２により構成される画素群からなる２行の画素群に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２の表面を覆うようにマイクロレンズＭｓが設けられている。

本実施の形態において、複数の画素Ｐ１および複数の画素Ｐ２は、いずれも撮像面Ｎｉにおいて同じ形状を有している。例えば、複数の第１の画素Ｐ１および複数の第２の画素Ｐ２は同じ矩形形状を有しており、面積も互いに等しい。

また、画素Ｐ１、Ｐ２のそれぞれは、マイクロレンズＭｓの下に位置し、撮像面Ｎｉから内部に設けられた光電変換部ＥＸ、並びに光電変換部上に設けられたカラーフィルタＲ（赤色）、カラーフィルタＧ（緑色）、およびカラーフィルタＢ（青色）を含む。画素Ｐ１、Ｐ２において、カラーフィルタＲ（赤色）、カラーフィルタＧ（緑色）、およびカラーフィルタＢ（青色）は、図４（ｂ）に示す配列で配置されている。具体的には、撮像面における、レンチキュラレンズの１つのシリンドリカルレンズＭ１に対応する単位領域内に、カラーフィルタＧ（緑色）を有する画素およびカラーフィルタＲ（赤色）を有する画素がｘ方向に繰り返し配列されている。その単位領域のｙ方向に隣接する単位領域では、カラーフィルタＢ（青色）を有する画素およびカラーフィルタＧ（緑色）を有する画素がｘ方向に繰り返し配列されている。

したがって、画素Ｐ１の画素群の行だけを見れば、カラーフィルタＢ（青色）およびカラーフィルタＧ（緑色）を有する画素の画素群の行と、カラーフィルタＧ（緑色）およびカラーフィルタＲ（赤色）を有する画素のフィルタを有する画素の画素群の行とが交互に配列されている。同様に、画素Ｐ２の画素群の行だけを見れば、カラーフィルタＢ（青色）およびカラーフィルタＧ（緑色）のフィルタを有する画素の画素群の行と、カラーフィルタＧ（緑色）およびカラーフィルタＲ（赤色）のフィルタを有する画素のフィルタを有する画素の画素群の行とが交互に配列されている。このため、画素Ｐ１の画素群の行だけで画像を構成しても、画素Ｐ２の画素群の行だけで画像を構成しても、それぞれの画像には、カラーフィルタＲ、Ｇ、Ｂを有する画素から得られた輝度値による画素信号を含むため、それぞれの画像はカラー画像となる。

レンチキュラレンズＫは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束（図１において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束（図１において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、レンチキュラレンズＫの屈折率、撮像面Ｎｉからの距離及びシリンドリカルレンズＭ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に偏光特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の偏光特性を同様に制御することができる。すなわち、本実施の形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。絞り近傍に位置する第１および第２の光学領域Ｄ１、Ｄ２に光学素子Ｌ１を配置することによって、領域の分割数に応じた偏光特性を光束に与えることができる。

図１においては、絞りＳを通過した光が直接、他の光学部材を介することなく、光学素子Ｌ１に入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも被写体側に設けられていてもよい。この場合、光学素子Ｌ１を通過した光が、直接、他の光学部材を介することなく、絞りＳに入射してもよい。

また、レンチキュラレンズＫは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された第１及び第２の光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。

以上の構成により、画素Ｐ１により構成される画素群と画素Ｐ２により構成される画素群との輝度情報を用いて、第１の偏光軸の方向に振動する偏光の情報を有する第１のカラー画像情報と、第１の偏光軸と直交する第２の偏光軸の方向に振動する偏光の情報を有する第２のカラー画像情報を同時に取得することができる。すなわち、本構成では、光学領域Ｄ１、Ｄ２とＲ、Ｇ、Ｂ画素との組み合わせで、合計６チャンネルの画像情報を同時に取得することができる。また、第１の偏光軸と第２の偏光軸とは互いに直交しているため、第１のカラー画像情報と第２のカラー画像情報を加算平均することにより、第３の無偏光のカラー画像情報を生成することもできる。

このような構成によれば、画素Ｐ１は、他の画素Ｐ１とｘ方向に隣接して配置され、ｙ方向には画素Ｐ２、と交互に配置される。画素Ｐ２についても同様に、画素Ｐ２は、他の画素Ｐ２とｘ方向に隣接して配置され、ｙ方向には画素Ｐ１、と交互に配置される。このため、第１のカラー画像情報と第２のカラー画像情報とは、カラー撮像素子Ｎのすべての画素から１つの画像を得る場合に比べて、ｘ方向には同じ解像度を有し、ｙ方向には１／２の解像度を有する。つまり、有効画素数の低下は１／２である。よって、カラー撮像素子Ｎのすべての画素から１つの画像を得られる場合に比べて１／２の解像度の低下で、偏光方向の異なる光による２つの画像を同時に得ることができる。これに対し、光学素子Ｌ１を４つの光学領域に分割し、２×２画素に１つのマイクロレンズが対応するように配列することによって、各マイクロレンズが４つの光学領域を透過した光束をそれぞれ異なる画素に入射させる場合、ｘ方向およびｙ方向の有効画素数がそれぞれ１／２となり、有効画素数および解像度は全体で１／４になる。このため、本実施形態によれば、光学素子Ｌ１を４つの光学領域に分割した場合に得られる画像の２倍の解像度が得られる。なお、このような有効画素および解像度の低下は、分割した複数の光学領域を透過する光束をそれぞれ別の画素に入射させたためによって生じ、カラーフィルタの配置によるものではない。従来の撮像装置において、カラーフィルタがベイヤー配列によって配列されている場合、２×２画素の単位でカラーフィルタの組み合わせが繰り返し配列されているが、補間処理によって解像度を維持できる。例えば、ベイヤー配列の場合、画像の垂直方向の画素数が１０００画素の場合、レンズ性能が十分であれば、補間処理によって１０００ＴＶ本程度の解像度が得られる。

また、本実施の形態によれば、分光は撮像素子の画素上に配置されたカラーフィルタで行うため、被写界深度外においても自然なボケ方のカラー画像を得ることができる。これに対して、光学素子Ｌ１の光学領域にカラーフィルタを配置した場合、被写界深度外の被写体では視差による色ずれが生じ、不自然なボケ方をしたカラー画像が得られる場合がある。また、光学素子Ｌ１の光学領域に配置するカラーフィルタが誘電体多層膜によって構成される場合には、誘電体多層膜とカラー撮像素子Ｎの撮像面Ｎｉ等との間で多重反射が生じ、ゴーストが発生する場合がある。また、誘電体多層膜は入射角によって分光透過率特性が変化するため、光学素子Ｌ１の光学領域にカラーフィルタを配置した場合では、色シェーディングが発生する場合がある。

また、本実施の形態によれば、レンチキュラレンズによって、光学素子Ｌ１の光学領域Ｄ１、Ｄ２をそれぞれ透過する光を画素Ｐ１、Ｐ２にそれぞれ入射させるため、レンチキュラレンズによってクロストークが発生するとしても、そのクロストークの発生は１方向である。よって、光学素子Ｌ１を４つの光学領域に分割し、マイクロレンズによって４つの画素に入射させる場合に比べて、クロストークは少なく、画像信号の分離性が良い。

また、光学素子Ｌ１を２つの光学領域に分割しているため、４つの光学領域に分割する場合に比べて、光学領域の境界に配置する遮光領域の面積が小さくでき、遮光領域による感度の低下を抑制することができる。

なお、本実施の形態では、光学素子Ｌ１上の光学領域Ｄ１と光学領域Ｄ２とを互いに偏光軸の異なる偏光フィルタで構成したが、光学領域Ｄ１に透明ガラス板を配置し、光学領域Ｄ２に第１の偏光軸の方向に振動する光を透過する偏光フィルタを配置する構成としてもよい。また、光学領域Ｄ１には何も配置せず、光学領域Ｄ２に第１の偏光軸の方向に振動する光を透過する偏光フィルタを配置する構成としてもよい。

このような構成により、画素Ｐ１により構成される画素群と画素Ｐ２により構成される画素群との輝度情報を用いて、無偏光の情報を有する第１のカラー画像情報と、第１の偏光軸の方向に振動する偏光の情報を有する第２のカラー画像情報を同時に取得することができる。また、第１のカラー画像情報に偏光フィルタの透過率×２の係数を乗じてから第２のカラー画像情報を減算することにより、第１の偏光軸と直交する第２の偏光軸の方向に振動する偏光の情報を有する第３のカラー画像情報を生成することもできる。

また、光学素子Ｌ１上の光学領域Ｄ１と光学領域Ｄ２とを互いに分光透過率特性を異ならせたフィルタを配置した構成であってもよい。例えば、光学領域Ｄ１は可視光を主に透過する分光フィルタによって構成し、光学領域Ｄ２は近赤外光もしくは近紫外光を主に透過する分光フィルタによって構成する。

このような構成により、画素Ｐ１には可視光の光が主に入射するため、画素Ｐ１の画素群の輝度情報を用いて、可視光の情報を有するカラー画像情報を取得することができる。また、画素Ｐ２には近赤外光または近紫外光の光が主に入射するが、撮像素子上に形成されているＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタは、近赤外光および近紫外光を透過するため、画素Ｐ２の画素群の輝度情報を用いて、近赤外光または近紫外光の情報を有する画像情報を取得することができる。このように、可視光の情報を有するカラー画像情報と、近赤外光または近紫外光の情報を有する画像情報を同時に取得することができる。

また、本実施の形態では、撮像素子上のカラーフィルタをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）で構成したが、他のカラーフィルタ構成であってもよい。例えば、図５（ａ）、（ｂ）のように撮像素子上のカラーフィルタをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）、Ｘ（任意の帯域の色）としてもよい。任意の帯域の色とは、例えば、図５（ａ）の場合では、白（可視光全域）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域である。このような構成により、２つの偏光軸の画像を同時に取得する際、または偏光と無偏光の画像情報を同時に取得する際に分光情報を１種類増すことができる。また、図５（ｂ）の場合では、任意の帯域の色ＸをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のいずれか１つの帯域としてもよいし、白（可視光）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域としてもよい。このような構成により、画素Ｐ２は所定の帯域のみの画像情報に限定されるため、光学領域Ｄ２の情報に対応する画像情報の解像度を向上させることができる。例えば、光学領域Ｄ１に透明ガラス板を配置し、光学領域Ｄ２に第１の偏光軸の方向に振動する光を透過する偏光フィルタを配置し、カラーフィルタ配列を図５（ｂ）の配列とし、カラーフィルタＸをシアンとした場合では、画素Ｐ１の画素群の輝度情報を用いてカラー画像を生成し、画素Ｐ２の画素群の輝度情報を用いて、シアン単色の解像度の高い偏光画像を生成することができる。また、光学領域Ｄ１に可視光を主に透過する分光フィルタを配置し、光学領域Ｄ２に近赤外光または近紫外光を主に透過する分光フィルタを配置し、カラーフィルタ配列を図５（ｂ）の配列とし、カラーフィルタＸを白色とした場合では、画素Ｐ１の画素群の輝度情報を用いてカラー画像を生成し、画素Ｐ２の画素群の輝度情報を用いて、近赤外光もしくは近紫外光の情報を有し、解像度が高くかつ感度の高い近赤外光または近紫外光の情報を有する画像情報を生成することができる。なお、光学領域Ｄ２に配置する分光フィルタは、吸収型の分光フィルタであってもよい。また、このような構成において、近赤外光または近紫外光の照明を備えた撮像システムとして構成してもよい。

（実施の形態２）
本実施の形態２は、レンチキュラレンズをカラー撮像素子Ｎの撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施の形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図６（ａ）および（ｂ）は、レンチキュラレンズおよびカラー撮像素子Ｎを拡大して示す図であり、１つの光学領域を通過した光線のみ図示している。本実施の形態では、レンチキュラレンズＭｄ１が、カラー撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐのうち画素Ｐ１の画素群の１行および画素Ｐ２の画素群の１行からなる２行に対して、レンチキュラレンズＭｄ１を構成する複数のシリンドリカルレンズのうち１つのシリンドリカルレンズが対応している。本実施の形態においても、実施の形態１と同様に、異なる光学領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図６（ｂ）は、本実施の形態の変形例を示す図である。図６（ｂ）に示す構成では、画素Ｐを覆うようにレンチキュラレンズＭｄ２（または、マイクロレンズＭｓ）が形成され、レンチキュラレンズＭｄ２（または、マイクロレンズＭｓ）の表面上に低屈折率層Ｗを介してレンチキュラレンズＭｄ１が積層されている。図６（ｂ）に示す構成では、図６（ａ）の構成よりも集光効率を高めることができる。レンチキュラレンズＭｄ２を用いる場合には、画素Ｐ１の画素群の１行または画素Ｐ２の画素群の１行に対して、レンチキュラレンズＭｄ２を構成する複数のシリンドリカルレンズのうち１つのシリンドリカルレンズが対応している。また、マイクロレンズＭｓを用いる場合、１つのマイクロレンズＭｓに対して、１つの画素Ｐ１または画素Ｐ２が対応している。

実施の形態１のようにレンチキュラレンズＫがカラー撮像素子Ｎと分離していると、レンチキュラレンズＫとカラー撮像素子Ｎとの位置合せが難しくなるが、本実施の形態のように、レンチキュラレンズＭｄ１をカラー撮像素子Ｎ上に形成する構成にすることにより、ウエハプロセスによって位置合せが可能になるため、位置合せが容易となり、位置合せ精度も増すことができる。

また、本実施の形態２において、撮像素子の各画素上に設けられるレンチキュラレンズは、他の形状のマイクロレンズＭｓを撮像素子にさらに設けてもよい。例えば、特開２００８−１０７７３号公報に開示されているような、屈折率の異なる材料の分布によって光を集光させる屈折率分布素子を用いてもよい。図７（ａ）は、回折光学素子Ｍｄ２’（Ｍｓ’）の一例を示す断面図であり、（ｂ）は、回折光学素子Ｍｄ２’の断面図、（ｃ）は、回折光学素子Ｍｓ’の断面図である。図７（ａ）、（ｂ）および（ｃ）において、斜線で示す光学部材分とその周囲の部分は互いに異なる屈折率の材料または媒質で構成される。図７（ｂ）に示すように、回折光学素子Ｍｄ２’は、画素が形成される平面と平行な平面においてストライプ形状を有し、画素の中心から外側になるにしたがって、ストライプパターンの幅が減少するように配置されることによって構成される。光学部材とその周囲の部分との屈折率差、またはストライプパターンの幅もしくはパターン間の間隔などによって、回折光学素子Ｍｄ２’の屈折率を調整し得る。光学部材の形状は画素中心に対してＨ方向の線対称形に限られず、画素中心に対してＨ方向に非線対称形であってもよい。また、図７（ｃ）に示すように回折光学素子Ｍｓ’は、例えば、画素が形成される平面と平行な平面においてリング形状を有し、平面に垂直な方向に伸びる円筒状の複数の光学部材が同心状に配置されることによって構成される。光学部材とその周囲の部分との屈折率差、円筒のサイズ、または同心状に配置される円筒の間隔などによって、回折光学素子Ｍｓ’の屈折率を調整し得る。光学部材の形状は円筒状に限られず、光軸に対して非回転対称であってもよい。また、図７（ａ）、（ｂ）および（ｃ）では、回折光学素子が２レベルのバイナリー回折光学素子である例について示したが、３レベル以上のマルチレベル回折光学素子であってもよい。

このような構造を有する回折光学素子Ｍｄ２’および回折光学素子Ｍｓ’は、例えば半導体フォトリソグラフ技術を用いて製造することができる。従来のレンズ面を有するマイクロレンズは、例えば、樹脂を熱変形させて製造するため、撮像素子の複数の画素上に設けられる複数のマイクロレンズ間で、レンズ面の曲面を異ならせることは困難であった。これに対し、回折光学素子Ｍｄ２’または回折光学素子Ｍｓ’を用いる場合、撮像素子の複数の画素間で、上述の光学部材の寸法を異ならせることにより、光学特性を変えることができる。よって、レンズ光学系ＬおよびレンチキュラレンズＫによって、斜めから光線がカラー撮像素子Ｎの画素に入射する場合でも、効率よく画素に光を集光させることができる。

（実施の形態３）
本実施の形態３は、第１の信号処理部で生成した第１の画像情報および第２の画像情報から撮影対象物の視差情報を生成する第２の信号処理部と、レンズ駆動部と、前記視差情報に基づいて合焦制御を行う制御部とをさらに備える点で実施の形態１および２と異なる。ここでは、本実施の形態において実施の形態１および２と同様の内容についての詳細な説明は省略する。

図８は、実施の形態３における撮像装置Ａを示すブロック図である。撮像装置Ａは、撮像部ＩＭ、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２、合焦制御を行う制御部ＣＳ、レンズ駆動部ＬＤを備えている。第２の信号処理部Ｃ２および合焦制御を行う制御部ＣＳは、電子回路等によって構成されていてもよいし、演算装置、メモリおよびソフトウエアによって構成されていてもよい。また、レンズ駆動部ＬＤは、レンズＬ２を光軸Ｖ方向に移動させるアクチュエータを含む。レンズ光学系Ｌにおいて、レンズＬ２は光軸Ｖの方向に移動可能なように構成されている。

まず、第１の信号処理部Ｃ１において、撮像部ＩＭから得られた、画素Ｐ１により構成される画素群および画素Ｐ２により構成される画素群の輝度情報を用いて、それぞれ第１の画像情報と第２の画像情報とを生成する。第１の画像情報と第２の画像情報とは、絞り近傍にある異なる光学領域を通過した光によって生成された画像情報であるため、被写体距離に応じた視差が存在している。

次に、第２の信号処理部Ｃ２において、第１の画像情報と第２の画像情報とを用いて視差を算出する。ここで、第１の画像情報と第２の画像情報とは、互いに偏光情報または分光情報が異なるため、輝度の大きさが互いに異なる。従って、例えば視差を導出する前に輝度の正規化またはエッジ抽出等を行うことにより、視差情報を抽出するために必要な前処理を第１の画像情報と第２の画像情報とに対して行う。視差抽出は、第１の画像情報における所定の画像ブロック（基準画像）と、第２の画像情報における所定の画像ブロック（参照画像）との間に生じる画像のズレをパターンマッチングにより抽出する。パターンマッチングの相関度は、例えば基準画像と参照画像との間の各画素の輝度の差分（絶対値）の総和である評価関数ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）によって求めることができる。ここで、小領域の演算ブロックサイズをｍ×ｎ画素とすると、ＳＡＤは（数１）によって求めることができる。

（数１）において、ｘ、ｙは撮像面の座標であり、Ｉ０、Ｉ１はそれぞれ括弧内で示した座標における基準画像の輝度値と参照画像の輝度値である。図９はＳＡＤ演算について説明する図である。ＳＡＤ演算では、基準画像の基準ブロック領域に対して参照画像の探索ブロック領域の位置を図９のように基線方向（図１等に示すＨ方向）にｄｘだけずらしながら演算し、ＳＡＤが極小値となるｄｘが視差Ｐｘとなる。ＳＡＤは任意の座標で演算できるので、撮像視野内の全領域の視差を抽出することができる。視野の特定の被写体の視差を抽出する場合には、領域を限定すればよい。第２の信号処理部Ｃ２では、例えば、被写体の所定領域に対応する領域の視差Ｐｘを抽出する。

制御部ＣＳは、視差Ｐｘに基づいて合焦制御信号を生成する。たとえば、制御部ＣＳは、あらかじめ求められたレンズ光学系Ｌによる視差と合焦位置との関係を示すデータを記憶したメモリを有しており、記憶されたデータに基づき、視差Ｐｘから合焦位置を決定する。また。決定した合焦位置にレンズ光学系ＬのレンズＬ２を移動させる合焦制御信号を生成する。

レンズ駆動部ＬＤは、合焦制御信号を受け取り、合焦制御信号に基づき、レンズＬ２を駆動する。これにより、被写体の特徴点に合焦させることができる。

（実施の形態４）
本実施の形態４は、偏光照明を備えている点で、実施の形態１、２および３と異なる。図１０は、実施の形態４における撮像システムＡＰ１を示す模式図である。本実施の形態の撮像システムＡＰ１は、例えば、実施の形態１の撮像装置Ａと、偏光照明Ｑａと、制御部ＣＳとを備える。制御部ＣＳは、偏光照明Ｑａの点灯タイミングおよび撮像装置Ａによる撮影のタイミングを制御する。また、撮像装置Ａから画像情報を受け取り、外部装置ＥＵへ出力する。制御部ＣＳは、電子回路等によって構成されていてもよいし、演算装置、メモリおよびソフトウエアによって構成されていてもよい。偏光照明Ｑａは、可視光を発する光源ＬＳ１と、偏光フィルタＰＬとを含む。偏光フィルタＰＬの偏光軸は、撮像装置Ａの第１の光学領域Ｄ１の偏光軸と直交する第２の偏光軸を有している。また、制御部ＣＳは、撮像装置Ａおよび偏光照明Ｑａの制御、および外部装置ＥＵとの入出力制御等を行う。外部装置ＥＵは、例えば、撮像システムＡＰ１から出力された画像を表示するモニター、または画像を処理するパーソナルコンピュータ等である。

光源ＬＳ１から出射した光は、偏光フィルタＰＬを通過して被写体Ｏｂに到達する。偏光フィルタＰＬは、第２の偏光軸と平行な方向に振動する光を主に透過し、それ以外の方向に振動する光（例えば第２の偏光軸と直交する方向に振動する光）の大部分を吸収する。したがって、偏光照明Ｑａは、被写体Ｏｂに向けて、第２の偏光軸の方向に振動する偏光光のみを照射する。

被写体Ｏｂは、例えば、人の顔肌等の生体である。本実施の形態では、被写体Ｏｂは人の顔肌として説明する。顔肌（被写体Ｏｂ）に到達した光には、反射される成分と吸収される成分とがあり、撮像装置Ａは反射される成分の光を撮像する。顔肌で反射される光には、顔肌の表面で反射する成分と、顔肌の内部に入り込んで散乱を繰り返した後、入射した位置とは異なる位置から出射する成分がある。

顔肌の表面で反射する光は、さらに鏡面反射する成分と拡散反射する成分とに分けられる。顔肌で鏡面反射する成分は、偏光が維持された状態となる。また、顔肌で拡散反射する成分と、顔肌の内部に入り込んで異なる位置から出射する成分とは、偏光状態が乱れた無偏光の状態となる。

撮像装置Ａの第１の光学領域Ｄ１に配置された偏光フィルタは、偏光照明Ｑａにおける偏光フィルタＰＬの偏光軸と直交する偏光軸を有しているため、顔肌で鏡面反射する光の成分の大部分をカットする。また、顔肌の表面で拡散反射した光と、顔肌の内部に入り込んで異なる位置から出射する光は無偏光であるが、撮像装置Ａの第１の光学領域Ｄ１に配置された偏光フィルタは、前述の無偏光の光の成分の中で、第１の偏光軸の方向に振動する光の成分を透過する。つまり、第１の光学領域Ｄ１を透過した光によって撮像した画像情報は、顔肌の表面で拡散反射した光の成分と、顔肌の内部に入り込んで異なる位置から出射する光の成分を有している。

前述した顔肌の内部とは、表皮領域であり、表皮領域の中でシミが発生している領域にはメラニンが生成されている。表皮に入り込んだ光は、メラニンによって減衰されるため、シミのある領域の画像の輝度は低下する。従って、第１の光学領域Ｄ１を透過した光によって生成した画像は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミの状態が見やすくなる。

一方、撮像装置Ａの第２の光学領域Ｄ２は、第２の偏光軸の方向に振動する光を主に透過するので、第２の光学領域Ｄ２を透過した光によって撮像した画像情報は、顔肌で鏡面反射する光の成分を多く有している。従って、第２の光学領域Ｄ２を透過した光によって生成した画像は、顔肌の凹凸による陰影がはっきりするため、肌の小ジワおよびキメ等が認識しやすい画像となる。

以上の構成により、撮像システムＡＰ１の撮像装置Ａにおける第１の光学領域Ｄ１を透過した光によって、シミの状態を認識しやすい画像を取得することができ、第２の光学領域Ｄ２を透過した光によって、肌の小ジワおよびキメ等が認識しやすい画像を取得することができる。

このように本実施の形態の撮像システムＡＰ１を用いることにより、生体の表面と内部の状態とを同時に観察できる。撮像システムＡＰ１は、肌状態の計測または化粧の状態をリアルタイムで確認するための装置、および内視鏡等の医療用カメラ等に応用することができる。

また、このような撮像システムをパーソナルコンピュータやスマートフォン、タブレット端末等の表示装置を備えた端末に装着し、電子ミラーシステムとして利用できる構成であってもよい。

（実施の形態５）
本実施の形態５は、実施の形態４の撮像システムＡＰ１を電子ミラーＡＰ２に応用した構成である。なお、撮像システムＡＰ１における撮像装置Ａとしては、実施の形態１から３の撮像装置Ａを用いることができる。

図１１は、電子ミラーＡＰ２の正面図である。電子ミラーＡＰ２は、表示装置Ｊ１と、撮像装置Ａと、偏光照明Ｑａと、これらを実装する筐体Ｔ１とを備える。筐体Ｔ１は主面ＳＦを備えた板形状を有し、主面に開口を有する表示装置Ｊ１を収納するための空間が設けられている。図１１に示すように、筐体Ｔ１の主面ＳＦは、角が丸められた長方形形状を有し、主面ＳＦにおける１つの短辺の中央近傍に撮像装置Ａが位置している。また、主面ＳＦにおける短辺に沿って、撮像装置Ａを挟むように２つの偏光照明Ｑａが位置している。撮像装置Ａおよび偏光照明Ｑａに隣接して表示装置Ｊ１が配置されている。このように、電子ミラーＡＰ２は、表示装置Ｊ１と、撮像装置Ａと、偏光照明Ｑａとが主面ＳＦにおいて、略同一平面状に配置されている。このような構成により、タブレット端末のような薄型な電子ミラーを実現できる。

偏光照明Ｑａの光源には、例えば白色のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられ、第１の偏光軸に振動する光を主に透過する偏光フィルタが配置されている。このような偏光照明Ｑａからの光が被写体である人物の顔に照射されることにより、撮像装置Ａは、被写体である人物の反射光から第１の偏光軸の方向に振動する偏光情報を有する第１のカラー画像情報と、第２の偏光軸の方向に振動する偏光情報を有する第２のカラー画像情報の両方を同時に取得することができる。撮像装置Ａで取得した画像情報は、左右が反転された状態で表示装置Ｊ１にリアルタイムに表示される。さらには、第１のカラー画像情報と第２のカラー画像情報を加算平均することにより、第３の無偏光のカラー画像情報を生成して表示装置Ｊ１に表示することもできる。

なお、撮像装置Ａにおいて、光学領域Ｄ１に透明ガラス板を配置し、光学領域Ｄ２に第１の偏光軸の方向に振動する光を透過する偏光フィルタを配置する構成としてもよい。このような構成により、無偏光の情報を有する第１のカラー画像情報と、第１の偏光軸の方向に振動する偏光の情報を有する第２のカラー画像情報を同時に取得することができる。

また、偏光照明Ｑａは、第１の偏光軸の方向に振動する光を発するものとし、撮像装置Ａにおいて、光学領域Ｄ１に透明ガラス板を配置し、光学領域Ｄ２に第１の偏光軸と直交する第２の偏光軸の方向に振動する光を透過する偏光フィルタを配置する構成とし、レンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を図５（ｂ）に示す配置としてもよい。画素Ｐ２のＸを青もしくはシアンの帯域を透過する分光フィルタとする構成とすることにより、無偏光のカラー情報を有する第１の画像情報と、第２の偏光軸の方向に振動し、かつ青の帯域もしくはシアンの帯域のモノクロ情報を有する第２の画像情報を同時に取得することができる。第２の画像情報は、顔肌の鏡面反射成分の大部分をカットした画像、つまり、顔肌のテカリの大部分をカットした画像となるため、顔肌のシミの状態が見やすくなる。実施の形態４で説明したようにメラニンによって減衰されるため、シミのある領域の画像の輝度は低下する。また、メラニンの吸収は短波長側ほど大きくなるため、青またはシアンの帯域の分光フィルタを介して撮像することにより、シミによるコントラストが大きくなるため、可視化しやすくなる。また、シアンの帯域を利用することにより、偏光フィルタによる光の減衰を抑えることができるため、青の帯域を利用する場合に比べて画像の感度を高くすることができる。また、第１の画像情報はカラー情報を含んでいるため、青色の画像情報と緑色の画像情報とから無偏光のシアンの画像情報を生成することができる。従って、無偏光のシアンの画像情報から第２の画像情報を減算することにより、第１の偏光軸の方向に振動する偏光の情報を有する第３の画像情報を取得することができる。第３の画像情報は、鏡面反射する光の成分を多く有しており、顔肌の凹凸による陰影がはっきりするため、顔肌の小ジワおよびキメ等が認識しやすい画像を取得することができる。

このような電子ミラーＡＰ２を用いることによって、シミの状態を認識しやすい画像、顔肌の小ジワおよびキメが認識しやすい画像、並びに通常の画像を同時に取得することができ、被写体である利用者自身が通常の鏡のような感覚で利用者自身の鏡像を確認することができる。これらの画像は、利用者によって、表示される画像を適宜切替えることができる構成にしてもよい。

また、表示装置Ｊ１を液晶ディスプレイで構成する場合、液晶ディスプレイ自体からの光も被写体に照射されるため、液晶ディスプレイの前面側の偏光フィルタの偏光軸は偏光照明Ｑａの偏光軸と同じであってもよい。これにより、液晶ディスプレイから被写体に照射される光の偏光方向を偏光照明からの光の偏光方向と同じにすることができる。

また、図１において点線で示すように、電子ミラーＡＰ２の撮像装置Ａは、第１の画像情報、および第２の画像情報を用いて被写体の肌の特徴を定量化した情報を生成する第３の信号処理部をさらに備え、前記肌状態を定量化した値を表示装置Ｊ１に表示させてもよい。このような構成により、鏡を見ながら、利用者自身の肌状態を非接触で計測できる肌計測システムを実現できる。たとえば、第１の画像情報、および第２の画像情報を用いて、画像中の肌におけるシミの部分を抽出し、シミの部分の面積の割合を求め、表示装置Ｊ１に表示させてもよい。あるいは、シミの部分を示す画像データを生成し、第１の画像情報による画像、第２の画像情報による画像またはこれらの画像情報から得られる画像に生成した画像を重畳して、表示装置Ｊ１に表示させてもよい。

また、上記肌計測システムにおいて、偏光照明Ｑａがオンの時とオフの時の画像とを順次撮影し、オンの時の画像とオフの時の画像との差分画像を用いて肌状態を定量化する構成であってもよい。このような構成により、偏光照明Ｑａ以外の室内照明等の環境光の成分を差し引くことができ、室内照明等の環境光の影響をなくすことができ、肌計測の精度を高めることができる。

また、本実施の形態の撮像装置として実施の形態３の撮像装置を用いて、被写体である利用者の画像から視差を抽出し、この視差情報に基づいて被写体の位置を移動させるための情報を表示装置に表示させる構成であってもよい。たとえば、撮像装置Ａは、撮像部ＩＭ、第１の信号処理部Ｃ１および第２の信号処理部Ｃ２を備え、実施の形態３で説明したように、第２の信号処理部Ｃ２は、第１の画像情報と第２の画像情報とを用いて視差を算出する。また、第２の信号処理部Ｃ２は、視差が所定の値よりも小さい場合には、被写体の距離が遠いことを示す情報、または、顔と電子ミラーＡＰ２との距離を短くするように利用者にうながす情報を生成してもよい。また、視差が所定の値よりも大きい場合には、被写体の距離が近いことを示す情報、または、顔と電子ミラーＡＰ２との距離を長くするように利用者にうながす情報を生成してもよい。これらの生成した情報は、表示装置Ｊ１に表示させてもよい。あるいは電子ミラーＡＰ２は、発音デバイスを備え、音声等によって、これらの情報を利用者に提示してもよい。このような構成によって、利用者である被写体を常に同じ距離で撮像することができるため、肌状態の計測結果の安定性を良好に保つことができ、過去の計測結果との比較、および肌状態を同じ条件で撮影した多人数のデータベースとの照合が可能となる。

（実施の形態６）
本実施の形態６は、実施の形態１もしくは実施の形態２に示す撮像装置を複数用いた測距装置である。図１２は撮像装置を２つ用いた測距装置の概略図である。図１２において、各符号は図１と同じである。本実施の形態では、測距装置の基線方向Ｂに対して、各撮像装置のレンチキュラレンズを構成するシリンドリカルレンズの配列方向Ｅを直交させている。測距装置では、パターンマッチングすることにより視差を抽出し、抽出した視差を用いて三角測量の原理により被写体までの距離を算出する。従って、測距装置の基線方向Ｂに対して、レンチキュラレンズを構成するシリンドリカルレンズの配列方向Ｅを直交させることで、測距装置の基線方向Ｂに対して、レンチキュラレンズを構成するシリンドリカルレンズの配列方向Ｅを同一にした場合に比べて、視差抽出の分解能を上げることができる。

ここで、撮像装置Ａにおいて、光学領域Ｄ１に透明ガラス板を配置し、光学領域Ｄ２に第１の偏光軸の方向に振動する光を透過する偏光フィルタを配置する構成とし、レンチキュラレンズＫとカラー撮像素子Ｎ上の画素との位置関係を図５（ｂ）に示す配置とし、画素Ｐ２のＸを白（可視光全域）の帯域を透過するフィルタとする。このような構成によって、画素Ｐ１の画素群の輝度情報を用いてカラー情報を有する第１の画像情報を生成し、画素Ｐ２の画素群の輝度情報を用いて、モノクロームの偏光情報を有する第２の画像情報を生成することができる。

このような構成は、車載用の測距カメラに応用することができる。例えば、濡れた道路の車線を検出する場合、偏光情報を有しない第１の画像には、不要な反射光が写りこむため、車線の認識が困難となる。一方、偏光フィルタを介して取得した第２の画像においては、不要な反射光を低減できるため、車線の認識がしやすくなる。このような特性を利用し、偏光情報を有しない第１の画像情報と偏光情報を有する第２の画像情報とから路面の状況を推定し、推定情報に基づいて、各画像の切替え、または合成をすることにより、車線の検出がしやすい画像を生成することができる。これにより、車線の検出がしやすい測距装置を実現することができる。

また、撮像装置Ａにおいて、光学領域Ｄ１に可視光を主に透過する分光フィルタを配置し、光学領域Ｄ２に近赤外光を主に透過する分光フィルタを配置する構成とし、画素Ｐ２のＸを白（可視光全域）の帯域を透過するフィルタとする。このような構成によって、画素Ｐ１の画素群の輝度情報を用いてカラー情報を有する第１の画像情報を生成し、画素Ｐ２の画素群の輝度情報を用いて、モノクロの近赤外光の画像情報を生成することができる。

このような構成も、車載用の測距カメラに応用することができる。例えば、昼間はカラー情報を有する第１の画像情報を用い、夜間は、近赤外照明を併用し、モノクロームの近赤外光の画像情報を用いることができる。これにより、昼夜問わず、前方監視が可能な車載用の測距装置を実現することができる。

（実施の形態７）
本実施の形態７は、絞りＳの近傍に配置される光学素子Ｌ１ｐが、４つの領域によって構成される点、複数の画素Ｐが４種類に分けられる点で、実施の形態１と異なる。ここでは、本実施の形態において実施の形態１と同様の内容についての詳細な説明は省略する。

図１３（ａ）に示すように、光学素子Ｌ１ｐは、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４を備える。第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４は、この順に水平方向Ｈ（撮像素子の撮像面Ｎｉにおけるｙ方向）に配置されている。第１の光学領域Ｄ１には、第１の偏光軸（透過軸）の方向に振動する光を透過する偏光フィルタが配置される。第２の光学領域Ｄ２には、第１の偏光軸と直交する第２の偏光軸（透過軸）の方向に振動する光を透過する偏光フィルタが配置される。第３の光学領域Ｄ３には、第１及び第２の偏光軸と約４５°異なる第３の偏光軸の方向に振動する光を透過する偏光フィルタが配置される。第４の光学領域Ｄ４は、第１及び第２の偏光軸と約４５°異なる方向で、かつ第３の偏光軸と直交する第４の偏光軸の方向に振動する光を透過する領域である。

図１３（ｂ）に示すように、複数の画素Ｐ１、複数の画素Ｐ２、複数の画素Ｐ３、及び複数の画素Ｐ４のそれぞれは、ｘ方向に１行に並んで配置されている。ｙ方向において、画素Ｐ１の行、画素Ｐ２の行、画素Ｐ３の行、画素Ｐ４の行がこの順に繰り返し配置されている。

レンチキュラレンズＫは、図３に示す形状と同じ形状を備えている。ただし、そのシリンドリカルレンズＭ１の１つが、撮像面Ｎｉ上における画素Ｐ１の１行の画素群、画素Ｐ２の１行の画素群、画素Ｐ３の１行の画素群、画素Ｐ４の１行の画素群からなる４行の画素群に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の表面を覆うようにマイクロレンズＭｓが設けられている。

また、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のそれぞれは、マイクロレンズＭｓの下に位置し、撮像面Ｎｉから内部に設けられた光電変換部ＥＸおよび光電変換部上に設けられたカラーフィルタＲ（赤色）、カラーフィルタＧ（緑色）、カラーフィルタＢ（青色）を含む。図１３（ｂ）に示す配列で、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルタが配置されている。具体的には、撮像面におけるレンチキュラレンズの１つのシリンドリカルレンズＭ１に対応する単位領域内Ｂに、Ｇ（緑色）、Ｒ（赤色）のフィルタを有する画素Ｐ１、Ｐ２、Ｐ３、Ｐ４がｘ方向に繰り返し配列されており、その単位領域のｙ方向に隣接する、他の１つのシリンドリカルレンズＭ１に対応する単位領域１００では、Ｂ（青色）、Ｇ（緑色）のフィルタを有する画素がｘ方向に繰り返し配列されている。

レンチキュラレンズの各シリンドリカルレンズＭ１は、第１の光学領域Ｄ１を通過した光を、対応する単位領域内の複数の画素Ｐ１に入射させ、第２の光学領域Ｄ２を通過した光を、対応する単位領域内の複数の画素Ｐ２に入射させ、第３の光学領域Ｄ３を通過した光を、対応する単位領域内の複数の画素Ｐ３に入射させ、第４の光学領域Ｄ４を通過した光を、対応する単位領域内の複数の画素Ｐ４に入射させる。

したがって、画素Ｐ１の画素群の行だけを見れば、単位領域１００内のＢ（青色）、Ｇ（緑色）のフィルタを有する画素の画素群の行と、単位領域１０２内のＧ（緑色）、Ｒ（赤色）のフィルタを有する画素のフィルタを有する画素の画素群の行とが交互に配列されている。同様に、画素Ｐ２、Ｐ３、Ｐ４のそれぞれの画素群の行だけを見れば、単位領域１００内のＢ（青色）、Ｇ（緑色）のフィルタを有する画素の画素群の行と、単位領域１０２内のＧ（緑色）、Ｒ（赤色）のフィルタを有する画素のフィルタを有する画素の画素群の行とが交互に配列されている。このため、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のそれぞれの画素群の行だけで画像を構成しても、それぞれの画像には、Ｒ、Ｇ、Ｂの画素から得られた輝度値による画素信号を含むため、それぞれの画像はカラー画像となる。

以上の構成により、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素群の輝度情報を用いて、第１の偏光軸の方向に振動する偏光の情報を有する第１のカラー画像情報と、第１の偏光軸と直交する第２の偏光軸の方向に振動する偏光の情報を有する第２のカラー画像情報と、第３の偏光軸の方向に振動する偏光の情報を有する第３のカラー画像情報と、第４の偏光軸の方向に振動する偏光の情報を有する第４のカラー画像情報とを同時に取得することができる。

なお、本実施の形態では、光学素子Ｌ１上の光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を互いに偏光軸の異なる偏光フィルタで構成したが、光学領域Ｄ１に透明ガラス板を配置し、その他の光学領域Ｄ２、Ｄ３、Ｄ４に互いに偏光軸の異なる偏光フィルタを配置する構成としてもよい。また、光学領域Ｄ１には何も配置せず、光学領域Ｄ２、Ｄ３、Ｄ４に互いに偏光軸の異なる偏光フィルタを配置する構成としてもよい。

このような構成により、画素Ｐ１の輝度情報を用いて、無偏光の情報を有する第１のカラー画像情報と、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の輝度情報を用いて、互いに異なる偏光軸の情報を有する第２から第４のカラー画像情報を同時に取得することができる。

また、本実施の形態では、撮像素子上のカラーフィルタをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）で構成したが、他のカラーフィルタ構成であってもよい。例えば、図１４（ａ）、（ｂ）のように撮像素子上のカラーフィルタをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）、Ｘ（任意の帯域の色）としてもよい。任意の帯域の色とは、例えば、図１４（ａ）の場合では、白（可視光全域）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域である。このような構成により、２つの偏光軸の画像を同時に取得する際、または偏光と無偏光の画像情報を同時に取得する際に分光情報を１種類増すことができる。また、図１４（ｂ）の場合では、任意の帯域の色ＸをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のいずれか１つの帯域としてもよいし、白（可視光）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域としてもよい。このような構成により、画素Ｐ１は所定の帯域のみの画像情報に限定されるため、光学領域Ｄ１の情報に対応する画像情報の解像度を向上させることができる。

（実施の形態８）
本実施の形態８は、光軸と垂直な面内における第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４の配置、複数の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の配置、及びレンチキュラレンズにかえてマイクロレンズアレイを使用している点が、実施の形態７と異なる。ここでは、本実施の形態において実施の形態７と同様の内容についての詳細な説明は省略する。

図１５（ａ）に示すように、光学素子Ｌ１ｐは、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４を備える。第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４は、光軸Ｖを通り、水平方向Ｈ（撮像素子の撮像面Ｎｉにおけるｙ方向）および水平方向に垂直な方向にそれぞれ平行な境界線で区切られる４つの領域である。第１の光学領域Ｄ１には、第１の偏光軸（透過軸）の方向に振動する光を透過する偏光フィルタが配置される。第２の光学領域Ｄ２には、第１の偏光軸と直交する第２の偏光軸（透過軸）の方向に振動する光を透過する偏光フィルタが配置される。第３の光学領域Ｄ３には、第１及び第２の偏光軸と約４５°異なる第３の偏光軸の方向に振動する光を透過する偏光フィルタが配置される。第４の光学領域Ｄ４は、第１及び第２の偏光軸と約４５°異なる方向で、かつ第３の偏光軸と直交する第４の偏光軸の方向に振動する光を透過する領域である。

図１５（ｂ）は、マイクロレンズアレイＫ’を示す斜視図である。マイクロレンズアレイＫ’はｘ方向およびｙ方向に配列された複数のマイクロレンズＭ２を含む。それぞれのマイクロレンズＭ２の断面（ｘ方向およびｙ方向に垂直なそれぞれの断面）は曲面形状であり、カラー撮像素子Ｎ側に突出している。各マイクロレンズＭ２は、カラー撮像素子Ｎの撮像面Ｎｉにおいてｘ方向およびｙ方向に配列された複数の画素のうち、ｘ方向に４個およびｙ方向に４個配列された合計１６個の、単位領域内にある画素に対応して配置される。

図１５（ｃ）に示すように、撮像面Ｎｉに配列されている複数の画素は、ｘ方向およびｙ方向に２個ずつ配列される４つの画素を１組としたカラー画素群をそれぞれ含む複数の画素Ｐ１、複数の画素Ｐ２、複数の画素Ｐ３、複数の画素Ｐ４を含む。

各カラー画素群は、撮像面Ｎｉから内部に設けられた光電変換部ＥＸおよび光電変換部上に設けられたカラーフィルタＲ（赤色）、カラーフィルタＧ（緑色）、カラーフィルタＢ（青色）を含む。図１５（ｃ）に示すように、本実施形態では、例えば、各カラー画素群は、Ｒ（赤色）、Ｂ（青色）および２つのＧ（緑色）、のカラーフィルタが配置されたカラー画素群がｘ方向およびｙ方向に配列され、カラーフィルタはベイヤー配列に従って配置されている。

マイクロレンズアレイＫ’の各マイクロレンズＭ２は、第１の光学領域Ｄ１を通過した光を、各マイクロレンズＭ２に対応する単位領域（図において実線で囲まれた１６画素を含む領域）内の画素Ｐ１のカラー画素群に入射させ、第２の光学領域Ｄ２を通過した光を、各マイクロレンズＭ２に対応する単位領域内の複数の画素Ｐ２のカラー画素群に入射させ、第３の光学領域Ｄ３を通過した光を、各マイクロレンズＭ２に対応する単位領域内の複数の画素Ｐ３のカラー画素群に入射させ、第４の光学領域Ｄ４を通過した光を、各マイクロレンズＭ２に対応する単位領域内の複数の画素Ｐ４のカラー画素群に入射させる。

したがって、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４のそれぞれを透過した光は、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４で検出され、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ単位領域内で、Ｒ、Ｇ、Ｂの画素から得られた輝度値による画素信号を出力することができる。よって、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４のそれぞれを透過した光をカラー画像として取得することができる。

以上の構成により、画素Ｐ１の画素群、画素Ｐ２の画素群、画素Ｐ３の画素群、および画素Ｐ４の画素群の輝度情報を用いて、第１の偏光軸の方向に振動する偏光の情報を有する第１のカラー画像情報と、第１の偏光軸と直交する第２の偏光軸の方向に振動する偏光の情報を有する第２のカラー画像情報と、第３の偏光軸の方向に振動する偏光の情報を有する第３のカラー画像情報と、第４の偏光軸の方向に振動する偏光の情報を有する第４のカラー画像情報とを同時に取得することができる。

なお、本実施の形態では、光学素子Ｌ１上の光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を互いに偏光軸の異なる偏光フィルタで構成したが、光学領域Ｄ１に透明ガラス板を配置し、その他の光学領域Ｄ２、Ｄ３、Ｄ４に互いに偏光軸の異なる偏光フィルタを配置する構成としてもよい。また、光学領域Ｄ１には何も配置せず、光学領域Ｄ２、Ｄ３．Ｄ４に互いに偏光軸の異なる偏光フィルタを配置する構成としてもよい。

このような構成により、画素Ｐ１の輝度情報を用いて、無偏光の情報を有する第１のカラー画像情報と、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の輝度情報を用いて、互いに異なる偏光軸の情報を有する第２から第４のカラー画像情報を同時に取得することができる。

また、本実施の形態では、撮像素子上のカラーフィルタをＲ（赤色）、Ｇ（緑色）、Ｂ（青色）で構成したが、他のカラーフィルタ構成であってもよい。例えば、図１６（ａ）、（ｂ）のように撮像面のカラー画素群は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）、Ｘ（任意の帯域の色）のカラーフィルタが配置された画素を含んでいてもよい。任意の帯域の色とは、例えば、図１６（ａ）の場合では、白（可視光全域）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域である。このような構成により、２つの偏光軸の画像を同時に取得する際、または偏光と無偏光の画像情報を同時に取得する際に分光情報を１種類増すことができる。また、図１５（ｃ）では、画素Ｐ１のカラー画素群、画素Ｐ２のカラー画素群、画素Ｐ３のカラー画素群、および画素Ｐ４のカラー画素群におけるカラーフィルタの配置は同じであるが、図１６（ａ）に示すように、カラー画素群間で異なっていてもよい。図１６（ａ）では、単位領域内にある４つのカラー画素群において、Ｘ（任意の帯域の色）のカラーフィルタが互いにｘ方向およびｙ方向に隣接して位置するように、各カラー画素群内でカラーフィルタが配置されている。

また、図１５（ｂ）に示す画素配列では、単位領域内にある画素Ｐ１、Ｐ２、Ｐ３、Ｐ４はいずれもカラー画素群を含んでいたが、単位領域内にある画素Ｐ１〜Ｐ４は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）、Ｘ（任意の帯域の色）のいずれか１種類のみが配置されていてもよい。例えば、図１６（ｂ）に示す画素配列では、画素Ｐ４の４つの画素は、Ｘ（任意の帯域の色）のカラーフィルタのみが配置されている。Ｘは、例えば、白（可視光）の帯域またはシアン等の補色系の帯域、近赤外または近紫外等の非可視光の帯域であってもよい。このような構成により、画素Ｐ１は所定の帯域のみの画像情報に限定されるため、光学領域Ｄ１の情報に対応する画像情報の解像度を向上させることができる。

（実施の形態９）
本実施の形態９は、第１の信号処理部で生成した画像情報に基づいて出力画像を生成する第３の信号処理部を備える点で実施の形態１から実施の形態８までと異なる。

本実施の形態の撮像装置は、光学素子Ｌ１上に偏光フィルタを配置しない光学領域と所定方向に振動する偏光光を透過する偏光フィルタを配置する光学領域とを含む。この場合、無偏光の情報を有するカラー画像情報と、所定の方向に振動する偏光の情報を有するカラー画像情報とが同時に取得される。

図１７（ａ）に示すとおり、第３の信号処理部は、無偏光の画像情報の明るさＩを算出し（ステップＳ１）、明るさＩと閾値とを比較する（ステップ２）。明るさＩが所定の閾値より高い場合（ステップＳ３）は、偏光画像を出力し、明るさＩが所定の閾値以下である場合（ステップＳ４）は、無偏光画像を出力してもよい。ステップＳ１からステップＳ４までの処理および明るさＩの算出は、画像全体で計算してもよいし画素単位で計算してもよい。

この処理により、例えば、車両のフロントガラス付近に撮像装置を配置して車両前方を撮影する場合、画像の明るさＩが閾値よりも高い場合は、撮影環境が昼であると判別できる。そのため、偏光画像を出力することによりフロントガラスでの反射による写りこみを低減することができる。また、画像の明るさＩが閾値以下である場合は、撮影環境が夜であると判別できる。そのため、無偏光画像を出力することにより感度を向上させることができる。

また、図１７（ｂ）に示すとおり、第３の信号処理部は、無偏光の画像情報の明るさＩを読取り（ステップＳ１１）、明るさＩに応じて偏光画像と無偏光画像との加算比率を決定し（ステップＳ１２）、決定した加算比率に基づいて無偏光画像と偏光画像とを加算して出力してもよい（ステップＳ１３、Ｓ１４）。ステップＳ１１からステップＳ１４の処理および明るさＩの算出は、画像全体で計算してもよいし画素単位で計算してもよい。

この処理により、例えば、車両のフロントガラス付近に撮像装置を配置して車両前方を撮影する場合、フロントガラスでの反射による写り込みを低減した画像を出力することができると同時に感度を向上させることができる。夜間または雨天時など車両前方の見通しが悪い環境ほど、無偏光画像の比率を上げることにより、感度を向上させることができる。

（実施の形態１０）
本実施の形態１０は、実施の形態１から実施の形態９に係る撮像装置を、車両のフロントガラス付近に配置した形態を示す。

図１８（ａ）に示すとおり、太陽光Ｓｉなどの外部からの光は、フロントガラスＦＧを透過してダッシュボードＤｂを照射する。ダッシュボードＤｂで反射後、フロントガラスＦＧで反射した光がカメラ１０４に入射する。これによって、本来撮影したい被写体Ｏｉの画像に、ダッシュボードＤｂからの光が写りこんでしまう。カメラの光軸方向と、フロントガラスＦＧの面の法線方向との角度θを７０°以下で調整することにより、ダッシュボードＤｂからの光の写りこみを抑制することができる。フロントガラスＦＧにおける光の入射角と反射率との関係を図１８（ｂ）に示す。入射角が７０°よりも大きくなると、ｐ波の反射率が急激に立ち上がっている。したがって、カメラの光軸方向と、フロントガラスＦＧの面の法線方向との角度を７０°以下とすることにより、フロントガラスＦＧにおける光の入射角を、反射率の低い範囲に設定することができる。

なお、上記実施の形態１から実施の形態１０の撮像装置は、他の実施の形態と組み合わせてもよい。例えば、実施の形態７または実施の形態８の撮像装置を、実施の形態３、実施の形態４、または実施の形態５と組み合わせてもよい。

本願に開示された撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、車載カメラ、監視カメラ、肌診断カメラ、および内視鏡カメラ、カプセル内視鏡等の撮像装置として有用である。また、本願に開示された撮像装置は、マイクロスコープおよび電子ミラーなどの撮像システムに応用することができる。

Ａ 撮像装置
Ｌ レンズ光学系
Ｌ１，Ｌ１ｐ 光学素子
Ｌ２ レンズ
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 光学領域
Ｓ 絞り
Ｋ レンチキュラレンズ
Ｎ カラー撮像素子
Ｎｉ 撮像面
Ｍ１ シリンドリカルレンズ
Ｍｄ１，Ｍｄ２ レンチキュラレンズ
Ｍｓ，Ｍ２ マイクロレンズ
Ｐ，Ｐ１，Ｐ２，Ｐ３，Ｐ４ 画素
Ｃ１ 第１の信号処理部
Ｃ２ 第２の信号処理部
Ｃ３ 第３の信号処理部
ＣＳ 制御部
ＬＤ レンズ駆動部

Claims (24)

1. レンズ光学系と、
   前記レンズ光学系を通過した光が入射する複数の第１の画素と前記レンズ光学系を通過した光が入射する複数の第２の画素とを少なくとも有するカラー撮像素子と、
   前記レンズ光学系と前記カラー撮像素子との間に配置された第１のアレイ状光学素子とを備え、
   前記レンズ光学系は、複数の光学領域を有し、
   前記複数の光学領域は、分光透過率特性および透過偏光特性のうち少なくとも１つが互いに異なる第１の光学領域および第２の光学領域を含み、
   前記複数の第１の画素のそれぞれは、複数種類の互いに異なる分光透過率特性の分光フィルタを含み、
   前記複数の第２の画素のそれぞれは、少なくとも１種類以上の分光透過率特性の分光フィルタを含み、
   前記第１のアレイ状光学素子は、前記第１の光学領域を通過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を通過した光を前記複数の第２の画素に入射させ、
   前記第１のアレイ状光学素子が第１のレンチキュラレンズであり、
   前記第１のレンチキュラレンズは、前記カラー撮像素子上に形成されている、
   撮像装置。
2. 前記カラー撮像素子は、前記レンズ光学系を通過した光が入射する複数の第３の画素、および前記レンズ光学系を通過した光が入射する複数の第４の画素をさらに有し、
   前記レンズ光学系における前記複数の光学領域は、第３の光学領域、および第４の光学領域をさらに含み、
   前記第１の光学領域、前記第２の光学領域、前記第３の光学領域、および前記第４の光学領域は、分光透過率特性および透過偏光特性のうち少なくとも１つが互いに異なり、
   前記複数の第３の画素および前記複数の第４の画素は、複数種類の互いに異なる分光透過率特性の分光フィルタを含み、
   前記第１のアレイ状光学素子は、前記第３の光学領域を通過した光を前記複数の第３の画素に入射させ、前記第４の光学領域を通過した光を前記複数の第４の画素に入射させる
   、請求項１に記載の撮像装置。
3. 前記第１のアレイ状光学素子がマイクロレンズアレイである、請求項１または２に記載の撮像装置。
4. 前記第１の光学領域は、第１の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成され、
   前記第２の光学領域は、前記第１の偏光軸とは異なる第２の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成されている、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記第１の光学領域は、無偏光の光を透過し、
   前記第２の光学領域は、所定の偏光軸の方向に振動する光を主に透過する偏光フィルタによって構成されている、
   請求項１から３のいずれかに記載の撮像装置。
6. 前記第１の光学領域は、可視光帯域の光を主に透過する分光フィルタによって構成され、
   前記第２の光学領域は、非可視光帯域の光を主に透過する分光フィルタによって構成されている、
   請求項１から３のいずれかに記載の撮像装置。
7. 前記第１のレンチキュラレンズと前記カラー撮像素子との間に設けられた第２のレンチキュラレンズをさらに備え、
   前記第１のレンチキュラレンズは、前記第２のレンチキュラレンズを介して前記カラー撮像素子上に形成されている、
   請求項１に記載の撮像装置。
8. 前記第１のレンチキュラレンズと前記カラー撮像素子との間に設けられたマイクロレンズをさらに備え、
   前記第１のレンチキュラレンズは、前記マイクロレンズを介して前記カラー撮像素子上に形成されている、
   請求項１に記載の撮像装置。
9. 前記複数の第１の画素および前記複数の第２の画素から得られる画素信号に基づいて、それぞれ第１の画像情報および第２の画像情報を生成するように構成された第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
10. 前記第１の画像情報および前記第２の画像情報に基づき被写体の視差情報を生成するように構成された第２の信号処理部と、
    前記視差情報に基づいて合焦制御信号を生成するように構成された制御部と、
    レンズ駆動部と、
    をさらに備え、
    前記レンズ光学系は、前記レンズ光学系の光軸に沿って移動可能な少なくとも１つのレンズを含み、
    前記レンズ駆動部は、前記合焦制御信号に基づいて前記レンズを前記光軸に沿って移動させる、
    請求項９に記載の撮像装置。
11. 第３の信号処理部をさらに備え、
    前記第３の信号処理部は、
    前記第１の画像情報または前記第２の画像情報のうち少なくともいずれか一方の画像情報の明るさを読みとり、
    前記画像の明るさを所定の閾値と比較し、
    前記比較結果に応じて前記第１の画像情報および前記第２の画像情報のうちいずれか一方を出力する、
    請求項９または１０に記載の撮像装置。
12. 第３の信号処理部をさらに備え、
    第３の信号処理部は、
    前記第１の画像情報または前記第２の画像情報のうち少なくともいずれか一方の画像情報の明るさを読み取り、
    前記画像の明るさに応じて前記第１の画像情報と前記第２の画像情報との各加算比率を決定し、
    前記加算比率に基づいて、前記第１の画像情報と前記第２の画像情報とを加算した加算画像を生成し、出力する、
    請求項９または１０に記載の撮像装置。
13. 前記複数の第１の画素の分光フィルタは、赤色、緑色、および青色の分光透過率特性をもつ分光フィルタと、赤色、緑色、および青色以外の分光透過率特性をもつ分光フィルタとを含む、
    請求項１に記載の撮像装置。
14. 前記複数の第２の画素の分光フィルタは、赤色、緑色、および青色の分光透過率特性をもつ分光フィルタと、赤色、緑色、および青色以外の分光透過率特性をもつ分光フィルタとを含む、
    請求項１３に記載の撮像装置。
15. 前記複数の第１の画素の分光フィルタは、赤色、緑色、および青色の分光透過率特性をもつ分光フィルタを含み、
    前記複数の第２の画素の分光フィルタは、前記複数の第１の画素の分光フィルタの何れとも異なる分光透過率特性をもつ分光フィルタを含む、
    請求項１に記載の撮像装置。
16. 前記複数の第１の画素の分光フィルタは、赤色、緑色、および青色の分光透過率特性をもつ分光フィルタを含み、
    前記複数の第２の画素の分光フィルタは、前記複数の第１の画素の分光フィルタの何れか１つと同色の分光透過率特性をもつ分光フィルタを、前記複数の第１の画素の分光フィルタよりも多く含む、
    請求項１に記載の撮像装置。
17. 前記複数の第２の画素の分光フィルタは、全て同一色の分光透過率特性を持つ、請求項１５または請求項１６に記載の撮像装置。
18. 請求項１または２に記載の撮像装置と、
    偏光光を出射する偏光照明と、
    を備える撮像システム。
19. 前記撮像装置において取得された画像を表示する表示装置をさらに備える、
    請求項１８に記載の撮像システム。
20. 請求項９に記載の撮像装置と、
    前記撮像装置において取得された画像を表示する表示装置と
    を備える電子ミラーシステム。
21. 偏光光を出射する偏光照明をさらに備え、
    前記撮像装置、前記偏光照明、および前記表示装置が略同一平面状に配置されている、請求項２０に記載の電子ミラーシステム。
22. 前記第１の画像情報および前記第２の画像情報を用いて被写体の特徴を定量化した情報を生成するように構成された第３の信号処理部をさらに備え、
    前記表示装置は、前記定量化された情報をさらに表示する、
    請求項２０または２１に記載の電子ミラーシステム。
23. 請求項５に記載の撮像装置と、
    近赤外照明または近紫外照明と、を備える撮像システム。
24. 請求項１から９のいずれかに記載の撮像装置を複数備える測距装置。

Images