JP7285322B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

特許文献１には、偏光特性及び色特性（波長選択性）の異なる３つの透光領域を有する偏光カラーフィルタ板と、偏光特性の異なる３つの偏光フィルタを備えた撮像素子と、を使用して、３つの波長帯域の画像（いわゆる、３バンドのマルチスペクトル画像）を撮像する技術が記載されている。

国際公開第2014/020791号

本開示の技術に係る１つの実施形態は、４バンド以上のマルチスペクトル画像を撮像する撮像装置を提供する。

（１）撮像光学系であって、複数の開口領域を有し、開口領域の少なくとも１つが複数種類の波長帯域の光を透過する第１光学素子と、第１光学素子を透過する光を複数方向に偏光する第２光学素子と、を撮像光学系の瞳近傍に有する撮像光学系と、撮像光学系を透過する光を受光するイメージセンサであって、透過波長帯域の異なる複数種類の第３光学素子と、透過偏光方向の異なる複数種類の第４光学素子と、を透過した光を受光するイメージセンサと、イメージセンサから出力される信号を処理し、複数の画像信号を生成する信号処理部と、を有し、第１光学素子の少なくとも１つの開口領域が有する透過波長帯域数が、第３光学素子の透過波長帯域数以下である、撮像装置。

（２）上記（１）の撮像装置において、第１光学素子は、すべての開口領域が複数種類の波長帯域の光を透過する。

（３）上記（１）の撮像装置において、第１光学素子は、少なくとも１つの開口領域が１種類の波長帯域の光を透過する。

（４）上記（１）から（３）のいずれか一の撮像装置において、第２光学素子は、第１光学素子を透過する光の一部を非偏光の光として素通しする。

（５）第１光学素子に備えられる開口領域の数が、第４光学素子の透過偏光方向数以下であり、すべての開口領域が、第３光学素子の透過波長帯域数と同じ数の透過波長帯域数を有する、上記（１）又は（２）の撮像装置。

（６）第１光学素子の少なくとも１つの開口領域は、第３光学素子が有する複数の波長帯域と一部が重複した透過波長帯域を有する、上記（１）から（４）のいずれか一の撮像装置。

（７）撮像光学系の透過波長帯域数をｋ、第３光学素子の透過波長帯域数をｍ、第４光学素子の透過偏光方向数をｎとした場合に、撮像光学系及びイメージセンサが、ｋ≦ｍ×ｎの関係を満たす、上記（１）から（６）のいずれか一の撮像装置。

（８）第１光学素子は、少なくとも一組の開口領域が、同じ波長帯域の光を透過する、上記（１）から（７）のいずれか一の撮像装置。

（９）第１光学素子は、少なくとも１つの開口領域が光軸上に配置される、（１）から（８）のいずれか一の撮像装置。

（１０）信号処理部は、混信除去処理を行って、複数の画像信号を生成する、上記（１）から（９）のいずれか一の撮像装置。

本発明に係る撮像装置の第１の実施の形態の概略構成を示す図 バンドパスフィルタユニットの正面図 第１バンドパスフィルタの透過波長特性を示すグラフ 第２バンドパスフィルタの透過波長特性を示すグラフ 偏光フィルタユニットの正面図 イメージセンサの画素の配列の概略構成を示す図 イメージセンサの概略構成を示す図 １つ画素（図７の破線部）の概略構成を示す断面図 各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図 第１分光フィルタ素子の透過波長特性の一例を示すグラフ 第２分光フィルタ素子の透過波長特性の一例を示すグラフ 各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図 信号処理部の概略構成を示すブロック図 画像生成の概念図 撮像装置の動作の概念図 第２の実施の形態の撮像装置に備えられる偏光フィルタユニットの正面図 バンドパスフィルタユニットの正面図 第１バンドパスフィルタの透過波長特性を示すグラフ 第２バンドパスフィルタの透過波長特性を示すグラフ 第３バンドパスフィルタの透過波長特性を示すグラフ 偏光フィルタユニットの正面図 第４の実施の形態の撮像装置の第２バンドパスフィルタの透過波長特性を示すグラフ 第２バンドパスフィルタと第１分光フィルタ素子との組み合わせで実現される透過波長特性の説明図 第２バンドパスフィルタと第２分光フィルタ素子との組み合わせで実現される透過波長特性の説明図 第５の実施の形態の撮像装置の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図 第６の実施の形態の撮像光学系に備えられるバンドパスフィルタユニットの正面図 第１バンドパスフィルタの透過波長特性を示すグラフ 第２バンドパスフィルタの透過波長特性を示すグラフ 第３バンドパスフィルタの透過波長特性を示すグラフ 第６の実施の形態の撮像光学系に備えられる偏光フィルタユニットの正面図 イメージセンサの画素の配列の概略構成を示す図 各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図 第１分光フィルタ素子の透過波長特性の一例を示すグラフ 第２分光フィルタ素子の透過波長特性の一例を示すグラフ 第３分光フィルタ素子の透過波長特性の一例を示すグラフ 各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図 第６の実施の形態の撮像装置の動作の概念図 バンドパスフィルタユニットの他の一例を示す図 偏光フィルタユニットの他の一例を示す図 偏光フィルタユニットの他の一例を示す図 バンドパスフィルタユニットの他の一例を示す図 偏光フィルタユニットの他の一例を示す図 第１バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフ 第２バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフ 第３バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフ 第７の実施の形態の撮像光学系に備えられるバンドパスフィルタユニットの正面図 第７の実施の形態の撮像光学系に備えられる偏光フィルタユニットの正面図 イメージセンサの画素の配列の概略構成を示す図 各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図 各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図 第７の実施の形態の撮像装置の動作の概念図 第８の実施の形態のバンドパスフィルタユニットの一例を示す正面図 第８の実施の形態のバンドパスフィルタユニットの他の一例を示す正面図 バンドパスフィルタユニットの一例を示す正面図 偏光フィルタユニットの一例を示す正面図発明を実施するための形態

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

《第１の実施の形態》
［撮像装置の構成］
図１は、本発明に係る撮像装置の第１の実施の形態の概略構成を示す図である。

本実施の形態の撮像装置は、４バンドのマルチスペクトル画像を撮像する撮像装置である。本実施の形態の撮像装置は、主として、撮像光学系１０と、イメージセンサ１００と、信号処理部２００と、を備える。

［撮像光学系］
撮像光学系１０は、複数のレンズ１２を組み合わせて構成される。撮像光学系１０は、その瞳近傍にバンドパスフィルタユニット１６及び偏光フィルタユニット１８を有する。また、撮像光学系１０は、図示しない焦点調節機構を有する。焦点調節機構は、たとえば、撮像光学系１０の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。

図２は、バンドパスフィルタユニットの正面図である。

バンドパスフィルタユニット１６は、第１光学素子の一例である。バンドパスフィルタユニット１６は、２つの開口領域１６Ａ１、１６Ａ２を備えた枠体１６Ａと、その枠体１６Ａに備えられた２つのバンドパスフィルタ１６Ｂ１、１６Ｂ２と、で構成される。なお、以下においては、必要に応じて、枠体１６Ａに備えられる一方の開口領域１６Ａ１を第１開口領域１６Ａ１、他方の開口領域１６Ａ２を第２開口領域１６Ａ２と称して、２つの開口領域１６Ａ１、１６Ａ２を区別する。また、第１開口領域１６Ａ１に備えられるバンドパスフィルタ１６Ｂ１を第１バンドパスフィルタ１６Ｂ１、第２開口領域１６Ａ２に備えられるバンドパスフィルタ１６Ｂ２を第２バンドパスフィルタ１６Ｂ２と称して、２つのバンドパスフィルタ１６Ｂ１、１６Ｂ２を区別する。

枠体１６Ａに備えられる２つの開口領域１６Ａ１、１６Ａ２は、円形状の開口形状を有し、光軸Ｌを挟んで対称に配置される。枠体１６Ａは、遮光性を有し、２つの開口領域１６Ａ１、１６Ａ２のみから光を通過させる。

第１バンドパスフィルタ１６Ｂ１及び第２バンドパスフィルタ１６Ｂ２は、いわゆるマルチバンドパスフィルタで構成され、それぞれ複数種類の波長帯域の光を透過させる。本実施の形態の撮像装置では、第１バンドパスフィルタ１６Ｂ１及び第２バンドパスフィルタ１６Ｂ２が、それぞれ２種類の波長帯域の光を透過させる。なお、第１バンドパスフィルタ１６Ｂ１及び第２バンドパスフィルタ１６Ｂ２は、互いに異なる波長帯域の光を透過させる。

図３は、第１バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第１バンドパスフィルタ１６Ｂ１は、波長帯域λ１１の光及び波長帯域λ１２の光を透過させる。

図４は、第２バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第２バンドパスフィルタ１６Ｂ２は、波長帯域λ２１の光及び波長帯域λ２２の光を透過させる。

図５は、偏光フィルタユニットの正面図である。

偏光フィルタユニット１８は、第２光学素子の一例である。偏光フィルタユニット１８は、バンドパスフィルタユニット１６を透過する光を複数方向に偏光する。偏光フィルタユニット１８は、２つの開口領域１８Ａ１、１８Ａ２を備えた枠体１８Ａと、その枠体１８Ａの一方の開口領域１８Ａ２に備えられた１つの偏光フィルタ１８Ｂ２と、で構成される。なお、以下においては、必要に応じて、枠体１８Ａに備えられる一方の開口領域１８Ａ１を第１開口領域１８Ａ１、他方の開口領域１８Ａ２を第２開口領域１８Ａ２と称して、２つの開口領域１８Ａ１、１８Ａ２を区別する。偏光フィルタ１８Ｂ２は、第２開口領域１８Ａ２に備えられる。

枠体１８Ａは、遮光性を有し、２つの開口領域１８Ａ１、１８Ａ２のみから光を通過させる。２つの開口領域１８Ａ１、１８Ａ２は、バンドパスフィルタユニット１６の２つの開口領域１６Ａ１、１６Ａ２に対応し、同じ位置に重ねて配置される。すなわち、第１開口領域１８Ａ１は、バンドパスフィルタユニット１６の第１開口領域１６Ａ１と同じ開口形状（円形状）を有し、かつ、同じ位置に重ねて配置される。また、第２開口領域１８Ａ２は、バンドパスフィルタユニット１６の第２開口領域１６Ａ２と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。したがって、バンドパスフィルタユニット１６の第１開口領域１６Ａ１を通過した光は、偏光フィルタユニット１８の第１開口領域１８Ａ１を通過し、バンドパスフィルタユニット１６の第２開口領域１６Ａ２を通過した光は、偏光フィルタユニット１８の第２開口領域１８Ａ２を通過する。

第２開口領域１８Ａ２に備えられる偏光フィルタ１８Ｂ２は、偏光方向θ（たとえば、方位角６０°）の光を透過させる。偏光方向（偏光方位）は、光軸Ｌと直交するｘｙ平面において、偏光透過軸がｘ軸（水平軸）と成す角度（方位角）によって表わされる。

偏光フィルタは第２開口領域１８Ａ２にのみ備えられる。したがって、第１開口領域１８Ａ１は、非偏光の光を透過させる。

以上の構成の撮像光学系１０は、バンドパスフィルタユニット１６及び偏光フィルタユニット１８によって、瞳領域が２つの領域に分割される。すなわち、バンドパスフィルタユニット１６の第１開口領域１６Ａ１と偏光フィルタユニット１８の第１開口領域１８Ａ１とによって画定される第１の瞳領域と、バンドパスフィルタユニット１６の第２開口領域１６Ａ２と偏光フィルタユニット１８の第２開口領域１８Ａ２とによって画定される第２の瞳領域とに分割される。各瞳領域からは、特性の異なる光が出射される。すなわち、非偏光の光であって波長帯域λ１１の光（第１の光）、非偏光の光であって波長帯域λ１２の光（第２の光）、偏光方向θの光であって波長帯域λ２１の光（第３の光）、及び、偏光方向θの光であって波長帯域λ２２の光（第４の光）が出射する。第１の光及び第２の光は、バンドパスフィルタユニット１６の第１開口領域１６Ａ１及び偏光フィルタユニット１８の第１開口領域１８Ａ１を通過した光である。第３の光及び第４の光は、バンドパスフィルタユニット１６の第２開口領域１６Ａ２及び偏光フィルタユニット１８の第２開口領域１８Ａ２を通過した光である。

［イメージセンサ］
図６は、イメージセンサの画素の配列の概略構成を示す図である。

同図に示すように、イメージセンサ１００は、その受光面に複数種類の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４を有する。各画素Ｐ１～Ｐ４は、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って、一定ピッチで規則的に配列される。

本実施の形態のイメージセンサ１００は、隣接する４個（２×２個）の画素Ｐ１～Ｐ４で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成され、この画素ブロックＰＢ（Ｘ，Ｙ）が、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配列される。以下、必要に応じて、画素Ｐ１を第１画素Ｐ１、画素Ｐ２を第２画素Ｐ２、画素Ｐ３を第３画素Ｐ３、画素Ｐ４を第４画素Ｐ４として、各画素Ｐ１～Ｐ４を区別する。各画素Ｐ１～Ｐ４は、それぞれ異なる光学特性を有する。

図７は、イメージセンサの概略構成を示す図である。図８は、１つ画素（図７の破線部）の概略構成を示す断面図である。

イメージセンサ１００は、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０、マイクロレンズアレイ層１４０の順で配置される。

ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配置される。

偏光フィルタ素子アレイ層１２０は、透過偏光方向（透過させる光の偏光方向）の異なる２種類の偏光フィルタ素子１２２Ａ、１２２Ｂを二次元的に配列して構成される。以下、必要に応じて、偏光フィルタ素子１２２Ａを第１偏光フィルタ素子１２２Ａ、偏光フィルタ素子１２２Ｂを第２偏光フィルタ素子１２２Ｂとして、各偏光フィルタ素子１２２Ａ、１２２Ｂを区別する。各偏光フィルタ素子１２２Ａ、１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。第１偏光フィルタ素子１２２Ａは、第１の偏光方向Θ１（たとえば、方位角９０°）の光を透過させる。第２偏光フィルタ素子１２２Ｂは、第１の偏光方向Θ１とは異なる第２の偏光方向Θ２（たとえば、方位角０°）の光を透過させる。偏光フィルタ素子１２２Ａ、１２２Ｂは、第４光学素子の一例である。

各画素ブロックＰＢ（Ｘ，Ｙ）において、偏光フィルタ素子１２２Ａ、１２２Ｂは、規則的に配列される。

図９は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、本実施の形態の撮像装置では、画素ブロック内の第１画素Ｐ１及び第４画素Ｐ４に第１偏光フィルタ素子１２２Ａが備えられ、第２画素Ｐ２及び第３画素Ｐ３に第２偏光フィルタ素子１２２Ｂが備えられる。

分光フィルタ素子アレイ層１３０は、互いに透過波長特性の異なる２種類の分光フィルタ素子１３２Ａ、１３２Ｂを二次元的に配列して構成される。以下、必要に応じて、分光フィルタ素子１３２Ａを第１分光フィルタ素子１３２Ａ、分光フィルタ素子１３２Ｂを第２分光フィルタ素子１３２Ｂとして、各分光フィルタ素子１３２Ａ、１３２Ｂを区別する。各分光フィルタ素子１３２Ａ、１３２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。分光フィルタ素子１３２Ａ、１３２Ｂは、第３光学素子の一例である。

図１０は、第１分光フィルタ素子の透過波長特性の一例を示すグラフである。また、図１１は、第２分光フィルタ素子の透過波長特性の一例を示すグラフである。

図１０に示すように、第１分光フィルタ素子１３２Ａは、波長帯域λＡの光を透過させる。一方、第２分光フィルタ素子１３２Ｂは、図１１に示すように、第１分光フィルタ素子１３２Ａとは異なる波長帯域λＢの光を透過させる。

また、図１０及び図１１に示すように、撮像光学系１０に備えられるバンドパスフィルタユニット１６は、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１１、λ１２及び第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２１、λ２２が、第１分光フィルタ素子１３２Ａの透過波長帯域λＡ及び第２分光フィルタ素子１３２Ｂの透過波長帯域λＢの範囲内で設定される。具体的には、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１１及び第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２１が、第１分光フィルタ素子１３２Ａの透過波長帯域λＡの範囲内で設定される。また、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１２及び第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２２が、第２分光フィルタ素子１３２Ｂの透過波長帯域λＢの範囲内で設定される。

図１２は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、各画素ブロックＰＢ（Ｘ，Ｙ）において、分光フィルタ素子１３２Ａ、１３２Ｂは、規則的に配列される。本実施の形態の撮像装置では、第１画素Ｐ１及び第２画素Ｐ２に第１分光フィルタ素子１３２Ａが備えられ、第３画素Ｐ３及び第４画素Ｐ４に第２分光フィルタ素子１３２Ｂが備えられる。

マイクロレンズアレイ層１４０は、多数のマイクロレンズ１４２を二次元的に配列して構成される。各マイクロレンズ１４２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１４２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。

以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（Ｘ，Ｙ）において、各画素Ｐ１～Ｐ４が、次のように撮像光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ（波長帯域λＡ）及び第１偏光フィルタ素子１２２Ａ（偏光方向Θ１）を介して、撮像光学系１０からの光を受光する。また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ（波長帯域λＡ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向Θ２）を介して、撮像光学系１０からの光を受光する。また、第３画素Ｐ３は、第２分光フィルタ素子１３２Ｂ（波長帯域λＢ）及び第２偏光フィルタ素子１２２Ｂ（偏光方向Θ２）を介して、撮像光学系１０からの光を受光する。また、第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ（波長帯域λＢ）及び第１偏光フィルタ素子１２２Ａ（偏光方向Θ１）を介して、撮像光学系１０からの光を受光する。このように、画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４は、異なる組み合わせの分光フィルタ素子１３２Ａ、１３２Ｂと偏光フィルタ素子１２２Ａ、１２２Ｂを有することにより、それぞれ異なる波長帯域及び偏光特性の光を受光する。

［信号処理部］
信号処理部２００は、イメージセンサ１００から出力される信号を処理して、４バンドのマルチスペクトル画像の画像信号（画像データ）を生成する。すなわち、撮像光学系１０のバンドパスフィルタユニット１６を透過する４種類の波長帯域λ１１、λ１２、λ２１、λ２２の画像信号を生成する。

図１３は、信号処理部の概略構成を示すブロック図である。

同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。

アナログ信号処理部２００Ａは、イメージセンサ１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。

画像生成部２００Ｂは、デジタル信号に変換された後の画素信号に所定の信号処理を施して、各波長帯域λ１１、λ１２、λ２１、λ２２の画像信号を生成する。

図１４は、画像生成の概念図である。

各画素ブロックＰＢ（Ｘ，Ｙ）には、第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３及び第４画素Ｐ４が含まれる。したがって、各画素ブロックＰＢ（Ｘ，Ｙ）から第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４の画素信号を分離して抽出することにより、４つの画像信号Ｄ１～Ｄ４が生成される。しかし、この４つの画像信号には、混信（クロストーク）が生じている。すなわち、各画素Ｐ１～Ｐ４には、各波長帯域の光が入射するため、生成される画像は、各波長帯域の画像が所定の割合で混合した画像となる。このため、画像生成部２００Ｂは、混信除去処理を行って、各波長帯域の画像信号を生成する。

以下、信号処理部２００において行われる混信除去処理について説明する。

各画素ブロックＰＢ（Ｘ，Ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をα１、第２画素Ｐ２で得られる画素信号をα２、第３画素Ｐ３で得られる画素信号をα３、第４画素Ｐ４で得られる画素信号をα４とする。各画素ブロックＰＢ（Ｘ，Ｙ）からは、４つの画素信号α１～α４が得られる。画像生成部２００Ｂは、この４つの画素信号α１～α４から各波長帯域λ１１、λ１２、λ２１、λ２２の光に対応した４つの画素信号β１～β４を算出し、混信を除去する。具体的には、下記の行列Ａを用いた式１によって、各波長帯域λ１１、λ１２、λ２１、λ２２の光に対応した４つの画素信号β１～β４を算出し、混信を除去する。

なお、画素信号β１は波長帯域λ１１の光に対応した画素信号、画素信号β２は波長帯域λ１２の光に対応した画素信号、画素信号β３は波長帯域λ２１の光に対応した画素信号、画素信号β４は波長帯域λ２２の光に対応した画素信号である。したがって、画素信号β１からは波長帯域λ１１の画像信号が生成され、画素信号β２からは波長帯域λ１２の画像信号が生成され、画素信号β３からは波長帯域λ２１の画像信号が生成され、画素信号β４からは波長帯域λ２２の画像信号が生成される。以下、上記の式１によって混信を除去できる理由について説明する。

混信は、各画素Ｐ１～Ｐ４に各波長帯域λ１１、λ１２、λ２１、λ２２の光が混入することで発生する。撮像光学系１０から出射した各波長帯域λ１１、λ１２、λ２１、λ２２の光が、各画素Ｐ１～Ｐ４で受光される割合（混信比率）をｂｉｊ（ｉ＝１～４、ｊ＝１～４）とする。ここで、ｂ１１は、波長帯域λ１１の光が第１画素Ｐ１で受光される割合、ｂ１２は、波長帯域λ１２の光が第１画素Ｐ１で受光される割合、ｂ１３は、波長帯域λ２１の光が第１画素Ｐ１で受光される割合、ｂ１４は、波長帯域λ２２の光が第１画素Ｐ１で受光される割合である。また、ｂ２１は、波長帯域λ１１の光が第２画素Ｐ２で受光される割合、ｂ２２は、波長帯域λ１２の光が第２画素Ｐ２で受光される割合、ｂ２３は、波長帯域λ２１の光が第２画素Ｐ２で受光される割合、ｂ２４は、波長帯域λ２２の光が第２画素Ｐ２で受光される割合である。また、ｂ３１は、波長帯域λ１１の光が第３画素Ｐ３で受光される割合、ｂ３２は、波長帯域λ１２の光が第３画素Ｐ３で受光される割合、ｂ３３は、波長帯域λ２１の光が第３画素Ｐ３で受光される割合、ｂ３４は、波長帯域λ２２の光が第３画素Ｐ３で受光される割合である。また、ｂ４１は、波長帯域λ１１の光が第４画素Ｐ４で受光される割合、ｂ４２は、波長帯域λ１２の光が第４画素Ｐ４で受光される割合、ｂ４３は、波長帯域λ２１の光が第４画素Ｐ４で受光される割合、ｂ４４は、波長帯域λ２２の光が第４画素Ｐ４で受光される割合である。この割合ｂｉｊは、撮像光学系１０に設定される透過波長帯域及び透過偏光方向（非偏光を含む）、並びに、イメージセンサ１００の各画素に設定される透過波長帯域及び透過偏光方向によって一意に定まる。すなわち、バンドパスフィルタユニット１６の各開口領域１６Ａ１、１６Ａ２に設定された透過波長帯域と、イメージセンサ１００の各分光フィルタ素子１３２Ａ、１３２Ｂに設定された透過波長帯域との組み合わせ、並びに、偏光フィルタユニット１８の各開口領域１８Ａ１、１８Ａ２に設定された透過偏光方向（非偏光を含む）と、イメージセンサ１００の各偏光フィルタ素子１２２Ａ、１２２Ｂに設定される偏光方向との組み合わせによって一意に定まる。したがって、撮像光学系１０から出射される各波長帯域λ１１、λ１２、λ２１、λ２２の光が、各画素Ｐ１～Ｐ４で受光される割合ｂｉｊは、事前に求めることができる。

各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４で得られる画素信号α１～α４と、各波長帯域λ１１、λ１２、λ２１、λ２２の光に対応する画素信号β１～β４との間には、次の関係が成り立つ。

第１画素Ｐ１で得られる画素信号α１に関して、「ｂ１１＊β１＋ｂ１２＊β２＋ｂ１３＊β３＋ｂ１４＊β４＝α１…式２」が成り立つ（「＊」は、積算の記号）。

第２画素Ｐ２で得られる画素信号α２に関して、「ｂ２１＊β１＋ｂ２２＊β２＋ｂ２３＊β３＋ｂ２４＊β４＝α２…式３」が成り立つ。

第３画素Ｐ３で得られる画素信号α３に関して、「ｂ３１＊β１＋ｂ３２＊β２＋ｂ３３＊β３＋ｂ３４＊β４＝α３…式４」が成り立つ。

第４画素Ｐ４で得られる画素信号α４に関して、「ｂ４１＊β１＋ｂ４２＊β２＋ｂ４３＊β３＋ｂ４４＊β４＝α４…式５」が成り立つ。

ここで、上記の式２～５の連立方程式は、行列Ｂを用いた下記の式６で表わすことができる。

式２～５の連立方程式の解であるβ１～β４は、上記式６の両辺に行列Ｂの逆行列Ｂ^－１をかけることで算出される。

このように、各波長帯域λ１１、λ１２、λ２１、λ２２に対応した画素信号β１～β４は、撮像光学系１０から出射される各波長帯域λ１１、λ１２、λ２１、λ２２の光が、画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４で受光される割合に基づいて、各画素Ｐ１～Ｐ４の信号値（画素信号）α１～α４から算出できる。

上記式１は、上記式７の逆行列Ｂ^－１をＡとしたものである（Ｂ^－１＝Ａ）。したがって、式１における行列Ａの各要素ａｉｊは、行列Ｂの逆行列Ｂ^－１を求めることで取得できる。

係数記憶部２００Ｃは、混信除去処理を行うための行列Ａの各要素ａｉｊを係数群として記憶する。

画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４から得られる画素信号α１～α４から、上記式１によって、各波長帯域λ１１、λ１２、λ２１、λ２２に対応した画素信号β１～β４を算出し、各波長帯域λ１１、λ１２、λ２１、λ２２の画像信号を生成する。

画像生成部２００Ｂで生成された各波長帯域λ１１、λ１２、λ２１、λ２２の画像信号は、外部に出力され、必要に応じて記憶装置（不図示）に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。

［撮像装置の作用］
図１５は、本実施の形態の撮像装置の動作の概念図である。

撮像光学系１０に入射した光は、特性の異なる４種類の光となって、イメージセンサ１００に入射する。具体的には、非偏光の光であって波長帯域λ１１の光（第１の光）、非偏光の光であって波長帯域λ１２の光（第２の光）、偏光方向θの光であって波長帯域λ２１の光（第３の光）、及び、偏光方向θの光であって波長帯域λ２２の光（第４の光）となって、イメージセンサ１００に入射する。

イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）では、撮像光学系１０から出射した各波長帯域の光が、各画素Ｐ１～Ｐ４において、所定の割合で受光される。すなわち、各画素Ｐ１～Ｐ４に備えられる偏光フィルタ素子１２２Ａ、１２２Ｂ及び分光フィルタ素子１３２Ａ、１３２Ｂの作用によって、各波長帯域の光が所定の割合ｂｉｊで受光される。

信号処理部２００は、イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ４から得られる画素信号α１～α４から各波長帯域λ１１、λ１２、λ２１、λ２２の光に対応した画素信号β１～β４を算出し、各波長帯域λ１１、λ１２、λ２１、λ２２の画像信号を生成する。すなわち、行列Ａを用いた式１による演算処理（混信除去処理）を行って、イメージセンサ１００から得られる各画素Ｐ１～Ｐ４の画素信号α１～α４から各波長帯域λ１１、λ１２、λ２１、λ２２の光に対応した画素信号β１～β４を算出し、各波長帯域λ１１、λ１２、λ２１、λ２２の画像信号を生成する。

このように、本実施の形態の撮像装置によれば、１つの撮像光学系１０と１つ（単板）のイメージセンサ１００で４種類の波長帯域の画像（４バンドのマルチスペクトル画像）を撮像できる。

また、本実施の形態の撮像装置では、撮像光学系１０のバンドパスフィルタユニット１６において、１つの開口領域から複数種類の波長帯域の光を透過させている。これにより、各波長帯域の光を個別に取り出す構成に比べて、開口サイズを大きくできる。これにより、感度を向上できる。特に、各開口領域に設定する透過波長帯域数（各開口領域に備えられるバンドパスフィルタの透過波長帯域数）を、イメージセンサの透過波長帯域数（イメージセンサに備えられる分光フィルタ素子の種類の数）と同じ数にすることにより、可能な限り開口サイズを大きくでき、感度を向上できる。

また、本実施の形態の撮像装置では、撮像光学系１０の偏光フィルタユニット１８において、一方の開口領域を素通しとしている。これにより、偏光による光量低下を防止できる。したがって、この構成によっても感度を向上できる。また、この構成により、偏光画像も同時に撮像できる。

《第２の実施の形態》
本実施の形態の撮像装置は、偏光フィルタユニット１８の第１開口領域１８Ａ１及び第２開口領域１６Ａ２の双方に偏光フィルタ１８Ｂ１、１８Ｂ２が備えられる点で上記第１の実施の形態の撮像装置と相違する。その他の構成は、上記第１の実施の形態の撮像装置と同じである。したがって、ここでは、偏光フィルタユニット１８の構成についてのみ説明する。

図１６は、本実施の形態の撮像装置に備えられる偏光フィルタユニットの正面図である。

同図に示すように、第１開口領域１８Ａ１及び第２開口領域１８Ａ２の双方に偏光フィルタ１８Ｂ１、１８Ｂ２が備えられる。以下、第１開口領域１８Ａ１に備えられる偏光フィルタ１８Ｂ１を第１偏光フィルタ１８Ｂ１、第２開口領域１８Ａ２に備えられる偏光フィルタ１８Ｂ１を第２偏光フィルタ１８Ｂ２として、２つの偏光フィルタ１８Ｂ１、１８Ｂ２を区別する。第１偏光フィルタ１８Ｂ１は、第１の偏光方向θ１（たとえば、方位角１５０°）の光を透過させる。第２偏光フィルタ１８Ｂ２は、第１の偏光方向θ１とは異なる第２の偏光方向θ２（たとえば、方位角６０°）の光を透過させる。このように、偏光フィルタユニット１８は、枠体１８Ａのすべての各開口領域１８Ａ１、１８Ａ２に偏光フィルタ１８Ｂ１、１８Ｂ２を備えてもよい。

なお、本実施の形態のように、すべての各開口領域に偏光フィルタを備える場合、イメージセンサに備える複数種類の偏光フィルタ素子の１つを素通しの構成とすることもできる。

また、４バンドのマルチスペクトル画像を撮像する場合、次の構成を採用することにより、混信を防止できる。すなわち、偏光フィルタユニット１８に備える第１偏光フィルタ１８Ｂ１及び第２偏光フィルタ１８Ｂ２の透過偏光方向を互いに直交する方向とし、かつ、イメージセンサ１００に備える第１偏光フィルタ素子１２２Ａ及び第２偏光フィルタ素子１２２Ｂの透過偏光方向を互いに直交する方向とする。たとえば、偏光フィルタユニット１８の第１偏光フィルタ１８Ｂ１については、方位角９０°の光を透過させる偏光フィルタを使用し、第２偏光フィルタ１８Ｂ２については、方位角０°の光を透過させる偏光フィルタを使用する。一方、イメージセンサ１００の第１偏光フィルタ素子１２２Ａについては、方位角９０°の光を透過させる偏光フィルタ素子を使用し、第２偏光フィルタ素子１２２Ｂについては、方位角０°の光を透過させる偏光フィルタ素子を使用する。これにより、イメージセンサ１００において、各波長帯域の光を分離して受光できる。したがって、信号処理部２００において、混信除去処理を行わずに、各波長帯域の画像信号を生成できる。

《第３の実施の形態》
本実施の形態の撮像装置は、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の構成が上記第１の実施の形態の撮像装置と異なる。その他の構成は、上記第１の実施の形態の撮像装置と同じである。したがって、ここでは、偏光フィルタユニット１８及びバンドパスフィルタユニット１６の構成についてのみ説明する。

図１７は、バンドパスフィルタユニットの正面図である。

同図に示すように、本実施の形態のバンドパスフィルタユニット１６は、３つの開口領域１６Ａ１、１６Ａ２、１６Ａ３を有する。以下、必要に応じて、開口領域１６Ａ１を第１開口領域１６Ａ１、開口領域１６Ａ２を第２開口領域１６Ａ２、開口領域１６Ａ３を第３開口領域１６Ａ３と称して、３つの開口領域１６Ａ１、１６Ａ２、１６Ａ３を区別する。

第１開口領域１６Ａ１は、矩形状の開口形状を有し、枠体１６Ａを二等分割した一方側の領域に配置される。第２開口領域１６Ａ２及び第３開口領域１６Ａ３は、共に円形状の開口形状を有し、枠体１６Ａを二等分割した他方側の領域に配置される。

各開口領域１６Ａ１～１６Ａ３には、それぞれ透過させる波長帯域の異なるバンドパスフィルタ１６Ｂ１、１６Ｂ２、１６Ｂ３が備えられる。以下、第１開口領域１６Ａ１に備えられるバンドパスフィルタ１６Ｂ１を第１バンドパスフィルタ１６Ｂ１、第２開口領域１６Ａ２に備えられるバンドパスフィルタ１６Ｂ２を第２バンドパスフィルタ１６Ｂ２、第３開口領域１６Ａ３に備えられるバンドパスフィルタ１６Ｂ３を第３バンドパスフィルタ１６Ｂ３と称して、３つのバンドパスフィルタ１６Ｂ１、１６Ｂ２、１６Ｂ３を区別する。

図１８は、第１バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第１バンドパスフィルタ１６Ｂ１は、いわゆるマルチバンドパスフィルタで構成され、２種類の波長帯域の光を透過させる。具体的には、波長帯域λ１１の光及び波長帯域λ１２の光を透過させる。なお、図１８において破線で示す２つの波長帯域λＡ、λＢのグラフは、それぞれイメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂの透過波長特性のグラフである（波長帯域λＡのグラフは、第１分光フィルタ素子１３２Ａの透過波長特性のグラフ、波長帯域λＢのグラフは、第２分光フィルタ素子１３２Ｂの透過波長特性のグラフ）。第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１１、λ１２は、第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂが透過させる波長帯域λＡ、λＢの範囲内で設定される。具体的には、一方の波長帯域λ１１は、第１分光フィルタ素子１３２Ａが透過させる波長帯域λＡの範囲内で設定され、他方の波長帯域λ１２は、第２分光フィルタ素子１３２Ｂが透過させる波長帯域λＢの範囲内で設定される。

図１９は、第２バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第２バンドパスフィルタ１６Ｂ２は、１種類の波長帯域の光を透過させる。具体的には、波長帯域λ２の光を透過させる。なお、図１９において破線で示す波長帯域λＡのグラフは、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａの透過波長特性のグラフである。第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２は、第１分光フィルタ素子１３２Ａが透過させる波長帯域λＡの範囲内で設定される。

図２０は、第３バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第３バンドパスフィルタ１６Ｂ３は、１種類の波長帯域の光を透過させる。具体的には、図２０に示すように、波長帯域λ３の光を透過させる。なお、図２０において破線で示す波長帯域λＢのグラフは、イメージセンサ１００に備えられる第２分光フィルタ素子１３２Ｂの透過波長特性のグラフである。第３バンドパスフィルタ１６Ｂ３が透過させる波長帯域λ３は、第２分光フィルタ素子１３２Ｂが透過させる波長帯域λＢの範囲内で設定される。

図２１は、偏光フィルタユニットの正面図である。

同図に示すように、偏光フィルタユニット１８は、バンドパスフィルタユニット１６と同様に、枠体１８Ａに３つの開口領域１８Ａ１、１８Ａ２、１８Ａ３を有する。以下、開口領域１８Ａ１を第１開口領域１８Ａ１、開口領域１８Ａ２を第２開口領域１８Ａ２、開口領域１８Ａ３を第３開口領域１８Ａ３と称して、３つの開口領域１８Ａ１、１８Ａ２、１８Ａ３を区別する。

各開口領域１８Ａ１～１８Ａ３は、バンドパスフィルタユニット１６の対応する開口領域１６Ａ１～１６Ａ３と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。したがって、バンドパスフィルタユニット１６の各開口領域１６Ａ１～１６Ａ３を通過した光は、対応する各開口領域１８Ａ１～１８Ａ３に入射する。

第１開口領域１８Ａ１は、素通しとされる。したがって、第１開口領域１８Ａ１は、非偏光の光が通過する。

第２開口領域１８Ａ２及び第３開口領域１８Ａ３には、偏光フィルタ１８Ｂ２が備えられる。偏光フィルタ１８Ｂ２は、偏光方向θ（たとえば、方位角６０°）の光を透過させる。

以上の構成の撮像装置によれば、バンドパスフィルタユニット１６の第１開口領域１６Ａ１を通過した光は、偏光フィルタユニット１８の第１開口領域１８Ａ１を通過して、イメージセンサ１００に入射する。また、バンドパスフィルタユニット１６の第２開口領域１６Ａ２を通過した光は、偏光フィルタユニット１８の第２開口領域１８Ａ２を通過して、イメージセンサ１００に入射する。また、バンドパスフィルタユニット１６の第３開口領域１６Ａ３を通過した光は、偏光フィルタユニット１８の第３開口領域１８Ａ３を通過して、イメージセンサ１００に入射する。

バンドパスフィルタユニット１６の第１開口領域１６Ａ１には、２種類の波長帯域λ１１、λ１２の光を透過させるバンドパスフィルタ（第１バンドパスフィルタ１６Ｂ１）が備えられる。また、第２開口領域１６Ａ２及び第３開口領域１６Ａ３には、１種類の波長帯域λ２、λ３の光を透過させるバンドパスフィルタ（第２バンドパスフィルタ１６Ｂ２、第３バンドパスフィルタ１６Ｂ３）が備えられる。したがって、撮像光学系１０からは、特性の異なる４種類の光が出射する。すなわち、非偏光の光であって波長帯域λ１１の光（第１の光）、非偏光の光であって波長帯域λ１２の光（第２の光）、偏光方向θの光であって波長帯域λ２１の光（第３の光）、及び、偏光方向θの光であって波長帯域λ２２の光（第４の光）が出射する。したがって、本実施の形態の撮像装置においても、上記第１の実施の形態の撮像装置と同様に４つの波長帯域の画像（４バンドのマルチスペクトル画像）を撮像できる。

なお、本実施の形態では、偏光フィルタユニット１８の第１開口領域１８Ａ１を素通しとしたが、上記第２の実施の形態と同様に、通過する光を所定の偏光方向に偏光させる偏光フィルタを備えてもよい。

《第４の実施の形態》
本実施の形態の撮像装置は、バンドパスフィルタユニット１６の構成が、上記第１の実施の形態の撮像装置と相違する。具体的には、バンドパスフィルタユニット１６の第２開口領域１６Ａ２に備えられる第２バンドパスフィルタ１６Ｂ２の透過波長特性が、上記第１の実施の形態の撮像装置と異なる。その他の構成は、上記第１の実施の形態の撮像装置と同じである。したがって、ここでは、第２バンドパスフィルタ１６Ｂ２の透過波長特性についてのみ説明する。

図２２は、本実施の形態の撮像装置の第２バンドパスフィルタの透過波長特性を示すグラフである。

なお、同図において、破線で示す波長帯域λＡのグラフは、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａの透過波長特性のグラフであり、破線で示す波長帯域λＢのグラフは、第２分光フィルタ素子１３２Ｂの透過波長特性のグラフである。

同図に示すように、本実施の形態の撮像装置に備えられる第２バンドパスフィルタ１６Ｂ２は、１種類の波長帯域λ２の光を透過させる。その透過波長帯域は、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａの透過波長帯域と第２分光フィルタ素子１３２Ｂの透過波長帯域との間を跨いで設定される。換言すると、その透過波長帯域の一部が、第１分光フィルタ素子１３２Ａの透過波長帯域及び第２分光フィルタ素子１３２Ｂの透過波長帯域に重複して設定される。

以上の構成の第２バンドパスフィルタ１６Ｂ２を用いることにより、イメージセンサ１００では、実質的に４つの波長帯域の光が受光される。すなわち、第２バンドパスフィルタ１６Ｂ２を透過する光は、１種類の波長帯域λ２の光であるが、第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂによって実質的に２種類の波長帯域に分離される。したがって、第１バンドパスフィルタ１６Ｂ１で分離される２つの波長帯域の光と併せて４種類の波長帯域の光が受光される。

図２３は、第２バンドパスフィルタと第１分光フィルタ素子との組み合わせで実現される透過波長特性の説明図である。同図に示すように、第１分光フィルタ素子１３２Ａが備えられた画素では、第２バンドパスフィルタ１６Ｂ２を通過した光が入射すると、斜線で示す波長帯域の光が受光される。すなわち、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２と、第１分光フィルタ素子１３２Ａが透過させる波長帯域λＡとが重なる波長帯域λ２Ａの光が受光される。

図２４は、第２バンドパスフィルタと第２分光フィルタ素子との組み合わせで実現される透過波長特性の説明図である。同図に示すように、第２分光フィルタ素子１３２Ｂが備えられた画素では、第２バンドパスフィルタ１６Ｂ２を通過した光が入射すると、斜線で示す波長帯域の光が受光される。すなわち、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２と、第２分光フィルタ素子１３２Ｂが透過させる波長帯域λＢとが重なる波長帯域λ２Ｂの光が受光される。

このように、第２バンドパスフィルタ１６Ｂ２が、１種類の波長帯域λ２の光を透過させる構成であっても、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂによって、実質的に２種類の波長帯域の光に分離できる。また、この構成により、バンドパスフィルタの作成を簡素化できる。更に、フィルタに対して斜めに光が入射する際に発生する波長シフトも低減できる。

《第５の実施の形態》
上記第１の実施の形態の撮像装置では、４バンドのマルチスペクトル画像を撮像する場合において、１つの画素ブロックを４つの画素で構成し、２種類の偏光フィルタ素子と２種類の分光フィルタ素子とを組み合わせて、各画素の光学特性を変えている。１つの画素ブロックの各画素に備える偏光フィルタ素子については、互いに異なる偏光特性の偏光フィルタ素子を使用することもできる。以下、４バンドのマルチスペクトル画像を撮像する場合において、１つの画素ブロックを４つの画素で構成し、各画素に透過偏光方向の異なる偏光フィルタ素子を備える場合について説明する。なお、偏光フィルタ素子の配列が異なる点以外は、上記第１の実施の形態の撮像装置と同じである。したがって、ここでは偏光フィルタ素子の配列についてのみ説明する。

図２５は、本実施の形態の撮像装置の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、本実施の形態の撮像装置では、１つの画素ブロックＰＢ（Ｘ，Ｙ）を構成する４つの画素Ｐ１～Ｐ４に、透過偏光方向の異なる偏光フィルタ素子１２２Ａ～１２２Ｄが備えられる。具体的には、第１画素Ｐ１には、第１の偏光方向Θ１（たとえば、９０°）の光を透過させる第１偏光フィルタ素子１２２Ａが備えられる。第２画素Ｐ２には、第２の偏光方向Θ２（たとえば、０°）の光を透過させる第２偏光フィルタ素子１２２Ｂが備えられる。第３画素Ｐ３には、第３の偏光方向Θ３（たとえば、４５°）の光を透過させる第３偏光フィルタ素子１２２Ｃが備えられる。第４画素Ｐ４には、第４の偏光方向Θ４（たとえば、１３５°）の光を透過させる第４偏光フィルタ素子１２２Ｄが備えられる。

なお、バンドパスフィルタユニットに備える開口領域の数は、イメージセンサの透過偏光方向の数以下（イメージセンサに備える偏光フィルタ素子の種類の数以下）で設定できる。この場合において、各開口領域に設定する透過波長帯域数を、イメージセンサの透過波長帯域数と同じ数にすることにより、可能な限り開口サイズを大きくできる。また、これにより、感度を向上できる。

《第６の実施の形態》
本実施の形態の撮像装置は、９バンドのマルチスペクトル画像を撮像する。撮像装置が、撮像光学系１０と、イメージセンサ１００と、信号処理部２００と、を備える点については、上記第１の実施の形態の撮像装置と同じである（図１参照）。

［撮像光学系］
本実施の形態の撮像装置の撮像光学系１０は、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の構成が、上記第１の実施の形態の撮像光学系と相違する。

図２６は、本実施の形態の撮像光学系に備えられるバンドパスフィルタユニットの正面図である。

バンドパスフィルタユニット１６は、枠体１６Ａに３つの開口領域１６Ａ１、１６Ａ２、１６Ａ３を有する。以下、必要に応じて、開口領域１６Ａ１を第１開口領域１６Ａ１、開口領域１６Ａ２を第２開口領域１６Ａ２、開口領域１６Ａ３を第３開口領域１６Ａ３と称して、各開口領域１６Ａ１～１６Ａ３を区別する。

各開口領域１６Ａ１～１６Ａ３は、同じ開口形状（矩形状）を有し、光軸Ｌを中心にして対称に配置される。具体的には、第２開口領域１６Ａ２が光軸上に配置され、その第２開口領域１６Ａ２を挟んで第１開口領域１６Ａ１及び第３開口領域１６Ａ３が対称に配置される。

各開口領域１６Ａ１～１６Ａ３には、それぞれ透過波長特性の異なるバンドパスフィルタ１６Ｂ１～１６Ｂ３が備えられる。以下、必要に応じて第１開口領域１６Ａ１に備えられるバンドパスフィルタ１６Ｂ１を第１バンドパスフィルタ１６Ｂ１、第２開口領域１６Ａ２に備えられるバンドパスフィルタ１６Ｂ２を第２バンドパスフィルタ１６Ｂ２、第３開口領域１６Ａ３に備えられるバンドパスフィルタ１６Ｂ３を第３バンドパスフィルタ１６Ｂ３と称して、各バンドパスフィルタ１６Ｂ１～１６Ｂ３を区別する。

図２７は、第１バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第１バンドパスフィルタ１６Ｂ１は、マルチバンドパスフィルタで構成され、３種類の波長帯域の光を透過させる。具体的には、波長帯域λ１１の光、波長帯域λ１２及び波長帯域λ１３の光を透過させる。

図２８は、第２バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第２バンドパスフィルタ１６Ｂ２も、マルチバンドパスフィルタで構成され、３種類の波長帯域の光を透過させる。具体的には、波長帯域λ２１の光、波長帯域λ２２及び波長帯域λ２３の光を透過させる。

図２９は、第３バンドパスフィルタの透過波長特性を示すグラフである。

同図に示すように、第３バンドパスフィルタ１６Ｂ３も、マルチバンドパスフィルタで構成され、３種類の波長帯域の光を透過させる。具体的には、波長帯域λ３１の光、波長帯域λ３２及び波長帯域λ３３の光を透過させる。

図３０は、本実施の形態の撮像光学系に備えられる偏光フィルタユニットの正面図である。

同図に示すように、偏光フィルタユニット１８は、枠体１８Ａに３つの開口領域１８Ａ１、１８Ａ２、１８Ａ３を有する。以下、必要に応じて、開口領域１８Ａ１を第１開口領域１８Ａ１、開口領域１８Ａ２を第２開口領域１８Ａ２、開口領域１８Ａ３を第３開口領域１８Ａ３と称して、各開口領域１８Ａ１～１８Ａ３を区別する。

３つの開口領域１８Ａ１、１８Ａ２、１８Ａ３は、バンドパスフィルタユニット１６の３つの開口領域１６Ａ１、１６Ａ２、１６Ａ３に対応し、同じ位置に重ねて配置される。すなわち、第１開口領域１８Ａ１は、バンドパスフィルタユニット１６の第１開口領域１６Ａ１と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。また、第２開口領域１８Ａ２は、バンドパスフィルタユニット１６の第２開口領域１６Ａ２と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。また、第３開口領域１８Ａ３は、バンドパスフィルタユニット１６の第３開口領域１６Ａ３と同じ開口形状を有し、かつ、同じ位置に重ねて配置される。したがって、バンドパスフィルタユニット１６の第１開口領域１６Ａ１を通過した光は第１開口領域１８Ａ１を通過し、バンドパスフィルタユニット１６の第２開口領域１６Ａ２を通過した光は第２開口領域１８Ａ２を通過し、バンドパスフィルタユニット１６の第３開口領域１６Ａ３を通過した光は第３開口領域１８Ａ３を通過する。

第２開口領域１８Ａ２及び第３開口領域１８Ａ３には、それぞれ透過偏光方向の異なる偏光フィルタ１８Ｂ２、１８Ｂ３が備えられる。具体的には、第２開口領域１８Ａ２には、偏光方向θ２（たとえば、方位角１５０°）の光を通過させる偏光フィルタ１８Ｂ２が備えられる。第３開口領域１８Ａ３には、偏光方向θ３（たとえば、方位角１５０°）の光を通過させる偏光フィルタ１８Ｂ３が備えられる。

偏光フィルタは、第２開口領域１８Ａ２及び第３開口領域１８Ａ３にのみ備えられる。したがって、第１開口領域１８Ａ１は、非偏光の光を透過させる。

撮像光学系１０は、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の組み合わせにより、瞳領域が３つの領域に分割される。すなわち、バンドパスフィルタユニット１６の第１開口領域１６Ａ１と偏光フィルタユニット１８の第１開口領域１８Ａ１とによって画定される第１の瞳領域と、バンドパスフィルタユニット１６の第２開口領域１６Ａ２と偏光フィルタユニット１８の第２開口領域１８Ａ２とによって画定される第２の瞳領域と、バンドパスフィルタユニット１６の第３開口領域１６Ａ３と偏光フィルタユニット１８の第３開口領域１８Ａ３とによって画定される第３の瞳領域とに分割される。各瞳領域からは、特性の異なる光が出射される。すなわち、非偏光の光であって波長帯域λ１１の光（第１の光）、非偏光の光であって波長帯域λ１２の光（第２の光）、非偏光の光であって波長帯域λ１３の光（第３の光）、偏光方向θ２の光であって波長帯域λ２１の光（第４の光）、偏光方向θ２の光であって波長帯域λ２２の光（第５の光）、偏光方向θ２の光であって波長帯域λ２３の光（第６の光）、偏光方向θ３の光であって波長帯域λ３１の光（第７の光）、偏光方向θ３の光であって波長帯域λ３２の光（第８の光）、及び、偏光方向θ３の光であって波長帯域λ３３の光（第９の光）が出射する。

［イメージセンサ］
図３１は、イメージセンサの画素の配列の概略構成を示す図である。

同図に示すように、本実施の形態の撮像装置のイメージセンサ１００は、隣接する９個（３個×３個）の画素Ｐ１～Ｐ９で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成される。以下、必要に応じて、画素Ｐ１を第１画素Ｐ１、画素Ｐ２を第２画素Ｐ２、画素Ｐ３を第３画素Ｐ３、画素Ｐ４を第４画素Ｐ４、画素Ｐ５を第５画素Ｐ５、画素Ｐ６を第６画素Ｐ６、画素Ｐ７を第７画素Ｐ７、画素Ｐ８を第８画素Ｐ８、画素Ｐ９を第９画素Ｐ９として、各画素Ｐ１～Ｐ９を区別する。

イメージセンサ１００が、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する点は、上記第１の実施の形態の撮像装置と同じである（図７参照）。本実施の形態のイメージセンサ１００は、偏光フィルタ素子アレイ層１２０及び分光フィルタ素子アレイ層１３０の構成が異なる。

偏光フィルタ素子アレイ層１２０には、透過偏光方向が異なる３種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃが備えられる。以下、必要に応じて、偏光フィルタ素子１２２Ａを第１偏光フィルタ素子１２２Ａ、偏光フィルタ素子１２２Ｂを第２偏光フィルタ素子１２２Ｂ、偏光フィルタ素子１２２Ｃを第３偏光フィルタ素子１２２Ｃとして、各偏光フィルタ素子１２２Ａ～１２２Ｃを区別する。第１偏光フィルタ素子１２２Ａは、偏光方向Θ１（たとえば、方位角９０°）の光を透過させる。第２偏光フィルタ素子１２２Ｂは、偏光方向Θ２（たとえば、方位角４５°）の光を透過させる。第３偏光フィルタ素子１２２Ｃは、偏光方向Θ３（たとえば、方位角０°）の光を透過させる。

図３２は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７には、第１偏光フィルタ素子１２２Ａが備えられる。また、第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８には、第２偏光フィルタ素子１２２Ｂが備えられる。また、第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９に第３偏光フィルタ素子１２２Ｃが備えられる。

分光フィルタ素子アレイ層１３０には、互いに透過波長特性の異なる３種類の分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃが備えられる。以下、必要に応じて、分光フィルタ素子１３２Ａを第１分光フィルタ素子１３２Ａ、分光フィルタ素子１３２Ｂを第２分光フィルタ素子１３２Ｂ、分光フィルタ素子１３２Ｃを第３分光フィルタ素子１３２Ｃとして、各分光フィルタ素子１３２Ａ～１３２Ｃを区別する。

図３３は、第１分光フィルタ素子の透過波長特性の一例を示すグラフである。

同図に示すように、第１分光フィルタ素子１３２Ａは、波長帯域λＡ（たとえば、赤色（Red，Ｒ）の波長帯域）の光を透過させる。撮像光学系１０に備えられるバンドパスフィルタユニット１６は、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１１、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２１及び第３バンドパスフィルタ１６Ｂ３が透過させる波長帯域λ３１が、第１分光フィルタ素子１３２Ａの透過波長帯域λＡの範囲内で設定される。

図３４は、第２分光フィルタ素子の透過波長特性の一例を示すグラフである。

同図に示すように、第２分光フィルタ素子１３２Ｂは、波長帯域λＢ（たとえば、緑色（Green，Ｇ）の波長帯域）の光を透過させる。撮像光学系１０に備えられるバンドパスフィルタユニット１６は、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１２、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２２及び第３バンドパスフィルタ１６Ｂ３が透過させる波長帯域λ３２が、第２分光フィルタ素子１３２Ｂの透過波長帯域λＢの範囲内で設定される。

図３５は、第３分光フィルタ素子の透過波長特性の一例を示すグラフである。

同図に示すように、第３分光フィルタ素子１３２Ｃは、波長帯域λＣ（たとえば、青色（Blue，Ｂ）の波長帯域）の光を透過させる。撮像光学系１０に備えられるバンドパスフィルタユニット１６は、第１バンドパスフィルタ１６Ｂ１が透過させる波長帯域λ１３、第２バンドパスフィルタ１６Ｂ２が透過させる波長帯域λ２３及び第３バンドパスフィルタ１６Ｂ３が透過させる波長帯域λ３３が、第３分光フィルタ素子１３２Ｃの透過波長帯域λＣの範囲内で設定される。

図３６は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３には、第１分光フィルタ素子１３２Ａが備えられる。また、第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６には、第２分光フィルタ素子１３２Ｂが備えられる。また、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９には、第３分光フィルタ素子１３２Ｃが備えられる。

以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（Ｘ，Ｙ）において、各画素Ｐ１～Ｐ９が、次のように撮像光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第３画素Ｐ３は、第１分光フィルタ素子１３２Ａ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第５画素Ｐ５は、第２分光フィルタ素子１３２Ｂ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第６画素Ｐ６は、第２分光フィルタ素子１３２Ｂ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第７画素Ｐ７は、第３分光フィルタ素子１３２Ｃ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第８画素Ｐ８は、第３分光フィルタ素子１３２Ｃ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。このように、画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ９は、異なる組み合わせの分光フィルタ素子１３２Ａ～１３２Ｃと偏光フィルタ素子１２２Ａ～１２２Ｃを有することにより、それぞれ異なる特性の光を受光する。

［信号処理部］
信号処理部２００は、イメージセンサ１００から出力される信号を処理して、９バンドのマルチスペクトル画像の画像信号を生成する。すなわち、撮像光学系１０のバンドパスフィルタユニット１６を透過する９つの波長帯域λ１１、λ１２、λ１３、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の画像信号を生成する。信号処理部２００は、所定の混信除去処理を行って、各波長帯域の画像信号を生成する点については、上記第１の実施の形態の信号処理部２００と同じである。

［撮像装置の作用］
図３７は、本実施の形態の撮像装置の動作の概念図である。

撮像光学系１０に入射した光は、特性の異なる９種類の光となって、イメージセンサ１００に入射する。具体的には、非偏光の光であって波長帯域λ１１の光（第１の光）、非偏光の光であって波長帯域λ１２の光（第２の光）、非偏光の光であって波長帯域λ１３の光（第３の光）、偏光方向θ２の光であって波長帯域λ２１の光（第４の光）、偏光方向θ２の光であって波長帯域λ２２の光（第５の光）、偏光方向θ２の光であって波長帯域λ２３の光（第６の光）、偏光方向θ３の光であって波長帯域λ３１の光（第７の光）、偏光方向θ３の光であって波長帯域λ３２の光（第８の光）、偏光方向θ３の光であって波長帯域λ３３の光（第９の光）となって、イメージセンサ１００に入射する。

イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）では、各画素Ｐ１～Ｐ９において、撮像光学系１０から出射した光が所定の割合で受光される。すなわち、波長帯域λ１１の光、波長帯域λ１２の光、波長帯域λ１３の光、波長帯域λ２１の光、波長帯域λ２２の光、波長帯域λ２３の光、波長帯域λ３１の光、波長帯域λ３２の光、波長帯域λ３３の光が、所定の割合で受光される。

信号処理部２００は、イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ９から得られる画素信号α１～α９から各波長帯域λ１１、λ１２、λ１３、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の光に対応した画素信号β１～β９を算出し、各波長帯域λ１１、λ１２、λ１３、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の画像信号を生成する。

このように、本実施の形態の撮像装置によれば、１つの撮像光学系１０と１つのイメージセンサ１００で９バンドのマルチスペクトル画像を撮像できる。

［バンドパスフィルタユニット及び偏光フィルタユニットの変形例］
図３８は、バンドパスフィルタユニットの他の一例を示す図である。図３９は、偏光フィルタユニットの他の一例を示す図である。

図３８に示すように、本例のバンドパスフィルタユニット１６は、枠体１６Ａが９つの開口領域を有し、各開口領域に各波長帯域λ１１、λ１２、λ１３、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の光を透過させるバンドパスフィルタが個別に備えられる。したがって、各波長帯域λ１１、λ１２、λ１３、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の光は、各開口領域を通過することで分離される。

図３９に示すように、偏光フィルタユニット１８も、バンドパスフィルタユニットに対応して、枠体１８Ａが９つの開口領域を有し、各開口領域に偏光フィルタが備えられる。なお、本例では、透過偏光方向の異なる３種類の偏光フィルタ（偏光方向θ１、θ２、θ３）を組み合わせて使用しているが、１種類を非偏光（素通し）としてもよい。

図４０は、偏光フィルタユニットの他の一例を示す図である。

本例の偏光フィルタユニット１８は、図３９に示した偏光フィルタユニットに対して、同じ偏光特性を有する開口領域を結合して１つにまとめたものである。このように、同じ偏光特性を有する開口領域を結合して１つにまとめることにより、フィルタの作成を容易にできる。なお、この場合、バンドパスフィルタユニット１６と重ねた際の開口形状（開口領域として透視される形状（破線で示す形状））が、実質的な開口領域（瞳領域）の形状となる。

図４１は、バンドパスフィルタユニットの他の一例を示す図である。図４２は、偏光フィルタユニットの他の一例を示す図である。

図４１に示すように、本例のバンドパスフィルタユニット１６は、枠体１６Ａが７つの開口領域を有する。７つの開口領域のうち１つは、マルチバンドパスフィルタが備えられ、３種類の波長帯域λ１１、λ１２、λ１３の光を透過させる。残りの開口領域は、それぞれ１種類の波長帯域λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の光を透過させるバンドパスフィルタが備えられる。

図４２に示すように、偏光フィルタユニット１８も、バンドパスフィルタユニットに対応して、枠体１８Ａが７つの開口領域を有する。各開口領域には、偏光フィルタ（偏光方向θ１、θ２、θ３）が備えられる。

本例のように、マルチバンドパスフィルタを適宜使用することにより、開口サイズを大きくできる。これにより、感度を向上できる。

図４３～図４５は、バンドパスフィルタユニットの各バンドパスフィルタに設定される透過波長特性の他の一例（変形例）を示すグラフである。なお、図４３は、第１バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフである。また、図４４は、第２バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフである。また、図４５は、第３バンドパスフィルタに設定される透過波長特性の他の一例を示すグラフである。

図４３に示すように、第１バンドパスフィルタは、２種類の波長帯域λ１１、λ１２の光を透過させる。ここで、一方の波長帯域λ１１は、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂの透過波長帯域λＡ、λＢの間を跨いで設定される。換言すると、その波長帯域の一部が、第１分光フィルタ素子１３２Ａの透過波長帯域λＡ及び第２分光フィルタ素子１３２Ｂの透過波長帯域λＢに重複して設定される。他方の波長帯域λ１２は、イメージセンサ１００に備えられる第３分光フィルタ素子１３２Ｃの透過波長帯域λＣの範囲内で設定される。

図４４に示すように、第２バンドパスフィルタは、３種類の波長帯域λ２１、λ２２、λ２３の光を透過させる。ここで、波長帯域λ２１は、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａの透過波長帯域λＡの範囲内で設定される。また、波長帯域λ２２は、イメージセンサ１００に備えられる第２分光フィルタ素子１３２Ｂの透過波長帯域λＢの範囲内で設定される。また、波長帯域λ２３は、イメージセンサ１００に備えられる第３分光フィルタ素子１３２Ｃの透過波長帯域λＣの範囲内で設定される。

図４５に示すように、第３バンドパスフィルタは、３種類の波長帯域λ３１、λ３２、λ３３の光を透過させる。ここで、波長帯域λ３１は、イメージセンサ１００に備えられる第１分光フィルタ素子１３２Ａの透過波長帯域λＡの範囲内で設定される。また、波長帯域λ３２は、イメージセンサ１００に備えられる第２分光フィルタ素子１３２Ｂの透過波長帯域λＢの範囲内で設定される。また、波長帯域λ３３は、イメージセンサ１００に備えられる第３分光フィルタ素子１３２Ｃの透過波長帯域λＣの範囲内で設定される。

以上の構成のバンドパスフィルタユニットによれば、撮像光学系では、８種類の波長帯域λ１１、λ１２、λ２１、λ２２、λ２３、λ３１、λ３２、λ３３の光が分離される。しかしながら、イメージセンサでは、実質的に９種類の波長帯域の光を受光できる。すなわち、第１バンドパスフィルタで分離される波長帯域λ１１の光は、第１分光フィルタ素子１３２Ａ及び第２分光フィルタ素子１３２Ｂによって実質的に２つの波長帯域に分離される。したがって、イメージセンサでは、実質的に９種類の波長帯域の光を受光できる。

《第７の実施の形態》
本実施の形態の撮像装置は、１２バンドのマルチスペクトル画像を撮像する。なお、撮像装置が、撮像光学系１０と、イメージセンサ１００と、信号処理部２００と、を備える点については、上記第１の実施の形態の撮像装置と同じである（図１参照）。

［撮像光学系］
本実施の形態の撮像装置の撮像光学系は、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の構成が、上記第１の実施の形態の撮像装置１の撮像光学系１０と相違する。

図４６は、本実施の形態の撮像光学系に備えられるバンドパスフィルタユニットの正面図である。

バンドパスフィルタユニット１６は、枠体１６Ａに３つの開口領域（第１開口領域１６Ａ１、第２開口領域１６Ａ２、第３開口領域１６Ａ３）を有する。各開口領域１６Ａ１～１６Ａ３には、それぞれ透過波長特性の異なるバンドパスフィルタ（第１バンドパスフィルタ１６Ｂ１、第２バンドパスフィルタ１６Ｂ２、第３バンドパスフィルタ１６Ｂ３）が備えられる。各バンドパスフィルタ１６Ｂ１～１６Ｂ３は、マルチバンドパスフィルタで構成され、互いに異なる４種類の波長帯域の光を透過させる。具体的には、第１バンドパスフィルタ１６Ｂ１は、波長帯域Ｒλ１、Ｇλ１、Ｂλ１、ＩＲλ１の光を透過させる。第２バンドパスフィルタ１６Ｂ２は、波長帯域Ｒλ２、Ｇλ２、Ｂλ２、ＩＲλ２の光を透過させる。第３バンドパスフィルタ１６Ｂ３は、波長帯域Ｒλ３、Ｇλ３、Ｂλ３、ＩＲλ３の光を透過させる。

図４７は、本実施の形態の撮像光学系に備えられる偏光フィルタユニットの正面図である。

同図に示すように、偏光フィルタユニット１８は、枠体１８Ａに３つの開口領域（第１開口領域１８Ａ１、第２開口領域１８Ａ２、第３開口領域１８Ａ３）を有する。各開口領域１８Ａ１～１８Ａ３には、それぞれ透過偏光方向の異なる偏光フィルタ（第１偏光フィルタ１８Ｂ１、第２偏光フィルタ１８Ｂ２、第３偏光フィルタ１８Ｂ３）が備えられる。具体的には、第１偏光フィルタ１８Ｂ１は、偏光方向θ１の光を透過させる。第２偏光フィルタ１８Ｂ２は、偏光方向θ２の光を透過させる。第３偏光フィルタ１８Ｂ３は、偏光方向θ３の光を透過させる。

以上の構成の撮像光学系からは、特性の異なる１２種類の光が出射される。すなわち、偏光方向θ１の光であって波長帯域Ｒλ１の光（第１の光）、偏光方向θ１の光であって波長帯域Ｇλ１の光（第２の光）、偏光方向θ１の光であって波長帯域Ｂλ１の光（第３の光）、偏光方向θ１の光であって波長帯域ＩＲλ１の光（第４の光）、偏光方向θ２の光であって波長帯域Ｒλ２の光（第５の光）、偏光方向θ２の光であって波長帯域Ｇλ２の光（第６の光）、偏光方向θ２の光であって波長帯域Ｂλ２の光（第７の光）、偏光方向θ２の光であって波長帯域ＩＲλ２の光（第８の光）、偏光方向θ３の光であって波長帯域Ｒλ３の光（第９の光）、偏光方向θ３の光であって波長帯域Ｇλ３の光（第１０の光）、偏光方向θ３の光であって波長帯域Ｂλ３の光（第１１の光）、偏光方向θ３の光であって波長帯域ＩＲλ３の光（第１２の光）が出射する。

［イメージセンサ］
図４８は、イメージセンサの画素の配列の概略構成を示す図である。

同図に示すように、本実施の形態のイメージセンサ１００は、隣接する１６個（４個×４個）の画素Ｐ１～Ｐ１６で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成される。以下、必要に応じて、画素Ｐ１を第１画素Ｐ１、画素Ｐ２を第２画素Ｐ２、画素Ｐ３を第３画素Ｐ３、画素Ｐ４を第４画素Ｐ４、画素Ｐ５を第５画素Ｐ５、画素Ｐ６を第６画素Ｐ６、画素Ｐ７を第７画素Ｐ７、画素Ｐ８を第８画素Ｐ８、画素Ｐ９を第９画素Ｐ９、画素Ｐ１０を第１０画素Ｐ１０、画素Ｐ１１を第１１画素Ｐ１１、画素Ｐ１２を第１２画素Ｐ１２、画素Ｐ１３を第１３画素Ｐ１３、画素Ｐ１４を第１４画素Ｐ１４、画素Ｐ１５を第１５画素Ｐ１５、画素Ｐ１６を第１６画素Ｐ１６として、各画素Ｐ１～Ｐ１６を区別する。

イメージセンサ１００が、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する点は、上記第１の実施の形態の撮像装置と同じである（図７参照）。本実施の形態のイメージセンサ１００は、偏光フィルタ素子アレイ層１２０及び分光フィルタ素子アレイ層１３０の構成が異なる。

偏光フィルタ素子アレイ層１２０には、透過偏光方向の異なる４種類の偏光フィルタ素子（第１偏光フィルタ素子１２２Ａ、第２偏光フィルタ素子１２２Ｂ、第３偏光フィルタ素子１２２Ｃ、第４偏光フィルタ素子１２２Ｄ）が備えられる。具体的には、第１偏光フィルタ素子１２２Ａは、偏光方向θ１（たとえば、方位角４５°）の光を透過させる。第２偏光フィルタ素子１２２Ｂは、偏光方向θ２（たとえば、方位角９０°）の光を透過させる。第３偏光フィルタ素子１２２Ｃは、偏光方向θ３（たとえば、方位角１３５°）の光を透過させる。第４偏光フィルタ素子１２２Ｄは、偏光方向θ４（たとえば、方位角０°）の光を透過させる。

図４９は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、第１画素Ｐ１、第３画素Ｐ３、第９画素Ｐ９及び第１１画素Ｐ１１には、第１偏光フィルタ素子１２２Ａが備えられる。また、第２画素Ｐ２、第４画素Ｐ４、第１０画素Ｐ１０及び第１２画素Ｐ１２には、第２偏光フィルタ素子１２２Ｂが備えられる。また、第５画素Ｐ５、第７画素Ｐ７、第１３画素Ｐ１３及び第１５画素Ｐ１５には、第３偏光フィルタ素子１２２Ｃが備えられる。また、第６画素Ｐ６、第８画素Ｐ８、第１４画素Ｐ１４及び第１６画素Ｐ１６には、第４偏光フィルタ素子１２２Ｄが備えられる。

分光フィルタ素子アレイ層１３０には、互いに透過波長特性の異なる４種類の分光フィルタ素子（第１分光フィルタ素子１３２Ａ、第２分光フィルタ素子１３２Ｂ、第３分光フィルタ素子１３２Ｃ、第４分光フィルタ素子１３２Ｄ）が備えられる。

図５０は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。

同図に示すように、第１画素Ｐ１、第２画素Ｐ２、第５画素Ｐ５及び第６画素Ｐ６には、第１分光フィルタ素子１３２Ａが備えられる。また、第３画素Ｐ３、第４画素Ｐ４、第７画素Ｐ７及び第８画素Ｐ８には、第２分光フィルタ素子１３２Ｂが備えられる。また、第９画素Ｐ９、第１０画素Ｐ１０、第１３画素Ｐ１３及び第１４画素Ｐ１４には、第３分光フィルタ素子１３２Ｃが備えられる。また、第１１画素Ｐ１１、第１２画素Ｐ１２、第１５画素Ｐ１５及び第１６画素Ｐ１６には、第４分光フィルタ素子１３２Ｄが備えられる。

一例として、本実施の形態の撮像装置では、第１分光フィルタ素子１３２Ａが、赤色（Red，Ｒ）の波長帯域Ｒλの光を透過させる分光フィルタ素子で構成される。第２分光フィルタ素子１３２Ｂは、緑色（Green，Ｇ）の波長帯域Ｇλの光を透過させる分光フィルタ素子で構成される。第３分光フィルタ素子１３２Ｃは、青色（Blue，Ｂ）の波長帯域Ｂλの光を透過させる分光フィルタ素子で構成される。第４分光フィルタ素子１３２Ｄは、赤外（InfraRed，ＩＲ）の波長帯域ＩＲλの光を透過させる分光フィルタ素子で構成される。

第１バンドパスフィルタ１６Ｂ１が透過させる４種類の波長帯域Ｒλ１、Ｇλ１、Ｂλ１、ＩＲλ１は、それぞれ第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλ、第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλ、第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλ、第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。すなわち、波長帯域Ｒλ１は第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλの範囲内で設定される。また、波長帯域Ｇλ１は第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλの範囲内で設定される。また、波長帯域Ｂλ１は第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλの範囲内で設定される。また、波長帯域ＩＲλ１は第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。

また、第２バンドパスフィルタ１６Ｂ２が透過させる４種類の波長帯域Ｒλ２、Ｇλ２、Ｂλ２、ＩＲλ２は、それぞれ第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλ、第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλ、第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλ、第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。すなわち、波長帯域Ｒλ２は第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλの範囲内で設定される。また、波長帯域Ｇλ２は第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλの範囲内で設定される。また、波長帯域Ｂλ２は第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλの範囲内で設定される。また、波長帯域ＩＲλ２は第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。

また、第３バンドパスフィルタ１６Ｂ３が透過させる４種類の波長帯域Ｒλ３、Ｇλ３、Ｂλ３、ＩＲλ３は、それぞれ第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλ、第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλ、第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλ、第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。すなわち、波長帯域Ｒλ３は第１分光フィルタ素子１３２Ａの透過波長帯域Ｒλの範囲内で設定される。また、波長帯域Ｇλ３は第２分光フィルタ素子１３２Ｂの透過波長帯域Ｇλの範囲内で設定される。また、波長帯域Ｂλ３は第３分光フィルタ素子１３２Ｃの透過波長帯域Ｂλの範囲内で設定される。また、波長帯域ＩＲλ３は第４分光フィルタ素子１３２Ｄの透過波長帯域ＩＲλの範囲内で設定される。

以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（Ｘ，Ｙ）において、各画素Ｐ１～Ｐ１６が、次のように撮像光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第３画素Ｐ３は、第２分光フィルタ素子１３２Ｂ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第５画素Ｐ５は、第１分光フィルタ素子１３２Ａ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第６画素Ｐ６は、第１分光フィルタ素子１３２Ａ及び第４偏光フィルタ素子１２２Ｄを介して、撮像光学系１０からの光を受光する。第７画素Ｐ７は、第２分光フィルタ素子１３２Ｂ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第８画素Ｐ８は、第２分光フィルタ素子１３２Ｂ及び第４偏光フィルタ素子１２２Ｄを介して、撮像光学系１０からの光を受光する。第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第１０画素Ｐ１０は、第３分光フィルタ素子１３２Ｃ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第１１画素Ｐ１１は、第４分光フィルタ素子１３２Ｄ及び第１偏光フィルタ素子１２２Ａを介して、撮像光学系１０からの光を受光する。第１２画素Ｐ１２は、第４分光フィルタ素子１３２Ｄ及び第２偏光フィルタ素子１２２Ｂを介して、撮像光学系１０からの光を受光する。第１３画素Ｐ１３は、第３分光フィルタ素子１３２Ｃ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第１４画素Ｐ１４は、第３分光フィルタ素子１３２Ｃ及び第４偏光フィルタ素子１２２Ｄを介して、撮像光学系１０からの光を受光する。第１５画素Ｐ１５は、第４分光フィルタ素子１３２Ｄ及び第３偏光フィルタ素子１２２Ｃを介して、撮像光学系１０からの光を受光する。第１６画素Ｐ１６は、第４分光フィルタ素子１３２Ｄ及び第４偏光フィルタ素子１２２Ｄを介して、撮像光学系１０からの光を受光する。

［信号処理部］
信号処理部２００は、イメージセンサ１００から出力される信号を処理して、１２バンドのマルチスペクトル画像の画像信号を生成する。すなわち、撮像光学系のバンドパスフィルタユニット１６を透過する１２種類の波長帯域Ｒλ１、Ｇλ１、Ｂλ１、ＩＲλ１、Ｒλ２、Ｇλ２、Ｂλ２、ＩＲλ２、Ｒλ３、Ｇλ３、Ｂλ３、ＩＲλ３の画像信号を生成する。信号処理部２００は、所定の混信除去処理を行って、各波長帯域の画像信号を生成する点については、上記第１の実施の形態の信号処理部２００と同じである。

［撮像装置の作用］
図５１は、本実施の形態の撮像装置の動作の概念図である。

撮像光学系１０に入射した光は、特性の異なる１２種類の光となって、イメージセンサ１００に入射する。具体的には、偏光方向θ１の光であって波長帯域Ｒλ１の光（第１の光）、偏光方向θ１の光であって波長帯域Ｇλ１の光（第２の光）、偏光方向θ１の光であって波長帯域Ｂλ１の光（第３の光）、偏光方向θ１の光であって波長帯域ＩＲλ１の光（第４の光）、偏光方向θ２の光であって波長帯域Ｒλ２の光（第５の光）、偏光方向θ２の光であって波長帯域Ｇλ２の光（第６の光）、偏光方向θ２の光であって波長帯域Ｂλ２の光（第７の光）、偏光方向θ２の光であって波長帯域ＩＲλ２の光（第８の光）、偏光方向θ３の光であって波長帯域Ｒλ３の光（第９の光）、偏光方向θ３の光であって波長帯域Ｇλ３の光（第１０の光）、偏光方向θ３の光であって波長帯域Ｂλ３の光（第１１の光）、偏光方向θ３の光であって波長帯域ＩＲλ３の光（第１２の光）となって、イメージセンサ１００に入射する。

イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）では、各画素Ｐ１～Ｐ１６において、撮像光学系１０から出射した光（第１の光～第１２の光）が、所定の割合で受光される。

信号処理部２００は、イメージセンサ１００の各画素ブロックＰＢ（Ｘ，Ｙ）の各画素Ｐ１～Ｐ１６から得られる画素信号α１～α１６から各波長帯域Ｒλ１、Ｇλ１、Ｂλ１、ＩＲλ１、Ｒλ２、Ｇλ２、Ｂλ２、ＩＲλ２、Ｒλ３、Ｇλ３、Ｂλ３、ＩＲλ３の光に対応した画素信号β１～β１２を算出し、各波長帯域Ｒλ１、Ｇλ１、Ｂλ１、ＩＲλ１、Ｒλ２、Ｇλ２、Ｂλ２、ＩＲλ２、Ｒλ３、Ｇλ３、Ｂλ３、ＩＲλ３の画像信号を生成する。

このように、本実施の形態の撮像装置によれば、１つの撮像光学系１０と１つのイメージセンサ１００で１２バンドのマルチスペクトル画像を撮像できる。

［Ｎバンドのマルチスペクトル画像を撮像する撮像装置］
以上のように、本発明によれば、４バンド以上のマルチスペクトル画像を撮像できる。いま、イメージセンサに備えられる偏光フィルタ素子の種類をｎ種（ｎ≧２）、分光フィルタ素子の種類をｍ種（ｍ≧２）とする。ｎは、偏光フィルタ素子によるイメージセンサの透過偏光方向数を意味し、ｍは、分光フィルタ素子によるイメージセンサの透過波長帯域数を意味する。

撮像装置で撮像するマルチスペクトル画像のバンド数をＮとする。本発明の撮像装置では、最大でＮ＝ｍ×ｎバンドのマルチスペクトル画像を撮像できる。この場合、イメージセンサは、１つの画素ブロックが、偏光フィルタ素子と分光フィルタ素子との組み合わせが異なるｍ×ｎ個の画素で構成される。

撮像光学系から出射される波長帯域の種類（分光フィルタ素子との組み合わせで分離する場合を含む）をｋ種とする。すなわち、撮像光学系の透過波長帯域数をｋとする。本発明の撮像装置では、最大でｎ×ｍバンドのマルチスペクトル画像を撮像できるので、ｋ≦ｍ×ｎとなる。撮像光学系及びイメージセンサは、ｋ≦ｍ×ｎを満たすように設定される。具体的には、撮像光学系は、ｋ≦ｍ×ｎを満たすように、開口領域が設定され、かつ、各開口領域を透過する光の波長帯域及び偏光方向が設定される。また、イメージセンサは、ｋ≦ｍ×ｎを満たすように、１つの画素ブロックが設定され、かつ、各画素ブロックを構成する画素の偏光フィルタ素子と分光フィルタ素子との組み合わせが設定される。

なお、撮像光学系の透過波長帯域数ｋのカウントは、分光フィルタ素子及びイメージセンサの双方で感度を有する波長帯域内で行われる。すなわち、たとえば、撮像光学系がλ１～λ４の４つの波長帯域の光を透過する構成であっても、イメージセンサが、波長帯域λ４の光について感度を有していない場合、実質的な透過波長帯域数はｋ＝３となる。同様に、分光フィルタ素子が、波長帯域λ４の光について感度を有していない場合（波長帯域λ４の光を実質的に透過させない場合）も、実質的な透過波長帯域数はｋ＝３となる。したがって、４バンド以上のマルチスペクトル画像を撮像する場合は、分光フィルタ素子（第３光学素子）及びイメージセンサの双方で感度を有する波長帯域内で撮像するバンド、すなわち、撮像光学系の透過波長帯域（第１光学素子の透過波長帯域）を設定する。

いま、イメージセンサに備えられる偏光フィルタ素子の種類をｎ種、分光フィルタ素子の種類をｍ種、ｎ×ｍ＝ｑとして、１つの画素ブロックがｑ個の画素で構成される場合を考える。この場合、イメージセンサの各画素ブロックからは、ｑ個の画素信号α１、α２、…、αｑが出力される。撮像光学系が、ｋ個の波長帯域の光を出射する場合、このｑ個の画素信号α１、α２、…、αｑから各波長帯域の光に対応したｋ個の画素信号β１、β２、…、βｋを算出するための演算式は、行列Ａを用いて、次のように定義される。

上記のように、行列Ａは、各波長帯域の光が、各画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ^－１である。

なお、撮像光学系については、バンドパスフィルタユニットの少なくとも１つの開口領域が、複数種類の波長帯域の光を透過させる構成とすることが好ましい。すなわち、少なくとも１つの開口領域については、複数種類の波長帯域の光を透過させるバンドパスフィルタ（マルチバンドパスフィルタ）を備える構成とする。これにより、開口面積を大きくでき、感度を向上できる。この場合、１つの開口領域で透過させる波長帯域の数（透過波長帯域数）は、最大でイメージセンサに備えられる分光フィルタ素子の種類の数までとされる。なお、イメージセンサに備えられる分光フィルタ素子の種類は、イメージセンサにおける分光フィルタ素子の透過波長帯域数を意味するので、バンドパスフィルタユニットの少なくとも１つの開口領域が有する透過波長帯域の数は、分光フィルタ素子の透過波長帯域の数以下で設定できる。

《第８の実施の形態》
撮像光学系に、同じ透過波長特性を有するバンドパスフィルタを一組が備えられていると、焦点がズレた場合に、像がシフトする。この性質を利用して、焦点を検出しやすくできる。以下、焦点を検出しやすくした撮像装置について説明する。なお、バンドパスフィルタユニット以外の構成については、上記第１の実施の形態の撮像装置と同じである。したがって、ここでは、バンドパスフィルタユニットの構成についてのみ説明する。

図５２は、本実施の形態のバンドパスフィルタユニットの一例を示す正面図である。

同図に示すように、本例のバンドパスフィルタユニット１６は、枠体１６Ａに３つの開口領域（第１開口領域１６Ａ１、第２開口領域１６Ａ２、第３開口領域１６Ａ３）を有する。３つの開口領域１６Ａ１～１６Ａ３は、同じ開口形状を有し、第１開口領域１６Ａ１及び第３開口領域１６Ａ３が第２開口領域１６Ａ２を挟んで対称に配置される。

各開口領域１６Ａ１～１６Ａ３には、バンドパスフィルタ（第１バンドパスフィルタ１６Ｂ１、第２バンドパスフィルタ１６Ｂ２、第３バンドパスフィルタ１６Ｂ３）が備えられる。第１バンドパスフィルタ１６Ｂ１及び第３バンドパスフィルタ１６Ｂ３は、同じ透過波長特性を有し、波長帯域λ１１、λ１２、λ１３の光を透過させる。一方、第２バンドパスフィルタ１６Ｂ２は、第１バンドパスフィルタ１６Ｂ１及び第３バンドパスフィルタ１６Ｂ３とは異なる透過波長特性を有し、波長帯域λ２１、λ２２、λ２３の光を透過させる。

本実施の形態のバンドパスフィルタユニット１６を備えた撮像装置によれば、第１開口領域１６Ａ１を通過した波長帯域λ１１、λ１２、λ１３の画像及び第３開口領域１６Ａ３を通過した波長帯域λ１１、λ１２、λ１３の画像に関して、焦点がズレた場合に、像がシフトするため、焦点を検出しやすくできる。

図５３は、本実施の形態のバンドパスフィルタユニットの他の一例を示す正面図である。

同図に示すように、本例のバンドパスフィルタユニット１６は、枠体１６Ａに７つの開口領域（第１開口領域１６Ａ１、第２開口領域１６Ａ２、第３開口領域１６Ａ３、第４開口領域１６Ａ４、第５開口領域１６Ａ５、第６開口領域１６Ａ６、第７開口領域１６Ａ７）を有する。７つの開口領域１６Ａ１～１６Ａ７は、第１開口領域１６Ａ１を除いて同じ開口形状を有し、第１開口領域１６Ａ１を挟んで対称に配置される。

各開口領域１６Ａ１～１６Ａ７には、バンドパスフィルタ（第１バンドパスフィルタ１６Ｂ１、第２バンドパスフィルタ１６Ｂ２、第３バンドパスフィルタ１６Ｂ３、第４バンドパスフィルタ１６Ｂ４、第５バンドパスフィルタ１６Ｂ５、第６バンドパスフィルタ１６Ｂ６、第７バンドパスフィルタ１６Ｂ７）が備えられる。第１バンドパスフィルタ１６Ｂ１は、マルチバンドパスフィルタで構成され、３種類の波長帯域（λ１１、λ１２、λ１３）の光を透過させる。他のバンドパスフィルタ１６Ｂ２～１６Ｂ７は、１種類の波長帯域の光を透過させるバンドパスフィルタで構成され、第２バンドパスフィルタ１６Ｂ２及び第５バンドパスフィルタ１６Ｂ５を除いて、互いに異なる波長帯域の光を透過させる。第２バンドパスフィルタ１６Ｂ２及び第５バンドパスフィルタ１６Ｂ５は、同じ透過波長特性を有し、波長帯域λ２１の光を透過させる。

本実施の形態のバンドパスフィルタユニット１６を備えた撮像装置によれば、第２開口領域１６Ａ２を通過した波長帯域λ２１の画像及び第５開口領域１６Ａ５を通過した波長帯域λ２１の画像に関して、焦点がズレた場合に、像がシフトするため、焦点を検出しやすくできる。

《第９の実施の形態》
上記各実施の形態では、バンドパスフィルタユニット及び偏光フィルタユニットに備える開口領域の開口形状を円形状又は矩形状としているが、開口領域の開口形状は、これに限定されるものではない。

図５４は、バンドパスフィルタユニットの一例を示す正面図である。図５５は、偏光フィルタユニットの一例を示す正面図である。

図５４及び図５５に示すように、本例のバンドパスフィルタユニット１６及び偏光フィルタユニット１８は、それぞれ中央開口領域１６ａ１、１８ａ１と、その中央開口領域１６ａ１、１８ａ１の周囲に配置される複数の外周開口領域１６ａ２、１６ａ３、１６ａ４、１６ａ５、１６ａ６、１６ａ７、１８ａ２、１８ａ３、１８ａ４、１８ａ５、１８ａ６、１８ａ７と、を有する。中央開口領域１８ａ１、１６ａ１は、円形状の開口形状を有する領域として、撮像光学系の光軸上に配置される。外周開口領域１６ａ２、１６ａ３、１６ａ４、１６ａ５、１６ａ６、１６ａ７、１８ａ２、１８ａ３、１８ａ４、１８ａ５、１８ａ６、１８ａ７は、扇状の開口形状を有する領域として、中央開口領域１６ａ１、１８ａ１の周囲に、周方向に沿って一定の間隔で配置される。

バンドパスフィルタユニット１６の各開口領域（中央開口領域１６ａ１及び外周開口領域１６ａ２、１６ａ３、１６ａ４、１６ａ５、１６ａ６、１６ａ７）には、所定の波長透過特性を有するバンドパスフィルタ（１６ｂ１、１６ｂ２、１６ｂ３、１６ｂ４、１６ｂ５、１６ｂ６、１６ｂ７）が備えられる。具体的には、中央開口領域１６ａ１には、３種類の波長帯域λ１１、λ１２、λ１３の光を透過させるバンドパスフィルタ（マルチバンドパスフィルタ）１６ｂ１が備えられる。外周開口領域１６ａ２には、１種類の波長帯域λ３１の光を透過させるバンドパスフィルタ１６ｂ２が備えられる。外周開口領域１６ａ３には、１種類の波長帯域λ２２の光を透過させるバンドパスフィルタ１６ｂ３が備えられる。外周開口領域１６ａ４には、１種類の波長帯域λ３２の光を透過させるバンドパスフィルタ１６ｂ４が備えられる。外周開口領域１６ａ５には、１種類の波長帯域λ２３の光を透過させるバンドパスフィルタ１６ｂ５が備えられる。外周開口領域１６ａ６には、１種類の波長帯域λ３３の光を透過させるバンドパスフィルタ１６ｂ６が備えられる。外周開口領域１６ａ７には、１種類の波長帯域λ２１の光を透過させるバンドパスフィルタ１６ｂ７が備えられる。

偏光フィルタユニット１８の各開口領域（中央開口領域１８ａ１及び外周開口領域１８ａ２、１８ａ３、１８ａ４、１８ａ５、１８ａ６、１８ａ７）には、偏光フィルタ（１８ｂ１、１８ｂ２、１８ｂ３）が備えられる。具体的には、中央開口領域１８ａ１には、偏光方向θ１の光を透過させる偏光フィルタ１８ｂ１が備えられる。外周開口領域１８ａ２、１８ａ４、１８ａ６には、偏光方向θ２の光を透過させる偏光フィルタ１８ｂ３が備えられる。外周開口領域１８ａ３、１８ａ５、１８ａ７には、偏光方向θ３の光を透過させる偏光フィルタ１８ｂ２が備えられる。

一般にレンズは、中心部（光軸）に近いほど収差が少なく、高画質となる。したがって、要求される画質に応じて各領域の透過波長帯域を設定することにより、得られる画像の画質を波長帯域ごとにコントロールできる。たとえば、高画質が要求される波長帯域については、中央開口領域に割り当てることにより、波長帯域ごとに画質をコントロールできる。

開口領域の設定（瞳領域の分割の態様）については、この他、同心円状に分割する態様、周方向に沿って分割する態様、グリッド状に分割する態様等、種々の態様を採用できる。また、各開口領域のサイズ（面積）についても、すべてを一致させる必要はなく、開口領域ごとに差を持たせてもよい。

《その他の実施の形態》
［撮像光学系の構成］
上記実施の形態では、バンドパスフィルタユニット及び偏光フィルタユニットをそれぞれ別の光学素子で構成しているが、バンドパスフィルタユニット及び偏光フィルタユニットの機能を備えた１つの光学素子で構成することもできる。たとえば、１つの枠体にバンドパスフィルタ及び偏光フィルタを保持する構成とすることもできる。

［イメージセンサの構成］
１つの画素ブロックを構成する画素の配列は、上記各実施の形態のものに限定されるものではない。１つの画素ブロックを構成する画素の数等に応じて画素の配列を適宜変更できる。

また、上記実施の形態では、偏光フィルタ素子及び分光フィルタ素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、いずれか一方又は両方をマイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光フィルタ素子及び分光フィルタ素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。

［信号処理部における混信除去処理］
信号処理部では、混信除去処理を行わずに各波長帯域の画像信号を生成することもできる。たとえば、上記のように、撮像光学系に備える偏光フィルタの透過偏光方向と、イメージセンサに備える偏光フィルタ素子の透過偏光方向との組み合わせによっては、混信を生じさせずに各波長帯域の光を受光できる。したがって、このような場合は混信除去処理を行わずに、各波長帯域の画像信号を生成できる。また、混信が生じる場合であっても、その影響が少ない場合、あるいは、ユーザが許容できると認める場合には、混信除去処理を行わずに、各波長帯域の画像信号を生成することもできる。

［信号処理部の構成］
信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、たとえば、ソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。

上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には、たとえばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。

［撮像装置の構成］
撮像装置は、撮像光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（撮像光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各画像を生成する。

１ 撮像装置
１０ 撮像光学系
１２ レンズ
１６ バンドパスフィルタユニット
１６Ａ 枠体
１６Ａ１ 第１開口領域
１６Ａ２ 第２開口領域
１６Ａ３ 第３開口領域
１６Ａ４ 第４開口領域
１６Ａ５ 第５開口領域
１６Ａ６ 第６開口領域
１６Ａ７ 第７開口領域
１６Ｂ１ 第１バンドパスフィルタ
１６Ｂ２ 第２バンドパスフィルタ
１６Ｂ３ 第３バンドパスフィルタ
１６Ｂ４ 第４バンドパスフィルタ
１６Ｂ５ 第５バンドパスフィルタ
１６Ｂ６ 第６バンドパスフィルタ
１６Ｂ７ 第７バンドパスフィルタ
１６ａ１ 中央開口領域
１６ａ２ 外周開口領域
１６ａ３ 外周開口領域
１６ａ４ 外周開口領域
１６ａ５ 外周開口領域
１６ａ６ 外周開口領域
１６ａ７ 外周開口領域
１６ｂ２ バンドパスフィルタ
１６ｂ３ バンドパスフィルタ
１６ｂ４ バンドパスフィルタ
１６ｂ５ バンドパスフィルタ
１６ｂ６ バンドパスフィルタ
１６ｂ７ バンドパスフィルタ
１８ 偏光フィルタユニット
１８Ａ 枠体
１８Ａ１ 第１開口領域
１８Ａ２ 第２開口領域
１８Ａ３ 第３開口領域
１８Ｂ１ 第１偏光フィルタ
１８Ｂ２ 第２偏光フィルタ
１８Ｂ３ 第３偏光フィルタ
１８ａ１ 中央開口領域
１８ａ２ 外周開口領域
１８ａ３ 外周開口領域
１８ａ４ 外周開口領域
１８ａ５ 外周開口領域
１８ａ６ 外周開口領域
１８ａ７ 外周開口領域
１８ｂ１ 偏光フィルタ
１８ｂ２ 偏光フィルタ
１８ｂ３ 偏光フィルタ
２２ 波長帯域
３２Ｂ 分光フィルタ素子
１００ イメージセンサ
１１０ ピクセルアレイ層
１１２ フォトダイオード
１２０ 偏光フィルタ素子アレイ層
１２２Ａ 第１偏光フィルタ素子
１２２Ｂ 第２偏光フィルタ素子
１２２Ｃ 第３偏光フィルタ素子
１２２Ｄ 第４偏光フィルタ素子
１３０ 分光フィルタ素子アレイ層
１３２Ａ 第１分光フィルタ素子
１３２Ｂ 第２分光フィルタ素子
１３２Ｃ 第３分光フィルタ素子
１３２Ｄ 第４分光フィルタ素子
１４０ マイクロレンズアレイ層
１４２ マイクロレンズ
２００ 信号処理部
２００Ａ アナログ信号処理部
２００Ｂ 画像生成部
２００Ｃ 係数記憶部
Ｐ１ 第１画素
Ｐ２ 第２画素
Ｐ３ 第３画素
Ｐ４ 第４画素
Ｐ５ 第５画素
Ｐ６ 第６画素
Ｐ７ 第７画素
Ｐ８ 第８画素
Ｐ９ 第９画素
Ｐ１０ 第１０画素
Ｐ１１ 第１１画素
Ｐ１２ 第１２画素
Ｐ１３ 第１３画素
Ｐ１４ 第１４画素
Ｐ１５ 第１５画素
Ｐ１６ 第１６画素
ＰＢ（Ｘ，Ｙ） 画素ブロック

Claims (9)

1. 撮像光学系であって、複数の開口領域を有し、前記開口領域の少なくとも１つが複数種類の波長帯域の光を透過する第１光学素子と、前記第１光学素子を透過する光を複数方向に偏光する第２光学素子と、を前記撮像光学系の瞳近傍に有する撮像光学系と、
   前記撮像光学系を透過する光を受光するイメージセンサであって、透過波長帯域の異なる複数種類の第３光学素子と、透過偏光方向の異なる複数種類の第４光学素子と、を透過した光を受光するイメージセンサと、
   前記イメージセンサから出力される信号を処理し、複数の画像信号を生成する信号処理部と、
   を有し、前記第１光学素子の少なくとも１つの前記開口領域が有する透過波長帯域数が、前記第３光学素子の透過波長帯域数以下であり、かつ、前記撮像光学系の透過波長帯域数をｋ、前記第３光学素子の透過波長帯域数をｍ、前記第４光学素子の透過偏光方向数をｎとし、４≦ｋとした場合に、前記撮像光学系及び前記イメージセンサが、ｋ≦ｍ×ｎの関係を満たす、
   撮像装置。
2. 前記第１光学素子は、すべての前記開口領域が複数種類の波長帯域の光を透過する、
   請求項１に記載の撮像装置。
3. 前記第１光学素子は、少なくとも１つの前記開口領域が１種類の波長帯域の光を透過する、
   請求項１に記載の撮像装置。
4. 前記第２光学素子は、前記第１光学素子を透過する光の一部を非偏光の光として素通しする、
   請求項１から３のいずれか１項に記載の撮像装置。
5. 前記第１光学素子に備えられる前記開口領域の数が、前記第４光学素子の透過偏光方向数以下であり、すべての前記開口領域が、前記第３光学素子の透過波長帯域数と同じ数の透過波長帯域数を有する、
   請求項１又は２に記載の撮像装置。
6. 前記第１光学素子の少なくとも１つの前記開口領域は、前記第３光学素子が有する複数の波長帯域と一部が重複した透過波長帯域を有する、
   請求項１から４のいずれか１項に記載の撮像装置。
7. 前記第１光学素子は、少なくとも一組の前記開口領域が、同じ波長帯域の光を透過する、
   請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第１光学素子は、少なくとも１つの前記開口領域が光軸上に配置される、
   請求項１から７のいずれか１項に記載の撮像装置。
9. 前記信号処理部は、混信除去処理を行って、複数の前記画像信号を生成する、
   請求項１から８のいずれか１項に記載の撮像装置。

Images