JPWO2020071253A1 - 撮像装置 - Google Patents

Abstract

１つの撮像素子を用いて３つの独立した高品質な画像を取得できる撮像装置を提供する。互いに異なる偏光方向の光を通過させる３個の光学領域（１２Ａ、１２Ｂ、１２Ｃ）を有する光学系（１０）と、互いに異なる偏光方向の光を受光する３個の画素を一組とする画素ユニットを複数有する撮像素子（１００）と、撮像素子（１００）の各画素ユニットから得られる３個の画素信号（ｘ１、ｘ２、ｘ３）から、光学系（１０）の各光学領域（１２Ａ、１２Ｂ、１２Ｃ）に対応した３個の画素信号（Ｘ１、Ｘ２、Ｘ３）を算出し、各光学領域（１２Ａ、１２Ｂ、１２Ｃ）の画像を生成する画像処理部（２００）と、を備える。

Description

本発明は、撮像装置に係り、特に、１つの撮像素子で３つの画像を独立に取得する撮像装置に関する。

特許文献１には、光学系の瞳領域を二分割し、各領域を通過する光を、偏光子及び検光子を用いて分離し、異なる画素で受光することにより、１つの撮像素子で２つの画像を独立に取得できる撮像装置が記載されている。しかし、特許文献１の撮像装置は、取得できる画像が２つに限定される。

一方、特許文献２には、光学系の瞳部分を２つ以上の領域に分割し、各領域からの光をマイクロレンズアレイによって、それぞれ別の画素へと導くことにより、１つの撮像素子で２つ以上の画像を独立に取得できる撮像装置が記載されている。

しかし、マイクロレンズアレイによる光線の分離は、必ずしも完全ではない。このため、特許文献２の撮像装置では、隣接する画素に光が漏れ、混信（クロストーク）が発生するという問題がある。

特許文献３には、この問題を解決するために、各画素から得られる信号（画素信号）に所定の信号処理を施して、混信の影響を除去することが提案されている。

特開2009-169096号公報 国際公開第2012/143983号 国際公開第2015/004886号

しかしながら、マイクロレンズアレイを用いて光線を分離した場合に各画素で生じる混信の量は、画素の位置によって異なる。したがって、特許文献３の撮像装置で、より高品質な画像を得るには、画素ごとに混信の発生量を求める必要がある。しかし、これには多大な労力を要する。

本発明は、このような事情に鑑みてなされたもので、１つの撮像素子を用いて３つの独立した高品質な画像を取得できる撮像装置を提供することを目的とする。

（１）互いに異なる偏光方向の光を通過させる３個の光学領域を有する光学系と、ＮをＮ≧３を満たす整数とした場合に、互いに異なる偏光方向の光を受光するＮ個の画素を一組とする画素ユニットを複数有する撮像素子と、ｉ、ｊを１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数とした場合に、各要素がａｉｊで表される３行Ｎ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、撮像素子の各画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮから、下記式によって、光学系の各光学領域に対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出する演算部と、を備える撮像装置。

本態様によれば、撮像素子の各画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮに対して、所定の演算処理を行うことにより、光学系の各光学領域に対応した画素信号Ｘ１、Ｘ２、Ｘ３が得られる。これにより、１つの撮像素子を用いて３つの独立した高品質な画像を取得できる。

（２）行列Ａは、光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、上記（１）の撮像装置。

本態様によれば、光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ^−１を算出して、行列Ａの各要素が取得される。

（３）光学系の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合は、光学系の各光学領域を通過する光の偏光方向と撮像素子の各画素ユニットの各画素で受光される光の偏光方向の角度差の余弦の二乗を算出して取得される、上記（２）の撮像装置。

本態様によれば、光学系の各光学領域を通過する光の偏光方向と撮像素子の各画素ユニットの各画素で受光される光の偏光方向の角度差の余弦の二乗を算出して、行列Ｂの各要素が求められる。

（４）撮像素子は、互いに異なる偏光方向の光を受光する３個の画素を一組とする画素ユニットを複数有する、上記（１）から（３）のいずれか一の撮像装置。

本態様によれば、１つの画素ユニットが、光学領域の分割数と同じ３個の画素で構成される。

（５）光学系の各光学領域を通過する光の偏光方向の組み合わせと、撮像素子の各画素ユニットの各画素で受光される光の偏光方向の組み合わせが同じである、上記（１）から（３）のいずれか一の撮像装置。

本態様によれば、光学系の各光学領域を通過する光の偏光方向の組み合わせと、撮像素子の各画素ユニットの各画素で受光される光の偏光方向の組み合わせが同じ設定を有する。これにより、行列Ａの各要素を求める際の演算処理を簡素化できる。

（６）光学系は、互いに偏光方向の異なる３個の偏光フィルタを瞳位置に有する、上記（１）から（５）のいずれか一の撮像装置。

本態様によれば、互いに偏光方向の異なる３個の偏光フィルタが瞳位置に備えられる。

（７）光学系の各光学領域は、それぞれ異なる焦点距離を有する、上記（１）から（６）のいずれか一の撮像装置。

本態様によれば、光学系の各光学領域が、それぞれ異なる焦点距離を有する。

（８）光学系の各光学領域は、それぞれ異なる距離の被写体に焦点が合う、上記（１）から（６）のいずれか一の撮像装置。

本態様によれば、光学系の各光学領域が、それぞれ異なる距離の被写体に焦点が合う構成を有する。

（９）光学系の各光学領域は、それぞれ異なる波長帯域の光を透過させる、上記（１）から（６）のいずれか一の撮像装置。

本態様によれば、光学系の各光学領域が、それぞれ異なる波長帯域の光を透過させる構成を有する。

（１０）光学系の各光学領域は、互いに視差を有する、上記（１）から（６）のいずれか一の撮像装置。

本態様によれば、光学系の各光学領域が、互いに視差を有する。

（１１）光学系の各光学領域は、少なくとも２つが視差を有する、上記（１）から（６）のいずれか一の撮像装置。

本態様によれば、光学系の３つの光学領域のうち少なくとも２つが視差を有する。たとえば、２つの光学領域が同じ焦点距離に設定され、左右の視差を有する。

（１２）撮像素子は、各画素に偏光素子を有する、上記（１）から（１１）のいずれか一の撮像装置。

本態様によれば、各画素に偏光素子が備えられる。

（１３）撮像素子は、各画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する、上記（１２）の撮像装置。

本態様によれば、各画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子が備えられる。

本発明によれば、１つの撮像素子で高品質な３つの画像を独立に取得できる。

第１の実施の形態の撮像装置の概略構成を示す図 光学系の概略構成を示す正面図 各光学領域に備えられる偏光フィルタの概略構成を示す正面図 各偏光フィルタに設定される偏光方向の一例を示す図 撮像素子の概略構成を示す図 １画素（図５の破線部）の概略構成を示す断面図 ３種類の偏光素子の配列パターンの一例を示す図 偏光素子の１ユニットの構成を示す図 撮像素子の画素の配列の一例を示す図 信号処理部の概略構成を示すブロック図 画像生成の概念図 画像生成部によって生成される画像の一例を示す図 第２の実施の形態の撮像装置の概略構成を示す図 撮像シチュエーションの一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 混信除去後の画像の一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 撮像素子の画素の配列の一例を示す図 撮像により得られる画像（混信除去前の画像）の一例を示す図 光学領域の分割の他の一例を示す図 光学領域の分割の他の一例を示す図 光学領域の分割の他の一例を示す図 画素の配列の他の一例を示す図 画素の配列の他の一例を示す図 画素の配列の他の一例を示す図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

［第１の実施の形態］
図１は、第１の実施の形態の撮像装置の概略構成を示す図である。

同図に示すように、本実施の形態の撮像装置１は、光学系１０、撮像素子１００及び信号処理部２００を備える。

〔光学系〕
図２は、光学系の概略構成を示す正面図である。

図１及び図２に示すように、光学系１０は、同心円状に３つの光学領域１２Ａ、１２Ｂ、１２Ｃを有する。中央の光学領域１２Ａを第１光学領域１２Ａ、中間の光学領域１２Ｂを第２光学領域１２Ｂ、最外周の光学領域１２Ｃを第３光学領域１２Ｃとする。各光学領域１２Ａ、１２Ｂ、１２Ｃは、それぞれ光学特性が異なる。本実施の形態では、各光学領域１２Ａ、１２Ｂ、１２Ｃが、それぞれ異なる距離の被写体に焦点が合う構成を有する。具体的には、第１光学領域１２Ａは、近距離の被写体に焦点が合う構成を有し、第２光学領域１２Ｂは、中距離の被写体に焦点が合う構成を有し、第３光学領域１２Ｃは、遠距離の被写体に焦点が合う構成を有する。なお、ここでの近距離、中距離及び遠距離の区別は相対的なものである。すなわち、第２光学領域１２Ｂは第１光学領域１２Ａよりも遠距離の被写体に焦点が合う構成を有し、第３光学領域１２Ｃは第２光学領域１２Ｂよりも遠距離の被写体に焦点が合う構成を有する。

図１に示すように、各光学領域１２Ａ、１２Ｂ、１２Ｃには、それぞれ個別に偏光フィルタ１４Ａ、１４Ｂ、１４Ｃが備えられる。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ光学系１０の瞳位置又はその近傍に備えられる。第１光学領域１２Ａに備えられる偏光フィルタ１４Ａを第１偏光フィルタ１４Ａ、第２光学領域１２Ｂに備えられる偏光フィルタ１４Ｂを第２偏光フィルタ１４Ｂ、第３光学領域１２Ｃに備えられる偏光フィルタ１４Ｃを第３偏光フィルタ１４Ｃとする。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ偏光方向が異なる。

図３は、各光学領域に備えられる偏光フィルタの概略構成を示す正面図である。

各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、同心円状に配置される。第１偏光フィルタ１４Ａは、第１光学領域１２Ａに対応して円形状を有し、第１光学領域１２Ａに入射した光が透過する。第２偏光フィルタ１４Ｂは、第２光学領域１２Ｂに対応してリング形状を有し、第２光学領域１２Ｂに入射した光が透過する。第３偏光フィルタ１４Ｃは、第３光学領域１２Ｃに対応してリング形状を有し、第３光学領域１２Ｃに入射した光が透過する。

図４は、各偏光フィルタに設定される偏光方向の一例を示す図である。

偏光方向は、光軸Ｌと直交するＸＹ平面において、偏光透過軸がＸ軸と成す角度Φ（方位角）によって表わされる。図４に示すように、第１偏光フィルタ１４Ａは、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。第２偏光フィルタ１４Ｂは、その偏光透過軸ＡｂとＸ軸の成す角度Φｂが６０°（方位角６０°）の光を透過する構成とされる。第３偏光フィルタ１４Ｃは、その偏光透過軸ＡｃとＸ軸の成す角度Φｃが１２０°（方位角１２０°）の光を透過する構成とされる。この結果、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角６０°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角１２０°の光（直線偏光）が出射される。

光学系１０は、全体が光軸Ｌに沿って前後移動可能に設けられる。これにより、焦点調節が行われる。なお、光学領域ごとに移動できる構成としてもよい。

〔撮像素子〕
図５は、撮像素子の概略構成を示す図であり、撮像素子の一部を分解し、拡大して示した図である。図６は、１画素（図５の破線部）の概略構成を示す断面図である。

図５に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。

ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。

偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、互いに偏光方向（偏光透過軸の方向）の異なる３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを二次元的に配列して構成される。第１の偏光方向の光を透過する偏光素子１２２Ａを第１偏光素子１２２Ａ、第２の偏光方向の光を透過する偏光素子１２２Ｂを第２偏光素子１２２Ｂ、第３の偏光方向の光を透過する偏光素子１２２Ｃを第３偏光素子１２２Ｃとする。各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃのうちいずれか１つが備えられる。

図７は、３種類の偏光素子の配列パターンの一例を示す図である。

同図に示すように、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。

図７に示す例では、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ、第３偏光素子１２２Ｃの順で繰り返し配置される行と、第３偏光素子１２２Ｃ、第２偏光素子１２２Ｂ、第１偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを所定のパターンで規則的に配列している。このように配列される偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、３種類の偏光素子１２２Ａ、１２２Ｂ、１２２Ｃを１つずつ含んだ３個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。

図８は、偏光素子の１ユニットの構成を示す図である。

同図に示すように、１ユニットは、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ及び第３偏光素子１２２Ｃを１つずつ含んで構成される。

上記のように、各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃは、互いに偏光方向が異なる。本実施の形態では、第１偏光素子１２２Ａは、方位角０°の光を透過する構成とされる。第２偏光素子１２２Ｂは、方位角６０°の光が透過する構成とされる。第３偏光素子１２２Ｃは、方位角１２０°の光が透過する構成とされる。したがって、第１偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角０°の光（直線偏光）を受光する。第２偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角６０°の光（直線偏光）を受光する。第３偏光素子１２２Ｃが備えられたフォトダイオード１１２は、方位角１２０°の光（直線偏光）を受光する。

マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。

図９は、撮像素子の画素の配列の一例を示す図である。

各画素には、第１偏光素子１２２Ａ、第２偏光素子１２２Ｂ及び第３偏光素子１２２Ｃのいずれか１つの偏光素子が備えられる。第１偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１画素１０２Ａ、第２偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２画素１０２Ｂ、第３偏光素子１２２Ｃが備えられた画素（図中Ｃの画像）を第３画素１０２Ｃとする。撮像素子１００は、第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃを１つずつ含んだ３個一組の画素を１つのユニットとし、このユニットを複数有する。この３個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図９に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。

第１画素１０２Ａは、第１偏光素子１２２Ａを備えることから、方位角０°の光（直線偏光）を受光する。このため、第１画素１０２Ａは、主として第１光学領域１２Ａからの光を受光し、一部、第２光学領域１２Ｂ及び第３光学領域１２Ｃからの光を受光する。

第２画素１０２Ｂは、第２偏光素子１２２Ｂを備えることから、方位角６０°の光（直線偏光）を受光する。このため、第２画素１０２Ｂは、主として第２光学領域１２Ｂからの光を受光し、一部、第１光学領域１２Ａ及び第３光学領域１２Ｃからの光を受光する。

第３画素１０２Ｃは、第３偏光素子１２２Ｃを備えることから、方位角１２０°の光（直線偏光）を受光する。このため、第３画素１０２Ｃは、主として第３光学領域１２Ｃからの光を受光し、一部、第１光学領域１２Ａ及び第２光学領域１２Ｂの光を受光する。

〔信号処理部〕
信号処理部２００は、撮像素子１００から出力される信号を処理して、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像データを生成する。

図１０は、信号処理部の概略構成を示すブロック図である。

同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。

アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。

画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画像データを生成する。すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像を生成する。

図１１は、画像生成の概念図である。

各画素ユニットＵ（ｘ，ｙ）には、第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃの画素信号を分離して抽出することにより、３つの画像データが生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出して構成される第１の画像データＤＡと、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出して構成される第２の画像データＤＢと、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出して構成される第３の画像データＤＣと、が生成される。

ところで、上記のように、第１画素１０２Ａで受光される光は、主として第１光学領域１２Ａからの光であるが、その一部には第２光学領域１２Ｂ及び第３光学領域１２Ｃからの光が含まれる。したがって、第１の画像データＤＡが表わす画像は、主として、第１光学領域１２Ａで取得される画像となるが、第２光学領域１２Ｂ及び第３光学領域１２Ｃで取得される画像が混信した画像となる。すなわち、第２光学領域１２Ｂ及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。同様に、第２の画像データＤＢが表わす画像は、第２光学領域１２Ｂで取得される画像に、第１光学領域１２Ａ及び第３光学領域１２Ｃで取得される画像が混信した画像となり、第３の画像データＤＣが表わす画像は、第３光学領域１２Ｃで取得される画像に、第１光学領域１２Ａ及び第２光学領域１２Ｂで取得される画像が混信した画像となる。

このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理を行って、各光学領域１２Ａ、１２Ｂ、１２Ｃで取得される画像を生成する。混信除去は、次のように行われる。

いま、第１画素１０２Ａで得られる画素信号（信号値）をｘ１、第２画素１０２Ｂで得られる画素信号をｘ２、第３画素１０２Ｃで得られる画素信号をｘ３とする。各画素ユニットＵ（ｘ，ｙ）からは、３個の画素信号ｘ１、ｘ２、ｘ３が得られる。画像生成部２００Ｂは、この３個の画素信号ｘ１、ｘ２、ｘ３から、行列Ａを用いた下記の式１によって、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３、すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。

以下、上記式１によって各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を算出できる理由、すなわち、混信を除去できる理由について説明する。

混信は、各画素１０２Ａ、１０２Ｂ、１０２Ｃに各光学領域１２Ａ、１２Ｂ、１２Ｃからの光が混入することで発生する。各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が、各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量（混信比率ともいう））は、各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられた偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向と、各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられた偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向との関係から一意に定まる。

いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、Ｘ１、Ｘ２、Ｘ３とｘ１との間には、次の関係が成り立つ。

ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＝ｘ１…（式２）
また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、Ｘ１、Ｘ２、Ｘ３とｘ２との間には、次の関係が成り立つ。

ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＝ｘ２…（式３）
また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、Ｘ１、Ｘ２、Ｘ３とｘ３との間には、次の関係が成り立つ。

ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＝ｘ３…（式４）
Ｘ１、Ｘ２、Ｘ３について、式２〜４の連立方程式を解くことで、元の画像の画素信号、すなわち、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３を取得できる。

ここで、上記の連立方程式は、行列Ｂを用いた下記の式５で表わすことができる。

Ｘ１、Ｘ２、Ｘ３は、両辺に行列Ｂの逆行列Ｂ^−１をかけることで算出される。

このように、各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像の画素信号Ｘ１、Ｘ２、Ｘ３は、各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）に基づいて、各画素１０２Ａ、１０２Ｂ、１０２Ｃの画素信号ｘ１、ｘ２、ｘ３から算出できる。

上記式１における行列Ａは、行列Ｂの逆行列Ｂ^−１である（Ａ＝Ｂ^−１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３）は、行列Ｂの逆行列Ｂ^−１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２、３；ｊ＝１、２、３）は、各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）である。すなわち、１行目の要素ｂ１１は、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）、要素ｂ１２は、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合、要素ｂ１３は、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合である。また、２行目の要素ｂ２１は、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合、要素ｂ２２は、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合、要素ｂ２３は、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合である。また、３行目の要素ｂ３１は、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合、要素ｂ３２は、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合、要素ｂ３３は、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合である。すなわち、行列Ｂの各要素ｂｉｊは、第ｊ光学領域に入射した光が第ｉ画素で受光される割合である。この行列Ｂの逆行列Ｂ^−１は存在する。したがって、行列Ｂの逆行列Ｂ^−１を求めることで、行列Ａの各要素ａｉｊを求めることができる。

各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）については、各光学領域１２Ａ、１２Ｂ、１２Ｃを通過する光の偏光方向と各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光（直線偏光）の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、第ｊ光学領域に入射した光が、第ｉ画素で受光される割合（混信量）は、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。したがって、要素ｂｉｊは、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。

本実施の形態の撮像装置１において、第１光学領域１２Ａを通過する光（直線偏光）の偏光方向（方位角）は０°である。また、第２光学領域１２Ｂを通過する光の偏光方向は６０°である。また、第３光学領域１２Ｃを通過する光の偏光方向は１２０°である。また、第１画素１０２Ａで受光される光（直線偏光）の偏光方向（方位角）は０°である。また、第２画素１０２Ｂで受光される光の偏光方向は６０°である。また、第３画素１０２Ｃで受光される光の偏光方向は１２０°である。

したがって、行列Ｂの各要素ｂｉｊは、ｂ１１＝１、ｂ１２＝０．２５、ｂ１３＝０．２５、ｂ２１＝０．２５、ｂ２２＝１、ｂ２３＝０．０２５、ｂ３１＝０．２５、ｂ３２＝０．２５、ｂ３３＝１となる。

この行列Ｂの逆行列Ｂ^−１は存在し、その各要素ａｉｊは、ａ１１＝１．１１１１、ａ１２＝−０．２２２２、ａ１３＝−０．２２２２、ａ２１＝−０．２２２２、ａ２２＝１．１１１１、ａ２３＝−０．２２２２、ａ３１＝−０．２２２２、ａ３２＝−０．２２２２、ａ３３＝１．１１１１となる。

係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ^−１として求めた３行３列の行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。

画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３から、上記式１によって、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データを生成する。画像生成部２００Ｂは、演算部の一例である。

画像生成部２００Ｂで生成された各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データは、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。

図１２は、画像生成部によって生成される画像の一例を示す図である。

画像ＩｍＡは、第１光学領域１２Ａによって得られる画像である。この画像ＩｍＡは、近距離の被写体（猫）に焦点が合い、中距離及び遠距離の被写体は、ぼけた画像となる（中距離の被写体（人）が中程度にぼけ、遠距離の被写体（バス）が大きくぼけた画像となる。）。

画像ＩｍＢは、第２光学領域１２Ｂによって得られる画像である。この画像ＩｍＢは、中距離の被写体（人）に焦点が合い、近距離及び遠距離の被写体は、ぼけた画像となる（近距離の被写体（猫）及び遠距離の被写体（バス）が中程度にぼけた画像となる。）。

画像ＩｍＣは、第３光学領域１２Ｃによって得られる画像である。この画像ＩｍＣは、遠距離の被写体（バス）に焦点が合い、近距離及び中距離の被写体は、ぼけた画像となる（中距離の被写体（人）が中程度にぼけ、近距離の被写体（猫）が大きくぼけた画像となる。）。

図１２に示すように、いずれの画像ＩｍＡ、ＩｍＢ、ＩｍＣも混信のないクリアな画像が得られる。

このように、本実施の形態の撮像装置１によれば、１つの撮像素子１００を用いて、３つの独立した高品質な画像を取得できる。また、その構成は、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃ、及び、撮像素子１００の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの組み合わせで実現できるので、全体の構成を簡素化できる。

［第２の実施の形態］
図１３は、第２の実施の形態の撮像装置の概略構成を示す図である。

本実施の形態の撮像装置１は、焦点距離の異なる３つの画像を撮像する装置として構成される。このため、上記第１の実施の形態の撮像装置１と光学系１０の構成が異なる。したがって、ここでは光学系１０の構成についてのみ説明する。

〔光学系〕
図１３に示すように、光軸Ｌが同じ３つの光学領域１２Ａ、１２Ｂ、１２Ｃを有する。各光学領域１２Ａ、１２Ｂ、１２Ｃは、それぞれ焦点距離が異なる。中央の第１光学領域１２Ａは、広角の光学領域であり、所定の焦点距離を有する。中間の第２光学領域１２Ｂは、望遠の光学領域であり、第１光学領域１２Ａよりも長い焦点距離を有する。最外周の第３光学領域１２Ｃは、超望遠の光学領域であり、第２光学領域１２Ｂよりも長い焦点距離を有する。本実施の形態では、第２光学領域１２Ｂ及び第３光学領域１２Ｃを反射屈曲光学系で構成している。望遠系の光学領域を反射屈曲光学系で構成することにより、光学系の構成をコンパクト化できる。

各光学領域１２Ａ、１２Ｂ、１２Ｃには、それぞれ個別に偏光フィルタ１４Ａ、１４Ｂ、１４Ｃが備えられる。第１光学領域１２Ａに備えられる偏光フィルタ１４Ａを第１偏光フィルタ１４Ａ、第２光学領域１２Ｂに備えられる偏光フィルタ１４Ｂを第２偏光フィルタ１４Ｂ、第３光学領域１２Ｃに備えられる偏光フィルタ１４Ｃを第３偏光フィルタ１４Ｃとする。各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃは、それぞれ偏光方向が異なる。本実施の形態では、第１偏光フィルタ１４Ａが、方位角０°の光を透過する構成とされ、第２偏光フィルタ１４Ｂが、方位角６０°の光を透過する構成とされ、第３偏光フィルタ１４Ｃが、方位角１２０°の光を透過する構成とされる。この結果、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角６０°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角１２０°の光（直線偏光）が出射される。

光学系１０は、各光学領域１２Ａ、１２Ｂ、１２Ｃが光軸Ｌに沿って個別に前後移動する構成とされる。これにより、各光学領域１２Ａ、１２Ｂ、１２Ｃを個別に焦点調節できる。なお、光学系１０の全体を光軸Ｌに沿って前後移動させる構成とすることもできる。

〔画像生成〕
上記第１の実施の形態の撮像装置１と同様に、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３から各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を式１から算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像データを生成する。

図１４は、撮像シチュエーションの一例を示す図である。

同図に示すように、第１光学領域１２Ａは、画角θ１で被写体を撮像する。第２光学領域１２Ｂは、画角θ２で被写体を撮像する。第３光学領域１２Ｃは、画角θ３で被写体を撮像する。

図１５は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。

画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される望遠画像及び第３光学領域１２Ｃで取得される超望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像及び第３光学領域１２Ｃで取得される超望遠画像が、うっすらと浮かび出た画像となる。）。

画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。）。

画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第１光学領域１２Ａで取得される光各画像及び第２光学領域１２Ｂで取得される画像が、うっすらと浮かび出た画像となる。）。

信号処理部２００における画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３に対して、下記式６を用いて、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。

図１６は、混信除去後の画像の一例を示す図である。

画像ＩｍＡは、第１光学領域１２Ａによって得られる画像であり、広角の画像が得られる。画像ＩｍＢは、第２光学領域１２Ｂによって得られる画像であり、望遠の画像が得られる。画像ＩｍＣは、第３光学領域１２Ｃによって得られる画像であり、超望遠の画像が得られる。いずれの画像ＩｍＡ、ＩｍＢ、ＩｍＣも混信のないクリアな画像が得られる。

このように、本実施の形態の撮像装置１においても、１つの撮像素子１００を用いて、３つの独立した高品質な画像を取得できる。

［第３の実施の形態］
上記第１及び第２の実施の形態の撮像装置１では、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向（方位角）の組み合わせが、０°、６０°、１２０°、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（方位角）の組み合わせが、０°、６０°、１２０°であるが、各偏光フィルタ１４Ａ、１４Ｂ、１４Ｃに設定される偏光方向の組み合わせ、及び、各偏光素子１２２Ａ、１２２Ｂ、１２２Ｃに設定される偏光方向の組み合わせは、これに限定されるものではない。互いに異なる偏光方向の組み合わせとなればよい。

以下、偏光方向の組み合わせの他の一例として、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向の組み合わせが、０°、４５°、９０°、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向の組み合わせが、０°、６０°、１２０°の場合について説明する。

〔装置構成〕
ここでは、上記第２の実施の形態の撮像装置１において、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃの偏光方向（方位角）の組み合わせ、及び、撮像素子１００の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（方位角）の組み合わせを変えた場合を例に説明する。

光学系１０の第１光学領域１２Ａに備えられる第１偏光フィルタ１４Ａの偏光方向（方位角）を０°、第２光学領域１２Ｂに備えられる第２偏光フィルタ１４Ｂの偏光方向（方位角）を４５°、第３光学領域１２Ｃに備えられる第３偏光フィルタ１４Ｃの偏光方向（方位角）を９０°とする。この場合、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角４５°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角９０°の光（直線偏光）が出射される。

撮像素子１００の第１画素１０２Ａに備えられる偏光素子１２２Ａの偏光方向（方位角）を０°、第２画素１０２Ｂに備えられる偏光素子１２２Ｂの偏光方向（方位角）を４５°、第３画素１０２Ｃに備えられる偏光方向（方位角）を９０°とする。この場合、第１画素１０２Ａでは、方位角０°の光（直線偏光）が受光され、第２画素１０２Ｂでは方位角４５°の光（直線偏光）が受光され、第３画素１０２Ｃでは方位角９０°の光（直線偏光）が受光される。

〔画像生成〕
図１７は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。

画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。）。

画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される画像が、うっすらと浮かび出た画像となる。）。

画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される画像が、うっすらと浮かび出た画像となる。）。

各光学領域１２Ａ、１２Ｂ、１２Ｃに入射した光が各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される割合（混信量）については、各光学領域１２Ａ、１２Ｂ、１２Ｃを通過する光の偏光方向と各画素１０２Ａ、１０２Ｂ、１０２Ｃで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光（直線偏光）の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、第ｊ光学領域に入射した光が、第ｉ画素で受光される割合（混信量）は、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。したがって、行列Ｂの各要素ｂｉｊは、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。

いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、ｂ１１＝１、ｂ１２＝０．５、ｂ１３＝０となる。また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、ｂ２１＝０．５、ｂ２２＝１、ｂ２３＝０５となる。また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、ｂ３１＝０、ｂ３２＝０．５、ｂ３３＝１となる。よって、行列Ｂは、次のように設定される。

この行列Ｂの逆行列Ｂ^−１は存在し、その各要素ａｉｊは、ａ１１＝１．５、ａ１２＝−１、ａ１３＝０．５、ａ２１＝−１、ａ２２＝２、ａ２３＝−１、ａ３１＝０．５、ａ３２＝−１、ａ３３＝１．５となる。

係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ^−１として求めた３行３列の行列Ａの各要素ａｉｊを係数群として記憶する。

画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる３個の画素信号ｘ１、ｘ２、ｘ３に対して、下記式７を用いて、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、各光学領域１２Ａ、１２Ｂ、１２Ｃの画像を生成する。

生成される各光学領域１２Ａ、１２Ｂ、１２Ｃ画像は、それぞれ混信のないクリアな画像となる（図１６参照）。

このように、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃに備えられる偏光フィルタ１４Ａ、１４Ｂ、１４Ｃ、及び、各画素ユニットＵ（ｘ，ｙ）の各画素１０２Ａ、１０２Ｂ、１０２Ｃに備えられる偏光素子１２２Ａ、１２２Ｂ、１２２Ｃについては、互いに異なる偏光方向の組み合わせとなっていればよい。

なお、各光学領域に備えられる偏光フィルタの偏光方向の組み合わせと、各画素ユニットの各画素に備えられる偏光素子の偏光方向の組み合わせを同じにすることで、行列Ａを求める工程を簡素化できる。すなわち、行列Ｂを設定し、その逆行列Ｂ^−１を求める演算の工程を簡素化できる。

［第４の実施の形態］
上記第１及び第２の実施の形態の撮像装置１は、光学系１０に備えられる光学領域の数と、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数とが一致している。撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数は、必ずしも３である必要はない。互いに異なる偏光方向の光を受光する画像を少なくとも３つ備えていればよい。したがって、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）は、４画素で構成することもできる。以下、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）を４画素で構成する場合について説明する。

〔撮像素子〕
撮像素子１００の基本構成は、上記第１の実施の形態の撮像装置１の撮像素子１００と同じである。すなわち、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。

図１８は、撮像素子の画素の配列の一例を示す図である。

撮像素子１００は、第１画素１０２Ａ（図中Ａの画素）、第２画素１０２Ｂ（図中Ｂの画素）、第３画素１０２Ｃ（図中Ｃの画素）及び第４画素１０２Ｄ（図中Ｄの画素）を１つずつ含んだ４個一組の画素を１つのユニットとし、このユニットを複数備えた構成を有する。この４個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図１８に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。

画素ユニットＵ（ｘ，ｙ）の各画素には、互いに偏光方向の異なる偏光素子が備えられる。第１画素１０２Ａには、方位角０°の光を透過する偏光素子が備えられる。したがって、第１画素１０２Ａでは、方位角０°の光（直線偏光）が受光される。第２画素１０２Ｂには、方位角４５°の光を透過する偏光素子が備えられる。したがって、第２画素１０２Ｂでは、方位角４５°の光（直線偏光）が受光される。第３画素１０２Ｃには、方位角９０°の光を透過する偏光素子が備えられる。したがって、第３画素１０２Ｃでは、方位角９０°の光が受光される。第４画素１０２Ｄには、方位角１３５°の光を透過する偏光素子が備えられる。したがって、第４画素１０２Ｄでは、方位角１３５°の光が受光される。

〔光学系〕
光学系１０については、上記第２の実施の形態の撮像装置１と同様に、焦点距離の異なる３つの光学領域１２Ａ、１２Ｂ、１２Ｃが備えられているものとする。ただし、本実施の形態の撮像装置１では、第１光学領域１２Ａに備えられる第１偏光フィルタ１４Ａが、方位角０°の光を透過する構成とされ、第２光学領域１２Ｂに備えられる第２偏光フィルタ１４Ｂが、方位角４５°の光を透過する構成とされ、第３光学領域１２Ｃに備えられる第３偏光フィルタ１４Ｃが、方位角９０°の光を透過する構成とされる。したがって、本実施の形態の光学系１０では、第１光学領域１２Ａからは、方位角０°の光（直線偏光）が出射され、第２光学領域１２Ｂからは、方位角４５°の光（直線偏光）が出射され、第３光学領域１２Ｃからは、方位角９０°の光（直線偏光）が出射される。

〔信号処理〕
信号処理部２００は、撮像素子１００から得られる画素ごとの信号（画素信号）を画素ユニットＵ（ｘ，ｙ）の単位で処理して、光学系１０の各光学領域１２Ａ、１２Ｂ、１２Ｃで得られる画像を生成する。

図１９は、撮像により得られる画像（混信除去前の画像）の一例を示す図である。同図は、図１４に示す撮像シチュエーションで撮像した場合に、各画素ユニットＵ（ｘ，ｙ）の画素信号から生成される画像を示している。

画像Ｉａは、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出することで生成される画像である。この画像Ｉａは、主として第１光学領域１２Ａで取得される広角の画像となるが、第２光学領域１２Ｂで取得される画像が混信した画像となる。すなわち、第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第１画素１０２Ａで受光される光の偏光方向（方位角）が０°であるためである。

画像Ｉｂは、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂの画素信号を抽出することで生成される画像である。この画像Ｉｂは、主として第２光学領域１２Ｂで取得される望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される超望遠画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第３光学領域１２Ｃで取得される超望遠画像が、うっすらと浮かび出た画像となる。）。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第２画素１０２Ｂで受光される光の偏光方向（方位角）が４５°であるためである。

画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第２光学領域１２Ｂで取得される望遠画像が、うっすらと浮かび出た画像となる。）。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第３画素１０２Ｃで受光される光の偏光方向（方位角）が９０°であるためである。

画像Ｉｄは、各画素ユニットＵ（ｘ，ｙ）の第４画素１０２Ｄから画素信号を抽出することで生成される画像である。この画像Ｉｄは、第１光学領域１２Ａ及び第３光学領域１２Ｃの画像が等しく混信した画像となる。これは、第１光学領域１２Ａ、第２光学領域１２Ｂ、第３光学領域１２Ｃを通過する光の偏光方向（方位角）が、それぞれ０°、４５°、９０°であるのに対して、第４画素１０２Ｄで受光される光の偏光方向（方位角）が１３５°であるためである。

信号処理部２００における画像生成部２００Ｂは、各画素ユニットＵ（ｘ，ｙ）から得られる４個の画素信号ｘ１、ｘ２、ｘ３、ｘ４に対して、行列Ａを用いた下記式８によって、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出し、混信を除去する。

なお、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、次のように求められる。

いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、Ｘ１、Ｘ２、Ｘ３とｘ１との間には、次の関係が成り立つ。

ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＝ｘ１…（式９）
また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、Ｘ１、Ｘ２、Ｘ３とｘ２との間には、次の関係が成り立つ。

ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＝ｘ２…（式１０）
また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、Ｘ１、Ｘ２、Ｘ３とｘ３との間には、次の関係が成り立つ。

ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＝ｘ３…（式１１）
また、第１光学領域１２Ａに入射した光が第４画素１０２Ｄで受光される割合をｂ４１、第２光学領域１２Ｂに入射した光が第４画素１０２Ｄで受光される割合をｂ４２、第３光学領域１２Ｃに入射した光が第４画素１０２Ｄで受光される割合をｂ４３とすると、Ｘ１、Ｘ２、Ｘ３とｘ４との間には、次の関係が成り立つ。

ｂ４１＊Ｘ１＋ｂ４２＊Ｘ２＋ｂ４３＊Ｘ３＝ｘ４…（式１２）
上記式９〜１２の連立方程式は、行列Ｂを用いた下記の式１３で表わすことができる。

上記のように、行列Ａは、行列Ｂの逆行列Ｂ^−１である（Ａ＝Ｂ^−１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、行列Ｂの逆行列Ｂ^−１を求めることで取得できる。

行列Ｂの各要素ｂｉｊ（ｉ＝１、２、３、４；ｊ＝１、２、３）は、第ｊ光学領域に入射した光が第ｉ画素で受光される割合である。この割合は、第ｊ光学領域を通過する光の偏光方向（方位角）と第ｉ画素で受光される光の偏光方向（方位角）との角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第ｊ光学領域を通過した光の偏光方向（方位角）をαｊ、第ｉ画素で受光される光の偏光方向（方位角）をβｉとすると、この割合は、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。すなわち、行列Ｂの各要素ｂｉｊは、ｃｏｓ^２（｜αｊ−βｉ｜）で算出される。

本実施の形態の撮像装置１において、第１光学領域１２Ａを通過する光（直線偏光）の偏光方向（方位角）は０°である。また、第２光学領域１２Ｂを通過する光の偏光方向は４５°である。また、第３光学領域１２Ｃを通過する光の偏光方向は９０°である。また、第１画素１０２Ａで受光される光（直線偏光）の偏光方向（方位角）は０°である。また、第２画素１０２Ｂで受光される光の偏光方向は４５°である。また、第３画素１０２Ｃで受光される光の偏光方向は９０°である。また、第４画素１０２Ｄで受光される光の偏光方向は１３５°である。

したがって、行列Ｂの各要素ｂｉｊは、ｂ１１＝１、ｂ１２＝０．５、ｂ１３＝０、ｂ２１＝０．５、ｂ２２＝１、ｂ２３＝０．５、ｂ３１＝０、ｂ３２＝０．５、ｂ３３＝１、ｂ４１＝０．５、ｂ４２＝０、ｂ４３＝０．５となる。

この行列Ｂの逆行列Ｂ^−１は存在し、その各要素ａｉｊ（ｉ＝１、２、３；ｊ＝１、２、３、４）は、ａ１１＝０．７５、ａ１２＝−０．２５、ａ１３＝−０．２５、ａ１４＝０．７５、ａ２１＝０、ａ２２＝１、ａ２３＝０、ａ２４＝−１、ａ３１＝−０．２５、ａ３２＝−０．２５、ａ３３＝０．７５、ａ３４＝０．７５となる。

よって、本実施の形態の撮像装置１では、下記式１４により各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した画素信号Ｘ１、Ｘ２、Ｘ３を算出できる。

算出された画素信号Ｘ１、Ｘ２、Ｘ３から生成される各光学領域１２Ａ、１２Ｂ、１２Ｃの画像は、図１６に示すように、混信のないクリアな画像となる。

このように、撮像素子１００の各画素ユニットＵ（ｘ，ｙ）に備えられる画素の数は、必ずしも３である必要はなく、４つ以上の画素であっても、混信を除去して、クリアな画像を生成できる。

画素ユニットＵ（ｘ，ｙ）が、互いに異なる偏光方向の光を受光するＮ個（Ｎは、Ｎ≧３を満たす整数）の画素で構成される場合、各光学領域１２Ａ、１２Ｂ、１２Ｃに対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３は、行列Ａを用いた下記式１５で算出できる。

なお、ｉ、ｊは、１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数である。

行列Ａは、光学系１０の各光学領域に入射した光が、撮像素子の各画素ユニットの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ^−１を算出して取得される。したがって、光学系の各光学領域に備えられる偏光フィルタの偏光方向と、各画素ユニットの画素に備えられる偏光素子の偏光方向は、行列Ｂを設定した場合に、その逆行列Ｂ^−１が求まる条件であればよい。

このように、１つの画素ユニットを４以上の画素で構成することにより、複数の画素を使って冗長に撮像でき、受光量も多くなるので、ノイズの少ない最終画像を得られる。

［その他の実施の形態］
〔光学系の構成〕
上記実施の形態では、光学系の各光学領域が、それぞれ異なる焦点距離を有する場合、それぞれ異なる距離の被写体に焦点が合う場合を例に説明したが、光学系の構成は、これに限定されるものではない。この他に、たとえば、各光学領域が、それぞれ異なる波長帯域の光を透過させる構成であってもよい。また、各光学領域は、互いに視差を有する構成であってもよい。たとえば、３つの光学領域のうち２つは同じ焦点距離に設定して、左右に視差を有する画像を撮像する構成とすることができる。あるいは、３つの光学領域をすべて同じ焦点距離に設定し、３視点の視差を有する画像を撮像する構成とすることができる。これにより、たとえば、１つの撮像素子で立体画像を撮像できる。また、距離を測定できる。

また、上記実施の形態では、光学系の光学領域（瞳領域）を同心円状に三分割する構成としているが、分割の態様は、これに限定されるものではない。

図２０は、光学領域の分割の他の一例を示す図である。

同図に示すように、瞳部分が周方向に三分割される構成とすることもできる。この場合、たとえば、それぞれ同じ焦点距離に設定することで、３視点の視差を有する画像を撮像できる。また、たとえば、左右２つの領域を同じ焦点距離に設定することで、左右の視差を有する画像を撮像できる。

図２１は、光学領域の分割の他の一例を示す図である。

同図に示すように、瞳部分が上下方向に三分割される構成とすることもできる。

図２２は、光学領域の分割の他の一例を示す図である。

同図に示すように、瞳部分が中央領域と外周領域に分割され、更に、外周領域が左右に二分割される構成とすることもできる。この場合、たとえば、外周の２つの領域を左右同じ焦点距離に設定することで、左右の視差を有する画像を撮像できる。

〔撮像素子の構成〕
１つの画素ユニットを構成する画素の配列は、上記実施の形態のものに限定されるものではない。

図２３は、画素の配列の他の一例を示す図である。

同図に示すように、縦方向（ｙ方向）に沿って一列に並ぶ３個一組の画素１０２Ａ、１０２Ｂ、１０２Ｃで１つの画素ユニットＵ（ｘ，ｙ）を構成し、これをｘ方向及びｙ方向に沿って、規則的に配列する構成とすることもできる。

図２４は、画素の配列の他の一例を示す図である。

同図に示すように、横方向（ｘ方向）に沿って一列に並ぶ３個一組の画素１０２Ａ、１０２Ｂ、１０２Ｃで１つの画素ユニットＵ（ｘ，ｙ）を構成し、これをｘ方向及びｙ方向に沿って、規則的に配列する構成とすることもできる。

図２５は、画素の配列の他の一例を示す図である。

同図に示す撮像素子１００は、画素の形状を八角形状とし、水平ラインごとに画素の位置を１／２ピッチだけ水平方向（ｘ方向）にずらして格子状に配置している。この場合も３個一組の画素で１つの画素ユニットＵ（ｘ，ｙ）が構成される。

また、カラー画像を生成する場合には、画素ユニット単位でカラーフィルタを配置する。たとえば、画素ユニット単位で赤、緑、青のカラーフィルタを所定のフィルタ配列（たとえば、ベイヤ配列）で配置する。

また、上記実施の形態では、偏光素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、マイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。

〔信号処理部の構成〕
信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。

上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。

〔信号処理の手法〕
１つの画素ユニットを偏光方向の異なる４個以上の画素で構成し、そのうちの３個の画素からの画素信号を使用して、各光学領域の画像を生成する構成としてもよい。たとえば、方位角０°、４５°、９０°、１３５°の光を受光する４個一組の画素で１つの画素ユニットが構成される場合において、方位角０°、４５°、９０°の光を受光する画素の画素信号を使用して、各光学領域の画像を生成する構成としてもよい。

〔撮像装置の構成〕
撮像装置は、光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各光学領域の画像を生成する。

１ 撮像装置
１０ 光学系
１２Ａ 第１光学領域
１２Ｂ 第２光学領域
１２Ｃ 第３光学領域
１４Ａ 第１偏光フィルタ
１４Ｂ 第２偏光フィルタ
１４Ｃ 第３偏光フィルタ
１００ 撮像素子
１０２Ａ 第１画素
１０２Ｂ 第２画素
１０２Ｃ 第３画素
１０２Ｄ 第４画素
１１０ ピクセルアレイ層
１１２ フォトダイオード
１２０ 偏光素子アレイ層
１２２Ａ 第１偏光素子
１２２Ｂ 第２偏光素子
１２２Ｃ 第３偏光素子
１３０ マイクロレンズアレイ層
１３２ マイクロレンズ
２００ 信号処理部
２００Ａ アナログ信号処理部
２００Ｂ 画像生成部
２００Ｃ 係数記憶部
Ａａ 第１偏光フィルタの偏光透過軸
Ａｂ 第２偏光フィルタの偏光透過軸
Ａｃ 第３偏光フィルタの偏光透過軸
ＤＡ 第１の画像データ
ＤＢ 第２の画像データ
ＤＣ 第３の画像データ
Ｉａ 第１画素から得られる画像
Ｉｂ 第２画素から得られる画像
Ｉｃ 第３画素から得られる画像
Ｉｄ 第４画素から得られる画像
ＩｍＡ 第１光学領域の画像
ＩｍＢ 第２光学領域の画像
ＩｍＣ 第３光学領域の画像
Ｌ 光軸
Ｕ（ｘ、ｙ） 画素ユニット

第３画素１０２Ｃは、第３偏光素子１２２Ｃを備えることから、方位角１２０°の光（直線偏光）を受光する。このため、第３画素１０２Ｃは、主として第３光学領域１２Ｃからの光を受光し、一部、第１光学領域１２Ａ及び第２光学領域１２Ｂからの光を受光する。

各画素ユニットＵ（ｘ，ｙ）には、第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１画素１０２Ａ、第２画素１０２Ｂ及び第３画素１０２Ｃの画素信号を分離して抽出することにより、３つの画像データが生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１画素１０２Ａから画素信号を抽出して構成される第１の画像データＤＡと、各画素ユニットＵ（ｘ，ｙ）の第２画素１０２Ｂから画素信号を抽出して構成される第２の画像データＤＢと、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出して構成される第３の画像データＤＣと、が生成される。

画像Ｉｃは、各画素ユニットＵ（ｘ，ｙ）の第３画素１０２Ｃから画素信号を抽出することで生成される画像である。この画像Ｉｃは、主として第３光学領域１２Ｃで取得される超望遠の画像となるが、第１光学領域１２Ａで取得される広角画像及び第２光学領域１２Ｂで取得される望遠画像が混信した画像となる（第１光学領域１２Ａで取得される広角画像及び第２光学領域１２Ｂで取得される画像が、うっすらと浮かび出た画像となる。）。

撮像素子１００の第１画素１０２Ａに備えられる偏光素子１２２Ａの偏光方向（方位角）を０°、第２画素１０２Ｂに備えられる偏光素子１２２Ｂの偏光方向（方位角）を４５°、第３画素１０２Ｃに備えられる偏光素子１２２Ｃの偏光方向（方位角）を９０°とする。この場合、第１画素１０２Ａでは、方位角０°の光（直線偏光）が受光され、第２画素１０２Ｂでは方位角４５°の光（直線偏光）が受光され、第３画素１０２Ｃでは方位角９０°の光（直線偏光）が受光される。

いま、第１光学領域１２Ａに入射した光が第１画素１０２Ａで受光される割合（混信量）をｂ１１、第２光学領域１２Ｂに入射した光が第１画素１０２Ａで受光される割合をｂ１２、第３光学領域１２Ｃに入射した光が第１画素１０２Ａで受光される割合をｂ１３とすると、ｂ１１＝１、ｂ１２＝０．５、ｂ１３＝０となる。また、第１光学領域１２Ａに入射した光が第２画素１０２Ｂで受光される割合をｂ２１、第２光学領域１２Ｂに入射した光が第２画素１０２Ｂで受光される割合をｂ２２、第３光学領域１２Ｃに入射した光が第２画素１０２Ｂで受光される割合をｂ２３とすると、ｂ２１＝０．５、ｂ２２＝１、ｂ２３＝０．５となる。また、第１光学領域１２Ａに入射した光が第３画素１０２Ｃで受光される割合をｂ３１、第２光学領域１２Ｂに入射した光が第３画素１０２Ｃで受光される割合をｂ３２、第３光学領域１２Ｃに入射した光が第３画素１０２Ｃで受光される割合をｂ３３とすると、ｂ３１＝０、ｂ３２＝０．５、ｂ３３＝１となる。よって、行列Ｂは、次のように設定される。

各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能を実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて実現される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。

Claims (13)

1. 互いに異なる偏光方向の光を通過させる３個の光学領域を有する光学系と、
   ＮをＮ≧３を満たす整数とした場合に、互いに異なる偏光方向の光を受光するＮ個の画素を一組とする画素ユニットを複数有する撮像素子と、
   ｉ、ｊを１≦ｉ≦３、１≦ｊ≦Ｎを満たす整数とした場合に、各要素がａｉｊで表される３行Ｎ列の行列Ａで構成される係数群を記憶する記憶部と、
   前記記憶部から前記係数群を取得し、前記撮像素子の各前記画素ユニットから得られるＮ個の画素信号ｘ１、ｘ２、…、ｘＮから、下記式によって、前記光学系の各前記光学領域に対応した３個の画素信号Ｘ１、Ｘ２、Ｘ３を算出する演算部と、
   

   

   を備える撮像装置。
2. 前記行列Ａは、前記光学系の各前記光学領域に入射した光が、前記撮像素子の各前記画素ユニットの各前記画素で受光される割合を要素とする行列の逆行列を算出して取得される、
   請求項１に記載の撮像装置。
3. 前記光学系の各前記光学領域に入射した光が、前記撮像素子の各前記画素ユニットの各前記画素で受光される割合は、前記光学系の各前記光学領域を通過する光の偏光方向と前記撮像素子の各前記画素ユニットの各前記画素で受光される光の偏光方向の角度差の余弦の二乗を算出して取得される、
   請求項２に記載の撮像装置。
4. 前記撮像素子は、互いに異なる偏光方向の光を受光する３個の前記画素を一組とする前記画素ユニットを複数有する、
   請求項１から３のいずれか１項に記載の撮像装置。
5. 前記光学系の各前記光学領域を通過する光の偏光方向の組み合わせと、前記撮像素子の各前記画素ユニットの各前記画素で受光される光の偏光方向の組み合わせが同じである、
   請求項１から３のいずれか１項に記載の撮像装置。
6. 前記光学系は、互いに偏光方向の異なる３個の偏光フィルタを瞳位置に有する、
   請求項１から５のいずれか１項に記載の撮像装置。
7. 前記光学系の各前記光学領域は、それぞれ異なる焦点距離を有する、
   請求項１から６のいずれか１項に記載の撮像装置。
8. 前記光学系の各前記光学領域は、それぞれ異なる距離の被写体に焦点が合う、
   請求項１から６のいずれか１項に記載の撮像装置。
9. 前記光学系の各前記光学領域は、それぞれ異なる波長帯域の光を透過させる、
   請求項１から６のいずれか１項に記載の撮像装置。
10. 前記光学系の各前記光学領域は、互いに視差を有する、
    請求項１から６のいずれか１項に記載の撮像装置。
11. 前記光学系の各前記光学領域は、少なくとも２つが視差を有する、
    請求項１から６のいずれか１項に記載の撮像装置。
12. 前記撮像素子は、各前記画素に偏光素子を有する、
    請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記撮像素子は、各前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する、
    請求項１２に記載の撮像装置。

Images