WO2015004886A1 - 撮像装置 - Google Patents

Abstract

　本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、光学系と撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、ｎ個の光学領域を透過した光を、光学領域に対応する群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲ_ｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、記憶素子から係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎから、下記式によって、ｎ個の変換後の画素信号ｘ'_１、ｘ'_２、・・・、ｘ'_ｎを算出する演算装置とを備える。

Description

撮像装置

　本願は、カメラ等の撮像装置に関する。

　撮影に用いる光の波長帯域、偏光条件、露光条件などが異なる複数の光学条件で、同じ被写体を撮影する撮像装置が求められている。特許文献１は、光学系の瞳部分を分割し、分割された瞳部分のそれぞれに異なる光学条件のフィルタを配置し、イメージセンサの前方にマイクロレンズアレイなどのアレイ状の光学素子を配置した撮像装置を開示している。この撮像装置は、アレイ状の光学素子による光線分離効果によって、瞳部分の異なる光学領域からの入射光をそれぞれ別の画素へと導くことにより、一度の撮影で複数の光学条件による画像を得る。

特許第５００１４７１号公報

　上述した従来の技術では、複数の光学条件によって得られる画像の質をより高めることが求められていた。本願の、限定的ではない例示的なある実施の形態は、複数の所望の光学条件にしたがった、高画質の画像を得ることができる撮像装置を提供する。

　本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、光学系と撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、ｎ個の光学領域を透過した光を、光学領域に対応する群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲ_ｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、記憶素子から係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎから、下記式によって、変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎを算出する演算装置とを備える。

　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

　本願に開示された撮像装置によれば、複数の所望の光学条件にしたがった、高画質の画像を得ることができる。

実施の形態１の撮像装置を示す模式図である。 実施の形態１の領域分割光学フィルタの正面図である。 アレイ状光学素子及び撮像素子の拡大図である。 撮像素子への光線の入射状況を説明する図である。 クロストークを説明する図である。 本開示の実施の形態２で用いる遮光部材の平面図である。 実施例で得られた画像の例を示す図である。 （ａ）は、クロストークが発生している画像の例を示す図であり、（ｂ）はクロストーク量を示す図である。 （ａ）は、実施例の画像例であって、クロストークが抑制された画像例を示す図であり、（ｂ）はクロストーク量を示す図である。 実施の形態３に係る撮像装置のレンズ光学系における領域分割偏光素子を示す模式図である。 実施の形態３に係る撮像装置の撮像素子への光線の入射状況を説明するための図である。 実施の形態３に係る撮像装置におけるクロストークの状況の一例を説明する図である。 実施の形態３に係る撮像装置におけるクロストークの状況の他の一例を説明する図である。 実施の形態３に係る撮像装置におけるクロストークの状況の他の一例を説明する図である。 （ａ）は６つの光学領域の配列の例を示す図であり、（ｂ）は対応する１つの群における６つの画素の配置を示す図である。

　（本開示の基礎となった知見）
　特許文献１に開示された撮像装置では、分割された瞳部分を透過する光はアレイ状光学素子によってそれぞれ分離され、別の画素へ導かれる。本願発明者が詳細に検討したところ、アレイ状光学素子による光線の分離は、必ずしも完全ではなく、設計上想定した画素とは異なる画素へ光線が漏れ込む場合があることが分かった。この現象はクロストークと呼ばれる。このようなクロストークが生じると、瞳に設けた光学フィルタに従った設計通りの光学条件で画像を取得することが困難となり、所望の光学条件による高い画質の画像を得ることが困難になる。

　このようなクロストークは、撮像装置がより小型になり、撮像素子の画素ピッチが小さくなって、光の振る舞いが幾何光学的な振る舞いから外れて、回折的な振る舞いが増えるにつれて増大する。

　クロストークを抑制するためには、瞳部を複数の光学領域に分割する際の光学領域の境界部に遮光領域を設け、分割した光学領域の境界近傍の光線を意図しない画素へ入射させないようにすることが考えられる。しかし、この場合、画素に入射する光量が減り、撮像装置の感度が低下する可能性がある。

　そこで、本願発明者は、複数の所望の光学条件にしたがった、高画質の画像を得ることができる新規な撮像装置を想到した。

　本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、前記光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が前記ｎ個の光学領域を透過した光を、前記光学領域に対応する前記群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲ_ｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、前記記憶素子から前記係数群を受け取り、前記撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎから、下記式によって、変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎを算出する演算装置とを備える。

　前記演算装置は、各群の変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎからｎ個の画像信号を生成してもよい。

　前記アレイ状光学素子はマイクロレンズアレイであり、前記撮像素子上に一体化して形成されていてもよい。

　前記アレイ状光学素子と、前記撮像素子の光電変換領域との間に、カラーフィルタを有していなくてもよい。

　前記ｎ個の光学領域のうち少なくとも１つは、他の光学領域と、前記透過した光の偏光特性、分光波長特性および透過率、ならびに、前記光学領域の前記光軸に垂直な平面上における面積のうちの少なくともいずれかが異なっていてもよい。

　前記ｎは、
　　ｎ＝ｍ×ｍ（ｍは２以上の整数）
の関係を満たし、前記撮像素子の各群において、ｎ個の画素が水平方向および垂直方向にｍ行ｍ列に配置され、前記アレイ状光学素子の各光学要素は、前記ｍ行ｍ列に配置された画素にｎ個の前記光学領域を透過した光をそれぞれ入射させてもよい。

　前記ｎは４であり、かつ前記ｍは２であり、前記係数群は、下記の条件を満たす４つの数、ε、η、θ、λにて構成される下記行列であってもよい。

　　ε＞１、
　　θ＜０、
　　η＜０、
　　ε＞λ、
　　λ＞θ、
　　λ＞η

　前記ｎは４であり、かつ前記ｍは２であり、前記係数群は、下記の条件を満たす３つの数、ε、η、λにて構成される下記行列であってもよい。

　　ε＞λ＞η、
　　ε＞１、
　　η＜０

　前記εは、１＜ε＜２の関係を満たしていてもよい。

　前記λは、－０．３＜λ＜０の関係を満たしていてもよい。

　前記撮像素子の各群において、前記ｎ個の画素に入射する光の光量の差が２％未満であってもよい。

　前記ｎが４であってもよい。

　前記撮像素子の各群において、前記アレイ状光学素子の対応する光学要素によって、前記ｎ個の光学領域のいずれか１つを透過した光線のうち、設計された正規の画素に入射する比率をα％、隣接する画素の一つに入射する比率をβ％、斜め隣の画素の一つに入射する比率をδ％とするとき、
　前記α、β及びδは、
　　α＞β＞δ
かつ
　　β＜２５％
を満足していてもよい。

　前記α及びβは、
　　α＞４β
の関係を満たしていてもよい。

　前記αは、
　　９７％＞α＞４５％
の関係を満たしていてもよい。

　前記αは、
　　８５％＞α＞６５％
の関係を満たしていてもよい。

　前記βは前記δの略２倍であってもよい。

　前記光学系の前記ｎ個の光学領域のうち、１つの前記光学領域において光を透過させ、その他の前記光学領域において遮光する遮光部材をさらに備え、前記演算装置は、前記遮光部材を用いて被写体を撮影することによって、前記撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２・・・ｘ_ｎ、または、前記ｎ個の画像信号から、前記係数群を算出し、前記記憶素子は前記算出された係数群を記憶していてもよい。

　前記遮光部材は、前記透過させる１つの前記光学領域が変更可能なように構成されており、前記演算装置は、前記透過させる１つの前記光学領域を異ならせて複数回撮影を行い、前記複数回の撮影から前記係数群を算出してもよい。

　前記係数群の少なくとも一部の係数値を入力する入力部をさらに備えていてもよい。

　前記演算装置は、各光学要素によるクロストーク量を算出し、算出したクロストーク量を示す行列および前記行列の逆行列を算出し、前記記憶素子は、前記逆行列を前記係数群として記憶していてもよい。

　前記ｎは４であり、前記演算装置において、前記クロストーク量を示す行列の全要素は４つの値から構成されていてもよい。

　前記ｎは４であり、前記演算装置において、前記クロストーク量を示す行列の全要素は３つの値から構成されていてもよい。

　前記係数群を構成する前記行列の対角成分Ｒ_ｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
　　１＜Ｒ_ｉｉ＜２．３
の関係を満たしてもよい。

　前記係数群を構成する前記行列の対角成分Ｒ_ｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
　　１＜Ｒ_ｉｉ＜１．０５３
の関係を満たしてもよい。

　なお、特許第４１２００２０号公報、国際公開第２０１１／００１７３８号、および特開２０１２－１６９８３０号公報には、カラーフィルタを有するイメージセンサの色信号処理の分野において、混色を低減する手法及び混色を測定する手法が種々提案されている。一般的なカラーイメージセンサに用いるカラーフィルタは、感度を向上させるために、透過する波長帯域を相互に重なり合うくらいまで広げてあるため、所定の演算方法によって色信号を回復している。それらの色クロストークの補正には、取得されたカラー画像の色がより被写体に忠実な値になるように信号処理が行われる。

　また特開２０１３－３４０８６号公報は、混色の計測のために所定の画素内に遮蔽を設けて、周辺画素からの漏れ込み光の量をモニタする方法を提案している。国際公開第２００９／０９３５８８号は、分光特性の異なる複数の色票を撮影して補正マトリックスを算出する方法を提案している。

　これらの単板色カラー撮像素子の色信号処理の技術分野において、混色を低減する手法は数多く提案されているが、それらは撮影画像情報がカラー画像であることを前提として色情報を元に補正を行うものである。即ちイメージセンサ上にカラーフィルタが一体構成されていることが前提となっている。それに対して、以下の実施形態で説明する瞳分割方式の撮像装置では、複数の光学条件が、異なる波長帯とは限らない上に、波長帯を変えて撮影する場合であっても、赤外または紫外など所謂ＲＧＢ帯域と異なる可能性があるため、既知の手法を適用することは出来ない。

　また、これらの撮像素子における混色は、隣接する画素からの電荷の染み出しによって生じる。このため、混色の補正は、原則として、各画素において、各画素に隣接する画素からの影響を考慮するように行われる。

　さらに、撮像素子上に漏れ込み光測定用の画素を設けた場合、その画素の出力値を周辺画素から補間することになる。撮影された写真を、観賞用として用いる場合にはそのような方法で生成された画像でも問題はない場合が多いが、画像計測を主目的とした撮像装置においては、周辺画素からの補間により未測定の画素の出力値を決めるという方法は好ましくない。よって、本開示の撮像装置には、撮像素子上に漏れ込み光の計測用の画素を配置しないことが好ましい。

　（実施の形態１）
　図１は本開示の撮像装置の実施の形態１を示す模式図である。本実施の形態の撮像装置Ａは、Ｖ０を光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点位置近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、演算装置Ｃと、記憶素子Ｐとを備える。

　レンズ光学系Ｌは、絞りＳと、絞りＳを透過した光を撮像素子Ｎ上に結像する対物レンズＬ１とから構成される。レンズ光学系Ｌは、光軸Ｖ０に非平行に配置されたｎ個の光学領域を絞りＳの近傍に有する。ここで、ｎは２以上の整数である。ｎ個の光学領域において、少なくとも１つの光学領域は、他の光学領域と、それぞれの光学領域を透過する光の偏光特性、分光波長特性および透過率ならびに、これらの光学領域の光軸Ｖ０に略垂直な平面上における面積のうちの少なくともいずれかが異なっている。

　本実施形態では、レンズ光学系Ｌは、絞りＳの近傍において光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を有する。光学領域Ｄ_１からＤ_４には、光学領域Ｄ_１からＤ_４のうち少なくとも１つが他とは異なる偏光特性を備えた領域分割偏光素子Ｓｐが配置されている。

　図２に、領域分割偏光素子Ｓｐの被写体側から見た正面図を示す。光学領域は光軸Ｖ０を中心に４つの光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４に分割してあり、それぞれの領域を透過する偏光方向は互いに異なる。光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４は、光軸Ｖ０に垂直な平面において、水平方向および垂直方向に配列されている。

　図１において、光線Ｂ_１、Ｂ_２（図示せず）、Ｂ_３（図示せず）、Ｂ_４はそれぞれ光学領域Ｄ_１、Ｄ_２（図示せず）、Ｄ_３（図示せず）、Ｄ_４をそれぞれ透過した光線である。

　光線Ｂ_１、Ｂ_２（図示せず）、Ｂ_３（図示せず）、Ｂ_４は、絞りＳ、領域分割偏光素子Ｓｐ、対物レンズＬ１、アレイ状光学素子Ｋをこの順に透過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。

　図３は図１に示したアレイ状光学素子Ｋおよび撮像素子Ｎの拡大図である。撮像素子Ｎは、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号（画素値）に変換する。撮像素子Ｎのｎ個の画素上、つまり、撮像素子Ｎとアレイ状光学素子Ｋとの間にはカラーフィルタは設けられていない。

　アレイ状光学素子Ｋは、レンズ光学系Ｌと撮像素子Ｎとの間に位置し、複数の配列された光学要素を含む。

　各光学要素は、ｎ個の光学領域を透過した光線を、撮像素子Ｎの対応する群のｎ個の画素にそれぞれ入射させる。

　本実施形態では、アレイ状光学素子Ｋは、マイクロレンズＭを光学要素とするマイクロレンズアレイである。図３に示すように、アレイ状光学素子Ｋは、マイクロレンズＭが形成された面を撮像素子Ｎ側に向けて配置されている。図１に示したとおり、アレイ状光学素子Ｋはレンズ光学系Ｌの焦点位置近傍に配置されており、撮像素子Ｎからは所定の距離だけ離れた位置に配置されている。撮像面Ｎｉ上には、各画素の表面を覆うようにマイクロレンズＭｓが設けられている。アレイ状光学素子Ｋの配置は対物レンズＬ１の焦点を基準にして決定すればよい。またアレイ状光学素子Ｋのマイクロレンズ面の周期は、撮像面Ｎｉに形成されている画素に対して、縦方向横方向それぞれ２画素分に相当する周期として構成されている。

　図３に示すように、マイクロレンズＭの１つが、撮像面Ｎｉ上におけるｎ個の画素のうち、２行２列の画素に対応するように配置されている。マイクロレンズＭが光線の入射角に応じて射出方向を振り分ける機能を有する。図４に示すように、各光学要素である１つのマイクロレンズＭは、１つの群を構成する画素ｂ_１、ｂ_２、ｂ_３、ｂ_４に光を入射させる。各群でみると、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過した光線の大部分は、それぞれ、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４に入射する。図２および図４に示すように、マイクロレンズＭは光軸Ｖ０に平行な光軸を有し、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過した光線は、マイクロレンズＭの光軸に対して対称に画素ｂ_１、ｂ_２、ｂ_３、ｂ_４に入射する。つまり、光学領域Ｄ_１を透過した光線は画素ｂ_１に、光学領域Ｄ_２を透過した光線は画素ｂ_２に、光学領域Ｄ_３を透過した光線は画素ｂ_３に、光学領域Ｄ_４を透過した光線は画素ｂ_４に入射する。

　撮像素子Ｎ全体でみた場合、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４は、図４の左上を基準として、光学領域Ｄ_１を透過した光線Ｂ_１の大部分を撮像面Ｎｉ上の画素の偶数行偶数列に位置する画素ｂ_１に、光学領域Ｄ_２を透過した光線Ｂ_２（図示せず）の大部分を撮像面Ｎｉ上の画素の偶数行奇数列の画素ｂ_２に、光学領域Ｄ_３を透過した光線Ｂ_３（図示せず）の大部分を撮像面Ｎｉ上の奇数行奇数列の画素ｂ_３に、光学領域Ｄ_４を透過した光線Ｂ_４の大部分を撮像面Ｎｉ上の奇数行偶数列の画素ｂ_４に、それぞれ入射させるように配置されている。これを実現するには、アレイ状光学素子の屈折率およびマイクロレンズＭの曲率半径、撮像面Ｎｉからの距離などを適宜調節すればよい。

　アレイ状光学素子Ｋの各マイクロレンズＭは、理想的には、レンズ光学系Ｌの光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過した光線Ｂ_１、Ｂ_２（図示せず）、Ｂ_３（図示せず）、Ｂ_４を、それぞれ撮像素子Ｎの各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４にのみ入射させる。しかし、上述したように実際には、各群において、光線Ｂ_１、Ｂ_２（図示せず）、Ｂ_３（図示せず）、Ｂ_４は、対応する画素に隣接する画素にも入射する。つまり、クロストークが発生する。

　撮像素子Ｎは、各群の各画素に入射した光を光電変換によって画素信号に変換する。各群において、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４は、理想的には、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過した光線Ｂ_１、Ｂ_２（図示せず）、Ｂ_３（図示せず）、Ｂ_４のみを検出している。しかし、上述したようにクロストークが発生するため、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から得られる画素信号は、対応する光線を正しく反映していない。このために、本実施形態の撮像装置は、演算装置Ｃによってクロストークの影響を抑制するように画素信号を補正する。

　このために、記憶素子Ｐは、クロストーク量に対応する各要素がＲ_ｉｋ（ｉ、ｋは、０≦ｉ≦ｎ、０≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している。

　演算装置Ｃは、記憶素子Ｐから係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎから、下記式によって、変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎを算出する。この演算については以下で詳述する。

　さらに、演算装置Ｃは、各群の変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎからｎ個の画像信号を生成する。本実施形態では、演算装置Ｃは４つの画像信号を生成する。具体的には、各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から得られる変換後の画素信号をそれぞれ抽出し、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４を生成する。より具体的には、各群の画素ｂ_１から得られる画素信号から画像信号Ｑ_１を生成する。同様に、各群の画素ｂ_２、ｂ_３、ｂ_４から得られる画素信号から画像信号Ｑ_２、Ｑ_３、Ｑ_４を生成する。この処理により取得された画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４はそれぞれ光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を主に透過した光線により生成された画像となる。

　次に、撮像素子の各群におけるクロストークを説明する。図５はクロストークを説明するための模式図である。図５では、簡単のために、アレイ状光学素子Ｋのマイクロレンズアレイを構成する１つの光学要素であるマイクロレンズＭと、その光学要素に対応し、１つの群を構成する４つの画素とを抜き出して図示し、レンズ光学系Ｌなどを略している。図５の光学領域Ｄ_１を透過した光線は、マイクロレンズの作用により光線の大部分は撮像面Ｎｉ上の画素ｂ_１に入射する。しかしながら、素子が微細化されてくるにつれ、幾何光学的な振る舞いとは異なる方向への光エネルギーの伝播成分が発生し、実際には画素ｂ_２、ｂ_３、ｂ_４にもそれぞれ入射してしまう。この画素ｂ_２、ｂ_３、ｂ_４への入射成分がクロストーク光である。このようなクロストーク光は、光学領域Ｄ_２、Ｄ_３、Ｄ_４を透過した光線からも同様に発生する。

　そのため画素ｂ_１、ｂ_２、ｂ_３、ｂ_４の各々で計測される入射光量は、４つの光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４のうち設計上で対応する正規の光学領域からの光線に加えて、他の光学領域からのクロストーク光を含むこととなる。

　ここで、光学領域Ｄ_１を透過した光線のうち、設計上の正規の画素へ入射する光の割合をα_１％、設計上の正規の画素の左右方向に隣接する画素に入射する光の割合をβ_１％、設計上の正規の画素の上下方向に隣接する画素に入射する光の割合をγ_１％、設計上の正規の画素の斜め向かい方向の画素へ入射する光の割合をδ_１％とする。図５に示す例の場合、設計上の正規の画素は画素ｂ_１、設計上の正規の画素の左右方向に隣接する画素は画素ｂ_２、設計上の正規の画素の上下方向に隣接する画素は画素ｂ_３、設計上の正規の画素の斜め向かい方向の画素は画素ｂ_４である。他の要因による光損失が無視できるとした場合、α_１＋β_１＋γ_１＋δ_１＝１００％である。

　光学領域Ｄ_２に対しても、設計上の正規の画素へ入射する光の割合をα_２％、設計上の正規の画素の左右に隣接する画素に入射する光の割合をβ_２％、設計上の正規の画素の上下に隣接する画素に入射する光の割合をγ_２％、設計上の正規の画素の斜め向かいの画素へ入射する光の割合をδ_２％とする。

　同様に、光学領域Ｄ_３に対しても、設計上の正規の画素、設計上の正規の画素の左右方向に隣接する画素、設計上の正規の画素の上下方向に隣接する画素、および設計上の正規の画素の斜め向かい方向の画素への入射する光の割合を、それぞれα_３、β_３、γ_３、δ_３であるとする。また、光学領域Ｄ_４に対しても、設計上の正規の画素、設計上の正規の画素の左右方向に隣接する画素、設計上の正規の画素の上下方向に隣接する画素、および設計上の正規の画素の斜め向かい方向の画素への入射する光の割合を、それぞれα_４、β_４、γ_４、δ_４であるとする。

　画素ｂ_１、ｂ_２、ｂ_３、ｂ_４に対応するマイクロレンズに到達した光のうち、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過した光の強度をそれぞれｘ’_１、ｘ’_２、ｘ’_３、ｘ’_４とする。このとき、画素ｂ_１にて計測される光の量をｘ_１とすると、
　　　　ｘ_１＝α_１ｘ’_１＋β_２ｘ’_２、＋γ_３ｘ’_３、＋δ_４ｘ’_４
となる。画素ｂ_２、ｂ_３、ｂ_４で計測される光の量をそれぞれｘ_２、ｘ_３、ｘ_４とすると、それぞれも上記と同様となるので、行列を用いて下記となる。

　ここで、

とするとき、行列Ｇは、撮像素子Ｎの前面に配置した光線分離用のアレイ状光学素子Ｋであるマイクロレンズアレイのクロストーク量を表す行列となる。また、行列Ｇは、アレイ状光学素子Ｋの１つの光学要素内で生じるクロストーク量に基づいている。このクロストークを表す行列Ｇの逆行列Ｇ^－１を用いることにより、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４を透過して、アレイ状光学素子Ｋにおける着目する一つのマイクロレンズに到達した光の強度、ｘ’_１、ｘ’_２、ｘ’_３、ｘ’_４を下記のように求めることができる。

　記憶素子Ｐには上記逆行列Ｇ^－１を形成する、１６個（４×４）の係数群を保存しておき、演算装置Ｃでは、撮像素子の各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から得られる画素信号ごとに上述の演算を行う。つまり、撮像素子の群間においては、クロストークを考慮しない。この点で、本実施形態の撮像装置は、隣接する画素からの電荷の染み出しのための補正を行う従来技術とは大きく異なっている。

　これによって、クロストークの影響が抑制された、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４を得ることができる。本実施形態では、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４のそれぞれにおいて、互いに偏光軸の方向が異なる領域分割偏光素子Ｓｐが配置されている。このため、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４は、同じ被写体を同時刻において、ほぼ同じ角度から撮影された画像Ｇ_１、Ｇ_２、Ｇ_３、Ｇ_４をそれぞれ構成するが、被写体から入射する光が偏光光であり、偏光軸の方向が異なっている。本実施形態によれば、画像Ｇ_１、Ｇ_２、Ｇ_３、Ｇ_４において、画像Ｇ_１、Ｇ_２、Ｇ_３、Ｇ_４間のクロストークが抑制されている。つまり、画像Ｇ_１に画像Ｇ_２、Ｇ_３、Ｇ_４の成分はほとんど混じっていない。他の画像Ｇ_２、Ｇ_３、Ｇ_４についても同様である。このため、それぞれの画像Ｇ_１、Ｇ_２、Ｇ_３、Ｇ_４における偏光度は高い。

　本実施形態の撮像装置において、アレイ状光学素子Ｋに入射する光の入射角度が変わらなければ、クロストーク量は変わらない。このため、撮像装置Ａにおいて、レンズ光学系Ｌの光学特性が一定であり、焦点位置、およびレンズ瞳の大きさなどが変わらなければ、上述の逆行列Ｇ^－１の算出は、一度行えばよい。例えば、撮像装置Ａを製品として出荷する前またはユーザによる撮像装置Ａの使用開始時に行列Ｇ^－１を算出すれば、撮影のたびに同じ逆行列Ｇ^－１を用いてクロストークを抑制することができる。

　一方、レンズ光学系Ｌの光学特性、焦点位置、およびレンズ瞳の大きさのうち、少なくともいずれか１つが変化する場合には、そのたびに、行列Ｇおよび逆行列Ｇ^－１を求めれば、より確実にクロストークを抑制することができる。頻繁に行列Ｇおよび逆行列Ｇ^－１を求める場合には、実施の形態２で説明する構成を用いてもよい。

　なお、本実施の形態においては、クロストークの影響を抑制する信号処理を、まず画素信号に施し、次に、信号処理を施した画素信号から画像信号を生成するという順序で実施している。しかし、この順序は逆でもよく、先に、画素信号から画像信号を生成し、次にクロストークの影響を抑制する信号処理を行ってもよい。

　また、演算装置Ｃにおいて、クロストークの影響を抑制する信号処理および画素信号から画像信号を生成する信号処理の両方を行う必要はなく、いずれか一方または両方の処理をパーソナルコンピュータなどの外部の演算装置によって行ってもよい。

　以下、クロストークを抑制する演算の例を具体的な数値を示しながら行う。

　（数値実施例１）
　設計上の正規画素に入射する光の割合が、およそ８０±２％程度、設計上の正規の画素の横の画素へのクロストークの比率が６±２％程度、設計上の正規の画素の上下の画素へのクロストークの比率が６±２％程度、設計上の正規の画素の対角側の画素へのクロストークの比率が４±２％程度である場合、このクロストーク量を示す行列Ｇの一例は以下の通りである。

　行列Ｇの逆行列Ｇ^－１は、以下の通りである。

　記憶素子Ｐに、係数であるこの逆行列Ｇ^－１をあらかじめ記憶させておき、記憶素子Ｐから逆号列Ｇ^－１を読み出して行列演算を行うことでクロストークを補正できる。

　（数値実施例２）
　設計上の正規画素に入射する光の割合が、およそ６３±３％程度、設計上の正規の画素の横の画素へのクロストークの比率が１５±２％程度、設計上の正規の画素の上下の画素へのクロストークの比率が１５±２％程度、設計上の正規の画素の対角側の画素へのクロストークの比率が７±２％程度である場合、このクロストーク量を示す行列Ｇの一例は以下のとおりである。

　行列Ｇの逆行列Ｇ^－１は、以下の通りである。

　記憶素子に、係数であるこの逆行列Ｇ^－１をあらかじめ記憶させておき、記憶素子Ｐから逆号列Ｇ^－１を読み出して行列演算を行うことでクロストークを補正できる。

　上記数値実施例では、撮像素子の回路配線の配置等の影響により光電変換領域をマイクロレンズの中心位置に対して対称に配置できるとは限らないため、場所ごとにクロストーク量が異なるとして、１６個の係数を用いた。しかし、開口位置の違いによるクロストーク光の比率の差が十分小さく、撮像素子の各群において、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４におけるクロストークは等価であると仮定できる場合、下記式が成り立つ。この場合には、クロストーク量を示す行列を簡素化することが可能である。

　α_１≒α_２≒α_３≒α_４
　β_１≒β_２≒β_３≒β_４
　γ_１≒γ_２≒γ_３≒γ_４
　δ_１≒δ_２≒δ_３≒δ_４
　この場合、α_１、α_２、α_３、α_４の代表値、β_１、β_２、β_３、β_４の代表値、γ_１、γ_２、γ_３、γ_４の代表値、およびδ_１、δ_２、δ_３、δ_４の代表値をそれぞれ、α、β、γ、δとすると、上述のクロストーク量を示す行列Ｇは４つの値で示されるＧｍで表現できる。代表値としては、例えば平均値が挙げられる。

　行列Ｇｍの逆行列Ｇｍ^－１は、以下の通りである。

　この場合、撮像装置の記憶素子Ｐに必要な記憶領域の数を４つに減らすことができるので、記憶素子の簡素化が図れる。

　ここで、α、β、γ、δは、α＞β＞γ＞δ≧０　または、α＞γ＞β＞δ≧０のいずれかであって、α＞β＞γ＞δ　なら、ε＞λ＞θ＞η　であり、α＞γ＞β＞δ　なら　ε＞λ＞η＞θ　となる。

　また、ε＞１　はαが上記関係を満足するための条件であり、言い換えれば、所定の開口を透過した光線の大部分が設計上の所望の画素に入射するために必要となる条件である。

　このような近似は、おおむねα_１、α_２、α_３、α_４間の違い、β_１、β_２、β_３、β_４間の違い、γ_１、γ_２、γ_３、γ_４間の違い、およびδ_１、δ_２、δ_３、δ_４間の違いがそれぞれ２％未満程度である場合に用いてもよく、１％未満である場合に用いてもよい。

　なお、β≒γ≒δでαが６０％を下回る場合、λ≦－０．３となり、設計画素に対する対角側の画素へのクロストーク光量が多くなる。この場合、クロストーク補正を行うことにより、ノイズが増えてしまう。したがって、λが－０．３＜λの関係を満たすと、設計画素に対する対角側の画素へのクロストーク光量が少なくなるので、クロストーク補正でのノイズを抑制することができる。

　以下、具体的な数値実施例を挙げる。

　（数値実施例３）
　α＝７３％、β＝１２％、γ＝１０％、δ＝５％の場合のクロストーク量を示す行列Ｇ_ｍとその逆行列Ｇｍ^－１とを示す。

　このように、β≒γ≒２δであり、α＞７０％である場合、λは－０．１６＜λを満たす。これにより、設計画素へ十分な光量の光線を入射させることができ、クロストーク補正を行ってもノイズの増加が抑制される。

　（数値実施例４）
　α＝６５％、β＝１４％、γ＝１５％、δ＝６％の場合のクロストーク量を示す行列Ｇ_ｍとその逆行列Ｇｍ^－１とを示す。

　（数値実施例５）
　α＝８２％、β＝７％、γ＝８％、δ＝３％の場合のクロストーク量を示す行列Ｇ_ｍとその逆行列Ｇ_ｍ ^－１とを示す。

　このように、β≒γ≒２δであり、α＞８０％である場合、λは－０．０５９＜λの関係を満たす。これは、クロストーク光量が少ない場合、補正行列の対角成分以外の係数値の絶対値が全体的に小さくなり、クロストーク補正時のノイズの増加が十分に少なくなることを意味している。

　いずれの数値実施例においても、α＞４β、α＞４γが成立している。このような場合には、逆行列を構成する係数の中で最も絶対値が大きくなるεの値が２未満となるので、クロストーク補正演算を行った際の画像のノイズの増加が十分に小さい。なお、εの値が１．３を下回ると、クロストーク補正演算を行った際の画像のノイズの増加がさらに小さくなる。

　さらに、左右方向及び上下方向へのクロストーク量であるβの値とγの値とが近くなることもある。βとγとの差が２％未満である場合には、行列Ｇの１６個の要素を３値で示すことができる。具体的には、行列Ｇを、以下の行列Ｇｓで示すことができる。βとγとの差が１％未満であってもよい。

　行列Ｇｓの逆行列Ｇｓ^－１は以下の通りである。

　この場合、撮像装置の記憶素子Ｐに必要な記憶領域の数を３つに減らすことができるため、記憶素子の簡素化を図ることができる。

　ここで、α＋２β＋γ＝１．０で、α＞β＞γ≧０のとき、
　　ε＞０＞λ＞η
となる。

　上記行列Ｇｓの行列式が０になり逆行列Ｇｓ^－１が存在しないのは、α＝δの場合と、α＋γ＝５０％の場合に限られる。即ち、
　　　α＞β＞δ
　　　β＜２５％
を満足するようなマイクロレンズから構成されるマイクロレンズアレイを用いればクロストークを補正することが可能である。

　なお、αが９７％を上回る場合には、クロストークの影響は十分に小さいので、クロストーク補正演算を行わなくても良い。また、αが４５％以上となる場合には、補正マトリックスを構成する係数が小さくなるため、ノイズの増加が少なくなる。

　αは６５％以上であれば、クロストーク補正処理によるノイズの増加は、さらに少なくなる。

　一方、撮像素子のピッチが狭くなる場合、幾何光学どおりの集光にはならず、クロストーク量は増大する。例えば、マイクロレンズアレイのピッチが４μｍ以上であると、設計上の正規画素への入射光は８５％以上となる。

　以下、具体的な数値実施例を挙げる。

　（数値実施例６）
　α＝６０％、β＝１６％、δ＝８％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ^－１とは以下の通りである。

　（数値実施例７）
　α＝７５％、β＝１０％、δ＝５％の場合のクロストーク行列Ｇｓとその逆行列Ｇｓ^－１とを示す。

　（数値実施例８）
　α＝８６％、β＝６％、δ＝２％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ^－１とを示す。

　（数値実施例９）
　α＝４５％、β＝２１％、δ＝１３％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ^－１とを示す。

　（数値実施例１０）
　α＝９６％、β＝１．５％、δ＝１％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ^－１とを示す。

　（実施の形態２）
　本開示の撮像装置の実施の形態２を説明する。

　本実施形態の撮像装置は、実施の形態１の撮像装置に加えて、光学系のｎ個の光学領域のうち、１つの光学領域を透過させ、その他の光学領域を遮光する遮光部材をさらに備える。

　図６はｎが４である場合の遮光部材の一例を示している。図６では、例えば、光学領域Ｄ_１において光を透過させ、光学領域Ｄ_２、Ｄ_３、Ｄ_４において遮光する遮光部材を示している。遮光部材は例えば、光軸Ｖ０を中心に回転可能なように構成されており、遮光部材を光軸Ｖ０を中心に回転させることによって、光学領域Ｄ_１に代えて、他の３つの光学領域Ｄ_２、Ｄ_３、Ｄ_４のいずかを選択的に透過させることが可能である。または、遮光部材は、液晶シャッタを備え、光学領域Ｄ_１、Ｄ_２、Ｄ_３、Ｄ_４の任意の１つにおいて、光を透過するように構成されていてもよい。

　この遮光部材は、例えば、図１に示す撮像装置の絞りＳ近傍であって、絞りＳよりも被写体側に配置される。この状態で遮光部材を用いて被写体を撮影した場合、光学領域でのクロストークがなく、ノイズの影響を無視できるとすれば、撮像素子の各群において、画素ｂ_１にのみ光が入射し、画素ｂ_２、ｂ_３、ｂ_４には光線が入射しない。このため、各画素信号から得られる画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４のうち、Ｑ_１のみに画像が現れ、Ｑ_２～Ｑ_４には画像が全く現れず全黒の画像が出力される。画像信号Ｑ_２、Ｑ_３、Ｑ_４でノイズ以外の影響による画像信号が取得されたなら、それはマイクロレンズのクロストークによる影響によるものである。したがって、図に示す開口状態で適当な被写体を撮影して取得された画像Ｑ_１、Ｑ_２、Ｑ_３、Ｑ４、または、各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から得られる画素信号を解析することにより、クロストーク量を得ることができる。

　具体的には、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４それぞれにおける全画素の出力信号値の総和をそれぞれＳ_ｍ１１、Ｓ_ｍ１２、Ｓ_ｍ１３、Ｓ_ｍ１４とするとき、
　α_１　＝　Ｓ_ｍ１１／（Ｓ_ｍ１１＋Ｓ_ｍ１２＋Ｓ_ｍ１３＋Ｓ_ｍ１４）
　β_１　＝　Ｓ_ｍ１２／（Ｓ_ｍ１１＋Ｓ_ｍ１２＋Ｓ_ｍ１３＋Ｓ_ｍ１４）
　γ_１　＝　Ｓ_ｍ１３／（Ｓ_ｍ１１＋Ｓ_ｍ１２＋Ｓ_ｍ１３＋Ｓ_ｍ１４）
　δ_１　＝　Ｓ_ｍ１４／（Ｓ_ｍ１１＋Ｓ_ｍ１２＋Ｓ_ｍ１３＋Ｓ_ｍ１４）
となる。

　同様に光学領域Ｄ_２のみを開口し、他を遮蔽して得られた画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４の出力信号値の総和をそれぞれＳ_ｍ２１、Ｓ_ｍ２２、Ｓ_ｍ２３、Ｓ_ｍ２４として、
　β_２　＝　Ｓ_ｍ２１／（Ｓ_ｍ２１＋Ｓ_ｍ２２＋Ｓ_ｍ２３＋Ｓ_ｍ２４）
　α_２　＝　Ｓ_ｍ２２／（Ｓ_ｍ２１＋Ｓ_ｍ２２＋Ｓ_ｍ２３＋Ｓ_ｍ２４）
　δ_２　＝　Ｓ_ｍ２３／（Ｓ_ｍ２１＋Ｓ_ｍ２２＋Ｓ_ｍ２３＋Ｓ_ｍ２４）
　γ_２　＝　Ｓ_ｍ２４／（Ｓ_ｍ２１＋Ｓ_ｍ２２＋Ｓ_ｍ２３＋Ｓ_ｍ２４）となる。

　同様に光学領域Ｄ_３のみを開口し、他を遮蔽して得られた画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４の出力信号値の総和をそれぞれＳ_ｍ３１、Ｓ_ｍ３２、Ｓ_ｍ３３、Ｓ_ｍ３４とすると、
　β_３　＝　Ｓ_ｍ３１／（Ｓ_ｍ３１＋Ｓ_ｍ３２＋Ｓ_ｍ３３＋Ｓ_ｍ３４）
　α_３　＝　Ｓ_ｍ３２／（Ｓ_ｍ３１＋Ｓ_ｍ３２＋Ｓ_ｍ３３＋Ｓ_ｍ３４）
　δ_３　＝　Ｓ_ｍ３３／（Ｓ_ｍ３１＋Ｓ_ｍ３２＋Ｓ_ｍ３３＋Ｓ_ｍ３４）
　γ_３　＝　Ｓ_ｍ３４／（Ｓ_ｍ３１＋Ｓ_ｍ３２＋Ｓ_ｍ３３＋Ｓ_ｍ３４）
となる。

　同様に光学領域Ｄ_４のみを開口し、他を遮蔽して得られた画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４の出力信号値の総和をそれぞれＳ_ｍ４１、Ｓ_ｍ４２、Ｓ_ｍ４３、Ｓ_ｍ４４とすると、
　β_４　＝　Ｓ_ｍ４１／（Ｓ_ｍ４１＋Ｓ_ｍ４２＋Ｓ_ｍ４３＋Ｓ_ｍ４４）
　α_４　＝　Ｓ_ｍ４２／（Ｓ_ｍ４１＋Ｓ_ｍ４２＋Ｓ_ｍ４３＋Ｓ_ｍ４４）
　δ_４　＝　Ｓ_ｍ４３／（Ｓ_ｍ４１＋Ｓ_ｍ４２＋Ｓ_ｍ４３＋Ｓ_ｍ４４）
　γ_４　＝　Ｓ_ｍ４４／（Ｓ_ｍ４１＋Ｓ_ｍ４２＋Ｓ_ｍ４３＋Ｓ_ｍ４４）
となる。

　演算装置Ｃは、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４を算出し、さらに画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４を用いて上述した演算を行０い、これらの係数群を算出する。それらによって、実施の形態１にて説明したクロストークの量を示す行列Ｇを形成し、その逆行列Ｇ^－１を求めて記憶素子Ｐに保存しておく。ここで、α_１、α_２、α_３、α_４間の違い、β_１、β_２、β_３、β_４間の違い、γ_１、γ_２、γ_３、γ_４間の違い、およびδ_１、δ_２、δ_３、δ_４間の違いが、それぞれ３％未満程度である場合には、行列Ｇは、実施例１においてそれぞれの平均値であるα、β、γ、δを用いて説明した行列Ｇｍの形態となる。α_１、α_２、α_３、α_４間の違い、β_１、β_２、β_３、β_４間の違い、γ_１、γ_２、γ_３、γ_４間の違い、およびδ_１、δ_２、δ_３、δ_４間の違いが、それぞれ１％未満程度であってもよい。

　このような場合、α＋β＋γ＋δ＝１なので、α、β、γ、δのうちの３値を演算装置Ｃが算出すれば、その値を元に、行列Ｇｍを生成し、逆行列Ｇｍ^－１を得ることができる。または、Ｓｍ_１１、Ｓ_ｍ１２、Ｓ_ｍ１３、Ｓｍ_１４の輝度合計値、Ｓｍ_２１、Ｓ_ｍ２２、Ｓ_ｍ２３、Ｓｍ_２４の輝度合計値、Ｓｍ_３１、Ｓ_ｍ３２、Ｓ_ｍ３３、Ｓｍ_３４の輝度合計値、およびＳｍ_４１、Ｓ_ｍ４２、Ｓ_ｍ４３、Ｓｍ_４４の輝度合計値を演算装置Ｃに入力すると、それらの入力を元にして、演算装置Ｃがα、β、γ、δを算出することもできる。

　さらに、行列Ｇｍにおいてβとγとの値の違いが１％未満の場合には、β≒γの近似を行い、クロストーク量を示す行列として実施例１にて説明した行列Ｇｓを用いればよい。この場合には、α＋２β＋δ＝１であることから、α、β、δのうちの２値を演算装置Ｃが算出すれば、その値を元に、行列Ｇｓを生成し、逆行列Ｇｓ^－１を得ることができる。または、正規画素への入射輝度合計値、隣接画素への輝度合計値、対角画素への輝度合計値の３値を入力して、それを元にα、β、δを算出することにより、逆行列Ｇｓ^－１を得ることができる。

　また、クロストーク行列を求めるにあたり、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４の全画素の出力信号値の総和を用いたが、これに限定されない。これに代えて、全画素の出力信号値の平均値を用いて、クロストーク行列を求めてもよい。また、全画素ではなく、画像Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４のそれぞれ同じ位置に対応する画素の出力信号値を用いて、その総和または平均値などを求めることにより、クロストーク行列を計算してもよい。

　上述した行列Ｇおよび逆行列Ｇ^－１の算出は、レンズ光学系Ｌの光学特性、焦点位置、レンズ瞳の大きさなどのうち、少なくともいずれか１つが変化するたびに、行うことによって、より確実にクロストークを抑制することができる。

　（実施例）
　図７は、遮光部材を用いて光学領域Ｄ_３においてのみ光が透過するようにした状態で被写体を撮影し、各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から画素信号を抽出せずに、そのまま画像信号を生成した場合における一例を拡大して示している。各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から画素信号を選択して抽出しないため、図７に示す画像は、図４に示す画素の配置を反映している。このため、クロストークがないとすれば、画素ｂ_３においてのみ被写体が検出され、画素ｂ_３に隣接する画素ｂ_１、ｂ_２、ｂ_４では、被写体が検出されないはずである。つまり、各群の画素ｂ_３において、被写体が形成され、画素ｂ_１、ｂ_２、ｂ_４では黒く示される画像が得られるはずである。しかし、図７から分かるように、画素ｂ_１、ｂ_２、ｂ_４に対応する位置において、画像は黒くなっていない。これはクロストークが発生しているからである。

　図８（ａ）は、各群の画素ｂ_１、ｂ_２、ｂ_３、ｂ_４から得られた画素信号を画素ごとに抽出し、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４を生成した場合において、画像信号Ｑ_１、Ｑ_２、Ｑ_３、Ｑ_４による画像を各群における画素ｂ_１、ｂ_２、ｂ_３、ｂ_４の位置に対応させて表示した例を示している。また、図８（ｂ）は、各群における画素ｂ_１、ｂ_２、ｂ_３、ｂ_４の輝度値の平均を求め、求めた平均値を、画素ｂ_１、ｂ_２、ｂ_３、ｂ_４の位置に対応して示す。図８（ａ）および図８（ｂ）において、各画素中の数値は信号の強度を示し、括弧内の数値はその割合を示す。

　図８（ａ）において、クロストークがないとすれば、左上以外の光学領域には画像は現れず、黒く示されるはずである。しかし、図８（ａ）から分かるように、クロストークによって左上以外の光学領域にも、左上の画像よりは暗いが、画像が示されている。図８（ｂ）に示すように、画素ｂ_３に入射する、光学領域Ｄ_１を透過した光の割合は６２％である。図８（ｂ）に示す結果から、遮光部材を設けない場合、光学領域Ｄ_１、Ｄ_２、Ｄ_４を透過した光は概ね、８％、１５％、１５％の割合で画素ｂ_３に入射すると考えられる。

　図９（ａ）および図９（ｂ）は、上述した演算によって行列Ｇを形成し、その逆行列Ｇ^－１を求めて、画素信号を補正した結果を、図８（ａ）、図８（ｂ）に対応させて示している。図９（ａ）および図９（ｂ）から明らかなように、画素信号を補正することによって、図９（ａ）および図９（ｂ）の左上に示す画像信号Ｑ_３による画像の輝度が高まるとともに、他の画像信号によって得られる画像は、ほぼ黒くなることがわかる。このように本実施形態によれば、クロストークの影響が効果的に抑制される。

　（実施の形態３）
　図１０は、本開示の実施の形態３に係る撮像装置のレンズ光学系における領域分割偏光素子１００を示す模式図である。実施の形態３に係る撮像装置における領域分割偏光素子１００は、水平方向に３つずつ、垂直方向に３つずつ配列された、９つの光学領域１、２、３、４、５、６、７、８、９を備えている。

　図１１は、実施の形態３に係る撮像装置の撮像素子への光線の入射状況を説明するための図である。図１１では、撮像素子の撮像面において、８１個の画素が、水平方向に９つずつ、垂直方向に９つずつ配列されている。実施の形態３に係る撮像装置では、アレイ状光学素子における１つのマイクロレンズが、３行３列の画素に対応するように配置されている。図１１において、マイクロレンズが破線で示されている。領域分割偏光素子１００の光学領域１から光学領域９を透過した光線は、マイクロレンズの結像作用により、それぞれ１から９の番号を付した画素に主に入射する。

　撮像装置の撮像面に配列された複数の画素でのクロストーク量に対称性が成り立つ場合、クロストークとしては、以下の３つの場合が挙げられる。すなわち、領域分割偏光素子１００の隅にある光学領域、すなわち光学領域１、３、７、９を透過した光が、設計上の正規の画素以外の画素に入射する場合、領域分割偏光素子１００の側部にある光学領域、すなわち光学領域２、４、６、８を透過した光が、設計上の正規の画素以外の画素に入射する場合、および領域分割偏光素子１００の中心にある光学領域５を透過した光が、設計上の正規の画素以外の画素に入射する場合である。

　図１２から図１４は、実施の形態３に係る撮像装置におけるクロストークの状況の一例を説明する図である。

　図１２は、領域分割偏光素子１００の隅にある光学領域のうち、光学領域１を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１２において、符号α、β、γ、δ、ε、ζは、各画素に入射する光の割合を示す。割合αで示される光が正規の入射成分であり、割合β、γ、δ、ε、ζで示される光がクロストーク成分である。図１２では、光学領域２と光学領域４、光学領域３と光学領域７、光学領域６と光学領域８とは、それぞれ光学領域１からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
　α＋２×β＋２×γ＋δ＋２×ε＋ζ＝１００％
の関係が成り立つ。

　図１３は、領域分割偏光素子１００の側部にある光学領域のうち、光学領域２を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１３において、符号η、θ、ι、κ、λ、μは、各画素に入射する光の割合を示す。割合ηで示される光が正規の入射成分であり、割合θ、ι、κ、λ、μで示される光がクロストーク成分である。図１３では、光学領域１と光学領域３、光学領域４と光学領域６、光学領域７と光学領域９とは、それぞれ光学領域２からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
　η＋２×θ＋２×ι＋κ＋２×λ＋μ＝１００％
の関係が成り立つ。

　図１４は、領域分割偏光素子１００の中心にある光学領域５を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１４において、符号ν、ξ、οは、各画素に入射する光の割合を示す。割合νで示される光が正規の入射成分であり、割合ξ、οで示される光がクロストーク成分である。図１４では、光学領域２と光学領域４と光学領域６と光学領域８、光学領域１と光学領域３と光学領域７と光学領域９とは、それぞれ光学領域５からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
　ν＋４×ξ＋４×ο＝１００％
の関係が成り立つ。

　光学領域１から光学領域９に対応する画素の計測信号値をそれぞれ計測信号値ｘ_１から計測信号値ｘ_９とし、光学領域１から光学領域９を透過した光がマイクロレンズに到達したときの光強度をそれぞれ光強度ｘ’_１から光強度ｘ’_９とし、クロストーク行列をＧとするとき、以下の関係が成り立つ。

　ここで、行列Ｇおよびその逆行列Ｇ^－１は、下記の式で表される。

　領域分割偏光素子１００の隅にある光学領域１を透過した光が設計上の正規の画素に入射する割合α、領域分割偏光素子１００の側部にある光学領域２を透過した光が設計上の正規の画素に入射する割合η、および領域分割偏光素子１００の中心にある光学領域５を透過した光が設計上の正規の画素に入射する割合νは、いずれもおおむね０．４８以上である。この場合、逆行列Ｇ^－１の対角成分である成分ａ、成分ｇ、および成分ｍはいずれも、１よりも大きく、かつ２．３未満の値となる。成分ａ、成分ｇ、および成分ｍの値がいずれも２．３未満であるとき、正規の画素への入射光の比率が全入射光の４８％以上となるので、クロストーク補正でのノイズの増大を抑制することができる。

　また、割合α、割合η、および割合νがいずれも０．９５を超える値である場合には、クロストーク補正を行わなくても、クロストークに起因する画質の損失は十分に小さい。この場合、成分ａ、成分ｇ、および成分ｍの値は、いずれも１．０５３未満となる。

　（数値実施例１１）
　α＝０．８８、β＝０．０２、γ＝０．０１８、δ＝０．０１２、ε＝０．０１１、ζ＝０．０１、η＝０．８８６、θ＝０．０１９、ι＝０．０１２、κ＝０．０２１、λ＝０．０１、μ＝０．０１１、ν＝０．８８、ξ＝０．０２、ο＝０．０１である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ^－１を、以下に示す。

　（数値実施例１２）
　α＝０．７６、β＝０．０４、γ＝０．０３６、δ＝０．０２４、ε＝０．０２２、ζ＝０．０２、η＝０．６５８、θ＝０．０５７、ι＝０．０３６、κ＝０．０６３、λ＝０．０３、μ＝０．０３３、ν＝０．５２、ξ＝０．０８、ο＝０．０４である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ^－１を、以下に示す。

　（数値実施例１３）
　α＝０．４９６、β＝０．０８４、γ＝０．０７５６、δ＝０．０５０４、ε＝０．０４６２、ζ＝０．０４２、η＝０．４８７、θ＝０．０８５５、ι＝０．０５４、κ＝０．０９４５、λ＝０．０４５、μ＝０．０４９５、ν＝０．４８４、ξ＝０．０８６、ο＝０．０４３である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ^－１を、以下に示す。

　（数値実施例１４）
　α＝０．９５、β＝０．００７５、γ＝０．００６５、δ＝０．００６、ε＝０．００５５、ζ＝０．００５、η＝０．９５、θ＝０．００７５、ι＝０．００５５、κ＝０．００８５、λ＝０．００５、μ＝０．００５５、ν＝０．９５、ξ＝０．００７５、ο＝０．００５である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ^－１を、以下に示す。

　本実施の形態において例示した行列は、光学領域およびそれに対応する画素に対して、図１０および図１１に示すように番号を振って、その番号順に並べた場合の行列を示すものである。したがって、光学領域およびそれに対応する画素に対する番号の振り方を変えると、それに対応して行列の要素の並び方も適宜変化する。

　また、本実施の形態においては、９個の画素から得られる９個の画素信号に対して、９行９列の行列を用いた演算を行うことにより、変換後の画素信号を算出する例を示したが、これに限られない。本実施の形態において、クロストーク光の比率を表す割合β、γ、δ、ε、ζ、θ、ι、κ、λ、μ、ξ、οのうち、０と近似することができる割合がある場合には、行列Ｇは、その要素に０を含む行列となる。この場合、９行９列の行列と９行の列ベクトルとの行列積として変換後の画素信号を算出することに代えて、０を含む積を除いた積和計算として変換後の画素信号を算出してもよい。このようにすると、より少ない計算量で変換後の画素信号を算出することができる。

　本開示の実施の形態に係る撮像装置は、上述した実施の形態に限定されるものではなく、上記実施の形態から種々の変更が可能である。

　上述の実施の形態において、絞りＳの近傍に、光学領域毎に偏光特性が異なる領域分割偏光素子を配置するものとして説明したが、これに代えて、絞りＳの近傍に、光学領域毎に分光透過率が異なる光学フィルタを配置してもよい。この場合には、複数の異なる波長帯域の画像を同時に撮影できる。例えば、光学フィルタとして、狭帯域の波長フィルタを複数用いることにより、それぞれの波長域を観察することができる。また、例えば、光学フィルタとして、赤外域または紫外域のみを透過するフィルタを用いることにより、該波長域の画像を取得することができる。また、偏光素子および光学フィルタの両方を光学領域に配置してもよいし、光学フィルタは撮像素子の画素上に配置し、偏光素子のみをレンズ光学系の光学領域に配置してもよい。

　絞りＳの近傍に、光学領域毎に透過率が異なる光学フィルタを配置してもよく、または光学領域毎に、光学領域の開口の面積を変えてもよい。このような構成の場合には、露光条件の異なる複数の画像を取得できる。これにより、被写体に明暗が大きい場合に、撮像素子のダイナミックレンジを拡大することができる。また、このような構成の場合には、露光条件の異なる複数の画像を取得した後に、その複数の画像を合成してダイナミックレンジの広い１枚の画像を合成する、ハイダイナミックレンジ合成（ｈｉｇｈ　ｄｙｎａｍｉｃ　ｒａｎｇｅ　ｉｍａｇｉｎｇ）を行うことも可能である。

　本実施の形態においては、撮像レンズの瞳部に設けた光学領域を４つまたは９つとし、一つのマイクロレンズに対応する光電変換領域を、縦に２つ横に２つのアレイ状に配置された４つの領域または縦に３つ横に３つのアレイ状に配置された９つの領域としたが、光学領域および光電変換領域の数ｎは４または９に限られない。例えば、瞳部に設ける光学領域を、縦および横にそれぞれ４つに分割した１６個の光学領域とし、それにあわせて一つのマイクロレンズに対応する画素の群を縦に４個横に４個のアレイ状の１６個の画素によって構成してもよい。この場合、クロストーク量を示す行列Ｇは１６行１６列の行列となり、同様にその逆行列の演算によりクロストークを補正できる。この場合のクロストーク行列の係数は、１６個の光学領域のうちの１箇所のみを開口して他を遮蔽した状態で画像を撮影し、画像再配列により得られた個々の画像の平均輝度値によっても求まる。これを１６個の開口すべてに対して行うことにより、１６行１６列の行列の２５６個の係数を求めることができる。また、素子の配置により対称性が確保される場合には、上記２５６個の係数には同一の値となる箇所が複数あるため、上記の実施形態と同様に、係数の測定などを簡素化できる。

　また、単一のマイクロレンズに対応する画素数を、縦４個、横４個または縦５個、横５個などのように、さらに分割数を増やした場合も同様の処理を行うことが可能である。また、単一のマイクロレンズに対応する画素数は、縦の画素数と横の画素数とが同じでなくてもよい。

　例えば、図１５（ａ）に示すように、ｎを６に設定し、光学領域を横（水平方向）に２つ、縦（垂直方向）に３つ配列してもよい。この場合、レンズ光学系Ｌの光軸Ｖ０に垂直な光路の断面が円形であれば、図１５（ｂ）に示すように、撮像素子における各群を構成する画素ｂ_１、ｂ_２、ｂ_３、ｂ_４、ｂ_５、ｂ_６も、横（水平方向）に２つ、縦（垂直方向）に３つ配列する。また、各群における横方向の長さｘ１と縦方向の長さｙ１とはほぼ等しくなるように、各画素の形状を調整してもよい。この場合にはクロストーク行列は６行６列の行列となり、本願で説明したのと同様の手法によりに、クロストークの補正を行うこと、およびクロストーク行列の係数を得ることができる。

　また、単一のマイクロレンズに対応する画素数が２の場合には、マイクロレンズの代わりにレンチキュラレンズを用いても本願と同様の装置を実現できる。

　また、上述のクロストーク量を示す行列または逆行列の演算を、撮像装置以外の外部の演算装置、例えば、パーソナルコンピュータによって算出する場合には、撮像装置は、外部の演算装置によって求めた逆行列を記憶素子に記憶させるための入力部を備えていてもよい。

　本願に開示された撮像装置は、被写体等を撮影し、画像を取得する種々の分野に利用可能であり、例えば、画像計測、マシンビジョン、リモートセンシング、監視カメラ、車載用カメラ等に好適に用いられる。

　Ａ　撮像装置
　Ｌ　レンズ光学系
　Ｓ　絞り
　Ｌ１　対物レンズ
　Ｋ　アレイ状光学素子
　Ｍ，Ｍｓ　マイクロレンズ
　Ｎ　撮像素子
　Ｃ　演算装置
　Ｖ０　光軸
　Ｄ_１，Ｄ_２，Ｄ_３，Ｄ_４，１，２，３，４，５，６，７，８，９　光学領域
　Ｎｉ　撮像面
　Ｐ　記憶素子

Claims (20)

1. 　光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、
   　ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、
   　前記光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、前記ｎ個の光学領域を透過した光を、前記光学領域に対応する前記群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、
   　各要素がＲ_ｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、
   　前記記憶素子から前記係数群を受け取り、前記撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎから、下記式によって、ｎ個の変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎを算出する演算装置と、
   を備える撮像装置。
   

   
2. 　前記演算装置は、各群の変換後の画素信号ｘ’_１、ｘ’_２、・・・、ｘ’_ｎからｎ個の画像信号を生成する、請求項１に記載の撮像装置。
3. 　前記アレイ状光学素子はマイクロレンズアレイであり、前記撮像素子上に一体化して形成されている、請求項１に記載の撮像装置。
4. 　前記アレイ状光学素子と、前記撮像素子の光電変換領域との間に、カラーフィルタを有していない、請求項１に記載の撮像装置。
5. 　前記ｎ個の光学領域のうち少なくとも１つは、他の光学領域と、
   　前記透過した光の偏光特性、分光波長特性および透過率、ならびに、前記光学領域の前記光軸に垂直な平面上における面積のうちの少なくともいずれかが異なる、請求項１に記載の撮像装置。
6. 　前記ｎは、
   　　ｎ＝ｍ×ｍ（ｍは２以上の整数）
   の関係を満たし、
   　前記撮像素子の各群において、ｎ個の画素が水平方向および垂直方向にｍ行ｍ列に配置され、
   　前記アレイ状光学素子の各光学要素は、前記ｍ行ｍ列に配置された画素にｎ個の前記光学領域を透過した光をそれぞれ入射させる、請求項１に記載の撮像装置。
7. 　前記ｎは４であり、かつ前記ｍは２であり、
   　前記係数群は、下記の条件を満たす４つの数、ε、η、θ、λにて構成される下記行列である、請求項６に記載の撮像装置。
   　　ε＞１、
   　　θ＜０、
   　　η＜０、
   　　ε＞λ、
   　　λ＞θ、
   　　λ＞η
   

   
8. 　前記ｎは４であり、かつ前記ｍは２であり、
   　前記係数群は、下記の条件を満たす３つの数、ε、η、λにて構成される下記行列である、請求項６に記載の撮像装置。
   　　ε＞λ＞η、
   　　ε＞１、
   　　η＜０
   

   
9. 　前記εは、１＜ε＜２の関係を満たしている、請求項７または８に記載の撮像装置。
10. 　前記λは、－０．３＜λ＜０の関係を満たしている、請求項７または８に記載の撮像装置。
11. 　前記撮像素子の各群において、前記ｎ個の画素に入射する光の光量の差が２％未満である、請求項１に記載の撮像装置。
12. 　前記撮像素子の各群において、前記アレイ状光学素子の対応する光学要素によって、前記ｎ個の光学領域のいずれか１つを透過した光線のうち、設計された正規の画素に入射する比率をα％、隣接する画素の一つに入射する比率をβ％、斜め隣の画素の一つに入射する比率をδ％とするとき、
    　前記α、β及びδは、
    　　α＞β＞δ
    かつ
    　　β＜２５％
    の関係を満足する、請求項１に記載の撮像装置。
13. 　前記α及びβは、
    　　α＞４β
    の関係を満たす、請求項１２に記載の撮像装置。
14. 　前記αは、
    　　８５％＞α＞６５％
    の関係を満たす、請求項１２に記載の撮像装置。
15. 　前記βは前記δの略２倍である、請求項１２に記載の撮像装置。
16. 　前記光学系の前記ｎ個の光学領域のうち、１つの前記光学領域において光を透過させ、その他の前記光学領域において遮光する遮光部材をさらに備え、
    　前記演算装置は、
    　前記遮光部材を用いて被写体を撮影することによって、前記撮像素子の各群から得られるｎ個の画素信号ｘ_１、ｘ_２、・・・、ｘ_ｎ、または、前記ｎ個の画像信号から、前記係数群を算出し、
    　前記記憶素子は前記算出された係数群を記憶する、請求項２に記載の撮像装置。
17. 　前記遮光部材は、前記透過させる１つの前記光学領域が変更可能なように構成されており、
    　前記演算装置は、前記透過させる１つの前記光学領域を異ならせて複数回撮影を行い、前記複数回の撮影から前記係数群を算出する、請求項１６に記載の撮像装置。
18. 　前記係数群の少なくとも一部の係数値を入力する入力部をさらに備える、請求項１に記載の撮像装置。
19. 　前記演算装置は、各光学要素によるクロストーク量を算出し、算出したクロストーク量を示す行列および前記行列の逆行列を算出し、
    　前記記憶素子は、前記逆行列を前記係数群として記憶する、請求項１に記載の撮像装置。
20. 　前記係数群を構成する前記行列の対角成分Ｒ_ｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
    　　１＜Ｒ_ｉｉ＜２．３
    の関係を満たす、請求項６に記載の撮像装置。

Images