JP6843682B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、偏光情報を取得できる撮像素子およびこれを用いた撮像装置に関する。

被写体からの反射光の偏光状態を観察することによって、被写体の特定の特徴を強調して検出することが可能である。例えば、撮像装置において、レンズの前面に偏光フィルタを装着して被写体を撮像することで、該被写体の色やコントラスト等の質感を際立たせたり、水面等での反射光の写り込みを強調または軽減したりすることができる。また、被写体からの互いに異なる偏光方向の偏光成分を取得することで、被写体のエッジや欠陥部を検出することも可能である。

特許文献１には、複数の画素のそれぞれにカラーフィルタと偏光フィルタを設けて、カラー情報と偏光情報の両方を取得できる撮像素子が開示されている。このような撮像素子を用いれば、一度の撮像により複数の偏光方向の偏光成分を取得することができる。

特許第５４２８５０９号公報

しかしながら、特許文献１にて開示された撮像素子では、カラーフィルタが設けられた全カラー画素を複数の偏光方向に振り分ける。このため、偏光フィルタが設けられていない一般的な撮像素子の全画素に対する色ごとの画素の割合（例えば１／３）に比べて、同色かつ同偏光方向の偏光成分を取得する画素の割合が小さくなる。したがって、特許文献１にて開示された撮像素子を用いて撮像する場合には、レンズの前面に偏光フィルタを装着して全画素数が同じ一般的な撮像素子を用いて撮像する場合に比べて、取得する偏光情報の解像度が低くなる。

本発明は、高解像度での偏光情報の取得とカラー情報の取得が可能な撮像素子およびこれを用いた撮像装置を提供する。

本発明の一側面としての撮像素子は、画素が２次元配列された撮像素子であって、複数の波長帯域の光のそれぞれに対して主感度を有する複数のカラー画素群と、複数の波長帯域を含む波長帯域に対して主感度を有する非カラー画素群とを有する。複数のカラー画素群および非カラー画素群がそれぞれ、３つ以上の複数の偏光方位の偏光成分のそれぞれに対して主感度を有する複数の偏光画素群を含む。そして、撮像素子の全画素数に対する非カラー画素群における複数の偏光画素群の画素数の割合が、全画素数に対する複数のカラー画素群のそれぞれにおける複数の偏光画素群の画素数の割合よりも大きいことを特徴とする。

なお、上記撮像素子を用いて撮像を行う撮像装置も、本発明の他の一側面を構成する。

本発明によれば、高解像度での偏光情報の取得とカラー情報の取得が可能な撮像素子および撮像装置を実現することができる。

本発明の実施例である偏光カラー撮像素子の構成例を示す図。 実施例の偏光カラー撮像素子を搭載した撮像装置の構成を示す図。 実施例の偏光カラー撮像素子におけるカラーフィルタの配列例を示す図。 実施例におけるカラーフィルタの透過率特性を示す図。 実施例の偏光カラー撮像素子における偏光フィルタの配列例を示す図。 入射光の偏光状態と入射角度に対する光強度とを示す図。 偏光情報の算出例を示す図。 実施例１の偏光カラー撮像素子における画素配列を示す図。 実施例２の偏光カラー撮像素子における画素配列を示す図。 実施例３の偏光カラー撮像素子における画素配列を示す図。 実施例４の偏光カラー撮像素子における画素配列を示す図。 実施例５の偏光カラー撮像素子における画素配列を示す図。 偏光カラー撮像素子における座標設定を説明する図。 比較例としての偏光カラー撮像素子における画素配列を示す図。

以下、本発明の実施例について図面を参照しながら説明する。図１には、本発明の代表的な実施例である偏光カラー撮像素子１２の構成を示す。また、図２には、偏光カラー撮像素子１２を搭載した撮像装置１の構成を示す。撮像装置１は、撮影光学系１１、偏光カラー撮像素子１２、情報処理部（生成手段）１３、記録部１４および偏光情報算出部１５を備えている。撮影光学系１１は、光学像としての被写体像を偏光カラー撮像素子１２の撮像面上に形成する。

偏光カラー撮像素子１２は、その撮像面に２次元配列された複数の画素を含む画素配列１２１を有する。偏光カラー撮像素子１２としては、ＣＣＤ型素子やＣＭＯＳ型素子等を用いることができる。また、偏光カラー撮像素子１２は、画素配列１２１の受光面側に、２次元配列された複数のカラーフィルタを含むカラーフィルタ配列１２２と、２次元配列された複数の偏光フィルタを含む偏光フィルタ配列１２３とを備えている。これにより、偏光カラー撮像素子１２は、偏光フィルタ機能とカラーフィルタ機能とを含む偏光カラー画素配列を有する。

図１に示す構成では、偏光カラー撮像素子１２における光の入射側から順に偏光フィルタ配列１２３、カラーフィルタ配列１２２および画素配列１２１の順で配置されている。ただし、光の入射する側から順にカラーフィルタ配列１２２、偏光フィルタ配列１２３および画素配列１２１を配置してもよい。

図３には、具体的なカラーフィルタ配列１２２の例を示す。カラーフィルタ配列１２２は、Ｒ（赤）、Ｇ（緑）およびＢ（青）の３原色のカラーフィルタと、Ｗ（白）のカラーフィルタとを含む。これらＲ、Ｇ、ＢおよびＷのカラーフィルタは、画素配列１２１のうちいずれかの画素に対して設けられる。

Ｒ、ＧおよびＢのカラーフィルタ（以下それぞれ、Ｒフィルタ、ＧフィルタおよびＢフィルタという）は、Ｗのカラーフィルタ（以下、Ｗフィルタという）が透過する波長帯域である偏光カラー撮像素子１２の使用波長帯域のうち互いに異なる一部の波長帯域の光を透過する。使用波長帯域は、偏光カラー撮像素子１２への入射光のうち、偏光カラー撮像素子１２において読み出し可能な電気信号に変換される光の波長帯域である。本実施例では、使用波長帯域は可視光全域であるが、赤外光領域、紫外領域およびこれらの組み合わせであってもよい。

図４にＲ、ＧおよびＢフィルタの透過率の例を示す。Ｒ、ＧおよびＢフィルタはそれぞれ、Ｒ、ＧおよびＢの色光に対して他の色光に対してよりも高い透過率を有する。Ｒフィルタは、その透過率が最大透過率の１／２以上となるのがおよそ５６０ｎｍから６５０ｎｍの赤の波長帯域であり、赤光を選択的に透過する。Ｇフィルタは、その透過率が最大透過率の１／２以上となるのがおよそ４９０ｎｍから５８０ｎｍの緑の波長帯域であり、緑光を選択的に透過する。Ｂフィルタは、その透過率が最大透過率の１／２以上となるのがおよそ４３０ｎｍから５１０ｎｍの青の波長帯域であり、青光を選択的に透過する。Ｗフィルタは、赤、緑および青の波長帯域の全てを含む使用波長帯域の光を透過する。これにより、Ｒフィルタ、ＧフィルタおよびＢフィルタが設けられた画素は、Ｗフィルタが設けられた画素が主感度を有する使用波長帯域に含まれる互いに異なる波長帯域（５６０〜６５０ｎｍ、４９０〜５８０ｎｍおよび４３０〜５１０ｎｍ）に主感度を有する。すなわち、互いに異なる分光感度特性を有する。

なお、図４に示した各カラーフィルタの透過率特性は例に過ぎず、これらの異なる透過率特性を有していてもよい。

以下の説明において、画素配列１２１内の全画素のうちＲフィルタが設けられた画素を「Ｒ画素」といい、Ｇフィルタが設けられた画素を「Ｇ画素」という。また、Ｂフィルタが設けられた画素を「Ｂ画素」といい、Ｒ，ＧおよびＢ画素をまとめて「カラー画素」ともいう。また、Ｗフィルタが設けられた画素を非カラー画素としての「Ｗ画素」という。なお、カラーフィルタ配列１２２は、その一部にカラーフィルタが設けられていない領域を有してもよい。このカラーフィルタが設けられていない領域も、「Ｗ画素」として扱う。

図３に示すカラーフィルタ配列１２２を有する偏光カラー撮像素子１２において、カラー画素で取得できる色の種類の数ｎｃは３であり、カラー画素で取得できる色Ｃ（ｉ）（ｉは１以上ｎｃ以下の整数）はＣ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。カラー画素により取得できる色に対して割り振られる番号ｉは例に過ぎず、例えばＣ（１）＝Ｂ、Ｃ（２）＝Ｒ、Ｃ（３）＝Ｇとしてもよい。また、なお、カラー画素で取得できる色Ｃ（ｉ）はＲＧＢに限らず、他の色でもよい。例えば、３原色のＲＧＢに代えて、補色のシアン（Ｃ）マゼンタ（Ｍ）イエロー（Ｙ）でもよいし、赤外（ＩＲ）や紫外（ＵＶ）でもよい。また、カラー画素で取得できる色の種類の数ｎｃは３に限定されず、例えばＲとＢのｎｃ＝２やＣＭＹ＋ＩＲのｎｃ＝４であってもよい。

図５には、具体的な偏光フィルタ配列１２３の例を示す。図５に示したｘ軸とｙ軸は、画素配列１２１に平行で互いに直交する２軸である。ｘ軸とｙ軸はこの条件を満たせば図５に示した方向と異なる方向であってもよい。

偏光フィルタ配列１２３中の各偏光フィルタは、特定の偏光方位の偏光成分に対して他の偏光方位の偏光成分に対して高い透過率を有する。透過率が最大となる偏光成分の偏光方位とｘ軸とのなす角θ（０度≦θ＜１８０度）をその偏光フィルタの偏光方位とする。

図５において、偏光フィルタ配列１２３は、互いに異なる３つの偏光方位θ１,θ２およびθ３（図中にはそれぞれ１，２，３で示す）の偏光フィルタにより構成されている。偏光方位θ１,θ２およびθ３の偏光フィルタ（以下それぞれ、θ１フィルタ、θ２フィルタおよびθ３フィルタという）は、画素配列１２１のうちいずれかの画素に対して設けられる。これにより、θ１フィルタ、θ２フィルタおよびθ３フィルタが設けられた画素は互いに異なる偏光方位の偏光成分に主感度を有する。つまりは、互いに異なる偏光感度特性を有する。

以下の説明において、画素配列１２１内の全画素のうちθ１フィルタが配置された画素を「θ１画素」といい、θ２フィルタが配置された画素を「θ２画素」という。また、θ３フィルタが配置された画素を「θ３画素」という。また、θ１画素、θ２画素およびθ３画素をまとめて「偏光画素」ともいう。

偏光画素で取得できる偏光成分の種類の数ｎｐは３であり、該偏光画素で取得できる偏光方位Ｐ（ｊ）（ｊは１以上ｎｐ以下の整数）はＰ（１）＝θ１、Ｐ（２）＝θ２、Ｐ（３）＝θ３である。偏光画素により取得できる偏光方位に対して割り振られる番号ｊは例に過ぎず、例えばＰ（１）＝θ２、Ｐ（２）＝θ３、Ｐ（３）＝θ１としてもよい。偏光画素により取得できる偏光方位Ｐ（ｊ）は、例えばＰ（１）＝０度、Ｐ（２）＝４５度、Ｐ（３）＝９０度である。ただし、他の偏光方位であってもよく、Ｐ（１）＝０度、Ｐ（２）＝６０度、Ｐ（３）＝１２０度であってもよい。

また、偏光の種類の数ｎｐは後述する偏光情報（α，ａ，ｂ）を算出するために少なくとも３である必要があるが、４以上であってよい。例えば、Ｐ（１）＝０度、Ｐ（２）＝４５度、Ｐ（３）＝９０度、Ｐ（４）＝１３５度のｎｐ＝４であってもよい。

なお、偏光フィルタ配列１２３は、その一部に偏光フィルタが設けられていない領域またはいずれの偏光方向の偏光成分も透過させるフィルタが設けられた領域を含んでいてもよく、これらの領域に対応する画素を「非偏光画素」という。

以上説明したように、偏光カラー撮像素子１２は、取得できる波長帯域光と偏光成分の組み合わせが互いに異なる複数の種類の画素群（各画素群は複数の画素を含む）を有する。具体的には、例えばＲ画素群かつθ１画素群をＲ１画素群というとき、図８に示すように、Ｒ１画素群、Ｒ２画素群、Ｒ３画素群、Ｇ１画素群、Ｇ２画素群、Ｇ３画素群、Ｂ１画素群、Ｂ２画素群、Ｂ３画素群、Ｗ１画素群、Ｗ２画素群およびＷ３画素群を有する。

Ｒ画素群、Ｇ画素群およびＢ画素群が複数のカラー画素群に相当し、Ｗ画素群が非カラー画素群に相当する。Ｒ１画素群、Ｒ２画素群およびＲ３画素群がＲ画素群における複数の偏光画素群に相当する。Ｇ１画素群、Ｇ２画素群およびＧ３画素群がＧ画素群における複数の偏光画素群に相当する。Ｂ１画素群、Ｂ２画素群およびＢ３画素群がＢ画素群における複数の偏光画素群に相当する。Ｗ１画素群、Ｗ２画素群およびＷ３画素群が、Ｗ画素群における複数の偏光画素群に相当する。

なお、ここまで画素配列１２１に対してカラーフィルタ配列１２２と偏光フィルタ配列１２３とが別々に設けられている場合について説明した。しかし、これは例に過ぎず、偏光カラー撮像素子が全体としてカラーフィルタ機能と偏光フィルタ機能を含む偏光カラー画素配列を有していればよい。例えば、カラーフィルタ機能と偏光フィルタ機能とを併せ持つ偏光カラーフィルタ配列が画素配列１２１に対して設けられていてもよい。また、カラーフィルタを設ける代わりに特定の波長帯域の光にのみ感度を有する画素が配列された偏光カラー撮像素子を用いてもよい。これらの場合でも、各画素をそれが感度を有する色や偏光成分に応じたカラー画素や偏光画素という。

また、後述する実施例における画素配列では、６×６画素や８×８画素等の基本配列バターンとしての正方配列パターンが縦方向および横方向に繰り返し配置されている。基本配列パターンは、正方配列パターンに限らず、Ｎ１×Ｎ２画素（Ｎ１，Ｎ２は互いに異なる自然数）の四角形配列パターンであってもよいし、他の多角形配列パターンであってもよい。また、画素配列１２１が基本配列パターンを持たないランダムな画素配列であってもよい。

次に、偏光カラー撮像素子１２を用いた撮像処理および偏光情報取得処理について説明する。上述したように偏光カラー撮像素子１２の撮像面上に形成された被写体像は、該偏光カラー撮像素子１２の各画素によって入射光の強度に応じた電荷に変換され、該電荷は電気信号（画素信号）として偏光カラー撮像素子１２から読み出される。偏光カラー撮像素子１２から読み出された画素信号は、情報処理部１３に入力され、各画素の輝度情報に変換される。各画素の輝度情報は、画素の種類に応じたカラー情報と偏光情報とを含む。

複数種類の画素のうち特定種類の画素からカラー情報や偏光情報を抜き出すと、そのカラー情報や偏光情報のみからなるモザイク画像が得られる。情報処理部１３は、このモザイク画像にデモザイク処理を施すことにより他の画素で得られていないカラー情報や偏光情報を算出する。情報処理部１３は、算出したカラー情報や偏光情報を含む画像情報を生成する。

情報処理部１３が行うデモザイク処理において、元のモザイク画像の情報量が多いほどより空間周波数が高い被写体像が再現される。つまり、偏光カラー撮像素子１２の全画素数（以下、センサ全画素数という）に対する同種類の複数の画素からなる画素群の画素数の割合（以下、画素数割合という）が大きいほどより空間周波数が高い被写体像が再現される。空間周波数が高いことは、被写体像の解像度が高いことを意味する。したがって、偏光カラー撮像素子１２に含まれる複数種類の画素群において画素数割合が最も大きい種類の画素群から得られるカラー情報や偏光情報から再現される被写体像の解像度が最も高くなる。

以下の説明では、Ｗ画素でありかつ偏光画素である画素を偏光Ｗ画素といい、複数の偏光Ｗ画素をまとめて偏光Ｗ画素群という。前述したように、撮像素子１２は、互いに異なる偏光方位の偏光成分に主感度を有する複数の偏光Ｗ画素群（Ｗ１画素群、Ｗ２画素群およびＷ３画素群）を有する。また、同色のカラー画素でありかつ偏光画素である画素を偏光カラー画素（偏光Ｃ（ｉ）画素）といい、複数の偏光Ｃ（ｉ）画素をまとめて偏光カラー画素群または偏光Ｃ（ｉ）画素群という。撮像素子１２は、各色の偏光カラー画素群として、互いに異なる偏光方位の偏光成分に主感度を有する複数の偏光カラー画素群（例えば、Ｒ１画素群、Ｒ２画素群およびＲ３画素群）を有する。

そして実施例では、センサ全画素数に対する複数の偏光Ｗ画素群の（合計の）画素数割合Ｎｐｗを、各色における複数の偏光カラー画素群の（合計の）画素数割合Ｎｐｃ（ｉ）よりも大きくしている。すなわち、各色の複数の偏光カラー画素群に対して、
Ｎｐｗ＞Ｎｐｃ（ｉ） …（１）
なる条件を満足するようにしている。

画素数割合が高い偏光Ｗ画素群から得られる解像度が高い偏光情報（以下、Ｗ偏光情報という）を利用することで、画素数割合が低い偏光カラー画素群から得られる偏光情報（以下、カラー偏光情報という）の解像度を見かけ上、向上させることができる。

前述したようにＷ画素が主感度を有する波長帯域には、各カラー画素が主感度を有する波長帯域が含まれている。このため、解像度が高いＷ偏光情報の高周波成分から解像度が低い各カラー偏光情報の高周波成分を推定してデモザイク処理に利用することで、各カラー偏光情報の解像度を見かけ上、向上させることができる。つまり、本来、偏光カラー画素からの低い空間周波数領域のカラー偏光情報からだけでは取得できない高い空間周波数領域のカラー偏光情報を、Ｗ偏光情報を利用して取得することができる。

なお、Ｗ偏光情報によるカラー偏光情報の解像度向上のためには、ＮｐｗがＮｐｃ（ｉ）の５％以上大きいことが好ましい。また、ＮｐｗがＮｐｃ（ｉ）の１０％以上大きいことがより好ましい。さらには、ＮｐｗがＮｐｃ（ｉ）の２倍以上であることがより好ましい。

以下、Ｗ偏光情報の高周波成分からカラー偏光情報の高周波成分を推定する方法の例を説明する。ここでは、偏光Ｗ画素が感度を有する使用波長帯域が全可視光帯域であり、カラー偏光情報としてＲ、ＧおよびＢの偏光情報（以下それぞれ、Ｒ偏光情報、Ｇ偏光情報およびＢ偏光情報という）が取得される場合について説明する。この場合、Ｗ偏光情報は、Ｒ、ＧおよびＢ偏光情報を含む。Ｒ、ＧおよびＢ偏光情報の高周波成分の割合が互いに等しいとすると、Ｗ偏光情報に含まれるＲ、ＧおよびＢ偏光情報の高周波成分はそれぞれＷ偏光情報の高周波成分の１／３の割合と推定できる。したがって、Ｒ、ＧおよびＢ偏光情報の低周波成分にＷ情報の高周波成分を１／３倍したものを足し合わせることで、Ｒ、ＧおよびＢ偏光情報の低周波成分および高周波成分を得ることができる。

また、Ｒ、ＧおよびＢ偏光情報の高周波成分の割合がｋＲ：ｋＧ：ｋＢ（ただしｋＲ＋ｋＧ＋ｋＢ＝１）であるとして、Ｒ、ＧおよびＢ偏光情報の高周波成分をそれぞれ、Ｗ偏光情報の高周波成分のｋＲ倍、ｋＧ倍およびｋＢ倍と推定してもよい。

また、センサ全画素数に対するＷ画素群の画素数割合Ｎｗが各カラー画素群（Ｃ（ｉ）画素群）の画素数割合Ｎｃ（ｉ）より大きいことが望ましい。すなわち、各色のカラー画素群に対して、
Ｎｗ＞Ｎｃ（ｉ） …（２）
なる条件を満足することが望ましい。式（２）の条件を満足することで、非偏光画素で取得できる非偏光情報を含めて解像度を高めることができる。

また、センサ全画素数に対する偏光Ｗ画素群の画素数割合Ｎｐｗが複数のカラー画素群の種類数ｎｃの逆数より大きいこと、すなわち、
Ｎｐｗ＞１／ｎｃ …（３）
なる条件を満足することが望ましい。ｎｃ＝３である本実施例では、式（３）はＮｐｗ＞１／３となる。これにより、Ｗ画素群を持たずｎｃ種類のカラー画素群の画素数割合が互いに等しい撮像素子を用いる場合に比べて解像度を向上させることができる。

さらに、各カラー画素群の画素数割合が小さくなると、偽色が発生し易くなる等、カラー情報の取得精度が低下する。このため、センサ全画素数に対する偏光カラー画素の画素数割合Ｎｐｃが１／１０以上であること、すなわち
Ｎｐｃ≧１／１０ …（４）
なる条件を満足することが望ましい。

情報処理部１３で生成された画像情報は、記録部１４に記録される。記録部１４に記録された画像情報は、必要に応じて偏光情報算出部１５により読み出される。偏光情報算出部１５は、入射光の偏光状態を表す偏光情報（α，ａ，ｂ）を算出する。αは光強度が最大となる偏光方位であり、ａは光強度の最大値、ｂは光強度の最小値である。

算出した偏光情報（α，ａ，ｂ）を用いることで、偏光を取得しない場合の撮像画像とは質感、すなわち被写体からの反射光が異なる撮像画像（以下、偏光画像という）を作成することができる。以下、偏光画像を作成する際の偏光情報と反射光との関係について説明する。

物体からの反射光は、該物体の表面で直接反射する鏡面反射成分と、物体の内部や表面で散乱しながら反射する散乱成分とに分けられる。鏡面反射成分は、被写体の表面で反射した光であり、フレネル反射の条件を満たして反射する。フレネル反射では、一部の条件を除いてｓ偏光の強度がｐ偏光の強度より高くなる。このため、鏡面反射成分は、偏光強度が方位によって変化する、つまり方位依存性を持つ傾向がある。一方、拡散成分は、物体に入射した光がさまざまな方向に反射するため、方位依存性はない。そこで、取得した偏光強度のうち、方位θに対して変化する成分「ａ−ｂ」を鏡面反射成分とみなすとともに、強度が変化しない成分「ｂ」を散乱成分とみなす。そして、鏡面反射成分や散乱成分を目的に応じて演算し、これらの比率を変えて合成することで偏光画像を作成する。これにより、偏光を取得しない場合に得られる撮像画像とは反射光、つまりは質感が異なる偏光画像を取得することができる。

偏光情報（α，ａ，ｂ）の算出方法について説明する。偏光カラー撮像素子１２への入射光が図６に示すように表現できる場合を考える。図６（ａ）に示す楕円は、入射光の振幅の方位依存性を示す。また、図６（ｂ）は、ｘ軸に対して角度θをなす入射光の光強度、すなわち入射光の偏光方位θの光強度Ｉ（θ）を示す。図６（ａ）に示す破線は、楕円の長軸と短軸を表しており、αは長軸とｘ軸とがなす角度である。また、矢印は、長軸の方向と短軸の方向での振幅を表している。さらに、矢印で表された振幅の２乗が光強度であり、図６（ｂ）のａ，ｂに対応している。このとき、光強度Ｉ（θ）は、以下の式（５）で表される。
Ｉ（θ）＝（ａ−ｂ）ｃｏｓ^２（θ−α）＋ｂ …（５）
Ｉ（θ）は、式（５）より１８０度周期で変化する。このため、偏光情報を算出するためには、０度以上１８０未満の角度θで表現したときに、少なくとも３以上の偏光方位の光強度Ｉ（θ）を取得する必要がある。例えば、図７には、θ＝０度、４５度、９０度の３つの偏光方位の光強度と、そこから算出される偏光情報で表されるＩ（θ）を示す。

一方、上記条件を満足すれば、取得する偏光方位に特に制限はない。このため、任意の３つ以上の偏光方位の光強度Ｉ（θ）を取得すれば、偏光情報（α，ａ，ｂ）を求めることができる。したがって、Ｗ画素と各色Ｃ（ｉ）画素のそれぞれで３つ以上の偏光方位の光強度Ｉ（θ）を取得できることが望ましい。

また、解像度の高い偏光情報（α，ａ，ｂ）を得るためには、その算出に用いる３つの光強度Ｉ（θ）の解像度を高くすることが望ましい。実施例では、Ｗ偏光情報の解像度を高くすることで、各色Ｃ（ｉ）の偏光情報を高くすることができる。すなわち、解像度の高い偏光情報（α，ａ，ｂ）を得るためには、以下の条件を満足することが望ましい。

偏光Ｗ画素群における互いに異なる偏光方位の偏光成分に主感度を有する複数の偏光画素群のそれぞれのセンサ全画素数に対する画素数割合のうち、３番目に大きい画素数割合をＮｐｗ（Ｐｗ（３））とする。Ｐｗ（ｎ）は、偏光Ｗ画素群のうちセンサ全画素数に対する画素数割合がｎ番目に大きい偏光画素群が主感度を有する偏光成分を示し、第ｎＷ偏光ともいう。また、各偏光カラー画素群における互いに異なる偏光方位の偏光成分に主感度を有する複数の偏光画素群のそれぞれのセンサ全画素数に対する画素数割合のうち、３番目に大きい画素数割合をＮｃｐ（Ｐｃ（３，ｉ），ｉ）とする。Ｐｃ（ｎ，ｉ）は、偏光Ｃ（ｉ）画素群のうちセンサ全画素数に対する画素数割合がｎ番目に大きい偏光画素群が主感度を有する偏光成分を示し、第ｎＣ（ｉ）偏光ともいう。

このとき、Ｎｐｗ（Ｐｗ（３））がＮｐｃ（Ｐｃ（３，ｉ），ｉ）より大きい、すなわち
Ｎｐｗ（Ｐｗ（３））＞Ｎｐｃ（Ｐｃ（３，ｉ），ｉ）＞０ …（６）
なる条件を満足することが望ましい。

なお、ｎ１番目からｎ２番目（ｎ１≦３≦ｎ２）の画素数割合が全て同じである場合は、いずれも３番目に大きいとみなす。このため、２番目と３番目の画素数割合が互いに同じである場合や、２番目、３番目および４番目の画素数割合が互いに同じである場合は、すべてを３番目に大きい画素数割合とみなす。また、このように画素数割合が同じである場合に、例えば偏光方位角が小さい偏光を取得する偏光画素の画素数割合の序列を上とする等、任意の方法で画素数割合の序列を決めてもよい。

さらにこのとき、Ｗの３つの偏光成分の解像度が高いほど得られる偏光情報の解像度が高くなる。このため、偏光Ｗ画素群における互いに異なる偏光方位の偏光成分に主感度を有する複数の偏光画素群のそれぞれのセンサ全画素数に対する画素数割合のうち３番目に大きい画素数割合が、１／６以上であることが望ましい。すなわち、
Ｎｐｗ（Ｐｗ（３））≧１／６ …（７）
なる条件を満足することが望ましい。

偏光情報算出部１５が算出した偏光情報は、記録部１４に記録される。このとき偏光情報を単独で保存してもよいが、算出に用いた画像情報と関連付けて保存するのがより好ましい。

なお、図２に示した撮像装置１は情報処理部１３、記録部１４および偏光情報算出部１５を備えているが、撮像装置１は必ずしもこれらを備えている必要はなく、これらと同等の機能を有する外部装置で代用してもよい。例えば、情報処理部１３から出力される画像情報や偏光情報算出部１５で算出された偏光情報を外部記録装置に記録するようにしてもよい。また、デモザイク処理や偏光情報の算出を情報処理部１３や偏光情報算出部１５に代えて、パーソナルコンピュータ（ＰＣ）等の外部装置で行うようにしてもよい。

以下、具体的な実施例について説明する。

図８には、実施例１としての偏光カラー撮像素子１２の偏光カラー画素配列を示している。図中の各画素（偏光Ｗ画素および偏光カラー画素）に記されたアルファベットと数字はそれぞれ、その画素が主感度を有する波長帯域と偏光方位とを示す。具体的には、アルファベットＲ，Ｇ，Ｂ，ＷはそれぞれＲ画素、Ｇ画素、Ｂ画素およびＷ画素を示し、数字１，２，３はそれぞれθ１画素、θ２画素およびθ３画素を示す。すなわち、先にも説明したように、例えば「Ｒ１」はＲ画素かつθ１画素としてのＲ１画素を示す。これらのことは、後述する他の実施例でも同じである。

また、図８において太線で囲まれた６×６画素の領域は、本実施例における基本配列パターンである正方配列パターンを示しており、本実施例の画素配列はこの正方配列パターンがｘ軸方向とｙ軸方向のそれぞれに繰り返し配置された画素配列である。

本実施例では、カラー画素群により取得できる色Ｃ（ｉ）の種類数ｎｃ＝３であり、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝３であり、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度である。本実施例では、第３Ｃ（ｉ）偏光および第３Ｗ偏光は偏光Ｐ（３）である。

表１に本実施例の画素配列における各画素群の画素数割合を示す。表１に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）〜（４）および式（６），（７）により表わされる条件を満足する。

本実施例は、後述する比較例１の画素配列と比べてカラー画素群の画素数割合Ｎｃが１／４と小さいためにカラーの解像度では劣る。しかし、偏光Ｗ画素群の画素数割合Ｎｐｗが１／２と大きく、特にＷ３画素群の画素数割合Ｎｐｗ（Ｐｗ（３））が１／４と大きいので、Ｗ偏光情報（α，ａ，ｂ）の解像度を高くすることができる。

図９には、実施例２としての偏光カラー撮像素子１２の偏光カラー画素配列を示している。図９において太線で囲まれた８×８画素の領域は、本実施例における基本配列パターンである正方配列パターンを示しており、本実施例の画素配列はこの正方配列パターンがｘ軸方向およびｙ軸方向のそれぞれに繰り返し配置された画素配列である。
本実施例では、カラー画素群で取得できる色Ｃ（ｉ）の種類数ｎｃ＝３であり、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝４であり、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度、Ｐ（４）＝θ４＝１３５度である。本実施例では、第３Ｃ（ｉ）偏光および第３Ｗ偏光は偏光Ｐ（３）である。

表２に本実施例の画素配列における各画素群の画素数割合を示す。表２に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）〜（４）および式（６）で表わされる条件を満足する。ただし、式（７）で表わされる条件は満足していない。

本実施例は、実施例１の画素配列と比べて偏光Ｗ画素群の画素数割合Ｎｐｗ＝１／２やＷ３画素群の画素数割合Ｎｐｗ（Ｐｗ（３））＝１／８が小さいため、解像度の点では劣っている。しかし、偏光カラー画素群の画素数割合Ｎｐｃ＝１／２やＣ３（Ｒ３，Ｇ３およびＢ３）画素群の画素数割合Ｎｐｃ（Ｐｃ（３，ｉ），ｉ）＝１／１６〜１／３２が大きいので、カラー情報の解像度が優れている。また、偏光画素群で取得できる偏光の種類数ｎｐが実施例１に比べて多いため、偏光情報（α，ａ，ｂ）の算出精度を高めることができる。

図１０には、実施例３としての偏光カラー撮像素子１２の偏光カラー画素配列を示す。図１０において太線で囲まれた６×６画素の領域は、本実施例における基本配列パターンである正方配列パターンを示しており、本実施例の画素配列はこの正方配列パターンがｘ軸方向およびｙ軸方向に繰り返し配置された画素配列である。

本実施例では、カラー画素群で取得できる色Ｃ（ｉ）の種類数ｎｃ＝２であり、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝４であり、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度、Ｐ（４）＝θ４＝１３５度である。本実施例では、第３Ｒ偏光は偏光Ｐ（３）、第３Ｂ偏光は偏光Ｐ（１）、第３Ｗ偏光は偏光Ｐ（３）である。

表３に本実施例における各画素群の画素数割合を示す。表３に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）〜（４）および式（７）で表わされる条件を満足する。しかし、Ｒ画素で取得できる偏光はＰ（１）とＰ（４）の２種類であり、Ｂ画素で取得できる偏光はＰ（２）とＰ（３）の２種類であるため、センサ全画素数に対するＲ３画素群とＢ３画素群の画素数割合Ｎｐｃ（Ｐｃ（３，ｉ），ｉ）は０となり、式（６）を満足しない。

本実施例は、実施例１に比べて偏光カラー画素の画素数割合Ｎｐｃが１／９と小さいので色の解像度の点で劣っている。また、各色で取得できる偏光の種類が２種類であるため、式（５）からカラー偏光情報を求めることができない。しかし、偏光Ｗ画素の画素数割合Ｎｐｗ＝８／９が大きいため、解像度が高くなっている。

図１１には、本発明の実施例４としての偏光カラー撮像素子１２における偏光カラー画素配列を示している。図１１において太線で囲まれた１２×１２画素の領域は、本実施例の基本配列パターンである正方配列パターンを示しており、本実施例の偏光カラー画素配列はこの正方配列パターンがｘ軸方向およびｙ軸方向に繰り返し配置された画素配列である。図１１において、数字が記されていない画素は非偏光画素であることを表す。

本実施例では、カラー画素群で取得できる色Ｃ（ｉ）の種類数ｎｃ＝３であり、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝３であり、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度である。本実施例では、第３Ｃ（ｉ）偏光および第３Ｗ偏光は偏光Ｐ（３）である。

表４に本実施例における各画素群の画素数割合を示す。表４に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）〜（４）および式（６）で表わされる条件を満足しているが、式（７）で表わされる条件は満足していない。

本実施例は、実施例１と比べて、偏光Ｗ画素群の画素数割合Ｎｐｗ＝３／８やＷ３画素群の画素数割合Ｎｐｗ（Ｐｗ（３））＝１／８が小さいために解像度の点で劣っている。しかし、カラー画素群の画素数割合Ｎｃが１／２と大きいので色の解像度が良く、また偏光画素群の画素数割合Ｎｐ＝Ｎｐｗ＋Ｎｐｃが５／８と小さいため、入射光の損失が少なく感度が優れている。

図１２には、実施例５としての偏光カラー撮像素子１２の偏光カラー画素配列を示す。図１２において太線で囲まれた９×９画素の領域は、本実施例における基本配列パターンである正方配列パターンを示しており、本実施例の画素配列はこの正方配列パターンがｘ軸方向およびｙ軸方向に繰り返し配置された画素配列である。

本実施例では、カラー画素群で取得できる色Ｃ（ｉ）の種類数ｎｃ＝３であり、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝４であり、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度、Ｐ（４）＝θ４＝１３５度である。本実施例では、第３Ｃ（ｉ）偏光および第３Ｗ偏光は偏光Ｐ（３）である。

表５に本実施例における各画素群の画素数割合を示す。表５に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）（２）（４）および式（６）で表わされる条件を満足する。ただし、式（３）および式（７）で表わされる条件は満足していない。

本実施例は、実施例１の画素配列と比べて偏光Ｗ画素群の画素数割合Ｎｐｗ＝２１／８１やＷ３画素群の画素数割合Ｎｐｗ（Ｐｗ（３））＝７／８１が小さいため、解像度の点では劣っている。しかし、偏光カラー画素群の画素数割合Ｎｐｃ＝６０／８１やＣ３（Ｒ３，Ｇ３およびＢ３）画素群の画素数割合Ｎｐｃ（Ｐｃ（３，ｉ），ｉ）＝５／８１が大きいので、カラー情報の解像度が優れている。また、偏光画素群で取得できる偏光の種類数ｎｐが実施例１に比べて多いため、偏光情報（α，ａ，ｂ）の算出精度を高めることができる。
[比較例１]

図１４には、本発明の比較例１としての偏光カラー画素配列を示している。図１４において太線で囲まれた３×３画素の領域は、本比較例における基本配列パターンとしての正方配列パターンを示しており、本比較例の画素配列はこの正方配列パターンがｘ軸方向およびｙ軸方向に繰り返し配置された画素配列である。

本比較例では、カラー画素群で取得できる色Ｃ（ｉ）の種類数ｎｃ＝３で、Ｃ（１）＝Ｒ、Ｃ（２）＝Ｇ、Ｃ（３）＝Ｂである。また、偏光画素群で取得できる偏光Ｐ（ｊ）の種類数ｎｐ＝３で、Ｐ（１）＝θ１＝０度、Ｐ（２）＝θ２＝４５度、Ｐ（３）＝θ３＝９０度である。本比較例では、第３Ｃ（ｉ）偏光は偏光Ｐ（３）である。

表６に本比較例における各画素群の画素数割合を示す。表６に示すように、センサ全画素数に対する各画素群の画素数割合は式（１）〜（３）および式（６），（７）で表わされる条件を満足していない。

図１４および表６に示すように、本比較例はすべての画素が偏光カラー画素であり、偏光Ｗ画素を有していない。そして、偏光画素群とカラー画素群の画素数割合が均等な画素配列である。

本比較例は、実施例１〜５と異なりＷ画素を含まないため、解像度は偏光画素群とカラー画素群の組み合わせのうちセンサ全画素数に対する画素数割合が最も大きい組み合わせで決まる。すなわち、偏光Ｃ（ｉ）画素群の画素数割合Ｎｐｃ（ｉ）が１／３である。この割合は実施例１〜５におけるＮｐｗよりも小さいため、本比較例は偏光情報の解像度の点で実施例１〜５に劣る。一方、実施例１〜５におけるＮｐｃ（ｉ）に比べて、本比較例のＮｐｃ（ｉ）は大きいため、カラーの解像度は高い。

上述した各実施例の偏光カラー撮像素子１２は、図２に示した撮像装置１に搭載することができる。以下では、実施例１の偏光カラー撮像素子１２を搭載した撮像装置１において情報処理部１３で行われるデモザイク処理の例を説明する。

図１３は、図８に示した実施例１における偏光カラー画素配列について、図中の左下の画素の座標が（０，０）となり、右上の画素の座標が（１１，１１）となるようにｘｙ座標を付している。以下、座標（ｘ、ｙ）におけるＷまたは色Ｃ（ｉ）の偏光Ｐ（ｊ）の情報を、Ｗｊ（ｘ，ｙ）やＣ（ｉ）ｊ（ｘ，ｙ）と表す。例えば座標（１，２）における色Ｃ（３）＝Ｂの偏光Ｐ（３）＝９０度の情報はＢ３（１，２）と表される。

ここでのデモザイキング処理は、まず解像度の高いＷ偏光情報の補間から行い、続いて補間したＷ偏光情報を利用してカラー偏光情報の補間を行う。まず、Ｗ偏光情報の補間について説明する。

各画素で欠けているＷ偏光情報の補間は、補間する画素がＷ１画素、Ｗ２画素、Ｗ３画素および偏光カラー画素の４つの場合に分けられる。Ｗ１画素では、欠けているＷ偏光情報はＷ２の偏光情報（以下、Ｗ２情報という）とＷ３の偏光情報（以下、Ｗ１情報という）である。Ｗ１画素の周囲の画素は、上下の２画素がＷ２画素で、左上、左下、右上および右下の４画素がＷ３画素である。したがって、Ｗ１画素におけるＷ２情報とＷ３情報は周囲のＷ２画素およびＷ３画素で取得できるＷ２情報とＷ３情報の平均値として算出される。すなわち以下の式（８），（９）で求められる。

ただし、式（８），（９）において、ｘとｙは補間するＷ１画素の座標であり、それぞれｘ＝２ｍおよびｙ＝２ｎ＋１（ｍ、ｎは整数）により表わされる。

Ｗ２画素では、欠けているＷ偏光情報はＷ１の偏光情報（以下、Ｗ１情報という）とＷ３偏光である。Ｗ２画素の周囲の画素は、上下の２画素がＷ１画素であり、左右の２画素がＷ３画素である。したがって、Ｗ２画素におけるＷ１情報とＷ３情報は、その周囲のＷ１画素およびＷ３画素で取得できるＷ１情報とＷ３情報の平均値として算出される。すなわち以下の式（１０），（１１）で求められる。

ただし、式（１０），（１１）において、ｘとｙは補間するＷ２画素の座標であり、それぞれｘ＝２ｍおよびｙ＝２ｎ（ｍ、ｎは整数）で表わされる。

Ｗ３画素では、欠けているＷ偏光情報はＷ１情報とＷ２情報である。Ｗ３画素の周囲の画素は、左上、左下、右上および右下の４画素がＷ１画素であり、左右の２画素がＷ２画素である。したがって、Ｗ３画素におけるＷ１情報とＷ２情報は、その周囲のＷ１画素とＷ２画素で取得できるＷ１情報とＷ２情報の平均値として算出される。すなわち以下の式（１２），（１３）で求められる。

ただし、式（１２），（１３）において、ｘとｙは補間するＷ３画素の座標であり、それぞれｘ＝２ｍ＋１およびｙ＝２ｎ（ｍ、ｎは整数）で表わされる。

偏光カラー画素では、Ｗ１情報、Ｗ２情報およびＷ３情報が欠けている。偏光カラー画素の周囲の画素は、左右の２画素がＷ１画素であり、左上、左下、右上および右下の４画素がＷ２画素であり、上下の２画素がＷ３画素である。したがって、偏光カラー画素におけるＷ１情報、Ｗ２情報およびＷ３情報は、その周囲のＷ１画素、Ｗ２画素およびＷ３画素で取得できるＷ１情報、Ｗ２情報およびＷ３情報の平均値として算出される。すなわち以下の式（１４），（１５），（１６）で求められる。

ただし、式（１４），（１５），（１６）において、ｘとｙは補間するカラー画素の座標であり、それぞれｘ＝２ｍ＋１およびｙ＝２ｎ＋１（ｍ、ｎは整数）で表わされる。以上の補間により、全ての画素にＷ偏光情報を与えることができる。

次に、カラー偏光情報の補間について説明する。ここでは、座標（ｘ，ｙ）がＲ１画素であるときに座標（ｘ＋Δｘ，ｙ＋Δｙ）（Δｘ、Δｙは０以上５以下の整数で、Δｘ＝Δｙ＝０は除く）の画素のＲ１の偏光情報（以下、Ｒ１情報といい、他のカラー偏光情報も同様とする）を補間する場合について説明する。

座標（ｘ，ｙ）がＲ１画素であるとき、座標（ｘ＋６，ｙ）、（ｘ，ｙ＋６）および（ｘ＋６，ｙ＋６）の画素もＲ１画素である。座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素のＲ１情報であるＲ１（ｘ＋Δｘ，ｙ＋Δｙ）の算出には、これらの４つのＲ１画素のＲ１情報とＷ１情報との比率および座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素のＷ１情報とを利用する。具体的には、４つの比率の平均値がＲ１（ｘ＋Δｘ，ｙ＋Δｙ）とＷ１（ｘ＋Δｘ，ｙ＋Δｙ）の比率と等しくなるようにＲ１（ｘ＋Δｘ，ｙ＋Δｙ）を算出する。すなわち、Ｒ１情報の算出は以下の式で行う。

式（１７）に基づいて、すべての画素のＲ１情報を算出することができる。残りの色についても上述したＲ１情報の補間と同様にして算出する。例えば、Ｒ１情報の補間と同じ方法でＲ１画素のＲ１情報をＧ２画素のＧ２情報に置き換え、Ｗ１情報をＷ２情報に置き換えることで、Ｇ２偏光情報を補間できる。

以上の補間によって全画素に各色の全ての偏光情報を与えることができる。また、カラー偏光情報の補間に解像度の高いＷ偏光情報を利用することで、カラー偏光情報の解像度を向上させることができる。

ここまで説明した補間の方法は例に過ぎず、他の様々な補間方法を用いてもよい。例えば、上述したＷ偏光情報の補間は単純平均により行うが、これに代えて双三次補間（Bicubic補間）を行ってもよい。また、カラー偏光情報の補間については、カラー偏光情報とＷ偏光情報の比率の代わりに差分を利用してもよい。さらに、比率の単純平均ではなく、画素間距離の逆数で重み付けをして加重平均をとってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１ 撮像装置
１２ 偏光カラー撮像素子
１２１ 画素配列
１２２ カラーフィルタ
１２３ 偏光フィルタ

Claims (9)

1. 画素が２次元配列された撮像素子であって、
   複数の波長帯域の光のそれぞれに対して主感度を有する複数のカラー画素群と、
   前記複数の波長帯域を含む波長帯域に対して主感度を有する非カラー画素群とを有し、
   前記複数のカラー画素群および前記非カラー画素群がそれぞれ、３つ以上の偏光方位の偏光成分のそれぞれに対して主感度を有する複数の偏光画素群を含み、
   前記撮像素子の全画素数に対する前記非カラー画素群における前記複数の偏光画素群の画素数の割合が、前記全画素数に対する前記複数のカラー画素群のそれぞれにおける前記複数の偏光画素群の画素数の割合よりも大きいことを特徴とする撮像素子。
2. 前記全画素数に対する前記非カラー画素群における前記複数の偏光画素群の画素数の割合が、前記全画素数に対する前記複数のカラー画素群のそれぞれにおける前記複数の偏光画素群の画素数の割合よりも５％以上大きいことを特徴とする請求項１に記載の撮像素子。
3. 前記全画素数に対する前記非カラー画素群の画素数の割合が、前記全画素数に対する前記複数のカラー画素群のそれぞれの画素数の割合より大きいことを特徴とする請求項１または２に記載の撮像素子。
4. 前記全画素数に対する前記非カラー画素群の画素数の割合が、１／３より大きいことを特徴とする請求項１から３のいずれか一項に記載の撮像素子。
5. 前記全画素数に対する前記複数のカラー画素群のすべてに含まれる前記複数の偏光画素群の画素数の割合が、１／１０以上であることを特徴とする請求項１から４のいずれか一項に記載の撮像素子。
6. 前記非カラー画素群における前記複数の偏光画素群のそれぞれの画素数の前記全画素数に対する割合のうち３番目に大きい割合が、前記複数のカラー画素群のそれぞれにおける前記複数の偏光画素群のそれぞれの画素数の前記全画素数に対する割合よりも大きいことを特徴とする請求項１から５のいずれか一項に記載の撮像素子。
7. 前記非カラー画素群における前記複数の偏光画素群のそれぞれの画素数の前記全画素数に対する割合のうち３番目に大きい割合が、１／６以上であることを特徴とする請求項６に記載の撮像素子。
8. 前記複数のカラー画素群が主感度を有する前記複数の波長帯域は、赤、緑および青の波長帯域であることを特徴とする請求項１から７のいずれか一項に記載の撮像素子。
9. 請求項１から８のいずれか一項に記載の撮像素子と、
   該撮像素子から出力された信号を用いて画像情報を生成する生成手段とを有することを特徴とする撮像装置。