JP6205770B2 - 撮像素子および撮像システム - Google Patents

Description

本発明は、撮像素子、撮像装置および撮像システムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

単板の撮像素子から出力される画像データから、２Ｄ画像データとカラーの視差画像データを共に生成しようとする場合、視差情報の取得に重点を置くと２Ｄ画像データの解像度が低下するという問題があった。

本発明の第１の実施形態における撮像素子は、入射光を電気信号に光電変換する光電変換素子からなる画素がｘ−ｙ平面上に周期的に配置され、画素のそれぞれに一対一に対応して、視差を生じさせない基準方向、及び基準方向とは異なる第１視差方向と第２視差方向の少なくとも３種類の開口マスクが設けられ、第１視差方向の開口マスクを備えた画素の密度と第２視差方向の開口マスクを備えた画素の密度のそれぞれを、基準方向の開口マスクを備えた画素の密度よりも低い画素密度で周期的に配置した画素配列を有し、画素の全てが同じ分光感度特性をもつモノクロ画素からなるとき、第１視差方向の開口マスクを備えた画素の密度と第２視差方向の開口マスクを備えた画素の密度のそれぞれを、基準方向の開口マスクを備えた画素の密度の1／8以下の密度となるように画素を配置した。また、本発明の第２の実施態様における撮像システムは、上記撮像素子で撮像された基準方向の画素信号と第１視差方向の画素信号と第２視差方向の画素信号の各々を用いて、撮像素子が持つ画素数と同じ画素数からなる第１視差方向の画像と第２視差方向の画像を各々生成する画像生成装置を更に備える。

本発明の第３の実施形態における撮像素子は、入射光を電気信号に光電変換する光電変換素子からなる画素がｘ−ｙ平面上に周期的に配置され、画素のそれぞれに一対一に対応して、視差を生じさせない基準方向、及び基準方向とは異なる第１視差方向と第２視差方向の少なくとも３種類の開口マスクが設けられ、第１視差方向の開口マスクを備えた画素の密度と第２視差方向の開口マスクを備えた画素の密度のそれぞれを、基準方向の開口マスクを備えた画素の密度よりも低い画素密度で周期的に配置した画素配列を有し、画素配列における全画素が読み出された場合と、画素配列においてｘ方向における複数の画素の画素値が加算されるとともに、ｙ方向の複数行が間引いて読み出された場合とで、基準方向の開口マスクを備えた画素、第１視差方向の開口マスクを備えた画素、及び第２視差方向の開口マスクを備えた画素の密度比が同一となる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面の構成を説明する図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 第１実施例における繰り返しパターン１１０の配列を説明する図である。 第１実施例における視差画素の画素間隔の関係を説明する図である。 第２実施例における繰り返しパターン１１０の配列を説明する図である。 第３実施例における繰り返しパターン１１０の配列を説明する図である。 第４実施例における繰り返しパターン１１０の配列を説明する図である。 ２Ｄ画像データとしてのＲＧＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。 各プレーンの解像度の関係を示す概念図である。 デフォーカスの概念を説明する図である。 視差画素デフォーカスの概念を説明する図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 全開口の視差なし画素と半開口の視差なし画素を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 一例としての実空間の配列とｋ空間を示す図である。 動画読み出しを説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

上述のように開口部の画素中心からのずれを６種類持たせたときに、それぞれの視差画素が瞳分割光学系として働き、６つの視点の視差画素を生み出す例を説明してきた。ここで主に述べたのは各々の視差画素がそれぞれ異なる視点の被写体像を結像し、異なる種類の視差画素の間では、視点の異なる像の間の視差を生むということである。

視差画素による瞳分割光学系は単に視差を生み出すという事実だけでなく、視差が生み出されるのは合焦位置からずれた非合焦位置のボケた被写体像にのみ、その非合焦度に応じて視差を生み出すという重要な事実が存在する。この様子を通常の視差なし画素と２視差（左視差、右視差）の場合の説明図を図１７、図１８に示す。1つの光学系を通ってきた光は、右視差画素にとっては光学系の左側に仮想瞳があるような光学像を結像し、左視差画素にとっては光学系の右側に仮想瞳があるような光学像を結像する。したがって、ピント位置の被写体像の点像分布関数は鋭く結像し、どちらの仮想瞳を通っても同じように鋭い点像分布をもった視差のない被写体像を結像する。他方、ピント位置から前後にボケた被写体位置の点像分布関数は、ピント位置から離れるに従ってボケ幅の大きい広がりを示すとともに結像の中心位置は左右に分離してゆき、視差が生まれる。この２つに分離した点像分布関数を加算合成した１つの点像分布関数は、視差なし画素に結像される点像分布関数に一致し、そのピーク位置は、仮想瞳によって2つに分離した光学像の点像分布関数の真ん中に位置する。

このボケの中にだけ視差が存在し、ボケ具合が大きくなるほど視差量が増大するという重要な事実に着目し本実施形態では、高解像な２Ｄ画像と３Ｄ画像を同時に取得するための色・視差配列について提案する。

次に、カラーフィルタ１０２と視差画像について説明する。図６は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Ｇフィルタが左上（Ｇｂ）と右下（Ｇｒ）の２画素に、Ｒフィルタが左下の１画素に、Ｂフィルタが右上の１画素に割り当てられる配列である。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。ＲＧＢのいずれの画素に対しても視差画素を割り振れば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

理想的には、２Ｄ画像であっても３Ｄ画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、３Ｄ画像において観察者が視差を感じる画像領域は、図４、図１７、図１８を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、３Ｄ画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。

ピントの合っている画像領域については２Ｄ画像データから切り出し、ピントの合っていない画像領域については３Ｄ画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、高解像データである２Ｄ画像データを基礎とし、３Ｄ画像データの各画素における相対的な比を掛け合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子１００においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い３Ｄ画像を生成することができると言える。

この場合、３Ｄ画像をカラー画像として生成するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、本実施形態においては、図６を用いて説明したベイヤー配列のように、更なる高画質化のためにＲＧＢの３種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の開口部１０４に対して、ＲＧＢの３種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定すると、視差Ｌｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含み、視差Ｒｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含む。すなわち撮像素子１００は、６種類の視差画素を有する。このような撮像素子１００から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、２種類の開口部に対して２種類のカラーフィルタを組み合わせる場合には、撮像素子１００は、４種類の視差画素を有する。

以下に画素配列のバリエーションについて説明する。図７は、第１実施例における繰り返しパターン１１０の配列を説明する図である。第１実施例における繰り返しパターン１１０は、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。なお、繰り返しパターン１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。

第１実施例における視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））

他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第１実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。また、上記の通り、人間の視感特性を考慮して、Ｇフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。

いいかえると、視差画素に対しても Ｒ、Ｇ、Ｂ全てのカラー情報を備えることにより、より高度で正確な立体用の色分布構造を捉えようとしている。

そのＲＧＢ比率は、右視差画素についても、左視差画素についても視差なし画素についても全てＢａｙｅｒ配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成をとる。更に視差なし画素が通常のＢａｙｅｒ配列の空間分解能をできるだけ保つように視差画素を疎な密度でできるだけ相互に離して分布させる。すなわち、ある色成分の同じ右視差画素同士の間や同じ左視差画素同士の間では等間隔に等方性を保って並べると共に、ある色成分の右視差画素と左視差画素との間の距離も最も離れるように等間隔に並べる。そして色成分を無視した場合の右視差画素同士の間の距離や色成分を無視した場合の左視差画素同士の間の距離ができるだけ離れるように配置して、視差情報を均一に取得するようにする。

なお、実施例１では視差なし画素と左視差画素と右視差画素の画素数比がＮ：Ｌｔ：Ｒｔ＝１４：１：１にあり、視差なし画素の空間解像度はＢａｙｅｒ配列に極めて近い状態を保っている。更に、視差画素を互いに最も離れて配置したことにより、視差なし画素が隣接して同時に情報を失う心配がなくなり、ナイキスト周波数を含む高い周波数成分を解像する性能を保持する。

図８は、第１実施例における視差画素の画素間隔の関係を説明する図である。図においては、図７で示した繰り返しパターン１１０を９個（＝３×３）並べて示す。

図示する通り、Ｇ（Ｌｔ）画素のＸ方向における間隔もＹ方向における間隔も、ＧＬｔ_ｐで表される等間隔である。また、対となるＧ（Ｒｔ）画素についても、Ｘ方向における間隔もＹ方向における間隔も、ＧＲｔ_ｐで表される等間隔であり、かつ、ＧＲｔ_ｐはＧＬｔ_ｐと等しい。更には、Ｇ（Ｌｔ）画素の位置からＸ、Ｙの一方向にだけＧＬｔ_ｐの距離だけを進めたところにＧ（Ｒｔ）画素が存在する。

同様に、Ｒ（Ｌｔ）画素のＸ方向における間隔もＹ方向における間隔も、ＲＬｔ_ｐで表される等間隔である。また、対となるＲ（Ｒｔ）画素についても、Ｘ方向における間隔もＹ方向における間隔も、ＲＲｔ_ｐで表される等間隔であり、かつ、ＲＲｔ_ｐはＲＬｔ_ｐと等しい。更には、Ｒ（Ｌｔ）画素の位置からＸ、Ｙの両方向にＲＬｔ_ｐの半分の距離だけ進めたところにＲ（Ｒｔ）画素が存在する。

さらに、Ｂ（Ｌｔ）画素のＸ方向における間隔もＹ方向における間隔も、ＢＬｔ_ｐで表される等間隔である。また、対となるＢ（Ｒｔ）画素についても、Ｘ方向における間隔もＹ方向における間隔も、ＢＲｔ_ｐで表される等間隔であり、かつ、ＢＲｔ_ｐはＢＬｔ_ｐと等しい。更には、Ｂ（Ｌｔ）画素の位置からＸ、Ｙの両方向にＢＬｔ_ｐの半分の距離だけ進めたところにＢ（Ｒｔ）画素が存在する。

すなわち、カラーフィルタの種類ごとにみた場合、開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、２次元方向のいずれに対しても、等間隔で配置されている。換言すれば、２次元方向に、等方かつ均等に配置されている。このように視差画素が配置されることにより、視差画像の出力時に縦方向と横方向で解像感が異ならず、かつ、２Ｄ画像の解像感に対する悪影響も軽減できる。

こうして得られた色・視差画素配列の様子を図１９にまとめるとともに、その実空間配列に対応する周波数空間における解像域すなわち分解能もｋ空間図として示す。波数ｋは周波数ｆとｋ＝２πｆの関係で結ばれる。実空間の格子間隔をａとすると、その逆格子空間を表わすのがｋ空間であり、解像域は逆格子空間の第１ブリルアンゾーンによって表わされる（たとえば、本出願人と同一発明者のＵＳ２０１０／０２１８５３や日本特許第４２３９４８３号を参照）。

図１９を見ると撮像段階における疎な左視差画素と疎な右視差画素の解像力は密な視差なし画素に比べて低い。その分、密な視差なし画素はＢａｙｅｒ配列に匹敵するような解像力を持っている。

したがって、後述するように一旦視差なし画素を補間して、２Ｄカラー画像Ｒ（Ｎ）、Ｇ（Ｎ）、Ｂ（Ｎ）を生成し、更に予め、疎な左視差画像Ｒ（Ｌｔ）、Ｇ（Ｌｔ）、Ｂ（Ｌｔ）と疎な右視差画像Ｒ（Ｒｔ）、Ｇ（Ｒｔ）、Ｂ（Ｒｔ）を生成しておく。そうして、これから視差なし画像を中間的に利用して、最終的に密な左視差画像Ｒ'（Ｌｔ）、Ｇ'（Ｌｔ）、Ｂ'（Ｌｔ）と密な右視差画像Ｒ'（Ｒｔ）、Ｇ'（Ｒｔ）、Ｂ'（Ｒｔ）を以下のように疎な視差画像で視差変調を加えることによって得ることができる。

こうして、視差なし画素の高周波成分が新たに生成する視差あり画像に重畳されて、視差あり画像、すなわち３Ｄ画像も２Ｄ画像と同じ高解像な画像を得ることができる。いいかえると、合焦域近辺のわずかにピントがはずれて視差が少しだけ発生しているような画像領域では、視差なし画像の高解像な画像をゆるやかに変化する視差画像の状態を参照しながら左方向や右方向に少しだけずらす変位処理が視差変調によって行われる。

また、非合焦域の大きくボケた領域の被写体像は視差なし画像の解像力を最大限に保持しながら、ゆるやかに変化する視差あり画像の横方向の空間分解能を最大限に活用して大規模に横ずらしが行われる。

いいかえると、視差変調効果を最大限に発揮させるには視差あり画像が持つ空間分解能が水平方向に高いことが画素配列の条件として挙げられる。最初に６視差の例で示したように、左右の視差画素を水平方向に並べて水平解像を落としてしまうような構成はこのような観点からは望ましくなく、水平方向に高い分解能を持った視差画素配列が求められる。このような条件を満たすように配置したのが等方的な視差画素配列であり、図１９のｋ空間図で等方的な解像を示している。以下、他に挙げる疎な視差画素配列の例は全て等方的な視差画素配列構造を持ち、ｋ空間図と共に示していくことにする。

図９は、第２実施例における繰り返しパターン１１０の配列を説明する図である。第２実施例における繰り返しパターン１１０は、第１実施例と同様に、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。

第２実施例における視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））

他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第２実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝４個である。

この配列は、第１実施例で視差画素配列のＲＧＢ比を１：２：１としていたところをＲとＢの視差画素をＧと同じまで増加してＲ：Ｇ：Ｂ＝１：１：１とした配列である。その分視差なし画素の空間分解能が落ちる。実空間図とｋ空間図を図２０に示す。

図１０は、第３実施例における繰り返しパターン１１０の配列を説明する図である。第３実施例における繰り返しパターン１１０は、第１実施例、第２実施例と同様に、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。

第３実施例における視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_５５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））

他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差無し画素よりも多いことが好ましい。第３実施例の場合、Ｇ（Ｎ）＝３０個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。

この配列は、第１実施例で視差画素配列のＲＧＢ比を１：２：１としていたところをＧの視差画素をＲとＢと同じまで減らしてＲ：Ｇ：Ｂ＝１：１：１とした配列である。その分視差なし画素の空間分解能が上がる。実空間図とｋ空間図を図２１に示す。

第３実施例の場合、視差画素は、開口マスクの種類ごとに２次元方向の行方向（Ｘ方向）および列方向（Ｙ方向）のいずれに対してもずれて配置されている。すなわち、行方向においては、視差Ｌｔ画素は、１、２、７行目に配置されており、視差Ｒｔ画素は、３、５、６行目に配置されている。また、列方向においては、視差Ｌｔ画素は、１、２、３列目に配置されており、視差Ｒｔ画素は、５、６、７列目に配置されている。このように、カラーフィルタの種類別を考慮せずとも、開口マスクの種類ごとに２次元方向のいずれに対しても等間隔で配置されていれば、画素配列のランダム性がより向上し、高品質な視差画像を出力することができる。すなわち、視差情報を等方的に捉える。これは第１実施例で述べた配置の原則をそのまま踏襲して当てはめたものである。

図１１は、第４実施例における繰り返しパターン１１０の配列を説明する図である。第４実施例における繰り返しパターン１１０は、４画素を基本単位とするベイヤー配列を、Ｙ軸方向である縦方向に２つ、Ｘ軸方向である横方向に２つ組み合わせた上で、左上および右下のベイヤー配列におけるＧｂ画素のＧフィルタを、可視光波長帯域のいずれも通過させるＷフィルタに置き換えた、１６画素から構成される。この繰り返しパターン１１０は、１６画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。

第４実施例における視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素をＷフィルタが対応付けられたＰ_１１に、同じく右側に偏心した視差Ｒｔ画素のをＷフィルタが対応付けられたＰ_３３に有する。

他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差無し画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このような配列であっても、開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、２次元方向のいずれに対しても、等間隔で配置されている。また、視差画素は、開口マスクの種類ごとに２次元方向の行方向（Ｘ方向）および列方向（Ｙ方向）のいずれに対してもずれて配置されている。

この配列の実空間図とｋ空間図を図２２に示す。

第４実施例における撮像素子１００からは、視差画像データとして輝度情報を取得することができる。すなわち、画像データとしてモノクロの３Ｄ画像を出力させることができる他、被写体の距離を算出するための距離画像としても利用できる。また、高解像データである２Ｄ画像データを基礎として、輝度情報としての３Ｄ画像データの各画素における相対的な比を掛け合わせれば、高解像度のカラー視差画像データを生成することもできる。

これまで第１〜第４実施例で述べてきたのは「疎な視差画素」と「等方的な視差画素」の配置の両方の原則を守りながら構成した例である。この原則に基づいてその他に考えられうる色・視差画素の配列構成を以下の図に示す。図２３、図２４、図２５はカラーフィルタはＢａｙｅｒ配列の構造をとり、視差画素としてＧ画素のみを採用した場合の構成であり、それぞれ視差画素の密度を少しずつ変えたものである、図２６、図２７、図２８はモノクロのセンサーに対して、上記原則に基づいて構成した視差画素配列である。何れの図もｋ空間図で視差画素の周波数解像域は等方的で、かつ視差なし画素の解像域を広大に保ったままで、視差画素の情報もボケ領域に視差が発生するという観点から適切な範囲の分解能を備えている。

同様にして補色系の配列の例の場合を図２９、図３０、図３１、図３２に示す。なお、Ｃはシアン、Ｍはマゼンダ、Ｙはイエロー、Ｗはホワイトを意味する。

上述のように原色系、モノクロ系、補色系の場合の各視差画素配列について示してきたが、カラー配列の中でも特に優れる配列は実施例１にし示したものである。それは基本がＢａｙｅｒ配列にあり、視差なし画素も視差あり画素もＲＧＢ比がＲ：Ｇ：Ｂ＝１：２：１という視感度に近い分解能比を視差なし画素が通常のＢａｙｅｒ配列とほぼ同じ性能を保って実現するからである。

次に、第５実施例として、第１実施例の視差画素の密度をＲ、Ｇ、Ｂ成分ともに２倍に増やした場合の例を示す。第２実施例では、第１実施例のＲとＢ成分のみの視差画素のみを増やしたが、本実施形態ではＧ成分も増やし、視差なし画素間の色分配比Ｒ（Ｎ）：Ｇ（Ｎ）：Ｂ（Ｎ）＝１：２：１も左視差画素間の色分配比Ｒ（Ｌｔ）：Ｇ（Ｌｔ）：Ｂ（Ｌｔ）＝１：２：１も右視差画素間の色分配比Ｒ（Ｒｔ）：Ｇ（Ｒｔ）：Ｂ（Ｒｔ）＝１：２：１も全てがＢａｙｅｒ配列と同じ色分配比を保って、視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の分配比率Ｎ：Ｌｔ：Ｒｔ=１４：１：１からＮ：Ｌｔ：Ｒｔ=６：１：１に増やす。

図３４にその配列図を示す。合わせてそのｋ空間図も示す。ただし、ｋ空間図の視差なし画素の解像範囲は、視差画素が疎であるため、解像範囲がＢａｙｅｒ配列と比べて落ちなかったと仮定したものである。Ｇ（Ｌｔ）とＧ（Ｒｔ）の解像範囲はおよその見積もりで記載している。

配列の並びについて説明を加えておくと、８×８の基本格子内の様子を見ると、全ての行で左視差画素と右視差画素が１つ１つ存在している。また、全ての列でも左視差画素と右視差画素が１つ１つ存在している。その距離は等間隔に、異なる視差画素同士の距離が最も離れるように配置されている。また、色を無視して左視差画素同士を直線で結ぶと、水平から約３０度傾いた左斜め線が結ばれつつ、それと直交する方向にも右斜め線が結ばれる。これは右視差画素同士の間でも同様である。したがって、疎な視差画素が等方的に配置されている。

この配列は、２Ｄ解像と３Ｄ解像の空間解像バランスが非常によいという性能をもつ特徴がある。すなわち、視差なし画素が密な配列で２Ｄ画質を保ちつつ、視差画素が各々の行と列で捉えられるほどの密度で立体画像を生成できるということになる。ゆえに、第１実施例と第５実施例は、Ｂａｙｅｒ配列の色分配比率の概念を踏襲しながら、単眼瞳分割立体撮像に適した形で、発展させた視差画素配列ということができる。

次に、２Ｄ画像データと複数の視差画像データを生成する画像処理の概念について説明する。繰り返しパターン１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図５を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。以下に各プレーンデータの生成処理について、図７を用いて説明した第１実施例の撮像素子１００からの出力を例に説明する。

図１２は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を説明する図である。上段の図は、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_４３、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_７４、Ｐ_５６、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って画像処理を行う。

図１３は、視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

図１４は、視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_３２の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_７６の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

図１５は、視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータである。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_２７の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_６３の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度と同等である。

各プレーンの解像度の関係を示す概念図を図１６に示す。２Ｄ−ＲＧＢプレーンデータは、ＵＳ２０１０／０２１８５３号公報の技術などを用いて補間処理が施されることにより、実質的に撮像素子１００の有効画素と同じ画素数分の出力値を有する。ＧＬｔプレーンデータおよびＧＲｔプレーンデータは、補間処理が施されることにより、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／１６（＝１／４×１／４）の画素数分の出力値を有する。ＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータは、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／６４（＝１／８×１／８）の画素数分の出力値を有する。これら解像度の低い各プレーンデータをバイリニア補間することによって拡大変倍し、撮像素子の有効画素数と同じ画素数の解像度をもつプレーンデータに変換する。しかしながら、これらのプレーンデータは実質的に元の変倍前のプレーンデータが持っていた分解能しか解像力は有しない。すなわち、変倍拡大されたプレーンデータは緩やかに変化する画像データである。これらは既にｋ空間を用いて説明したことと同じことを実空間でもう一度説明したに過ぎない。

このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い２Ｄ画像を出力させることができる。そして、２Ｄ画像の情報を利用しつつ、前述の式の視差変調を行うことによって視差画像データを用いて合成処理を施せば、３Ｄ画像についても解像感のある画像として出力させることができる。

なお、第１実施例および第２実施例のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力させたい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、仕様、目的等に応じた、さまざまな繰り返しパターン１１０を形成することができる。この場合、２Ｄ画像の出力と３Ｄ画像の出力に対して共に解像感を持たせるためには、撮像素子１００の基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含みつつ、視差画素よりも視差なし画素を多くすることが肝要である。更には、視差画素を等方的に、かつ均等に配置するのが肝要である。

以上、発明の本質を要約すると次の３つの重要点を挙げることができる。第１番目に、視差画素による単眼瞳分割撮像方式は、視差が非合焦部のぼけた被写体像の領域で発生するだけであるから、左右の視差画像として取得すべき空間的な分解能は低くてよく、視差画素を疎な配置することができる。その分、合焦位置の高周波成分を備えた被写体像では視差が消滅するので、視差なし画像を密に配置することができ、単眼瞳分割方式に極めて相性の良い色・視差画素配列を提供することができる。

第２番目に左右の視差画像は、視差なし画像を水平方向に変調させて最終的な高解像なカラー視差画像を生成する役割を担う。そのときに、水平方向の視差変調を最も効果的に高解像に行うためには、視差画像が各々水平方向に高い分解能をもっている必要がある。その解決策を与えるのが、各視差画素を等方的に配置する色・視差画素配列である。

第３番目に、視差なし画素の間に視差画素を埋め込んだときに、視差なし画素の空間分解能を埋め込む前の状態をできるだけ保って、視差画素による損傷を極力抑える必要がある。そのための解決手段が視差画素同士を極力等方的に均質に配置して分布させる方法である。以上の理由により、「疎な視差画素配置」と「等方的な視差画素配置」が極めて有効な単眼瞳分割撮像方式の撮像素子の構成を与える。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。また、上述の例では、カラーフィルタを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる３原色を採用することもできる。

なお、視差なし画素として全開口の例を示したが、視差なし画素としては図３３に示すように、視差画素と同じ半開口の面積のマスクを画素の中心に配置することによっても実現することができる。

これまで説明してきた視差なし画素（Ｎ画素）と視差画素（Ｌｔ画素、Ｒｔ画素）が共存する配列は、Ｎ画素のみから成る通常のＢａｙｅｒ配列に比べて、視差画素はおよそ２倍の露光量まで信号量が飽和しないという特性を持つため、ワイドダイナミックレンジ配列を実現するという利点を有する。すなわち、視差画素の半分の開口が遮光されている特性自体が、視差を生み出す立体撮像効果と飽和レベルを拡張する高ダイナミックレンジ化の２つの効果を同時に実現する。したがって、実施形態に示してきた配列を用いて、２D画像や３D画像を生成すると、高ダイナミックレンジまで解像する性能を備えた画像を得ることができる。

以上の説明では、一つの画素に視差Ｌｔ画素および視差Ｒｔ画素のいずれかを割り当てていたが、視差Ｌｔ画素および視差Ｒｔ画素の両方を割り当てることもできる。例えば、一つの画素を構成する光電変換素子を左右に分割し、分割された左側を視差Ｌｔ画素、分割された右側を視差Ｒｔ画素として扱うことができる。このような画素配列においては、視差Ｌｔ画素および視差Ｒｔ画素の密度が高くなるので、視差Ｌｔ画素および視差Ｒｔ画素の空間解像度を高くすることができる。なお、視差画素の光電変換素子については、視差なし画素の光電変換素子の専有面積の略半分の専有面積を１画素として扱う。すなわち、Ｎ画素の正方画素と、視差Ｌｔ画素と視差Ｒｔ画素の矩形画素とが混在することになる。視差Ｌｔ画素とＲｔ画素を合わせると略正方領域となる。

図３５は、一例としての実空間の配列とｋ空間を示す図である。図３５に示す配列では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比がＮ：Ｌｔ：Ｒｔ＝１４：２：２となっている。図１９に示した配列に比べて、視差Ｌｔ画素と視差Ｒｔ画素の密度が高くなっている。その結果、図３５のｋ空間図に示すように、Ｒ，Ｇ，Ｂのそれぞれにおいて、視差Ｌｔ画素と視差Ｒｔ画素の空間解像度が高くなっている。

図３６は、一例としての実空間の配列とｋ空間を示す図である。図３６に示す配列では、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比がＮ：Ｌｔ：Ｒｔ＝６：２：２となっている。図３４に示した配列に比べて、視差Ｌｔ画素と視差Ｒｔ画素の密度が高くなっている。その結果、図３６のｋ空間図に示すように、Ｒ，Ｇ，Ｂのそれぞれにおいて、視差Ｌｔ画素と視差Ｒｔ画素の空間解像度が高くなっている。

以上、説明した画素配列の中の特別な条件を満たすものにおいて、水平方向に複数の画素を加算するとともに、垂直方向の複数の画素を間引くことにより、動画読み出しを行うことができる。図３７は図３４に示した配列で、動画読み出しを説明する図である。ここでは、水平方向に隣接する同色の３画素を加算するとともに、垂直方向に３画素間引く場合について説明する。図３７は、その様子を目で追いやすくするため、図３４に示した画素配列が縦方向および横方向のそれぞれに四つずつ並べて示している。また、画素の位置を（ｉ、ｊ）で表す。例えば、左上端の画素の位置は、（１、１）であり、右下端の画素の位置は、（３２、３２）である。

例えば、（１、１）に位置するＧＬｔ画素の画素値と、（１、３）に位置するＧ画素の画素値と、（１、５）に位置するＧＲｔ画素の画素値とを加算すことにより、加算後のＧの画素値を得ることができる。同様に、（１、７）に位置するＧ画素の画素値と、（１、９）に位置するＧＬｔ画素の画素値と、（１、１１）に位置するＧ画素の画素値とを加算すことにより、加算後のＧＬｔの画素値を得ることができる。加算および間引き後のＧＬｔ画素における視差量は、視差画素１つとＮ画素２つの平均をとるので、１／３に減衰する。したがって、視差変調のときに視差量を３倍に増幅するとよい。すなわち、差を一定に保つ視差変調のときは変調項全体を３倍すればよく、比を一定に保つ視差変調のときは変調項全体を３乗すればよい。

以上のように動画読み出しを行った場合と、全画素読み出しを行った場合とにおいて、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比はともにＮ：Ｌｔ：Ｒｔ＝６：１：１となる。また、配列構造もＲ成分とＢ成分の役割を入れ替えれば、全画素読出しのときと全く同じ配列になる。このように、視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比がＮ：Ｌｔ：Ｒｔ＝６：１：１の画素配列は、動画読み出しを行ってもＮ：Ｌｔ：Ｒｔ＝６：１：１のまま配列構造の位置関係も変わらないという優れた特性を持つ。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード

Claims (9)

1. 入射光を電気信号に光電変換する光電変換素子からなる画素がｘ−ｙ平面上に周期的に配置され、
   前記画素のそれぞれに一対一に対応して、視差を生じさせない基準方向、及び前記基準方向とは異なる第１視差方向と第２視差方向の少なくとも３種類の開口マスクが設けられ、
   前記第１視差方向の開口マスクを備えた画素の密度と前記第２視差方向の開口マスクを備えた画素の密度のそれぞれを、前記基準方向の開口マスクを備えた画素の密度よりも低い画素密度で周期的に配置した画素配列を有し、
   前記画素の全てが同じ分光感度特性をもつモノクロ画素からなるとき、
   前記第１視差方向の開口マスクを備えた画素の密度と前記第２視差方向の開口マスクを備えた画素の密度のそれぞれを、前記基準方向の開口マスクを備えた画素の密度の1／8以下の密度となるように画素を配置した撮像素子。
2. 前記画素のそれぞれに一対一に対応して、２種類以上の色成分からなるカラーフィルタが設けられ、少なくとも１つの色成分のカラーフィルタが配された画素に対して、前記基準方向の開口マスクを備えた画素、前記第１視差方向の開口マスクを備えた画素、及び前記第２視差方向の開口マスクを備えた画素のそれぞれが配置されているとき、
   前記１つの色成分のカラーフィルタが配された画素の間で、前記第１視差方向の開口マスクを備えた画素の密度と前記第２視差方向の開口マスクを備えた画素の密度のそれぞれを、前記基準方向の開口マスクを備えた画素の密度よりも低い画素密度となる関係を満たすように画素を配置した画素配列からなる請求項１に記載の撮像素子。
3. 前記第１視差方向の開口マスクを備えた画素の密度と前記第２視差方向の開口マスクを備えた画素の密度のそれぞれを、前記基準方向の開口マスクを備えた画素の密度の半分以下の密度となるように画素を配置したことを特徴とする請求項２に記載の撮像素子。
4. 前記基準方向の開口マスクを備えた画素、前記第１視差方向の開口マスクを備えた画素、及び前記第２視差方向の開口マスクを備えた画素のそれぞれを、前記２種類以上の色成分のカラーフィルタのそれぞれに対して配することを特徴とする請求項２に記載の撮像素子。
5. 前記２種類以上の色成分がＲ，Ｇ，Ｂの３つの色成分からなるとき
   前記第１視差方向の開口マスクを備えた画素と前記第２視差方向の開口マスクを備えた画素のそれぞれに対し、Ｒ，Ｂ成分よりもＧ成分の密度を高く配置することを特徴とする請求項４に記載の撮像素子。
6. 前記第１視差方向の開口マスクを備えた画素を、ｘ方向とｙ方向の２つの方向の間で等間隔に並べて等方的に配置するとともに、前記第２視差方向の開口マスクを備えた画素を、ｘ方向とｙ方向の２つの方向の間で等間隔に並べて等方的に配置した画素配列からなる請求項１から５のいずれか１項に記載の撮像素子。
7. 請求項１に記載の撮像素子で撮像された基準方向の画素信号と第１視差方向の画素信号と第２視差方向の画素信号の各々を用いて、撮像素子が持つ画素数と同じ画素数からなる第１視差方向の画像と第２視差方向の画像を各々生成する画像生成装置を更に備えた撮像システム。
8. 入射光を電気信号に光電変換する光電変換素子からなる画素がｘ−ｙ平面上に周期的に配置され、
   前記画素のそれぞれに一対一に対応して、視差を生じさせない基準方向、及び前記基準方向とは異なる第１視差方向と第２視差方向の少なくとも３種類の開口マスクが設けられ、
   前記第１視差方向の開口マスクを備えた画素の密度と前記第２視差方向の開口マスクを備えた画素の密度のそれぞれを、前記基準方向の開口マスクを備えた画素の密度よりも低い画素密度で周期的に配置した画素配列を有し、
   前記画素配列における全画素が読み出された場合と、前記画素配列において前記ｘ方向における複数の前記画素の画素値が加算されるとともに、前記ｙ方向の複数行が間引いて読み出された場合とで、前記基準方向の開口マスクを備えた画素、前記第１視差方向の開口マスクを備えた画素、及び前記第２視差方向の開口マスクを備えた画素の密度比が同一となる撮像素子。
9. 前記基準方向の開口マスクを備えた画素、前記第１視差方向の開口マスクを備えた画素、及び前記第２視差方向の開口マスクを備えた画素の密度比が６：１：１である請求項８に記載の撮像素子。