JPWO2013108656A1 - 固体撮像素子およびカメラシステム - Google Patents

Abstract

固体撮像素子は、光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、画素アレイ部は、それぞれが複数の画素を有する第１および第２の画素群を有し、第１の画素群に輝度の主成分画素が割り当てられ、第２の画素群に色画素が割り当てられているものである。

Description

本技術は、たとえばライトフィールド（Light Field）技術を適用するステレオカメラや単眼や複眼の３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子およびカメラシステムに関するものである。

ライトフィールドカメラ（Light Field Camera）としては、特許文献１や特許文献２に開示された技術が知られている。
特許文献１に開示された技術では、色フィルタアレイのカラーコーディング（色配列）を、ＲＧＢベイヤー配列を４５度回転させた市松配列（ジグザグ配列）で、上下左右隣接４画素が同一色とする。すなわち、同色４画素単位でＲＧＢの各フィルタが正方配列されたカラーコーディングとする。
そして、異なる色を跨ぐように４画素（上下２画素×左右２画素）単位で一つのマルチレンズアレイを共有する。

また、特許文献２に開示された技術においても、画素は水平方向および垂直方向からそれぞれ４５°回転した２方向に沿って２次元状にジグザク配列されている。
そして、マイクロレンズアレイにより、撮像対象物の光線が撮像素子において互いに視点の異なる光線ベクトルとして記録され、視差情報が得られる。撮像素子が上記のような画素配列であることにより、同一サイズの画素を水平および垂直方向に沿って２次元配列させた場合に比べ、水平方向および垂直方向における画素ピッチが狭くなる。

特開２０１０−２３９３３７号公報 特開２０１０−１５４４９３号公報

ところが、特許文献１や特許文献２に開示された技術では、基本的に、解像度を出すための、輝度主成分（GreenやWhite）画素が、ステレオのＬ/Ｒに分かれるために、解像度が半分になってしまう。
また、解像度劣化を回避するフレームシーケンシャル方式では、蓄積時間が１/２になるために、感度が１/２になってしまう。
また、Ｌ/Ｒを２分割する方法では、データ量が２倍になるために、速度・電力が倍増してしまう。

特許文献１や特許文献２に開示された技術において、フル解像度を得るためには、複雑な構造と複雑な信号処理を行うことが望ましい。

したがって、複雑な構造と複雑な信号処理を必要とすることなく、ステレオ化による解像度、感度の低下、速度および電力の低下を抑止することが可能な固体撮像素子およびカメラシステムを提供することが望ましい。

本技術の一実施の形態の第１の観点の固体撮像素子は、光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、上記画素アレイ部は、それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、上記第１の画素群に上記輝度の主成分画素が割り当てられ、上記第２の画素群に上記色画素が割り当てられている。

本技術の一実施の形態の第２の観点のカメラシステムは、固体撮像素子と、上記固体撮像素子に被写体像を結像する光学系と、を有し、上記固体撮像素子は、光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、上記画素アレイ部は、それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、上記第１の画素群に上記輝度の主成分画素が割り当てられ、上記第２の画素群に上記色画素が割り当てられている。

本技術の一実施の形態の第１の観点の固体撮像素子および第２の観点のカメラシステムによれば、複雑な構造と複雑な信号処理を必要とすることなく、ステレオ化による解像度、感度の低下、速度および電力の低下を抑止することができる。

本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の構成の概略を示すシステム構成図である。 単位画素の回路構成の一例を示す回路図である。 裏面照射型固体撮像素子の基本的な画素構造例を示す図である。 図３の半導体基板のウェル構造例を示す図である。 隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図である。 画素配列例としてベイヤー配列を示す図である。 本実施形態に係る画素分割の概念図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第１の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第２の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第３の特徴的構成例を示す図である。 本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第４の特徴的構成例を示す図である。 輝度の主成分画素がＷ画素の場合の単眼３Ｄ対応の信号処理系の構成例を示す図である。 輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の固体撮像素子の輝度および色画素の分離処理を拡大して示す図である。 輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の信号処理系の構成例を示す図である。 輝度の主成分画素がＷ画素の場合の単眼３Ｄ対応の信号処理系の他の構成例を示す図である。 輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の信号処理系の他の構成例を示す図である。 図１２および図１５の構成に対応する偏光方式の画素配列を示す図である。 図１４および図１６の構成に対応する偏光方式の画素配列を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度と各色光のスペクトル分布とを示す特性図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素として、Ｗ画素およびＧ画素を用いた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素として、Ｗ画素およびＧ画素を用いた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（単眼３Ｄ対応）の構成例を示す図である。 輝度の主成分画素がＷ画素の場合の固体撮像素子（２眼２チップ３Ｄ対応）の第１の構成例を示す図である。 図２５の固体撮像素子による視差シフト後のＬ/Ｒ画像に対して空間位相ズラシを行う処理を概念的に示す図である。 輝度の主成分画素がＷ画素の場合の固体撮像素子（２眼２チップ３Ｄ対応）の第２の構成例を示す図である。 輝度の主成分画素がＧ画素の場合の固体撮像素子（２眼２チップ３Ｄ対応）の第３の構成例を示す図である。 輝度の主成分画素がＧ画素の場合の固体撮像素子（２眼２チップ３Ｄ対応）の第４の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素として、Ｗ画素およびＧ画素を用いた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 図４１Ａに示した固体撮像素子の信号処理例を説明するための模式図である。 輝度の主成分画素として、Ｗ画素およびＧ画素を用いた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素として、Ｗ画素およびＧ画素を用いた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／正方配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 輝度の主成分画素（Ｗ，Ｇ画素）にＩＲ画素を混在させた固体撮像素子（２眼２チップ３Ｄ対応／ジグザグ配列）の構成例を示す図である。 図２５の固体撮像素子（ＭＯＳイメージセンサ）の信号処理系に超解像技術を適用した処理を概念的に示す図である。 図２８の固体撮像素子（ＭＯＳイメージセンサ）の信号処理系に超解像技術を適用した処理を概念的に示す図である。 本実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．固体撮像素子の構成例（ＣＭＯＳイメージセンサの例）
２．本実施形態の特徴的構成
２−１．第１の特徴的構成例
２−２．第２の特徴的構成例
２−３．第３の特徴的構成例
２−４．第４の特徴的構成例
３．単眼の場合の信号処理系
３−１．信号処理系の第１の構成例
３−２．信号処理系の第２の構成例
３−３．信号処理系の第３の構成例
３−４．信号処理系の第４の構成例
３−５．単眼の場合の他の構成例
４．２眼または単眼２チップの信号処理系
４−１．２眼２チップの３Ｄ対応の固体撮像素子の第１の構成例
４−２．２眼２チップの３Ｄ対応の固体撮像素子の第２の構成例
４−３．２眼２チップの３Ｄ対応の固体撮像素子の第３の構成例
４−４．２眼２チップの３Ｄ対応の固体撮像素子の第４の構成例
４−５．２眼２チップの場合の他の構成例
４−６．２眼２チップの３Ｄ対応の信号処理系に超解像技術を適用した第１例
４−７．２眼２チップの３Ｄ対応の信号処理系に超解像技術を適用した第２例
５．カメラシステムの構成例

＜１．固体撮像素子の構成例＞
［システム構成］
図１は、本実施形態に係る固体撮像素子、たとえばＸ−Ｙアドレス型固体撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示すシステム構成図である。

本実施形態に係るＣＭＯＳイメージセンサ１０は、半導体基板（以下、単に「センサチップ」と記述する場合もある）１１に形成された画素アレイ部１２と、画素アレイ部１２と同じ半導体基板１１に集積された周辺回路部とを有する。
周辺回路部としては、たとえば、垂直駆動部１３、カラム処理部１４、水平駆動部１５およびシステム制御部１６が配置されている。また、センサチップ１１の外部には、信号処理系を構成するＤＳＰ(Digital Signal Processor；デジタル信号処理回路)回路３１および画像メモリ３２が配置されている。

画素アレイ部１２には、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子あるいは光電変換膜を含む図示しない単位画素（以下、単に「画素」と記述する場合もある）がアレイ状に配置されている。
単位画素の具体的な回路構成および積層構造については後述する。図１の例では、画素アレイ部１２の受光面（光入射面）側には、色フィルタアレイ３３や光電変換膜が形成され、その上部側にマルチレンズアレイ（Multi Lens Array；MLA）３４が配置されている。また、色フィルタアレイ３３や光電変換膜上にはオンチップレンズＯＣＬが配置される。
基本的に、本実施形態においては、後述するように、ライトフィールド（Light Field）のステレオ版として、マルチレンズアレイ（ＭＬＡ）でＬＲ視差分離を行う構成が採用される。
また、本実施形態では、後述するように、ステレオ化による解像度、感度の低下、速度および電力の低下を抑止しつつ、単眼または複眼（２眼）で２Ｄ（２次元）画像や３Ｄ（３次元）ステレオのＷＤＲ画像を得ることが可能に構成される。
本実施形態においては、後で詳述するが、ステレオのＬ/Ｒの一方のチャネル（ｃｈ）に輝度の主成分画素（ＷやＧ）-を割り当て、もう一方に色画素（Ｇ、Ｒ、Ｂ）を割り当てる。
こうすることで、輝度解像度および色解像度の劣化を無くすことができる。
尚、本実施の形態（以下の実施の形態等も同様）における「チャネル」とは、いわゆるステレオ方式における一視点（一方向）に相当するものである。本明細書においては、左視点および右視点に対応するＬ，Ｒチャネルを例に挙げる。また、本技術の固体撮像素子における「画素群」とは、１つのチャネルに対応する方向から撮影された画像を得るための画素の集合に相当するものである。即ち、「第１の画素群」および「第２の画素群」は視差をもつ（第１および第２の画素群から得られる各画像間には視差がある）。ここでは、このような「第１の画素群」に対応するＲチャネルに、輝度の主成分画素（例えば、Ｗ，Ｇ）が割り当てられ、「第２の画素群」に対応するＬチャネルに、色画素（例えばＲ，Ｇ，Ｂ等）が割り当てられている。但し、本技術の「第１の画素群」および「第２の画素群」は、上記左視点および右視点に相当するものに限定されず、視差を生じるものであれば、他の様々な視点（方向）に対応する画素群に適用できる。

画素アレイ部１２は、一例として、基本的に、単位画素の一部が正方配列（長方配列）を基準として、たとえば４５°だけ各単位画素を回転させた市松模様のようなジグザグ配列が適用される。
各単位画素は、入射光を受光し、受光した光の光電変換機能、電荷蓄積機能、並びに、蓄積電荷を検出する電荷蓄積機能を含んで構成される。
各単位画素は、後述するように、少なくとも受光機能を含む第１画素部と、第１画素部に対向するように形成され、少なくとも電荷検出機能を含む第２画素部が積層（重畳）するように構成される。
画素の構造としては、たとえば基板の一方の面側（裏面側）から光を入射し、他方の面側（表面側）に電荷検出用トランジスタ等の素子が形成される裏面照射型固体撮像素子の構造あるいは受光部に光電変換膜が形成される積層型固体撮像素子の構造が採用される。

なお、本技術は、このジグザグ配列に限らず、通常の正方配列にも適用することができる。

画素アレイ部１２にはさらに、行列状の画素配列に対して行ごとに画素駆動線１８が図の左右方向（画素行の画素配列方向／水平方向）に沿って配線され、列ごとに垂直信号線１７が図の上下方向（画素列の画素配列方向／垂直方向）に沿って形成されている。
画素駆動線１８の一端は、垂直駆動部１３の各行に対応した出力端に接続されている。図１では、画素駆動線１８について１本として示しているが、１本に限られるものではない。

垂直駆動部１３は、シフトレジスタやアドレスデコーダなどによって構成されている。ここでは、具体的な構成については図示を省略するが、垂直駆動部１３は、読出し走査系と掃出し走査系とを含んだ構成を有する。読出し走査系は、信号を読み出す単位画素について行単位で順に選択走査を行う。

一方、掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対し、その読出し走査よりもシャッタスピードの時間分だけ先行してその読出し行の単位画素の光電変換素子から不要な電荷を掃き出す（リセットする）掃出し走査を行う。
この掃出し走査系による不要電荷の掃き出し（リセット）により、いわゆる電子シャッタ動作が行われる。
ここで、電子シャッタ動作とは、光電変換素子等の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応する。
そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の蓄積時間（露光時間）となる。
本実施形態においては、後述するように、この露光時間の制御や色フィルタの透過率を変えるデバイスを採用することによりワイドダイナミックレンジを得ることが可能となる。

垂直駆動部１３によって選択走査された画素行の各単位画素から出力される信号は、垂直信号線１７の各々を通してカラム処理部１４に供給される。
カラム処理部１４は、画素アレイ部１２の画素列ごとに、選択行の各画素から出力されるアナログの画素信号に対してあらかじめ定められた信号処理を行う。

カラム処理部１４での信号処理としては、たとえばＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理が挙げられる。
ＣＤＳ処理は、選択行の各画素から出力されるリセットレベルと信号レベルとを取り込み、これらのレベル差を取ることによって１行分の画素の信号を得るとともに、画素の固定パターンノイズを除去する処理である。
カラム処理部１４に、アナログの画素信号をデジタル化するＡ／Ｄ変換機能を持たせることも可能である。

水平駆動部１５は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１４の画素列に対応した回路部分を順番に選択走査する。
この水平駆動部１５による選択走査により、カラム処理部１４で画素列ごとに信号処理された画素信号が順番にセンサチップ１１の外部へ出力される。
すなわち、センサチップ１１からは、色フィルタアレイ３３や光電変換膜のカラーコーディング（色配列）に対応した画素信号がそのままＲＡＷデータ（生データ）として出力される。

システム制御部１６は、センサチップ１１の外部から与えられるクロックや、動作モードを指令するデータなどを受け取り、また、本ＣＭＯＳイメージセンサ１０の内部情報などのデータを出力する。
システム制御部１６は、各種のタイミング信号を生成するタイミングジェネレータを有し、タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動部１３、カラム処理部１４、水平駆動部１５などの駆動制御を行う。

センサチップ１１の外部回路であるＤＳＰ回路３１は、センサチップ１１から出力されるたとえば１フレーム分の画像データを画像メモリ３２に一時的に蓄え、画像メモリ３２に蓄えられた画素情報を基にデモザイク処理等を実行する。
デモザイク処理とは、単色の色情報しか持たない各画素の信号に対して、その周辺画素の信号から足りない色情報を集め与えることで色情報を補完してフルカラー画像を作り出す処理である。
ＤＳＰ回路３１は、さらにリモザイク処理や相間処理による２Ｄ画像、３Ｄ画像の生成処理等を行う。
ＤＳＰ３１の信号処理については、後で詳述する。

（単位画素の第１の構成例）
図２は、単位画素２０の回路構成の一例を示す回路図である。
図２に示すように、本実施形態に係る単位画素２０は、光電変換素子、たとえばフォトダイオード（ＰＤ）２１と、たとえば転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタとを有する。

ここでは、４つの転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５として、たとえばＮチャネルのＭＯＳトランジスタを用いている。ただし、ここで例示した転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の導電型の組み合わせは一例に過ぎず、これらの組み合わせに限られるものではない。

この単位画素２０に対して、画素駆動線１８として、たとえば、転送線１８１、リセット線１８２および選択線１８３の３本の駆動配線が同一画素行の各画素について共通に配線されている。
これら転送線１８１、リセット線１８２および選択線１８３の各一端は、垂直駆動部１３の各画素行に対応した出力端に、画素行単位で接続されている。

フォトダイオード２１は、アノード電極が負側電源(たとえば、グランド)に接続されており、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換する。
フォトダイオード２１のカソード電極は、転送トランジスタ２２を介して増幅トランジスタ２４のゲート電極と電気的に接続されている。
増幅トランジスタ２４のゲート電極と電気的に繋がったノード２６をＦＤ（フローティングディフュージョン）部と呼ぶ。

転送トランジスタ２２は、フォトダイオード２１のカソード電極とＦＤ部２６との間に接続されている。
転送トランジスタ２２のゲート電極には、高レベル（たとえば、Ｖｄｄレベル）がアクティブ（以下、「Ｈｉｇｈアクティブ」と記述する）の転送パルスφＴＲＦが転送線１８１を介して与えられる。
転送パルスφＴＲＦが与えられることで、転送トランジスタ２２はオン状態となってフォトダイオード２１で光電変換された光電荷をＦＤ部２６に転送する。

リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。
リセットトランジスタ２３のゲート電極には、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ＨｉｇｈアクティブのリセットパルスφＲＳＴがリセット線１８２を介して与えられる。
リセットパルスφＲＳＴが与えられることで、リセットトランジスタ２３はオン状態となり、ＦＤ部２６の電荷を画素電源Ｖｄｄに捨てることによってＦＤ部２６をリセットする。

増幅トランジスタ２４は、ゲート電極がＦＤ部２６に、ドレイン電極が画素電源Ｖｄｄにそれぞれ接続されている。
そして、増幅トランジスタ２４は、リセットトランジスタ２３によってリセットした後のＦＤ部２６の電位をリセット信号（リセットレベル）Ｖｒｅｓｅｔとして出力する。
増幅トランジスタ２４は、転送トランジスタ２２によって信号電荷を転送した後のＦＤ部２６の電位を光蓄積信号（信号レベル）Ｖｓｉｇとして出力する。

選択トランジスタ２５は、たとえば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１７にそれぞれ接続されている。
選択トランジスタ２５のゲート電極には、Ｈｉｇｈアクティブの選択パルスφＳＥＬが選択線１８３を介して与えられる。
選択パルスφＳＥＬが与えられることで、選択トランジスタ２５はオン状態となって単位画素２０を選択状態とし、増幅トランジスタ２４から出力される信号を垂直信号線１７に中継する。

なお、選択トランジスタ２５については、画素電源Ｖｄｄと増幅トランジスタ２４のドレインとの間に接続した回路構成を採ることも可能である。

また、単位画素２０としては、上記構成の４つのトランジスタからなる画素構成のものに限られるものではない。
たとえば、増幅トランジスタ２４と選択トランジスタ２５とを兼用した３つのトランジスタからなる画素構成のものなどであっても良く、その画素回路の構成は問わない。

（裏面照射型の画素構造）
上述した構成の単位画素を含む固体撮像素子は、たとえば基板の一方の面側（裏面側）から光を入射し、他方の面側（表面側）に電荷検出用トランジスタ等の素子が形成される裏面照射型固体撮像素子として形成される。

図３は、裏面照射型固体撮像素子の基本的な画素構造例を示す図である。
図４は、図３の半導体基板のウェル構造例を示す図である。
図３および図４は、画素が形成される画素領域（画素アレイ部）と周辺回路領域（周辺回路部）が並列に形成されている構成を簡略的に示している。また、図面の簡単化のため、画素領域には一つの画素のみが示されており、ここで示す裏面照射型画素構造はあくまでも一例であり、種々の形態の画素構造を採用することが可能である。

図３において、ウェハーをＣＭＰ(Chemical Mechanical Polishing)によって研磨することにより、１０〜２０μｍ程度の厚さのシリコン（Ｓｉ）層（素子層）４１が形成される。その厚さの望ましい範囲は、可視光に対して５〜１５μｍ、赤外光に対して１５〜５０μｍ、紫外域に対して３〜７μｍである。このシリコン層４１の一方の面側（裏面側）にはＳｉＯ２膜４２を挟んで遮光膜４３（ＢＬＤ）が形成されている。
遮光膜４３は配線と異なり、光学的な要素だけを考慮してレイアウトされる。この遮光膜４３には開口部４３Ａが形成されている。遮光膜４３のさらに裏面側には、パッシベーション膜としてシリコン窒化膜（ＳｉＮ）４４が形成され、さらに開口部４３Ａの裏面側の光入射経路に色フィルタ４５およびオンチップレンズ（マイクロレンズ）４６が形成されている。
すなわち、シリコン層４１の一方の面側から入射する光は、オンチップレンズ（マイクロレンズ）４６および色フィルタ４５を経由して、シリコン層４１に形成されるフォトダイオード（ＰＤ）４７の受光面に導かれる画素構造となっている。
フォトダイオード４７は、図２のフォトダイオード２１に相当し、光電変換機能および電荷蓄積機能を有し、ここでは、オンチップレンズ４６、色フィルタ４５とともに、受光部（第１画素部）を形成する。
シリコン層４１の他方の面側（表面側）には、トランジスタや金属配線が形成される配線層４８が形成され、その下にはさらに基板支持材４９が貼り付けられている。

通常のＣＭＯＳイメージセンサでは、配線層側を表面側とし、この配線層側から入射光を取り込む表面受光型の画素構造を採っている。
これに対して、本実施形態に係るＣＭＯＳイメージセンサでは、配線層４８と反対側の面（裏面）側から入射光を取り込むことから、裏面照射（受光）型の画素構造となっている。
この裏面照射（受光）型画素構造から明らかなように、オンチップレンズ（マイクロレンズ）４６からフォトダイオード４７までの間には遮光膜４３が金属層として存在するだけである。またこの遮光膜４３のフォトダイオード４７からの高さがＳｉＯ２膜４２の膜厚(たとえば、約０．５μｍ)と低いことから、金属層でのけられによる集光の制限を無くすことができる。

図４は、図３のシリコン層４１のウェル構造の一例を示す簡略断面構造図であり、図中、図３と同等部分には同一符号を付して示している。

本例では、Ｎ−型基板５１を用いている。シリコン層４１の厚さは、先述したように、可視光に対しては５〜１５μｍが望ましく、本例では１０μｍとしている。これにより、可視光を良好に光電変換できる。シリコン層４１の一方の面には、浅いＰ＋層５２が画素部の全面に亘って形成されている。画素分離領域は深いＰウェル５３によって形成されており、一方の面のＰ＋層５２とつながっている。

フォトダイオード４７はＰウェルを形成しないことで、Ｎ−型基板５１を利用して形成されている。このＮ−型領域（基板）５１が光電変換領域であり、その面積が小さく濃度が薄いために完全空乏化している。
その上に、信号電荷(本例では、電子)を蓄積するＮ＋領域５４が形成され、その上にさらに、埋め込みフォトダイオードとするためのＰ＋層５５が形成されている。

なお、フォトダイオード４７は、図４から明らかなように、受光面側の表面積が配線層４８側の表面積よりも広くなるように形成されている。これにより、入射光を効率良く取り込めることになる。
このフォトダイオード４７で光電変換されかつＮ＋領域５４に蓄積された信号電荷は、転送トランジスタ５６（図２の転送トランジスタ２２）によってＮ＋型領域のＦＤ（フローティングディフュージョン）５７に転送される。
フォトダイオード４７側とＦＤ５７とはＰ−層（４８）によって電気的に分離されている。

画素内の転送トランジスタ２２以外のトランジスタ（図２の増幅トランジスタ２４、選択トランジスタ２５およびリセットトランジスタ２３）は、深いＰウェル５３に通常通り形成されている。
一方、周辺回路領域については、裏面のＰ＋層５２に到達しない深さにＰウェル５９が形成され、このＰウェル５９の内側にさらにＮウェル６０が形成され、これらウェル５９，６０の領域にＣＭＯＳ回路が形成される。

（画素加算）
ところで、一般的に、動画撮像のときにはフレームレートを上げ、高速動画撮像を実現するために、隣接する複数の画素の信号を加算して読み出す画素加算が行われる。
この画素加算については、画素内や、垂直信号線１７上や、カラム処理部１４や、後段の信号処理部などで行うことができる。
ここで、一例として、たとえば２×２の正方配列における上下左右に隣接する４画素の信号を画素内で加算する場合の画素構成について説明する。

図５は、隣接４画素加算を画素内で行う場合の回路構成の一例を示す回路図であり、図中、図２と同等部分には同一符号を付して示している。

図５において、上下左右に隣接する４画素のフォトダイオード２１を、フォトダイオード２１−１，２１−２，２１−３，２１−４とする。
これらフォトダイオード２１−１，２１−２，２１−３，２１−４に対して、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４が設けられ、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５が１個ずつ設けられている。

すなわち、転送トランジスタ２２−１，２２−２，２２−３，２２−４は、各一方の電極がフォトダイオード２１−１，２１−２，２１−３，２１−４の各カソード電極に接続され、各他方の電極が増幅トランジスタ２４のゲート電極に共通に接続されている。
この増幅トランジスタ２４のゲート電極には、フォトダイオード２１−１，２１−２，２１−３，２１−４に対して共通のＦＤ部２６が電気的に接続されている。
リセットトランジスタ２３は、ドレイン電極が画素電源Ｖｄｄに、ソース電極がＦＤ部２６にそれぞれ接続されている。

上記構成の隣接４画素加算に対応した画素構成において、４個の転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して同じタイミングで転送パルスφＴＲＦを与えることで、隣接する４画素間での画素加算を実現できる。
すなわち、フォトダイオード２１−１，２１−２，２１−３，２１−４から転送トランジスタ２２−１，２２−２，２２−３，２２−４によってＦＤ部２６に転送された信号電荷は、ＦＤ部２６において加算（ＦＤ加算と記述する場合もある）されることになる。

一方、転送トランジスタ２２−１，２２−２，２２−３，２２−４に対して異なるタイミングで転送パルスφＴＲＦを与えることで、画素単位での信号出力も実現できる。
すなわち、動画撮像時には画素加算を行うことによってフレームレートの向上を図ることができるのに対して、静止画撮像時には全画素の信号を独立して読み出すことで、解像度の向上を図ることができる。

［画素配列］
上述したように、画素アレイ部１２は、基本的には、複数の画素がマトリクス状（行列状）に配置されて構成される。
画素アレイ部１２は、その画素配列として、たとえば図６に示すようなベイヤー配列が採用される。

本実施形態の画素アレイ部１２は、一つの画素がたとえばフォトダイオードにより形成される光電変換素子を含む複数の分割画素セルＤＰＣに分割されている。
具体的には、固体撮像素子（ＣＭＯＳイメージセンサ）１０において、ベイヤー配列の同一色フィルタ下の１画素について、２ケ以上複数個の分割画素セルＤＰＣに分割されている。この場合、感度または蓄積時間を変えて２ケ以上複数個に分割されている分割画素セルＤＰＣは、感度または蓄積時間（露光時間）を変えて分割することが可能である。

以下の説明では、一つの画素が４つの分割画素セルＤＰＣ−Ａ〜ＤＰＣ−Ｄに分割されている場合を例に説明する。

図７は、本実施形態に係る画素分割の概念図である。
図７にはベイヤー配列の場合の分割方法が示されており、同じ色フィルタの下にある（色フィルタに対向して配置された）１画素を４分割した例で、たとえば分割された個々の画素では感度または蓄積時間がそれぞれ異なる。
図７では、一例として、Ｇ（緑）画素ＰＣＧをＤＰＣ−Ａ，ＤＰＣ−Ｂ，ＤＰＣ−Ｃ，ＤＰＣ−Ｄの４つの画素に分割した場合が示されている。たとえばＤＰＣ−ＡとＤＰＣ−Ｂの２つの画素に分割することも可能である。

＜２．本実施形態の特徴的構成＞
本実施形態において、上記構成を有するＣＭＯＳイメージセンサ１０は、ライトフィールド（Light Field）技術を適用するステレオカメラや単眼あるいは２眼の３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子として構成されている。
以下、ステレオカメラや単眼あるいは２眼の３次元（３Ｄ）ステレオカメラに適用可能な固体撮像素子としての特徴的な構成について具体的に説明する。
以下では、理解を容易にするために、正方配列（長方配列）の基本的な構成例を説明し、その後、市松模様のようにジグザグ配列の構成例について説明する。
なお、以下の説明では、図中に示すＸ−Ｙ座標において、Ｘ方向が第１方向に相当し、Ｙ方向が第２方向に相当し、Ｘ方向を水平方向または横方向といい、Ｙ方向を垂直方向または縦方向という場合もある。

＜２−１．第１の特徴的構成例＞
図８は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第１の特徴的構成例を示す図である。

図８のＣＭＯＳイメージセンサ１０Ａは、ステレオカメラに適用可能で、ライトフィールド（Light Field）のステレオ版として、マルチレンズアレイ（Multi Lens Array）３４でＬＲ視差分離を行う。
この構成では、サイドバイサイド（Side by Side）記録方式とマッチすることから有用である。
ここで、Ｌはステレオにおける左（Ｌｅｆｔ）を示し、Ｒはステレオにおける右（Ｒｉｇｈｔ）を示す。光学特性によっては、ＬとＲが反転するケースもあり、その場合はＬとＲを入れ替えて捉えることで対応可能である。

ＣＭＯＳイメージセンサ１０Ａにおいて、画素アレイ部１２Ａは、正方配列（長方配列）でかつベイヤー配列の場合の各画素の分割方法が採用されている。
図８においては、それぞれが輝度の主成分画素としてのＷ画素を含む複合画素としての、Ｇ画素ＰＣＧ１１−１、Ｒ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、およびＢ画素ＰＣＢ１１が２×２のベイヤー配列となるように、色フィルタアレイ３３が形成されている。この配列が行列状に形成されている。
図８の例では、一部のみを示し、Ｂ画素ＰＣＢ１１の横方向に隣接して、隣接のベイヤー配列のＧ画素ＰＣＧ１２−１が配置され、Ｇ画素ＰＣＧ１１−２の横方向に隣接して、隣接のベイヤー配列のＲ画素ＰＣＲ１２が配置されている例を示している。
図８の例では、第１行にＧ画素ＰＣＧ１１−１、Ｂ画素ＰＣＢ１１、Ｇ画素ＰＣＧ１２−１が配置され、第２行にＲ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、Ｒ画素ＰＣＲ１２が配列されている。

図８の例では、各Ｇ画素ＰＣＧ１１−１、Ｒ画素ＰＣＲ１１、Ｇ画素ＰＣＧ１１−２、およびＢ画素ＰＣＢ１１、Ｇ画素ＰＣＧ１１−２、Ｒ画素ＰＣＲ１２はそれぞれ第１方向（Ｘ方向）に、各色画素Ｇ、Ｒ、Ｂと輝度の主成分のＷ画素とに２分割されている。

Ｇ画素ＰＣＧ１１−１は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１１は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＲ画素ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

Ｂ画素ＰＣＢ１１は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＢ画素ＤＰＣ−ＢＢ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｂ画素ＤＰＣ−ＢＢ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１１−２は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１２−１は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１２は、輝度の主成分のＷ画素ＤＰＣ−ＡＷ１、色画素であるＲ画素ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、Ｗ画素ＤＰＣ−ＡＷ１はステレオのＲ用に割り当てられ、Ｒ画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

このように、本例では、ステレオのＬ/Ｒの一方のチャネル（本例ではＲ）に輝度の主成分画素としてＷ画素を割り当て、もう一方（本例ではＬ）に色画素Ｒ、Ｇ、Ｂを割り当てる。
このように構成することにより、輝度解像度および色解像度の劣化をなくすことができる。
また、単眼３Ｄセンサでは、市松状にＬ/Ｒ分離フィルタを設けることで、市松の輝度画素配列に一致させることが可能となる。
特に、ＭＬＡをジグザグ（Zigzag）配列することで、効率的な視差分離が可能となる。

また本例では、画素配列の同一列（第２方向であるＹ方向の配列）の各分割画素は、同一のステレオ用のＲおよびＬの機能が割り当てられている。
換言すれば、画素配列の同一行（Ｘ方向の配列）の各分割画素は、ステレオ用のＲおよびＬの機能が交互に割り当てられている。

図８に示すように、半導体基板１１には、遮光部ＢＬＤや配線が形成され、その上層に色フィルタアレイ３３が形成され、色フィルタアレイ３３の上層にオンチップレンズ（ＯＣＬ）アレイ３５が形成されている。
オンチップレンズアレイ３５の各オンチップレンズＯＣＬは、画素アレイ部１２Ａにおける各分割画素に対応するように行列状に形成されている。
そして、オンチップレンズアレイ３５の光入射側に対向して、マルチレンズＭＬが行列状に形成されたマルチレンズアレイ３４が配置されている。

図８の例では、マルチレンズアレイ３４の各マルチレンズＭＬの第１方向（横方向、Ｘ方向）に共有する画素の色が通常の配列と異なり、共有する画素が同色ではなく、異色とであってＷとなるように配置されている。
図８の例では、２つの第１マルチレンズ系ＭＬ１、第２マルチレンズ系ＭＬ２が示されている。
第１マルチレンズ系ＭＬ１は、第１行において、Ｇ画素ＰＣＧ１１−１のステレオのＬ用Ｇ画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−１の隣接Ｂ画素ＰＣＢ１１のステレオのＲ用Ｗ画素ＤＰＣ−ＡＷ１とで共有するように配置されている。
同様に、第１マルチレンズ系ＭＬ１は、第２行において、Ｒ画素ＰＣＲ１１のステレオのＬ用Ｒ画素ＤＰＣ−ＢＲ１と、Ｒ画素ＰＣＲ１１の隣接Ｇ画素ＰＣＧ１１−２のステレオのＲ用Ｗ画素ＤＰＣ−ＡＷ１とで共有するように配置されている。
第２マルチレンズ系ＭＬ２は、第１行において、Ｂ画素ＰＣＢ１１のステレオのＬ用Ｂ画素ＤＰＣ−ＢＢ１と、Ｂ画素ＰＣＢ１１の隣接Ｇ画素ＰＣＧ１２−１のステレオのＲ用Ｗ画素ＤＰＣ−ＡＷ１とで共有するように配置されている。
同様に、第２マルチレンズ系ＭＬ２は、第２行において、Ｇ画素ＰＣＧ１１−２のステレオのＬ用Ｇ画素ＤＰＣ−ＢＧ１と、Ｇ画素ＰＣＧ１１−２の隣接Ｒ画素ＰＣＲ１２のステレオのＲ用Ｗ画素ＤＰＣ−ＡＷ１とで共有するように配置されている。

このように、一つのマルチレンズＭＬで共有する色画素を同色ではなく異色とすることでステレオのＬＲの混色（消光比）を、レンズギャップとこの異色分離で改善することが可能となる。

また、縦方向（Ｙ方向）を、ディスクリートレンズＤＳＣＬとするかシリンドリカルレンズＣＹＬＤＬとするかは選択可能である。
オンチップレンズＯＣＬがない場合にはディスクリートレンズＤＳＣＬとすることにより集光率の向上を図ることができる。

なお、図８の例では、２つの分割画素に跨るレンズ形状は、縦方向（Ｙ方向）に隣接する共有される分割画素のレンズとの影響を避けるために、横方向（Ｘ方向）に長い扁平な形状となる。

＜２−２．第２の特徴的構成例＞
図９は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第２の特徴的構成例を示す図である。

図９のＣＭＯＳイメージセンサ１０Ｂが図８のＣＭＯＳイメージセンサ１０Ａと異なる点は、輝度の主成分画素としてＷ画素の代わりにＧ画素を適用したことにある。すなわち、図９のＣＭＯＳイメージセンサ１０Ｂでは、Ｌ/ＲをＧ画素とＲＧＢ画素に分離し、Ｇ画素のみで視差情報を検出する。

Ｇ画素ＰＣＧ１１−１ｂは、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１１ｂは、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＲ画素ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

Ｂ画素ＰＣＢ１１ｂは、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＢ画素ＤＰＣ−ＢＢ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｂ画素ＤＰＣ−ＢＢ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１１ｂ−２は、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｇ画素ＰＣＧ１２−１ｂは、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＧ画素ＤＰＣ−ＢＧ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｇ画素ＤＰＣ−ＢＧ１がステレオのＬ用に割り当てられている。

Ｒ画素ＰＣＲ１２ｂは、輝度の主成分のＧ画素ＤＰＣ−ＡＧ１、色画素であるＲ画素ＤＰＣ−ＢＲ１の２つの分割画素を含んで構成されている。この例では、Ｇ画素ＤＰＣ−ＡＧ１はステレオのＲ用に割り当てられ、Ｒ画素ＤＰＣ−ＢＲ１がステレオのＬ用に割り当てられている。

このように、本例では、ステレオのＬ/Ｒの一方のチャネル（本例ではＲ）に輝度の主成分画素としてＧ画素を割り当て、もう一方（本例ではＬ）に色画素Ｒ、Ｇ、Ｂを割り当てることにより、Ｇ画素のみで視差情報を検出する。
このように構成することにより、視差（Depth）算出が容易で、かつ同色なので精度も良い。実際、分解能は下がるが、一般的にDepth分解能は低くてもよいので問題にはならない。
また、色画素側のＧも輝度信号に利用できるために、高解像度となる。

＜２−３．第３の特徴的構成例＞
図１０は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第３の特徴的構成例を示す図である。

図１０のＣＭＯＳイメージセンサ１０Ｃは、画素配列が一部において正方配列（長方配列）ではなく、正方配列（長方配列）を基準として、たとえば４５°だけ各単位画素を遷移（回転）させた市松模様のようなジグザグ配列が適用される。
そして、各単位画素が、少なくとも受光機能を含む第１画素部６０と、第１画素部に対向するように形成され、少なくとも蓄積電荷の検出機能を含む第２画素部７０が積層（重畳）するように構成される。
ここでは、第１画素部６０は、裏面側に配置され、たとえば図３の色フィルタ４５、オンチップレンズ４６を含み、あるいは色フィルタ４５、オンチップレンズ４６（フォトダイオード４７）を含んで構成される。
第２画素部７０は、表面側に配置され、たとえば図３のフォトダイオード４７、配線層４８を含み、あるいは、電荷検出トランジスタ（増幅トランジスタ等）や配線層４８を含んで構成される。
そして、本実施形態においては、第１画素部６０がジグザグ配列として形成され、第２画素部７０は正方配列（長方配列）として形成されている。
なお、図１０においては、図面の簡単化のため、色フィルタアレイやオンチップレンズアレイ等は省略している。

図１０の例において、第２画素部７０は第ｐ行から第（ｐ＋４）行の５行かつ、第ｑ列から第（ｑ＋５）列の６列の５行６列の正方配列として形成されている。
図１０の例では、第ｐ行から第（ｐ＋４）行の５行かつ、第（ｑ−１）列から第（ｑ＋６）列の８列のジグザグ配列が示されている。
第１画素部６０の行配列および列配列と第２画素部７０の行配列および列配列は互いに
対応するように形成されている。

図１０の例では、図８の例と同様に、ステレオのＬ/Ｒの一方のチャネル（本例ではＲ）に輝度の主成分画素としてＷ画素を割り当て、もう一方（本例ではＬ）に色画素Ｇ、Ｒ、Ｂが割り当てられる。
このように構成することにより、輝度解像度および色解像度の劣化をなくすことができる。
また、単眼３Ｄセンサでは、市松状にＬ/Ｒ分離フィルタを設けることで、市松の輝度画素配列に一致させることが可能となる。
特に、ＭＬＡをジグザグ（Zigzag）配列することで、効率的な視差分離が可能となる。

第１画素部６０は輝度の主成分画素としてのＷ画素、並びに色画素であるＧ画素、Ｒ画素、Ｂ画素が次のように配列されている。
ここでは、理解を容易にするためにｐ＝ｑ＝１として説明する。

第１行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ１−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ１−１２はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ１−１２ＡＧおよびＷ画素ＤＰＣ１−１２ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ１−１２ＡＧは第１列に配置され、分割Ｗ画素ＤＰＣ１−１２ＢＷは第２列に配置されている。
分割Ｇ画素ＤＰＣ１−１２ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ１−１２ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ１−１２ＡＧおよび分割Ｗ画素ＤＰＣ１−１２ＢＷに跨って共有するようにマルチレンズＭＬ１−１２が配置されている。

第１行目には、Ｂ画素およびＷ画素の複合画素ＰＣＢＷ１−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＷ１−３４はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ１−３４ＡＢおよびＷ画素ＤＰＣ１−３４ＢＷを含んで構成されている。分割Ｂ画素ＤＰＣ１−３４ＡＢは第３列に配置され、分割Ｗ画素ＤＰＣ１−３４ＢＷは第４列に配置されている。
分割Ｂ画素ＤＰＣ１−３４ＡＢはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ１−３４ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ１−３４ＡＢおよび分割Ｗ画素ＤＰＣ１−３４ＢＷに跨って共有するようにマルチレンズＭＬ１−３４が配置されている。

第１行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ１−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ１−５６はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ１−５６ＡＧおよびＷ画素ＤＰＣ１−５６ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ１−５６ＡＧは第５列に配置され、分割Ｗ画素ＤＰＣ１−５６ＢＷは第６列に配置されている。
分割Ｇ画素ＤＰＣ１−５６ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ１−５６ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ１−５６ＡＧおよび分割Ｗ画素ＤＰＣ１−５６ＢＷに跨って共有するようにマルチレンズＭＬ１−５６が配置されている。

第２行目には、Ｒ画素およびＷ画素の複合画素ＰＣＲＷ２−０１が第０列および第１列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＷ２−０１はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ２−０１ＡＲおよびＷ画素ＤＰＣ２−０１ＢＷを含んで構成されている。分割Ｒ画素ＤＰＣ２−０１ＡＲは第０列に配置され、分割Ｗ画素ＤＰＣ２−０１ＢＷは第１列に配置されている。
分割Ｒ画素ＤＰＣ２−０１ＡＲはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ２−０１ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ２−０１ＡＲおよび分割Ｗ画素ＤＰＣ２−０１ＢＷに跨って共有するようにマルチレンズＭＬ２−０１が配置されている。

第２行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ２−２３が第２列および第３列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ２−２３はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−２３ＡＧおよびＷ画素ＤＰＣ２−２３ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ２−２３ＡＧは第２列に配置され、分割Ｗ画素ＤＰＣ２−２３ＢＷは第３列に配置されている。
分割Ｇ画素ＤＰＣ２−２３ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ２−２３ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割画Ｇ素ＤＰＣ２−２３ＡＧおよび分割Ｗ画素ＤＰＣ２−２３ＢＷに跨って共有するようにマルチレンズＭＬ２−２３が配置されている。

第２行目には、Ｒ画素およびＷ画素の複合画素ＰＣＲＷ２−４５が第４列および第５列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＷ２−４５はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ２−４５ＡＲおよびＷ画素ＤＰＣ２−４５ＢＷを含んで構成されている。分割Ｒ画素ＤＰＣ２−４５ＡＲは第４列に配置され、分割Ｗ画素ＤＰＣ２−４５ＢＷは第５列に配置されている。
分割Ｒ画素ＤＰＣ２−４５ＡＲはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ２−４５ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ２−４５ＡＲおよび分割Ｗ画素ＤＰＣ２−４５ＢＲに跨って共有するようにマルチレンズＭＬ２−４５が配置されている。

第２行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ２−６７が第６列および第７列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ２−６７はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−６７ＡＧおよびＷ画素ＤＰＣ２−６７ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ２−６７ＡＧは第６列に配置され、分割Ｗ画素ＤＰＣ２−６７ＢＷは第７列に配置されている。
分割Ｇ画素ＤＰＣ２−６７ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ２−６７ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ２−６７ＡＧおよび分割Ｗ画素ＤＰＣ２−６７ＢＷに跨って共有するようにマルチレンズＭＬ２−６７が配置されている。

第３行目には、Ｂ画素およびＷ画素の複合画素ＰＣＢＷ３−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＷ３−１２はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ３−１２ＡＢおよびＷ画素ＤＰＣ３−１２ＢＷを含んで構成されている。分割Ｂ画素ＤＰＣ３−１２ＡＢは第１列に配置され、分割Ｗ画素ＤＰＣ３−１２ＢＷは第２列に配置されている。
分割Ｂ画素ＤＰＣ３−１２ＡＢはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ３−１２ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ３−１２ＡＢおよび分割Ｗ画素ＤＰＣ３−１２ＢＷに跨って共有するようにマルチレンズＭＬ３−１２が配置されている。

第３行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ３−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ３−３４はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ３−３４ＡＧおよびＷ画素ＤＰＣ３−３４ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ３−３４ＡＧは第３列に配置され、分割Ｗ画素ＤＰＣ３−３４ＢＷは第４列に配置されている。
分割Ｇ画素ＤＰＣ３−３４ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ３−３４ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ３−３４ＡＧおよび分割Ｗ画素ＤＰＣ３−３４ＢＷに跨って共有するようにマルチレンズＭＬ３−３４が配置されている。

第３行目には、Ｂ画素およびＷ画素の複合画素ＰＣＢＷ３−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＷ３−５６はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ３−５６ＡＢおよびＷ画素ＤＰＣ３−５６ＢＷを含んで構成されている。分割Ｂ画素ＤＰＣ３−５６ＡＢは第５列に配置され、分割Ｗ画素ＤＰＣ３−３４ＢＷは第６列に配置されている。
分割Ｂ画素ＤＰＣ３−５６ＡＢはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ３−５６ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ３−５６ＡＢおよび分割Ｗ画素ＤＰＣ３−５６ＢＷに跨って共有するようにマルチレンズＭＬ３−５６が配置されている。

第４行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ４−０１が第０列および第１列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ４−０１はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ４−０１ＡＧおよびＷ画素ＤＰＣ４−０１ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ４−０１ＡＧは第０列に配置され、分割Ｗ画素ＤＰＣ４−０１ＢＷは第１列に配置されている。
分割Ｇ画素ＤＰＣ４−０１ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ４−０１ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−０１ＡＧおよび分割Ｗ画素ＤＰＣ４−０１ＢＷに跨って共有するようにマルチレンズＭＬ４−０１が配置されている。

第４行目には、Ｒ画素およびＷ画素の複合画素ＰＣＲＷ４−２３が第２列および第３列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＷ４−２３はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ４−２３ＡＲおよびＷ画素ＤＰＣ４−２３ＢＷを含んで構成されている。分割Ｒ画素ＤＰＣ４−２３ＡＲは第２列に配置され、分割Ｗ画素ＤＰＣ４−２３ＢＷは第３列に配置されている。
分割Ｒ画素ＤＰＣ４−２３ＡＲはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ４−２３ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ４−２３ＡＲおよび分割Ｗ画素ＤＰＣ４−２３ＢＷに跨って共有するようにマルチレンズＭＬ４−２３が配置されている。

第４行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ４−４５が第４列および第５列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ４−４５はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−４５ＡＧおよびＷ画素ＤＰＣ４−４５ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ４−４５ＡＧは第４列に配置され、分割Ｗ画素ＤＰＣ４−４５ＢＷは第５列に配置されている。
分割Ｇ画素ＤＰＣ４−４５ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ４−４５ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−４５ＡＧおよび分割Ｗ画素ＤＰＣ４−４５ＢＷに跨って共有するようにマルチレンズＭＬ４−４５が配置されている。

第４行目には、Ｒ画素およびＷ画素の複合画素ＰＣＲＷ４−６７が第６列および第７列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＷ４−６７はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ４−６７ＡＲおよびＷ画素ＤＰＣ４−６７ＢＷを含んで構成されている。分割Ｒ画素ＤＰＣ４−６７ＡＲは第６列に配置され、分割Ｗ画素ＤＰＣ４−６７ＢＷは第７列に配置されている。
分割Ｒ画素ＤＰＣ４−６７ＡＲはステレオのＬ用に割り当てられ、分割Ｗ素ＤＰＣ４−６７ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ４−６７ＡＲおよび分割Ｗ画素ＤＰＣ４−６７ＢＷに跨って共有するようにマルチレンズＭＬ４−６７が配置されている。

第５行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ５−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ５−１２はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ５−１２ＡＧおよびＷ画素ＤＰＣ５−１２ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ５−１２ＡＧは第１列に配置され、分割Ｗ画素ＤＰＣ５−１２ＢＷは第２列に配置されている。
分割Ｇ画素ＤＰＣ５−１２ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ５−１２ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ５−１２ＡＧおよび分割Ｗ画素ＤＰＣ５−１２ＢＷに跨って共有するようにマルチレンズＭＬ５−１２が配置されている。

第５行目には、Ｂ画素およびＷ画素の複合画素ＰＣＢＷ５−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＷ５−３４はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ５−３４ＡＢおよびＷ画素ＤＰＣ５−３４ＢＷを含んで構成されている。分割Ｂ画素ＤＰＣ５−３４ＡＢは第３列に配置され、分割Ｗ画素ＤＰＣ５−３４ＢＷは第４列に配置されている。
分割Ｂ画素ＤＰＣ５−３４ＡＢはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ５−３４ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ５−３４ＡＢおよび分割Ｗ画素ＤＰＣ５−３４ＢＷに跨って共有するようにマルチレンズＭＬ５−３４が配置されている。

第５行目には、Ｇ画素およびＷ画素の複合画素ＰＣＧＷ５−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＷ５−５６はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ５−５６ＡＧおよびＷ画素ＤＰＣ５−５６ＢＷを含んで構成されている。分割Ｇ画素ＤＰＣ５−５６ＡＧは第５列に配置され、分割Ｗ画素ＤＰＣ５−５６ＢＷは第６列に配置されている。
分割Ｇ画素ＤＰＣ５−５６ＡＧはステレオのＬ用に割り当てられ、分割Ｗ画素ＤＰＣ５−５６ＢＷがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ５−５６ＡＧおよび分割Ｗ画素ＤＰＣ５−５６ＢＷに跨って共有するようにマルチレンズＭＬ５−５６が配置されている。

図１０の画素配列では、第１行、第３行、および第５行にはＧ画素とＷ画素の複合画素並びにＢ画素とＷ画素の複合画素が交互に配置されている。第２行および第４行にはＧ画素とＷ画素の複合画素並びにＲ画素とＷ画素の複合画素が交互に配置されている。
図１０の構成では、無駄な画素配列がなく、ステレオ化による解像度の低下を抑止することができる。
また、検出トランジスタや配線を正方単位で行えるため、微細化を行うことができる。
また、受光面はジグザグ（Zigzag）ハニカムを左右２分割した構造でＬＲ２視差を検出可能で、各１／２に画素数が減ってもジグザグ（Zigzag）ハニカム処理によって２倍の記録画素数に復元でき、ステレオ化による解像度低下を補える。

そして、上述したように、図１０の例では、図８の例と同様に、ステレオのＬ/Ｒの一方のチャネル（本例ではＲ）に輝度の主成分画素としてＷ画素を割り当て、もう一方（本例ではＬ）に色画素Ｇ、Ｒ、Ｂが割り当てられる。
このように構成することにより、輝度解像度および色解像度の劣化をなくすことができる。
また、単眼３Ｄセンサでは、市松状にＬ/Ｒ分離フィルタを設けることで、市松の輝度画素配列に一致させることが可能となる。
特に、ＭＬＡをジグザグ（Zigzag）配列することで、効率的な視差分離が可能となる。

図１０の画素配列においても間引き動作を行うことが可能である。

図１０の画素配列に対応した読出し画素信号は、画像メモリ３２に一時的に記録した画素信号を基にＤＳＰ回路３１において正方配列（長方配列）を４５°回転させたジグザグ配列（市松配列）を正方配列（長方配列）にするデモザイク処理が行われる。

＜２−４．第４の特徴的構成例＞
図１１は、本実施形態に係る固体撮像素子（ＣＭＯＳイメージセンサ）の第４の特徴的構成例を示す図である。

図１１のＣＭＯＳイメージセンサ１０Ｄが図１０のＣＭＯＳイメージセンサ１０Ｃと、基本的に異なる点は、輝度の主成分画素としてＷ画素の代わりにＧ画素を適用したことにある。
すなわち、図１１のＣＭＯＳイメージセンサ１０Ｄでは、図９の例と同様に、Ｌ/ＲをＧ画素とＲＧＢ画素に分離し、Ｇ画素のみで視差情報を検出する。
このように構成することにより、視差（Depth）算出が容易で、かつ同色なので精度も良い。実際、分解能は下がるが、一般的にDepth分解能は低くてもよいので問題にはならない。
また、色画素側のＧも輝度信号に利用できるために、高解像度となる。

第１画素部６０は輝度の主成分画素としてのＧ画素、並びに色画素であるＧ画素、Ｒ画素、Ｂ画素が次のように配列されている。
ここでは、図１０の例と同様に、理解を容易にするためにｐ＝ｑ＝１として説明し、符号についても図１０と同様の構成部分は同一符号をもって表す。

第１行目には、Ｒ画素およびＧ画素の複合画素ＰＣＲＧ１−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＧ１−１２はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ１−１２ＡＲおよびＧ画素ＤＰＣ１−１２ＢＧを含んで構成されている。分割Ｒ画素ＤＰＣ１−１２ＡＲは第１列に配置され、分割Ｇ画素ＤＰＣ１−１２ＢＧは第２列に配置されている。
分割Ｒ画素ＤＰＣ１−１２ＡＲはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ１−１２ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ１−１２ＡＲおよび分割Ｇ画素ＤＰＣ１−１２ＢＧに跨って共有するようにマルチレンズＭＬ１−１２が配置されている。

第１行目には、Ｂ画素およびＧ画素の複合画素ＰＣＢＧ１−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＧ１−３４はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ１−３４ＡＢおよびＧ画素ＤＰＣ１−３４ＢＧを含んで構成されている。分割Ｂ画素ＤＰＣ１−３４ＡＢは第３列に配置され、分割Ｇ画素ＤＰＣ１−３４ＢＧは第４列に配置されている。
分割Ｂ画素ＤＰＣ１−３４ＡＢはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ１−３４ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ１−３４ＡＢおよび分割Ｇ画素ＤＰＣ１−３４ＢＧに跨って共有するようにマルチレンズＭＬ１−３４が配置されている。

第１行目には、Ｒ画素およびＧ画素の複合画素ＰＣＲＧ１−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＧ１−５６はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ１−５６ＡＲおよびＧ画素ＤＰＣ１−５６ＢＧを含んで構成されている。分割Ｒ画素ＤＰＣ１−５６ＡＲは第５列に配置され、分割Ｇ画素ＤＰＣ１−５６ＢＧは第６列に配置されている。
分割Ｒ画素ＤＰＣ１−５６ＡＲはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ１−５６ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ１−５６ＡＲおよび分割Ｇ画素ＤＰＣ１−５６ＢＧに跨って共有するようにマルチレンズＭＬ１−５６が配置されている。

第２行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ２−０１が第０列および第１列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ２−０１はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−０１ＡＧおよびＧ画素ＤＰＣ２−０１ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ２−０１ＡＧは第０列に配置され、分割Ｇ画素ＤＰＣ２−０１ＢＧは第１列に配置されている。
分割Ｇ画素ＤＰＣ２−０１ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ２−０１ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ２−０１ＡＧおよび分割Ｇ画素ＤＰＣ２−０１ＢＧに跨って共有するようにマルチレンズＭＬ２−０１が配置されている。

第２行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ２−２３が第２列および第３列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ２−２３はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−２３ＡＧおよびＧ画素ＤＰＣ２−２３ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ２−２３ＡＧは第２列に配置され、分割Ｇ画素ＤＰＣ２−２３ＢＧは第３列に配置されている。
分割Ｇ画素ＤＰＣ２−２３ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ２−２３ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割画Ｇ素ＤＰＣ２−２３ＡＧおよび分割Ｇ画素ＤＰＣ２−２３ＢＧに跨って共有するようにマルチレンズＭＬ２−２３が配置されている。

第２行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ２−４５が第４列および第５列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ２−４５はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−４５ＡＧおよびＧ画素ＤＰＣ２−４５ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ２−４５ＡＧは第４列に配置され、分割Ｇ画素ＤＰＣ２−４５ＢＧは第５列に配置されている。
分割Ｇ画素ＤＰＣ２−４５ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ２−４５ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ２−４５ＡＧおよび分割Ｇ画素ＤＰＣ２−４５ＢＧに跨って共有するようにマルチレンズＭＬ２−４５が配置されている。

第２行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ２−６７が第６列および第７列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ２−６７はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−６７ＡＧおよびＧ画素ＤＰＣ２−６７ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ２−６７ＡＧは第６列に配置され、分割Ｇ画素ＤＰＣ２−６７ＢＧは第７列に配置されている。
分割Ｇ画素ＤＰＣ２−６７ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ２−６７ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ２−６７ＡＧおよび分割Ｇ画素ＤＰＣ２−６７ＢＧに跨って共有するようにマルチレンズＭＬ２−６７が配置されている。

第３行目には、Ｂ画素およびＧ画素の複合画素ＰＣＢＧ３−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＧ３−１２はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ３−１２ＡＢおよびＧ画素ＤＰＣ３−１２ＢＧを含んで構成されている。分割Ｂ画素ＤＰＣ３−１２ＡＢは第１列に配置され、分割Ｇ画素ＤＰＣ３−１２ＢＧは第２列に配置されている。
分割Ｂ画素ＤＰＣ３−１２ＡＢはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ３−１２ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ３−１２ＡＢおよび分割Ｇ画素ＤＰＣ３−１２ＢＧに跨って共有するようにマルチレンズＭＬ３−１２が配置されている。

第３行目には、Ｒ画素およびＧ画素の複合画素ＰＣＲＧ３−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＧ３−３４はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ３−３４ＡＲおよびＧ画素ＤＰＣ３−３４ＢＧを含んで構成されている。分割Ｒ画素ＤＰＣ３−３４ＡＲは第３列に配置され、分割Ｇ画素ＤＰＣ３−３４ＢＧは第４列に配置されている。
分割Ｒ画素ＤＰＣ３−３４ＡＲはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ３−３４ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ３−３４ＡＲおよび分割Ｇ画素ＤＰＣ３−３４ＢＧに跨って共有するようにマルチレンズＭＬ３−３４が配置されている。

第３行目には、Ｂ画素およびＧ画素の複合画素ＰＣＢＧ３−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＧ３−５６はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ３−５６ＡＢおよびＧ画素ＤＰＣ３−５６ＢＧを含んで構成されている。分割Ｂ画素ＤＰＣ３−５６ＡＢは第５列に配置され、分割Ｇ画素ＤＰＣ３−３４ＢＧは第６列に配置されている。
分割Ｂ画素ＤＰＣ３−５６ＡＢはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ３−５６ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ３−５６ＡＢおよび分割Ｇ画素ＤＰＣ３−５６ＢＧに跨って共有するようにマルチレンズＭＬ３−５６が配置されている。

第４行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ４−０１が第０列および第１列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ４−０１はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ４−０１ＡＧおよびＧ画素ＤＰＣ４−０１ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ４−０１ＡＧは第０列に配置され、分割Ｇ画素ＤＰＣ４−０１ＢＧは第１列に配置されている。
分割Ｇ画素ＤＰＣ４−０１ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ４−０１ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−０１ＡＧおよび分割Ｇ画素ＤＰＣ４−０１ＢＧに跨って共有するようにマルチレンズＭＬ４−０１が配置されている。

第４行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ４−２３が第２列および第３列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ４−２３はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ４−２３ＡＧおよびＧ画素ＤＰＣ４−２３ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ４−２３ＡＧは第２列に配置され、分割Ｇ画素ＤＰＣ４−２３ＢＧは第３列に配置されている。
分割Ｇ画素ＤＰＣ４−２３ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ４−２３ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−２３ＡＧおよび分割Ｇ画素ＤＰＣ４−２３ＢＧに跨って共有するようにマルチレンズＭＬ４−２３が配置されている。

第４行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ４−４５が第４列および第５列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ４−４５はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ２−４５ＡＧおよびＧ画素ＤＰＣ４−４５ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ４−４５ＡＧは第４列に配置され、分割Ｇ画素ＤＰＣ４−４５ＢＧは第５列に配置されている。
分割Ｇ画素ＤＰＣ４−４５ＡＧはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ４−４５ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−４５ＡＧおよび分割Ｇ画素ＤＰＣ４−４５ＢＧに跨って共有するようにマルチレンズＭＬ４−４５が配置されている。

第４行目には、Ｇ画素およびＧ画素の複合画素ＰＣＧＧ４−６７が第６列および第７列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＧＧ４−６７はＹ軸を中心に２分割された三角形状の分割画素であるＧ画素ＤＰＣ４−６７ＡＧおよびＧ画素ＤＰＣ４−６７ＢＧを含んで構成されている。分割Ｇ画素ＤＰＣ４−６７ＡＧは第６列に配置され、分割Ｇ画素ＤＰＣ４−６７ＢＧは第７列に配置されている。
分割Ｇ画素ＤＰＣ４−６７ＡＧはステレオのＬ用に割り当てられ、分割Ｇ素ＤＰＣ４−６７ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｇ画素ＤＰＣ４−６７ＡＧおよび分割Ｇ画素ＤＰＣ４−６７ＢＧに跨って共有するようにマルチレンズＭＬ４−６７が配置されている。

第５行目には、Ｒ画素およびＧ画素の複合画素ＰＣＲＧ５−１２が第１列および第２列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＧ５−１２はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ５−１２ＡＲおよびＧ画素ＤＰＣ５−１２ＢＧを含んで構成されている。分割Ｒ画素ＤＰＣ５−１２ＡＲは第１列に配置され、分割Ｇ画素ＤＰＣ５−１２ＢＧは第２列に配置されている。
分割Ｒ画素ＤＰＣ５−１２ＡＲはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ５−１２ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ５−１２ＡＲおよび分割Ｇ画素ＤＰＣ５−１２ＢＧに跨って共有するようにマルチレンズＭＬ５−１２が配置されている。

第５行目には、Ｂ画素およびＧ画素の複合画素ＰＣＢＧ５−３４が第３列および第４列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＢＧ５−３４はＹ軸を中心に２分割された三角形状の分割画素であるＢ画素ＤＰＣ５−３４ＡＢおよびＧ画素ＤＰＣ５−３４ＢＧを含んで構成されている。分割Ｂ画素ＤＰＣ５−３４ＡＢは第３列に配置され、分割Ｇ画素ＤＰＣ５−３４ＢＧは第４列に配置されている。
分割Ｂ画素ＤＰＣ５−３４ＡＢはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ５−３４ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｂ画素ＤＰＣ５−３４ＡＢおよび分割Ｇ画素ＤＰＣ５−３４ＢＧに跨って共有するようにマルチレンズＭＬ５−３４が配置されている。

第５行目には、Ｒ画素およびＧ画素の複合画素ＰＣＲＧ５−５６が第５列および第６列に跨るように正方配列を基準に、たとえばＹ方向からＸ方向に４５°回転された状態で形成されている。
複合画素ＰＣＲＧ５−５６はＹ軸を中心に２分割された三角形状の分割画素であるＲ画素ＤＰＣ５−５６ＡＲおよびＧ画素ＤＰＣ５−５６ＢＧを含んで構成されている。分割Ｒ画素ＤＰＣ５−５６ＡＲは第５列に配置され、分割Ｇ画素ＤＰＣ５−５６ＢＧは第６列に配置されている。
分割Ｒ画素ＤＰＣ５−５６ＡＲはステレオのＬ用に割り当てられ、分割Ｇ画素ＤＰＣ５−５６ＢＧがステレオのＲ用に割り当てられている。
そして、２つの分割Ｒ画素ＤＰＣ５−５６ＡＲおよび分割Ｇ画素ＤＰＣ５−５６ＢＧに跨って共有するようにマルチレンズＭＬ５−５６が配置されている。

図１１の画素配列では、第１行、第３行、および第５行にはＲ画素とＧ画素の複合画素並びにＢ画素とＧ画素の複合画素が交互に配置されている。第２行および第４行にはＧ画素とＧ画素の複合画素が配置されている。
図１１の構成では、無駄な画素配列がなく、ステレオ化による解像度の低下を抑止することができる。
また、検出トランジスタや配線を正方単位で行えるため、微細化を行うことができる。
また、受光面はジグザグ（Zigzag）ハニカムを左右２分割した構造でＬＲ２視差を検出可能で、各１／２に画素数が減ってもジグザグ（Zigzag）ハニカム処理によって２倍の記録画素数に復元でき、ステレオ化による解像度低下を補える。

そして上述したように、本例では、ステレオのＬ/Ｒの一方のチャネル（本例ではＲ）に輝度の主成分画素としてＧ画素を割り当て、もう一方（本例ではＬ）に色画素Ｒ、Ｇ、Ｂを割り当てることにより、Ｇ画素のみで視差情報を検出する。
このように構成することにより、視差（Depth）算出が容易で、かつ同色なので精度も良い。実際、分解能は下がるが、一般的にDepth分解能は低くてもよいので問題にはならない。
また、色画素側のＧも輝度信号に利用できるために、高解像度となる。

＜３．信号処理系＞
次に、上述したステレオのＬ/Ｒの一方のチャネル（ｃｈ）に輝度の主成分（ＷやＧ）画素を割り当て、もう一方に色画素（Ｇ、Ｒ、Ｂ）を割り当てる画素配列を採用した場合の信号処理系について説明する。
ここで、図１０および図１１のジグザグ配列に対応した信号処理系について説明する。

＜３−１．信号処理系の第１の構成例＞
図１２は、輝度の主成分画素がＷ画素の場合の単眼３Ｄ対応の信号処理系の構成例を示す図である。
図１３は、輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の固体撮像素子の輝度および色画素の分離処理を拡大して示す図である。

図１２および図１３の単眼３Ｄの信号処理系２００は、単眼の光学系２１０が輝度の主成分画素がＷ画素の画素配列を持つ固体撮像素子１０Ｃの受光面側に配置されている例を示している。
光学系２１０は、レンズ２１１，２１２を含んで構成されている。

信号処理系２００は、ＬＲ分離部２２０、デモザイク部２３０、視差(Depth)マップ生成部２４０、視差補正処理部（画素シフト部）２５０、リモザイク部２６０、相関処理部２７０、および画像生成部２８０を含んで構成されている。
これらの構成のうち、視差補正処理部２５０、リモザイク部２６０、および相関処理部２７０は第１処理ＳＴ１と第２処理ＳＴ２を行うことが可能である。

ＬＲ分離部２２０は、ステレオのＲチャネルが割り当てられたＷ画素１０１と、Ｌチャネルが割り当てられた色画素であるＲＧＢ画素１０２とを分離する。

デモザイク部２３０は、分離されたＷ画素１０１に対して簡易デモザイク処理を行いＲ−Ｗ画素のフル画素輝度信号Ｒｗを生成する。
デモザイク部２３０は、分離されたＲＧＢ画素１０２に対して簡易デモザイク処理を行い、ＲＧＢを加算した信号Ｌｗ（＝Ｒ＋Ｇ＋Ｂ）を生成する。

視差マップ生成部２４０は、デモザイク部２３０による輝度信号Ｒｗおよび信号Ｌｗにより視差ズレを検出し、高精度の視差マップを生成する。

視差補正処理部２５０は、第１処理ＳＴ１において、色画素であるＲＧＢ画素１０２に対して視差マップ生成部２４０による視差情報に応じたシフトをかけ、視差の補正処理を行う。この場合、色合わせのために２画素分以上シフトさせることが必要である。
視差補正処理部２５０は、第２処理ＳＴ２において、輝度画素であるＷ画素１０１に対して視差マップ生成部２４０による視差情報に応じたシフトをかけ、視差の補正処理を行う。この場合、２画素分以上シフトさせる必要はない。

リモザイク部２６０は、第１処理ＳＴ１において、視差補正処理部２５０によるＷ画素およびシフト後のＲＧＢ画素に対してリモザイク処理を行って、ＷＲＧＢをたとえばベイヤー配列に変換する。
リモザイク部２６０は、第２処理ＳＴ２において、視差補正処理部２５０によるシフト後のＷ画素およびＲＧＢ画素に対してリモザイク処理を行って、ＷＲＧＢをたとえばベイヤー配列に変換する。

相関処理部２７０は、第１処理ＳＴ１において、リモザイク部２６０によるＷ画素およびＲＧＢ画素の相関処理を行って合成し、２Ｄの生データＲ−ＲＡＷを生成する。
相関処理部２７０は、第２処理ＳＴ２において、リモザイク部２６０によるＷ画素およびＲＧＢ画素の相関処理を行って合成し、２Ｄの生データＬ−ＲＡＷを生成する。
相関処理においては、たとえばＧ画素については、基本的にＧ＝Ｗ×（ｍＧ）／（ｍＷ）に従った処理が行われる。ここでｍは平均を示す。
同様に、Ｒ画素については、基本的にＲ＝Ｗ×（ｍＲ）／（ｍＷ）に従った処理が行われる。Ｂ画素については、基本的にＢ＝Ｗ×（ｍＢ）／（ｍＷ）に従った処理が行われる。

画像生成部２８０は、相関処理部２７０による生データＲ−ＲＡＷおよびＬ−ＲＡＷにより直接的に３Ｄ画像を生成する。
画像生成部２８０は、相関処理部２７０による生データＲ−ＲＡＷに、視差マップに応じた２Ｄ−３Ｄ変換処理を施すことより３Ｄ画像を生成する。

以上のように、図１２の信号処理系２００においては、色画素であるＲＧＢ画素１０２に視差（Depth）情報に応じたシフトをかけることで、輝度解像度劣化のない２Ｄ画像を得ることができる。
一般に輝度解像度に対して、色解像度は１/２で記録されるために、視差補正の副作用は出にくい。
この高画質な２Ｄ画像に、視差マップ（Depth Map）に応じた２Ｄ−３Ｄ変換をかけることで、３Ｄ画像を生成できる。
また、信号処理系２００において、輝度画素であるＷ画素１０１に視差（Depth）情報に応じたシフトをかけ、色画素であるＲＧＢ画素１０２と合成することで、もう一方の視差画像が生成でき、直接的に３Ｄ画像ができる。
この場合、２Ｄ−３Ｄ変換が不要になる。
また、本チャネルでは色配列が視差シフトしないため、通常の色信号処理を行うことが出来る点もメリットである。

また、信号処理系２００において、水平のカラー配列周期より小さい視差シフト量の場合は、輝度画素・色画素合成時の相関フィルタ係数の重み付けをコントロールすることで、精度よく視差補正を行うことが可能である。
これにより、輝度と色の視差ズレを最小限に抑えることができる。

なお、２眼方式においては、一方の視差が高解像度の輝度信号であるために、超解像技術によって縦横２倍密とすることがしやすく、光学的な垂直空間ズラシをせずに、垂直１/２ズラシの位置合わせを行うことができる。
これにより、解像度の向上を図ることができる。

＜３−２．信号処理系の第２の構成例＞
図１４は、輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の信号処理系の構成例を示す図である。

図１４の信号処理系２００Ａは、輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の信号処理系であり、図１２と同一構成部分は同一符号をもって表している。
図１４の信号処理系２００Ａでは、図１２の信号処理系におけるデモザイク部が不要となっている。その他の構成は図１２と同様である。

分離された輝度の主成分としてＧ画素１０１Ａと色画素であるＲＧＢ画素１０２Ａの画素配列において、２行目および４行目はＧ画素のみとなっている。
その結果、Ｇ−Ｇ間で視差(Depth)計算が可能であり、Ｇ画素のみで視差情報を検出することができる。
また、Ｒ−Ｇ、Ｌ−Ｇが高相関の関係にあり、色画素側のＧ画素を利用できることから高解像度となる。

＜３−３．信号処理系の第３の構成例＞
図１５は、輝度の主成分画素がＷ画素の場合の単眼３Ｄ対応の信号処理系の他の構成例を示す図である。

図１５の信号処理系２００Ｂが図１２の信号処理系２００と異なる点は、リモザイク処理および相関処理が省略されていることにある。
このように、リモザイク処理および相関処理を行わない場合であっても、輝度解像度劣化の少ない２Ｄ画像を得ることができ、高解像の３Ｄ画像を得ることができる。

＜３−４．信号処理系の第４の構成例＞
図１６は、輝度の主成分画素がＧ画素の場合の単眼３Ｄ対応の信号処理系の他の構成例を示す図である。

図１６の信号処理系２００Ｃが図１４の信号処理系２００Ａと異なる点は、リモザイク処理および相関処理が省略されていることにある。
このように、リモザイク処理および相関処理を行わない場合であっても、輝度解像度劣化の少ない２Ｄ画像を得ることができ、高解像の３Ｄ画像を得ることができる。

なお、図１２および図１５、並びに図１４および図１６においては、視差分離方式としてマルチレンズアレイを例として説明した。
本技術は、マルチレンズアレイに限らず、図１７（Ａ）および（Ｂ）、並びに、図１８（Ａ）および（Ｂ）に示すような、偏光を利用した偏光方式であっても適用可能である。
図１７（Ａ）および（Ｂ）は図１２および図１５の構成に対応する偏光方式の画素配列を示し、図１８（Ａ）および（Ｂ）は図１４および図１６の構成に対応する偏光方式の画素配列を示している。

＜３−５．単眼の場合の他の構成例（ＩＲ画素を用いる例）＞
上記構成例では、輝度の主成分画素として、Ｗ画素またはＧ画素が割り当てられた場合について説明したが、この輝度の主成分画素と同一のチャネルに、輝度の主成分画素とは分光スペクトルの異なる波長に感度を有する画素が更に割り当てられていてもよい。換言すると、輝度の主成分画素と同一のチャネルに、輝度の主成分となる帯域にスペクトルピークを持たない波長を受光可能な画素が割り当てられていてもよい。その一例を、図１９Ａ〜図２４Ｂに示す。また、図１９Ｃには、輝度と、Ｒ（赤），Ｇ（緑），Ｂ（青），Ｗ（白），ＩＲ（近赤外）の各波長の分光スペクトルとを示す。ここで、輝度の主成分画素とは、図１９Ｃに示したように、輝度Ｙのピーク波長（例えば波長５５０ｎｍ）付近にピークまたはサブピークを有する感度特性をもつ画素である。尚、波長５５０ｎｍ付近とは、例えば５００ｎｍ〜６００ｎｍの範囲内にある波長である。但し、厳密にこの範囲内に限られるものではなく、例えばこの範囲から数十ｎｍ程度ずれていてもよい。そのような輝度の主成分画素の一例として、上述したようなＷ画素およびＧ画素が挙げられる。例えば、Ｗ画素であれば、５００ｎｍ付近の低波長側にピークをもつものであってもよいし、あるいは長波長感度が高い場合には、６００ｎｍ付近の長波長側にピークをもつものであってもよい。また、Ｇ画素であれば、例えば５４０ｎｍ付近にピークをもつものが挙げられる。本構成例では、このような輝度の主成分画素とは異なる分光スペクトルを有する波長の一例として、ＩＲを受光可能な画素（ＩＲ画素）を用いる場合について説明する。また、このＩＲ画素と輝度の主成分画素とが、Ｒチャネルに混在して割り当てられた場合を例に挙げて説明する。

具体的には、図１９Ａおよび図１９Ｂに示したイメージセンサ１０Ｃ１，１０Ｃ２では、Ｒチャネルに、Ｗ画素とＩＲ画素とが割り当てられ、ＬチャネルにＲ画素，Ｇ画素，Ｂ画素が割り当てられるように、Ｗ，ＩＲ，Ｒ，Ｇ，Ｂの各画素が配列されている。また、この例では、左にＧ画素、右にＷ画素が配置される画素組ＧＷが設けられている。このような画素組ＧＷを有することにより、Ｗ画素の一部をＩＲ画素に置換したとしても、Depth精度の低減を抑制することができる。尚、ＩＲ画素およびＷ画素の配列は、このようなものに限定されず、例えば図２０Ａおよび図２０Ｂに示したイメージセンサ１０Ｃ３，１０Ｃ４のような画素配列であってもよい。

このＲチャネルにＷ画素およびＩＲ画素が割り当てられた構成により、図１０に示したイメージセンサ１０Ｃと同等の効果（解像度低下の抑制，感度低下の抑制等）を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。

あるいは、図２１Ａおよび図２１Ｂに示したイメージセンサ１０Ｄ１，１０Ｄ２では、Ｒチャネルに、Ｇ画素とＩＲ画素とが割り当てられ、ＬチャネルにＲ画素，Ｇ画素，Ｂ画素が割り当てられるように、Ｇ，ＩＲ，Ｒ，Ｇ，Ｂの各画素が配列されている。また、この例では、左にＧ画素、右にＧ画素が配置される画素組ＧＧが設けられている。このような画素組ＧＧを有することにより、Ｇ画素の一部をＩＲ画素に置換したとしても、Depth精度の低減を抑制することができる。尚、ＩＲ画素およびＧ画素の配列は、このようなものに限定されず、例えば図２２Ａおよび図２２Ｂに示したイメージセンサ１０Ｄ３，１０Ｄ４のような画素配列であってもよい。

このＲチャネルにＧ画素およびＩＲ画素が割り当てられた構成により、図１１に示したイメージセンサ１０Ｃと同等の効果（高解像度化，Depth算出容易化等）を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。

また、図２３Ａおよび図２３Ｂに示したイメージセンサ１０ＣＤ１，１０ＣＤ２のように、Ｒチャネルに、輝度の主成分画素として、Ｗ画素とＧ画素との双方が混在して割り当てられていてもよい。この例においても、左にＧ画素、右にＧ画素が配置される画素組ＧＧが設けられている。このような画素組ＧＧを有することにより、Depth精度を向上させることができる。

このように、ＲチャネルにＷ画素およびＧ画素が割り当てられていてもよく、これにより、図１０および図１１に示したイメージセンサ１０Ｃ，１０Ｄ両方の効果を得ることができる。

更に、図２４Ａおよび図２４Ｂに示したイメージセンサ１０ＣＤ３，１０ＣＤ４のように、Ｒチャネルに、輝度の主成分画素としてのＷ画素およびＧ画素と、ＩＲ画素とを割り当てた構成であってもよい。この例においても、左にＧ画素、右にＧ画素が配置される画素組ＧＧが設けられている。このような画素組ＧＧを有することにより、Depth精度を向上させることができる。

このように、ＲチャネルにＷ画素およびＧ画素と、ＩＲ画素とが割り当てられていてもよく、これにより、図１０および図１１に示したイメージセンサ１０Ｃ，１０Ｄ両方の効果を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。

＜４．２眼または単眼２チップの信号処理系＞
上記した実施形態では単眼の場合の画素配列および信号処理系について説明した。
本技術は、２眼（複眼）または単眼２チップの場合であっても基本的に、ステレオのＬ/Ｒの一方のチャネルに輝度の主成分画素を割り当て、もう一方のチャネルに色画素を割り当てることで、輝度解像度および色解像度の劣化をなくすことができる。

＜４−１．２眼２チップの３Ｄ対応の固体撮像素子の第１の構成例＞
図２５は、輝度の主成分画素がＷ画素の場合の２眼２チップの３Ｄ対応の固体撮像素子（ＣＭＯＳイメージセンサ）の第１の構成例を示す図である。
図２６は、図２５の固体撮像素子による視差シフト後のＬ/Ｒ画像に対して空間位相ズラシを行う処理を概念的に示す図である。

図２５のＣＭＯＳイメージセンサ１０Ｅは、撮像素子の画素アレイ部として２つのチップ３０１，３０２を有し、第１チップ３０１および第２チップ３０２の光入射側に２眼対応のレンズ３１１，３１２を含む光学系３１０が配置されている。
第１チップ３０１は輝度の主成分画素としてのＷ画素が正方に配列され、第２チップ３０２は色画素であるＲＧＢ画素がたとえば正方のベイヤー配列として形成されている。
なお、ＲＧＢ画素はベイヤー（Bayer）に限らず、アルファ（Arufa）配列であってもよい。この場合、加算に適した配列とすることができる。

このＣＭＯＳイメージセンサ１０Ｅに対する信号処理系３００は、上述した単眼３Ｄ対応の信号処理系における視差補正処理部で視差シフトさせたＬ/Ｒ画素に対して、図２５および図２６に示すように、ジグザグ状に空間位相ズラシを行って合成する。
この場合、空間位相ズラシは垂直空間画素ズラシであり、Ｗ画素とＲＧＢ画素の相関から位置合わせが行われる。

このＷ/ＲＧＢのＣＭＯＳイメージセンサ１０Ｅの場合は、Ｗ画素の市松配列になり、既存２Ｄ信号処理で高解像度、高感度化が可能となる。

＜４−２．２眼２チップの３Ｄ対応の固体撮像素子の第２の構成例＞
図２７は、輝度の主成分画素がＷ画素の場合の２眼２チップの３Ｄ対応の固体撮像素子（ＣＭＯＳイメージセンサ）の第２の構成例を示す図である。

図２７のＣＭＯＳイメージセンサ１０Ｆは、チップ３０１ＦのＷ画素、およびチップ３０２ＦのＲＧＢ画素が図１０と同様のジグザグ配列として形成されている。

このように、正方配列ではなくジグザグ（Zigzag）配列とすることで、垂直空間画素ズラシが不要になり、水平方向は視差によってズレるので、視差補正後で正方配列にすることができ、信号処理もシンプルになり、既存２Ｄ信号処理を流用しやすくなる。その結果、低コスト化を図ることが可能となる。
また、単眼と同様な効果があるうえ、１光学系の画角を１/２にできるので、レンズの低背化が可能となる。

＜４−３．２眼２チップの３Ｄ対応の固体撮像素子の第３の構成例＞
図２８は、輝度の主成分画素がＷ画素の場合の２眼２チップの３Ｄ対応の固体撮像素子（ＣＭＯＳイメージセンサ）の第３の構成例を示す図である。

図２８のＣＭＯＳイメージセンサ１０Ｇが図２５のＣＭＯＳイメージセンサ１０Ｅと、基本的に異なる点は、輝度の主成分画素としてＷ画素の代わりにＧ画素を適用したことにある。
すなわち、図２８のＣＭＯＳイメージセンサ１０Ｇでは、Ｌ/ＲをＧ画素とＲＧＢ画素に分離し、Ｇ画素のみで視差情報を検出する。

このＧ/ＲＧＢのＣＭＯＳイメージセンサ１０Ｇの場合は、既存の２Ｄ信号処理で高解像度化が可能となり、Ｇ画素のみで視差演算が可能である。
すなわち、同色のＧ画素同士での高精度な位置合わせが可能で、高解像度化が可能である。

＜４−４．２眼２チップの３Ｄ対応の固体撮像素子の第４の構成例＞
図２９は、輝度の主成分画素がＷ画素の場合の２眼２チップの３Ｄ対応の固体撮像素子（ＣＭＯＳイメージセンサ）の第４の構成例を示す図である。

図２９のＣＭＯＳイメージセンサ１０Ｈが図２７のＣＭＯＳイメージセンサ１０Ｆと、基本的に異なる点は、輝度の主成分画素としてＷ画素の代わりにＧ画素を適用したことにある。
すなわち、図２９のＣＭＯＳイメージセンサ１０Ｈでは、Ｌ/ＲをＧ画素とＲＧＢ画素に分離し、Ｇ画素のみで視差情報を検出する。

このＧ/ＲＧＢのＣＭＯＳイメージセンサ１０Ｈの場合は、既存の２Ｄ信号処理で高解像度化が可能となり、Ｇ画素のみで視差演算が可能である。
すなわち、同色のＧ画素同士での高精度な位置合わせが可能で、高解像度化が可能である。
また、この場合も、垂直空間画素ズラシが不要になり、水平方向は視差によってズレるので、視差補正後で正方配列にすることができ、信号処理もシンプルになり、既存２Ｄ信号処理を流用しやすくなる。その結果、低コスト化を図ることが可能となる。

＜４−５．２眼２チップの３Ｄ対応の固体撮像素子の他の構成例＞
上記構成例では、輝度の主成分画素として、Ｗ画素またはＧ画素が割り当てられた場合について説明したが、この輝度の主成分画素と同一のチャネルに、輝度の主成分画素とは分光スペクトルの異なる波長に感度を有する画素が更に割り当てられていてもよい。具体的には、２眼２チップの構成において、輝度の主成分画素と同一のチャネルに対応するチップに、例えばＩＲ画素が設けられていてもよい。また、同一チップに、Ｗ画素およびＧ画素の両方が設けられていてもよい。その一例を、図３０〜図４９に示す。尚、図３０〜図４９の各図において右図は、視差シフト後のＬ／Ｒ画素を用いて生成した２Ｄ信号処理を概念的に示したものである。

（Ｗ画素とＩＲ画素とを１チップ内に配列させた例）
具体的には、図３０に示したように、第１チップ３０１Ｗ１に、Ｗ画素（輝度の主成分画素）とＩＲ画素とが配列（正方配列）されていてもよい。ここでは、第１チップ３０１Ｗ１において、ＩＲ画素が全体の１／４程度の割合で設けられている。第２チップ３０２の画素配列は、上記第１の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことにより合成される。Depth検出は、第１チップ３０１Ｗ１のＷ画素と第２チップ３０２のＧ画素とを用いて行われる。また、Ｗ画素とＲＧＢ画素の相関から位置合わせが行われることにより、高感度となる。このような構成において、輝度の主成分画素と同一のチップ（第１チップ３０１Ｗ１）に、ＩＲ画素が設けられていることにより、上記第１の構成例と同等の効果を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。また、例えば図３１に示した第１チップ３０１Ｗ２のように、ＩＲ画素の数を、上記第１チップ３０１Ｗ１よりも増やし、より暗時感度を高めるようにしてもよい。

また、図３２に示したように、第１チップ３０１Ｗ３に、Ｗ画素とＩＲ画素とが配列（ジグザグ配列）されていてもよい。第２チップ３０２Ｆの画素配列は、上記第２の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことなく合成することができる。Depth検出は、第１チップ３０１Ｗ３のＷ画素と第２チップ３０２ＦのＧ画素とを用いて行われる。第１チップ３０１Ｗ３のＷ画素の行と、第２チップ３０２ＦのＧ画素の行とが一致するような画素配列となっており、これにより、Depth精度の低減を抑制できる。このような構成において、輝度の主成分画素と同一のチップ（第１チップ３０１Ｗ３）に、ＩＲ画素が設けられていることにより、上記第２の構成例と同等の効果を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。また、例えば図３３に示した第１チップ３０１Ｗ４のように、上記第１チップ３０１Ｗ３よりもＩＲ画素の数を増やし、より暗時感度を高めるようにしてもよい。更に、図３４に示した第１チップ３０１Ｗ５、あるいは図３５に示した第１チップ３０１Ｗ６のような画素配列としてもよい。

（Ｇ画素とＩＲ画素とを１チップ内に配列させた例）
あるいは、図３６に示したように、第１チップ３０１Ｇ１に、Ｇ画素（輝度の主成分画素）とＩＲ画素とが配列（正方配列）されていてもよい。ここでは、第１チップ３０１Ｇ１において、ＩＲ画素が全体の１／４程度の割合で設けられている。第２チップ３０２の画素配列は、上記第１の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことにより合成される。Depth検出は、第１チップ３０１Ｇ１のＧ画素（図中「Ｇ」と記載）と第２チップ３０２のＧ画素（図中「Ｇ’」と記載）とを用いて行われる。左右のＧ画素，Ｇ’画素の位置を合わせることにより、Depth精度が維持され、Depth算出において、輝度信号を必要としないため簡易処理が可能となる。また、位置合わせも、左右のＧ画素，Ｇ’画素同士を用いて行うことができる。このような構成において、輝度の主成分画素と同一のチップ（第１チップ３０１Ｇ１）に、ＩＲ画素が設けられていることにより、上記第３の構成例と同等の効果を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。また、例えば図３７に示した第１チップ３０１Ｇ２のように、ＩＲ画素の数を、上記第１チップ３０１Ｇ１よりも増やし、より暗時感度を高めるようにしてもよい。尚、デモザイク処理によって上記図３６と同等の２Ｄ信号配列を得ることができる。

また、図３８に示したように、第１チップ３０１Ｇ３に、Ｇ画素とＩＲ画素とが配列（ジグザグ配列）されていてもよい。第２チップ３０２Ｆの画素配列は、上記第２の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことなく合成することができる。Depth検出は、第１チップ３０１Ｇ３のＧ画素（図中「Ｇ」）と第２チップ３０２ＦのＧ画素（図中「Ｇ’」）とを用いて行われる。左右のＧ画素，Ｇ’画素の位置を合わせることにより、Depth精度が維持され、Depth算出において、輝度信号を必要としないため簡易処理が可能となる。このような構成において、輝度の主成分画素と同一のチップ（第１チップ３０１Ｇ３）に、ＩＲ画素が設けられていることにより、上記第４の構成例と同等の効果を得つつ、例えば暗闇等でも画像を撮影することができるようになり、暗時高感度化を実現できる。また、例えば図３９に示した第１チップ３０１Ｇ４のように、上記第１チップ３０１Ｇ３よりもＩＲ画素の数を増やし、より暗時感度を高めるようにしてもよい。更に、図４０に示したように、第１チップ３０１Ｇ５のＧ画素の行と、第２チップ３０２ＦのＲ画素およびＢ画素の行とが一致するような画素配列とすれば、合成時に視差ずれが１画素あったとしても、Ｇ市松配列となるのでＧ解像度が向上する。

（Ｗ画素とＧ画素とを１チップ内に配列させた例）
あるいは、図４１Ａに示したように、第１チップ３０１ＷＧ１に、輝度の主成分画素としてＷ画素およびＧ画素が配列（正方配列）されていてもよい。第２チップ３０２の画素配列は、上記第１の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことにより合成される。Depth検出は、第１チップ３０１ＷＧ１のＧ画素（図中「Ｇ」）と第２チップ３０２のＧ画素（図中「Ｇ’」）とを用いて行われる。左右のＧ画素，Ｇ’画素の位置を合わせることにより、Depth精度が維持される。また、位置合わせも、左右のＧ画素，Ｇ’画素同士を用いて行うことができる。このような構成により、Depth検出の高精度化および高感度化，高解像度化の両立が可能となる。また、この場合、図４１Ｂに示したように、第１チップ３０１ＷＧ１から得られた信号に対し、ＷおよびＧのデモザイク処理を施すことにより、Ｗ配列の場合の特徴（高感度化，高解像度化）とＧ配列の場合（Depth精度の向上あるいは維持）の特徴を同時に利用することも可能である。

また、図４２に示したように、第１チップ３０１ＷＧ２に、Ｗ画素とＧ画素とが配列（ジグザグ配列）されていてもよい。第２チップ３０２Ｆの画素配列は、上記第２の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことなく合成することができる。Depth検出は、第１チップ３０１Ｇ３のＧ画素（図中「Ｇ」）と第２チップ３０２ＦのＧ画素（図中「Ｇ’」）とを用いて行われる。左右のＧ画素，Ｇ’画素の位置を合わせることにより、Depth精度が維持され、Depth算出において、輝度信号を必要としないため簡易処理が可能となる。このような構成により、Depth検出の精度維持（または向上）および高感度化，高解像度化の両立が可能となる。また、例えば図４３に示したように、第１チップ３０１ＷＧ３のＧ画素の行と、第２チップ３０２ＦのＲ，Ｂ画素の行とが一致するような画素配列とすれば、合成時に視差ずれが１画素あったとしても、Ｇ市松配列となるのでＧ解像度が向上する。

（Ｗ，Ｇ画素とＩＲ画素とを１チップ内に配列させた例）
あるいは、図４４に示したように、第１チップ３０１ＷＧ４に、輝度の主成分画素としてのＷ画素およびＧ画素と、ＩＲ画素とが配列（正方配列）されていてもよい。第２チップ３０２の画素配列は、上記第１の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことにより合成される。Depth検出は、第１チップ３０１Ｇ１のＧ画素（図中「Ｇ」と記載）と第２チップ３０２のＧ画素（図中「Ｇ’」と記載）とを用いて行われる。また、位置合わせも、左右のＧ画素，Ｇ’画素同士を用いて行うことができる。このような構成において、輝度の主成分画素と同一のチップ（第１チップ３０１ＷＧ４）に、ＩＲ画素が設けられていることにより、Depth検出の精度維持（または向上）と、明時および暗時における高感度化，高解像度化を実現できる。また、例えば図４５に示した第１チップ３０１ＷＧ５のように、ＩＲ画素の数を、上記第１チップ３０１ＷＧ４よりも増やし、より暗時感度を高めるようにしてもよい。

また、図４６に示したように、第１チップ３０１ＷＧ６に、Ｗ画素およびＧ画素とＩＲ画素とが配列（ジグザグ配列）されていてもよい。第２チップ３０２Ｆの画素配列は、上記第２の構成例と同様である。この場合、視差シフトさせたＬ／Ｒ画素は、２Ｄ信号処理において、空間位相ズラシ（垂直空間画素ズラシ）を行うことなく合成することができる。Depth検出は、第１チップ３０１Ｇ３のＧ画素（図中「Ｇ」）と第２チップ３０２ＦのＧ画素（図中「Ｇ’」）とを用いて行われる。また、第１チップＷＧ６のＧ画素，第２チップ３０２ＦのＧ’画素はそれぞれ、縦横に連続配置されている。このような構成により、Depth検出精度の向上と、明時および暗時の高感度化，高解像度化とが実現可能となる。また、例えば図４７に示した第１チップＷＧ７のように、図４３に示した第１チップＷＧ３における一部のＧ画素を、ＩＲ画素に置き換えた構成としてもよい。更に、例えば図４８に示した第１チップ３０１ＷＧ８、および図４９に示した第１チップ３０１ＷＧ９のように、ＩＲ画素の数を、上記第１チップ３０１ＷＧ６よりも増やし、より暗時感度を高めるようにしてもよい。

＜４−６．２眼２チップの３Ｄ対応の信号処理系に超解像技術を適用した第１例＞
図５０は、図２５の固体撮像素子（ＭＯＳイメージセンサ）の信号処理系に超解像技術を適用した処理を概念的に示す図である。

図２５のＣＭＯＳイメージセンサ１０Ｅに対する信号処理系３００は、視差補正処理部で視差シフトさせたＬ/Ｒ画素に対して、ジグザグ状に空間位相ズラシを行って合成する。
しかし、空間位相ズラシはレンズアライメントが非常に難しくなる。
このため、図５０の構成では、単色輝度チャネル（本実施形態ではＲch）側を、デモザイク技術や超解像技術によって２x２=４倍の仮想画素数にすることで空間位相ズラシをせずにＲＧＢ側のＬｃｈとの視差補正を可能とする。
さらに、ＲＧＢ画素と輝度の主成分画素であるＷ画素との相関からデモザイクすることで最終カラー画像を２x２=４倍の超解像画像とすることができる。

＜４−７．２眼２チップの３Ｄ対応の信号処理系に超解像技術を適用した第２例＞
図５１は、図２８の固体撮像素子（ＭＯＳイメージセンサ）の信号処理系に超解像技術を適用した処理を概念的に示す図である。

図２８のＣＭＯＳイメージセンサ１０Ｇに対する信号処理系３００Ｇは、視差補正処理部で視差シフトさせたＬ/Ｒ画素に対して、ジグザグ状に空間位相ズラシを行って合成する。
しかし、空間位相ズラシはレンズアライメントが非常に難しくなる。
このため、図５１の構成では、単色輝度チャネル（本実施形態ではＲch）側を、デモザイク技術や超解像技術によって２x２=４倍の仮想画素数にすることで空間位相ズラシをせずにＲＧＢ側のＬｃｈとの視差補正を可能とする。
さらに、ＲＧＢ画素と輝度の主成分画素であるＧ画素との相関からデモザイクすることで最終カラー画像を２x２=４倍の超解像画像とすることができる。

以上のように、本実施形態によれば、以下の効果を得ることができる。
Ｗ画素やＧ画素の輝度がＬＲ分離しないので、２Ｄ解像度が劣化しない。
単眼の場合は、２倍のＭＬＡサイズで１/２の視差集光であることから、感度は変わらない。
一方のチャネル（Ｌ/Ｒ）に輝度信号があり超解像技術で２倍密にしやすく、垂直画素ズレでき高解像度化ができる。
Ｌ−ＲＧＢ加算＝Ｗ’とＲ−Ｗのフル画素輝度信号で、高精度視差（Depth）情報を生成可能である。視差情報の活用で、３Ｄのみならずボカシ（流し撮り）等に応用可能である。
また、２Ｄ画像に対して、ＲＧＢがＬchのみでズレが出ない（ColorArtifact出にくい）。
輝度Ｗ/Ｇ’と色画素ＲＧＢの視差ズレはフォーカス面では出ない（単眼）。
視差ズレは視差マップ（Depth Map）から補正することができる。
そして、本実施形態によれば、複雑な構造と複雑な信号処理を必要とすることなく、ステレオ化による解像度、感度の低下、速度および電力の低下を抑止することが可能な固体撮像素子を実現することができる。

なお、以上説明した各実施形態においては、裏面照射型画素構造を例に説明したが、光電変換膜を有する積層型画素構造を採用することも可能である。
この場合、画素アレイ部１２は、基本的に、単位画素の一部である光電変換膜が正方配列（長方配列）を基準として、たとえば４５°だけ各単位画素を回転させた市松模様のようなジグザグ配列が適用される。

このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。

＜５．カメラシステムの構成例＞
図５２は、本実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。

本カメラシステム４００は、図５２に示すように、本実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）１０，１０Ａ〜１０Ｉが適用可能な撮像デバイス４１０を有する。
カメラシステム４００は、この撮像デバイス４１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ４２０を有する。
カメラシステム４００は、撮像デバイス４１０を駆動する駆動回路(ＤＲＶ)４３０と、撮像デバイス４１０の出力信号を処理する信号処理回路(ＰＲＣ)４４０と、を有する。

駆動回路４３０は、撮像デバイス４１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス４１０を駆動する。

また、信号処理回路４４０は、撮像デバイス４１０の出力信号に対して所定の信号処理を施す。
信号処理回路４４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路４４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。

上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス４１０として、先述した固体撮像素子１０，１０Ａ〜１０Ｉを搭載することで、低消費電力で、高精度なカメラが実現できる。

なお、本技術は、以下のような構成もとることができる。
（１）
光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、
前記画素アレイ部は、
それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、
前記第１の画素群に前記輝度の主成分画素が割り当てられ、前記第２の画素群に前記色画素が割り当てられている
固体撮像素子。
（２）
前記輝度の主成分画素は、波長５５０ｎｍ付近に受光波長ピークを有する感度特性をもつ画素である
上記（１）に記載の固体撮像素子。
（３）
前記輝度の主成分画素は、Ｗ画素およびＧ画素のうちの一方または両方である
上記（２）に記載の固体撮像素子。
（４）
前記第１の画素群に、前記輝度の主成分画素とは異なる感度特性を有する画素が更に割り当てられている
上記（１）〜（３）のいずれかに記載の固体撮像素子。
（５）
前記輝度の主成分画素とは異なる感度特性を有する画素は、ＩＲ画素である
上記（４）に記載の固体撮像素子。
（６）
前記画素アレイ部は、
光電変換機能を含む色画素および輝度の主成分画素が第１方向に隣接して配列された複合画素がアレイ状に複数配列され、
前記複数の前記複合画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイを有し、
前記画素アレイ部の各複合画素は、
前記第１方向の一方側に前記輝度の主成分画素が配置され、他方側に前記色画素が配置されている
上記（１）〜（５）のいずれかに記載の固体撮像素子。
（７）
前記画素アレイ部は、
第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で配列されている
上記（６）に記載の固体撮像素子。
（８）
輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、当該視差情報に応じて２次元画像または３次元画像の生成を行う信号処理系を有する
上記（１）〜（７）のいずれかに記載の固体撮像素子。
（９）
前記信号処理系は、
前記色画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号により２次元画像を生成する
上記（８）に記載の固体撮像素子。
（１０）
前記信号処理系は、
生成した前記２次元画像に対して、前記視差情報に応じた２次元から３次元への変換処理により３次元画像を生成する
上記（９）に記載の固体撮像素子。
（１１）
前記信号処理系は、
前記輝度の主成分画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号により２次元画像を生成する
上記（８）に記載の固体撮像素子。
（１２）
前記信号処理系は、
前記輝度の主成分画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号に色画素を合成することで視差画像を生成し、直接的に３次元画像を生成する
上記（８）記載の固体撮像素子。
（１３）
前記信号処理系は、
水平のカラー配列周期より小さい視差シフト量の場合は、輝度の主成分画素および色画素の合成時の相関フィルタ係数の重み付けを制御して視差補正を行う
上記（８）に記載の固体撮像素子。
（１４）
前記画素アレイ部は、
前記輝度の主成分画素がアレイ状に配列された第１チップと、
前記色画素がアレイ上に配列された第２チップと、を有する
上記（１）〜（１３）のいずれかに記載の固体撮像素子。
（１５）
前記画素アレイ部において、
前記第１チップは前記輝度の主成分画素が正方配列として形成され、
前記第２チップは前記色画素が正方配列として形成されている
上記（１４）に記載の固体撮像素子。
（１６）
輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、前記輝度の主成分画素および色画素の少なくとも一方に、当該視差情報に応じたシフトをかけて視差補正処理を行い２次元画像または３次元画像の生成を行う信号処理系を有し、
前記信号処理系は、
視差シフトさせた第１視差画像および第２視差画像をジグザグ状に空間位相ズラシさせて合成する
上記（１５）に記載の固体撮像素子。
（１７）
前記信号処理系は、
前記輝度の主成分画素を第１方向および当該第１方向に直交する第２方向に複数倍して仮想画素数とすることにより超解像画像とする
上記（１６）に記載の固体撮像素子。
（１８）
前記画素アレイ部は、
前記第１チップは前記輝度の主成分画素が第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で形成され、
前記第２チップは前記色画素が第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で形成されている
上記（１４）に記載の固体撮像素子。
（１９）
輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、前記輝度の主成分画素および色画素の少なくとも一方に、当該視差情報に応じたシフトをかけて視差補正処理を行い２次元画像または３次元画像の生成を行う信号処理系を有し、
前記信号処理系は、
視差シフトさせた第１視差画像および第２視差画像を空間位相ズラシさせることなく合成する
上記（１８）に記載の固体撮像素子。
（２０）
固体撮像素子と、
前記固体撮像素子に被写体像を結像する光学系と、を有し、
前記固体撮像素子は、
光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、
前記画素アレイ部は、
それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、
前記第１の画素群に前記輝度の主成分画素が割り当てられ、前記第２の画素群に前記色画素が割り当てられている
カメラシステム。

本出願は、日本国特許庁において２０１２年１月１６日に出願された日本特許出願番号第２０１２−６１６２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

1. 光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、
   前記画素アレイ部は、
   それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、
   前記第１の画素群に前記輝度の主成分画素が割り当てられ、前記第２の画素群に前記色画素が割り当てられている
   固体撮像素子。
2. 前記輝度の主成分画素は、波長５５０ｎｍ付近に受光波長ピークを有する感度特性をもつ画素である
   請求項１に記載の固体撮像素子。
3. 前記輝度の主成分画素は、Ｗ画素およびＧ画素のうちの一方または両方である
   請求項２に記載の固体撮像素子。
4. 前記第１の画素群に、前記輝度の主成分画素とは異なる感度特性を有する画素が更に割り当てられている
   請求項１に記載の固体撮像素子。
5. 前記輝度の主成分画素とは異なる感度特性を有する画素は、ＩＲ画素である
   請求項４に記載の固体撮像素子。
6. 前記画素アレイ部は、
   光電変換機能を含む色画素および輝度の主成分画素が第１方向に隣接して配列された複合画素がアレイ状に複数配列され、
   前記複数の前記複合画素に跨って光を入射するマルチレンズが配列されたマルチレンズアレイを有し、
   前記画素アレイ部の各複合画素は、
   前記第１方向の一方側に前記輝度の主成分画素が配置され、他方側に前記色画素が配置されている
   請求項１記載の固体撮像素子。
7. 前記画素アレイ部は、
   第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で配列されている
   請求項６記載の固体撮像素子。
8. 輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、当該視差情報に応じて２次元画像または３次元画像の生成を行う信号処理系を有する
   請求項１記載の固体撮像素子。
9. 前記信号処理系は、
   前記色画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号により２次元画像を生成する
   請求項８記載の固体撮像素子。
10. 前記信号処理系は、
    生成した前記２次元画像に対して、前記視差情報に応じた２次元から３次元への変換処理により３次元画像を生成する
    請求項９記載の固体撮像素子。
11. 前記信号処理系は、
    前記輝度の主成分画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号により２次元画像を生成する
    請求項８記載の固体撮像素子。
12. 前記信号処理系は、
    前記輝度の主成分画素に前記視差情報に応じたシフトをかけて視差補正処理を行い、当該視差補正処理後の信号に色画素を合成することで視差画像を生成し、直接的に３次元画像を生成する
    請求項８記載の固体撮像素子。
13. 前記信号処理系は、
    水平のカラー配列周期より小さい視差シフト量の場合は、輝度の主成分画素および色画素の合成時の相関フィルタ係数の重み付けを制御して視差補正を行う
    請求項８記載の固体撮像素子。
14. 前記画素アレイ部は、
    前記輝度の主成分画素がアレイ状に配列された第１チップと、
    前記色画素がアレイ上に配列された第２チップと、を有する
    請求項１記載の固体撮像素子。
15. 前記画素アレイ部において、
    前記第１チップは前記輝度の主成分画素が正方配列として形成され、
    前記第２チップは前記色画素が正方配列として形成されている
    請求項１４記載の固体撮像素子。
16. 輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、前記輝度の主成分画素および色画素の少なくとも一方に、当該視差情報に応じたシフトをかけて視差補正処理を行い２次元画像または３次元画像の生成を行う信号処理系を有し、
    前記信号処理系は、
    視差シフトさせた第１視差画像および第２視差画像をジグザグ状に空間位相ズラシさせて合成する
    請求項１５記載の固体撮像素子。
17. 前記信号処理系は、
    前記輝度の主成分画素を第１方向および当該第１方向に直交する第２方向に複数倍して仮想画素数とすることにより超解像画像とする
    請求項１６記載の固体撮像素子。
18. 前記画素アレイ部は、
    前記第１チップは前記輝度の主成分画素が第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で形成され、
    前記第２チップは前記色画素が第１方向および当該第１方向に直交する第２方向を基準として所定角度回転させたような状態で形成されている
    請求項１４記載の固体撮像素子。
19. 輝度の主成分画素信号および色画素信号に応じて視差情報を生成し、前記輝度の主成分画素および色画素の少なくとも一方に、当該視差情報に応じたシフトをかけて視差補正処理を行い２次元画像または３次元画像の生成を行う信号処理系を有し、
    前記信号処理系は、
    視差シフトさせた第１視差画像および第２視差画像を空間位相ズラシさせることなく合成する
    請求項１８記載の固体撮像素子。
20. 固体撮像素子と、
    前記固体撮像素子に被写体像を結像する光学系と、を有し、
    前記固体撮像素子は、
    光電変換機能を含む色画素および輝度の主成分画素がアレイ状に複数配列された画素アレイ部を有し、
    前記画素アレイ部は、
    それぞれが複数の画素を有すると共に視差をもつ第１および第２の画素群を有し、
    前記第１の画素群に前記輝度の主成分画素が割り当てられ、前記第２の画素群に前記色画素が割り当てられている
    カメラシステム。

Images