JP6561836B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像素子および撮像装置に関する。

撮像素子の一部に配置された複数の焦点検出専用の画素からの出力信号に基づいて、瞳分割型位相差方式による焦点検出を行う撮像装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開２０１１−７７７７０号公報

従来は、焦点検出用画素が離散配置されているので、焦点検出用画素を連続配置した場合と比べて焦点検出精度が低くなってしまう。一方、特定の色のカラーフィルタに対応する焦点検出用画素を連続配置すると、画素配列がベイヤー配列等の所定の配列とは異なってしまう。従来技術では、補間処理等によりベイヤー配列等の所定の配列に変換しようとすると、演算が複雑になってしまう。

本発明の第１の態様においては、第一の方向に配置された第一の色の光を検出する複数の受光領域を有し、第一の方向に配列された複数の第一受光部と、第一の方向と異なる第二の方向に配置された第二の色の光を検出する複数の受光領域を有し、第一の方向において複数の第一受光部とは異なる位置に配置され、第一の方向に配列された複数の第二受光部と、を備える撮像素子を提供する。
本発明の第２の態様においては、第一の方向に配置された第一の色の光を検出する複数の受光領域を有し、第一の方向に配置された複数の第一受光部と、第一の方向と異なる第二の方向に配置された第二の色の光を検出する複数の受光領域を有し、第二の方向に配列され、二つの第一受光部の間で複数の第一受光部と交差する複数の第二受光部と、を備える撮像素子を提供する。
本発明の第３の態様においては、第一の色の光を検出する複数の光電変換部を有する第一受光部と、第一受光部の第一の方向に配置され、第二の色の光を検出する複数の光電変換部を有する第二受光部と、第一受光部の第二の方向に配置され、第二の色の光を検出する複数の光電変換部を有する第三受光部と、第二受光部の第二の方向に配置され、第一の色の光を検出する複数の光電変換部を有する第四受光部とを有し、第一受光部の複数の光電変換部と第四受光部の複数の光電変換部は、第一受光部から第四受光部の方向に配置され、第二受光部の複数の光電変換部と第三受光部の複数の光電変換部は、第二受光部から第三受光部の方向に配置されている撮像素子を提供する。

本発明には下記の態様も含まれ得る。
［項目１］
第１方向に連続して配置され、第１の色の光を検出する２つの第１画素と、
前記第１方向に交差する第２方向に連続して配置され、前記２つの第１画素に隣接し、第２の色の光を検出する２つの第２画素と、
前記第１画素に配置され、前記第１の色の光を受光する前記第１方向に分割された複数の第１受光領域と、
前記第２画素に配置され、前記第２の色の光を受光する前記第２方向に分割された複数の第２受光領域と
を備える撮像素子。
［項目２］
前記第１方向と前記第２方向とは直交している
項目１に記載の撮像素子。
［項目３］
前記第１画素からの出力信号と、前記第２画素からの出力信号とにより、焦点状態を検出する焦点検出部を更に備える
項目１または２に記載の撮像素子。
［項目４］
前記第１画素と前記第２画素とが配置された撮像部と、
前記撮像部と積層され、前記撮像部からの信号を処理する信号処理部と
を有する項目１から３のいずれか一項に記載の撮像素子。
［項目５］
前記第１画素を複数有し、
前記第１方向に交差する第３方向に連続して配置され、前記複数の第１画素のうちの２つの第１画素に隣接し、第３の色の光を検出する２つの第３画素と、
前記第３画素に配置され、前記第３方向に分割された前記第３の色の光を受光する複数の第３受光領域と
を備える項目１から４の何れか一項に記載の撮像素子。
［項目６］
前記第２方向と前記第３方向とは平行である
項目５に記載の撮像素子。
［項目７］
第１方向および第２方向に沿って配列され、第１の色に対応する複数の第１画素と、
近接する４つの第１画素に囲まれるそれぞれの領域に設けられ、前記第１の色とは異なる色に対応する複数の他の画素と
を備え、
前記複数の第１画素および前記複数の他の画素のうち、少なくとも一部の画素は、分離された２つの受光領域を有する撮像素子。
［項目８］
前記２つの受光領域を有する画素の各受光領域からの出力信号に基づいて、前記撮像素子の焦点状態を検出する焦点検出部を更に備える
項目７に記載の撮像素子。
［項目９］
前記複数の他の画素は、
前記第２方向に沿って配列され、第２の色に対応する複数の第２画素と、
前記第２方向に沿って配列され、第３の色に対応する複数の第３画素と
を含み、
第２画素の列および第３画素の列は、第１方向において交互に配置され、
前記第１方向において隣接する２つの前記第１画素の画素信号を加算して第１変換画素信号を生成し、前記第２方向において隣接する２つの前記第２画素の画素信号を加算して第２変換画素信号を生成し、前記第２方向において隣接する２つの前記第３画素の画素信号を加算して第３変換画素信号を生成する配列変換部を更に備える
項目７または８に記載の撮像素子。
［項目１０］
前記第１画素の少なくとも一部の画素は、前記第１方向に並んで配列される第１受光領域および第２受光領域を有し、
前記第２画素および前記第３画素の少なくとも一部の画素は、前記第２方向に並んで配列される第１受光領域および第２受光領域を有する
項目９に記載の撮像素子。
［項目１１］
全ての前記画素が前記２つの受光領域を有する
項目１０に記載の撮像素子。
［項目１２］
前記配列変換部は、それぞれの前記画素について、
当該画素の前記第１受光領域の出力信号と、前記第２受光領域の出力信号とを加算した第１画素信号を生成し、
当該画素の前記第１受光領域の出力信号と、当該画素の前記第１受光領域に隣接する画素の前記第２受光領域の出力信号とを加算した第２画素信号を生成する
項目１１に記載の撮像素子。
［項目１３］
それぞれの画素について、前記２つの受光領域のうち、第１受光領域が蓄積した電荷をリセットするリセットタイミングに対して、第２受光領域のリセットタイミングを遅らせて、且つ、前記第１受光領域および前記第２受光領域が蓄積した電荷量に応じた出力信号を同時に読み出し、前記第１受光領域の前記出力信号の値から、前記第２受光領域の前記出力信号の値を減算して当該画素の画素信号を生成する、グローバルシャッタ処理部を更に備える
項目７から１２のいずれか一項に記載の撮像素子。
［項目１４］
それぞれの画素について、前記２つの受光領域のそれぞれが蓄積した電荷量に応じた出力信号を同時に、且つ、受光領域毎に独立して読み出す読出部を更に備える
項目７から１２のいずれか一項に記載の撮像素子。
［項目１５］
それぞれの前記画素の平面形状が四角形であり、
前記画素の各辺が前記第１方向および前記第２方向に対して４５度傾いている
項目７から１４のいずれか一項に記載の撮像素子。
［項目１６］
前記撮像素子に入射する光が通過したレンズの特性を示すレンズデータに基づいて、前記２つの受光領域のそれぞれが出力する出力信号の値を補正する補正部を更に備える
項目７から１５のいずれか一項に記載の撮像素子。
［項目１７］
それぞれの前記画素が形成される撮像チップと、
前記撮像チップと積層され、前記撮像チップからの信号を処理する信号処理チップと
を有する項目７から１６のいずれか一項に記載の撮像素子。
［項目１８］
項目１から１７のいずれか一項に記載の撮像素子を備える撮像装置。

本発明の第４の態様においては、第１から第３のいずれかの態様の撮像素子を備える撮像装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一つの実施形態に係る撮像素子１００の概要を示す図である。 第１画素２０２−１の一例を示す図である。 第２画素２０２−２および第３画素２０２−３の一例を示す図である。 受光部２００の一例を示す図である。 信号処理部２１０における配列変換処理の一例を示す図である。 第１変換画素２０３−１の配列例を示す図である。 信号処理部２１０における配列変換処理の一例を示す図である。 第２変換画素２０３−２および第３変換画素２０３−３の配列例を示す図である。 第１変換画素２０３−１、第２変換画素２０３−２および第３変換画素２０３−３の配列例を示す図である。 受光部２００の他の例を示す図である。 第１変換画素信号Ｇ１を生成する例を示す図である。 第２変換画素信号Ｇ２を生成する例を示す図である。 第３変換画素信号Ｇ３を生成する例を示す図である。 第４変換画素信号Ｇ４を生成する例を示す図である。 マイクロレンズ１０１の斜視図である。 マイクロレンズ１０１の平面形状を示す図である。 信号処理部２１０の他の処理例を示す図である。 受光部２００の構成例を示す図である。 受光部２００の他の構成例を示す図である。 図１４に示した例における、転送トランジスタＴＸのおよび電荷検出部の配置例を示す図である。 撮像素子１００の断面の一例を示す図である。 信号処理部２１０の機能の一部を示すブロック図である。 レンズ特性と、出力信号との関係を説明する図である。 一つの実施形態に係る撮像装置５００の構成例を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一つの実施形態に係る撮像素子１００の概要を示す図である。撮像素子１００は、複数の画素２０２が配列される受光部２００と、受光部２００からの信号を処理する信号処理部２１０とを備える。複数の画素２０２は、それぞれフォトダイオード等の受光素子を有しており、受光量に応じて電荷を蓄積する。本例の信号処理部２１０は、各画素２０２が蓄積した電荷量に応じた信号を読み出し、予め定められた処理を行う。

本例における複数の画素２０２は、行列状に配列される。つまり、複数の画素２０２が複数の行および複数の列に沿って配置される。本明細書では、行方向をｘ軸方向とし、列方向をｙ軸方向として図示している。行方向は第１方向の一例であり、列方向は第２方向の一例である。

複数の画素２０２は、複数の第１画素２０２−１、複数の第２画素２０２−２および複数の第３画素２０２−３を含む。第１画素２０２−１は、第１の色のカラーフィルタに対応する画素であり、第２画素２０２−２は、第２の色のカラーフィルタに対応する画素であり、第３画素２０２−３は、第３の色のカラーフィルタに対応する画素である。本例において第１の色は緑色であり、第２の色は青色であり、第３の色は赤色である。本例において、それぞれの画素２０２の平面形状は四角形であり、画素２０２の各辺が第１方向および第２方向に対して４５度傾いている。より具体的な例では、それぞれの画素２０２の平面形状は正方形である。

複数の第１画素２０２−１は、行方向および列方向の両方向に沿って配列される。本例では、第１画素２０２−１の各頂点が互いに隣接するように配置される。このような配置により、近接して配置される４つの第１画素２０２−１に囲まれる領域が生じる。第２画素２０２−２および第３画素２０２−３は、４つの第１画素２０２−１に囲まれる領域に設けられる。本例において、それぞれの画素２０２の形状は同一である。

第２画素２０２−２は、列方向に沿って配列される。また、第３画素２０２−３も、列方向に沿って配列される。第２画素２０２−２の列および第３画素２０２−３の列は、行方向において交互に配置される。また、第２画素２０２−２の列および第３画素２０２−３の列は、第１画素２０２−１の列に対して、列方向において半画素分ずれて配列される。

図２Ａは、第１画素２０２−１の一例を示す図である。第１画素２０２−１のうちの少なくとも一部は、分離された２つの受光領域２１４を有する。第１画素２０２−１の第１受光領域２１４ａおよび第２受光領域２１４ｂは、行方向に並んで配列される。本例では、第１画素２０２−１の領域を、列方向に伸びる直線で２等分することで、２つの受光領域２１４が規定される。本例において当該直線は、第１画素２０２−１の対角線である。入射光に応じて生成された電荷が受光領域２１４間で移動しないように、受光領域２１４間には素子分離部が設けられる。なお、図２Ａにおいては、第１画素２０２−１に対応して設けられるマイクロレンズ１０１を点線で示す。本例の２つの受光領域２１４は、共通のマイクロレンズ１０１に対して、行方向において異なる位置に設けられる。

受光部２００において、２つの受光領域２１４を有する複数の第１画素２０２−１が、行方向に隣接して配列される。信号処理部２１０は、行方向に隣接して配列された第１画素２０２−１の第１受光領域２１４ａからの信号と、第２受光領域２１４ｂからの信号との行方向における像面位相差を検出することで、焦点状態を検出する焦点検出部として機能する。像面位相差検出用の第１画素２０２−１が、行方向に隣接して配列されるので、行方向における像面位相差を精度よく検出することができる。また、遮光を用いて像面位相差を検出する方式に比べ、光の利用効率を向上させることができる。

図２Ｂは、第２画素２０２−２および第３画素２０２−３の一例を示す図である。第２画素２０２−２および第３画素２０２−３のうちの少なくとも一部は、分離された２つの受光領域２１４を有する。第２画素２０２−２および第３画素２０２−３の第１受光領域２１４ａおよび第２受光領域２１４ｂは、列方向に並んで配列される。本例では、第２画素２０２−２または第３画素２０２−３の領域を、行方向に伸びる直線で２等分することで、２つの受光領域２１４が規定される。第２画素２０２−２および第３画素２０２−３の２つの受光領域２１４は、共通のマイクロレンズ１０１に対して、列方向において異なる位置に設けられる。

受光部２００において、２つの受光領域２１４を有する複数の第２画素２０２−２または第３画素２０２−３が、列方向に隣接して配列される。信号処理部２１０は、列方向に隣接して配列された第２画素２０２−２または第３画素２０２−３の第１受光領域２１４ａからの信号と、第２受光領域２１４ｂからの信号との列方向における像面位相差を検出することで、焦点状態を検出する焦点検出部として機能する。像面位相差検出用の第２画素２０２−２または第３画素２０２−３が、列方向に隣接して配列されるので、列方向における像面位相差を精度よく検出することができる。また、遮光を用いて像面位相差を検出する方式に比べ、光の利用効率を向上させることができる。

図３は、受光部２００の一例を示す図である。本例の受光部２００においては、全ての画素２０２が２つの受光領域２１４を有する。図３においては、各画素２０２における受光領域２１４の境界を点線で示している。本例では、全ての画素２０２の出力を用いて画像データを生成するとともに、少なくとも一部の画素２０２の出力を像面位相差検出用に用いる。信号処理部２１０は、任意の位置の画素２０２を像面位相差検出用の画素２０２として用いることができる。

信号処理部２１０は、像面位相差検出用に用いる画素２０２を随時変更してよい。例えば信号処理部２１０は、特定の被写体の画像を撮像している画素２０２を像面位相差検出用の画素２０２としてよい。当該被写体の画像を撮像している画素２０２の位置が時間に応じて変化する場合、信号処理部２１０は当該変化に追従して、像面位相差検出用の画素２０２を選択してよい。また、全ての画素２０２を、画像信号生成用として用いつつ、像面位相差検出用としても用いてよい。本例では、像面位相差検出に遮光を用いないので、全ての画素２０２を像面位相差検出用として用いることができるような構造にしても、入射光の利用効率が低下しない。

また、信号処理部２１０は、受光部２００からの各画素信号に基づく画像データを、ベイヤー配列等の所定の画素配列の画像データに変換する配列変換部としても機能する。配列変換する場合、信号処理部２１０は、各画素２０２の２つの受光領域２１４からの信号を加算して、各画素２０２からの画素信号とする。

図４は、信号処理部２１０における配列変換処理の一例を示す図である。図４においては、複数の画素２０２の各列の番号をｍ、ｍ＋１、ｍ＋２、・・・、ｍ＋ｋ、・・・とし、各行の番号をｎ、ｎ＋１、ｎ＋２、・・・、ｎ＋ｌ、・・・とする。ただし、ｋ、ｌは整数とする。図４においては、第１画素２０２−１の画素信号から、配列変換後の第１変換画素２０３−１の変換画素信号を生成する処理を説明する。本例の第１画素２０２−１は、ｋが０または偶数の列と、ｌが０または偶数の行に配列される。

なお、複数の第１画素２０２−１には、第１方向に連続して配置された３以上の第１画素２０２−１が含まれる。例えば、（ｍ、ｎ＋２）、（ｍ＋２、ｎ＋２）、（ｍ＋４、ｎ＋２）の位置に３つの第１画素２０２−１が配置される。また、複数の第２画素２０２−２（図４では「Ｂ」の画素に対応する）には、第１方向に交差する第２方向に連続して配置され、それぞれが上述した３つの第１画素２０２−１のうちの２つの第１画素２０２−１に隣接する２つの第２画素２０２−２が含まれる。例えば、（ｍ＋３、ｎ＋１）、（ｍ＋３、ｎ＋３）の位置に配置された第２画素２０２−２のそれぞれは、（ｍ＋２、ｎ＋２）、（ｍ＋４、ｎ＋２）の位置に配置された２つの第１画素２０２−１に交差して且つ隣接して配置される。

また、複数の第３画素２０２−３には、第１方向に交差する第３方向に連続して配置され、それぞれが上述した３つの第１画素２０２−１のうちの２つの第１画素２０２−１に隣接する２つの第３画素２０２−３が含まれる。なお、第２方向および第３方向は平行な方向であり、且つ、異なる場所における方向を指す。例えば第２方向は、（ｍ＋３、ｎ＋１）の位置から（ｍ＋３、ｎ＋３）の位置に向かう方向であり、第３方向は、（ｍ＋１、ｎ＋１）の位置から（ｍ＋１、ｎ＋３）の位置に向かう方向である。また、当該２つの第３画素２０２−３が隣接する２つの第１画素２０２−１は、上述した２つの第２画素２０２−２が隣接する２つの第１画素２０２−１とは、少なくとも一方の第１画素２０２−１が異なる。例えば、（ｍ＋１、ｎ＋１）、（ｍ＋１、ｎ＋３）の位置に配置された２つの第３画素２０２−３のそれぞれは、（ｍ、ｎ＋２）、（ｍ＋２、ｎ＋２）の位置に配置された２つの第１画素２０２−１に交差して且つ隣接して配置される。

信号処理部２１０は、行方向において隣接する２つの第１画素２０２−１の画素信号を加算して、当該２つの第１画素２０２−１の間に仮想的に配置される第１変換画素２０３−１の変換画素信号を生成する。図４においては、画素信号を加算する２つの第１画素２０２−１を両矢印で結合している。

より具体的には、信号処理部２１０は、各行の第１画素２０２−１が、それぞれ隣接する２つの第１画素２０２−１のペアとなるようにグルーピングする。信号処理部２１０は、ペアとなった２つの第１画素２０２−１の画素信号を加算して、第１変換画素２０３−１の変換画素信号を生成する。このとき、第１変換画素２０３−１の行方向の位置が、第１画素２０２−１の行毎に交互に異なるように、各行の第１画素２０２−１をグルーピングする。例えば、第ｎ＋ｓ（但し、ｓは０、４、８、・・・）行においては、（ｍ、ｍ＋２）、（ｍ＋４、ｍ＋６）、（ｍ＋８、ｍ＋１０）の列位置の第１画素２０２−１がグルーピングされる。これに対して、第ｎ＋ｓ＋２行においては、（ｍ＋２、ｍ＋４）、（ｍ＋６、ｍ＋８）、（ｍ＋１０、ｍ＋１２）の列位置の第１画素２０２−１がグルーピングされる。

図５は、第１変換画素２０３−１の配列例を示す図である。図４に説明した変換処理により、第１変換画素２０３−１は図５のように配列される。つまり、第１変換画素２０３−１の行方向の位置が、第１変換画素２０３−１の行毎に交互に異なるように配列される。具体的には、第ｎ＋ｓ行においては、ｍ＋１、ｍ＋５、ｍ＋９の列位置に第１変換画素２０３−１が配置される。また、第ｎ＋ｓ＋２行においては、ｍ＋３、ｍ＋７、ｍ＋１１の列位置に第１変換画素２０３−１が配置される。

図６は、信号処理部２１０における配列変換処理の一例を示す図である。図６においては、第２画素２０２−２および第３画素２０２−３の画素信号から、配列変換後の第２変換画素２０３−２および第３変換画素２０３−３の変換画素信号を生成する処理を説明する。本例の第２画素２０２−２および第３画素２０２−３は、ｋが奇数の列に配列される。本例では、第２画素２０２−２は、ｍ＋３、ｍ＋７、ｍ＋１１、・・・の列に配列される。また、第３画素２０２−３は、ｍ＋１、ｍ＋５、ｍ＋９、・・・の列に配列される。

信号処理部２１０は、列方向において隣接する２つの第２画素２０２−２の画素信号を加算して、当該２つの第２画素２０２−２の間に仮想的に配置される第２変換画素２０３−２の変換画素信号を生成する。また、信号処理部２１０は、列方向において隣接する２つの第３画素２０２−３の画素信号を加算して、当該２つの第３画素２０２−３の間に仮想的に配置される第３変換画素２０３−３の変換画素信号を生成する。図６においては、画素信号を加算する２つの画素２０２を両矢印で結合している。

なお、図４において説明した２つの第１画素２０２−１を結ぶ両矢印と、図６において説明した２つの第２画素２０２−２を結ぶ両矢印、および、２つの第３画素２０２−３を結ぶ両矢印とが重ならないように、画素信号を加算する第２画素２０２−２のペアおよび第３画素２０２−３のペアが選択される。つまり、第１変換画素２０３−１、第２変換画素２０３−２、第３変換画素２０３−３の位置が重ならないように、画素信号を加算する第２画素２０２−２のペアおよび第３画素２０２−３のペアが選択される。

より具体的には、第２画素２０２−２は、（ｎ＋３、ｎ＋５）、（ｎ＋７、ｎ＋９）、（ｎ＋１１、ｎ＋１３）の行位置の第２画素２０２−２がグルーピングされる。これに対して、第３画素２０２−３は、（ｎ＋１、ｎ＋３）、（ｎ＋５、ｎ＋７）、（ｎ＋９、ｎ＋１１）の列位置の第３画素２０２−３がグルーピングされる。

図７は、第２変換画素２０３−２および第３変換画素２０３−３の配列例を示す図である。図６に説明した変換処理により、第２変換画素２０３−２および第３変換画素２０３−３は図７のように配列される。具体的には、ｍ＋３、ｍ＋７、ｍ＋１１列においては、ｎ＋４、ｎ＋８、ｎ＋１２の行位置に第２変換画素２０３−２が配置される。また、ｍ＋１、ｍ＋５、ｍ＋９行においては、ｎ＋２、ｎ＋６、ｎ＋１０の行位置に第３変換画素２０３−３が配置される。

図８は、第１変換画素２０３−１、第２変換画素２０３−２および第３変換画素２０３−３の配列例を示す図である。図８に示す配列は、図５および図７に示した各変換画素２０３の配列を重ねた配列である。図４から図７において説明した処理により、信号処理部２１０は、図８に示すような、ベイヤー配列の画像データを取得することができる。

以上説明した撮像素子１００によれば、像面位相差検出用の画素を、行方向および列方向において連続して配置できるので、像面位相差の検出精度を向上させることができる。そして、隣接する画素２０２の画素信号を加算するという簡単な演算で、ベイヤー配列の画像データを取得することができる。また、像面位相差検出に遮光を用いないので、光の利用効率を向上させることができる。

図９は、受光部２００の他の例を示す図である。本例の受光部２００においては、一部の第１画素２０２−１、一部の第２画素２０２−２、一部の第３画素２０２−３が、それぞれ２つの受光領域２１４を有する。ただし、２つの受光領域２１４を有する第１画素２０２−１は、行方向において連続して配置される。また、２つの受光領域２１４を有する第２画素２０２−２は、列方向において連続して配置される。また、２つの受光領域２１４を有する第３画素２０２−３は、列方向において連続して配置される。他の構成は、図１から図８において説明した受光部２００と同一である。

このような構成によっても、像面位相差検出用の画素を、行方向および列方向において連続して配置できるので、像面位相差の検出精度を向上させることができる。そして、隣接する画素２０２の画素信号を加算するだけで、ベイヤー配列の画像データを取得することができる。また、像面位相差検出に遮光を用いないので、光の利用効率を向上させることができる。

図１０Ａから図１０Ｄは、信号処理部２１０の他の処理例を説明する図である。本例の信号処理部２１０は、第１画素２０２−１に対する変換画素信号として、行方向における位置がずれた第１から第４変換画素信号を生成する。図１０Ａは、第１変換画素信号Ｇ１を生成する例を示す図である。本例の処理は、図４において説明した処理と同一である。つまり、信号処理部２１０は、それぞれの第１画素２０２−１について、画素内の第１受光領域２１４ａおよび第２受光領域２１４ｂの出力信号を加算して、第１画素信号Ｓ１を生成する。そして、隣接する２つの第１画素２０２−１の第１画素信号Ｓ１を加算して、第１変換画素信号Ｇ１を生成する。本例において、第１変換画素信号Ｇ１は、ｍ＋１、ｍ＋５、・・・の位置における仮想的な変換画素の信号である。

図１０Ｂは、第２変換画素信号Ｇ２を生成する例を示す図である。本例において、第２変換画素信号Ｇ２は、第１変換画素信号Ｇ１とは異なる位置における変換画素の信号である。本例では、それぞれの第１画素２０２−１について、当該画素の第１受光領域２１４ａの出力信号と、当該画素の第１受光領域に隣接する第１画素２０２−１の第２受光領域２１４ｂの出力信号とを加算して、第２画素信号Ｓ２を生成する。そして、信号処理部２１０は、隣接する第２画素信号Ｓ２を加算して、第２変換画素信号Ｇ２を生成する。本例において、第２変換画素信号Ｇ２は、ｍ＋２、ｍ＋６、・・・の位置における仮想的な変換画素の信号である。

図１０Ｃは、第３変換画素信号Ｇ３を生成する例を示す図である。本例において、第３変換画素信号Ｇ３は、第１変換画素信号Ｇ１および第２変換画素信号Ｇ２とは異なる位置における変換画素の信号である。まず、第１画素信号Ｓ１と同一の処理で、第３画素信号Ｓ３を生成する。そして、信号処理部２１０は、隣接する第３画素信号Ｓ３を加算して、第３変換画素信号Ｇ３を生成する。本例において、第３変換画素信号Ｇ３は、ｍ＋３、ｍ＋７、・・・の位置における仮想的な変換画素の信号である。

図１０Ｄは、第４変換画素信号Ｇ４を生成する例を示す図である。本例において、第４変換画素信号Ｇ４は、第１変換画素信号Ｇ１、第２変換画素信号Ｇ２および第３変換画素信号Ｇ３とは異なる位置における変換画素の信号である。まず、第２画素信号Ｓ２と同一の処理で、第４画素信号Ｓ４を生成する。そして、信号処理部２１０は、隣接する第４画素信号Ｓ４を加算して、第４変換画素信号Ｇ４を生成する。本例において、第４変換画素信号Ｇ４は、ｍ、ｍ＋４、・・・の位置における仮想的な変換画素の信号である。

このような処理により、信号処理部２１０は、位置が異なる複数種類の変換画素信号Ｇ１〜Ｇ４を生成することができる。信号処理部２１０は、複数種類の変換画素信号を、一つのフレームの画像データとして用いてよく、異なるフレームの画像データとして用いてもよい。つまり、複数種類の変換画素信号による画像は、略同時に表示されてよく、異なるフレームのタイミングで表示されてもよい。また、信号処理部２１０は、略同時に撮像した画素信号から、上述した複数種類の変換画素信号を生成してよく、異なる撮像タイミングで取得した画素信号から複数種類の変換画素信号を生成してもよい。このような処理により、画像データの空間分解能を向上させることができる。なお、図１０ＡからＤにおいては、第１画素２０２−１を例として説明したが、第２画素２０２−２および第３画素２０２−３についても、同様な処理で複数種類の変換画素信号を生成することができる。

図１１Ａおよび図１１Ｂは、マイクロレンズ１０１の構造例を示す図である。図１１Ａは、マイクロレンズ１０１の斜視図である。ただし、曲線のグリッド線は曲面を示しており、直線のグリッド線は平面を示している。図１１Ｂは、マイクロレンズ１０１の平面形状を示す図である。図１１Ａ、図１１Ｂに示すように、マイクロレンズ１０１は、球面レンズの４辺を切り落としたような形状を有する。これにより、直径の大きい球面レンズを用いることができ、マイクロレンズ１０１の実質開口を上げることができる。また、マイクロレンズ１０１の４辺の位置を、画素２０２の４辺の位置と一致させることで、マイクロレンズ１０１を効率よく敷き詰めることができる。

図１２は、信号処理部２１０の他の処理例を示す図である。本例の信号処理部２１０は、受光領域２１４の出力信号を読み出す画素２０２を行単位で選択する。信号処理部２１０は、選択した行に属する画素２０２の出力信号を同時に読み出す。この場合、出力信号の読み出しタイミングが行毎に相違し、電荷蓄積時間が行毎に相違してしまう。本例の信号処理部２１０は、各画素２０２の第２受光領域２１４ｂの出力信号を用いて、第１受光領域２１４ａの出力信号を補正することで、電荷蓄積時間の相違を補償する。なお、本例の受光部２００は、全ての画素２０２が２つの受光領域２１４を有する。

図１２では、第１行に属する画素２０２の第１受光領域２１４ａの電荷蓄積時間をａ１で示し、第２受光領域２１４ｂの電荷蓄積時間をｂ１で示す。また、第２行に属する画素２０２の第１受光領域２１４ａの電荷蓄積時間をａ２で示し、第２受光領域２１４ｂの電荷蓄積時間をｂ２で示す。他の行についても同様である。また、図１２におけるＡＤＣは、それぞれの受光領域２１４の出力信号をデジタル変換する時間を示している。

図１２に示すように信号処理部２１０は、それぞれの画素２０２について、第１受光領域２１４ａが蓄積した電荷をリセットするリセットタイミングＡに対して、第２受光領域２１４ｂのリセットタイミングＢを遅らせる。このため、受光部２００は、それぞれの画素２０２の第１受光領域２１４ａおよび第２受光領域２１４ｂのリセットタイミングを独立に制御するリセット線を有する。リセットタイミングＡおよびリセットタイミングＢは、全ての画素２０２において共通である。

そして、信号処理部２１０は、それぞれの画素２０２について、第１受光領域２１４ａおよび第２受光領域２１４ｂが蓄積した電荷量に応じた出力信号を同時に読み出す。このため、受光部２００は、それぞれの画素２０２の第１受光領域２１４ａおよび第２受光領域２１４ｂの出力信号を並列に伝送する読み出し線を有する。また、信号処理部２１０は、それぞれの画素２０２の第１受光領域２１４ａおよび第２受光領域２１４ｂの出力信号を並列に処理する処理回路を有する。

信号処理部２１０は、それぞれの画素２０２について、第１受光領域２１４ａの出力信号の値から、第２受光領域２１４ｂの出力信号の値を減算して、各画素２０２の画素信号を生成する。これにより、全ての画素２０２において、リセットタイミングＡからリセットタイミングＢまでの電荷蓄積時間に応じた画素信号を生成することができる。このような処理により、ローリング読み出しで読み出した出力信号から、グローバルシャッタによる画素信号を擬似的に生成することができる。信号処理部２１０は、図１２において説明した処理を行うグローバルシャッタ処理部としても機能する。

図１３は、受光部２００の構成例を示す図である。図１３では、一つの画素２０２に関する構成だけを示すが、受光部２００は、全ての画素２０２について同様の構成を有する。上述したように、受光部２００は、第１受光領域２１４ａのリセットタイミングを制御するリセット線２２１−１と、第２受光領域２１４ｂのリセットタイミングを制御するリセット線２２１−２とを有する。リセット線２２１−１およびリセット線２２１−２は、画素２０２の行毎に設けられる。同一の行に含まれる画素２０２は、共通のリセット線２２１−１およびリセット線２２１−２に接続される。

また、受光部２００は、第１受光領域２１４ａの出力信号を読み出す読み出し線２２４−１と、第２受光領域２１４ｂの出力信号を読み出す読み出し線２２４−２とを有する。読み出し線２２４−１および読み出し線２２４−２は、画素２０２の列毎に設けられる。同一の列に含まれる画素２０２は、共通の読み出し線２２４−１および読み出し線２２４−２に接続される。読み出し線２２４は、それぞれの出力信号を信号処理部２１０に伝送する。

なお、信号処理部２１０は、行選択信号ＳＥＬにより、出力信号を読み出す行を選択する。また、信号処理部２１０は、出力信号を転送すべき受光領域２１４を、転送信号Ｔｘ１、Ｔｘ２により選択する。

このような構成により、信号処理部２１０は、それぞれの画素２０２について、第１受光領域２１４ａおよび第２受光領域２１４ｂが蓄積した電荷量に応じた出力信号を同時に、且つ、受光領域毎に独立して読み出す読出部として機能する。更に、信号処理部２１０は、ローリング読み出しで読み出した出力信号から、グローバルシャッタによる画素信号を擬似的に生成することができる。なお、信号処理部２１０は、図１から図１０Ｄにおいて説明した画素信号に変えて、図１１Ａ，Ｂおよび図１２において説明した画素信号を用いて、配列変換処理を行ってよい。つまり、信号処理部２１０は、第１受光領域２１４ａおよび第２受光領域２１４ｂの出力信号を加算せずに、第１受光領域２１４ａの出力信号から第２受光領域２１４ｂの出力信号を減算することで、画素信号を生成してよい。

図１４は、受光部２００の他の構成例を示す図である。本例の構成においては、図１２および図１３において説明したグローバルシャッタ処理は行わない。本例において、それぞれの各受光領域２１４はフォトダイオードである。本例の受光部２００においては、４つのフォトダイオードに対して、リセットトランジスタＲ、ソースフォロワトランジスタＳＦおよび選択トランジスタＳが共通に設けられる。例えば、領域２４０に含まれる４つのフォトダイオードに対して、リセットトランジスタＲ等が共通に設けられる。

また、それぞれのフォトダイオードに対して転送トランジスタＴＸが設けられる。また、当該４つのフォトダイオードは、それぞれ異なる画素２０２に含まれる。例えば、リセットトランジスタＲ等を共有する４つのフォトダイオードは、２つの第１画素２０２−１および２つの第２画素２０２−２に含まれる。

なお、転送トランジスタＴＸは、フォトダイオードが蓄積した電荷を、電荷検出部に転送するか否かを切り替える。電荷検出部は、例えば配線と基準電位間に接続された容量である（図示しない）。当該電荷検出部も、４つのフォトダイオードに共有される。

リセットトランジスタＲは、電荷検出部に転送された電荷をリセットするか否かを切り替える。ソースフォロワトランジスタＳＦは、電荷検出部に蓄積された電荷に応じた出力信号を出力する。選択トランジスタＳは、出力信号を読み出し線２２４に出力するか否かを切り替える。

図１５は、図１４に示した例における、転送トランジスタＴＸのおよび電荷検出部の配置例を示す図である。本例では、画素２０２と、トランジスタとは異なる層に設けられる。このため、画素２０２と、トランジスタを重ねて配置することができる。上述したように、４つのフォトダイオードＰＤにより、電荷検出部およびリセットトランジスタＲ等が共有される。それぞれのフォトダイオードＰＤには、転送トランジスタＴＸが設けられる。図１５においては、転送トランジスタＴＸのゲート電極を斜線部で示している。

４つのフォトダイオードは、２つの第１画素２０２−１、および、２つの第２画素２０２−２または第３画素２０２−３に含まれる。第１画素２０２−１と、第２画素２０２−２および第３画素２０２−３とは、画素が分割される方向が異なるので、４つの転送トランジスタＴＸで囲まれる領域が生じる。当該領域が電荷検出部として機能する。なお、図１５においては、リセットトランジスタＲ等を省略しているが、図１４に示したように、リセットトランジスタＲ等も、４つのフォトダイオードにより共有される。

図１６は、撮像素子１００の断面の一例を示す図である。本例では、裏面照射型の撮像素子１００を示すが、撮像素子１００は裏面照射型に限定されない。本例の撮像素子１００は、入射光に対応した信号を出力する撮像チップ１１３と、撮像チップ１１３からの信号を処理する信号処理チップ１１１と、信号処理チップ１１１が処理した画像データを記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示す方向へ入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。撮像チップ１１３は、受光部２００に対応する。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ部１０４、および、ＰＤ部１０４に対応して設けられたトランジスタ１０５を有する。一つの画素２０２に、一つのＰＤ部１０４が設けられる。つまり、ＰＤ部１０４は、第１受光領域２１４ａおよび第２受光領域２１４ｂを有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ部１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２、ＰＤ部１０４および複数のトランジスタ１０５の組が一つの画素を形成する。複数のトランジスタ１０５のオンオフを制御することで、各受光領域２１４の読み出しタイミング、受光開始タイミング（リセットタイミング）等を制御する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ部１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は、例えば図１２に示した読み出し線２２４に対応する。また、配線層１０８には、図１３および図１４に示した各トランジスタのゲート電極が形成されてよい。また、図１３および図１４に示した各トランジスタは、信号処理チップ１１１に形成されてもよい。この場合、配線１０７は、ＰＤ層１０６と、各トランジスタとを接続する配線に対応する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。本例の信号処理チップ１１１は、信号処理部２１０を含む。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、後述する一つの単位ブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ部１０４のピッチよりも大きくてもよい。また、画素が配列された撮像領域以外の周辺領域において、撮像領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図１７は、信号処理部２１０の機能の一部を示すブロック図である。本例の信号処理部２１０は、補正部２６０と、ルックアップテーブル２７０とを有する。図１から図１６において説明したように、信号処理部２１０は、それぞれの画素２０２における２つの受光領域２１４の出力信号を加算または減算する。しかし、２つの受光領域２１４の出力信号は、撮像素子に入射する光が通過したレンズの特性に応じて変動する場合がある。

例えば、レンズのＥＰＤ値、Ｆ値に応じて、それぞれの画素２０２における第１受光領域２１４ａの出力値と、第２受光領域２１４ｂの出力値との比が変動する。ＥＰＤ値は、像面（撮像素子１００の表面）から、レンズの射出瞳までの距離を示す値である。また、Ｆ値は、レンズの焦点距離を有効口径で除算した値である。ルックアップテーブル２７０は、ＥＰＤ値およびＦ値等のレンズの特性値に対して、各受光領域２１４の出力値を補正するための補正値を対応付けたテーブルを記憶する。レンズの特性値と、補正値とのテーブルは、画素２０２の位置毎に設定されてよい。

補正部２６０は、撮像素子に入射する光が通過したレンズのレンズデータを撮像装置から受け取り、出力信号を受光部２００から受け取る。例えば撮像装置は、使用されているレンズユニットの識別情報から、レンズ特性を検出してよい。また、撮像装置は、使用者等による撮像装置の操作に基づいて、レンズ特性を検出してもよい。また、補正部２６０は、当該出力信号の画素２０２の位置を示す情報を更に受け取る。当該位置情報は、行選択信号ＳＥＬ等に基づいて、信号処理部２１０が生成してよい。

補正部２６０は、レンズデータに対応する補正値を、ルックアップテーブル２７０から抽出する。当該補正値は、受光領域２１４毎に異なってよい。補正部２６０は、抽出した補正値を用いて、２つの受光領域２１４の出力信号を補正した補正信号を生成する。信号処理部２１０は、当該補正信号を用いて画素信号を生成する。

図１８は、レンズ特性と、出力信号との関係を説明する図である。図１８において横軸は、光軸に対する画素２０２の距離を示し、縦軸は、各画素２０２における受光領域２１４の出力信号の大きさを示す。図１８において、２つの受光領域２１４の出力信号を、実線および点線で示す。

通常、撮像素子１００におけるマイクロレンズ１０１は、光軸に対する画素２０２の位置に応じて、画素２０２に対してずらして配置される。このように設計することで、ある特定のＥＰＤ値のレンズに対して、どの位置の画素２０２であっても、画素２０２の中心に光のスポットが配置される。このように、どの位置の画素２０２であっても、画素２０２の中心に光スポットがくるＥＰＤ値を、ＥＰＤジャストと称する。

これに対して、ＥＰＤジャストのレンズよりも、ＥＰＤが短くなるレンズ、または、ＥＰＤが長くなるレンズでは、画素２０２の位置に応じて、光のスポットが画素２０２の中心からずれてしまう。画素２０２は、中心線で２つの受光領域２１４に分割されるので、光のスポットが画素２０２の中心からずれると、２つの受光領域２１４で、出力信号の大きさに差が生じてしまう。例えば、光軸から離れた位置では、光のスポットの大部分が、一方の受光領域２１４に含まれてしまい、当該受光領域２１４の出力信号が非常に大きくなるのに対して、他方の受光領域２１４の出力信号が非常に小さくなる。

また、Ｆ値が変動すると、像面における光のスポット径が変化する。例えば、Ｆ値が小さいとスポット径が大きくなる。この場合、２つの受光領域２１４の出力信号の大きさの差は小さくなる。一方、光軸から離れた位置では、光のスポットが、画素２０２の領域外にはみ出してしまい、画素２０２全体での出力信号の大きさが減少する。

このように、ＥＰＤ値、Ｆ値等のレンズ特性に応じて、２つの受光領域２１４の出力信号の大きさは変動する。本例の信号処理部２１０には、当該変動を補正する補正値と、レンズ特性値とを対応付けたテーブルが予め与えられる。当該テーブルは、レンズ特性を変化させて、出力信号を実際に検出することで作成することができる。このような構成により、より精度よく画素信号を生成することができる。

図１９は、一つの実施形態に係る撮像装置５００の構成例を示すブロック図である。撮像装置５００は、撮影光学系としての撮影レンズ５２０を備え、撮影レンズ５２０は、光軸ＯＡに沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ５２０は、撮像装置５００に対して着脱できる交換式レンズであっても構わない。撮像装置５００は、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５、表示部５０６および駆動部５１４を主に備える。

撮影レンズ５２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１９では瞳近傍に配置された仮想的な１枚のレンズで当該撮影レンズ５２０を代表して表している。

駆動部５１４は撮影レンズ５２０を駆動する。より具体的には駆動部５１４は撮影レンズ５２０の光学レンズ群を移動させて合焦位置を変更し、また、撮影レンズ５２０内の虹彩絞りを駆動して撮像素子１００へ入射する被写体光束の光量を制御する。

駆動部５０２は、システム制御部５０１からの指示に従って撮像素子１００のタイミング制御、領域制御等の電荷蓄積制御を実行する制御回路である。駆動部５０２は、撮像素子１００の受光部２００および信号処理部２１０を、図１から図１８に関連して説明したように動作させる。また、操作部５０８はレリーズボタン等により撮像者からの指示を受け付ける。

撮像素子１００は、図１から図１８に関連して説明した撮像素子１００と同一である。撮像素子１００は、画素信号をシステム制御部５０１の画像処理部５１１へ引き渡す。画像処理部５１１は、ワークメモリ５０４をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ベイヤー配列で得られた信号からカラー映像信号を生成した後に圧縮処理を実行する。画像処理部５１１は、信号処理部２１０を有してよい。この場合、撮像素子１００は、信号処理部２１０を有さずともよい。生成された画像データは、記録部５０５に記録されるとともに、表示信号に変換されて予め設定された時間の間、表示部５０６に表示される。

測光部５０３は、画像データを生成する一連の撮影シーケンスに先立ち、シーンの輝度分布を検出する。測光部５０３は、例えば１００万画素程度のＡＥセンサを含む。システム制御部５０１の演算部５１２は、測光部５０３の出力を受けてシーンの領域ごとの輝度を算出する。演算部５１２は、算出した輝度分布に従ってシャッタ速度、絞り値、ＩＳＯ感度を決定する。測光部５０３は撮像素子１００で兼用してもよい。なお、演算部５１２は、撮像装置５００を動作させるための各種演算も実行する。駆動部５０２は、一部または全部が撮像素子１００の信号処理チップ１１１に搭載されてよい。システム制御部５０１の一部が撮像素子１００の信号処理チップ１１１に搭載されてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パッシベーション膜、１０４ ＰＤ部、１０５ トランジスタ、１０６ ＰＤ層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理チップ、１１２ メモリチップ、１１３ 撮像チップ、２００ 受光部、２０２ 画素、２０３ 変換画素、２１０ 信号処理部、２１４ 受光領域、２１４ａ 第１受光領域、２１４ｂ 第２受光領域、２２２−１、２２２−２ リセット線、２２４ 読み出し線、２６０ 補正部、２７０ ルックアップテーブル、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５０８ 操作部、５１１ 画像処理部、５１２ 演算部、５１４ 駆動部、５２０ 撮影レンズ

Claims (27)

1. 第一の方向に配置された第一の色の光を検出する複数の受光領域を有する第一画素であって、前記第一の方向に並んでいる複数の前記第一画素と、
   前記第一の方向と異なる第二の方向に配置された第二の色の光を検出する複数の受光領域を有する第二画素であって、前記第一の方向において前記複数の第一画素とは異なる位置に配置され、前記第一の方向に並んでいる複数の前記第二画素と、
   を備える撮像素子。
2. 前記第二の方向に配置された第二の色の光を検出する複数の受光領域を有する第三画素であって、前記第一の方向において前記複数の第一画素とは異なる位置に配置され、前記第一の方向に配列された複数の前記第三画素を備え、
   前記複数の第一画素は、前記複数の第二画素と前記複数の第三画素との間に配列された請求項１に記載の撮像素子。
3. 前記第一の方向に配置された第三の色の光を検出する複数の受光領域を有する第四画素であって、前記第一の方向に配列された複数の前記第四画素を備え、
   前記複数の第三画素は、前記複数の第一画素と前記複数の第四画素との間に配列された請求項２に記載の撮像素子。
4. 前記複数の第三画素は、前記第一の方向において前記複数の第二画素と同じ位置に配置されている請求項２に記載の撮像素子。
5. 前記複数の第四画素は、前記第一の方向において前記複数の第一画素と同じ位置に配置されている請求項３に記載の撮像素子。
6. 前記第二画素からの出力信号と、前記第三画素からの出力信号とにより、光学系の合焦状態を検出する焦点検出部を備える請求項４に記載の撮像素子。
7. 前記複数の第一画素からの出力信号により、光学系の合焦状態を検出する焦点検出部を備える請求項１から６のいずれか一項に記載の撮像素子。
8. 前記複数の第一画素と前記複数の第二画素と前記複数の第三画素と前記複数の第四画素とが配置された撮像部と、
   前記撮像部と積層され、前記撮像部からの信号を処理する信号処理部と
   を有する請求項３に記載の撮像素子。
9. 前記信号処理部は、前記第一の方向に順に配列された二つの前記第一画素からの出力信号を加算して第一画素信号を生成し、前記第一の方向において同じ位置に配置されている前記第二画素と前記第三画素からの出力信号を加算して第二画素信号を生成し、前記第一の方向に順に配列された二つの前記第四画素からの出力信号を加算して第三画素信号を生成する請求項８に記載の撮像素子。
10. 第一の方向に配置された第一の色の光を検出する複数の受光領域を有する第一画素であって、前記第一の方向に配置された複数の前記第一画素と、
    前記第一の方向と異なる第二の方向に配置された第二の色の光を検出する複数の受光領域を有する第二画素であって、前記第二の方向に配列され、二つの前記第一画素の間で前記複数の第一画素と交差する複数の前記第二画素と、
    を備える撮像素子。
11. 前記複数の第一画素は、前記第一の方向に並んで配置され、前記複数の第二画素は、前記第二の方向に並んで配置されている請求項１０に記載の撮像素子。
12. 前記複数の第一画素は、前記第一画素の一部同士が隣り合って配置され、前記複数の第二画素は、前記第二画素の一部同士が隣り合って配置されている請求項１１に記載の撮像素子。
13. 前記第一の方向と前記第二の方向とが交差する部分では、一つの前記第一画素が二つの前記第二画素に隣り合って配置され、一つの前記第二画素が二つの前記第一画素に隣り合って配置されている請求項１０から１２の何れか一項に記載の撮像素子。
14. 前記第一の方向と前記第二の方向とは直交している請求項１０から１３の何れか一項に記載の撮像素子。
15. 前記複数の第一画素の列を複数有し、前記複数の第二画素の列を複数有する請求項１０から１４のいずれか一項に記載の撮像素子。
16. 前記複数の第一画素の前記複数の列と、前記複数の第二画素の前記複数の列とは交差する請求項１５に記載の撮像素子。
17. 前記複数の第一画素の前記複数の列と、前記複数の第二画素の前記複数の列とは直交し、前記複数の第一画素の前記複数の列同士は平行に配列し、前記複数の第二画素の前記複数の列同士は平行に配列する請求項１６に記載の撮像素子。
18. 前記第一画素からの出力信号と、前記第二画素からの出力信号とにより、光学系の合焦状態を検出する焦点検出部を備える請求項１０から１７のいずれか一項記載の撮像素子。
19. 前記第一画素と前記第二画素とが配置された撮像部と、
    前記撮像部と積層され、前記撮像部からの信号を処理する信号処理部と
    を有する請求項１０から１８のいずれか一項に記載の撮像素子。
20. 前記信号処理部は、前記第一の方向に順に配列された２つの前記第一画素からの出力信号を加算して第一画素信号を生成し、前記第二の方向に順に配列された２つの前記第二画素からの出力信号を加算して第二画素信号を生成する請求項１９に記載の撮像素子。
21. 第三の方向に配置された第三の色の光を検出する複数の受光領域を有する第三画素であって、前記第三の方向に配列され、前記複数の第一画素の列と交差する複数の前記第三画素を備える請求項１０から２０の何れか一項に記載の撮像素子。
22. 前記第一の方向と前記第三の方向とは直交している請求項２１に記載の撮像素子。
23. 前記第二の方向と前記第三の方向とは平行である請求項２１または２２に記載の撮像素子。
24. 前記第一の方向は、前記第一画素の第１頂点から、前記第１頂点とは異なる第２頂点への方向である請求項１から２３の何れか一項に記載の撮像素子。
25. 前記第二の方向は、前記第一画素の前記第１頂点および前記第２頂点と異なる第３頂点から、前記第１頂点、前記第２頂点および前記第３頂点と異なる第４頂点への方向である請求項２４に記載の撮像素子。
26. 第一の色の光を検出する複数の光電変換部を有する第一受光部と、
    前記第一受光部の第一の方向に配置され、第二の色の光を検出する複数の光電変換部を有する第二受光部と、
    前記第一受光部の第二の方向に配置され、前記第二の色の光を検出する複数の光電変換部を有する第三受光部と、
    前記第二受光部の前記第二の方向に配置され、前記第一の色の光を検出する複数の光電変換部を有する第四受光部とを有し、
    前記第一受光部の複数の光電変換部と前記第四受光部の複数の光電変換部は、前記第一受光部から前記第四受光部の方向に配置され、
    前記第二受光部の複数の光電変換部と前記第三受光部の複数の光電変換部は、前記第二受光部から前記第三受光部の方向に配置されている撮像素子。
27. 請求項１から２６のいずれか一項に記載の撮像素子を備えた撮像装置。