JP5377797B2 - 固体撮像素子及びその駆動方法並びに撮影装置 - Google Patents

Description

本発明は、位相差ＡＦ機能及び単眼３Ｄ撮影機能を有する固体撮像素子、及びその駆動方法、並びにこの固体撮像素子を備えた撮影装置に関する。

デジタルカメラ等では、被写体を撮像する固体撮像素子を利用して、位相差方式のオートフォーカス（以下、位相差ＡＦと称す）を行うものが知られている。位相差ＡＦとは、右方向に選択性を持つ第１画素による像と、左方向に選択性を持つ第２画素による像とのずれ量を求め、このずれ量から撮影光学系のデフォーカス量を求める方式である。

位相差ＡＦ機能を有する固体撮像素子としては、フォトダイオード（ＰＤ）に向けて光を集光するマイクロレンズの光軸と、ＰＤの上方の遮光膜の開口の中心とを偏心させることにより、ＰＤの受光面に入射する光の角度に左右の選択性を持たせた第１及び第２画素（以下、位相差検出画素ともいう）を、撮像面内に所定のパターンで複数配置したものが知られている（特許文献１〜３参照）。

一般に、視差画像を取得するためには、互いに平行に配置された２つの撮像部が必要である。これに対し、第１及び第２画素の対を固体撮像素子の撮像面の全体に配置することにより、１個の撮像部で両眼視差の生じる一対の視差画像を取得すること（いわゆる単眼３Ｄ撮影）が研究されている。この単眼３Ｄ撮影機能を有する固体撮像素子では、１つの撮像部のみで一対の視差画像を取得することができるため、撮影装置の大幅なコストダウンが可能となる。近年、３Ｄ関連技術が脚光を浴びており、単眼３Ｄ撮影を可能とする撮影装置の早期の実用化が望まれている。

特開２００７−１５８６９２号公報 特開２０１０−０９３６１９号公報 特開２０１０−２５２２７７号公報

しかしながら、単眼３Ｄ撮影機能を有する固体撮像素子では、位相差検出画素が取得した信号をどのようにして外部に読み出すかという具体的な構成は何ら検討されていないのが現状である。

本発明は、位相差ＡＦ機能及び単眼３Ｄ撮影機能を有する固体撮像素子から各位相差検出画素が取得した信号を適切に読みだすことができる固体撮像素子及びその駆動方法並びに撮影装置を提供することを目的とする。

上記目的を達成するため、本発明の固体撮像素子は、撮像部と、撮像部の各画素対に設けられた第１画素用読み出し部、第２画素用読み出し部、電荷蓄積部、リセット部、増幅部、及び行選択部と、複数の垂直信号線と、複数の垂直信号線と、水平信号線と、列選択部と、複数の第１画素読み出し線信号供給線と、複数の第２画素読み出し線信号供給線と、複数のリセット線と、複数の行選択線とを備える。撮像部は、互いに水平方向に隣接して配置され、入射した光を電荷に変換して信号蓄積する第１及び第２画素と、前記第１及び第２画素に向けて光を集光するマイクロレンズとを有する画素対を複数備え、前記水平方向に配列された複数の前記画素対により構成された画素行が、前記第１画素と前記第２画素とが垂直方向に隣接するように、前記垂直方向に複数配列されている。第１画素用読み出し部は、前記第１画素に蓄積された信号電荷を読み出す。第２画素用読み出し部は、前記第２画素に蓄積された信号電荷を読み出す。電荷蓄積部は、前記第１画素及び前記第２画素から読み出された前記信号電荷を一時的に蓄積する。リセット部は、前記電荷蓄積部に蓄積された前記信号電荷を所定の電位にリセットする。増幅部は、前記電荷蓄積部に蓄積された信号電荷を増幅し、信号電圧として出力する。行選択部は、前記各画素行のうち、前記信号電圧を転送するべき行を選択する。複数の垂直信号線は、前記垂直方向に沿って形成されるとともに、前記垂直方向の所定の列毎に設けられ、前記行選択部で選択された行からの前記信号電圧を前記垂直方向に転送する。水平信号線は、前記各垂直信号線からの前記信号電圧を前記水平方向に転送する。列選択部は、前記各垂直信号線のそれぞれに対応して設けられ、前記各垂直信号線からの前記信号電圧を前記水平信号線に転送するべき列を選択する。複数の第１画素読み出し線信号供給線は、前記各第１画素用読み出し部に、前記第１画素から信号電荷を読み出させる第１画素読み出し信号を供給する。複数の第２画素読み出し線信号供給線は、前記各第２画素用読み出し部に、前記第２画素から信号電荷を読み出させる第２画素読み出し信号を供給する。複数のリセット線は、前記各リセット部に、前記電荷蓄積部を所定の電位にリセットさせるリセット信号を供給する。複数の行選択線は、前記各行選択部に行選択信号を供給する。

前記第１画素読み出し線信号供給線と前記第２画素読み出し線信号供給線とは、前記垂直方向に隣接する前記画素行の間で、前記垂直方向に１つ置きとなるように交互に配置され、前記垂直方向に隣接する２つの前記画素行に共通に用いられる。

前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させる１つのカラーフィルタを有し、前記カラーフィルタは、赤色の光を透過させる赤色カラーフィルタ、緑色の光を透過させる緑色カラーフィルタ、青色の光を透過させる青色カラーフィルタのいずれかであり、前記垂直方向に隣接して配置された２つの緑色カラーフィルタと、これらの２つの緑色カラーフィルタに隣接するとともに、前記水平方向に隣接して配置された１つの赤色カラーフィルタと１つの青色カラーフィルタとによりフィルタセットが構成され、前記フィルタセットが互いに隣接して前記水平方向及び前記垂直方向に配列されている。

前記各垂直信号線は、前記垂直方向に並ぶ前記各画素対の列毎に設けられている。

また、斜め４５度方向に隣接して配置された２つの緑色カラーフィルタと、これらの各緑色カラーフィルタと隣接し、かつ互いに斜め４５度方向に隣接して配置された２つの赤色カラーフィルタとにより第１フィルタセットが構成される。この第１フィルタセットの各赤色カラーフィルタが青色カラーフィルタに置き換えられた第２フィルタセットが構成される。カラーフィルタは、これらの第１及び第２フィルタセットが市松模様状に配列されたものであってもよい。この場合、前記各垂直信号線は、前記画素対の２列に対して１本ずつ設けられ、これに斜め４５度方向に隣接する同色の前記カラーフィルタを有する一対の前記画素対の出力が接続されていることが好ましい。

前記マイクロレンズを通過した光を前記第１及び第２画素にそれぞれ入射させる開口領域が形成された遮光膜を有し、前記開口領域は、前記マイクロレンズの外形よりも外側にはみ出さない形状である。

前記マイクロレンズは、前記画素対の前記水平方向への幅と略同一の長軸を有する半楕円球状であり、その光軸と前記画素対の中心とが略一致していてもよい。この場合、前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させるとともに、前記マイクロレンズの底面に外接する略六角形状のカラーフィルタを有することが好ましい。

また、本発明の固体撮像素子の駆動方法は、撮像部と、撮像部の各画素対に設けられた第１画素用読み出し部、第２画素用読み出し部、電荷蓄積部、リセット部、増幅部、及び行選択部と、複数の垂直信号線と、複数の垂直信号線と、水平信号線と、列選択部と、複数の第１画素読み出し線信号供給線と、複数の第２画素読み出し線信号供給線と、複数のリセット線と、複数の行選択線とを備える固体撮像素子の駆動方法である。この駆動方法は、前記撮像部に対して露光を行うＡステップと、信号電荷を読み出すＢステップと、Ａ〜Ｂステップを第１行から最終の行まで繰り返し実行して１画面分の前記信号電圧を読み出すＣステップとを有する。前記Ｂステップは、前記撮像部の第Ｎ行（Ｎは任意の整数）に対して、前記行選択線への前記行選択信号の入力、前記第１画素読み出し線信号供給線への前記第１画素読み出し信号の入力、前記第２画素読み出し線信号供給線への前記第２画素読み出し信号の入力を行うとともに、前記第Ｎ行に対応する前記各垂直信号線に読み出された前記信号電圧を前記水平信号線に順次転送することにより、前記第Ｎ行の１行分の前記第１及び第２画素の前記信号電圧を読み出す。

前記露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するタイミングと、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力するタイミングとをずらすことで、前記第１画素と前記第２画素との露光時間を変えることが好ましい。

前記露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力することにより、前記第１画素の露光時間と前記第２画素の露光時間とを略同一にしてもよい。

前記第Ｎ行の読み出しを行う際に、前記第Ｎ行の前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力し、前記第Ｎ行の前記各第１画素に蓄積された露光後の信号電荷を読み出す。この信号電荷の読み出し後に、前記第Ｎ行の前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力し、前記第Ｎ行の前記各第２画素に蓄積された露光後の信号電荷を読み出すことが好ましい。

前記第Ｎ行の読み出しを行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力する。これとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力する。前記第１画素に蓄積された信号電荷と、前記第２画素に蓄積された信号電荷とを同時に前記電荷蓄積部に読み出すことで、これらの各信号電荷を前記電荷蓄積部で混合してもよい。

前記第１及び第２フィルタセットを市松模様状に配列し、前記画素行を前記垂直方向に交互に長露光時間、短露光時間としてもよい。前記第Ｎ行の読み出しを行う際に、前記各信号電荷の前記電荷蓄積部での混合を行うことにより、斜め４５度方向に隣接する一対の前記画素対の一方を高感度用、他方を低感度用とする。

前記第Ｎ行の読み出しを行う際に、隣接する行を含む複数行の前記第１画素読み出し線信号供給線に同時に前記第１画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第１画素の信号電荷を前記垂直信号線上で混合してもよい。これとともに、前記複数行の前記第２画素読み出し線信号供給線に同時に前記第２画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第２画素の信号電荷を前記垂直信号線上で混合してもよい。

また、本発明の撮影装置は、前記固体撮像素子と、この固体撮像素子を駆動する駆動制御部とを備える。前記駆動制御部は、前記撮像部に対して露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するタイミングと、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力するタイミングとをずらすことで、前記第１画素と前記第２画素との露光時間を変える第１駆動モードを有している。

前記第１画素の露光時間と前記第２画素の露光時間とを略同一にする第２駆動モードを有していることが好ましい。この場合に、前記駆動制御部は、前記撮像部に対して露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力する。これとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力する。

前記駆動制御部は、前記撮像部の第Ｎ行（Ｎは任意の整数）の前記第１及び第２画素に蓄積された信号電荷を読み出す際に、前記第Ｎ行の前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力し、前記第Ｎ行の前記各第１画素に蓄積された露光後の信号電荷を読み出す。この後で、前記第Ｎ行の前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力し、前記第Ｎ行の前記各第２画素に蓄積された露光後の信号電荷を読み出すことが好ましい。

各信号電荷を前記電荷蓄積部で混合する第３駆動モードを有していることが好ましい。この場合に、前記駆動制御部は、前記第１及び第２画素に蓄積された信号電荷を読み出す際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力する。これとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力し、前記第１画素に蓄積された信号電荷と、前記第２画素に蓄積された信号電荷とを同時に前記電荷蓄積部に読み出す。

前記第１及び第２フィルタセットを市松模様状に配列し、前記駆動制御部は、前記画素行を前記垂直方向に交互に長露光時間、短露光時間としてもよい。前記各画素行の読み出しを行う際に、前記各信号電荷を前記電荷蓄積部で混合するモードで読み出すことにより、斜め４５度方向に隣接する一対の前記画素対の一方を高感度用、他方を低感度用とする。

前記駆動制御部は、前記第１及び第２画素に蓄積された信号電荷を読み出す際に、複数の行の前記第１画素読み出し線信号供給線に同時に前記第１画素読み出し信号を入力する。これにより、前記垂直方向に隣接する複数の前記画素対の前記各第１画素の信号電荷を前記垂直信号線上で混合する。また、複数の行の前記第２画素読み出し線信号供給線に同時に前記第２画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第２画素の信号電荷を前記垂直信号線上で混合するが好ましい。

本発明では、行選択線への前記行選択信号の入力、第１画素読み出し線信号供給線への第１画素読み出し信号の入力、第２画素読み出し線信号供給線への第２画素読み出し信号の入力を行うとともに、その行に対応する各垂直信号線の各列選択部を動作させ、各垂直信号線に読み出された信号電圧を水平信号線に順次転送する。これは、任意の行の１行分の各画素の信号電圧を読み出す。この行読み出しを第１行目から最終の行まで繰り返し実行することにより、１画面分の信号電圧を読み出す。このように、本発明によれば、位相差検出画素である第１画素及び第２画素による位相差ＡＦ機能及び単眼３Ｄ撮影機能を有する固体撮像素子において、各画素が取得した信号を適切に読み出すことができる。

撮影装置の構成を示すブロック図である。 撮像面の構成を示す説明図である。 カラーフィルタの配列を示す説明図である。 ＣＭＯＳイメージセンサの構成を示す回路図である。 高ダイナミックレンジ静止画モードでの動作手順を示すタイミングチャートである。 垂直信号線上で信号電荷の混合を行う場合の動作手順を示すタイミングチャートである。 左右同時刻露光静止画モードでの動作手順を示すタイミングチャートである。 左右画素混合静止画モードでの動作手順を示すタイミングチャートである。 ２Ｄ動画モードでの動作手順を示すタイミングチャートである。 ３Ｄ動画モードでの動作手順を示すタイミングチャートである。 ＥＸＲ配列のカラーフィルタを示す説明図である。 ＥＸＲ配列のカラーフィルタにおけるＣＭＯＳイメージセンサの構成を示す回路図である。 ＰＤの遮光膜の開口領域を、マイクロレンズの外形よりも外側にはみ出さないように構成した例を示す説明図である。 ＰＤの遮光膜の開口領域の一端部をマイクロレンズの中央に近付けた例を示す説明図である。 正方形状のマイクロレンズの例を示す説明図である。 半楕円球状のマイクロレンズの例を示す説明図である。

［第１実施形態］
図１において、撮影装置１０は、撮影レンズ１２と、メカシャッタ１３と、ＣＭＯＳイメージセンサ（固体撮像素子）１４と、イメージセンサ駆動部１５と、画像処理部１６と、制御部１７と、操作部１８とを備えている。この撮影装置１０は、例えば、デジタルカメラやカメラ機能付きの携帯端末などである。なお、イメージセンサ駆動部１５や画像処理部１６は、イメージセンサ１４と同一半導体チップ上に形成される場合もある。

撮影レンズ１２は、被写体像をＣＭＯＳイメージセンサ１４の撮像面（撮像部）１４ａに結像させる。また、撮影レンズ１２には、フォーカスレンズや収差補正レンズ（いずれも図示せず）が組み込まれており、焦点調整や、像歪、色補正を可能とする。

メカシャッタ１３は、被写体像の撮像面１４ａへの入射を阻止する閉じ位置と、被写体像の撮像面１４ａへの入射を許容する開き位置との間で移動する可動部（図示せず）を有し、この可動部を各位置に移動させることによって、撮影レンズ１２からＣＭＯＳイメージセンサ１４へと至る光路を開放／遮断する。メカシャッタ１３は、通常は可動部を閉じ位置とし、ＣＭＯＳイメージセンサ１４への不要な光の入射を防ぐ。そして、メカシャッタ１３は、制御部１７からの指示に応じて可動部を閉じ位置から開き位置に移動させることにより、ＣＭＯＳイメージセンサ１４による被写体像の撮像を可能にする。なお、撮影装置１０には、ＣＭＯＳイメージセンサ１４への光量を制御する絞り（図示せず）も含まれている。

ＣＭＯＳイメージセンサ１４は、撮影レンズ１２により結像した被写体像を撮像し、撮像信号を出力する。イメージセンサ駆動部１５は、各種の信号をＣＭＯＳイメージセンサ１４に入力することによって、ＣＭＯＳイメージセンサ１４を駆動する。

画像処理部１６は、ＣＭＯＳイメージセンサ１４が出力した撮像信号に対して各種の画像処理を施すことにより、所定の形式の画像データを生成する。この画像データは、液晶ディスプレイなどの表示装置に出力されるか、コネクタやケーブルなどのインタフェースを介して外部の装置に出力されるか、フラッシュメモリやハードディスクなどの撮影装置１０の内部のメモリに記憶されるか、あるいはメディアスロットを介して装着されるメモリカードなどの外部の記憶媒体に記憶される。

制御部１７は、撮影レンズ１２、メカシャッタ１３、イメージセンサ駆動部１５、画像処理部１６の各部と電気的に接続され、これらの各部を統括的に制御する。撮影レンズ１２の焦点調整、メカシャッタ１３の開閉、イメージセンサ駆動部１５によるＣＭＯＳイメージセンサ１４の駆動、及び画像処理部１６による画像データの生成は、制御部１７の制御の下に実行される。

制御部１７には、ユーザが撮影装置１０に操作指示を入力するための操作部１８が電気的に接続されている。操作部１８には、撮影の実行を指示するためのレリーズボタンやＣＭＯＳイメージセンサ１４の駆動モードを選択するための選択ボタンなど、撮影装置１０に操作指示を入力するための各種の入力部材が設けられている。操作部１８は、これらの入力部材の操作結果を操作指示として制御部１７に入力する。制御部１７は、操作部１８を介して入力されたユーザからの操作指示に応じて、各部の制御を実行する。

図２において、ＣＭＯＳイメージセンサ１４は、第１及び第２画素２１、２２と、マイクロレンズ２３と、カラーフィルタ２４とにより構成された複数の画素対２５を備えている。第１及び第２画素２１、２２は、互いに水平方向に隣接して配置されている。第１及び第２画素２１、２２には、入射した光を電荷に変換して蓄積する光電変換部であるフォトダイオード（ＰＤ）２０がそれぞれ設けられている。ＰＤ２０は、その上に設けられた遮光膜の開口領域２０ａを介して表面が露呈している。

マイクロレンズ２３は、第１及び第２画素２１、２２に対して１つ設けられており、両者の中央部に向けて光を集光する。カラーフィルタ２４は、マイクロレンズ２３が集光した光のうち、所定の色（波長）の光のみを透過させて第１及び第２画素２１、２２に入射させる。

第１及び第２画素２１、２２は、それぞれ略同一の大きさの正方形状であり、互いに辺が接するように、水平、垂直方向に配列ピッチαの併進対称操作にて配置されている。マイクロレンズ２３は、略半球状に形成され、第１及び第２画素２１、２２の中央、すなわち第１及び第２画素２１、２２が接する辺の中点に光軸が位置するように配置されている。このマイクロレンズ２３の構成は、従来のマイクロレンズ（光軸がＰＤ２０の遮光膜の開口領域２０ａの中心と略一致し、かつ直径が対応する画素の領域を超えないマイクロレンズ）をそれぞれα／２ずつ近寄せ、それら２つのマイクロレンズを合成し、かつ寸法を拡大した構成であると見ることもできる。

カラーフィルタ２４は、正方形を略４５度回転させた形状であり、その中心がマイクロレンズ２３の光軸と一致するように、かつ、水平方向右向きから略４５度と略１３５度方向に配列ピッチ２^１／２αの併進対称操作にて配置されている。また、カラーフィルタ２４の対角線の長さは２αである。マイクロレンズ２３は、このカラーフィルタ２４の内接円となるように形成されている。マイクロレンズ２３及びカラーフィルタ２４は、画素対２５に対して配置可能な最大の大きさとなっている。

カラーフィルタ２４の一辺の長さβは、２^１／２αであり、その面積は、２α^２である。すなわち、カラーフィルタ２４の面積は、第１及び第２画素２１、２２の面積の２倍である。また、カラーフィルタ２４の一辺の長さβは、マイクロレンズ２３の直径と等しい。従って、マイクロレンズ２３の外形円（βを直径とする円）の面積は、πα^２／２である。αを直径とする従来のマイクロレンズの外形円の面積は、πα^２／４であるから、マイクロレンズ２３の外形円の面積は、従来のマイクロレンズの外形円の面積の２倍になる。

ＣＭＯＳイメージセンサ１４では、水平方向に画素対２５を複数配列することによって画素行２６が構成される。各画素対２５の配列方向と略直交する方向（垂直方向）に画素行２６を複数配列するとともに、隣接する各画素行２６で第１画素２１同士又は第２画素２２同士が隣り合わないように、隣接する各画素行２６を水平方向に１画素分ずらされている。図２では、簡易的に１２個の画素対２５からなる４行６列の撮像面１４ａを示しているが、実際にはより多数の画素対２５で、矩形状をした撮像面１４ａが構成される。

このように撮像面１４ａを構成すると、水平方向及び垂直方向に互いに隣接する単純正方格子状に第１及び第２画素２１、２２が配列されるとともに、いわゆるハニカム配列に画素を配列した場合と同様に、斜め４５度方向に隣接するようにマイクロレンズ２３とカラーフィルタ２４とが配列される。ここで、水平方向とは、矩形状に形成された撮像面１４ａの左右方向（横方向）と同義であり、垂直方向とは、撮像面１４ａの上下方向（縦方向）と同義である。そして、斜め４５度方向とは、撮像面１４ａの左右方向及び上下方向に対して４５度傾斜した方向である。

以上の撮像面１４ａの構成では、垂直方向に隣接する各画素行２６を水平方向に１画素分ずらして配列することにより、各画素対２５からはみ出たマイクロレンズ２３の部分が、隣接する画素行２６の２つのマイクロレンズ２３の間に入り込む。これとともに、各画素対２５からはみ出たカラーフィルタ２４の部分が、隣接する画素行２６の２つのカラーフィルタ２４の間に入り込んでいる。これにより、第１及び第２画素２１、２２が水平方向及び垂直方向に隙間なく敷き詰められ、かつマイクロレンズ２３とカラーフィルタ２４とが斜め４５度方向に隙間なく敷き詰められる。

第１及び第２画素２１、２２は、入射する光の角度に選択性を有する位相差検出画素である。例えば、ＰＤ２０の遮光膜の開口領域２０ａがマイクロレンズ２３の焦点位置付近にある場合には、第１画素２１は、左方向からマイクロレンズ２３に進入する光が入射し難く、右方向からマイクロレンズ２３に進入する光に選択性を有する。逆に、第２画素２２は、右方向からマイクロレンズ２３に進入する光が入射し難く、左方向からマイクロレンズ２３に進入する光に選択性を有する。なお、マイクロレンズ２３の焦点距離が、マイクロレンズ２３とＰＤ２０との間の距離より長い場合には、左右の関係が逆となる。

したがって、撮影装置１０では、撮影レンズ１２の合焦状態に応じて、第１画素２１の撮像信号によって生成される画像と、第２画素２２の撮像信号によって生成される画像とに、左右方向にずれが生じる。このずれ量及びずれの方向を検知することで、撮影レンズ１２のフォーカス調整量を求めることができる。

このように、ＣＭＯＳイメージセンサ１４は、位相差方式のＡＦを可能とする。さらに、ＣＭＯＳイメージセンサ１４は、両眼視差の生じる一対の視差画像を取得する、いわゆる単眼３Ｄ撮影も可能とする。ＣＭＯＳイメージセンサ１４は、マイクロレンズ２３の外形円の面積が、従来のマイクロレンズの外形円の面積の２倍であるので、遮光膜の開口を偏心させ、かつ偏心のために開口面積を縮小して形成した従来の位相差検出画素などに比べて高感度である。

図３において、カラーフィルタ２４は、赤色の光を透過させる赤色カラーフィルタ２４Ｒと、緑色の光を透過させる緑色カラーフィルタ２４Ｇと、青色の光を透過させる青色カラーフィルタ２４Ｂとに分けられる。これらの各色のカラーフィルタ２４Ｒ、２４Ｇ、２４Ｂは、各画素対２５にそれぞれ個別に設けられ、撮像面１４ａに所定のパターンで配列されている。なお、図面では、垂直方向のハッチングが赤色、斜め４５度方向のハッチングが緑色、水平方向のハッチングが青色をそれぞれ示している。

垂直方向に隣接して配置された２つの緑色カラーフィルタ２４Ｇと、これらの各緑色カラーフィルタ２４Ｇの４５度右隣に隣接して配置された１つの赤色カラーフィルタ２４Ｒと、各緑色カラーフィルタ２４Ｇの４５度左隣に隣接して配置された１つの青色カラーフィルタ２４Ｂとにより、１つのフィルタセット２８が構成されている。このフィルタセット２８が隙間なく配列されている。

このように各色のカラーフィルタ２４Ｒ、２４Ｇ、２４Ｂを配列すると、緑色カラーフィルタ２４Ｇが垂直方向に並んだ列と、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に垂直方向に並んだ列とが、水平方向に交互に並ぶ。また、緑色カラーフィルタ２４Ｇが水平方向に並んだ行と、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に水平方向に並んだ行とが、垂直方向に交互に並ぶ。さらに、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に並んだ列及び行では、隣接する列及び行同士で赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとの位置関係が逆となる。このカラーフィルタ２４の配列は、ハニカム配列に画素を並べた場合の一般的なカラーフィルタの配列と同じである。

図４において、画素対２５は、第１及び第２画素２１、２２にそれぞれ設けられたＰＤ２０の他に、第１画素用読み出しトランジスタ４０と、第２画素用読み出しトランジスタ４１と、フローティングディフュージョン（ＦＤ）４２と、リセットトランジスタ４３と、アンプトランジスタ４４と、行選択トランジスタ４５とを備えている。

第１画素用読み出しトランジスタ４０は、第１画素２１のＰＤ２０に蓄積された信号電荷を読み出す。第２画素用読み出しトランジスタ４１は、第２画素２２のＰＤ２０に蓄積された信号電荷を読み出す。ＦＤ４２は、第１画素２１のＰＤ２０及び第２画素２２のＰＤ２０から読み出された信号電荷を一時的に蓄積する。リセットトランジスタ４３は、ＦＤ４２に蓄積された信号電荷を所定の電位にリセットする。アンプトランジスタ４４は、ＦＤ４２に蓄積された信号電荷を増幅して信号電圧として出力する。行選択トランジスタ４５は、垂直信号線５０に信号電圧を転送する。

また、ＣＭＯＳイメージセンサ１４は、複数の垂直信号線５０と、水平信号線５１と、負荷トランジスタ５２と、相関二重サンプリング（ＣＤＳ）回路５３と、列選択トランジスタ５４と、出力アンプ５５と、電源供給線５６と、第１画素読み出し線信号供給線５７と、第２画素読み出し線信号供給線５８と、リセット線５９と、行選択線６０とを備えている。

複数の垂直信号線５０は、第１及び第２画素２１、２２の信号電圧を垂直方向に転送する。水平信号線５１は、各垂直信号線５０により転送された信号電圧を水平方向に転送する。負荷トランジスタ５２は、各垂直信号線５０に接続され、アンプトランジスタ４４とともにソースフォロワ回路を構成する。ＣＤＳ回路５３は、垂直信号線５０に読み出された信号電圧に含まれる画素毎の固定パターンノイズを抑圧する。列選択トランジスタ５４は、各垂直信号線５０に対応して設けられ、水平信号線５１に信号電圧を転送する列を選択する。出力アンプ５５は、水平信号線５１を介して順次供給される信号電圧をインピーダンス変換して撮像信号として外部に出力する。電源供給線５６は、第１及び第２画素２１、２２に電源電圧ＶＤＤを供給する。第１画素読み出し線信号供給線５７は、第１画素用読み出しトランジスタ４０に第１画素読み出し信号を入力する。第２画素読み出し線信号供給線５８は、第２画素用読み出しトランジスタ４１に第２画素読み出し信号を入力する。リセット線５９は、リセットトランジスタ４３にリセット信号を入力する。行選択線６０は、行選択トランジスタ４５に行選択信号を入力する。

垂直信号線５０は、垂直方向に沿って形成され、緑色カラーフィルタ２４Ｇが垂直方向に並んだ列に１本、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に垂直方向に並んだ列に１本といったように、各画素対２５の列毎に設けられている。電源供給線５６も、垂直信号線５０と同様に、垂直方向に沿って形成され、各画素対２５の列毎に設けられている。

第１画素読み出し線信号供給線５７、第２画素読み出し線信号供給線５８、リセット線５９、行選択線６０の各線５７〜６０は、水平方向に沿って形成されている。各線５７〜６０は、垂直方向に隣接する第１及び第２画素２１、２２の間に配置されている。リセット線５９と行選択線６０とは、第１及び第２画素２１、２２の行に対して、それぞれ１本ずつ設けられている。リセット線５９は、第１及び第２画素２１、２２の行の上側に位置し、行選択線６０は、第１及び第２画素２１、２２の行の下側に位置するように配置されている。

一方、第１画素読み出し線信号供給線５７と第２画素読み出し線信号供給線５８とは、垂直方向に隣接する第１及び第２画素２１、２２の間に、１行おきに交互に設けられている。そして、第１画素読み出し線信号供給線５７と第２画素読み出し線信号供給線５８とは、垂直方向に隣接する第１及び第２画素２１、２２の２つの行に共通に用いられる。

具体的に説明すると、第Ａ行と第Ｂ行との間には第２画素読み出し線信号供給線５８が設けられており、この第２画素読み出し線信号供給線５８が第Ａ行と第Ｂ行の第２画素２２の読み出しに用いられる。同様に、第Ｂ行と第Ｃ行との間には第１画素読み出し線信号供給線５７が設けられており、この第１画素読み出し線信号供給線５７が第Ｂ行と第Ｃ行の第１画素２１の読み出しに用いられる。従って、第１画素読み出し線信号供給線５７は、第１画素２１の信号読み出し専用であり、第２画素読み出し線信号供給線５８は、第２画素２２の信号読み出し専用である。

このように、緑色カラーフィルタ２４Ｇが設けられた第Ａ行及び第Ｃ行では、上側に第１画素読み出し線信号供給線５７が位置し、下側に第２画素読み出し線信号供給線５８が位置する。一方、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に並んで設けられた第Ｂ行及び第Ｄ行では、下側に第１画素読み出し線信号供給線５７が位置し、上側に第２画素読み出し線信号供給線５８が位置する。このため、緑色カラーフィルタ２４Ｇが設けられた画素対２５と、赤色カラーフィルタ２４Ｒと青色カラーフィルタ２４Ｂとが交互に並んで設けられた画素対２５とでは、配線経路の構成などが異なっている。

各線５７〜６０は、制御回路（図示せず）などを介してイメージセンサ駆動部１５に接続されている。各線５７〜６０への信号の入力は、イメージセンサ駆動部１５の駆動に応じて行われる。

ＣＤＳ回路５３は、クランプキャパシタ７０と、クランプトランジスタ７１と、サンプルホールドトランジスタ７２と、サンプルホールドキャパシタ７３とで構成されている。クランプキャパシタ７０は、垂直信号線５０に転送された信号電圧を保持する。クランプトランジスタ７１は、ゲート電極にクランプ信号が入力されたことに応じて電源電圧ＶＤＤを出力する。サンプルホールドトランジスタ７２は、露光によって得られた信号電圧と、リセット直後にアンプトランジスタ４４から出力された電圧（以下、リセットレベル電圧と称す）との差分を取ることによって、信号電圧に含まれるノイズを抑圧する。サンプルホールドキャパシタ７３は、ノイズ抑圧後の信号電圧を保持する。

また、クランプトランジスタ７１のゲート電極とサンプルホールドトランジスタ７２のゲート電極とは、制御回路（図示せず）などを介してイメージセンサ駆動部１５に接続されている。クランプトランジスタ７１をオン状態にするためのクランプ信号、及びサンプルホールドトランジスタ７２をオン状態にするためのサンプルホールド信号は、イメージセンサ駆動部１５の駆動に応じて入力される。

列選択トランジスタ５４は、ソース電極がサンプルホールドキャパシタ７３に接続され、ドレイン電極が水平信号線５１に接続されている。また、列選択トランジスタ５４のゲート電極は、制御回路（図示せず）などを介してイメージセンサ駆動部１５に接続されている。イメージセンサ駆動部１５の駆動に応じて列選択トランジスタ５４のゲート電極に列選択信号が入力され、列選択トランジスタ５４がオン状態になる。これにより、その列選択トランジスタ５４に対応する垂直信号線５０のサンプルホールドキャパシタ７３に保持されたノイズ抑圧後の信号電圧が水平信号線５１に転送される。

出力アンプ５５は、入力端子が水平信号線５１と接続され、出力端子が画像処理部１６と接続されている。出力アンプ５５は、水平信号線５１から入力された信号電圧に応じた撮像信号を生成して画像処理部１６に出力する。

第１画素２１のＰＤ２０は、アノードが接地され、カソードが第１画素用読み出しトランジスタ４０のソース電極に接続されている。ＰＤ２０は、逆バイアスとなっており、キャリア（信号電荷）である電子を、第１画素用読み出しトランジスタ４０により一旦排出した過渡状態下の空乏状態で光蓄積を行う。このため、ＰＤ２０は、通常のフォトダイオードを利用する際の定常状態とは異なる。ＰＤ２０のカソード、及び第１画素用読み出しトランジスタ４０のソースは空乏化しており、いわゆる電気抵抗の小さな導体状態ではない。

第１画素用読み出しトランジスタ４０は、ソース電極がＰＤ２０のカソードに接続されるとともに、ドレイン電極がＦＤ４２に接続され、ゲート電極が第１画素読み出し線信号供給線５７に接続されている。第１画素読み出し線信号供給線５７を介して第１画素用読み出しトランジスタ４０のゲート電極に第１画素読み出し信号が入力されると、第１画素用読み出しトランジスタ４０がオン状態になる。これにより、第１画素２１のＰＤ２０に蓄積された信号電荷がＦＤ４２に転送されて蓄積される。

第２画素２２のＰＤ２０及び第２画素用読み出しトランジスタ４１は、第２画素用読み出しトランジスタ４１のゲート電極が第２画素読み出し線信号供給線５８に接続されている点を除いて、第１画素２１のＰＤ２０及び第１画素用読み出しトランジスタ４０と同様に構成されている。第２画素読み出し線信号供給線５８を介して第２画素用読み出しトランジスタ４１のゲート電極に第２画素読み出し信号が入力される。この結果、第２画素用読み出しトランジスタ４１がオン状態になることで、第２画素２２のＰＤ２０に蓄積された信号電荷がＦＤ４２に転送され蓄積される。

リセットトランジスタ４３は、ソース電極がＦＤ４２に接続され、ドレイン電極が電源供給線５６に接続され、ゲート電極がリセット線５９に接続されている。リセットトランジスタ４３のゲート電極にリセット信号が入力され、リセットトランジスタ４３がオン状態になることで、ＦＤ４２の電位が電源電圧ＶＤＤにリセットされる。

アンプトランジスタ４４は、ドレイン電極が電源供給線５６に接続され、ソース電極が行選択トランジスタ４５のドレイン電極に接続され、ゲート電極がＦＤ４２に接続されている。行選択トランジスタ４５は、ドレイン電極がアンプトランジスタ４４のソース電極に接続されるとともに、ソース電極が垂直信号線５０に接続され、ゲート電極が行選択線６０に接続されている。

行選択トランジスタ４５のゲート電極に行選択信号が入力され、行選択トランジスタ４５がオン状態になると、アンプトランジスタ４４と負荷トランジスタ５２とでソースフォロワ回路が構成される。アンプトランジスタ４４のゲート電極に接続されたＦＤ４２の信号電荷に応じた電圧が、信号電圧として垂直信号線５０に現れる。

次に、ＣＭＯＳイメージセンサ１４の駆動方法について説明する。ＣＭＯＳイメージセンサ１４は、高ダイナミックレンジ静止画モード、左右同時刻露光静止画モード、左右画素混合静止画モード、２Ｄ動画モード、３Ｄ動画モードの５つの駆動方法が可能である。高ダイナミックレンジ静止画モードは、第１画素２１と第２画素２２との露光時間を変えることで、ダイナミックレンジの広い静止画像を取得可能とする。左右同時刻露光静止画モードは、第１画素２１と第２画素２２との露光時間を揃えることで、位相差ＡＦ用又は単眼３Ｄ撮影用の静止画像を取得可能とする。左右画素混合静止画モードは、第１画素２１の信号電荷と第２画素２２の信号電荷とをＦＤ４２で混合し、位相差情報を含まない画像を取得可能とする。２Ｄ動画モードは、２Ｄの動画像を取得可能とする。３Ｄ動画モードは、３Ｄの動画像を取得可能とする。

これらの各駆動モードは、操作部１８を操作することで、ユーザが任意に選択することができる。制御部１７は、ユーザが選択した駆動モードに応じてイメージセンサ駆動部１５の動作を制御する。イメージセンサ駆動部１５は、制御部１７の制御の下、各線５７〜６０、クランプトランジスタ７１、及びサンプルホールドトランジスタ７２に各種の信号を入力することにより、選択された駆動モードでＣＭＯＳイメージセンサ１４を駆動する。このように、本実施形態では、イメージセンサ駆動部１５と制御部１７とによって請求項記載の駆動制御部が構成されている。また、制御部１７は、その駆動モードに応じてメカシャッタ１３の動作を制御するとともに、その駆動モードに応じた処理を画像処理部１６に実行させ、駆動モードに対応した形式の画像データを画像処理部１６に生成させる。

イメージセンサ駆動部１５及び制御部１７は、高ダイナミックレンジ静止画モードが選択された場合、図５に示すタイミングチャートに基づいてＣＭＯＳイメージセンサ１４を駆動する。制御部１７は、高ダイナミックレンジ静止画モードが選択された状態で、撮影の実行が指示されると、まずメカシャッタ１３を制御し、メカシャッタ１３の可動部を閉じ位置から開き位置に移動させることにより、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を開始する。この後、制御部１７は、イメージセンサ駆動部１５を制御し、高ダイナミックレンジ静止画モードでＣＭＯＳイメージセンサ１４を駆動させる。

高ダイナミックレンジ静止画モードにおいて、イメージセンサ駆動部１５は、ＣＭＯＳイメージセンサ１４の全ての第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力し、各第１画素用読み出しトランジスタ４０をオン状態にすることで、全ての第１画素２１のＰＤ２０から不要な電荷をＦＤ４２に吐き出させ、空乏化する。このように、イメージセンサ駆動部１５は、各第１画素２１のＰＤ２０を空乏化した状態で、各第１画素２１の露光を開始させる。

また、イメージセンサ駆動部１５は、各第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力した後、続いて全てのリセット線５９にリセット信号を入力し、各リセットトランジスタ４３をオン状態にすることで、各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

そして、イメージセンサ駆動部１５は、各第１画素２１の露光を開始させ、メカシャッタ１３の可動部が開き位置にある状態が継続されたまま所定の時間が経過した後、全ての第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力することで、各第１画素２１の場合と同様に、各第２画素２２の露光を開始させる。また、イメージセンサ駆動部１５は、各第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力した後にも、各リセット線５９にリセット信号を入力し、各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

制御部１７は、イメージセンサ駆動部１５が各第２画素２２の露光を開始させた後、所定の時間が経過したときにメカシャッタ１３を制御する。このメカシャッタ１３の可動部は、開き位置から閉じ位置に移動して、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を終了させる。これにより、各第１画素２１の露光時間の方が、各第２画素２２の露光時間よりも長くなり、各第１画素２１の露光量が各第２画素２２の露光量よりも多くなる。このように、イメージセンサ駆動部１５と制御部１７とは、第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力するタイミングと、第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力するタイミングとをずらすことで、第１画素２１と第２画素２２との露光時間を変える。

イメージセンサ駆動部１５は、露光が終了した後、続いて第１及び第２画素２１、２２からの１画面分の信号の読み出しを開始する。まず、イメージセンサ駆動部１５は、第１番目の行（図３では第Ａ行）の行選択線６０に行選択信号を入力し、第Ａ行の各行選択トランジスタ４５をオン状態にする。

イメージセンサ駆動部１５は、行選択信号を入力した後、第Ａ行のリセット線５９にリセット信号を入力することにより、第Ａ行の各アンプトランジスタ４４からリセットレベル電圧を出力させる。リセットレベル電圧は、行選択トランジスタ４５を介して対応する垂直信号線５０に転送され、その垂直信号線５０に接続されたクランプキャパシタ７０に保持される。

イメージセンサ駆動部１５は、リセット信号を入力した後、各サンプルホールドトランジスタ７２にサンプルホールド信号を入力し、各サンプルホールドトランジスタ７２をオン状態にする。このオン状態は、対応する各サンプルホールドキャパシタ７３にリセットレベル電圧が保持されるまで継続される。この後、イメージセンサ駆動部１５は、各クランプトランジスタ７１にクランプ信号を入力し、各クランプトランジスタ７１をオン状態にする。これにより、各アンプトランジスタ４４から出力されたリセットレベル電圧が、クランプ信号の立ち下りのＳＨ１のタイミングで、対応する列の各サンプルホールドキャパシタ７３に保持される。

イメージセンサ駆動部１５は、リセットレベル電圧の保持を行った後、第Ａ行の第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力し、第Ａ行の各第１画素用読み出しトランジスタ４０をオン状態にする。第Ａ行の各第１画素２１のＰＤ２０に蓄積された信号電荷は、ＦＤ４２に読み出される。読み出された信号電荷は、アンプトランジスタ４４と負荷トランジスタ５２とによって増幅され、各行選択トランジスタ４５を介して対応する垂直信号線５０に信号電圧として転送される。これにより、クランプ信号の立ち下りのＳＨ２のタイミングで、リセットレベル電圧と信号電圧との差分が取られたノイズ抑圧後の信号電圧が、各サンプルホールドキャパシタ７３に保持される。

イメージセンサ駆動部１５は、第Ａ行の各第１画素２１のノイズ抑圧後の信号電圧を各サンプルホールドキャパシタ７３に保持させた後、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力を停止し、各サンプルホールドトランジスタ７２をオフ状態に戻す。これとともに、行選択線６０に対する行選択信号の入力を停止し、第Ａ行の各行選択トランジスタ４５をオフ状態に戻す。

イメージセンサ駆動部１５は、サンプルホールド信号及び行選択信号を停止させた後、続いて、対応する各垂直信号線５０の列選択トランジスタ５４に対し、所定の順序で列選択信号を入力する。これにより、各サンプルホールドキャパシタ７３に保持された信号電圧が水平信号線５１に順次転送される。

垂直信号線５０が画素対２５の列毎に設けられているため、１行分の各信号電圧の転送を行うには、列選択トランジスタ５４を一列置きにオンさせる。例えば、第Ａ行の各第１画素２１の信号電圧を転送する場合、まず、第１列と第２列とに対応して設けられた垂直信号線５０の列選択トランジスタ５４に列選択信号を入力する。その隣の第２列と第３列とに対応して設けられた垂直信号線５０は、第Ｂ行、第Ｄ行、・・・に対応するものであるから、これを飛ばして、次に、第３列と第４列とに対応して設けられた垂直信号線５０の列選択トランジスタ５４に列選択信号を入力する。以下同様に、第５列、第６列の列選択トランジスタ５４、第７列、第８列の列選択トランジスタ５４・・・のように、一列置きの各列選択トランジスタ５４に列選択信号を順次入力することで、第Ａ行の各第１画素２１の各信号電圧の転送が行われる。

水平信号線５１に転送された各信号電圧は、出力アンプ５５で増幅され、撮像信号として画像処理部１６に出力される。以上により、第Ａ行の各第１画素２１の信号の読み出しが完了する。

イメージセンサ駆動部１５は、第Ａ行の各第１画素２１の信号の読み出しが完了した後、続いて、第Ａ行の各第２画素２２の信号の読み出しを開始する。まず、イメージセンサ駆動部１５は、第１画素２１の場合と同様に、第Ａ行の行選択線６０に対する行選択信号の入力、第Ａ行のリセット線５９に対するリセット信号の入力、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力、及び各クランプトランジスタ７１に対するクランプ信号の入力を行い、対応する列の各サンプルホールドキャパシタ７３にリセットレベル電圧を保持させる。

イメージセンサ駆動部１５は、リセットレベル電圧の保持を行った後、第Ａ行の第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力することにより、各第２画素２２の信号電圧とリセットレベル電圧との差分が取られたノイズ抑圧後の信号電圧を、各サンプルホールドキャパシタ７３に保持させる。

イメージセンサ駆動部１５は、第Ａ行の各第２画素２２のノイズ抑圧後の信号電圧を各サンプルホールドキャパシタ７３に保持させると、第１画素２１の場合と同様に、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の停止、及び行選択線６０に対する行選択信号の停止を行う。これとともに、対応する各列選択トランジスタ５４に対する列選択信号の入力を行って、各サンプルホールドキャパシタ７３に保持された信号電圧を水平信号線５１に順次転送させる。なお、第２画素２２の場合も、第１画素２１の場合と同様に、垂直信号線５０は、一列置きに選択される。

以上により、出力アンプ５５によって増幅された各第２画素２２の信号電圧が、撮像信号として画像処理部１６に出力され、最初の行について各第１画素２１及び各第２画素２２の信号の読み出しが完了する。イメージセンサ駆動部１５は、この後、上記の処理を最後の行まで繰り返し実行することにより、１画面分の信号を読み出させる。

高ダイナミックレンジ静止画モードでは、まず、Ｇ１ａ→Ｇ３ａ→Ｇ５ａ→・・・の順に、第Ａ行の各第１画素２１の信号が出力され、Ｇ２ａ→Ｇ４ａ→Ｇ６ａ→・・・の順に、第Ａ行の各第２画素２２の信号が出力される。続いて、Ｂ０ｂ→Ｒ２ｂ→Ｂ４ｂ→・・・の順に、第Ｂ行の各第１画素２１の信号が出力され、Ｂ１ｂ→Ｒ３ｂ→Ｂ５ｂ→・・・の順に、第Ｂ行の各第２画素２２の信号が出力される。同様に、第Ｃ行、第Ｄ行・・・と順に信号の出力が行われ、１画面分の信号が出力される。ここで、「Ｇ１ａ」や「Ｂ０ｂ」は、カラーフィルタ２４の色（Ｒ：赤、Ｇ：緑、Ｂ：青）、列の番号、行の記号を順に組み合わせて画素を特定している。

画像処理部１６は、高ダイナミックレンジ静止画モードで撮影が実行され、１画面分の撮像信号がＣＭＯＳイメージセンサ１４から出力されると、長露光時間の第１画素２１の撮像信号に基づいて高感度の画像データを生成する。これとともに、短露光時間の第２画素２２の撮像信号に基づいて低感度の画像データを生成し、これらを組み合わせて最適化することにより、ダイナミックレンジの広い静止画像データを生成する。

また、ＣＭＯＳイメージセンサ１４では、図６に示すタイミングチャートのように、ＰＤ２０に蓄積された露光後の信号電荷をＦＤ４２に読み出す際に、Ｎ（Ｎは第１行から最終行内の任意の行番号）行目の第１画素読み出し線信号供給線５７と、Ｎ＋２行目の第１画素読み出し線信号供給線５７とに同時に第１画素読み出し信号を入力することで、垂直方向に隣接する画素対２５の各第１画素２１の信号電荷を垂直信号線５０上で混合することができる。同様に、Ｎ行目の第２画素読み出し線信号供給線５８と、Ｎ＋２行目の第２画素読み出し線信号供給線５８とに同時に第２画素読み出し信号を入力することで、垂直方向に隣接する画素対２５の各第２画素２２の信号電荷を垂直信号線５０上で混合することができる。

この垂直方向の信号電荷の混合を高ダイナミックレンジ静止画モード時に適用し、Ｇ１ａ＋Ｇ１ｃ→Ｇ３ａ＋Ｇ３ｃ→Ｇ５ａ＋Ｇ５ｃ→・・・→Ｇ２ａ＋Ｇ２ｃ→Ｇ４ａ＋Ｇ４ｃ→Ｇ６ａ＋Ｇ６ｃ→・・・→Ｂ０ｂ→Ｒ２ｂ→Ｂ４ｂ→・・・→Ｂ１ｂ→Ｒ３ｂ→Ｂ５ｂ→・・・→Ｒ０ｄ→Ｂ２ｄ→Ｒ４ｄ→・・・→Ｒ１ｄ→Ｂ３ｄ→Ｒ５ｄ→・・・の順に第１及び第２画素２１、２２の信号の読み出しを行い、これを順次繰り返す。なお、＋印は、信号の混合を意味する。

このように、緑色カラーフィルタ２４Ｇが設けられた各画素対２５の第１及び第２画素２１、２２の信号を垂直方向に隣接するもの同士で混合することで、信号の読み出し時間の短縮を図ることができる。また、第１及び第２画素２１、２２の一信号量の感度が２倍になる。これにより、第１及び第２画素２１、２２の信号のＳ／Ｎ比が２^１／２倍になり、ノイズが低減されるため、ダイナミックレンジがさらに拡大する。なお、垂直信号線５０上で混合する画素数は、２に限らず、任意に設定することが可能である。

次に、イメージセンサ駆動部１５及び制御部１７は、左右同時刻露光静止画モードが選択された場合、図７に示すタイミングチャートに基づいてＣＭＯＳイメージセンサ１４を駆動する。制御部１７は、左右同時刻露光静止画モードが選択された状態で、撮影の実行が指示されると、まず、メカシャッタ１３を制御し、メカシャッタ１３の可動部を閉じ位置から開き位置に移動させることにより、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を開始する。この後、制御部１７は、イメージセンサ駆動部１５を制御し、左ＣＭＯＳイメージセンサ１４を駆動させる。

イメージセンサ駆動部１５は、全ての第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力する。これとともに、これと同時に全ての第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力し、第１及び第２画素２１、２２のＰＤ２０から不要な電荷をＦＤ４２に吐き出させる。イメージセンサ駆動部１５は、このように第１及び第２画素２１、２２のＰＤ２０から不要な電荷を吐き出させ、各ＰＤ２０の信号電荷を除去し空乏化することにより、第１及び第２画素２１、２２の露光を同時に開始させる。

イメージセンサ駆動部１５は、第１及び第２画素２１、２２の露光を開始させた後、各リセット線５９にリセット信号を入力し、各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

制御部１７は、イメージセンサ駆動部１５が第１及び第２画素２１、２２の露光を開始させた後、所定の時間が経過したことに応答してメカシャッタ１３を制御する。このメカシャッタ１３の可動部が開き位置から閉じ位置に移動することにより、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を終了させる。これにより、第１画素２１の露光時間と、第２画素２２の露光時間とが同一となる。

イメージセンサ駆動部１５は、露光が終了した後、高ダイナミックレンジ静止画モードの場合と同様の手順で、第１及び第２画素２１、２２から１画面分の信号を読み出す。左右同時刻露光静止画モードでの第１及び第２画素２１、２２の信号の出力順序は、高ダイナミックレンジ静止画モードの出力順序と同一である。

このように同一の露光時間で取得された第１及び第２画素２１、２２の撮像信号は、立体視用の画像データの生成や撮影レンズ１２のフォーカス調整量の算出に用いられる。制御部１７は、撮像信号からフォーカス調整量を算出した場合、そのフォーカス調整量に基づいて撮影レンズ１２の焦点調整を行うことにより、撮影レンズ１２を合焦させる。

また、上記のようにＣＭＯＳイメージセンサ１４を駆動した場合、１行分の第１及び第２画素２１、２２の信号を読み出す際に、各第１画素２１の信号と各第２画素２２の信号とを、それぞれ一まとまりにして交互に読み出すことができる。このため、１行分の各第１画素２１の信号を読み出した後、例えば、スムージング（移動平均）処理などの演算を行う。続いて読み出された１行分の各第２画素２２との間で、その差を取って位相差情報を生成することが可能であり、フォーカス調整量の算出を効率良く行うことができる。

また、高ダイナミックレンジ静止画モードの場合と同様に、垂直方向に隣接する緑色カラーフィルタ２４Ｇが設けられた各画素対２５の第１及び第２画素２１、２２の信号を垂直信号線５０上で混合することが可能である。これにより、第１及び第２画素２１、２２の信号のＳ／Ｎ比が２^１／２倍になる。

次に、イメージセンサ駆動部１５及び制御部１７は、左右画素混合静止画モードが選択された場合、図８に示すタイミングチャートに基づいてＣＭＯＳイメージセンサ１４を駆動する。制御部１７は、左右画素混合静止画モードが選択された状態で、撮影の実行が指示されると、まず、メカシャッタ１３を制御し、メカシャッタ１３の可動部を閉じ位置から開き位置に移動させることにより、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を開始する。この後、制御部１７は、イメージセンサ駆動部１５を制御し、ＣＭＯＳイメージセンサ１４を駆動させる。

イメージセンサ駆動部１５は、各第１画素読み出し線信号供給線５７と各第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力し、第１及び第２画素２１、２２の露光を同時に開始させる。この後、イメージセンサ駆動部１５は、各リセット線５９にリセット信号を入力し、各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

制御部１７は、イメージセンサ駆動部１５が第１及び第２画素２１、２２の露光を開始させた後、所定の時間が経過したときに、メカシャッタ１３を閉じ、ＣＭＯＳイメージセンサ１４の撮像面１４ａに対する露光を終了させる。

イメージセンサ駆動部１５は、露光が終了した後、第Ａ行の行選択線６０に行選択信号を入力し、第１及び第２画素２１、２２からの１画面分の信号の読み出しを開始する。イメージセンサ駆動部１５は、行選択信号を入力した後、第Ａ行のリセット線５９に対するリセット信号の入力、第Ａ行に対応する各列（１つ置きの列）の各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力、及び第Ａ行に対応する各列の各クランプトランジスタ７１に対するクランプ信号の入力を行うことにより、第Ａ行のリセットレベル電圧を対応する各列の各サンプルホールドキャパシタ７３に保持させる。

イメージセンサ駆動部１５は、リセットレベル電圧の保持を行った後、第Ａ行の第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力し、第Ａ行の各第１画素用読み出しトランジスタ４０をオン状態にする。これとともに、第Ａ行の第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力し、第Ａ行の各第２画素用読み出しトランジスタ４１を同時にオン状態にする。

これにより、各第１画素２１のＰＤ２０に蓄積された露光後の信号電荷がＦＤ４２に読み出されるとともに、各第２画素２２のＰＤ２０に蓄積された露光後の信号電荷が同時にＦＤ４２に読み出される。左右に隣接する第１画素２１の信号電荷と第２画素２２の信号電荷とは、ＦＤ４２で混合される。

ＦＤ４２で混合された第１及び第２画素２１、２２の信号電荷は、アンプトランジスタ４４と負荷トランジスタ５２とによって増幅され、各行選択トランジスタ４５を介して対応する垂直信号線５０に信号電圧として転送される。リセットレベル電圧との差分が取られたノイズ抑圧後の信号電圧が各サンプルホールドキャパシタ７３に保持される。イメージセンサ駆動部１５は、この後、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力を停止させ、続いて行選択線６０に対する行選択信号の入力を停止させる。

そして、イメージセンサ駆動部１５は、対応する各垂直信号線５０の列選択トランジスタ５４に所定の順序で列選択信号を入力し、各サンプルホールドキャパシタ７３に保持された信号電圧を水平信号線５１に順次転送するにより、第Ａ行の第１及び第２画素２１、２２の信号の読み出しが完了する。このとき、高ダイナミックレンジ静止画モードの場合と同様に、垂直信号線５０は、一列置きに選択される。

イメージセンサ駆動部１５は、第Ａ行の第１及び第２画素２１、２２の信号を読み出した後、上記の処理を最終行まで繰り返し実行することにより、１画面分の信号を読み出させる。従って、左右画素混合静止画モードでは、Ｇ１ａ＋Ｇ２ａ→Ｇ３ａ＋Ｇ４ａ→Ｇ５ａ＋Ｇ６ａ→・・・の順に、第Ａ行の第１及び第２画素２１、２２の混合された信号が出力され、続いて、Ｂ０ｂ＋Ｂ１ｂ→Ｒ２ｂ＋Ｒ３ｂ→Ｂ４ｂ＋Ｂ５ｂ→・・・の順に、第Ｂ行の第１及び第２画素２１、２２の混合された信号が出力され、さらに、Ｇ１ｃ＋Ｇ２ｃ→Ｇ３ｃ＋Ｇ４ｃ→Ｇ５ｃ＋Ｇ６ｃ→・・・の順に、第Ｃ行の第１及び第２画素２１、２２の混合された信号が出力される。以下同様に、第Ｄ行、第Ｅ行、・・・と繰り返されて１画面分の信号が出力される。なお、＋印は、画素信号の混合を意味する。

このように、左右に隣接する第１画素２１の信号電荷と第２画素２２の信号電荷とをＦＤ４２で混合すれば、信号の読み出し時間が短縮されるとともに、信号のＳ／Ｎ比が向上する。

また、左右画素混合静止画モードにおいても、Ｎ（Ｎは第１行から最終行内の任意の行番号）行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８と、Ｎ＋２行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力している。こうすると、緑色カラーフィルタ２４Ｇが設けられた各画素対２５の第１及び第２画素２１、２２の信号を垂直方向に隣接するもの同士で混合することができる。これは、読み出し時間の短縮やＳ／Ｎ比の向上の効果をより高めることができる。

なお、このように、左右に隣接する第１及び第２画素２１、２２の信号の混合と、垂直方向に隣接する第１及び第２画素２１、２２の信号の混合とを行う場合には、（Ｇ１ａ＋Ｇ２ａ）＋（Ｇ１ｃ＋Ｇ２ｃ）→（Ｇ３ａ＋Ｇ４ａ）＋（Ｇ３ｃ＋Ｇ４ｃ）→（Ｇ５ａ＋Ｇ６ａ）＋（Ｇ５ｃ＋Ｇ６ｃ）→・・・の順に、第Ａ行と第Ｃ行の第１及び第２画素２１、２２が混合された信号が出力される。続いて、Ｂ０ｂ＋Ｂ１ｂ→Ｒ２ｂ＋Ｒ３ｂ→Ｂ４ｂ＋Ｂ５ｂ→・・・の順に、第Ｂ行の第１及び第２画素２１、２２の混合された信号が出力される。さらに、Ｒ０ｄ＋Ｒ１ｄ→Ｂ２ｄ＋Ｂ３ｄ→Ｒ４ｄ＋Ｒ５ｄ→・・・の順に、第Ｄ行の第１及び第２画素２１、２２の混合された信号が出力される。以下、同様に繰り返されることによって、１画面分の信号が出力される。

次に、イメージセンサ駆動部１５及び制御部１７は、２Ｄ動画モードが選択された場合、図９に示すタイミングチャートに基づいてＣＭＯＳイメージセンサ１４を駆動する。制御部１７は、２Ｄ動画モードが選択されると、イメージセンサ駆動部１５を制御し、ＣＭＯＳイメージセンサ１４を駆動する。

イメージセンサ駆動部１５は、まず、第Ａ行の第１画素読み出し線信号供給線５７と第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力し、第Ａ行の第１及び第２画素２１、２２の露光を開始する。この後、イメージセンサ駆動部１５は、第Ａ行のリセット線５９にリセット信号を入力し、第Ａ行の各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

イメージセンサ駆動部１５は、第Ａ行の第１及び第２画素２１、２２の露光を開始させる。所定の時間が経過したときに、２番目の第Ｂ行の第１画素読み出し線信号供給線５７と第２画素読み出し線信号供給線５８とのそれぞれに、同時に第１画素読み出し信号及び第２画素読み出し信号を入力し、第Ｂ行の第１及び第２画素２１、２２の露光を開始する。また、同様に、第Ｂ行のリセット線５９にリセット信号を入力し、第Ｂ行の各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

イメージセンサ駆動部１５は、第Ｂ行の第１及び第２画素２１、２２の露光を開始させた後、第Ａ行の行選択線６０に行選択信号を入力し、第Ａ行の第１及び第２画素２１、２２からの信号の読み出しを開始する。イメージセンサ駆動部１５は、行選択信号を入力した後、第Ａ行のリセット線５９に対するリセット信号の入力、第Ａ行に対応する各列の各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力、及び第Ａ行に対応する各列の各クランプトランジスタ７１に対するクランプ信号の入力を行う。これにより、第Ａ行のリセットレベル電圧が対応する各列の各サンプルホールドキャパシタ７３に保持される。

イメージセンサ駆動部１５は、この後、第Ａ行の第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力し、第Ａ行の各第１画素用読み出しトランジスタ４０をオン状態にする。これとともに、第Ａ行の第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力し、第Ａ行の各第２画素用読み出しトランジスタ４１を同時にオン状態にする。これにより、１回目の読み出し信号の入力から２回目の読み出し信号の入力までが、第Ａ行の第１及び第２画素２１、２２の露光時間となる。

また、第１画素読み出し線信号供給線５７に対する第１画素読み出し信号の入力と、第２画素読み出し線信号供給線５８に対する第２画素読み出し信号の入力とを同時に行うと、左右画素混合静止画モードの場合と同様に、第１及び第２画素２１、２２の信号電荷が同時にＦＤ４２に読み出されて、ＦＤ４２で混合される。そして、ＦＤ４２で混合された第１及び第２画素２１、２２の信号電荷は、アンプトランジスタ４４と負荷トランジスタ５２とによって増幅される。その後に各行選択トランジスタ４５を介して対応する垂直信号線５０に信号電圧として転送され、リセットレベル電圧との差分が取られたノイズ抑圧後の信号電圧が各サンプルホールドキャパシタ７３に保持される。

イメージセンサ駆動部１５は、第Ａ行の第１及び第２画素２１、２２のノイズ抑圧後の信号電圧を各サンプルホールドキャパシタ７３に保持させた後、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力を停止させ、続いて行選択線６０に対する行選択信号の入力を停止させる。

この後、イメージセンサ駆動部１５は、対応する各垂直信号線５０の列選択トランジスタ５４に所定の順序で列選択信号を入力し、各サンプルホールドキャパシタ７３に保持された信号電圧を水平信号線５１に順次転送することにより、第Ａ行の第１及び第２画素２１、２２の信号の読み出しが完了する。このとき、高ダイナミックレンジ静止画モードの場合と同様に、垂直信号線５０は、一列置きに選択される。

イメージセンサ駆動部１５は、この後、同様の手順で、第Ｂ行の第１及び第２画素２１、２２の信号の読み出しを行う。そして、この処理を最終行まで繰り返すことにより、１画面分の信号が取得され、さらに１画面分の信号の取得を繰り返すことによって、２次元の動画像データが取得される。

このように、イメージセンサ駆動部１５は、２Ｄ動画モードが選択された場合、第１及び第２画素２１、２２の露光のタイミング（読み出し信号を入力するタイミング）を行毎にずらすことにより、メカシャッタ１３を用いずに第１及び第２画素２１、２２の露光時間を調節し、かつ効率良く各行の第１及び第２画素２１、２２の信号を読み出している。なお、当然ながら、各読み出し信号の入力間隔、すなわち第１及び第２画素２１、２２の露光時間は、全ての行で一定である。

また、２Ｄ動画モードにおいても、Ｎ行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８と、Ｎ＋２行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力することで、緑色カラーフィルタ２４Ｇが設けられた各画素対２５の第１及び第２画素２１、２２の信号を垂直方向に隣接するもの同士で混合することができる。

次に、イメージセンサ駆動部１５及び制御部１７は、３Ｄ動画モードが選択された場合、図１０に示すタイミングチャートに基づいてＣＭＯＳイメージセンサ１４を駆動する。制御部１７は、３Ｄ動画モードが選択されると、イメージセンサ駆動部１５を制御し、ＣＭＯＳイメージセンサ１４を駆動する。

イメージセンサ駆動部１５は、まず、第Ａ行の第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力することにより、第Ａ行の各第１画素２１の露光を開始する。この後、イメージセンサ駆動部１５は、第Ａ行のリセット線５９にリセット信号を入力し、第Ａ行の各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

イメージセンサ駆動部１５は、第Ａ行の各第１画素２１の露光を開始させた後、所定の時間が経過したことに応答して、第Ａ行の第２画素読み出し線信号供給線５８に第２画素読み出し信号を入力し、第Ａ行の各第２画素２２の露光を開始する。また、同様に、第Ａ行のリセット線５９にリセット信号を入力し、第Ａ行の各ＦＤ４２の電位を電源電圧ＶＤＤにリセットする。

イメージセンサ駆動部１５は、この後、第Ａ行の行選択線６０に行選択信号を入力するとともに、第Ａ行のリセット線５９に対するリセット信号の入力、第Ａ行に対応する各列の各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力、及び第Ａ行に対応する各列の各クランプトランジスタ７１に対するクランプ信号の入力を行うことにより、第Ａ行のリセットレベル電圧を対応する各列の各サンプルホールドキャパシタ７３に保持させる。

イメージセンサ駆動部１５は、この後、第Ａ行の第１画素読み出し線信号供給線５７に第１画素読み出し信号を入力し、第Ａ行の各第１画素用読み出しトランジスタ４０をオン状態にする。これにより、１回目の第１画素読み出し信号の入力から２回目の第１画素読み出し信号の入力までが、第Ａ行の各第１画素２１の露光時間となる。

第１画素読み出し線信号供給線５７に対する第１画素読み出し信号の入力を行うと、各第１画素２１の信号電荷がＦＤ４２に読み出される。読み出された各第１画素２１の信号電荷は、アンプトランジスタ４４と負荷トランジスタ５２とによって増幅され、各行選択トランジスタ４５を介して対応する垂直信号線５０に信号電圧として転送され、リセットレベル電圧との差分が取られたノイズ抑圧後の信号電圧が各サンプルホールドキャパシタ７３に保持される。

イメージセンサ駆動部１５は、この後、各サンプルホールドトランジスタ７２に対するサンプルホールド信号の入力を停止させ、続いて行選択線６０に対する行選択信号の入力を停止させる。そして、イメージセンサ駆動部１５は、対応する各垂直信号線５０の列選択トランジスタ５４に所定の順序で列選択信号を入力し、各サンプルホールドキャパシタ７３に保持された信号電圧を水平信号線５１に順次転送するにより、第Ａ行の各第１画素２１の信号の読み出しが完了する。このとき、高ダイナミックレンジ静止画モードの場合と同様に、垂直信号線５０は、一列置きに選択される。

イメージセンサ駆動部１５は、この後、同様の手順で、第Ａ行の各第２画素２２の信号の読み出しを行う。そして、この処理を最終行まで繰り返すことにより、１画面分の信号が取得さら、さらに１画面分の信号の取得を繰り返す。これにより、各第１画素２１による動画像用の撮像信号と、各第２画素２２による動画像用の撮像信号とが得られ、これらによって立体視用の動画像データが生成される。

このように、イメージセンサ駆動部１５は、３Ｄ動画モードが選択された場合、第１及び第２画素２１、２２の露光のタイミング（読み出し信号を入力するタイミング）を第１画素２１と第２画素２２とでずらしている。これにより、メカシャッタ１３を用いずに第１及び第２画素２１、２２の露光時間を調節し、かつ第１及び第２画素２１、２２の信号を効率良く交互に読み出している。なお、当然ながら、各読み出し信号の入力間隔、すなわち第１及び第２画素２１、２２の露光時間は、全ての行で一定である。

また、図１０では省略しているが、第Ｂ行の各第１画素２１の露光の開始は、実際には、第Ａ行の各第１画素２１の信号の読み出し中（図の水平映像期間中）に行われ、第Ａ行の各第２画素２２の信号の読み出しが終了した後、すぐに第Ｂ行の各第１画素２１の信号の垂直信号線５０への転送（図の水平ブランキング期間）が開始される。

また、３Ｄ動画モードにおいても、Ｎ行目の第１画素読み出し線信号供給線５７と、Ｎ＋２行目の第１画素読み出し線信号供給線５７とのそれぞれに同時に第１画素読み出し信号を入力する。これとともに、Ｎ行目の第２画素読み出し線信号供給線５８と、Ｎ＋２行目の第２画素読み出し線信号供給線５８とのそれぞれに同時に第２画素読み出し信号を入力する。これにより、緑色カラーフィルタ２４Ｇが設けられた各画素対２５の第１及び第２画素２１、２２の信号を垂直方向に隣接するもの同士で混合することができる。

このように、ＣＭＯＳイメージセンサ１４は、位相差検出画素である第１及び第２画素２１、２２が取得した信号を適切に外部に読み出すことができる。また、ＣＭＯＳイメージセンサ１４では、ＦＤ４２、リセットトランジスタ４３、アンプトランジスタ４４、行選択トランジスタ４５などを第１及び第２画素２１、２２で共用しているので、左右の第１及び第２画素２１、２２の信号の混合や上下に隣接した第１及び第２画素２１、２２の信号の混合が可能であり、様々なモードで撮像を実行することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、第１実施形態と機能・構成上同一のものについては、同符号を付し、詳細な説明を省略する。図１１において、ＣＭＯＳイメージセンサ１００のカラーフィルタ２４は、第１フィルタセット１０２と、第２フィルタセット１０４とを構成している。

第１フィルタセット１０２は、斜め４５度方向に隣接して配置された２つの緑色カラーフィルタ２４Ｇと、これらの各緑色カラーフィルタ２４Ｇと隣接し、かつ互いに斜め４５度方向に隣接して配置された２つの赤色カラーフィルタ２４Ｒとを有する。第２フィルタセット１０４は、第１フィルタセット１０２の各赤色カラーフィルタ２４Ｒを青色カラーフィルタ２４Ｂに置き換えたものである。第１及び第２フィルタセット１０２、１０４は、撮像面１００ａに市松模様状に配列されている。

このカラーフィルタ２４の配列は、ハニカム配列に画素を並べ、斜め４５度方向に隣接する一対の画素の一方を高感度用、他方を低感度用とし、これらの各画素の画素値を混合することによって、ダイナミックレンジの広い画像を取得する、いわゆるＥＸＲを行う場合の配列と同一である。

図１２において、ＣＭＯＳイメージセンサ１００の画素対１０６は、第１実施形態の画素対２５と同様に、第１及び第２画素２１、２２の各ＰＤ２０と、第１画素用読み出しトランジスタ４０と、第２画素用読み出しトランジスタ４１と、ＦＤ４２と、リセットトランジスタ４３と、アンプトランジスタ４４と、行選択トランジスタ４５とを備えている。

第１実施形態のＣＭＯＳイメージセンサ１４では、垂直方向に並ぶ各画素対２５の列のそれぞれに対して１本の垂直信号線５０が設けられているが、ＣＭＯＳイメージセンサ１００では、垂直方向に並ぶ各画素対１０６の２本の列に対して１本の垂直信号線１０８が設けられている。

上述のように、ＣＭＯＳイメージセンサ１００では、同色のカラーフィルタ２４が斜め４５度方向に隣接して配置されている。このため、ＣＭＯＳイメージセンサ１００では、同色のカラーフィルタ２４を有する一対の画素対１０６の出力端子（すなわち、これら一対の画素対１０６のそれぞれの行選択トランジスタ４５のソース電極）を同じ垂直信号線１０８に接続している。これにより、例えば、斜め４５度方向に隣接する同色のカラーフィルタ２４を有する一対の画素対１０６からの信号を垂直信号線１０８上で混合することが可能となっている。

次に、ＣＭＯＳイメージセンサ１００の駆動方法について説明する。ＣＭＯＳイメージセンサ１００は、第１実施形態のＣＭＯＳイメージセンサ１４と同様に、高ダイナミックレンジ静止画モード、左右同時刻露光静止画モード、左右画素混合静止画モード、２Ｄ動画モード、３Ｄ動画モードの５つの駆動モードを有している。

イメージセンサ駆動部１５及び制御部１７は、高ダイナミックレンジ静止画モードが選択された場合、まず、第１実施形態の場合と同様の手順で、第Ａ行の各第１画素２１のノイズ抑圧後の信号電圧を各サンプルホールドキャパシタ７３に保持させる（図５のフローチャート参照）。イメージセンサ駆動部１５は、この後、対応する各垂直信号線１０８の列選択トランジスタ５４に対し、所定の順序で列選択信号を入力することにより、各サンプルホールドキャパシタ７３に保持された信号電圧を水平信号線５１に順次転送する。

垂直信号線１０８は、同色のカラーフィルタ２４を有し、斜め４５度方向に隣接する一対の画素対１０６に対して１本ずつ設けられている。従って、水平方向に並ぶ各画素対１０６、すなわち一行の各画素対１０６に対しては、どの行においてもそれぞれ１本の垂直信号線１０８が設けられている。また、各色のカラーフィルタ２４は、斜め４５度方向に同色のもの同士が隣接するように配置されている。このため、水平方向に見たときには、異なる色のカラーフィルタ２４が交互に並んでおり、緑色カラーフィルタ２４Ｇと赤色カラーフィルタ２４Ｒとが交互に並ぶ行と、緑色カラーフィルタ２４Ｇと青色カラーフィルタ２４Ｂとが交互に並ぶ行とがある。

このため、イメージセンサ駆動部１５は、１行分の各第１画素２１の信号電圧を水平信号線５１に転送する場合、まず一列置きに垂直信号線１０８を選択することにより、その行に含まれる一方の色の各画素対１０６の各第１画素２１の信号電圧を水平信号線５１に順次転送する。この後、飛ばした側の列の垂直信号線１０８を一列置きに選択することにより、その行に含まれる他方の色の各画素対１０６の各第１画素２１の信号電圧を水平信号線５１に順次転送する。イメージセンサ駆動部１５は、このように一列置きに垂直信号線１０８を選択することで、その行に含まれる２つの色に対応する信号電圧を、それぞれ連続的に出力させる。

例えば、第Ａ行の各第１画素２１の各信号電圧を転送する場合、まず第１列と第２列とに跨って設けられた画素対１０６に対応する垂直信号線１０８の列選択トランジスタ５４に列選択信号を入力する。この画素対１０６には、緑色カラーフィルタ２４Ｇが設けられているため、水平信号線５１には、緑色に対応する信号電圧が転送される。

その隣の第３列と第４列とに跨って設けられた画素対１０６は、青色カラーフィルタ２４Ｂが設けられたものであるから、これを飛ばして、次に、第５列と第６列とに跨って設けられた画素対１０６に対応する垂直信号線１０８の列選択トランジスタ５４に列選択信号を入力する。この順に垂直信号線１０８を選択することにより、第Ａ行に含まれる緑色の信号電圧が水平信号線５１に順次転送される。

緑色の各信号電圧を転送した後、次に、飛ばした第３列と第４列とに跨って設けられた画素対１０６に対応する垂直信号線１０８の列選択トランジスタ５４に列選択信号を入力し、これを一列置きに繰り返すことで、第Ａ行に含まれる青色の信号電圧を水平信号線５１に順次転送する。これにより、第Ａ行に含まれる緑色と青色との２つの色の信号電圧が、それぞれ連続的に水平信号線５１に転送される。

水平信号線５１に転送された各信号電圧は、出力アンプ５５で増幅され、撮像信号として画像処理部１６に出力される。これにより、第Ａ行の各第１画素２１の信号の読み出しが完了する。

イメージセンサ駆動部１５は、第Ａ行の各第１画素２１の信号の読み出しが完了した後、各第１画素２１の場合と同様の手順で、第Ａ行の各第２画素２２の信号の読み出しを開始する。そして、これを最終行まで繰り返し実行することにより、１画面分の信号を読み出す。

従って、ＣＭＯＳイメージセンサ１００の高ダイナミックレンジ静止画モードでは、まず、Ｇ１ａ→Ｇ５ａ→・・・の順に第Ａ行の緑色の各第１画素２１の信号が出力され、Ｂ３ａ→Ｂ７ａ→・・・の順に第Ａ行の青色の各第１画素２１の信号が出力され、Ｇ２ａ→Ｇ６ａ→・・・の順に第Ａ行の緑色の各第２画素２２の信号が出力され、Ｂ４ａ→Ｂ８ａ→・・・の順に第Ａ行の青色の各第２画素２２の信号が出力される。

続いて、Ｇ２ｂ→Ｇ６ｂ→・・・の順に第Ｂ行の緑色の各第１画素２１の信号が出力され、Ｂ０ｂ→Ｂ４ｂ→・・・の順に第Ｂ行の青色の各第１画素２１の信号が出力され、Ｇ３ｂ→Ｇ７ｂ→・・・の順に第Ｂ行の緑色の各第２画素２２の信号が出力され、Ｂ１ｂ→Ｂ５ｂ→・・・の順に第Ｂ行の青色の各第２画素２２の信号が出力される。

そして、Ｇ３ｃ→Ｇ７ｃ→・・・の順に第Ｃ行の緑色の各第１画素２１の信号が出力され、Ｒ１ｃ→Ｒ５ｃ→・・・の順に第Ｃ行の赤色の各第１画素２１の信号が出力され、Ｇ４ｃ→Ｇ８ｃ→・・・の順に第Ｃ行の緑色の各第２画素２２の信号が出力され、Ｒ２ｃ→Ｒ６ｃ→・・・の順に第Ｃ行の赤色の各第２画素２２の信号が出力される。以下同様に最終行まで繰り返されることにより、１画面分の信号が出力される。

また、ＣＭＯＳイメージセンサ１００では、ＰＤ２０に蓄積された露光後の信号電荷をＦＤ４２に読み出す際に、Ｎ行目の第１画素読み出し線信号供給線５７と、Ｎ＋１行目の第１画素読み出し線信号供給線５７とに同時に第１画素読み出し信号を入力することで、斜め４５度方向に隣接する画素対１０６の各第１画素２１の信号電荷を垂直信号線１０８上で混合することができる。同様に、Ｎ行目の第２画素読み出し線信号供給線５８と、Ｎ＋１行目の第２画素読み出し線信号供給線５８とに同時に第２画素読み出し信号を入力することで、斜め４５度方向に隣接する画素対１０６の各第２画素２２の信号電荷を垂直信号線１０８上で混合することができる。

この信号電荷の混合を高ダイナミックレンジ静止画モードに適用し、Ｇ１ａ＋Ｇ２ｂ→Ｇ５ａ＋Ｇ６ｂ→・・・の順に第Ａ行と第Ｂ行の緑色の各第１画素２１の信号を出力し、Ｂ３ａ＋Ｂ４ｂ→Ｂ７ａ＋Ｂ８ｂ→・・・の順に第Ａ行と第Ｂ行の青色の各第１画素２１の信号を出力し、Ｇ２ａ＋Ｇ３ｂ→Ｇ６ａ＋Ｇ７ｂ→・・・の順に第Ａ行と第Ｂ行の緑色の各第２画素２２の信号を出力し、Ｂ４ａ＋Ｂ５ｂ→Ｂ８ａ＋Ｂ９ｂ→・・・の順に第Ａ行と第Ｂ行の青色の各第２画素２２の信号を出力する。

続いて、Ｇ３ｃ＋Ｇ４ｄ→Ｇ７ｃ＋Ｇ８ｄ→・・・の順に第Ｃ行と第Ｄ行の緑色の各第１画素２１の信号を出力し、Ｒ１ｃ＋Ｒ２ｄ→Ｒ５ｃ＋Ｒ６ｄ→・・・の順に第Ｃ行と第Ｄ行の赤色の各第１画素２１の信号を出力し、Ｇ４ｃ＋Ｇ５ｄ→Ｇ８ｃ＋Ｇ９ｄ→・・・の順に第Ｃ行と第Ｄ行の緑色の各第２画素２２の信号を出力し、Ｒ２ｃ＋Ｒ３ｄ→Ｒ６ｃ＋Ｒ７ｄ→・・・の順に第Ｃ行と第Ｄ行の赤色の各第２画素２２の信号を出力する。以下同様に最終行まで繰り返して１画面分の信号を出力することにより、第１実施形態の場合と同様に、信号の読み出し時間の短縮やダイナミックレンジのさらなる拡大を図ることができる。

次に、イメージセンサ駆動部１５及び制御部１７は、左右同時刻露光静止画モードが選択された場合、まず第１実施形態の場合と同様の手順で、第１及び第２画素２１、２２の露光を行う（図７のフローチャート参照）。この後、イメージセンサ駆動部１５は、上記高ダイナミックレンジ静止画モードの場合と同様の手順で、第１及び第２画素２１、２２から１画面分の信号を読み出す。これにより、ＣＭＯＳイメージセンサ１００でも、第１実施形態の場合と同様に、立体視用の画像データの生成や撮影レンズ１２のフォーカス調整量の算出に用いられる撮像信号を取得することができる。

また、左右同時刻露光静止画モードにおいても、ＰＤ２０に蓄積された露光後の信号電荷をＦＤ４２に読み出す際に、Ｎ行目の第１画素読み出し線信号供給線５７と、Ｎ＋１行目の第１画素読み出し線信号供給線５７とに同時に第１画素読み出し信号を入力することで、斜め４５度方向に隣接する画素対１０６の各第１画素２１の信号電荷を垂直信号線１０８上で混合することができる。同様に、Ｎ行目の第２画素読み出し線信号供給線５８と、Ｎ＋１行目の第２画素読み出し線信号供給線５８とに同時に第２画素読み出し信号を入力することで、斜め４５度方向に隣接する画素対１０６の各第２画素２２の信号電荷を垂直信号線１０８上で混合することができる。

次に、イメージセンサ駆動部１５及び制御部１７は、左右画素混合静止画モードが選択された場合、まず第１実施形態の場合と同様の手順で、第Ａ行の第１及び第２画素２１、２２のノイズ抑圧後の信号電圧（ＦＤ４２での混合後の信号電圧）を各サンプルホールドキャパシタ７３に保持させる（図８のフローチャート参照）。この後、イメージセンサ駆動部１５は、上記高ダイナミックレンジ静止画モードの場合と同様の手順で、第Ａ行の第１及び第２画素２１、２２の信号電圧を読み出し、これを最終行まで繰り返し実行することにより、１画面分の信号を読み出す。

従って、ＣＭＯＳイメージセンサ１００の左右画素混合静止画モードでは、Ｇ１ａ＋Ｇ２ａ→Ｇ５ａ＋Ｇ６ａ→・・・の順に第Ａ行の緑色の第１及び第２画素２１、２２の混合された信号が出力され、Ｂ３ａ＋Ｂ４ａ→Ｂ７ａ＋Ｂ８ａ→・・・の順に第Ａ行の青色の第１及び第２画素２１、２２の混合された信号が出力される。続いて、Ｇ２ｂ＋Ｇ３ｂ→Ｇ６ｂ＋Ｇ７ｂ→・・・の順に第Ｂ行の緑色の第１及び第２画素２１、２２の混合された信号が出力され、Ｂ０ｂ＋Ｂ１ｂ→Ｂ４ｂ＋Ｂ５ｂ→Ｂ８ｂ＋Ｂ９ｂ→・・・の順に第Ｂ行の青色の第１及び第２画素２１、２２の混合された信号が出力される。続いて、Ｇ３ｃ＋Ｇ４ｃ→Ｇ７ｃ＋Ｇ８ｃ→・・・の順に第Ｃ行の緑色の第１及び第２画素２１、２２の混合された信号が出力され、Ｒ１ｃ＋Ｒ２ｃ→Ｒ５ｃ＋Ｒ６ｃ→・・・の順に第Ｃ行の赤色の第１及び第２画素２１、２２の混合された信号が出力される。以下同様に、第Ｄ行、第Ｅ行、・・・と繰り返されて１画面分の信号が出力される。

また、この左右画素混合静止画モードにおいても、Ｎ行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８と、Ｎ＋１行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力する。これによって、斜め４５度方向に隣接する各画素対１０６の第１及び第２画素２１、２２の信号を垂直信号線１０８上で混合することができる。これは、読み出し時間の短縮やＳ／Ｎ比の向上の効果をより高めることができる。

この場合には、（Ｇ１ａ＋Ｇ２ａ）＋（Ｇ２ｂ＋Ｇ３ｂ）→（Ｇ５ａ＋Ｇ６ａ）＋（Ｇ６ｂ＋Ｇ７ｂ）→・・・の順に第Ａ行と第Ｂ行の緑色の第１及び第２画素２１、２２の混合された信号が出力され、（Ｂ３ａ＋Ｂ４ａ）＋（Ｂ４ｂ＋Ｂ５ｂ）→（Ｂ７ａ＋Ｂ８ａ）＋（Ｂ８ｂ＋Ｂ９ｂ）→・・・の順に第Ａ行と第Ｂ行の青色の第１及び第２画素２１、２２の混合された信号が出力される。続いて、（Ｇ３ｃ＋Ｇ４ｃ）＋（Ｇ４ｄ＋Ｇ５ｄ）→（Ｇ７ｃ＋Ｇ８ｃ）＋（Ｇ８ｄ＋Ｇ９ｄ）→・・・の順に第Ｃ行と第Ｄ行の緑色の第１及び第２画素２１、２２の混合された信号が出力され、（Ｒ１ｃ＋Ｒ２ｃ）＋（Ｒ２ｄ＋Ｒ３ｄ）→（Ｒ５ｃ＋Ｒ６ｃ）＋（Ｒ６ｄ＋Ｒ７ｄ）→・・・の順に第Ｃ行と第Ｄ行の赤色の第１及び第２画素２１、２２の混合された信号が出力される。以下同様に繰り返されることによって、１画面分の信号が出力される。

なお、左右画素混合静止画モードと高ダイナミックレンジ静止画モードとを組み合わせることにより、通常のＥＸＲのダイナミックレンジモードを実行することも可能である。例えば、第Ａ行の各画素対１０６を長露光時間、第Ｂ行の各画素対１０６を短露光時間というように、長露光時間の行と短露光時間の行とを交互に設定する。そして、これを上記左右画素混合静止画モードの読み出し手順で読み出すことにより、例えば、（Ｇ１ａ＋Ｇ２ａ）の画素対１０６では、高感度の信号が得られ、これに斜め４５度方向に隣接する（Ｇ２ｂ＋Ｇ３ｂ）の画素対１０６では、低感度の信号が得られる。したがって、斜め４５度方向に隣接する一対の画素対１０６の一方が高感度用、他方が低感度用となり、通常のＥＸＲのダイナミックレンジモードとなる。

次に、イメージセンサ駆動部１５及び制御部１７は、２Ｄ動画モードが選択された場合、まず第１実施形態の場合と同様の手順で、第Ａ行の第１及び第２画素２１、２２のノイズ抑圧後の信号電圧（ＦＤ４２での混合後の信号電圧）を各サンプルホールドキャパシタ７３に保持させる（図９のフローチャート参照）。この後、イメージセンサ駆動部１５は、上記高ダイナミックレンジ静止画モードの場合と同様の手順で、第Ａ行の第１及び第２画素２１、２２の信号電圧を読み出し、これを最終行まで繰り返し実行することにより、１画面分の信号を読み出す。そして、この１画面分の信号の取得を順次繰り返すことによって、２次元の動画像データが取得される。

また、２Ｄ動画モードにおいても、Ｎ行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８と、Ｎ＋１行目の第１画素読み出し線信号供給線５７及び第２画素読み出し線信号供給線５８とのそれぞれに同時に第１画素読み出し信号及び第２画素読み出し信号を入力する。これにより、斜め４５度方向に隣接する各画素対１０６の第１及び第２画素２１、２２の信号を垂直信号線１０８上で混合することができる。

次に、イメージセンサ駆動部１５及び制御部１７は、３Ｄ動画モードが選択された場合、まず第１実施形態の場合と同様の手順で、最初の行の各第１画素２１のノイズ抑圧後の信号電圧を各サンプルホールドキャパシタ７３に保持させる（図１０のフローチャート参照）。この後、イメージセンサ駆動部１５は、上記高ダイナミックレンジ静止画モードの場合と同様の手順で、最初の行の各第１画素２１の信号電圧を読み出す。

イメージセンサ駆動部１５は、最初の行の各第１画素２１の信号の読み出しを完了させた後に、同様の手順で、最初の行の各第２画素２２の信号の読み出しを行う。そして、この処理を最終行まで繰り返すことにより、１画面分の信号が取得され、この１画面分の信号の取得をさらに繰り返す。これにより、各第１画素２１による動画像用の撮像信号と、各第２画素２２による動画像用の撮像信号とがそれぞれ得られ、これらによって立体視用の動画像データが生成される。

また、３Ｄ動画モードにおいても、ＰＤ２０に蓄積された露光後の信号電荷をＦＤ４２に読み出す際に、Ｎ行目の第１画素読み出し線信号供給線５７と、Ｎ＋１行目の第１画素読み出し線信号供給線５７とに同時に第１画素読み出し信号を入力する。これにより、斜め４５度方向に隣接する画素対１０６の各第１画素２１の信号電荷を垂直信号線１０８上で混合することができる。同様に、Ｎ行目の第２画素読み出し線信号供給線５８と、Ｎ＋１行目の第２画素読み出し線信号供給線５８とに同時に第２画素読み出し信号を入力することで、斜め４５度方向に隣接する画素対１０６の各第２画素２２の信号電荷を垂直信号線１０８上で混合することができる。

上記各実施形態では、第１及び第２画素２１、２２のＰＤ２０の遮光膜の開口領域２０ａを略矩形状に形成している。このため、開口領域２０ａは、撮像面１４ａに対して直交する方向に見たときに、マイクロレンズ２３の中心に対して反対側の端部が、マイクロレンズ２３の外形よりも外側にはみ出し、その端部の両角部分が、隣接する画素対２５のカラーフィルタ２４の部分に入り込んでいる。この構成では、隣接する画素対２５のカラーフィルタ２４が、異なる色である場合に、混色が生じてしまう恐れがある。そこで、ＰＤの遮光膜の開口領域がマイクロレンズ２３の外形よりも外側にはみ出さない構成とすることが好ましい。例えば、図１３に示すように、画素対１２０のＰＤ１２１の遮光膜に、矩形の２つの角部を斜めに切断した略六角形状を有する開口領域１２１ａを設ける。

また、開口領域１２１ａの構成では、ＰＤ２０の開口領域２０ａの構成に比べて露光面積が少なくなってしまうため、第１及び第２画素２１、２２の感度が低下してしまうことが懸念される。そこで、図１４に示す画素対１２２のＰＤ１２３の遮光膜の開口領域１２３ａのように、その一端部をマイクロレンズ２３の中央になるべく近付けることがさらに好ましい。マイクロレンズ２３が集光する光の光量（照度）は、中央部分の方が大きい。従って、開口領域１２３ａのように、遮光膜の開口領域をマイクロレンズ２３の中央に寄せることで、第１及び第２画素２１、２２の感度の低下を抑えることができる。

また、ＰＤの遮光膜の開口領域の形状は、上記略六角形に限られず、マイクロレンズ２３の外形よりも外側に食み出さない形状であれば任意の形状でよい。なお、光入射に寄与するＰＤの形状とは、正確には、半導体基板に形成されたＰＮ接合の光電変換部の形状ではなく、この半導体基板の表面を覆う遮光膜に形成された開口の形状である。

上記各実施形態では、略半円球状のマイクロレンズ２３を設けているが、これに限ることなく、図１５に示すように、画素対１２４に対して、略正方形状の外形を有する凸曲面状のマイクロレンズ１２５を設けてもよい。このマイクロレンズ１２５は、画素対１２４を並べて配置することが可能な大きさ、すなわち対角線の長さが２αの正方形に底面の形状が近付くように、半球状のレンズを正方形化させたものである。これにより、半球状のレンズに比べて面積が大きくなるので、第１及び第２画素２１、２２の感度が向上する。従って、マイクロレンズ１２５は、その外形よりも外側にはみ出さないようにＰＤ１２３の遮光膜の開口領域１２３ａを構成する場合に、特に有用である。

また、図１６に示すように、画素対１３０に対して、半楕円球状のマイクロレンズ１３１を設けてもよい。マイクロレンズ１３１の底面は、２αの長軸と、αよりも僅かに大きい短軸とを有する楕円形状に形成されている。マイクロレンズ１３１は、その光軸と画素対１３０の中心とが略一致するように配置されている。これにより、マイクロレンズ１３１は、垂直方向の上側又は下側に隣接する一対のマイクロレンズ１３１の間に空く隙間に、短軸側の頂点部分が入り込んでいる。

また、画素対１３０のカラーフィルタ１３２は、上記楕円形に形成されたマイクロレンズ１３１の底面に外接する略六角形状に形成されている。このようにカラーフィルタ１３２を形成すれば、半楕円球状にマイクロレンズ１３１を形成した場合にも、撮像面にカラーフィルタ１３２を隙間無く敷き詰めることができる。

ここで、垂直方向に隣接する各マイクロレンズ１３１の最近接部分Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標は、画素の一辺の長さをαとするとともに、画素対１３０の中心Ｐ０を原点としたとき、それぞれＰ１＝（α／２，α／２）、Ｐ２＝（α／２，−α／２）、Ｐ３＝（−α／２，α／２）、Ｐ４＝（−α／２，−α／２）である。また、これらの４点Ｐ１〜Ｐ４は、マイクロレンズ１３１とカラーフィルタ１３２との接点でもある。なお、図１６では、頂点部分の尖った六角形状に各マイクロレンズ１３１を示しているが、実際の製造においては、頂点（角）部分は丸みを帯びる。

略半球状に形成されたマイクロレンズ２３及び略矩形状に形成されたカラーフィルタ２４では、カラーフィルタ２４の四隅の部分において、マイクロレンズ２３の外形よりも外側にはみ出た余白の部分が比較的広く形成されてしまい、この余白の部分に斜めに入射した光によって混色が生じることが懸念される。これに対し、上記のマイクロレンズ１３１及びカラーフィルタ１３２では、より円形に近い六角形状にカラーフィルタ１３２が形成されていることから、マイクロレンズ２３及びカラーフィルタ２４の構成に比べて余白の面積が小さくなり、混色の発生が抑えられる。

さらに、半楕円球状に形成されたマイクロレンズ１３１では、半球状に形成されたマイクロレンズ２３に比べて第１及び第２画素２１、２２と重なる部分の面積が大きい。従って、図１６に示すように、従来と同様の矩形状にＰＤ１３３の遮光膜の開口領域１３３ａを形成しても、マイクロレンズ１３１から開口領域１３３ａがはみ出さないので、第１及び第２画素２１、２２の感度の低下が防止される。

また、横長のマイクロレンズ１３１やカラーフィルタ１３２は、３Ｄや位相差信号の取得に好適である。画素対１３０が縦横比１：２であるため、マイクロレンズ１３１の短軸と長軸の比を略１：２とすることにより、開口領域１３３ａの端部から、マイクロレンズ１３１の端部までの最大距離が短くなる。これにより、マイクロレンズ１３１で屈折した光が開口領域１３３ａに入射するための屈折角が小さく、高感度化に有利である。

上記各実施形態では、撮像素子受光域の光学中心付近の画素構成のみについて説明している。主光線の入射角度は、光学中心から離れるに従って主光線の入射角度が垂直方向から傾くため、マイクロレンズ、カラーフィルタとＰＤの遮光膜の開口領域との位置関係を補正する手段、いわゆるスケーリング手法をさらに用いることが好ましい。具体的には、スケーリングの方向と大きさにより、前述のマイクロレンズの偏心量、方向に影響を与えることは自明であり、スケーリングの方向と大きさに基づき、マイクロレンズとカラーフィルタとの一方あるいは双方の偏心量および方向を補正すればよい。

上記各実施形態では、ＣＤＳ回路５３によって画素毎の固定パターンノイズを抑圧しているが、固定パターンノイズの抑圧は、これに限られず、カラムＡＤＣ（アナログデジタル変換器）などで行ってもよい。

上記各実施形態では、一般的なＣＭＯＳイメージセンサに本発明を適用した例を示したが、本発明は、これに限ることなく、他のタイプの固体撮像素子に適用してもよい。特に、裏面照射型のＣＭＯＳイメージセンサでは、開口面積を大きくすることができ、感度低下を抑えながら、マイクロレンズ２３やカラーフィルタ２４と、第１及び第２画素２１、２２のＰＤ２０との距離を遠ざけ、フォーカスに対する像のずれ量を大きくすること、あるいは視差角を狭くすることができるので、位相差特性の最適化には好適である。

上記実施形態では、第１番目の行（第Ａ行）から最終行まで順番に信号読み出しをしている。しかし、撮像画面の一部を読み出す場合には、撮像画面の途中の行を第１番目の行として読み出す。この意味で第１行と最終行は、物理的な位置関係ではなく相対的な位置関係である。

１０ 撮影装置
１４ ＣＭＯＳイメージセンサ
１４ａ 撮像面
１５ イメージセンサ駆動部
１７ 制御部
２０ ＰＤ
２１ 第１画素
２２ 第２画素
２３ マイクロレンズ
２４ カラーフィルタ
２５ 画素対
２６ 画素行
４０ 第１画素用読み出しトランジスタ
４１ 第２画素用読み出しトランジスタ
４２ ＦＤ
４３ リセットトランジスタ
４４ アンプトランジスタ
４５ 行選択トランジスタ
５０ 垂直信号線
５１ 水平信号線
５４ 列選択トランジスタ
５７ 第１画素読み出し線信号供給線
５８ 第２画素読み出し線信号供給線
５９ リセット線
６０ 行選択線

Claims (23)

1. 互いに水平方向に隣接して配置され、入射した光を電荷に変換して信号蓄積する第１及び第２画素と、前記第１及び第２画素に向けて光を集光するマイクロレンズとを有する画素対を複数備え、前記水平方向に配列された複数の前記画素対により構成された画素行が、前記第１画素と前記第２画素とが垂直方向に隣接するように、前記垂直方向に複数配列された撮像部と、
   前記各画素対に設けられ、前記第１画素に蓄積された信号電荷を読み出す第１画素用読み出し部と、
   前記各画素対に設けられ、前記第２画素に蓄積された信号電荷を読み出す第２画素用読み出し部と、
   前記各第１画素用読み出し部に、前記第１画素から信号電荷を読み出させる第１画素読み出し信号を供給する複数の第１画素読み出し線信号供給線と、
   前記各第２画素用読み出し部に、前記第２画素から信号電荷を読み出させる第２画素読み出し信号を供給する複数の第２画素読み出し線信号供給線と、
   前記各画素対に設けられ、前記第１画素及び前記第２画素から読み出された前記信号電荷を一時的に蓄積する電荷蓄積部と、
   前記各画素対に設けられ、前記電荷蓄積部に蓄積された前記信号電荷を所定の電位にリセットするリセット部と、
   前記各リセット部に、前記電荷蓄積部を所定の電位にリセットさせるリセット信号を供給する複数のリセット線と、
   前記各画素対に設けられ、前記電荷蓄積部に蓄積された信号電荷を増幅し、信号電圧として出力する増幅部と、
   前記各画素対に設けられ、前記各画素行のうち、前記信号電圧を転送すべき行を選択するための行選択部と、
   前記各行選択部に行選択信号を供給する複数の行選択線と、
   前記垂直方向に沿って形成されるとともに、前記垂直方向の所定の列毎に設けられ、前記行選択部で選択された行からの前記信号電圧を前記垂直方向に転送する複数の垂直信号線と、
   前記各垂直信号線からの前記信号電圧を前記水平方向に転送する水平信号線と、
   前記各垂直信号線のそれぞれに対応して設けられ、前記各垂直信号線からの前記信号電圧を前記水平信号線に転送するべき列を選択する列選択部と、
   を備えることを特徴とする固体撮像素子。
2. 前記第１画素読み出し線信号供給線と前記第２画素読み出し線信号供給線とは、前記垂直方向に隣接する前記画素行の間で、前記垂直方向に１つ置きとなるように交互に配置され、前記垂直方向に隣接する２つの前記画素行に共通に用いられることを特徴とする請求の範囲第１項に記載の固体撮像素子。
3. 前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させる１つのカラーフィルタを有し、
   前記カラーフィルタは、赤色の光を透過させる赤色カラーフィルタ、緑色の光を透過させる緑色カラーフィルタ、青色の光を透過させる青色カラーフィルタのいずれかであり、
   前記垂直方向に隣接して配置された２つの緑色カラーフィルタと、これらの２つの緑色カラーフィルタに隣接するとともに、前記水平方向に隣接して配置された１つの赤色カラーフィルタと１つの青色カラーフィルタとによりフィルタセットが構成され、
   前記フィルタセットが互いに隣接して前記水平方向及び前記垂直方向に配列されていることを特徴とする請求の範囲第１項に記載の固体撮像素子。
4. 前記各垂直信号線は、前記垂直方向に並ぶ前記各画素対の列毎に設けられていることを特徴とする請求の範囲第３項に記載の固体撮像素子。
5. 前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させる１つのカラーフィルタを有し、
   前記カラーフィルタは、赤色の光を透過させる赤色カラーフィルタ、緑色の光を透過させる緑色カラーフィルタ、青色の光を透過させる青色カラーフィルタのいずれかであり、
   斜め４５度方向に隣接して配置された２つの緑色カラーフィルタと、これらの各緑色カラーフィルタと隣接し、かつ互いに斜め４５度方向に隣接して配置された２つの赤色カラーフィルタとにより第１フィルタセットが構成され、
   この第１フィルタセットの各赤色カラーフィルタが青色カラーフィルタに置き換えられた第２フィルタセットが構成され、
   前記第１及び第２フィルタセットが市松模様状に配列されていることを特徴とする請求の範囲第１項に記載の固体撮像素子。
6. 前記各垂直信号線は、前記画素対の２列に対して１本ずつ設けられ、斜め４５度方向に隣接する同色の前記カラーフィルタを有する一対の前記画素対の出力が接続されていることを特徴とする請求の範囲第５項に記載の固体撮像素子。
7. 前記マイクロレンズを通過した光を前記第１及び第２画素にそれぞれ入射させる開口領域が形成された遮光膜を有し、前記開口領域は、前記マイクロレンズの外形よりも外側にはみ出さない形状であることを特徴とする請求の範囲第１項に記載の固体撮像素子。
8. 前記マイクロレンズは、前記画素対の前記水平方向への幅と略同一の長軸を有する半楕円球状であり、その光軸と前記画素対の中心とが略一致していることを特徴とする請求の範囲第１項に記載の固体撮像素子。
9. 前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させるとともに、前記マイクロレンズの底面に外接する略六角形状のカラーフィルタを有することを特徴とする請求の範囲第８項に記載の固体撮像素子。
10. 互いに水平方向に隣接して配置され、入射した光を電荷に変換して信号蓄積する第１及び第２画素と、前記第１及び第２画素に向けて光を集光するマイクロレンズとを有する画素対を複数備え、前記水平方向に配列された複数の前記画素対により構成された画素行が、前記第１画素と前記第２画素とが垂直方向に隣接するように、前記垂直方向に複数配列された撮像部と、
    前記各画素対に設けられ、前記第１画素に蓄積された信号電荷を読み出す第１画素用読み出し部と、
    前記各画素対に設けられ、前記第２画素に蓄積された信号電荷を読み出す第２画素用読み出し部と、
    前記各第１画素用読み出し部に、前記第１画素から信号電荷を読み出させる第１画素読み出し信号を供給する複数の第１画素読み出し線信号供給線と、
    前記各第２画素用読み出し部に、前記第２画素から信号電荷を読み出させる第２画素読み出し信号を供給する複数の第２画素読み出し線信号供給線と、
    前記各画素対に設けられ、前記第１画素及び前記第２画素から読み出された前記信号電荷を一時的に蓄積する電荷蓄積部と、
    前記各画素対に設けられ、前記電荷蓄積部に蓄積された前記信号電荷を所定の電位にリセットするリセット部と、
    前記各リセット部に、前記電荷蓄積部を所定の電位にリセットさせるリセット信号を供給する複数のリセット線と、
    前記各画素対に設けられ、前記電荷蓄積部に蓄積された信号電荷を増幅し、信号電圧として出力する増幅部と、
    前記各画素対に設けられ、前記各画素行のうち、前記信号電圧を転送すべき行を選択するための行選択部と、
    前記各行選択部に行選択信号を供給する複数の行選択線と、
    前記垂直方向に沿って形成されるとともに、前記垂直方向の所定の列毎に設けられ、前記行選択部で選択された行からの前記信号電圧を前記垂直方向に転送する複数の垂直信号線と、
    前記各垂直信号線からの前記信号電圧を前記水平方向に転送する水平信号線と、
    前記各垂直信号線のそれぞれに対応して設けられ、前記各垂直信号線からの前記信号電圧を前記水平信号線に転送するべき列を選択する列選択部と、
    を備える固体撮像素子の駆動方法において、
    （Ａ） 前記撮像部に対して露光を行うステップと、
    （Ｂ） 前記撮像部の第Ｎ行（Ｎは任意の整数）に対して、前記行選択線への前記行選択信号の入力、前記第１画素読み出し線信号供給線への前記第１画素読み出し信号の入力、前記第２画素読み出し線信号供給線への前記第２画素読み出し信号の入力を行うとともに、前記第Ｎ行に対応する前記各垂直信号線に読み出された前記信号電圧を前記水平信号線に順次転送することにより、前記第Ｎ行の１行分の前記第１及び第２画素の前記信号電圧を読み出すステップと、
    （Ｃ） 前記（Ａ）ステップ及び前記（Ｂ）ステップを第１行から最終行まで繰り返し実行することにより、１画面分の前記信号電圧を読み出すステップと、
    を有することを特徴とする固体撮像素子の駆動方法。
11. 前記露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するタイミングと、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力するタイミングとをずらすことで、前記第１画素と前記第２画素との露光時間を変えることを特徴とする請求の範囲第１０項に記載の固体撮像素子の駆動方法。
12. 前記露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力することにより、前記第１画素の露光時間と前記第２画素の露光時間とを略同一にすることを特徴とする請求の範囲第１０項に記載の固体撮像素子の駆動方法。
13. 前記第Ｎ行の読み出しを行う際に、前記第Ｎ行の前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力し、前記第Ｎ行の前記各第１画素に蓄積された露光後の信号電荷を読み出した後、前記第Ｎ行の前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力し、前記第Ｎ行の前記各第２画素に蓄積された露光後の信号電荷を読み出すことを特徴とする請求の範囲第１０項に記載の固体撮像素子の駆動方法。
14. 前記第Ｎ行の読み出しを行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力し、前記第１画素に蓄積された信号電荷と、前記第２画素に蓄積された信号電荷とを同時に前記電荷蓄積部に読み出すことで、これらの各信号電荷を前記電荷蓄積部で混合することを特徴とする請求の範囲第１０項に記載の固体撮像素子の駆動方法。
15. 前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させる１つのカラーフィルタを有し、
    前記カラーフィルタは、赤色の光を透過させる赤色カラーフィルタ、緑色の光を透過させる緑色カラーフィルタ、青色の光を透過させる青色カラーフィルタのいずれかであり、
    斜め４５度方向に隣接して配置された２つの緑色カラーフィルタと、これらの各緑色カラーフィルタと隣接し、かつ互いに斜め４５度方向に隣接して配置された２つの赤色カラーフィルタとにより第１フィルタセットが構成され、
    この第１フィルタセットの各赤色カラーフィルタが青色カラーフィルタに置き換えられた第２フィルタセットが構成され、
    前記第１及び第２フィルタセットが市松模様状に配列されており、
    前記画素行を前記垂直方向に交互に長露光時間、短露光時間とし、前記１行分の読み出しを行う際に、前記各信号電荷の前記電荷蓄積部での混合を行うことにより、斜め４５度方向に隣接する一対の前記画素対の一方を高感度用、他方を低感度用とすることを特徴とする請求の範囲第１４項に記載の固体撮像素子の駆動方法。
16. 前記第Ｎ行の読み出しを行う際に、隣接する行を含む複数行の前記第１画素読み出し線信号供給線に同時に前記第１画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第１画素の信号電荷を前記垂直信号線上で混合するとともに、前記複数行の前記第２画素読み出し線信号供給線に同時に前記第２画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第２画素の信号電荷を前記垂直信号線上で混合することを特徴とする請求の範囲第１０項に記載の固体撮像素子の駆動方法。
17. 互いに水平方向に隣接して配置され、入射した光を電荷に変換して信号蓄積する第１及び第２画素と、前記第１及び第２画素に向けて光を集光するマイクロレンズとを有する画素対を複数備え、前記水平方向に配列された複数の前記画素対により構成された画素行が、前記第１画素と前記第２画素とが垂直方向に隣接するように、前記垂直方向に複数配列された撮像部と、
    前記各画素対に設けられ、前記第１画素に蓄積された信号電荷を読み出す第１画素用読み出し部と、
    前記各画素対に設けられ、前記第２画素に蓄積された信号電荷を読み出す第２画素用読み出し部と、
    前記各第１画素用読み出し部に、前記第１画素から信号電荷を読み出させる第１画素読み出し信号を供給する複数の第１画素読み出し線信号供給線と、
    前記各第２画素用読み出し部に、前記第２画素から信号電荷を読み出させる第２画素読み出し信号を供給する複数の第２画素読み出し線信号供給線と、
    前記各画素対に設けられ、前記第１画素及び前記第２画素から読み出された前記信号電荷を一時的に蓄積する電荷蓄積部と、
    前記各画素対に設けられ、前記電荷蓄積部に蓄積された前記信号電荷を所定の電位にリセットするリセット部と、
    前記各リセット部に、前記電荷蓄積部を所定の電位にリセットさせるリセット信号を供給する複数のリセット線と、
    前記各画素対に設けられ、前記電荷蓄積部に蓄積された信号電荷を増幅し、信号電圧として出力する増幅部と、
    前記各画素対に設けられ、前記各画素行のうち、前記信号電圧を転送すべき行を選択するための行選択部と、
    前記各行選択部に行選択信号を供給する複数の行選択線と、
    前記垂直方向に沿って形成されるとともに、前記垂直方向の所定の列毎に設けられ、前記行選択部で選択された行からの前記信号電圧を前記垂直方向に転送する複数の垂直信号線と、
    前記各垂直信号線からの前記信号電圧を前記水平方向に転送する水平信号線と、
    前記各垂直信号線のそれぞれに対応して設けられ、前記各垂直信号線からの前記信号電圧を前記水平信号線に転送するべき列を選択する列選択部と、
    を備える固体撮像素子と、
    前記固体撮像素子を駆動する駆動制御部と、
    を備えることを特徴とする撮影装置。
18. 前記駆動制御部は、前記撮像部に対して露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するタイミングと、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力するタイミングとをずらすことで、前記第１画素と前記第２画素との露光時間を変える第１駆動モードを有していることを特徴とする請求の範囲第１７項に記載の撮影装置。
19. 前記駆動制御部は、前記撮像部に対して露光を行う際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力することにより、前記第１画素の露光時間と前記第２画素の露光時間とを略同一にする第２駆動モードを有していることを特徴とする請求の範囲第１７項に記載の撮影装置。
20. 前記駆動制御部は、前記撮像部の第Ｎ行（Ｎは任意の整数）の前記第１及び第２画素に蓄積された信号電荷を読み出す際に、
    前記第Ｎ行の前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力し、前記第Ｎ行の前記各第１画素に蓄積された露光後の信号電荷を読み出した後、前記第Ｎ行の前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を入力し、前記第Ｎ行の前記各第２画素に蓄積された露光後の信号電荷を読み出すことを特徴とする請求の範囲第１７項に記載の撮影装置。
21. 前記駆動制御部は、前記第１及び第２画素に蓄積された信号電荷を読み出す際に、前記第１画素読み出し線信号供給線に前記第１画素読み出し信号を入力するとともに、前記第２画素読み出し線信号供給線に前記第２画素読み出し信号を同時に入力し、前記第１画素に蓄積された信号電荷と、前記第２画素に蓄積された信号電荷とを同時に前記電荷蓄積部に読み出すことで、これらの各信号電荷を前記電荷蓄積部で混合する第３駆動モードを有していることを特徴とする請求の範囲第１９項に記載の撮影装置。
22. 前記画素対は、前記マイクロレンズが集光させた光のうち所定の色の光のみを透過させる１つのカラーフィルタを有し、
    前記カラーフィルタは、赤色の光を透過させる赤色カラーフィルタ、緑色の光を透過させる緑色カラーフィルタ、青色の光を透過させる青色カラーフィルタのいずれかであり、
    斜め４５度方向に隣接して配置された２つの緑色カラーフィルタと、これらの各緑色カラーフィルタと隣接し、かつ互いに斜め４５度方向に隣接して配置された２つの赤色カラーフィルタとにより第１フィルタセットが構成され、
    この第１フィルタセットの各赤色カラーフィルタが青色カラーフィルタに置き換えられた第２フィルタセットが構成され、
    前記第１及び第２フィルタセットが市松模様状に配列されており、
    前記駆動制御部は、前記画素行を前記垂直方向に交互に長露光時間、短露光時間とし、前記各画素行の読み出しを行う際に、前記各信号電荷を前記電荷蓄積部で混合するモードで読み出すことにより、斜め４５度方向に隣接する一対の前記画素対の一方を高感度用、他方を低感度用とすることを特徴とする請求の範囲第２１項に記載の撮影装置。
23. 前記駆動制御部は、前記第１及び第２画素に蓄積された信号電荷を読み出す際に、複数の行の前記第１画素読み出し線信号供給線に同時に前記第１画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第１画素の信号電荷を前記垂直信号線上で混合するとともに、複数の行の前記第２画素読み出し線信号供給線に同時に前記第２画素読み出し信号を入力することで、前記垂直方向に隣接する複数の前記画素対の前記各第２画素の信号電荷を前記垂直信号線上で混合することを特徴とする請求の範囲第１７項に記載の撮影装置。

Images