JP5635092B2 - 固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに撮像制御方法および撮像制御プログラム - Google Patents

Description

本発明は、固体撮像素子および当該固体撮像素子を備える撮像装置、ならびに撮像制御方法および撮像制御プログラムに関する。より具体的には、入射光に含まれる特定色成分については他の色成分とは異なるフレームレートで撮像することが可能な固体撮像素子および撮像装置に関する。

公知の固体撮像素子は、フォトダイオードなどの光電変換素子が２次元的に配列された半導体層と、半導体層の光入射側に配置されたカラーフィルタのアレイとを備えている。カラーフィルタは、個々の光電変換素子に入射する光の波長をＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）などの特定波長帯域に制限する。固体撮像素子の各画素では、その画素に割り当てられた色のカラーフィルタを透過した光（Ｒ光、Ｇ光、またはＢ光）を光電変換素子が受ける。光電変換素子は、その画素に入射した光のうち、その画素のカラーフィルタを透過した色成分の光の量（入射光量）に応じた量の電荷を生成する。

画素は、固体撮像素子の撮像面に行（ロウ）および列（カラム）状に配列されている。個々の画素にアドレスし、着目する画素で蓄積された電荷の量に応じた信号（画素信号）を読み出すためには、個々の画素に接続された多数の信号線と、これらの信号線に接続された周辺回路とが必要になる。

ＣＭＯＳイメージセンサでは、撮像面の１つの画素に相当する領域に、光電変換素子と、この光電変換素子が生成した蓄積電荷量に応じた大きさの信号を読み出すための複数のトランジスタとが配置されている。このように、ＣＭＯＳイメージセンサにおける１つの「画素」は、通常、１つの光電変換素子および複数のトランジスタから構成される。

本明細書では、簡単のため、Ｒ光を透過するフィルタ（Ｒフィルタ）が光入射側に配置された画素を「Ｒ画素」、Ｇ光を透過するフィルタ（Ｇフィルタ）が光入射側に配置された画素を「Ｇ画素」、Ｂ光を透過するフィルタ（Ｂフィルタ）が光入射側に配置された画素を「Ｂ画素」と称する場合がある。また、撮像素子上に配列された複数のＲ画素から得られる画像を「Ｒ画像」、複数のＧ画素から得られる画像を「Ｇ画像」、複数のＢ画素から得られる画像を「Ｂ画像」と称する場合がある。これらの画像は、撮像面に配列された多数の画素から画素信号を読み出すことによって取得できる。画像のデータは、フレーム単位で読み出される。画像データを１秒当たりに読み出す回数は、「フレームレート」と称されている。

このような固体撮像素子を用いて高解像度かつ高フレームレートの動画像を得るためには、各画素の面積を小さくする（高解像度化）とともに、個々の画素の電荷蓄積期間（露出時間）を短縮する（高フレームレート化）必要がある。画素の面積縮小および露出時間の短縮は、個々の画素での入射光量を低下させる。入射光量の低下は、画素信号の出力レベルを下げるため、動画像のＳ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比を低下させるという問題を引きおこす。

このような問題を解決するため、Ｒ、Ｇ、Ｂの色成分を、それぞれ異なる解像度および異なる露出時間で撮像する方式が提案された。入射光を例えばＲおよびＢ成分とＧ成分とに分け、これら２つの色成分ごとに別個の撮像素子で撮像を行う技術が特許文献１および特許文献２に開示されている。例えばＲおよびＢの色成分について、低解像度かつ高フレームレートで撮像を行えば、ＲおよびＢの色成分については時間的な解像度の高い画像を得ることができる。一方、Ｇの色成分について、高解像度かつ低フレームレートで撮像を行えば、Ｇの色成分については、必要な露出時間と空間解像度を確保できるため、充分な光量を得てＳ／Ｎ比が高いＧ画像を高い空間解像度で得ることができる。そして、低解像度かつ高フレームレートで撮像した色成分画像と、高解像度かつ低フレームレートで撮像した色成分画像とから、画像処理により、高解像度かつ高フレームレートの動画像を復元すれば、高解像かつ高フレームレートのカラー動画像を得ることができる。

前記のような色成分ごとに露出時間およびフレームレートの異なる撮像では、画素の出力信号が撮像素子より出力されるタイミングが色成分ごとに異なる。そのため、単板カラー撮像素子によって上記の撮像を行うためには、各色成分に対応する画素に、各々のフレームレートに対応したタイミングで独立に読み出し信号を与え、各色成分の画素信号が独立に出力されるような構成を実現する必要がある。

単板カラー撮像素子において、例えばＧ画像を得るためのフレームレートをＲ画像およびＢ画像を得るためのフレームレートよりも低くするためには、Ｇ画素に蓄積された電荷の信号を読み出す時間間隔を、Ｒ画素およびＢ画素に蓄積された電荷の信号を読み出す時間間隔よりも長くする必要がある。非特許文献１は、Ｒ画素、Ｇ画素、Ｂ画素の各々に対して独立に画素出力のための読み出し信号を与え、かつ列方向（垂直方向）に隣接する２つの画素から並列に信号を読み出すことができる撮像素子を開示している。

非特許文献１に記載の単板撮像素子の構成を図２５に示す。図２５において、符号Ｒは、入射光のＲ成分の強度を検出する画素、符号Ｂは、入射光のＢ成分の強度を検出する画素、符号ＧｒおよびＧｂは、入射光のＧ成分の強度を検出する画素を示す。この撮像素子では、Ｒ画素およびＧ画素が水平方向に交互に配置されている行（ＲＧ行）と、Ｂ画素およびＧ画素が水平方向に交互に配置されている行（ＢＧ行）が、垂直方向に交互に配置されている。

以下、ＲＧ行のＧ画素をＧｒ画素、ＢＧ行のＧ画素をＧｂ画素と称する。非特許文献１では、Ｇ画素の露出時間をＲおよびＢ画素の露出時間より長くし、低いフレームレートで出力することを仮定している。図２５に示すように、各画素へ読み出し信号を伝達する読み出し信号線、および画素出力信号をＡＤ変換などの次段の処理に伝達する出力信号線を、Ｒ、Ｂ画素およびＧ画素で別個に配置している。その結果、同図右側に示すように、各画素行に沿って、Ｒ画素またはＢ画素に接続された読み出し信号線とＧ画素に接続された読み出し信号線とからなる２本の信号線が水平方向に延びている。一方、各画素列に沿って、Ｒ画素またはＢ画素に接続された出力信号線とＧ画素に接続された出力信号線とからなる２本の信号線が垂直方向に延びている。このような構成にすることで、Ｒ、Ｂ画素およびＧ画素に独立に読み出し信号を与え、かつ、各色画素から並列に出力を得る（読み出しを行う）ことができる。

国際公開第２００９／０１９８２３号 国際公開第２００９／０１９８２４号

Ｔａｋｅｏ Ａｚｕｍａ，Ｔａｒｏ Ｉｍａｇａｗａ，Ｓａｎｚｏ Ｕｇａｗａ，Ｙｕｓｕｋｅ Ｏｋａｄａ，Ｈｉｒｏｙｏｓｈｉ Ｋｏｍｏｂｕｃｈｉ，Ｍｏｔｏｎｏｒｉ Ｉｓｈｉｉ，Ｓｈｉｇｅｔａｋａ Ｋａｓｕｇａ，Ｙｏｓｈｉｈｉｓａ Ｋａｔｏ，"Ａ ２．２／３−ｉｎｃｈ ４Ｋ２Ｋ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｂａｓｅｄ ｏｎ Ｄｕａｌ Ｒｅｓｏｌｕｔｉｏｎ Ａｎｄ Ｅｘｐｏｓｕｒｅ Ｔｅｃｈｎｉｑｕｅ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｉｎ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔ Ｃｏｎｆｅｒｎｃｅ ２０１０，ｐｐ．４０８−４１０，２０１０．

しかしながら、従来の構成では、例えば図２５に示すように各画素行に２本の読み出し信号線が配置され、また、各画素列に２本の出力信号線が配列されている。そのために、撮像エリア上で前記信号線が占める面積が大きくなることによって画素の開口面積が減少する。このことは、画素の感度が低下するという課題を引き起こし、この課題は、画素自身が微細化すると、さらに顕著となる。

本発明は、上記課題を解決するためになされたものであり、信号線の本数を低減した撮像素子および当該撮像素子を備える撮像装置を提供することにある。また、本発明の他の目的は、このような撮像素子を用いて行う撮像制御方法および撮像制御プログラムを提供することにある。

本発明の固体撮像素子は、行および列状に配列された複数の画素を有する画素アレイと、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、前記複数の画素にそれぞれ入射する光の色成分を規定するカラーフィルタアレイとを備える固体撮像素子であって、前記複数の読み出し信号線は、第１の色成分の光が入射する画素の群に接続された複数の第１読み出し信号線と、前記第１の色成分以外の第２の色成分の光が入射する画素の群に接続された複数の第２読み出し信号線とに分かれており、各第１読み出し信号線に接続され、前記第１の色成分の光が入射する複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第１読み出し信号線に関して反対の側にそれぞれ配置され、各第２読み出し信号線に接続され、前記第２の色成分の光が入射する複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第２読み出し信号線に関して反対の側にそれぞれ配置されている。

好ましい実施形態において、前記複数の第１読み出し信号線と前記複数の第２読み出し信号線とは交互に配列されている。

ある実施形態において、各第２読み出し信号線には、前記第１の色成分の光が入射する画素が接続されていない。

ある実施形態において、各第１読み出し信号線には、前記第２の色成分の光が入射する画素が接続されていない。

ある実施形態において、各第１読み出し信号線には、前記第１の色成分の光が入射する画素と、前記第２の色成分の光が入射する画素とが接続されている。

ある実施形態において、前記第１の色成分はレッドおよびブルーであり、前記第２の色成分はグリーンである。

ある実施形態において、前記第１の色成分はイエローおよびシアンであり、前記第２の色成分はグリーンおよびマゼンダである。

ある実施形態において、隣接する２つの画素行の間において、または隣接する２つの画素列の間において、画素の配列が画素ピッチの半分だけシフトしている。

ある実施形態において、前記複数の第１読み出し信号線を駆動することによって前記第１の色成分の光が入射する画素から第１のフレームレートで画素信号を読み出し、かつ、前記複数の第２読み出し信号線を駆動することによって前記第２の色成分の光が入射する画素から第１のフレームレートよりも低い第２のフレームレートで画素信号を読み出す周辺回路を備えている。

ある実施形態において、前記周辺回路によって前記第２の色成分の光が入射する画素から前記第２のフレームレートで画素信号を読み出すタイミングは、同一フレーム内において前記第１の色成分の光が入射する画素から画素信号を読み出すタイミングに対して時間的にシフトしている。

ある実施形態において、前記周辺回路は、前記複数の第１読み出し信号線を駆動することによって前記第１の色成分の光が入射する画素から第１のフレームレートで画像信号を読み出し、第１色成分信号を出力する第１の読み出し回路と、前記複数の第２読み出し信号線を駆動することによって前記第２の色成分の光が入射する画素から第１のフレームレートよりも低い第２のフレームレートで画像信号を読み出し、第２色成分信号を出力する第２の読み出し回路とを含む。

ある実施形態において、前記第１の読み出し回路は、前記画素アレイから出力される画素信号に対してビニング処理を行うビニング回路を有している。

ある実施形態において、前記複数の読み出し信号線、前記複数の出力信号線、および前記カラーフィルタアレイは、前記画素アレイが形成された半導体基板の表面に配置されており、前記半導体層の表面側から光を前記画素アレイに入射する。

ある実施形態において、前記複数の読み出し信号線および前記複数の出力信号線は、前記画素アレイが形成された半導体層の表面に配置されており、前記カラーフィルタアレイは、前記半導体層の裏面に配置されており、前記半導体層の裏面側から光を前期画素アレイに入射する。

本発明の他の固体撮像素子は、行および列状に配列された複数の画素を有する画素アレイと、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、前記複数の画素にそれぞれ入射する光の色成分を規定するカラーフィルタアレイとを備える固体撮像素子であって、前記複数の読み出し信号線は、第１の色成分の光が入射する画素の群に接続された複数の第１読み出し信号線と、前記第１の色成分以外の第２の色成分の光が入射する画素の群に接続された複数の第２読み出し信号線とに分かれており、各第１読み出し信号線に接続され、前記第１の色成分の光が入射する複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、相互に異なる行に属しており、各第２読み出し信号線に接続され、前記第２の色成分の光が入射する複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、相互に異なる行に属している。

本発明の撮像装置は、上記いずれかの固体撮像素子と、前記固体撮像素子の前記画素アレイ上に結像を行う光学系と、前記固体撮像素子から出力される信号を処理する信号処理部とを備える。

ある実施形態において、前記信号処理部は、前記第１色成分の光が入射する画素から読み出される信号と、前記第２の色成分の光が入射する画素から読み出される信号とに基づいて、カラー動画像を合成する画像処理部を有している。

本発明による撮像素子の駆動方法は、上記いずれかの固体撮像素子を駆動する撮像素子の駆動方法であって、前記複数の第１読み出し信号線に第１のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記第１の色成分の画像データを取得するステップと、前記複数の第２読み出し信号線に前記第１のフレームレートよりも低い第２のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記第２の色成分の画像データを取得するステップとを包含する。

本発明のコンピュータプログラムは、上記いずれかの固体撮像素子およびプロセッサを備える装置のためのコンピュータプログラムであって、前記複数の第１読み出し信号線に第１のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記第１の色成分の画像データを出力させるステップと、前記複数の第２読み出し信号線に前記第１のフレームレートよりも低い第２のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記第２の色成分の画像データを出力させるステップとを前記プロセッサに実行させる。

本発明の記録媒体は、上記コンピュータプログラムを記録した記録媒体である。

本発明によれば、特定の色成分の画像についてフレームレートを他の色成分の画像のフレームレートよりも高めることができる撮像素子において、非特許文献１に記載されている撮像素子よりも配線数を低減することができる。

本発明の第１実施形態に係る撮像装置の全体構成を示すブロック図である。 本発明の第１実施形態に係る撮像素子の画素配列を示す図である。 本発明の第１実施形態に係る撮像素子の構成例を示す一部断面図である。 本発明の第１実施形態に係る撮像素子の他の構成例を示す一部断面図である。 本発明の第１実施形態に係る撮像素子の構成例を示すブロック図である。 本発明の第１実施形態に係る画素アレイにおける読み出し信号線および出力信号線の結線図である。 本発明の第１実施形態に係る撮像素子２０における１画素の回路の一例を示す図である。 本発明の第１実施形態に係る撮像素子２０におけるＡＤ変換部の構成例を示す図である。 本発明の第１実施形態に係る撮像素子２０におけるＡＤ変換部の動作を示す図である。 本発明の第１実施形態に係る撮像素子の他の構成例を示すブロック図である。 本発明の第１実施形態に係る撮像素子の更に他の構成例を示すブロック図である。 本発明の第１実施形態に係る撮像制御部から出力される読み出し信号の信号波形を示す図である。 本発明の第１実施形態においてＲＢ成分の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。 本発明の第１実施形態においてＧ成分の読み出し信号が有効となる時点における画素アレイの動作イメージ図である。 本発明の第１実施形態に係る撮像制御部から出力される読み出し信号の、複数の水平画素配列に供給する信号波形を示す図である。 本発明に係るビニング部の構成の一例を示す回路図である。 本発明の第１実施形態に係る撮像素子の更に他の構成例を示すブロック図である。 従来例における配線の占める領域を示す図である。 本発明の第１実施形態における配線の占める領域を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明の第２実施形態に係る撮像素子の概略構成を示す斜視図である。 本発明の第２実施形態に係る撮像素子の画素アレイにおける読み出し信号線および出力信号線の結線図である。 本発明で採用し得る画素配列の他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 本発明で採用し得る画素配列の更に他の構成例を示す図である。 従来技術の単板撮像素子における読み出し信号線および出力信号線の結線図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本実施形態における撮像装置の構成例を示すブロック図である。

本実施形態の撮像装置は、図１に例示するように、撮像部１２０と、各種信号処理を行う信号処理部１３０と、撮像によって取得した画像を表示する表示部１４０と、画像のデータを記録する記録媒体１５０と、各部を制御するシステムコントローラ１６０とを備える。

本実施形態における撮像部１２０は、撮影レンズ１５と、撮影レンズ１５を透過した光を受け取る固体撮像素子（以下、単に「撮像素子」と称する）２０とを有している。本実施形態における撮像素子２０は、単板式のカラー撮像素子である。この撮像素子２０の構成および動作は、後に詳しく説明する。

撮影レンズ１５は、公知の構成を有しており、現実には複数のレンズから構成されたレンズユニットであり得る。撮影レンズ１５は、不図示の機構によって駆動され、光学ズーミング、オートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に必要な動作が実行される。

撮像素子２０から出力された信号は、信号処理部１３０に入力される。本実施形態における信号処理部１３０は、画像処理部３２、メモリ３４、およびインターフェース（ＩＦ）部３６を備えている。信号処理部１３０は、表示部１４０および記録媒体１５０に接続されている。

画像処理部３２は、フレームレートが色成分ごとに異なる画素信号を受け取り、特許文献１、特許文献２、および非特許文献１に開示された画像処理（時間的空間的な高解像度化処理）を実行する。画像処理部３２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像処理を実行するためのソフトウェアとの組合せによって好適に実現される。メモリ３４は、ＤＲＡＭなどによって構成される。このメモリ３４は、撮像部１２０から得られた画像データを記録するとともに、画像処理部３２によって各種の画像処理を受けた画像データや、画像処理の途中の画像データを一時的に記録する。画像データは、表示部１４０によって表示され、あるいは、インターフェース部３６を介して記録媒体１５０に記録される。画像データは、不図示の通信装置を介して、無線または有線で他の装置（不図示）に送信されてもよい。

上記の構成要素は、不図示の中央演算処理ユニット（ＣＰＵ）およびフラッシュメモリを含むシステムコントローラ１６０によって制御される。なお、本実施形態の撮像装置は、光学ファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。

本実施形態の撮像装置において、最も特徴的な構成を有する素子は、撮像素子２０である。以下、撮像素子２０の構成および動作を詳細に説明する。

次に、図２を参照する。図２は、本実施形態に係る撮像装置における撮像素子２０における画素配列の一例を示す図である。図２において、符号Ｒは、入射光のＲ（レッド）成分の強度を検出する画素、符号Ｂは、入射光のＢ（ブルー）成分の強度を検出する画素、符号ＧｒおよびＧｂは、入射光のＧ（グリーン）成分の強度を検出する画素である。なお、現実の画素の平面形状は、正方形である必要はなく、長方形、他の多角形、円形、または楕円形であってもよい。撮像素子２０では、Ｒ画素およびＧ画素が水平方向に交互に配置されている行（ＲＧ行）と、Ｇ画素およびＢ画素が水平方向に交互に配置されている行（ＢＧ行）が、垂直方向に交互に配置されている。以下、ＲＧ行におけるＧ画素をＧｒ画素、ＢＧ行におけるＧ画素をＧｂ画素と称する。現実の撮像素子２０では、多数の画素が行および列状に配列されているが、本実施形態では、２行×２列の隣接する４画素が基本ユニットを構成している。この基本ユニットが垂直方向および水平方向に周期的に配列されている。図２は、撮像面の一部のみを記載したものである。なお、本明細書で「垂直方向」とは、図２のＹ方向に平行な方向であり、「水平方向」とは図２に示す「Ｘ方向」に平行な方向である。

図３は、図２のＣ−Ｃ’線断面の例を模式的に示す図である。この例では、光電変換素子２４が形成された半導体層２５の光入射側面に配線層２７およびカラーフィルタアレイ２６が配置されている。図３の例における半導体層２５は、自立基板として機能する十分な厚さを有しているため、通常、「半導体基板」と称される。半導体基板の選択された領域に対して表面側から不純物イオンをドープすることにより、光電変換素子２４が形成されている。

なお、本発明は、後述するように、「裏面照射型」の固体撮像素子にも適用できる。図４は、裏面照射型に適用した場合における図２のＣ−Ｃ’線断面の例を模式的に示す図である。図４の例では、光電変換素子２４が形成された半導体層２５の裏面にカラーフィルタアレイ２６が配置され、半導体層２５の裏面側から光が入射する。半導体層２５の表面には配線層２７が配置され、半導体層２５を支持する基材２８が設けられている。裏面照射型では、半導体基板の選択された領域に対して表面側から不純物イオンをドープすることによって光電変換素子２４を形成した後、半導体基板の裏面から半導体基板の一部をエッチングする。こうして、半導体基板の表面側部分から半導体層２５を形成する。半導体層２５に形成された光電変換素子２４には、半導体層２５の裏面から照射した光が入射し得る。図４から明らかなように、裏面照射型の固体撮像素子では、配線層２７は入射光を遮らない。

図５は、本実施形態に係る撮像素子２０の構成例を示すブロック図である。

画素アレイ２０１は、同一シーンのカラー画像のＲ成分、Ｇ成分、Ｂ成分について、入射光の強度を電気信号に変換する光電変換機能を有する。本実施形態において、第１の色成分をＲ成分およびＢ成分に設定し、第２の色成分をＧ成分に設定する。

第１色成分ＡＤ変換部２０３は、画素アレイ２０１の出力に対して、アナログ−デジタル変換を行う。第１色成分ＨＳＲ（水平シフトレジスタ）２０５は、ラッチ部２０４を介してＡＤ変換部２０３の出力を受け取り、受け取った出力を水平転送し、第１色成分の画素信号を撮像素子外に出力する。

第２色成分ＡＤ変換部２０６は、撮像制御部２０９によって長時間の画素蓄積時間かつ低フレームレートで撮像された色成分の画素出力信号をアナログ−デジタル変換する。ここで、前記長時間の画素蓄積時間かつ低フレームレートで撮像される色成分は、前記第１色成分以外の色成分である。 第２色成分ＨＳＲ（水平シフトレジスタ）２０８は、ラッチ部２０７を介して第２色成分ＡＤ変換部２０６の出力を受け取り、受け取った出力を水平転送し、第２色成分の画素信号を撮像素子外に出力する。

ラッチ部２０４、２０７は、第１色成分ＡＤ変換部２０３および第２色成分ＡＤ変換部２０６から出力されるデジタル出力信号を、それぞれ、第１色成分ＨＳＲ２０５および第２色成分ＨＳＲ２０８に入力するタイミングを揃える。撮像制御部２０９は、画素アレイ２０１の動作を制御する。

以下に上記構成の動作を詳細に説明する。

画素アレイ２０１は、図２に示すように配列されたＲ画素、Ｂ画素、Ｇｒ画素、Ｇｂ画素を備えている。本実施形態における画素アレイは、各画素と信号線との接続の仕方が新規である。この点の詳細は、後述する。画素アレイ２０１は、２行×２列の隣接する４画素（Ｒ画素、Ｂ画素、Ｇｒ画素、Ｇｂ画素）の出力信号を、水平シフトレジスタ２０５および２０８を通して撮像素子２０外に４チャネル並列に出力することが可能である。

第１の色成分画像は、短時間露光、高フレームレートの撮像条件で撮像される。本実施形態における高フレームレートとは、例えば３０ｆｐｓ（フレーム毎秒）から６０ｆｐｓ程度までの範囲にある。また、本実施形態における「短時間露光」とは、最長でもフレームレートで決まる１フレームの上限（本実施形態の場合、３０分の１秒から６０分の１秒程度）以下の時間の露光である。

第２の色成分画像は、長時間露光、低フレームレートの撮像条件で撮像される。本実施形態における「低フレームレート」とは、第１の色成分についてのフレームレートの数分の１から２０分の１程度である。また、本実施形態における「長時間露光」とは、このフレームレートの値で決まる１フレームの時間を上限とし、かつ、上記の「短時間露光」の時間よりも長い露光である。

なお、上で述べた短時間露光、長時間露光、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、カラー画像の第１の色成分についての露光時間は、第２の色成分についての露光時間よりも短く、第１の色成分のフレームレートは第２の色成分のそれよりも高ければよく、上記に例示した数値の範囲に限定するものではない。

ＡＤ変換部２０３は、第１の色成分の画素出力信号について、アナログ信号からデジタル信号へと変換する。

ラッチ部２０４は、第１の色成分の出力デジタル信号を水平シフトレジスタ２０５から撮像素子外に出力するタイミングと、第２の色成分の出力デジタル信号を水平シフトレジスタ２０８から撮像素子外に出力するタイミングを揃えるために、ＡＤ変換部２０３の出力を一時的に保持する。

水平シフトレジスタ２０５は、ＡＤ変換部２０３によってデジタル信号に変換された第１の色成分の画素信号を、水平転送によって撮像素子外に出力する。

ＡＤ変換部２０６は、第２の色成分の画素出力信号を、アナログ信号からデジタル信号へと変換する。

ラッチ部２０７は、第２の色成分の出力デジタル信号を水平シフトレジスタ２０８から撮像素子外に出力するタイミングと、第１の色成分の出力デジタル信号を水平シフトレジスタ２０５から撮像素子外に出力するタイミングを揃えるために、ＡＤ変換部２０６の出力を一時的に保持する。

水平シフトレジスタ２０８は、ＡＤ変換部２０５によってデジタル信号に変換された第２の色成分の画素信号を、水平転送によって撮像素子外に出力する。

撮像制御部２０９は、画素アレイ２０１に対し、読み出し信号を出力する機能、およびＡＤ変換部２０３、２０６への入力信号の選択を行う制御信号を出力する。

図６は、画素アレイ２０１の詳細な構成を示す。

本実施形態の固体撮像素子は、図６に示すように、行および列状に配列された複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、・・・）と、各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線３０１、３０２と、各々が、列方向に配列された複数の画素に接続された複数の出力信号線３０３、３０４とを備えている。複数の画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ、・・・）にそれぞれ入射する光の色成分は、カラーフィルタアレイ（図３、図４において参照符号「２６」によって示されている）によって調節されている。

読み出し信号線３０１、３０２は、第１の色成分（Ｒ、Ｂ）の光が入射する画素の群に接続された複数の第１読み出し信号線３０１と、第１の色成分以外の色成分（Ｇ）の光が入射する画素の群に接続された複数の第２読み出し信号線３０２とに分かれている。図６に示す例では、第１読み出し信号線３０１に接続され、第１の色成分（Ｒ、Ｂ）の光が入射する複数の画素（Ｒ、Ｂ、Ｒ、Ｂ、・・・）のうち、隣接する２つの列にそれぞれ属する２つの画素（Ｒ、Ｂ）は、第１読み出し信号線３０１に関して反対の側にそれぞれ配置されている。言い換えると、上記の２つの画素（Ｒ、Ｂ）は、相互に異なる行に属している。また、第２読み出し信号線３０２に接続され、第２の色成分（Ｇ）の光が入射する複数の画素（Ｇｒ、Ｇｂ、Ｇｒ、Ｇｂ、・・・）のうち、隣接する２つの列にそれぞれ属する２つの画素（Ｇｒ、Ｇｂ）は、第２読み出し信号線３０２に関して反対の側にそれぞれ配置されている。この場合も、隣接する２つの画素（Ｇｒ、Ｇｂ）は、相互に異なる行に属している。

同図に示すように、読み出し信号線３０１は、Ｒ画素およびＢ画素で共有されており、読み出し信号線３０２は、Ｇｒ画素およびＧｂ画素で共有されている。また、出力信号線３０３は、Ｒ画素とＧｂ画素で共有されている。出力信号線３０４は、Ｂ画素とＧｒ画素で共有されている。読み出し信号線３０１は、ＲおよびＢ画素の読み出し信号を伝達する。読み出し信号線３０２は、ＧｒおよびＧｂ画素の読み出し信号を伝達する。

また、出力信号線３０３は、ＲおよびＧｂ画素の画素出力信号を伝達する。出力信号線３０４は、ＢおよびＧｒ画素の画素出力信号を伝達する。より詳細には、Ｒ画素の出力信号は出力信号線３０３を通して、同図中、上向きに出力される。同様に、Ｂ画素の出力信号は出力信号線３０４を通して同図中上向きに出力される。Ｇｒ画素の出力信号は、出力信号線３０４を通して同図中下向きに出力され、ＡＤ変換部２０６に入力される。同様に、Ｇｂ画素の出力は、出力信号線３０３を通して同図中下向きに出力され、ＡＤ変換部２０６に入力される。ＡＤ変換部２０６は、Ｇｒ画素のＡＤ変換部とＧｂ画素のＡＤ変換部により構成される。

読み出し信号および画素出力信号について、図７を参照しながら説明する。図７は画素の回路図の一例を示す。フォトダイオード４０１は、入射光の強度を電気信号に変換する。スイッチ４０２は、フォトダイオード４０１の光電変換によって得られた電気信号を出力信号線へ出力する。スイッチ４０３は、画素のリセットを行う。アナログバッファ４０４は、画素出力信号を受ける。入力端子４０５は、前記読み出し信号の入力端子である。４０６は前記出力信号の出力端子である。同図中、画素バイアス信号はスイッチ４０３およびアナログバッファ４０４のドレインに入力され、画素リセット信号はスイッチ４０３のゲートに入力される。前記読み出し信号は、スイッチ４０２のゲートの入力となり、前記画素出力信号は、アナログバッファ４０４の出力となる。つまり、前記読み出し信号とは、フォトダイオード４０１の光電変換によって得られた電気信号を出力信号線に出力するタイミングを規定する信号である。前記画素出力信号とは、フォトダイオード４０１における光電変換によって得られた電気信号である。

ＡＤ変換部２０３および２０６は、例えば、図８Ａに示すような、ランプ波生成器５０１、比較器５０２およびカウンタ５０３からなる構成を採用することができる。図８Ｂに示すように、ランプ波生成器５０１より生成されたランプ波と画素出力信号を比較し、ランプ波が画素出力信号より小さい期間、カウンタ５０３を駆動する。ランプ波が画素出力信号を上回った時点でカウンタを停止し、画素出力信号のデジタル値を該カウンタの出力として得る。

なお、図５においてはＡＤ変換部２０３および２０６を撮像素子２０の内部に配置しているが、ＡＤ変換部２０３および２０６を撮像素子２０の外部に配置し、撮像素子２０からはアナログの画素信号を出力する構成にしてもよい。図９は、第１色成分ＡＤ変換部２０３および第２色成分ＡＤ変換部２０６が撮像素子２０の外部に存在する構成例を示すブロック図である。この例の撮像素子からは、アナログ信号が出力される。

図５および図９に示す例では、画素アレイ２０１からＲ画像およびＢ画像を読み出すレートを、画素アレイ２０１からＧ画像を読み出すレートよりも高めることができる。本実施形態によれば、低フレームレートで撮像することにより十分な光量を得てＳ／Ｎが高いＧ画像を取得できる。また、ビニング処理により、高フレームレートで撮像するＲ画像及びＢ画像の光量も増加することができる。具体的には、隣接するＲ画素同士、及びＢ画素同士を加算することで、Ｒ画像及びＢ画像のフレームレートを低下させることなく、該色成分画像の光量を増加することができる。その結果、例えば特許文献１及び２に記載の画像処理方式の入力として、Ｒ、Ｇ、Ｂの全色成分のＳ／Ｎが高い画像を用いることが可能となる。これらの入力画像から再構成される高解像度かつ高フレームレートのカラー動画像は、さらに光量の確保された、よりＳ／Ｎの高い動画像とすることができる。

なお、図６に示すように、本実施形態における画素配列はベイヤー型であるため、撮像面内におけるＧ画素の空間密度は、Ｒ画素またはＢ画素の空間密度の２倍である。本実施形態では、空間解像度が充分に高いＧ画像を取得できるため、Ｒ画像およびＢ画像の空間解像度については、Ｇ画像の空間解像度の半分よりも更に小さくてもよい。したがって、光量増加のため、個々のＲ画素から読み出される画素信号を加算すること（ビニング処理）により、Ｒ画像の空間解像度を更に低くしてもよい。同様に、個々のＢ画素から読み出される画素信号を加算することにより、Ｂ画像の空間解像度を更に低くしてもよい。

図１０は、このようなビニングを行うための第１色成分ビニング部２０２を備える固体撮像素子の構成例を示すブロック図である。図１０に示す例では、第１色成分ビニング部２０２が画素アレイ２０１と第１色成分ＡＤ変換部２０３との間に設けられている。第１色成分ビニング部２０２は、画素アレイ２０１から読み出された第１の色成分の画素出力信号に対してビニングを行う。この場合、第１色成分ＡＤ変換部２０３は、第１色成分ビニング部２０２の出力に対して、アナログ−デジタル変換を行うことになる。画像データの総量を低減するため、Ｒ画像およびＢ画像の空間解像度をＧ画像の空間解像度の１／４以下に設定することが好ましい。好ましい実施形態では、図１０に示す構成を採用し、ビニングにより、Ｒ画像およびＢ画像の空間解像度を更に低下させる。

次に、撮像制御部２０９の動作を説明する。

図１１は、撮像制御部２０９から画素アレイ２０１に出力する読み出し信号の波形を示す。ＴＲＡＮＲＢは読み出し信号線３０１に与えるＲ画素およびまたはＢ画素出力の読み出し信号であり、ＴＲＡＮＧは読み出し信号線３０２に与えるＧｒ画素およびＧｂ画素出力の読み出し信号である。図１１には、ある１つの画素に与えられる読み出し信号の波形が示されている。Ｒ成分およびＢ成分のフレームレートおよび露光時間は、それぞれ、Ｇ成分の4倍および１／４である。言い換えると、Ｇ成分の読み出し信号ＴＲＡＮＧは、ＴＲＡＮＲＢが４度Ｈレベルになるたびに１度Ｈレベルとなる。フレームレートおよび露光時間は、この値に制限されるものではない。なお、フレームレートと露光時間との間には、ほぼ逆数の関係がある。すなわち、フレームレートが３０ｆｐｓ（フレーム毎秒）であれば、１フレームの時間は１／３０秒であるため、露光時間は１／３０秒程度である。

図１１に示す例では、ＴＲＡＮＲＢおよびＴＲＡＮＧがともにＨレベルとなるフレームにおいて、ＴＲＡＮＧはＴＲＡＮＲＢよりも６μｓ遅れてＨレベルとなっている。ＴＲＡＮＧがＨレベルになるタイミングとＴＲＡＮＲＢがＨレベルになるタイミングとの間の時間差は、この値に制限されるものでない。この時間差は、例えばＴＲＡＮＲＢがＨレベルになることによりＲ画素およびＢ画素の出力が出力信号線３０３および３０４に出力され、図５の第１色成分ＡＤ変換部２０３または図１０のビニング部２０２に到達するまでの所要時間に相当する時間に設定することができる。ＴＲＡＮＲＢおよびＴＲＡＮＧがＨレベルとなるタイミングの時間差は、前記Ｒ画素およびＢ画素の出力が図５の第１色成分ＡＤ変換部２０３または図１０のビニング部２０２に到達するまでの所要時間を下限とし、Ｒ成分およびＢ成分の１フレームの露出時間を上限とする範囲内で、任意の値に設定することができる。また、図１１の例では、読み出し信号はＴＲＡＮＲＢがＴＲＡＮＧよりも先にＨレベルとなっているが、ＴＲＡＮＧがＴＲＡＮＲＢよりも先にＨレベルになってもかまわない。

読み出し信号ＴＲＡＮＲＢおよびＴＲＡＮＧがともにＨレベルとなるフレームにおける画素アレイ２０１の動作について、図１２および図１３を参照しながら説明する。なお、以下の説明では、図１０に示す構成を備える固体撮像素子を例にとる。

図１２は、ＴＲＡＮＲＢがＨレベルとなったときの、撮像制御部２０９および画素アレイ２０１を示す。ＴＲＡＮＲＢがＨレベルとなると、同図中実線で示した読み出し信号線３０１を伝達する信号がＨレベルとなる。このとき、出力信号線３０３にはＲ画素の画素出力信号が、出力信号線３０４にはＢ画素の画素出力信号が伝達される。さらに、このとき撮像制御部２０９によってビニング部２０２に通じるスイッチ７０３および７０４をＯＮの状態にする。その結果、Ｒ画素およびＢ画素の画素出力信号が、それぞれ、ビニング部２０２内のＲ画素ビニング部７０１およびＢ画素ビニング部７０２に伝達される。

その後、例えば直前のＴＲＡＮＲＢによる読み出しが対象となるすべてのＲ画素およびＢ画素で完了した後に（図１１の例では６μｓ後）、ＴＲＡＮＧがＨレベルとなる。このときの画素アレイ２０１を図１３に示す。このとき、出力信号線３０３にはＧｂ画素の画素出力信号が、出力信号線３０４にはＧｒ画素の画素出力信号が伝達される。さらに、撮像制御部２０９によってＧｒおよびＧｂ画素のＡＤ変換部２０６に通じるスイッチ７０７および７０８をＯＮ状態にする。その結果、Ｇｒ画素およびＧｂ画素の画素出力信号がＡＤ変換部２０６内のＧｒ画素ＡＤ変換部７０５およびＧｂ画素ＡＤ変換部７０６に伝達される。

このような構成を採用することで、複数の画素で前記出力信号線を共有させた場合にも、画素同士で出力信号が混じり合うことなしに各画素の画素出力信号を取得することができる。より具体的には、画素数に対する信号線本数の割合を従来例よりも少なくしながら、複数の行にまたがって配置されたＧｂ画素およびＧｒ画素の出力信号を並列に読み出すことができる。また、同様に、複数の行にまたがって配置されたＲ画素およびＢ画素の出力信号を並列に読み出すこともできる。

なお、図１２および図１３に示す例で、Ｂ画素ビニング部７０１およびＲ画素ビニング部７０２を含むビニング部７０１が画素アレイ２０１の上側に配置され、Ｇｒ画素ＡＤ変換部７０５およびＧｂ画素ＡＤ変換部７０６を含むＡＤ変換部２０６が画素アレイ２０１の下側に配置されているが、本発明の撮像素子は、この配置例に限定されない。例えば、ビニング部２０２を画素アレイ２０１の下側に配置し、ＡＤ変換部２０６を画素アレイ２０１の上側に配置してもよい。また、ビニング部２０２およびＡＤ変換部２０６を画素アレイの左右に配置してもよい。

本実施形態では、画素アレイ２０１から第１の色成分（Ｒ、Ｂ）の画素信号と第２の色成分（Ｇ）の画素信号とを別々の回路部分によって読み出している。したがって、１つの画素アレイ２０１から第１の色成分の画素信号を読み出す回路部分を「第１の読み出し部」、その画素アレイ２０１から第２の色成分の画素信号を読み出す回路部分を「第２の読み出し部」と称することができる。図１０に示す例において、「第１の読み出し部」の最小構成要素は、第１色成分ビニング部２０２および第１色成分ＡＤ変換部２０３である。一方、「第２の読み出し部」の最小構成要素は、第２色成分ＡＤ変換部２０６である。なお、「第１の読み出し部」にラッチ部２０４、第１色成分ＨＳＲ（水平シフトレジスタ）２０５、および他の付加的構成要素を含めても良い。同様に、「第２の読み出し部」に、ラッチ部２０４、第２色成分ＨＳＲ（水平シフトレジスタ）２０８、および他の付加的構成要素を含めても良い。

ラッチ部２０４および２０７は、第１の読み出し部によって得られた色成分の画素出力デジタル信号を水平シフトレジスタ２０５から撮像素子外に出力するタイミングと、第２の読み出し部によって得られた色成分の画素出力デジタル信号を水平シフトレジスタ２０８から撮像素子外に出力するタイミングとを揃える。上記のように、読み出し信号のタイミングがＲ、Ｂ成分とＧ成分とで異なる構成では、ＲおよびＢ成分の画素出力信号が画素アレイ２０１からビニング部２０２に到達する時刻と、Ｇ成分の画素出力信号（ＧｒおよびＧｂ）が画素アレイ２０１からＡＤ変換部２０６に到達する時刻にずれが発生する。しかし、色成分ごとの画素信号出力のタイミングは、水平シフトレジスタ２０５および２０８から撮像素子２０外に出力される時点で揃えられていればよく、撮像素子内部の画素出力信号の流れのタイミングは任意でかまわない。ラッチ部２０４および２０７によって、撮像素子２０外に各色成分の画素出力信号が出力される前に該画素出力信号のタイミングを揃える構成を採用することで、撮像素子２０外に出力される画素出力信号は、色成分ごとにずれは発生しない。

なお、図５、図９、図１０に示す例では、ラッチ部２０４および２０７を、それぞれ、ＡＤ変換部２０３および２０６の後段に配置し、画素出力信号がデジタル信号に変換された時点でタイミング調整を行っている。しかし、ラッチ部２０４および２０７を配置する場所は、これに限定されるものではない。例えばＡＤ変換部２０３および２０６の直前に配置し、ラッチ部２０４および２０７がアナログ信号を保持するように構成されていても良い。この場合は、例えば、ＡＤ変換部２０３および２０６の入力端にコンデンサを付加し、第１の読み出し部によって得られる色成分の画素出力信号のビニング出力と、第２の読み出し部によって得られる色成分の画素出力信号の双方が該コンデンサに保持された時点で、前記ＡＤ変換部に入力するという構成とすればよい。

次に、図１４を参照しながら、ビニング部２０２の動作を説明する。図１４は、隣接２×２画素の加算を行うとしたときの、撮像制御部２０９から出力される読み出し信号の波形の一例を示す。いま、Ｒ画素を例にとり、垂直方向にｎ行目の行とｎ＋２行目の行におけるＲ画素を加算し、ｎ＋４行目の行とｎ＋６行目の行におけるＲ画素を加算し、以下隣接２行のＲ画素の加算を行うとする。本実施形態の画素アレイ２０１では、図６に示すように、Ｒ画素は１行おきに配置されているため、ｎ行目のＲ画素に隣接するＲ画素は、ｎ＋２行目に配置されている。図１４は、Ｒ画素の読み出し信号を示している。同図中のＴＲＡＮＲＢｎはｎ行目、ＴＲＡＮＲＢｎ＋２はｎ＋２行目、ＴＲＡＮＲＢｎ＋４はｎ＋４行目、ＴＲＡＮＲＢｎ＋６はｎ＋６行目のＲ画素に与える読み出し信号である。また、同図中の１Ｈと表記している期間は、１水平走査期間に相当する。同図に示すように、ＴＲＡＮＲＢｎとＴＲＡＮＲＢｎ＋２が同時にＨレベルとなり、ＴＲＡＮＲＢｎ＋４とＴＲＡＮＲＢｎ＋６が同時にＨレベルとなっている。このように隣接２行分の読み出し信号を同時に２本の読み出し信号線３０１（図６）に印加することで、出力信号線３０３（図６）上で垂直方向の画素加算を行う。なお、Ｇ画素はすべての行に配置されているため、図１４の下側に示すようにすべての行に１水平走査期間Ｈの間隔で読み出し信号が供給される。

図１５は、同一の行（ＲＢ行）に属するｍ列目とｍ＋２列目のＲ画素の加算、ｍ＋４列目とｍ＋６列目のＲ画素の加算を行うの構成を図１５に示す。図１５には図示されていないが、このビニング部２０２は、同一の行（ＲＢ行）に属する他のＲ画素のうち、隣接する２つのＲ画素についても、同様の構成を有している。

前記垂直方向の画素加算と同様、Ｒ画素は水平方向に１画素おきに配置されているため、画素ビニング部２０２においてｍ列目とｍ＋２列目のＲ画素の信号が加算され、ｍ＋４列目とｍ＋６列目のＲ画素の信号が加算される。図１５において、Ｒｍはｍ列目、Ｒｍ＋２はｍ＋２列目、Ｒｍ＋４はｍ＋４列目、Ｒｍ＋６はｍ＋６列目のＲ画素の画素出力信号である。ＲｍおよびＲｍ＋２についてはその双方をコンデンサ１００１に充電し、Ｒｍ＋４およびＲｍ＋６についてはその双方をコンデンサ１００２に充電することによって、水平方向の隣接画素の加算を行う。Ｂ画素についても、同様に加算を行うことができる。

なお、ビニング部２０２は、図１０に示すように、ＡＤ変換部２０３の前段に配置してもよいし、ＡＤ変換部２０３の後段に配置してもよい。ビニング部２０２がＡＤ変換部２０３の前段に配置される場合、ビニングを行ってからＡＤ変換が行われる。一方、ビニング部２０２をＡＤ変換部２０３の後段に配置する場合は、ＡＤ変換後のデジタル信号を加算することによってビニングが実行される。また、ビニング部２０２は、図１０に示すように撮像素子２０の中に配置され、撮像素子２０の内部でビニング動作を行ってもよいし、撮像素子２０の外に配置され、外部でビニング動作を行う構成にしてもよい。

なお、撮像制御部２０９は、図５〜２Ｃに示すように撮像素子２０内に設置し、撮像素子２０の内部で前記読み出し信号および前記スイッチの制御信号を発生する構成としてもよいし、図１６に示すように、撮像素子２０の外に配置してもよい。撮像制御部２０９が撮像素子の外に配置される場合、撮像制御部２０９は、撮像素子２０の外部より前記読み出し信号および前記スイッチの制御信号を与える。

なお、本実施形態に係る構成において、画素上にオンチップマイクロレンズを配置し、さらに集光能力を高める構成としてもよい。

図１７Ａおよび図１７Ｂを参照しながら、本実施形態によって得られる効果を説明する。

図１７Ａは従来の構成を示す図であり、図１７Ｂが本実施形態の構成を示す図である。同図中の太破線で示しているのが画素の開口部である。従来の構成に比べ、本実施形態の構成によれば、開口部の面積を大きくすることができる。例えば、従来技術における開口部のサイズが２．５μｍ×２．５μｍ、読み出し信号線幅が０．２３μｍ、出力信号線幅が０．２６μｍである場合、図１７Ｂの構成を採用することにより、画素の開口面積を約２１％向上させることができる。

図１８は、本実施形態における他の画素配列を示す図である。この画素配列では、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、およびＧの色成分について、撮像を行うことができる。この場合は、例えば、図６におけるＲ画素の位置にＹ画素、Ｂ画素の位置にＣ画素、Ｇｒ画素の位置にＭ画素、Ｇｂ画素の位置にＧ画素が配置され得る。このような配置例を採用することにより、Ｙ成分およびＣ成分の画像を相対的に高いフレームレート（短い露出時間）で取得し、Ｍ成分およびＧ成分の画像を相対的に低いフレームレート（長い露出時間）で撮像することが可能となる。この例では、第１の色成分がＹおよびＣであり、第２の色成分がＭおよびＧである。

なお、本実施形態において、第１の読み出し部によって画素出力信号を取得する色成分をＲ成分およびＢ成分とし、第２の読み出し部によって画素出力信号を取得する色成分をＧ成分としているが、本発明に係る撮像装置は、このような振り分け方に限定されるものではない。また、画素アレイ２０１における画素配列を、水平方向にＲ画素とＧ画素、およびＢ画素とＧ画素を交互に配置する構成としているが、この配置に限定されるものではない。 本実施形態に係る構成を採用することにより、色成分ごとにフレームレートが異なり、かつ複数の行あるいは列にまたがる複数の画素の出力信号を並列に出力する撮像方式のカラー単板撮像素子を有する撮像装置において、画素が微細化した場合でも画素の開口面積を確保し、撮影感度を向上させることができる。

（実施の形態２）
次に、本発明による撮像素子の第２の実施形態を説明する。

本発明に係る撮像素子は、配線層が受光面の反対側に配置された裏面照射型撮像素子（例えば図４に示す素子）に対しても適用可能である。本実施形態は、前述した画素と信号線との接続を裏面照射型撮像素子に適用した実施形態である。

図１９は、本実施形態の撮像素子における画素の基本構成と信号線との関係を模式的に示す斜視図である。図２０は、この実施形態における画素と信号線との接続関係を示す図である。

図１９に示すように、画素１２０１の光入射面（撮像素子の裏面）には、信号線が設けられておらず、各画素の開口率が高められている。光入射面の反対側の面（配線面）には、Ｒ画素およびＢ画素に読み出し信号を供給する読み出し信号線１２０２と、Ｇｒ画素およびＧｂ画素に読み出し信号を供給する読み出し信号線１２０３とが配列されている。同様に、配線面には、Ｒ画素およびＧｂ画素の画素出力信号を伝達する出力信号線１２０４と、Ｂ画素およびＧｒ画素の画素出力信号を伝達する出力信号線１２０５とが配列されている。

図２０に示すように、本実施形態における各画素と信号線との接続は、図６を参照しながら説明した前述の実施形態における各画素と信号線との接続と同一である。また、本実施形態において、各画素への読み出し信号の供給方法、および該画素からの出力信号の取得方法は、実施形態１とまったく同様にして行うことができる。すなわち、読み出し信号線１２０２は、ともに第１の読み出し部によって撮像を行うＲ画素およびＢ画素で共有しており、読み出し信号線１２０３は、ともに第２の読み出し部によって撮像を行うＧｒ画素およびＧｂ画素で共有している。また、出力信号線１２０４は、第１の読み出し部によって撮像を行うＲ画素と第２の読み出し部によって撮像を行うＧｂ画素で共有しており、出力信号線１２０５は、第１の読み出し部によって撮像を行うＢ画素と第２の読み出し部によって撮像を行うＧｒ画素で共有している。

読み出し信号線１２０２に与える読み出し信号と、読み出し信号線１２０３に与える読み出し信号について、前記第１および第２の読み出し部によって出力を取得する画素の双方から画素出力信号を取得するフレームにおいては、例えば図１１の例のように、前記読み出し信号のタイミングを６μｓずらす。同時に、それぞれの読み出し信号に合わせ、第１の読み出し部によって出力信号を取得する画素のビニング部、および第２の読み出し部によって出力信号を取得する画素の出力信号のＡＤ変換部へ通じるスイッチを切り替える。

本実施形態によれば、読み出し信号線１２０２、１２０３が各画素行について１本の読み出し信号線１２０２または１２０３が設けられ、また、各画素列について１本の画素出力信号線１２０４または１２０５が設けられる。このため、各信号線１２０１〜１２０５の線幅を従来よりも広くすることができるため、各信号線１２０１〜１２０５の配線抵抗を低減することが可能となる。

（実施の形態３）
次に、図２１Ａから図２１Ｄを参照して、本発明による撮像素子の第３の実施形態を説明する。

本実施形態が前述の各実施形態と異なる点は、画素アレイ２０１の画素配列にある。それ以外の点では、本実施形態も前述の実施形態の構成と同様の構成を備えている。

図１４Ａの例では、実施形態１における画素アレイ２０１のカラーフィルタ配列（図６）のＢ画素の位置にＧＳ画素を配置し、Ｒ画素の位置にＲ画素およびＢ画素を交互に配置している。また、Ｇｒ画素およびＧｂ画素の位置には、ＧＬ画素を配置している。

ここで、ＧＳ画素とは、Ｇ画素のうち、第１の色成分のフレームレートで画素信号を取得するＧ画素である。一方、ＧＬ画素とは、第１の色成分のフレームレートよりも低いフレームレートで画素出力信号を取得するＧ画素である。図６の構成では、すべてのＧ画素を第２の読み出し部、すなわち露出時間の長い撮像方式によって撮像するが、図１４Ａに示す構成では、一部のＧ画素を第１の読み出し部、すなわち露出時間の短い撮像方式によって撮像する。

図２１Ｂ、図２１Ｃ、図２１Ｄは、ＧＬ画素およびＧＳ画素を画素アレイ上に配置する別の構成の例を示す。同図において、１４０１および１４０２は読み出し信号線であり、１４０３および１４０４は出力信号線である。図２１Ａから図２１Ｄのすべての場合において、実施形態１と同様に、読み出し信号線は互いに同一のフレームレートで読み出される画素同士が共有し、出力信号線は互いに異なるフレームレートで読み出される画素同士が共有している。

露出時間の長いＧ画素および露出時間の短いＧ画素を画素アレイ上に混在させて撮像する場合においても、前記実施形態１と同様に、各画素の開口面積を拡大し、撮影感度を向上することができる。なお、露出時間の長いＧ画素と露出時間の短いＧ画素を混在させることにより、カラー動画像の高解像度・高フレームレート化処理に係る長時間露出のＧ成分画像のぶれ除去処理について、短時間露出のＲ成分、Ｂ成分に加え同色のＧ成分画像の情報を用いることが可能となり、高解像度・高フレームレート化処理の性能を向上することができる。

上記の各実施形態では、画素行および画素列は、いずれも直線状に延びているが、画素行および画素列の一方がジグザグに蛇行していても良い。

図２２および図２３は、それぞれ、画素行および画素列がジグザグに蛇行していている画素アレイの配置例を示している。図２２の例では、隣接する画素列で画素の位置が画素ピッチの半分だけ垂直方向にシフトしている。一方、図２３の例では、隣接する画素行で画素の位置が画素ピッチの半分だけ水平方向にシフトしている。このように、画素の行および列の一方がジグザグ状に蛇行している場合も、画素は行および列状に配列されているものとする。

図２２および図２３に示す例でも、各画素と信号線との接続は図６を参照して説明した実施形態１における接続と同様である。したがって、前述した実施形態と同様の効果を得ることができる。

図２４は、第１読み出し信号線３０１および第２読み出し信号線３０２が屈曲した画素アレイの他の配置例を示している。この例では、第１読み出し信号線３０１に接続された画素（Ｒ、Ｂ）が、第１読み出し信号線３０１に関して同じ側（図２４の例では、図面の上側）に配置されている。同様に、第２読み出し信号線３０２に接続された画素（Ｇｒ、Ｇｂ）も、第２読み出し信号線３０２に関して同じ側（図２４の例では、図面の上側）に配置されている。このような配線パターンは、図６に示す配線パターンと異なっているが、各読み出し信号線３０１、３０２に接続されている２つの隣接画素がそれぞれ異なる行に属している点では、実施形態１と同様である。

上記の各実施形態における固体撮像素子を備える装置（例えば撮像装置）の好適な例は、図１に示すようシステムコントローラ１６０の内部または外部にマイクロコンピュータを内蔵し、コンピュータプログラムにしたがって、色成分ごとに異なるフレームレットで読み出し動作を実行することができる。すなわち、例えば図３に示す複数の第１読み出し信号線３０１に第１のフレームレートで読み出し信号を与えることにより、出力信号線３０３、３０４を介して、第１の色成分（例えばＲ、Ｂ）の画像データを出力させるステップと、複数の第２読み出し信号線３０２に第１のフレームレートよりも低い第２のフレームレートで読み出し信号を与えることにより、出力信号線３０３、３０４を介して、第２の色成分（例えばＧ）の画像データを出力させるステップとを実行する。このようなコンピュータプログラムは、半導体記憶装置などからなる記録媒体に記録され得る。

本発明は、カラー動画像を撮像する撮像装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置等として利用できる。また、前記撮像装置における撮像制御動作を記述するコンピュータプログラムとしても実現することが可能である。

１５・・・撮影レンズ
２０・・・単板撮像素子
２４・・・光電変換素子
２５・・・半導体層
２６・・・カラーフィルタアレイ
２７・・・配線層
２８・・・支持基板
３２・・・画像処理部
３４・・・メモリ
３３・・・インターフェース部
１２０・・・撮像部
１３０・・・信号処理部
１４０・・・表示部
１５０・・・記録媒体
１６０・・・システムコントローラ
２０１・・・画素アレイ
２０２・・・第１色成分ビニング部
２０４・・・ラッチ部
２０６・・・第２色成分ＡＤ変換部
２０７・・・ラッチ部
２０９・・・撮像制御部
３０１・・・Ｒ、Ｂ画素の読み出し信号線
３０２・・・Ｇｒ、Ｇｂ画素の読み出し信号線
３０３・・・Ｒ、Ｇｂ画素の出力信号線
３０４・・・Ｂ、Ｇｒ画素の出力信号線
７０３・・・Ｒ画素ビニング部へと通じるスイッチ
７０４・・・Ｂ画素ビニング部へと通じるスイッチ
７０７・・・Ｇｂ画素ＡＤ変換部へと通じるスイッチ
７０８・・・Ｇｒ画素ＡＤ変換部へと通じるスイッチ

Claims (17)

1. 行および列状に配列された複数の画素を有する画素アレイと、
   各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、
   各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、
   前記複数の画素にそれぞれ入射する光のレッド、ブルー、グリーンの色成分を規定するカラーフィルタアレイと、
   前記画素アレイから、第１のフレームレートと前記第１のフレームレートよりも低い第２のフレームレートとで画素信号を読み出す機能を有する周辺回路と、
   を備える固体撮像素子であって、
   前記複数の読み出し信号線は、
   前記第１のフレームレートで画素信号が読み出される画素の群に接続された複数の第１読み出し信号線と、前記第２のフレームレートで画素信号が読み出される画素の群に接続された複数の第２読み出し信号線とに分かれており、
   各第１読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第１読み出し信号線に関して反対の側にそれぞれ配置され、
   各第２読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第２読み出し信号線に関して反対の側にそれぞれ配置され、
   レッド及びブルーの色成分の光が入射する複数の画素は前記第１読み出し信号線に接続され、グリーンの色成分の光が入射する複数の画素は前記第１読み出し信号線と前記第２読み出し信号線とに接続される、
   固体撮像素子。
2. 前記複数の第１読み出し信号線と前記複数の第２読み出し信号線とは交互に配列されている、請求項１に記載の固体撮像素子。
3. 各第２読み出し信号線には、前記レッド及びブルーの色成分の光が入射する画素が接続されていない、請求項１または２に記載の固体撮像素子。
4. 各第１読み出し信号線には、前記レッド、ブルー、グリーンの色成分の光が入射する画素が接続されている、請求項１から３のいずれかに記載の固体撮像素子。
5. 行および列状に配列された複数の画素を有する画素アレイと、
   各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、
   各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、
   前記複数の画素にそれぞれ入射する光のイエロー、シアン、グリーン、マゼンダの色成分を規定するカラーフィルタアレイと、
   前記画素アレイから、第１のフレームレートと前記第１のフレームレートよりも低い第２のフレームレートとで画素信号を読み出す機能を有する周辺回路と、
   を備える固体撮像素子であって、
   前記複数の読み出し信号線は、
   前記第１のフレームレートで画素信号が読み出される画素の群に接続された複数の第１読み出し信号線と、前記第２のフレームレートで画素信号が読み出される画素の群に接続された複数の第２読み出し信号線とに分かれており、
   各第１読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第１読み出し信号線に関して反対の側にそれぞれ配置され、
   各第２読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、前記第２読み出し信号線に関して反対の側にそれぞれ配置され、
   イエロー及びシアンの色成分の光が入射する複数の画素は前記第１読み出し信号線に接続され、グリーン及びマゼンダの色成分の光が入射する複数の画素は前記第１読み出し信号線と前記第２読み出し信号線とに接続される、
   固体撮像素子。
6. 隣接する２つの画素行の間において、または隣接する２つの画素列の間において、画素の配列が画素ピッチの半分だけシフトしている請求項１から５のいずれかに記載の固体撮像素子。
7. 前記周辺回路によって前記第２のフレームレートで画素信号を読み出すタイミングは、同一フレーム内において前記第１のフレームレートで画素信号を読み出すタイミングに対して時間的にシフトしている、請求項１に記載の固体撮像素子。
8. 前記周辺回路は、
   前記複数の第１読み出し信号線を駆動することによって前記第１のフレームレートで画像信号を読み出し、第１色成分信号を出力する第１の読み出し回路と、
   前記複数の第２読み出し信号線を駆動することによって前記第２のフレームレートで画像信号を読み出し、第２色成分信号を出力する第２の読み出し回路とを含む、請求項７に記載の固体撮像素子。
9. 前記第１の読み出し回路は、前記画素アレイから出力される画素信号に対してビニング処理を行うビニング回路を有している、請求項８に記載の固体撮像素子。
10. 前記複数の読み出し信号線、前記複数の出力信号線、および前記カラーフィルタアレイは、前記画素アレイが形成された半導体層の表面に配置されており、前記半導体層の表面側から光を前記画素アレイに入射する、請求項１から９のいずれかに記載の固体撮像素子。
11. 前記複数の読み出し信号線および前記複数の出力信号線は、前記画素アレイが形成された半導体層の表面に配置されており、
    前記カラーフィルタアレイは、前記半導体層の裏面に配置されており、
    前記半導体層の裏面側から光を前記画素アレイに入射する、請求項１から１０のいずれかに記載の固体撮像素子。
12. 行および列状に配列された複数の画素を有する画素アレイと、
    各々が、行方向に配列された複数の画素に接続された複数の読み出し信号線と、
    各々が、列方向に配列された複数の画素に接続された複数の出力信号線と、
    前記複数の画素にそれぞれ入射する光のレッド、ブルー、グリーンの色成分を規定するカラーフィルタアレイと、
    前記画素アレイから、第１のフレームレートと前記第１のフレームレートよりも低い第２のフレームレートで画素信号を読み出す機能を有する周辺回路と、
    を備える固体撮像素子であって、
    前記複数の読み出し信号線は、
    前記第１のフレームレートで画素信号が読み出される画素の群に接続された複数の第１読み出し信号線と、前記第２のフレームレートで画素信号が読み出される画素の群に接続された複数の第２読み出し信号線とに分かれており、
    各第１読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、相互に異なる行に属しており、
    各第２読み出し信号線に接続された複数の画素のうち、隣接する２つの列にそれぞれ属する２つの画素は、相互に異なる行に属しており、
    レッド及びブルーの色成分の光が入射する複数の画素は前記第１読み出し信号線に接続され、グリーンの色成分の光が入射する複数の画素は前記第１読み出し信号線と前記第２読み出し信号線とに接続される、
    固体撮像素子。
13. 請求項１から１２のいずれかに記載の固体撮像素子と、
    前記固体撮像素子の前記画素アレイ上に結像を行う光学系と、
    前記固体撮像素子から出力される信号を処理する信号処理部と、
    を備える撮像装置。
14. 前記信号処理部は、前記第１読み出し信号線から読み出される信号と、前記第２読み出し信号線から読み出される信号とに基づいて、カラー動画像を合成する画像処理部を有している請求項１３に記載の撮像装置。
15. 請求項１から４のいずれかに記載の固体撮像素子を駆動する撮像素子の駆動方法であって、
    前記複数の第１読み出し信号線に第１のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記レッド及びブルーの色成分の画像データを取得するステップと、
    前記複数の第２読み出し信号線に前記第１のフレームレートよりも低い第２のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記グリーンの色成分の画像データを取得するステップと、
    を包含する撮像素子の駆動方法。
16. 請求項１から４および１２のいずれかに記載の固体撮像素子およびプロセッサを備える装置のためのコンピュータプログラムであって、
    前記複数の第１読み出し信号線に第１のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記レッド及びブルーの色成分の画像データを出力させるステップと、
    前記複数の第２読み出し信号線に前記第１のフレームレートよりも低い第２のフレームレートで読み出し信号を与えることにより、前記出力信号線を介して、前記グリーンの色成分の画像データを出力させるステップと、
    を前記プロセッサに実行させるコンピュータプログラム。
17. 請求項１６に記載のコンピュータプログラムを記録した記録媒体。
    
    

Images