以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
本発明は、撮像素子を用いて撮像信号を取得することが可能な撮像装置に適用される。したがって、まずは、本発明を実施するための撮像装置の構成例について説明する。
図7は、本発明の実施形態における、撮像システムとしての撮像装置の構成例を示すブロック図である。
同図において、1は、レンズや絞りなどの光学部材からなる、撮像素子3に被写体からの光束(光学像)を導くための光学系である。2は、後述の撮像素子の露光時間を制御するために、撮像素子の遮光を行う遮光手段としての、メカニカルシャッタである。
3は、照射された光を電気信号に変換して出力する撮像素子、4は、撮像素子3から出力された電気信号(アナログ信号)をデジタル画像信号に変換するA/D変換器である。5は、撮像素子3を動作させるために、駆動回路6に対して必要な制御信号を発生するタイミング信号発生回路、6は、光学系1、メカニカルシャッタ2及び撮像素子3の駆動パルスを生成する駆動回路である。
7は、撮影した画像信号に対して各種補正等の信号処理を行う、信号処理手段としての信号処理回路である。8は、信号処理された画像データを記憶する画像メモリ、9は、撮像装置から取り外し可能であり、画像データを記憶する、画像記録媒体である。10は、信号処理された画像データを画像記録媒体9に記録する記録回路、11は、信号処理された画像データを表示する画像表示装置、12は、画像表示装置11に画像を表示する表示回路である。
13は、撮像装置全体を制御するシステム制御部である。14は、記憶手段としての不揮発性メモリ(ROM)である。不揮発性メモリ14には、システム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、画像信号の各種補正に用いるデータを記憶しておく。15は、揮発性メモリ(RAM)である。揮発性メモリ15には、不揮発性メモリ14に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部13が撮像装置を制御する際にそれらを読み出して使用する。
16は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチSw1、17は、撮像装置の撮影動作開始を指示するスイッチSw2である。
以上が、本発明を実施するための撮像装置の構成例である。
以下、図1、図2を参照して、本発明の第1の実施例における、撮像素子3の構成、及び、その駆動方法について説明する。なお、図2において、図1と同じ部分は同じ符号を付して示す。
図2は、本発明の第一の実施例に係わる撮像素子3の構成を概略的に示す図である。図2(A)は、撮像素子3における画素配列の一例を示す図である。図2(A)に示すように、撮像素子3に設けられた撮像領域31には、複数の画素232L、232Sが配されている。
ここで、画素232Lと、232Sとは、蓄積する信号量がそれぞれ異なる光電変換素子を備えているものとする。例えば、撮像領域に設けられる複数の光電変換素子のうち、一部の光電変換素子の面積を異ならせることにより、蓄積する信号量が異なる光電変換素子を備えた、複数の画素を形成することができる。例えば、図2(B)および図2(C)に示すように、画素232Lにおける光電変換素子PD_lの面積と画素232Sにおける光電変換素子PD_sの面積に、図のような大小関係を持たせる。この場合、第1の光電変換素子PD_lに対し、第2の光電変換素子PD_sの面積が小さいため、PD_sを備えた画素232Sが蓄積する信号量は、PD_lを備えた画素232Lが蓄積する信号量と比較して少なくなる。
このように蓄積する信号量がそれぞれ異なる光電変換素子を設けることで、撮像素子から感度の異なる信号を得ることができる。このような撮像素子を撮像装置で用いることで、取得した画像信号を活用して、ダイナミックレンジを拡大させる等の信号処理を行うことが可能となる。
ここで、図2(D)に、画素232Lの等価回路図を示す。画素232Lは、入射光を電荷に変換し、発生した信号電荷を蓄積する光電変換手段としてのフォトダイオードPD_lを備えている。更に、蓄積された信号電荷量に応じて増幅信号出力を出力線に出力する増幅手段としての増幅MOSトランジスタ(MAmp)、信号電荷を受け増幅用MOSトランジスタのゲート電極に接続するフローティングディフュージョン(FD)部を備える。また、フォトダイオードPD_lに蓄積した信号電荷のFD部への転送を制御する転送手段としての転送MOSトランジスタ(MTx)、FD部をリセットするリセット手段としてのリセットMOSトランジスタ(MRes)を備える。さらには、後段の読み出し回路に接続すべき画素を選択する選択手段としての選択MOSトランジスタ(MSel)を備え、これらによって画素232Lが構成されている。なお、増幅MOS MAmpのドレインおよびリセットMOS MResのドレインには金属配線を介して電源が接続され、電源電位が供給される。
図2(E)は、画素232Sの等価回路図を示す。画素232Sの構成は、光電変換手段として、フォトダイオードPD_lではなく、PD_lよりも蓄積する信号量の少ないフォトダイオードPD_sを備えているが、その他の構成要素については、画素232Lと同様であるため、説明は省略する。
図2(F)は、撮像素子3全体の等価回路図を示す。撮像素子3は、画素232L及び画素232Sのうち、信号を読み出すために同一時刻に選択される複数の画素が、同一の制御パルスによって制御されるよう構成されている。更に、同一時刻に選択される複数の画素は、画素232Lのみか、あるいは、画素232Sのみとなるように構成されている。
例えば、本実施例では、同一行に配された複数の画素に対し、MTx、MRes、MSelの各々のゲート電極に制御パルスを印加するための、制御線ΦTX、ΦRes、ΦSelが設けられている。すなわち、本実施例の撮像素子3の画素配列は、画素232Lのみが配置された行と画素232Sのみが配置された行からなる画素の2次元配列によって構成されている。
垂直走査回路ブロックVSRは、制御線ΦTX、ΦRes、ΦSelを介して、画素232Lに対して制御パルスPTx_l、PRes_l、PSel_lを印加する。また、画素232Sに対しては、制御パルスPTx_s、PRes_s、PSel_sを印加する。また、マトリクス状に配された複数の画素のうち、同一列に配された画素群に対し、選択された行の画素の増幅信号を出力する共通の垂直出力線VLが設けられている。尚、このような画素配置は、本発明を実施するための形態の一例であり、画素232Lと画素232Sとが異なる制御パルスによって制御されるという要旨を満たす限り、種々の変形及び変更が可能である。
垂直出力線VLは、定電流源Iに接続されると共に、クランプ容量C0を介して列回路部233に接続される。制御線ΦC0Rを介して列回路部に印加される制御パルスによって、クランプ容量における信号レベルのクランプ動作が制御される。尚、制御線ΦC0Rからは、画素232Lからの信号読み出し時には制御パルスPC0R_lが、画素232Sからの信号読み出し時には制御パルスPC0R_sが印加される。
列回路部233は垂直出力線VLごとに列メモリCTn、CTsを備え、制御線ΦTs、ΦTnを介して印加される制御パルスに従って、選択された画素から出力される信号を、垂直出力線VLに接続されたクランプ容量C0を介して一時的に保持する。尚、制御線ΦTs、ΦTnからは、画素232Lからの信号読み出し時には制御パルスPTs_l、PTn_lが、画素232Sからの信号読み出し時には制御パルスPTs_s、PTn_sが印加される。
列メモリCTn、CTsに保持された信号は、水平走査回路部HSRからの制御信号によって、後段の回路へと順次読み出される。尚、水平走査回路部HSRは、制御線ΦHを介して、画素232Lからの信号読み出し時には制御パルスPH_lを、画素232Sからの信号読み出し時には制御パルスPH_sを、列回路部233に印加する。
次に、図2に示した撮像素子3の動作を、図3を用いて説明する。本動作は、システム制御部13が不揮発性メモリ14に記憶されているプログラムを実行してタイミング信号発生回路5を制御し、駆動回路6の制御信号を発生させることで行われる。
図3(A)は、図2に示した撮像素子3における、画素232Lからの信号読み出し動作を制御する、各制御パルスのタイミングチャートを示す。また、図3(B)は、図2に示した撮像素子203における、画素232Sからの信号読み出し動作を制御する各制御パルスのタイミングチャートを示す。
本実施例において、各画素からの信号読み出しを制御する制御パルスの駆動の順序は、画素232Lと、画素232Sとで等しい。ただし、本実施例においては、画素232Lと画素232Sとで制御パルスの駆動タイミングを異ならせることで、画素232Lの読み出し動作にかける時間に対し、画素232Sの読み出し動作にかける時間を短く設定している。このようにすることで、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現させている。
信号の読み出しは、共通の制御パルスで制御される複数の画素からなる画素群の信号を、1水平期間で読み出す。水平期間を所望の回数繰り返すことにより、画素群を順々に選択しながら信号の読み出しを行い、所望の画素からの信号をすべて読み出す。この一連の動作を、1フレーム単位とする。ここでは、行単位で制御線を共有しているので、1行ずつ順々に読み出しを行う。該当行の信号の読み出し動作が終了した後に次の行の読み出し動作に移る。
以下、図3(A)を参照しながら、画素232Lからの信号読み出し動作の一例について説明する。図3のタイミングチャートでは、各パルスのハイレベルで、制御対象のMOSがオンし、各パルスのローレベルで、制御対象のMOSがオフするものとする。
時刻T0aで不図示の行送りパルスPVが垂直走査回路に入力されると、制御パルスによる制御対象行の行送りが行われ、複数の画素行のうち1行分が、制御パルスによる制御対象として選択される。
時刻T1aで、PRes_lがローレベルとなることで、MResのゲートにPRes_lのローレベルが入力され、FDのリセットが解除される。時刻T2aでPSel_lがハイレベルとなり、選択MOS MSelがオンとなってn行目の画素が垂直出力線に接続される。時刻T3aでPTs_lとPTn_lがローレベルとなり、列メモリCTs、CTnのリセットが解除される。時刻T4aでPC0R_lがローレベルとなり、クランプ容量C0のリセットが解除される。
時刻T5aでPTn_lがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTnに伝達される。時刻T6aでPTn_lがローレベルとなり、この時点でのFDの電位に応じた信号が、基準信号として列メモリCTnに保持される。
時刻T7aでPTs_lがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTsに伝達される。時刻T8aでPTs_lがハイレベルの間に、PTx_lがハイレベルとなり、転送MOS MTxがオンとなって、PD_lに蓄積されていた電荷がFDへと転送される。時刻T9aでPTx_lがローレベルとなり、転送MOS MTx_lがオフされて、電荷のFDへの転送が終了する。時刻T10aでPTs_lがローレベルとなり、この時点でのFDの電位に応じた信号が、光信号(撮像信号)として列メモリCTsに保持される。
時刻T11aでPRes_lがハイレベルとなって、FDのリセットが開始される。時刻T12aでPSel_lがローレベルになると、選択MOS MSelがオフとなり、画素の選択が解除される。また、不図示の列送りパルスPH_lの入力が開始され、読出し領域の先頭列から末尾の列まで、列転送パルスが1列ずつ順にΦHに入力される。これによって、列メモリCTs、CTnに保持された信号は、1列分ずつ順番に撮像素子の出力端子から出力される。
時刻T13aで、列送りパルスPH_lの入力が終了し、撮像素子からの信号出力が終了する。このタイミングで、PTs_lとPTn_lがハイレベルとなり、列メモリCTs、CTnのリセットが開始される。同時に、PC0R_lがハイレベルとなり、クランプ容量C0のリセットが開始される。時刻T14aで不図示の行送りパルスPVが垂直走査回路に再度入力されると、読出しを行う選択行の行送りが行われ、次の画素行が、制御パルスによる制御対象となる。
以上が、画素232Lからなる画素行の信号読み出し動作である。
該当行の画素信号の読み出しが終了した後は、次の画素行の読み出し動作に移る。次の選択行が画素232Lを含む画素行であれば、図3(A)のタイミングチャートに示した読み出し動作を繰り返し、次の選択行が画素232Sのみによる画素行であれば、図3(B)のタイミングチャートに示した読み出し動作を行うようにする。
次に、図3(A)及び図3(B)を比較しながら、画素232Lからの信号読み出し動作と、画素232Sからの信号読み出し動作との差異について説明する。
前述したとおり、画素232Sは、駆動パルスPTx_lに代わる駆動パルスPTx_s、駆動パルスPRes_lに代わる駆動パルスPRes_s、駆動パルスPSel_lに代わる駆動パルスPSel_sによって制御される。また、列回路部233は、駆動パルスPTs_lに代わる駆動パルスPTs_s、駆動パルスPTn_lに代わる駆動パルスPTn_s、駆動パルスPC0R_lに代わる駆動パルスPC0R_s、駆動パルスPH_lに代わる駆動パルスPH_sで制御される。各画素からの信号読み出しを制御する制御パルスの駆動の順序は、画素232Lと、画素232Sとで等しいので、図3(B)のタイミングチャートについて、図3(A)と差異のない内容に関しては、説明を省略する。
本実施例においては、画素22Lと画素232Sとで制御パルスの駆動タイミングを異ならせ、画素232Lの読み出し動作(列メモリへの読み出し)にかける時間に対し、画素232Sの読み出し動作にかける時間を短く設定している。具体的には、垂直出力線VLの電位が大きく変動するような駆動を行った後、次の駆動を行うまでの待ち時間を、垂直出力線VLの電位の可変幅に応じて異ならせるようにしている。
垂直出力線の電位が変動する際には、撮像素子3の垂直出力線VLごとに設けられた電流源Iによって電流が供給され、クランプ容量C0がチャージされる。電流源Iが理想的な定電流源であるような場合には、垂直出力線VLの電圧レベルの応答速度は、垂直出力線VLの電位の変動量に関わらず一定とみなすことができる。
しかし、実際の撮像素子においては、電流源Iの電流供給能力は有限である。更に、近年、撮像装置の高精細化、高画質化への要求から、撮像素子の多画素化が進んでいる。撮像素子の画素数が増えるほど、必要な電源回路の数も増大し、各々の電源回路に十分な供給能力を持たせることは難しくなる。
電流源Iの供給能力が有限であるような場合、垂直出力線VLの電圧レベルの応答速度は、画素からの出力信号の変動量の大きさに応じて異なり、変動量が大きい場合には応答速度が遅く、逆に、変動量が小さい場合には応答速度が速くなる。そのため、信号読み出し動作において、垂直出力線VLの電圧が大きく変動するような動作を行った時には、その後の動作のタイミングを、垂直出力線VLの電圧レベルが十分応答できることを考慮した時間間隔を置いて設定する必要がある。
図3の例では、画素に蓄積された電荷に応じた電圧レベルが、垂直出力線VLに反映される、T8a、T8bのタイミングにおいて、垂直出力線VLの電圧が大きく変化する。したがって、タイミングT8a、T8b後の駆動タイミングについては、垂直出力線VLの応答に必要な時間を考慮して、その後の動作の駆動パルスまでの間隔を設定する必要がある。
また、図2に例示した撮像素子においては、画素232Lは画素232Sと比較して蓄積可能な信号量が多い。PD以外の構成が画素232Lと画素232Sとで等しい場合、画素232Lと画素232SとではFD容量が等しいので、各々の画素が出力可能な信号の大きさは、PDの面積に比例する。従って、PDの面積の大きい画素232Lは、PDの面積の小さい画素232Sと比較して大きな信号を出力することが可能である。このため、画素232Lの信号読み出し時は、画素232Sの信号読み出し時と比較して、垂直出力線VLの電圧の変動幅が大きくなる。
したがって、画素232Lの信号読み出し動作の駆動タイミングには、垂直出力線VLの電圧レベルを十分応答させるために、特に長い時間間隔の設定が必要となる。一方で、画素232Sの信号読み出し動作の駆動タイミングについては、画素232Lと比較してより短い時間間隔の設定で、垂直出力線VLの電圧レベルの十分な応答が得られることとなる。
そこで、本実施例では、例えば画素232Lの蓄積信号が飽和した場合等、垂直出力線VLの電圧レベルの応答が遅くなる時、垂直出力線VLの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T8aからT10aまでの期間300Lを適宜決定する。
また、画素232Sの読み出し動作でも、画素232Sの蓄積信号が飽和した場合等、直出力線VLの電圧レベルの応答が遅くなる時、垂直出力線VLの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T8bからT10bまでの期間300Sを適宜決定する。
この時、前述したとおり、画素232Lと比較して、画素232Sは蓄積できる信号量が少なく、垂直出力線VLの電圧レベルの変動幅が画素232Lと比較して小さいため、垂直出力線VLが十分応答するまでの時間は短くなる。したがって、時刻T8bから時刻T10bまでの駆動パルスの間隔300Sを、時刻T8aから時刻T10aまでの駆動パルスの間隔300Lと比較して、可能な範囲で短く設定することとする。
時刻T10b以降の駆動パルスについては、図3(A)と同じ駆動間隔を保ったまま、間隔300Sが間隔300Lに対して短縮された分だけ前倒して、駆動するように設定する。また、行送りパルスPVの間隔についても、図3における間隔H_lに対する間隔H_sのように、間隔300Sが間隔300Lに対して短縮された分だけ前倒して、駆動するように設定する。
尚、PDからFDへの電荷転送にかける時間については、画素232Lと画素232Sとで異ならせる必要はないが、図3に示したタイミングチャートの様に、画素232Lと画素232Sとで異ならせるようにしてもよい。具体的には、一般に、PD面積が異なれば、PDからFDへの電荷転送にかかる時間も異なる。そのため、図3に示したタイミングチャートでは、PD_lからFD部への電荷転送にかける時間を、PD_lからFD部へと電荷を十分に転送するために必要な時間を考慮して決定している。また、PD_sからFD部への電荷転送にかける時間を、PD_sからFDへと電荷を十分に転送するために必要な時間を考慮して決定している。
例えば、ここでは、PD_lからFD部への荷転送に必要な時間が、PD_sからFD部への荷転送に必要な時間と比較して長いものとする。そこで、PD_lからFD部への電荷転送開始時刻T8aからその終了時刻T9aまでの時間期間を次のように設定する。即ち、PD_sからFD部への電荷転送開始時刻T8bからその終了時刻T9bまでの時間期間に対して、時刻T8aからT9aまでの時間期間が長くなうように設定する。
以上に述べた例の他にも、信号の大きさや、素子の構成及びレイアウト等によって応答速度が異なる様な動作に関わる駆動パルスがあれば、画素232Lと画素232Sとで異なるタイミングで駆動するよう設定することができる。実際の撮像素子においては、各駆動パルスの間隔は、撮像素子の画素及び読み出し回路、周辺回路を構成する回路素子とそのレイアウトを考慮したシミュレーションによって決定すればよい。あるいは、実際の撮像素子を用いて測定を行い、各駆動パルスの間隔を決定してもよい。
また、画素232L、232Sの配置は撮像素子の設計段階で分かっている。従って、画素の読み出し順序に従って、画素232Lの読み出し時には図3(A)のタイミングチャートで駆動し、画素232Sの読み出し時には図3(B)のタイミングチャートで駆動する様、プログラムしておけばよい。
このようにすることで、本実施例の読み出し動作では、1フレーム分の読み出しに要する時間は
[H_l]×[画素232Lの行数]+[H_s]×[画素232Sの行数]
=[H_l]×[画素行の総数]−[300L−300S]×[画素232Sの行数]
となる。
したがって、従来の読み出し動作において1フレーム分の読み出しに要する時間
[H_l]×[画素行の総数]
に対して、[300L−300S]×[画素232Sの行数]だけ短い時間で、1フレーム分の読み出しを完了することができる。
以上のように、各々の画素が扱う信号の大きさに応じて、駆動パルスの間隔を適宜設定することにより、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現することが可能となる。
以下、図4、図5を参照して、本発明の第2の実施例に係る撮像素子3の構成、及び、その駆動方法について説明する。なお、図4において、図1と同じ部分は同じ符号を付して示す。
図4は、本発明の第2の実施例に係る撮像素子3の構成を概略的に示す図である。
図4(A)は、撮像素子3における画素列の一例を示す図である。図4(A)に示すように、撮像素子3に設けられた撮像領域431には、複数の画素432Aが二次元に配されている。ここで、画素432Aは、蓄積する信号量がそれぞれ異なる、光電変換素子PD_lと、PD_sとを備えているものとする。図4(B)は、画素432Aにおける各光電変換素子PD_l及びPD_sの面積の大小関係を模式的に示した図である。ここでは、PD_lに対し、PD_sの面積が小さくなるよう形成されているため、PD_sが蓄積する信号量は、PD_lが蓄積する信号量と比較して少なくなる。
このように、画素内に、蓄積する信号量がそれぞれ異なる光電変換素子を設けることで、撮像素子から感度の異なる信号を得ることができる。本実施例の撮像素子を撮像装置で用いることで、取得した画像信号を活用して、ダイナミックレンジを拡大させる等の信号処理を行うことが可能となる。
また、図4(B)のPD_l、PD_sの上部に、共通のオンチップレンズMLを設けることで、PD_l、PD_sのそれぞれに対し、撮像装置の光学系1の異なる瞳面を通った光が入射するようになるため、PDによって位相の異なる信号を得ることができる。これらの信号を、撮像、及び、焦点検出に用いることで、撮像素子3を、焦点検出素子として用いることも可能となる。
図4(C)は、画素432Aの等価回路図を示す。
画素432Aは、入射光を電荷に光電変換して発生した信号電荷を蓄積するための光電変換手段としてのフォトダイオードPD_l、PD_sを備えている。更に、蓄積された信号電荷量に応じて増幅信号出力を出力する増幅手段としての増幅MOSトランジスタ(MAmp)、信号電荷を受け増幅用MOSトランジスタのゲート電極に接続するフローティングディフュージョン(FD)部を備える。また、フォトダイオードPD_lに蓄積した信号電荷のFD部への転送を制御する転送手段としての転送MOSトランジスタ(MTx_l)を備える。これに関連して、フォトダイオードPD_sに蓄積した信号電荷のFD部への転送を制御する転送手段としての転送MOSトランジスタ(MTx_s)も備える。更に、FD部をリセットするリセット手段としてのリセットMOSトランジスタ(MRes)、後段の読み出し回路に接続する画素を選択する選択手段としての選択MOSトランジスタ(MSel)を備え、これらによって画素432Aは構成されている。なお、増幅MOS MAmpのドレインおよびリセットMOS MResのドレインには金属配線を介して電源が接続され、電源電位が供給される。
図4(D)は、撮像素子3全体の等価回路図を示す。
撮像素子3は、画素432Aのうち、信号を読み出すために同一時刻に選択される複数の画素が、同一の制御パルスによって制御されるよう構成されている。例えば、ここでは、同一行に配された複数の画素に対し、MTx_l、MTx_s、MRes、MSelの各々のゲート電極に同一の制御パルスを印加するための、制御線ΦTX_l、ΦTx_s、ΦRes、ΦSelが設けられている。
垂直走査回路ブロックVSRは、制御線ΦTx_l、ΦTx_s、ΦRes、ΦSelを介して、画素432Aに対して制御パルスPTx_l、PTx_s、PRes_l、PSelを印加する。
また、マトリクス状に配された複数の画素のうち、同一列に配された画素群に対し、選択された行の画素の増幅信号を出力する共通の垂直出力線VLが設けられている。
尚、このような画素配置は本発明を実施するための形態の一例である。実際には、フォトダイオードPD_lからFD部への電荷転送を制御する転送手段と、フォトダイオードPD_sからFD部への電荷転送を制御する転送手段とが、異なる制御パルスによって制御されるという要旨を満たす限り、種々の変形及び変更が可能である。
垂直出力線VLは、定電流源Iに接続されると共に、クランプ容量C0を介して列回路部433Aに接続される。制御線ΦC0Rを介して列回路部に印加される制御パルスによって、クランプ容量における信号レベルのクランプ動作が制御される。尚、制御線ΦC0Rからは、制御パルスPC0Rが印加される。
列回路部433Aは垂直出力線VLごとに列メモリCTn_s、CTs_s、CTn_l、CTs_lを備える。これらは、制御線ΦTn_s、ΦTn_s、ΦTs_l、ΦTn_lから印加される制御パルスPTn_s、PTs_s、PTn_l、PTs_lに従って、選択された画素から出力される信号を、垂直出力線VLに接続されたクランプ容量C0を介して一時的に保持する。
列メモリCTn_s、CTs_s、CTn_l、CTs_lに保持された信号は、水平走査回路部HSRからの制御信号によって、後段の回路へと順次読み出される。
次に、図4に示した撮像素子3の動作を、図5を用いて説明する。本動作は、システム制御部13が不揮発性メモリ14に記憶されているプログラムを実行してタイミング信号発生回路5を制御し、駆動回路6の制御信号を発生させることで行われる。
図5は、図4に示した撮像素子3における、画素42Aからの信号読み出し動作を制御するための各制御パルスのタイミングチャートを示す。図5のタイミングチャートでは、各パルスのハイレベルで、制御対象のMOSがオンし、各パルスのローレベルで、制御対象のMOSがオフするものとする。
本実施例においては、フォトダイオードPD_lとPD_sとで、FD部以降の読み出し回路を共有させているため、同一画素内のフォトダイオードPD_sからの信号とフォトダイオードPD_lからの信号とを、時刻を異ならせて順に読み出す。ここで、フォトダイオードPD_lからの信号読み出し動作と比較して、フォトダイオードPD_sからの信号読み出し動作における制御パルス間隔を短く設定し、画素432A全体の信号読み出し動作にかける時間を、従来より短く設定している。このようにすることで、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現させている。
信号の読み出しは、共通の制御パルスで制御される複数の画素からなる画素群の信号を、1水平期間で読み出す。水平期間を所望の回数繰り返すことにより、画素群を順々に選択しながら信号の読み出しを行い、所望の画素からの信号をすべて読み出す。この一連の動作を、1フレーム単位とする。ここでは、行単位で制御線を共有しているので、1行ずつ順々に読み出しを行う。該当行の信号の読み出し動作が終了した後に次の行の読み出し動作に移る。
以下、図5を参照しながら、画素432Aからの信号読み出し動作の一例について説明する。
時刻T0cで不図示の行送りパルスPVが垂直走査回路に入力されると、制御パルスによる制御対象行の行送りが行われ、複数の画素行のうち1行分が、制御パルスによる制御対象として選択される。時刻T1cで、PResがローレベルとなることで、MResのゲートにPResのローレベルが入力され、FDのリセットが解除される。
時刻T2cでPSelがハイレベルとなり、選択MOS MSelがオンとなってn行目の画素が垂直出力線に接続される。時刻T3cでPTs_s、PTn_s、PTs_l、PTn_lがローレベルとなり、列メモリCTs_s、CTn_s、CTs_l、CTn_lのリセットが解除される。時刻T4cでPC0Rがローレベルとなり、クランプ容量C0のリセットが解除される。
時刻T5cでPTn_sがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTn_sに伝達される。時刻T6cでPTn_sがローレベルとなり、この時点でのFDの電位に応じた信号が、基準信号として列メモリCTn_sに保持される。時刻T7cでPTs_sがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTs_sに伝達される。
時刻T8cでPTs_sがハイレベルの間に、PTx_sがハイレベルとなり、転送MOS MTx_sがオンとなって、PD_sに蓄積されていた電荷がFDへと転送される。時刻T9cでPTx_sがローレベルとなり、転送MOS MTx_sがオフされて、電荷のFDへの転送が終了する。時刻T10cでPTs_sがローレベルとなり、この時点でのFDの電位に応じた信号が、光信号(撮像信号)として列メモリCTs_sに保持される。
時刻T11cでPResがハイレベルとなって、FDのリセットが開始される。時刻T12cでPC0Rがハイレベルとなって、クランプ容量C0のリセットが開始される。時刻T13cでPResがローレベルとなって、FDのリセットが解除される。時刻T14cでPC0Rがハイレベルとなって、クランプ容量C0のリセットが解除される。
時刻T15cでPTn_lがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTn_lに伝達される。時刻T16cでPTn_lがローレベルとなり、この時点でのFDの電位に応じた信号が、基準信号として列メモリCTn_lに保持される。時刻T17cでPTs_lがハイレベルとなると、垂直出力線が、FDに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTs_lに伝達される。
時刻T18cでPTs_lがハイレベルの間に、PTx_lがハイレベルとなり、転送MOS MTx_lがオンとなって、PD_lに蓄積されていた電荷がFDへと転送される。時刻T19cでPTx_lがローレベルとなり、転送MOS MTx_lがオフされて、電荷のFDへの転送が終了する。時刻T20cでPTs_lがローレベルとなり、この時点でのFDの電位に応じた信号が、光信号(撮像信号)として列メモリCTs_lに保持される。
時刻T21cでPResがハイレベルとなって、FDのリセットが開始される。時刻T22cでPSelがローレベルになると、選択MOS MSelがオフとなり、画素の選択が解除される。また、不図示の列送りパルスPHの入力が開始され、読出し領域の先頭列から末尾の列まで、列転送パルスが1列ずつ順にΦHに入力される。これによって、列メモリCTs_s、CTn_s、CTs_l、CTn_lに保持された信号は、1列分ずつ順番に撮像素子の出力端子から出力される。
時刻T23cで、列送りパルスPH_lの入力が終了し、撮像素子からの信号出力が終了する。このタイミングで、PTs_s、PTn_s、PTs_l、PTn_lがハイレベルとなり、列メモリCTs_s、CTn_s、CTs_l、CTn_lのリセットが開始される。同時に、PC0Rがハイレベルとなり、クランプ容量C0のリセットが開始される。
時刻T24cで不図示の行送りパルスPVが垂直走査回路に再度入力されると、読出しを行う選択行の行送りが行われ、次の画素行が、制御パルスによる制御対象となる。
以上が、画素432Aの信号読み出し動作である。該当行の画素信号の読み出しが終了した後は、次の画素行の読み出し動作に移る。
本実施例では、画素432Aに含まれるフォトダイオードの信号読み出し動作において、フォトダイオードPD_lの信号読み出し動作と比較して、フォトダイオードPD_sの信号読み出し動作における制御パルスの期間を短く設定している。具体的には、垂直出力線VLの電位が大きく変動するような駆動を行った後、次の駆動を行うまでの待ち時間を、垂直出力線VLの電位の可変幅に応じて、各々のフォトダイオードからの信号読み出し動作ごとに異ならせるようにしている。
図5の例では、画素に蓄積された電荷に応じた電圧レベルが、垂直出力線VLに反映される、T8c、T18cのタイミングにおいて、垂直出力線VLの電圧が大きく変化する。したがって、タイミングT8c、T18c後の駆動タイミングについては、垂直出力線VLの応答に必要な時間を考慮して、駆動パルスの間隔を設定する必要がある。
また、図4に例示した撮像素子においては、大きい面積のフォトダイオードPD_lはフォトダイオードPD_sと比較して大きな信号を出力することが可能であるため、垂直出力線VLの電圧の変動幅が大きいと言える。したがって、フォトダイオードPD_lの信号読み出し動作の駆動タイミングには、垂直出力線VLの電圧レベルを十分応答させるために、特に長い時間間隔が必要となる。一方で、フォトダイオードPD_sの信号読み出し動作の駆動タイミングについては、フォトダイオードPD_lと比較してより短い時間間隔の設定でも、垂直出力線VLの電圧レベルの十分な応答が得られることとなる。
そこで、本実施例では、例えばフォトダイオードPD_lの蓄積信号が飽和した場合等、垂直出力線VLの電圧レベルの応答が遅くなる時に垂直出力線VLの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T18cからT20cまでの期間501Lを適宜決定する。
また、フォトダイオードPD_sの読み出し動作でも同様である。フォトダイオードPD_sの蓄積信号が飽和した場合等、直出力線VLの電圧レベルの応答が遅くなる時、垂直出力線VLの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T8cからT10cまでの期間501Sを適宜決定する。
前述したとおり、フォトダイオードPD_lと比較して、フォトダイオードPD_sは蓄積できる信号量が少なく、垂直出力線VLの電圧レベルの変動幅がフォトダイオードPD_lと比較して小さい。そのため、フォトダイオードPD_sの読み出し動作時は、垂直出力線VLが十分応答するまでの時間がフォトダイオードPD_lの読み出し動作時に対して短くなる。したがって、時刻T8cからT10cまでの期間501Sを、時刻T18cから時刻T20cまでの駆動パルスの期間501Lと比較して、可能な範囲で短く設定することとする。
尚、PDからFDへの電荷転送にかける時間については、PD_lとPD_sとで異ならせる必要はないが、図5に示したタイミングチャートの様に、PD_lとPD_sとで異ならせるようにしてもよい。具体的には、一般に、PD面積が異なれば、PDからFDへの電荷転送にかかる時間が異なる。そのため、図5に示したタイミングチャートでは、PD_lからFD部への電荷転送にかける時間を、PD_lからFD部へと電荷を十分に転送するために必要な時間を考慮して決定している。また、PD_sからFD部への電荷転送にかける時間を、PD_sからFDへと電荷を十分に転送するために必要な時間を考慮して決定している。
例えば、本実施例では、PD_lからFD部への電荷転送に必要な時間が、PD_sからFD部への電荷転送に必要な時間と比較して長いものとする。そこで、PD_lからFD部への電荷転送開始時刻T18cからその終了時刻T19cまでの時間期間を次のように設定する。即ち、PD_sからFD部への電荷転送開始時刻T8cからその終了時刻T9cまでの時間期間に対して、時刻T18cからT19cまでの時間期間を長く設定している。
本実施例は上述の例に限られず、例えば、信号の大きさ、素子の構成及びレイアウト等によって応答速度が異なる動作に関わる駆動パルスに対し適用可能である。もし、そのような駆動パルスがあれば、フォトダイオードPD_sの読み出し動作とフォトダイオードPD_lの読み出し動作とで、異なる駆動タイミングを設定すればよい。
実際の撮像素子においては、各駆動パルスの間隔は、撮像素子の画素及び読み出し回路、周辺回路を構成する回路素子とそのレイアウトを考慮したシミュレーションによって決定すればよい。あるいは、実際の撮像素子を用いて測定を行い、各駆動パルスの間隔を決定してもよい。
尚、ここでは、フォトダイオードPD_sの信号読み出し(RO_s)を行った後に、フォトダイオードPD_lの信号読み出し(RO_l)を行う例について示した。しかし、RO_sとRO_lの順序を入れ替えて、フォトダイオードPD_lの信号読み出しを先に行ってもよい。また、画素内の異なる感度のフォトダイオードの数を3またはそれ以上として、本実施例に従った駆動タイミング制御を行って順次信号を読み出す構成としてもよい。
以上説明した本実施例の読み出し動作によれば、従来の読み出し動作において1フレーム分の読み出しに要する時間を、[501L−501S]×[画素432Aの行数]だけ短縮して1フレーム分の読み出しを完了することが可能となる。
以上の様に、各々の画素が扱う信号の大きさに応じて、駆動パルスの間隔を適宜設定することにより、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現することが可能となる。
以下、図6、図7を参照して、本発明の第3の実施例における、撮像素子603の構成、及び、その駆動方法について説明する。なお、図6において、図1と同じ部分は同じ符号を付して示す。
図6は、本発明の第3の実施形態における、撮像素子3の構成を概略的に示す図である。
図6(A)は、撮像素子3における画素配列の一例を示す図である。図6(A)に示すように、撮像素子3に設けられた撮像領域631には、複数の画素32Bが二次元に配されている。
ここで、画素632Bは、蓄積する信号量がそれぞれ異なる、光電変換素子PD_lと、PD_s1、PD_s2とを備えているものとする。図6(B)は、画素632Bにおける光電変換素子PD_l及びPD_s1、PD_s2の面積の大小関係を模式的に示す図である。ここでは、PD_lに対し、PD_s1、PD_s2の面積が小さくなるよう形成されているため、PD_s1、PD_s2が蓄積する信号量は、PD_lが蓄積する信号量と比較して少なくなる。
このように蓄積する信号量がそれぞれ異なる光電変換素子を設けることで、撮像素子から感度の異なる撮像信号を得ることができる。このような撮像素子を撮像装置で用いることで、取得した画像信号を活用して、ダイナミックレンジを拡大させる等の信号処理を行うことが可能となる。
また、図6(B)のPD_l、PD_s1、PD_s2の上部に、共通のオンチップレンズMLを設ける。これにより、PD_l、PD_s1、PD_s2に対し、撮像装置の光学系1においてそれぞれ異なる瞳面を通った光が入射するようになるため、PDによって位相の異なる信号を得ることができる。これらの信号を、撮像、及び、焦点検出に用いることで、撮像素子3を、焦点検出素子としても用いることが可能となる。
図6(C)は、画素632Bの等価回路図を示す。
画素632Bは、入射光を電荷に変換し、発生した信号電荷を蓄積するための、光電変換手段としてのフォトダイオードPD_l、PD_s1、PD_s2を備えている。
フォトダイオードPD_lは、PD_lの電荷転送を制御する転送手段としての転送MOSトランジスタ(MTx_l)を介し、FD部(FD_l)に接続されている。また、FD部(FD_l)は、蓄積された信号電荷量に応じて増幅信号を出力する増幅手段としての増幅MOSトランジスタ(MAmp_l)のゲートに接続されている。増幅MOS(MAmp_l)のドレイン側には金属配線を介して電源が接続され、電源電位が供給される。また、増幅MOS(MAmp_l)のソース側には、後段の読み出し回路に接続する画素を選択する、選択手段としての選択MOSトランジスタ(MSel_l)が接続されている。
フォトダイオードPD_lが接続されたFD_lは、FD_lをリセットするリセット手段としてのリセットMOSトランジスタ(MRes_l)に接続される。
フォトダイオードPD_lより蓄積する信号量の少ないフォトダイオードPD_s1は、転送MOSトランジスタ(MTx_s1)を介し、PD_lの接続先とは異なるFD部及び増幅MOSトランジスタ(MAmp_s)のゲートに接続されている。
蓄積する信号量がフォトダイオードPD_lより少ないフォトダイオードPD_s2は、転送MOSトランジスタ(MTx_s2)を介し、PD_s1と共通のFD部(FD_s)及び増幅MOSトランジスタ(MAmp_s)のゲートに接続されている。
増幅MOS(MAmp_s)のドレイン側には金属配線を介して電源が接続され、電源電位が供給される。また、増幅MOS(MAmp_s)のソース側には、後段の読み出し回路に接続されるべき画素を選択する選択手段としての選択MOSトランジスタ(MSel_s)が接続されている。
フォトダイオードPD_s1、PD_s2が接続されたFD_sは、FD_sをリセットするリセット手段としてのリセットMOSトランジスタ(MRes_s)に接続される。
図6(D)は、撮像素子3全体の等価回路図を示す。
撮像素子3は、画素62Bのうち、信号を読み出すために同一時刻に選択される複数の画素が、同一の制御パルスによって制御されるよう構成されている。例えば、本実施例では、同一行に配された複数の画素に対し、MTx_l、MTx_s1、MTx_s2、MRes_l、MRes_sの各々のゲート電極に制御パルスを印加する。このために、制御線ΦTx_l、ΦTx_s1ΦTx_s2、ΦRes_l、ΦRes_sが設けられている。また、同一行に配された複数の画素に対し、MSel_l、MSel_sの各々のゲート電極に制御パルスを印加するための、制御線ΦSelが設けられている。
垂直走査回路ブロックVSRは、制御線ΦTx_l、ΦTx_s1、ΦTx_s2、ΦRes_l、ΦRes_s、ΦSelを介して、画素632Aに対して制御パルスPTx_l、PTx_s1、PTx_s2、PRes_l、PRes_s、PSelを印加する。
マトリクス状に配された複数の画素のうち、同一列に配された画素群の、フォトダイオードPD_lが接続された選択MOS(MSel_l)は、共通の垂直出力線VL_l(第1の出力線)に接続されている。また、マトリクス状に配された複数の画素のうち、同一列に配された画素群の、フォトダイオードPD_s1、PD_s2が接続された選択MOS(MSel_s)は、共通の垂直出力線VL_s(第2の出力線)に接続されている。
尚、このような画素配置は本発明を実施するための形態の一例である。実際には、フォトダイオードPD_lからFD部への電荷転送、フォトダイオードPD_s1からFD部への電荷転送、フォトダイオードPD_s2からFD部への電荷転送、の各々を制御する転送手段が、それぞれ異なる制御パルスによって制御されればよい。したがって、この要旨を満たす限り、本実施例においても、種々の変形及び変更が可能である。
垂直出力線VL_lは、定電流源Iに接続されると共に、クランプ容量C0を介して列回路部633Bに接続される。制御線ΦC0R_lを介して列回路部に印加される制御パルスによって、クランプ容量における信号レベルのクランプ動作が制御される。尚、制御線ΦC0R_lからは、制御パルスPC0R_lが印加される。
また、垂直出力線VL_sは、定電流源Iに接続されると共に、クランプ容量C0を介して列回路部633Bに接続される。制御線ΦC0R_sを介して列回路部に印加される制御パルスによって、クランプ容量における信号レベルのクランプ動作が制御される。尚、制御線ΦC0R_sからは、制御パルスPC0R_sが印加される。
列回路部633Bは垂直出力線VL_lごとに列メモリCTn_l、CTs_lを備える。列メモリCTn_l、CTs_lは、制御線ΦTs_l、ΦTn_lを介して印加される制御パルスPTn_l、PTs_lに従って、選択された画素から出力される信号を、垂直出力線VLに接続されたクランプ容量C0を介して一時的に保持する。
また、列回路部633Bは垂直出力線VL_sごとに列メモリCTn_s1、CTs_s1、CTn_s2、CTs_n2を備える。これらは、制御線ΦTn_s1、ΦTn_s1、ΦTn_s2、ΦTn_s2から印加される制御パルスPTn_s1、PTs_s1、PTn_s2、PTs_s2に従って、選択された画素からの信号を、垂直出力線VL_sに接続されたクランプ容量C0を介して一時的に保持する。
列メモリCTn_s1、CTs_s1、CTn_s2、CTs_n2、CTn_l、CTs_lに保持された信号は、水平走査回路部HSRからの制御信号によって、後段の回路へと順次読み出される。
次に、図6に示した撮像素子3の動作を、図7を用いて説明する。
図7には、図6に示した撮像素子3における、画素632Bからの信号読み出し動作を制御する、各制御パルスのタイミングチャートを示した。図7のタイミングチャートでは、各パルスのハイレベルで、制御対象のMOSがオンし、各パルスのローレベルで、制御対象のMOSがオフするものとする。
本実施例においては、フォトダイオートPD_s1とPD_s2とで、FD部以降の読み出し回路を共有させているため、フォトダイオードPD_s1からの信号と、フォトダイオードPD_s2からの信号とを、時刻を異ならせて順に読み出す。尚、フォトダイオードPD_lは、フォトダイオートPD_s1、PD_s2とは別の読み出し回路を使用して信号読み出しを行う。そのため、フォトダイオードPD_lからの信号と、フォトダイオードPD_s1またはPD_s2の一方からの信号とは、並行して読み出すことが可能である(第1の駆動パルス、第2の駆動パルス)。
本実施例では、フォトダイオードPD_lの信号読み出し動作と比較して、フォトダイオードPD_s1、PD_s2の信号読み出し動作の制御パルスの期間を短く設定している。これにより、画素632B全体の信号読み出し動作にかける時間を、従来より短くしている。このようにすることで、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現させている。
信号の読み出しは、共通の制御パルスで制御される複数の画素からなる画素群の信号を、1水平期間で読み出す。水平期間を所望の回数繰り返すことにより、画素群を順々に選択しながら信号の読み出しを行い、所望の画素からの信号をすべて読み出す。この一連の動作を、1フレーム単位とする。ここでは、行単位で制御線を共有しているので、1行ずつ順々に読み出しを行う。該当行の信号の読み出し動作が終了した後に次の行の読み出し動作に移る。
以下、図7を参照しながら、画素632Bからの信号読み出し動作の一例について説明する。本動作は、システム制御部13が不揮発性メモリ14に記憶されているプログラムを実行してタイミング信号発生回路5を制御し、駆動回路6の制御信号を発生させることで行われる。
時刻T0dで不図示の行送りパルスPVが垂直走査回路に入力されると、制御パルスによる制御対象行の行送りが行われ、複数の画素行のうち1行分が、制御パルスによる制御対象として選択される。
時刻T1dで、PRes_l、PRes_sがローレベルとなることで、MRes_lのゲートにPRes_l、MRes_sのゲートにPRes_sのローレベルが入力され、FDのリセットが解除される。時刻T2dでPSelがハイレベルとなり、選択MOS MSel_l、MSel_sがオンとなってn行目の画素が垂直出力線に接続される。
時刻T3dでPTs_s、PTn_s、PTs_l、PTn_lがローレベルとなり、列メモリCTs_s、CTn_s、CTs_l、CTn_lのリセットが解除される。時刻T4dでPC0R_l、PC0R_sがローレベルとなり、クランプ容量C0のリセットが解除される。
時刻T5dでPTn_lがハイレベルとなると、垂直出力線VL_lが、FD_lに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTn_lに伝達される。また、PTn_s1がハイレベルとなると、垂直出力線VL_sが、FD_sに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTn_s1に伝達される。
時刻T6dでPTn_lがローレベルとなり、この時点でのFD_lの電位に応じた信号が、基準信号として列メモリCTn_lに保持される。また、PTn_s1がローレベルとなり、この時点でのFD_sの電位に応じた信号が、基準信号として列メモリCTn_s1に保持される。
時刻T7dでPTs_lがハイレベルとなると、垂直出力線VL_lが、FD_lに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTs_lに伝達される。また、PTs_s1がハイレベルとなると、垂直出力線VL_sが、FD_sに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTs_s1に伝達される。
時刻T8dで、PTs_lがハイレベルの間に、PTx_lがハイレベルとなり、転送MOS MTx_lがオンとなって、PD_lに蓄積されていた電荷がFD_lへと転送される。また、PTs_s1がハイレベルの間に、PTx_s1がハイレベルとなり、転送MOS MTx_s1がオンとなって、PD_s1に蓄積されていた電荷がFD_sへと転送される。時刻T9dでPTx_s1がローレベルとなり、転送MOS MTx_s1がオフされて、電荷のFD_sへの転送が終了する。
時刻T10dで、PTx_lがローレベルとなり、転送MOS MTx_lがオフされて、電荷のFD_lへの転送が終了する。
時刻T11dで、PTs_lがハイレベルの間、すなわち、FD_lの電位に応じた信号を列メモリCTs_lに伝達し続けている間に、PTs_s1がローレベルとなる。これにより、この時点でのFD_sの電位に応じた信号が、光信号(撮像信号)として列メモリCTs_s1に保持される。
時刻T12dでPRes_sがハイレベルとなって、FD_sのリセットが開始される。時刻T13dでPC0R_sがハイレベルとなって、垂直出力線VL_sに接続されたクランプ容量C0のリセットが開始される。
時刻T14dでPRes_sがローレベルとなって、FD_sのリセットが解除される。時刻T15dでPC0R_sがハイレベルとなって、垂直出力線VL_sに接続されたクランプ容量C0のリセットが解除される。
時刻T16dでPTn_s2がハイレベルとなると、垂直出力線が、FD_sに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTn_s2に伝達される。
時刻T17dでPTs_lがローレベルとなり、この時点でのFD_lの電位に応じた信号が、光信号(撮像信号)として列メモリCTs_lに保持される。
時刻T18dでPTn_s2がローレベルとなり、この時点でのFD_sの電位に応じた信号が、基準信号として列メモリCTn_s2に保持される。
時刻T19dでPTs_s2がハイレベルとなると、垂直出力線VL_sが、FD_sに蓄積された電荷量に応じた電圧レベルに変動し、クランプ容量C0を介して列メモリCTs_s2に伝達される。時刻T20dでPTx_s2がハイレベルとなり、転送MOS MTx_s2がオンとなって、PD_s2に蓄積されていた電荷がFD_sへと転送される。時刻T21dでPTx_s2がローレベルとなり、転送MOS MTx_s2がオフされて、電荷のFD_sへの転送が終了する。
時刻T22dでPTs_s2がローレベルとなり、この時点でのFD_sの電位に応じた信号が、光信号(撮像信号)として列メモリCTs_s2に保持される。
時刻T23dでPRes_l、PRes_sがハイレベルとなって、FD_l、FD_sのリセットが開始される。
時刻T24dでPSelがローレベルになると、選択MOS MSel_l、MSel_sがオフとなり、画素の選択が解除される。また、不図示の列送りパルスPHの入力が開始され、読出し領域の先頭列から末尾の列まで、列転送パルスが1列ずつ順にΦHに入力される。これによって、列メモリCTs_l、CTn_l 、CTs_s1、CTn_s1、CTs_s2、CTn_s2に保持された信号は、1列分ずつ順番に撮像素子の出力端子から出力される。
時刻T25dで、列送りパルスPH_lの入力が終了し、撮像素子からの信号出力が終了する。このタイミングで、PTs_l、PTn_l 、PTs_s1、PTn_s1、PTs_s2、PTn_s2がハイレベルとなり、列メモリCTs_l、CTn_l 、CTs_s1、CTn_s1、CTs_s2、CTn_s2のリセットが開始される。同時に、PC0R_l、PC0R_sがハイレベルとなり、クランプ容量C0のリセットが開始される。時刻T26dで不図示の行送りパルスPVが垂直走査回路に再度入力されると、読出しを行う選択行の行送りが行われ、次の画素行が、制御パルスによる制御対象となる。
以上が、画素632Bの信号読み出し動作である。該当行の画素信号の読み出しが終了した後は、次の画素行の読み出し動作に移る。
本実施例では、画素632Bに含まれるフォトダイオードの信号読み出し動作において、フォトダイオードPD_lの信号読み出し動作と比較して、フォトダイオードPD_s1、PD_s2の信号読み出し動作の制御パルスの期間を短く設定している。具体的には、垂直出力線VL_l、VL_sの電位が大きく変動する駆動を行った後、次の動作のための駆動を行うまでの待ち時間を、垂直出力線VL_l、VL_sの電位の可変幅に応じて、フォトダイオードの信号読み出し動作ごとに異ならせている。
図7の例では、PD_s1、PD_lに蓄積された電荷に応じた電圧レベルが、垂直出力線VL_s、VL_lに反映される、T8dのタイミングにおいて、垂直出力線VL_s、VL_lの電圧が大きく変化する。また、PD_s2に蓄積された電荷に応じた電圧レベルが、垂直出力線VL_sに反映されるT20dのタイミングにおいて、垂直出力線VL_sの電圧が大きく変化する。したがって、タイミングT8d、T20d後の駆動タイミングについては、垂直出力線VL_s、VL_lの応答に必要な時間を考慮して、駆動パルスの間隔を設定する必要がある。
また、図6に例示した撮像素子3においては、フォトダイオードPD_lはフォトダイオードPD_sと比較して蓄積可能な信号量が多い。FD_l以降の構成と、FD_s以降の構成とが等しい場合、PD_lからの信号とPD_s1、PD_s2からの信号は、等しいFD容量を介して出力されるので、各PDから各垂直出力線に出力可能な信号の大きさは、PDの面積に比例する。したがって、PDの面積の大きいPD_lは、PDの面積の小さいPD_s1、PD_s2と比較して大きな信号を出力することが可能であるため、垂直出力線VL_lの電圧の変動幅は、垂直出力線VL_sの電圧の変動幅と比較して大きい。
したがって、フォトダイオードPD_lの信号読み出し動作の駆動タイミングには、垂直出力線VL_lの電圧レベルを十分応答させるために、特に長い時間間隔の設定が必要となる。一方で、フォトダイオードPD_s1、PD_s2の信号読み出し動作の駆動タイミングについては、フォトダイオードPD_lと比較してより短い時間間隔の設定で、垂直出力線VL_sの電圧レベルの十分な応答が得られることとなる。
そこで、本実施例では、フォトダイオードPD_lの蓄積信号が飽和した場合等、垂直出力線VL_lの電圧レベルの応答が遅くなる時、垂直出力線VL_lの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T8dからT16dまでの期間702Lを適宜決定する。
また、フォトダイオードPD_s1の読み出し動作についても同様である。フォトダイオードPD_s1の蓄積信号が飽和した場合等、直出力線VL_sの電圧レベルの応答が遅くなる時、垂直出力線VL_sの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T8dからT11dまでの期間702S1を適宜決定する。
また、フォトダイオードPD_s2の読み出し動作についても同様である。フォトダイオードPD_s2の蓄積信号が飽和した場合等、直出力線VL_sの電圧レベルの応答が遅くなる時、垂直出力線VL_sの十分な応答を待って列メモリへの信号保持を行う。そのために、時刻T20dからT22dまでの期間702S2を適宜決定する。
前述したとおり、フォトダイオードPD_lと比較して、フォトダイオードPD_s1、PD_s2は蓄積できる信号量が少ないため、垂直出力線VL_sの電圧レベルの可変幅は垂直出力線VL_lと比較して小さい。そのため、前述したとおり、フォトダイオードPD_s1、PD_ s2の読み出し動作時は、垂直出力線VL_sが十分応答するまでの時間が、フォトダイオードPD_lの読み出し動作時に垂直出力線VL_lが十分応答するまでの時間に対して短くなる。従って、時刻T8dからT11dまでの期間702S1と時刻T20dからT22dまでの期間702S2を、時刻T8dからT17dまでの期間702Lと比較して、可能な範囲で短く設定する。
図7に示したタイミングチャートでは、T16dとT17dの時刻は同時となっているが、これらの時刻は、垂直出力線VL_sの十分な応答に必要な期間702S及び垂直出力線VL_lの十分な応答に必要な期間702Lの長さに応じて決定されるので、この限りではない。また、その他のタイミングについても同様に、垂直出力線VL_sの十分な応答に必要な期間702S及び垂直出力線VL_lの十分な応答に必要な期間702Lの長さに応じて時刻が決定される。したがって、T11d以降の動作の駆動パルスの時刻及びT12d以降の駆動パルスの順序は図7に示した例に限定されない。
尚、PDからFDへの電荷転送にかける時間については、PD_lとPD_s1、PD_s2とで異ならせる必要はないが、図7に示したタイミングチャートの様に、PD_lとPD_s1、PD_s2とで異ならせるようにしてもよい。具体的には、一般に、PDの面積が異なればPDからFDへの電荷転送にかかる時間が異なる。そのため、図7に示したタイミングチャートでは、PD_lからFD_lへの電荷転送にかける時間を、PD_lからFD_lへと電荷を十分に転送するために必要な時間を考慮して決定している。また、PD_s1、PD_s2からFD_sへの電荷転送にかける時間を、PD_s1、PD_s2からFD_sへと電荷を十分に転送するために必要な時間を考慮して決定している。
例えば、ここでは、PD_lからFD_lへの電荷転送に必要な時間が、PD_s1、PD_s2からFD_sへの電荷転送に必要な時間と比較して長いものとする。そこで、PD_lからFD_lへの電荷転送開始時刻T8dからその終了時刻T10dまでの時間期間を次のように設定する。即ち、PD_s1からFD_sへの電荷転送開始時刻T8dからその終了時刻T9dまでの時間期間に対して、時刻T8dからT10dまでの時間期間を長く設定している。同様に、PD_lからFD_lへの電荷転送開始時刻T8dからその終了時刻T10dまでの時間期間を次のように設定する。即ち、PD_s2からFD_sへの電荷転送開始時刻T20dからその終了時刻T21dまでの時間期間に対して、時刻T8dからT10dまでの時間期間を長く設定している。
本実施例は以上述べた例に限られず、例えば、信号の大きさ、素子の構成及びレイアウト等によって応答速度が異なる動作の駆動パルスにも適用可能である。もし、そのような駆動パルルがあれば、フォトダイオードPD_s1、PD_s2の読み出し動作とフォトダイオードPD_lの読み出し動作とで、異なるタイミングで駆動する設定にすればよい。
また、PD_s1、PD_s2の出力可能な信号の大きさが異なり、それぞれの信号読み出し時で垂直出力線VL_sの電圧の可変幅が異なる場合にも本発明を適用することが可能である。即ち、PD_s1の読み出し動作と、PD_s2のそれとで、異なるタイミングで駆動する様に設定すればよい。
実際の撮像素子においては、各駆動パルスの間隔は、撮像素子の画素及び読み出し回路、周辺回路を構成する回路素子とそのレイアウトを考慮したシミュレーションによって決定すればよい。あるいは、実際の撮像素子を用いて測定を行って各駆動パルスの間隔を決定してもよい。
尚、ここでは、PD_s1の信号読み出し(RO_s1)を行った後に、PD_s2の信号読み出し(RO_s2)を行う例について示したが、RO_s1とRO_s2の順序を入れ替えて、PD_s1の信号読み出しを先に行ってもよい。また、例えばPD_s2を、PD_s1およびPD_lのいずれの感度とも異なる感度のフォトダイオードにして、本実施例の駆動タイミング制御に従って信号を読み出す構成としてもよい。
更に、ここでは、PD_s1の信号読み出し(RO_s1)開始と同時に、PD_lの信号読み出し(RO_l)を開始する例について示した。しかし、RO_lは、PD_s1の読み出し動作RO_s1、またはPD_s2の読み出し動作RO_s2のうち、先に行われる動作の開始時刻以降に開始すればよい。また、RO_lは、PD_s1の読み出し動作RO_s1、またはPD_s2の読み出し動作RO_s2のうち、後に行われる動作の終了時刻までに終了すればよい。例えば、図7の例では、T5d以降に開始し、T22dまでに終了するような任意のタイミングで行う様にすればよい。
本実施例の読み出し動作によれば、従来の読み出し動作での1フレームの読み出し時間を、([702L−702S1]+[702L−702S2])×[画素632Bの行数]だけ短縮可能となる。これにより、フレームレートを容易に維持しながら1フレームの読み出しを完了することができる。
以上の様に、各々の画素が扱う信号の大きさに応じて、駆動パルスの間隔を適宜設定することにより、本発明の目的である、1フレーム分の信号読み出しにかかる時間の短縮を実現することが可能となる。
また、上述した実施形態において図3、図5及び図7に示した各駆動動作は、各駆動を実現する為のプログラムをメモリ(104など)から読み出してシステム制御部13のCPUが実行することによりその機能を実現させるものである。
上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CD−ROM等の読み出しのみが可能な記憶媒体、RAM以外の揮発性のメモリで構成されてもよい。あるいは、これらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
また、図3、図5及び図7に示した各駆動動作を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、上記のプログラムを記録したコンピュータ読み取り可能な記憶媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記憶媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の好ましい実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等における変形、修正も含まれる。