以下、本発明の実施形態を図面に基づいて説明する。
まず、本発明の一実施形態における撮像装置について説明する。図11は、本実施形態における撮像装置の構成例を示すブロック図である。図11に示すように、撮像装置1は、固体撮像素子10、測距対象へ向けてパルス光を投光するための投光手段としての光源部20、及び固体撮像素子10と光源部20とを制御する制御信号生成部30を有する。
制御信号生成部30は、固体撮像素子10を駆動するための駆動制御信号を生成する。また、制御信号生成部30は、光源部20と固体撮像素子10とが同期して駆動されるように、光源部20を制御するための投光制御信号PLightを生成する。光源部20は、制御信号生成部30からの投光制御信号PLightを受けて、測距対象(対象物)へ向けてパルス光を投光する。固体撮像素子10は、行列状に配置された複数の画素を有する。固体撮像素子10は、制御信号生成部30からの駆動制御信号を受けて、測距対象からの反射光を含む入射光を電気信号に変換して出力する。
(第1の実施形態)
本発明の第1の実施形態について説明する。
以下、図1及び図2を参照して、第1の実施形態における固体撮像素子の構成について説明する。図2は、第1の実施形態における固体撮像素子の構成例を示すブロック図である。図2に示すように、固体撮像素子10は、画素部100、垂直走査回路(VSR)120、列回路部110、及び水平走査回路(HSR)130を有する。
画素部100には、入射光を電気信号に変換する複数の単位画素PIXが、行列状に配置されている。図2においては、j行×i列の単位画素を有する画素部を例示し、y行目x列目に配された単位画素をPIX(x,y)と表している。
垂直走査回路(VSR)120は、制御信号生成部30で生成された駆動制御信号のうち、画素部100の駆動に必要な駆動制御信号を画素部100に供給する。例えば、垂直走査回路(VSR)120は、転送制御信号PTX、リセット制御信号PRES、選択制御信号PSEL等を画素部100に供給する。画素部100の各画素は、垂直走査回路(VSR)120から供給される駆動制御信号に従って、入射光に応じた電荷を蓄積し、電圧信号に変換して出力する。
列回路部110は、サンプルホールド回路(S/H)111及びスイッチ112を有する。サンプルホールド回路111は、垂直出力線VL1、VL2を介して、画素部100から出力された信号を保持する。スイッチ112は、水平走査回路(HSR)130によって制御され、サンプルホールド回路111に保持された信号を出力させる。
図2には、各単位画素からの、入射光に応じた光信号(sig)と、信号読み出し時の基準信号(ref)のそれぞれを画素行単位で保持できるよう1つの垂直出力線に対して2つのサンプルホールド回路111を有する列回路部を例示している。垂直出力線VL1に対して、基準信号(ref)に係るサンプルホールド回路111−r1及びスイッチ112−r1と、光信号(sig)に係るサンプルホールド回路111−s1及びスイッチ112−s1とを有する。また、垂直出力線VL2に対して、基準信号(ref)に係るサンプルホールド回路111−r2及びスイッチ112−r2と、光信号(sig)に係るサンプルホールド回路111−s2及びスイッチ112−s2とを有する。
水平走査回路(HSR)130は、制御信号生成部30で生成された駆動制御信号のうち、列回路部110に保持された信号の読み出しに必要な駆動制御信号を列回路部110に供給する。列回路部110に保持された信号(ref及びsig)は、水平走査回路(HSR)130から供給される駆動制御信号に従って、固体撮像素子10から出力される。
図1は、第1の実施形態における固体撮像素子の画素部における単位画素、及び単位画素の各部の駆動を制御するための制御信号線を示す等価回路図である。図1において、PIX(x,y)は、y行目x列目に配された単位画素であり、PIX(x,y−1)、PIX(x,y+1)は、それぞれ単位画素PIX(x,y)に隣接する行である(y−1)行目、(y+1)行目に配された単位画素である。単位画素PIX(x,y)の構成について、以下に詳細に説明する。なお、単位画素PIX(x,y−1)、PIX(x,y+1)の構成については、PIX(x,y)と同様であるため、説明は割愛する。
単位画素PIX(x,y)は、光電変換手段としての光電変換素子PDと、光電変換素子PDにおいて発生した電荷を保持するための電荷保持手段としての第1の浮遊拡散部FD1及び第2の浮遊拡散部FD2を有する。また、単位画素PIX(x,y)は、光電変換素子PDから第1の浮遊拡散部FD1への電荷転送を制御する転送手段としての第1の転送ゲートTX1を有する。また、単位画素PIX(x,y)は、光電変換素子PDから第2の浮遊拡散部FD2への電荷転送を制御する転送手段としての第2の転送ゲートTX2を有する。
各画素行間には、転送制御信号線ΦTXが1本ずつ配される。単位画素PIX(x,y)の第1の転送ゲートTX1と、隣接する(y−1)行に配された単位画素PIX(x,y−1)の第2の転送ゲートTX2には、転送制御信号PTX_yが共通の転送制御信号線ΦTX_yを介して供給される。単位画素PIX(x,y)の第2の転送ゲートTX2と、隣接する(y+1)行に配された単位画素PIX(x,y+1)の第1の転送ゲートTX1には、転送制御信号PTX_y+1が共通の転送制御信号線ΦTX_y+1を介して供給される。単位画素PIX(x,y+1)は、単位画素PIX(x,y)に対して単位画素PIX(x,y−1)とは逆方向に隣接する(y+1)行に配された画素である。
このように本実施形態では、一方の転送ゲートを制御するための転送制御信号線ΦTX_yを、隣接する2行の画素で共通化し、また、他方の転送ゲートを制御するための転送制御信号線ΦTX_y+1を、隣接する2行の画素で共通化している。転送制御信号線を隣接する2行間で共有させることで、1本の転送制御信号線によって2行分の画素の駆動を制御することが可能となる。したがって、1つの画素の第1の転送ゲートTX1と第2の転送ゲートTX2とを別々の制御信号で駆動可能なまま、従来1行当たり2本必要であった転送制御信号線を、2行当たり2本とすることができる。すなわち、転送制御信号線の本数を半分にすることが可能となるため、制御信号数の増加に伴う画素の開口率の低下を防ぐことができる。
単位画素PIX(x,y)は、第1のソースフォロワアンプSF1及び第2のソースフォロワアンプSF2を有する。第1の浮遊拡散部FD1と第1のソースフォロワアンプSF1とによって、第1の画素アンプが構成され、第1の浮遊拡散部FD1に蓄積された電荷に応じた電圧信号を出力する。同様に、第2の浮遊拡散部FD2と第2のソースフォロワアンプSF2とによって、第2の画素アンプが構成され、第2の浮遊拡散部FD2に蓄積された電荷に応じた電圧信号を出力する。
単位画素PIX(x,y)は、第1のリセットゲートRES1及び第2のリセットゲートRES2と、第1の選択スイッチSEL1及び第2の選択スイッチSEL2とを有する。第1のリセットゲートRES1は、第1の浮遊拡散部FD1及び光電変換素子PDに蓄積された電荷をリセットするためのものである。第2のリセットゲートRES2は、第2の浮遊拡散部FD2及び光電変換素子PDに蓄積された電荷をリセットするためのものである。第1のリセットゲートRES1と第2のリセットゲートRES2は、共通のリセット制御信号線ΦRES_yを介して供給されるリセット制御信号PRES_yによって制御される。
第1の選択スイッチSEL1は、第1の画素アンプから第1の垂直出力線VL1へと信号を出力させる画素を選択するためのスイッチである。第2の選択スイッチSEL2は、第2の画素アンプから第2の垂直出力線VL2へと信号を出力させる画素を選択するためのスイッチである。第1の選択スイッチSEL1と第2の選択スイッチSEL2とは、共通の選択制御信号線ΦSEL_yを介して供給される選択制御信号SEL_yによって制御される。以上が、第1の実施形態における固体撮像素子の構成である。
次に、図3及び図4を参照して、第1の実施形態における固体撮像素子の撮像動作について説明する。なお、本実施形態においては、画素部における信号の蓄積の後、画素部から信号を読み出す、という一連の動作を画素行毎に順次行う、いわゆる「ローリングシャッタ駆動」を行うものとする。
図3は、第1の実施形態における固体撮像素子での、TOF法による三次元距離計測を伴わない通常の画像信号取得を行う撮像動作の例を示す駆動タイミングチャートである。TOF法による三次元距離計測を行わない場合(通常撮像動作時)には、一度の撮像動作で異なる時間帯の信号を得る必要がないため、2つの浮遊拡散部FD1、FD2の双方を使用して信号の蓄積を行う必要がない。したがって、通常の撮像動作では、一方の浮遊拡散部のみを使用して信号の読み出しを行い、画像信号を生成するようにすればよい。以下では、第1の浮遊拡散部FD1のみを使用して信号の読み出しを行うものとして説明する。
以下、図3を用いて、通常の撮像動作におけるy行目の画素の信号読み出し動作を説明する。時刻T301にて、選択制御信号PSEL_yがハイレベルとなり、y行目の画素の選択スイッチSEL1、SEL2がオンされる。これにより、y行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1に接続され、y行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2に接続される。
時刻T302にて、リセット制御信号PRES_yがローレベルとなることで、y行目の画素のリセットゲートRES1、RES2がオフされ、浮遊拡散部FD1、FD2のリセットが解除される。時刻T303にて、y行目の画素のリセットが解除された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号ref1が、垂直出力線VL1を介してサンプルホールド回路111−r1に保持される。また、y行目の画素のリセットが解除された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号ref2が、垂直出力線VL2を介してサンプルホールド回路111−r2に保持される。
時刻T304にて、転送制御信号PTX_yがハイレベルとなることで、y行目の画素の第1の転送ゲートTX1がオンされ、それまでに光電変換素子PDに蓄積されていた電荷が、第1の浮遊拡散部FD1に読み出される。このとき、転送制御信号PTX_yによって、(y−1)行目の画素の第2の転送ゲートTX2も同時にオンされ、(y−1)行目の画素の光電変換素子PDから第2の浮遊拡散部FD2に電荷が読み出される。しかし、(y−1)行目の画素に供給されるリセット制御信号PRES_y−1がハイレベルであるので、(y−1)行目の画素の第2の浮遊拡散部FD2に読み出された電荷は、蓄積されずにリセットされる。
時刻T305にて、転送制御信号PTX_yがローレベルとなることで、y行目の画素の第1の転送ゲートTX1がオフされ、y行目の画素の光電変換素子PDから第1の浮遊拡散部FD1への電荷の読み出しが終了する。また、(y−1)行目の画素の第2の転送ゲートTX2がオフされ、(y−1)行目の画素の光電変換素子PDから第2の浮遊拡散部FD2への電荷の読み出しが終了する。
時刻T306にて、y行目の画素の光電変換素子PDから電荷が読み出された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号sig1が、垂直出力線VL1を介してサンプルホールド回路111−s1に保持される。また、y行目の画素の光電変換素子PDから電荷が読み出されていない第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号sig2が、垂直出力線VL2を介してサンプルホールド回路111−s2に保持される。
時刻T307にて、リセット制御信号PRES_yがハイレベルとなることで、y行目の画素のリセットゲートRES1、RES2がオンされ、浮遊拡散部FD1、FD2のリセットが開始される。時刻T308にて、選択制御信号PSEL_yがローレベルとなり、y行目の画素の選択スイッチSEL1、SEL2がオフされる。これにより、y行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1から切断され、y行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2から切断される。
その後、時刻T309までの間に、スイッチ112を制御して、サンプルホールド回路111に保持された信号ref1、ref2、sig1、sig2を、画素列毎に固体撮像素子から順次出力させる。以上の時刻T301〜時刻T309の動作が、y行目の画素行の読み出し動作である。この動作を、制御信号を供給する対象行を順次切り替えながらj回繰り返すことで、画素部100に配された1行目〜j行目の画素から信号を読み出して、1フレーム分の読み出し動作を完了する。
以上が、本実施形態における固体撮像素子での通常の撮像動作である。前述した撮像動作によって読み出された信号ref1、ref2、sig1、sig2のうち、光電変換素子PDからの電荷信号に対応した信号sig1と、その基準信号ref1とを使用して通常の画像信号を生成すればよい。
図4は、第1の実施形態における固体撮像素子での、TOF法による三次元距離計測を行う際の距離画像取得を行う撮像動作の例を示す駆動タイミングチャートである。距離画像の取得を行う場合(距離画像取得動作時)には、一度の撮像動作で異なる時間帯の信号を蓄積する必要があるため、2つの浮遊拡散部FD1、FD2の双方を使用して信号の読み出しを行う。
以下、図4を用いて、TOF法による三次元距離計測を行う際の距離画像取得を行う撮像動作におけるy行目の画素の信号読み出し動作を説明する。時刻T401にて、選択制御信号PSEL_yがハイレベルとなり、y行目の画素の選択スイッチSEL1、SEL2がオンされる。これにより、y行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1に接続され、y行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2に接続される。
時刻T402にて、転送制御信号PTX_yがハイレベルとなることで、y行目の画素の第1の転送ゲートTX1がオンされ、転送制御信号PTX_y+1がハイレベルとなることで、y行目の画素の第2の転送ゲートTX2がオンされる。このとき、リセット制御信号PRES_yがハイレベルであるため、y行目の画素の光電変換素子PDに蓄積された電荷がリセットされる。
なお、同時に、転送制御信号PTX_yによって、(y−1)行目の画素の第2の転送ゲートTX2がオンされ、転送制御信号PTX_y+1によって、(y+1)行目の画素の第1の転送ゲートTX1がオンされる。このとき、リセット制御信号PRES_y−1、PRES_y+1がともにハイレベルであるため、(y−1)行目及び(y+1)行目の画素の光電変換素子PD及び浮遊拡散部FD1、FD2に蓄積された電荷もまた、リセットされる。
時刻T403にて、転送制御信号PTX_y、PTX_y+1がともにローレベルとなり、y行目の画素の転送ゲートTX1、TX2がオフされる。同時に、リセット制御信号PRES_yがローレベルとなり、y行目の画素のリセットゲートRES1、RES2がオフされ、浮遊拡散部FD1、FD2のリセットが解除される。なお、同時に、転送制御信号PTX_yによって、(y−1)行目の画素の第2の転送ゲートTX2がオフされ、転送制御信号PTX_y+1によって、(y+1)行目の画素の第1の転送ゲートTX1がオフされる。
時刻T404にて、y行目の画素のリセットが解除された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号ref1が、垂直出力線VL1を介してサンプルホールド回路111−r1に保持される。また、y行目の画素のリセットが解除された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号ref2が、垂直出力線VL2を介してサンプルホールド回路111−r2に保持される。
時刻T405にて、転送制御信号PTX_yがハイレベルとなることで、y行目の画素の第1の転送ゲートTX1がオンされ、リセット解除後に光電変換素子PDで発生した電荷が、第1の浮遊拡散部FD1に読み出される。このとき、転送制御信号PTX_yによって、(y−1)行目の画素の第2の転送ゲートTX2も同時にオンされ、(y−1)行目の画素の光電変換素子PDから第2の浮遊拡散部FD2に電荷が読み出される。しかし、(y−1)行目の画素に供給されるリセット制御信号PRES_y−1がハイレベルであるので、(y−1)行目の画素の第2の浮遊拡散部FD2に読み出された電荷は、蓄積されずにリセットされる。
時刻T406にて、転送制御信号PTX_yがローレベルとなることで、y行目の画素の第1の転送ゲートTX1がオフされ、y行目の画素の光電変換素子PDから第1の浮遊拡散部FD1への電荷の読み出しが終了する。また、転送制御信号PTX_yによって、(y−1)行目の画素の第2の転送ゲートTX2も同時にオフされる。
これと同時に、転送制御信号PTX_y+1がハイレベルとなることで、y行目の画素の第2の転送ゲートTX2がオンされ、時刻T406以降に光電変換素子PDで発生した電荷が、第2の浮遊拡散部FD2に読み出される。このとき、転送制御信号PTX_y+1によって、(y+1)行目の画素の第1の転送ゲートTX1も同時にオンされ、(y+1)行目の画素の光電変換素子PDから第1の浮遊拡散部FD1に電荷が読み出される。しかし、(y+1)行目の画素に供給されるリセット制御信号PRES_y+1がハイレベルであるので、(y+1)行目の画素の第1の浮遊拡散部FD1に読み出された電荷は、蓄積されずにリセットされる。
また、転送制御信号PTX_y、PTX_y+1と同期して、時刻T406を跨ぐようにハイレベルの投光制御信号PLightが光源部20に対して供給される。光源部20は、投光制御信号PLightがハイレベルである期間は点灯し、ローレベルである期間は消灯する。光源部20から投光された光は、測距対象(対象物)に反射し、撮像装置から測距対象までの距離に応じた遅延時間の後、固体撮像素子に到達する。y行目の画素の光電変換素子PDにおいて、時刻T406以前に固体撮像素子に到達した光により発生した電荷は、第1の浮遊拡散部FD1に転送され、時刻T406以降に固体撮像素子に到達した光により発生した電荷は、第2の浮遊拡散部FD2に転送される。
時刻T407にて、転送制御信号PTX_y+1がローレベルとなることで、y行目の画素の第2の転送ゲートTX2がオフされ、y行目の画素の光電変換素子PDから第2の浮遊拡散部FD2への電荷転送が終了され、y行目の画素の信号蓄積が終了される。なお、このとき、転送制御信号PTX_y+1によって、(y+1)行目の画素の第1の転送ゲートTX1も同時にオフされる。
時刻T408にて、y行目の画素の時刻T406以前に光電変換素子PDで発生した電荷が蓄積された第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号sig1が、垂直出力線VL1を介してサンプルホールド回路111−s1に保持される。また、y行目の画素の時刻T406以降に光電変換素子PDで発生した電荷が蓄積された第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号sig2が、垂直出力線VL2を介してサンプルホールド回路111−s2に保持される。
時刻T409にて、リセット制御信号PRES_yがハイレベルとなることで、y行目の画素のリセットゲートRES1、RES2がオンされ、浮遊拡散部FD1、FD2のリセットが開始される。時刻T410にて、選択制御信号PSEL_yがローレベルとなり、y行目の画素の選択スイッチSEL1、SEL2がオフされる。これにより、y行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1から切断され、y行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2から切断される。
その後、時刻T411までの間に、スイッチ112を制御して、サンプルホールド回路111に保持された信号ref1、ref2、sig1、sig2を、画素列毎に固体撮像素子から順次出力させる。以上の時刻T401〜時刻T411の動作が、y行目の画素行の読み出し動作である。この動作を、制御信号を供給する対象行を順次切り替えながらj回繰り返すことで、画素部100に配された1行目〜j行目の画素から信号を読み出して、1フレーム分の読み出し動作を完了する。
以上が、本実施形態における固体撮像素子での距離画像取得の撮像動作である。前述した撮像動作によって読み出された信号のうち、第1の浮遊拡散部FD1に蓄積された電荷信号に対応した信号sig1と、その基準信号ref1を使用して、第1の反射光画像を生成する。第1の反射光画像は、被写体からの反射光によって、時刻T403から時刻T406までの期間に光電変換素子PDで発生した電荷に対応するものである。また、第2の浮遊拡散部FD2に蓄積された電荷信号に対応した信号sig2と、その基準信号ref2を使用して、第2の反射光画像を生成する。第2の反射光画像は、被写体からの反射光によって、時刻T406から時刻T407までの期間に光電変換素子PDで発生した電荷に対応するものである。生成した第1の反射光画像と第2の反射光画像との信号の比を用いて光飛行時間を演算し、測距対象までの距離を導出し距離画像を生成すればよい。
以上のように、第1の実施形態では、隣接する2行の画素の双方に、転送制御信号線ΦTXからの転送制御信号PTXを供給する。これにより、各画素の第1の転送ゲートTX1と第2の転送ゲートTX2を別々の制御信号で駆動可能でありながら、転送制御信号線の数を1行当たり2本から1本に削減することが可能である。したがって、1画素あたり2つの転送ゲートの各々を、開口率を低下させることなく別々の制御信号で駆動することができ、固体撮像素子の感度を低下させずに光飛行時間を計測することが可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
前述した第1の実施形態においては、光電変換素子PDにおいて発生した電荷を、第1の浮遊拡散部FD1及び第2の浮遊拡散部FD2に転送して蓄積するよう駆動している。一般に、浮遊拡散部には暗電流等のノイズが混入しやすく、浮遊拡散部における信号の保持期間が長いほどノイズの影響が多くなるため、浮遊拡散部は長期間の電荷保持には適していないことが知られている。したがって、第1の実施形態では、画素部における信号の蓄積の後、画素部から信号を読み出す、という一連の動作を画素行毎に順次行う、「ローリングシャッタ駆動」を行うようにしていた。
「ローリングシャッタ駆動」は、画素行毎に異なる時刻の信号が蓄積されるため、同じ1フレーム内の信号同士であっても蓄積時刻の同時性が得られない。一方で、同じ1フレーム内の全画素の信号が同時に蓄積される、いわゆる「グローバルシャッタ駆動」が知られている。「グローバルシャッタ駆動」では、リセット期間、蓄積期間の動作を全画素同時に行った後、画素行毎に順次信号の読み出しを行うため、同じ1フレーム内の信号同士で蓄積時刻の同時性が保たれる。
しかし、第1の実施形態における固体撮像素子は、「グローバルシャッタ駆動」に適した構成にはなっていない。なぜならば、第1の実施形態に示した構成の固体撮像素子で「グローバルシャッタ駆動」を行う場合、全画素一斉に光電変換素子から浮遊拡散部へ電荷を転送した後、各行の画素の浮遊拡散部に、その行から信号が読み出されるまで電荷を保持しておくことになる。したがって、各行の画素の浮遊拡散部から、画素行毎に順次信号を読み出していくうちに、後の順序で読み出される画素行の浮遊拡散部が、より大きくノイズの影響を受けて、精度の高い距離情報を得ることが困難となってしまうためである。
第2の実施形態では、「グローバルシャッタ駆動」に適した固体撮像素子について説明する。以下、図5及び図6を参照して、第2の実施形態における固体撮像素子の構成について説明する。図5は、第2の実施形態における固体撮像素子の画素部における単位画素、及び単位画素の各部の駆動を制御するための制御信号線を示す等価回路図である。第1の実施形態とは、各単位画素が、第1の画素内メモリC1、第2の画素内メモリC2、第1の読み出しゲートRO1、及び第2の読み出しゲートRO2を有する点が異なる。
電荷保持手段としての第1の画素内メモリC1及び第2の画素内メモリC2は、光電変換素子PDにおいて発生した電荷を保持するためのメモリ(容量)である。第1の転送ゲートTX1は、光電変換素子PDから第1の画素内メモリC1への電荷転送を制御する。また、第2の転送ゲートTX2は、光電変換素子PDから第2の画素内メモリC2への電荷転送を制御する。図5に示すように、光電変換素子PDは、第1の転送ゲートTX1を介して第1の画素内メモリC1に接続され、第2の転送ゲートTX2を介して第2の画素内メモリC2に接続される。
第1の転送ゲートTX1は、第1の転送制御信号線ΦTX1を介して供給される第1の転送制御信号PTX1によって制御される。第2の転送ゲートTX2は、第2の転送制御信号線ΦTX2を介して供給される第2の転送制御信号PTX2によって制御される。単位画素PIX(x,y)及び隣接する(y−1)行に配された単位画素PIX(x,y−1)の第1の転送ゲートTX1には、第1の転送制御信号PTX1が共通の第1の転送制御信号線ΦTX1を介して供給される。単位画素PIX(x,y)及び隣接する(y+1)行に配された単位画素PIX(x,y+1)の第2の転送ゲートTX2には、第2の転送制御信号PTX2が共通の第2の転送制御信号線ΦTX2を介して供給される。単位画素PIX(x,y+1)は、単位画素PIX(x,y)に対して単位画素PIX(x,y−1)とは逆方向に隣接する(y+1)行に配された画素である。
このように本実施形態では、隣接する2行の画素で第1の転送制御信号線ΦTX1を共通化し、また、隣接する2行の画素で第2の転送制御信号線ΦTX2を共通化している。転送制御信号線を隣接する2行間で共有させることで、1本の転送制御信号線によって2行分の画素の駆動を制御することが可能となる。したがって、1つの画素の第1の転送ゲートTX1と第2の転送ゲートTX2とを別々の制御信号で駆動可能なまま、従来1行当たり2本必要であった転送制御信号線を、2行当たり2本とすることができ、転送制御信号線の本数を半分にすることが可能となる。
第1の読み出しゲートRO1は、第1の画素内メモリC1から第1の浮遊拡散部FD1への電荷の読み出しを制御する。第2の読み出しゲートRO2は、第2の画素内メモリC2から第2の浮遊拡散部FD2への電荷の読み出しを制御する。図5に示すように、第1の画素内メモリC1は、第1の読み出しゲートRO1を介して第1の浮遊拡散部FD1に接続され、第2の画素内メモリC2は、第2の読み出しゲートRO2を介して第2の浮遊拡散部FD2に接続される。第1の読み出しゲートRO1及び第2の読み出しゲートRO2は、共通の読み出し制御信号線ΦRO_yを介して供給される、読み出し制御信号PRO_yによって制御される。単位画素内のその他の構成要素については、第1の実施形態と同様であるので、説明は割愛する。
以上に述べたように、本実施形態では、暗電流等のノイズが混入しやすい浮遊拡散部の他に、電荷保持手段として、ノイズの影響の少ない画素内メモリを設ける。これにより、1フレームの読み出しを行う間、ノイズによって信号を劣化させることなく、電荷を画素部で保持することが可能となる。なお、本実施形態では、画素内メモリから浮遊拡散部への電荷の読み出し制御のために読み出し制御信号線ΦRO_yが配線されるため、第1の実施形態と比較して、画素の開口率は低下する。しかし、従来の固体撮像素子では1行当たり2本必要であった転送制御信号線を半数に削減させることで、必要な制御信号の増加による開口率への影響を低減させている。
図6は、第2の実施形態における固体撮像素子の構成例を示すブロック図である。第1の実施形態においては、「ローリングシャッタ駆動」を行うために転送制御信号PTX1、PTX2を、画素行毎に異なる期間に供給するようにしていた。一方、第2の実施形態では、「グローバルシャッタ駆動」を行うため、転送制御信号PTX1、PTX2を全画素に対して同時に供給するようにしている。
具体的には、図6に示すように、各画素行間に1行おきに配線された第1の転送制御信号線ΦTX1を介して、その上下に配された画素行の画素の第1の転送ゲートTX1に対して第1の転送制御信号PTX1を供給する。また、各画素行間に1行おきに配線された第2の転送制御信号線ΦTX2を介して、その上下に配された画素行の画素の第2の転送ゲートTX2に対して第2の転送制御信号PTX2を供給する。他の各ブロックの詳細については、第1の実施形態と同様の構成であるため、説明は割愛する。以上が、第2の実施形態における固体撮像素子の構成である。
次に、図7及び図8を参照して、第2の実施形態における固体撮像素子の撮像動作について説明する。なお、固体撮像素子の読み出し動作は、リセット期間、蓄積期間、及び読み出し期間の3つの期間に大別される。リセット期間は、光電変換素子及び画素内メモリの電荷をリセットする期間であり、蓄積期間は、光電変換素子で発生した電荷を画素内メモリに蓄積する期間であり、読み出し期間は、画素内メモリに蓄積され保持された電荷を読み出す期間である。第2の実施形態における固体撮像素子の撮像動作においては、リセット期間及び蓄積期間の駆動を全画素同時に行い、読み出し期間の駆動は画素行毎に順次行う、「グローバルシャッタ駆動」を行うものとする。
図7は、第2の実施形態における固体撮像素子での、TOF法による三次元距離計測を伴わない通常の画像信号取得を行う撮像動作の例を示す駆動タイミングチャートである。TOF法による三次元距離計測を行わない場合(通常撮像動作時)には、一度の撮像動作で異なる時間帯の信号を得る必要がないため、2つの画素内メモリC1、C2の双方を使用して信号の蓄積を行う必要がない。したがって、通常の撮像動作では、一方の画素内メモリのみを使用して信号の蓄積を行い、蓄積を行った側の画素内メモリから読み出した信号のみを用いて、画像信号を生成するようにすればよい。以下では、第1の画素内メモリC1のみを使用して信号の蓄積を行うものとして説明する。
リセット期間においては、リセット制御信号PRES_1〜PRES_j及び読み出し制御信号PRO_1〜PRO_jがともにハイレベルであるため、すべての画素のリセットゲートRES1、RES2及び読み出しゲートRO1、RO2がオンする。また、第1の転送制御信号PTX1がハイレベルであるため、すべての画素の第1の転送ゲートTX1がオンしている。したがって、全画素行の浮遊拡散部FD1、FD2、画素内メモリC1、C2、及び光電変換素子PDがリセットされた状態となっている。
時刻T101にて、読み出し制御信号PRO_1〜PRO_jがローレベルとなり、すべての画素の読み出しゲートRO1、RO2がオフされ、画素内メモリC1、C2及び光電変換素子PDのリセットが全画素同時に解除されることでリセット期間が終了する。それと同時に蓄積期間が開始される。このとき、第1の転送制御信号PTX1はハイレベルであり、第1の転送ゲートTX1はオンしたままであるため、光電変換素子PDで発生した電荷は、第1の画素内メモリC1に転送され蓄積される。また、第2の転送制御信号PTX2はローレベルであり、第2の転送ゲートTX2はオフしたままであるため、第2の画素内メモリC2には、リセット解除された時点での電荷が保持される。
所望の蓄積時間が経過した後、時刻T102にて、第1の転送制御信号PTX1がローレベルとなり、すべての画素の第1の転送ゲートTX1がオフされる。これにより、光電変換素子PDから第1の画素内メモリC1への電荷転送が全画素行で同時に終了し、蓄積期間が終了する。蓄積期間が終了した後、読み出し期間が開始され、画素内メモリC1、C2に蓄積、保持された信号の読み出しが画素行毎に行われる。
時刻T103にて、選択制御信号PSEL_1がハイレベルとなり、1行目(y=1)の画素の選択スイッチSEL1、SEL2がオンされる。これにより、1行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1に接続され、1行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2に接続される。
時刻T104にて、リセット制御信号PRES_1がローレベルとなることで、1行目の画素のリセットゲートRES1、RES2がオフされ、浮遊拡散部FD1、FD2のリセットが解除される。時刻T105にて、1行目の画素のリセットが解除された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号ref1が、垂直出力線VL1を介してサンプルホールド回路111−r1に保持される。また、1行目の画素のリセットが解除された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号ref2が、垂直出力線VL2を介してサンプルホールド回路111−r2に保持される。
時刻T106にて、読み出し制御信号PRO_1がハイレベルとなることで、1行目の画素の読み出しゲートRO1がオンされ、第1の画素内メモリC1に蓄積、保持された電荷が、第1の浮遊拡散部FD1に読み出される。また、同時に1行目の画素の読み出しゲートRO2がオンされ、第2の画素内メモリC2に蓄積、保持された電荷が、第2の浮遊拡散部FD2に読み出される。時刻T107にて、読み出し制御信号PRO_1がローレベルとなることで、1行目の画素の読み出しゲートRO1、RO2がオフされ、画素内メモリC1、C2から浮遊拡散部FD1、FD2への電荷の読み出しが終了する。
時刻T108にて、1行目の画素の第1の画素内メモリC1から電荷が読み出された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号sig1が、垂直出力線VL1を介してサンプルホールド回路111−s1に保持される。また、1行目の画素の第2の画素内メモリC2から電荷が読み出された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号sig2が、垂直出力線VL2を介してサンプルホールド回路111−s2に保持される。
時刻T109にて、リセット制御信号PRES_1がハイレベルとなることで、1行目の画素のリセットゲートRES1、RES2がオンされ、浮遊拡散部FD1、FD2のリセットが開始される。時刻T110にて、選択制御信号PSEL_1がローレベルとなり、1行目の画素の選択スイッチSEL1、SEL2がオフされる。これにより、1行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1から切断され、1行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2から切断される。
その後、時刻T111までの間に、スイッチ112を制御して、サンプルホールド回路111に保持された信号ref1、ref2、sig1、sig2を、画素列毎に固体撮像素子から順次出力させる。以上の時刻T103〜時刻T111の動作が、1行目(y=1)の画素行の読み出し動作である。この動作を、制御信号を供給する対象行を順次切り替えながらj回繰り返すことで、画素部100に配された1行目〜j行目の画素から信号を読み出して、1フレーム分の読み出し期間を完了する。
以上が、本実施形態における固体撮像素子での通常の撮像動作である。前述した撮像動作によって読み出された信号ref1、ref2、sig1、sig2のうち、光電変換素子PDからの電荷信号に対応した信号sig1と、その基準信号ref1を使用して通常の画像信号を生成すればよい。
図8は、第2の実施形態における固体撮像素子での、TOF法による三次元距離計測を行う際の距離画像取得を行う撮像動作の例を示す駆動タイミングチャートである。距離画像の取得を行う場合(距離画像取得動作時)には、一度の撮像動作で異なる時間帯の信号を蓄積する必要があるため、2つの画素内メモリC1、C2の双方を使用して信号の蓄積を行う。
リセット期間には、リセット制御信号PRES_1〜PRES_j及び読み出し制御信号PRO_1〜PRO_jがともにハイレベルであるため、すべての画素のリセットゲートRES1、RES2及び読み出しゲートRO1、RO2がオンする。また、転送制御信号PTX1、PTX2がハイレベルであるため、すべての画素の転送ゲートTX1、TX2がオンしている。したがって、全画素行の浮遊拡散部FD1、FD2、画素内メモリC1、C2、及び光電変換素子PDがリセットされた状態となっている。
時刻T201にて、読み出し制御信号PRO_1〜PRO_jがローレベルとなり、すべての画素の読み出しゲートRO1、RO2がオフされ、画素内メモリC1、C2及び光電変換素子PDのリセットが全画素行で同時に解除される。これによりリセット期間が終了し、蓄積期間が開始される。リセット期間の終了と同時に、第2の転送制御信号PTX2がローレベルとなり、すべての画素の第2の転送ゲートTX2がオフされる。一方、第1の転送制御信号PTX1はハイレベルのままであり、すべての画素の第1の転送ゲートTX1はオンしたままであるため、光電変換素子PDで発生した電荷は、第1の画素内メモリC1に転送され蓄積される。
時刻T202にて、第1の転送制御信号PTX1がローレベルとなり、すべての画素の第1の転送ゲートTX1がオフされると同時に、第2の転送制御信号PTX2がハイレベルとなり、すべての画素の第2の転送ゲートTX2がオンされる。この動作により、光電変換素子PDから第1の画素内メモリC1への電荷転送が終了されると同時に、光電変換素子PDから第2の画素内メモリC2への電荷転送が開始される。
このとき、転送制御信号PTX1、PTX2と同期して、時刻T202を跨ぐようにハイレベルの投光制御信号PLightが光源部20に対して供給される。光源部20は、投光制御信号PLightがハイレベルである期間は点灯し、ローレベルである期間は消灯する。光源部20から投光された光は、測距対象(対象物)に反射し、撮像装置から測距対象までの距離に応じた遅延時間の後、固体撮像素子に到達する。時刻T202以前に固体撮像素子に到達した光により発生した電荷は、第1の画素内メモリC1に転送され、時刻T202以降に固体撮像素子に到達した光により発生した電荷は、第2の画素内メモリC2に転送される。
時刻T203にて、第2の転送制御信号PTX2がローレベルとなり、すべての画素の第2の転送ゲートTX2がオフされることで、光電変換素子PDから第2の画素内メモリC2への電荷転送が終了され、蓄積期間が終了される。蓄積期間が終了した後、読み出し期間が開始され、画素内メモリC1、C2に蓄積、保持された信号の読み出しが画素行毎に行われる。
時刻T204にて、選択制御信号PSEL_1がハイレベルとなり、1行目(y=1)の画素の選択スイッチSEL1、SEL2がオンされる。これにより、1行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1に接続され、1行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2に接続される。
時刻T205にて、リセット制御信号PRES_1がローレベルとなることで、1行目の画素のリセットゲートRES1、RES2がオフされ、浮遊拡散部FD1、FD2のリセットが解除される。時刻T206にて、1行目の画素のリセットが解除された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号ref1が、垂直出力線VL1を介してサンプルホールド回路111−r1に保持される。また、1行目の画素のリセットが解除された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号ref2が、垂直出力線VL2を介してサンプルホールド回路111−r2に保持される。
時刻T207にて、読み出し制御信号PRO_1がハイレベルとなることで、1行目の画素の読み出しゲートRO1がオンされ、第1の画素内メモリC1に蓄積、保持された電荷が、第1の浮遊拡散部FD1に読み出される。また、同時に1行目の画素の読み出しゲートRO2がオンされ、第2の画素内メモリC2に蓄積、保持された電荷が、第2の浮遊拡散部FD2に読み出される。時刻T208にて、読み出し制御信号PRO_1がローレベルとなることで、1行目の画素の読み出しゲートRO1、RO2がオフされ、画素内メモリC1、C2から浮遊拡散部FD1、FD2への電荷の読み出しが終了する。
時刻T209にて、1行目の画素の第1の画素内メモリC1から電荷が読み出された状態の第1の浮遊拡散部FD1に応じた第1の画素アンプからの出力信号sig1が、垂直出力線VL1を介してサンプルホールド回路111−s1に保持される。また、1行目の画素の第2の画素内メモリC2から電荷が読み出された状態の第2の浮遊拡散部FD2に応じた第2の画素アンプからの出力信号sig2が、垂直出力線VL2を介してサンプルホールド回路111−s2に保持される。
時刻T210にて、リセット制御信号PRES_1がハイレベルとなることで、1行目の画素のリセットゲートRES1、RES2がオンされ、浮遊拡散部FD1、FD2のリセットが開始される。時刻T211にて、選択制御信号PSEL_1がローレベルとなり、1行目の画素の選択スイッチSEL1、SEL2がオフされる。これにより、1行目の画素の第1の画素アンプの出力ノードが垂直出力線VL1から切断され、1行目の画素の第2の画素アンプの出力ノードが垂直出力線VL2から切断される。
その後、時刻T212までの間に、スイッチ112を制御して、サンプルホールド回路111に保持された信号ref1、ref2、sig1、sig2を、画素列毎に固体撮像素子から順次出力させる。以上の時刻T204〜時刻T212の動作が、1行目(y=1)の画素行の読み出し動作である。この動作を、制御信号を供給する対象行を順次切り替えながらj回繰り返すことで、画素部100に配された1行目〜j行目の画素から信号を読み出して、1フレーム分の読み出し期間を完了する。
以上が、本実施形態における固体撮像素子での距離画像取得の撮像動作である。前述した撮像動作によって読み出された信号のうち、第1の画素内メモリC1に蓄積された電荷信号に対応した信号sig1と、その基準信号ref1を使用して、第1の反射光画像を生成する。第1の反射光画像は、被写体からの反射光によって、時刻T201から時刻T202までの期間に光電変換素子PDで発生した電荷に対応するものである。また、第2の画素内メモリC2に蓄積された電荷信号に対応した信号sig2と、その基準信号ref2を使用して、第2の反射光画像を生成する。第2の反射光画像は、被写体からの反射光によって、時刻T202から時刻T203までの期間に光電変換素子PDで発生した電荷に対応するものである。生成した第1の反射光画像と第2の反射光画像との信号の比を用いて光飛行時間を演算し、測距対象までの距離を導出し距離画像を生成すればよい。
以上のように、第2の実施形態では、電荷保持手段としてノイズの影響の少ない画素内メモリを設け、全画素の画素内メモリで同時に信号を蓄積させる。これにより、1フレームの読み出しを行う間、ノイズによって信号を劣化させることなく、電荷を画素部で保持することが可能となる。
また、隣接する2行の画素で第1の転送制御信号線ΦTX1を共通化し、また、隣接する2行の画素で第2の転送制御信号線ΦTX2を共通化する。これにより、各画素の第1の転送ゲートTX1と第2の転送ゲートTX2を別々の制御信号で駆動可能でありながら、転送制御信号線の数を1行当たり2本から1本に削減することが可能である。したがって、1画素あたり2つの転送ゲートの各々を、開口率を低下させることなく別々の制御信号で駆動することができ、必要な制御信号の増加による開口率への影響を低減しつつ、光飛行時間を計測することが可能となる。
以下、図9及び図10を参照して、第2の実施形態における固体撮像素子の他の構成例について説明する。図9は、第2の実施形態における固体撮像素子の他の構成例を示すブロック図である。図6に示した例においては、転送制御信号線ΦTX1、ΦTX2を水平方向に伸長する構成としている。そして、隣接する2行の画素に対して、共通の第1の転送制御信号線ΦTX1から第1の転送制御信号PTX1を供給し、隣接する2行の画素に対して、共通の第2の転送制御信号線ΦTX2から第2の転送制御信号PTX2を供給するようにしている。
図9に示す例では、転送制御信号線ΦTX1、ΦTX2を垂直方向に伸長する構成としている。そして、隣接する2列の画素に対して、共通の第1の転送制御信号線ΦTX1から第1の転送制御信号PTX1を供給し、隣接する2列の画素に対して、共通の第2の転送制御信号線ΦTX2から第2の転送制御信号PTX2を供給する。このように、隣接する2列の画素で第1の転送制御信号線ΦTX1を共通化し、また、隣接する2列の画素で第2の転送制御信号線ΦTX2を共通化している。これにより、転送制御信号線を垂直方向に伸長する構成であっても、転送制御信号線の数を1列当たり2本から1本に削減して、1つの画素の第1の転送ゲートTX1と第2の転送ゲートTX2を別々の制御信号で駆動することが可能となる。他の各ブロックの詳細については、第1の実施形態と同様の構成であるため、説明は割愛する。
図10は、図9に示した固体撮像素子の画素部における単位画素、及び単位画素の各部の駆動を制御するための制御信号線を示す等価回路図である。図10において、PIX(x,y)は、y行目x列目に配された単位画素であり、PIX(x−1,y)、PIX(x+1,y)は、それぞれ単位画素PIX(x,y)に隣接する列である(x−1)列目、(x+1)列目に配された単位画素である。各単位画素内の構成については、図5に示した単位画素と同様であるため、説明は割愛する。
図10に示すように、単位画素PIX(x,y)及び隣接する(x−1)列に配された単位画素PIX(x−1,y)の第1の転送ゲートTX1には、第1の転送制御信号PTX1が共通の第1の転送制御信号線ΦTX1を介して供給される。また、単位画素PIX(x,y)及び隣接する(x+1)列に配された単位画素PIX(x+1,y)の第2の転送ゲートTX2には、第2の転送制御信号PTX2が共通の第2の転送制御信号線ΦTX2を介して供給される。単位画素PIX(x+1,y)は、単位画素PIX(x,y)に対して単位画素PIX(x−1,y)とは逆方向に隣接する(x+1)列に配された画素である。
このように、図9及び図10に示した固体撮像素子では、隣接する2列の画素で第1の転送制御信号線ΦTX1を共通化し、また、隣接する2列の画素で第2の転送制御信号線ΦTX2を共通化している。転送制御信号線を隣接する2列間で共有させることで、1本の転送制御信号線によって2列分の画素の駆動を制御することが可能となる。したがって、1つの画素の第1の転送ゲートTX1と第2の転送ゲートTX2とを別々の制御信号で駆動可能なまま、従来1列当たり2本必要であった転送制御信号線を、2列当たり2本とすることができる。すなわち、転送制御信号線の本数を半分にすることが可能となるため、制御信号数の増加に伴う画素の開口率の低下を防ぐことができる。
図9及び図10に示した固体撮像素子の撮像動作については、前述した第2の実施形態における動作と同様であるので、説明は割愛する。
以上のように、隣接する2列の画素で第1の転送制御信号線ΦTX1を共通化し、また、隣接する2列の画素で第2の転送制御信号線ΦTX2を共通化する。これにより、各画素の第1の転送ゲートTX1と第2の転送ゲートTX2を別々の制御信号で駆動可能でありながら、転送制御信号線の数を1列当たり2本から1本に削減することが可能である。したがって、1画素あたり2つの転送ゲートの各々を、開口率を低下させることなく別々の制御信号で駆動することができ、必要な制御信号の増加による開口率への影響を低減しつつ、光飛行時間を計測することが可能となる。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。