以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
図1は、実施の形態に係る固体撮像装置のブロック図である。この固体撮像装置は、撮像素子と制御回路とを備えている。
この撮像素子は、N個の画素列(N1,N2,N3)が隣接して並んでなる撮像ブロックB1,B2,B3が、K個(本例ではK=3)並んでなる撮像領域を有している。各撮像ブロックの左からの順番をk番目とする。なお、図2に各画素列を構成する各画素P(x,y)の詳細構成を示す。
画素P(x,y)は、ホトダイオードPD1(x,y)と、ホトダイオードPD1(x,y)のカソードとリセット電位Vrとの間に接続されたリセットスイッチQreset(x,y)と、ホトダイオードPD1(x,y)のカソードが入力端子に接続されたアンプAMP(x,y)と、アンプAMP(x,y)とビデオラインLnとの間に接続されたアドレススイッチQaddress(x,y)とを備えている。
アドレススイッチQaddress(x,y)に、ハイレベルのシフト信号(垂直)Vshift(y)を入力することで、アンプAMP(x,y)で増幅した画素信号を、ビデオラインLnに転送する状態ができる。ホトダイオードPD1(x,y)に入射した光量に応じて蓄積された電荷が、アンプAMP(x,y)で増幅され、ビデオラインLnに電圧として出力される。その後、ハイレベルのリセット信号(垂直)Vreset(y)をリセットスイッチQresetに入力し、これをONすると、ホトダイオードPD1(x、y)に蓄積された電荷がリセットされる。
また、画素P(x,y)は、ホトダイオードPD2(x,y)と、ホトダイオードPD3(x,y)とを備えている。ホトダイオードPD2(x,y)に入射した光量に応じて蓄積された電荷は、列方向輝度プロファイルラインLVPnに電流として出力される。ホトダイオードPD3(x,y)に入射した光量に応じて蓄積された電荷は、行方向輝度プロファイルラインLHPんに電流として出力される。
なお、画素P(x,y)は、半導体基板上に形成され、主撮像部、列方向検出撮像部、及び、行方向検出撮像部を有している(例えば、主撮像部、列方向検出撮像部、及び、行方向検出撮像部は点線で囲われた領域である)。ホトダイオードPD1(x,y)、ホトダイオードPD2(x,y)、及び、ホトダイオードPD3(x,y)は、それぞれ、この主撮像部、列方向検出撮像部、及び、行方向検出撮像部に形成されている。
本例の画素P(x,y)は、行方向(x)に沿って9個、列方向(y)に沿って9個あり、アドレス(x,y)で規定される二次元状に配置されている。本例では、撮像領域中央に部分読み出し領域Rを設定し、部分読み出し領域Rの内部の画素P(x,y)の信号を読み出すこととする。
この部分読み出し領域Rは、画像データ演算部10によって指定される。画像データ演算部10は、入力されるディジタルビデオ信号に応じて部分読み出し領域Rを指定する。すなわち、例えば、ディジタルビデオ信号における1フレームの画像において、輝度が所定値以上の画素P(x,y)のアドレスを記憶する。ミサイル等の物体が撮影対象の場合、撮像素子がシリコンからなるとして、その赤外線像は物体像の重心を最大輝度の起点として連続的に周辺に広がり、周辺部では輝度が所定値よりも未満となる。
すなわち、最大輝度の点を含み、輝度が所定値±Δ以内の点を含む矩形領域を、部分読み出し領域Rとして選択する。対象物が移動中の場合、前回のフレーム内における物体像の重心位置(x1,y1)と、今回のフレーム内における物体像の重心位置(x2,y2)とのフレーム内での位置の差分のベクトル(x2−x1、y2−y1)を演算し、今回のフレーム内の物体像の重心位置(x1、y2)に、このベクトルを加算した位置を、次回の物体像の重心位置(x3,y3)として推定し、これを重心位置とする矩形領域を新たな部分読み出し領域Rとして設定する。
画像データ演算部10には、ディジタルビデオ信号が入力されているが、このディジタルビデオ信号は、各撮像ブロックB1(B2,B3)からの画素列毎(3列)の信号を処理回路PU1,PU2,PU3に入力することで得ることができる。個々の処理回路PU1,PU2,PU3は、アンプAMP1、AMP2,AMP3とAD変換器ADC1,ADC2,ADC3を接続してなる。各画素列から出力されたアナログ画素信号は、処理回路PU1,PU2,PU3によって、ディジタルビデオ信号に変換される。
部分読み出し領域Rを規定する部分画像選択位置情報(x=x4〜x6,y=y4〜y6)は、タイミング発生回路11に入力される。また、この固体撮像装置は、部分読み出し領域Rに対応する画素行を選択する行選択回路12と、部分読み出し領域Rに対応する画素列を選択する列選択回路13とを備えている。タイミング発生回路11は、入力された部分画像選択位置情報に基づいて行選択回路制御信号と、列選択回路制御信号を生成する。
要するに、行選択回路制御信号は、y=y4〜y6の画素行の信号が読み出されるように行選択回路12に画素の選択をさせ、列選択回路制御信号は、x=x4〜x6の画素列の信号が読み出されるように列選択回路13に画素の選択をさせる。換言すれば、タイミング発生回路11は、画像データ演算部10の出力に基づいて、行選択回路12及び列選択回路13に選択をさせる制御信号を発生しているということになる。
図3は、図1に示した固体撮像装置のタイミングチャートである。本例では、図1に示した部分読み出し領域Rの信号を読み出す例が示されている。
時刻t0〜t2までは、第1〜第3シフト信号(垂直)Vshift(1〜3)、第1〜第3リセット信号(垂直)Vreset(1−3)、第4シフト信号(垂直)Vshift(4)、第4リセット信号(垂直)Vreset(4)、第5シフト信号(垂直)Vshift(5)、第5リセット信号(垂直)Vreset(5)、第6シフト信号(垂直)Vshift(6)、第6リセット信号(垂直)Vreset(6)、第7〜第9シフト信号(垂直)Vshift(7〜9)、第7〜第9リセット信号(垂直)Vreset(7−9)、第1シフト信号(水平)Hshift(1)、第2シフト信号(水平)Hshift(2)、第3シフト信号(水平)Hshift(3)は、全てローレベルである。なお、信号の各数字は、座標x又はyのアドレスを示す。また、説明においては図2を適宜参照する。
時刻t2〜t3では、行選択回路12から、ハイレベルの第4シフト信号(垂直)Vshift(4)が入力されるため、図1の下から4行目の画素行のシフトスイッチQaddress(x,4)がONとなり、光の入射に応じてホトダイオードPD1(x,4)に蓄積された電荷が、アンプAMP(x、4)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。なお、各ホールド回路には、電流源が並列に接続されている。
続いて、時刻t3〜t4では、ハイレベルの第4リセット信号Vreset(4)が入力されるため、リセットスイッチQreset(x,4)がONとなり、ホトダイオードPD1(x、4)に蓄積された電荷はリセットされる。時刻t4〜t5では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,4)、P(5,4)、P(6,4)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
時刻t6〜t7では、行選択回路12から、ハイレベルの第5シフト信号(垂直)Vshift(5)が入力されるため、図1の下から5行目の画素行のシフトスイッチQaddress(x,5)がONとなり、光の入射に応じてホトダイオードPD1(x,5)に蓄積された電荷が、アンプAMP(x、5)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。
続いて、時刻t7〜t8では、ハイレベルの第5リセット信号Vreset(5)が入力されるため、リセットスイッチQreset(x,5)がONとなり、ホトダイオードPD1(x、5)に蓄積された電荷がリセットされる。時刻t8〜t9では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,5)、P(5,5)、P(6,5)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
時刻t10〜t11では、行選択回路12から、ハイレベルの第6シフト信号(垂直)Vshift(6)が入力されるため、図1の下から6行目の画素行のシフトスイッチQaddress(x,6)がONとなり、光の入射に応じてホトダイオードPD1(x,6)に蓄積された電荷が、アンプAMP(x、6)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。
続いて、時刻t11〜t12では、ハイレベルの第6リセット信号Vreset(6)が入力されるため、リセットスイッチQreset(x,6)がONとなり、ホトダイオードPD1(x、6)に蓄積された電荷がリセットされる。時刻t12〜t13では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,6)、P(5,6)、P(6,6)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
上述のように、本固体撮像装置は、N個の画素列に、列選択回路13の選択によってONするスイッチQ(4)、Q(5)、Q(6)を介して、それぞれ接続されたN個の処理回路PU1,PU2,PU3を備えている。n番目の処理回路PU1(PU2,PU3)は、個々の撮像ブロックB1,B2,B3におけるn番目の画素列N1(N2,N3)に、スイッチQ(1)〜Q(9)を介して全て接続可能とされている。また、N個の処理回路PU1,PU2,PU3は、行選択回路12及び列選択回路13によって選択された画素列毎の信号からディジタルビデオ信号を生成している。
上述の固体撮像装置によれば、n番目の処理回路(例えば、PU1とする)には、個々の撮像ブロックB1,B2,B3におけるn番目の画素列(N1)がスイッチQ(1),Q(4),Q(7)を介して全て接続可能とされているので、部分読み出し領域Rが小さい場合においても、隣接する画素列N2からの信号は、異なる処理回路PU2で別々に処理される。しかも、画像データ演算部10によって、読み出す領域を部分読み出し領域Rに制限しているので、更に高速な撮像を行うことが可能となる。
また、上述の固体撮像装置は、個々の画素列N1,N2,N3にそれぞれ接続された複数のホールド回路H(1)〜H(9)を備えており、上記スイッチQ(1)〜Q(9)は、列選択回路13にタイミング発生回路11から入力される制御信号に同期して、画素列毎の個々のホールド回路H(1)〜H(9)に蓄積された電荷を、個々の画素列N1,N2,N3に対応する処理回路PU1,PU2,PU3に接続しており、各画素行の信号は、一旦はホールド回路(1)〜H(9)に蓄積されるが、スイッチを制御信号Q(1)〜Q(9)によって接続することで、画素行毎に蓄積された電荷を、画素列N1,N2,N3毎に処理回路PU1,PU2,PU3へと転送することができる。
本実施形態では、処理回路PU1,PU2,PU3は、1次元列方向輝度プロファイル取得回路14が生成する1次元列方向輝度プロファイルと、1次元行方向輝度プロファイル取得回路15が生成する1次元行方向輝度プロファイルとに基づいて、AD変換利得を変更することができる。
図4は、1次元列方向輝度プロファイル取得回路14の構成を示す図である。図4に示すように、1次元列方向輝度プロファイル取得回路14は、1次元列方向輝度プロファイル用スイッチ(以下、列方向スイッチという)31と、1次元列方向輝度プロファイル用シフトレジスタ(以下、列方向シフトレジスタという)32と、1次元列方向輝度プロファイル用積分回路(以下、列方向積分回路という)33とを有している。
列方向スイッチ31の一方の端子には、列方向輝度プロファイルラインLVP1〜LVP9がそれぞれ接続されている。列方向輝度プロファイルラインLVP1は、画素行M1に並んでいるホトダイオードPD2(1,1)〜PD2(9,1)に接続されている。同様に、列方向輝度プロファイルラインLVP2、LVP3、…、LVP9は、画素行M2、M3、…、M9に並んでいるホトダイオードPD2(1,2)〜PD2(9,2)、PD2(1,3)〜PD2(9,3)、…、PD2(1,9)〜PD2(9,9)にそれぞれ接続されている。列方向スイッチ31の他方の端子は、列方向積分回路33の入力端子に接続されている。
列方向スイッチ31は、列方向シフトレジスタ32から出力されるシフト信号shift(V1)〜shift(V9)によって制御されて、順次に閉じられる。列方向シフトレジスタ32は、外部から入力されるクロックに同期して、シフト信号shift(V1)〜shift(V9)を生成する。列方向積分回路33には、列方向シフトレジスタ32によって順次に読み出されたホトダイオードPD2(x,1)〜PD2(x,9)からの電流が、列方向輝度プロファイルラインLVP1〜LVP9及び列方向スイッチ31を介して、順次に入力される。列方向積分回路33は、これらの電流を順次に電圧に変換し、電圧信号Voutを生成する。
列方向積分回路33は、アンプ34と、アンプ34の入力端子と出力端子との間に接続されたキャパシタ35と、アンプ34の入力端子と出力端子との間に接続された列方向積分スイッチ36とを含んでいる。列方向積分スイッチ36は、外部からハイレベルのリセット信号ΦVresetを受けることによってONとなり、キャパシタ35の電位を初期化することができる。
図5は、1次元列方向輝度プロファイル取得回路14のタイムチャートである。まず、ハイレベルのシフト信号shift(V1)が列方向スイッチ31に入力されると、列方向スイッチ31がONとなり、ホトダイオードPD2(1,1)〜PD2(9,1)に蓄積された電荷に応じた電流が、列方向輝度プロファイルラインLVP1及び列方向スイッチ31を介して、列方向積分回路33のアンプ34に入力される。リセット信号ΦVresetがローレベルのときには、列方向積分スイッチ36はOFFとなり、ホトダイオードPD2(1,1)〜PD2(9,1)の電荷がキャパシタ35に蓄積される。列方向積分回路33は、この電荷に応じた電圧を出力端子から出力する。
次に、リセット信号ΦVresetがハイレベルとなると、列方向積分スイッチ36がONとなり、キャパシタ35が初期化される。その後、シフト信号shift(V1)がローレベルとなり、列方向スイッチ31がOFFとなる。その後、リセット信号ΦVresetがローレベルとなり、列方向積分スイッチ36がOFFとなる。すなわち、列方向積分回路33は次の入力信号待ち状態となる。
次に、ハイレベルのシフト信号shift(V2)が列方向スイッチ31に入力されると、列方向スイッチ31がONとなり、ホトダイオードPD2(1,2)〜PD2(9,2)に蓄積された電荷に応じた電流が、列方向輝度プロファイルラインLVP2及び列方向スイッチ31を介して、列方向積分回路33のアンプ34に入力される。リセット信号ΦVresetがローレベルのときには、列方向積分スイッチ36はOFFとなり、ホトダイオードPD2(1,2)〜PD2(9,2)の電荷がキャパシタ35に蓄積される。列方向積分回路33は、この電荷に応じた電圧を出力端子から出力する。
次に、リセット信号ΦVresetがハイレベルとなると、列方向積分スイッチ36がONとなり、キャパシタ35が初期化される。その後、シフト信号shift(V2)がローレベルとなり、列方向スイッチ31がOFFとなる。その後、リセット信号ΦVresetがローレベルとなり、列方向積分スイッチ36がOFFとなる。すなわち、列方向積分回路33は次の入力信号待ち状態となる。
同様に、シフト信号shift(V3)〜shift(V9)にしたがって、上述のような動作を繰り返すことによって、列方向輝度プロファイルラインLVP1〜LVP9からの電流に応じた電圧が時系列に並んだ1次元列方向輝度プロファイルVoutが生成される。
図6は、1次元行方向輝度プロファイル取得回路15の構成を示す図である。図6に示すように、1次元行方向輝度プロファイル取得回路15は、1次元行方向輝度プロファイル用スイッチ(以下、行方向スイッチという)21と、1次元行方向輝度プロファイル用シフトレジスタ(以下、行方向シフトレジスタという)22と、1次元行方向輝度プロファイル用積分回路(以下、行方向積分回路という)23とを有している。
行方向スイッチ21の一方の端子には、行方向輝度プロファイルラインLHP1〜LHP9がそれぞれ接続されている。行方向輝度プロファイルラインLHP1は、画素列N1に並んでいるホトダイオードPD2(1,1)〜PD2(1,9)に接続されている。同様に、行方向輝度プロファイルラインLHP2、LHP3、…、LHP9は、画素列N2、N3、…、N9に並んでいるホトダイオードPD3(2,1)〜PD3(2,9)、PD3(3,1)〜PD3(3,9)、…、PD3(9,1)〜PD3(9,9)にそれぞれ接続されている。行方向スイッチ21の他方の端子は、行方向積分回路23の入力端子に接続されている。
行方向スイッチ21は、行方向シフトレジスタ22から出力されるシフト信号shift(H1)〜shift(H9)によって制御されて、順次に閉じられる。行方向シフトレジスタ22は、外部から入力されるクロックに同期して、シフト信号shift(H1)〜shift(H9)を生成する。行方向積分回路23には、行方向シフトレジスタ22によって順次に読み出されたホトダイオードPD3(1,y)〜PD3(9,y)からの電流が、行方向輝度プロファイルラインLHP1〜LHP9及び行方向スイッチ21を介して、順次に入力される。行方向積分回路23は、これらの電流を順次に電圧信号Houtに変換する。
行方向積分回路23は、アンプ24と、アンプ24の入力端子と出力端子との間に接続されたキャパシタ25と、アンプ24の入力端子と出力端子との間に接続された行方向積分スイッチ26とを含んでいる。行方向積分スイッチ26は、外部からハイレベルのリセット信号ΦHresetを受けることによってONとなり、キャパシタ25の電位を初期化することができる。
図7は、1次元行方向輝度プロファイル取得回路15のタイムチャートである。まず、ハイレベルのシフト信号shift(H1)が行方向スイッチ21に入力されると、行方向スイッチ31がONとなり、ホトダイオードPD3(1,1)〜PD3(1,9)に蓄積された電荷に応じた電流が、行方向輝度プロファイルラインLHP1及び行方向スイッチ21を介して、行方向積分回路23のアンプ24に入力される。リセット信号ΦHresetがローレベルのときには、行方向積分スイッチ26はOFFとなり、ホトダイオードPD3(1,1)〜PD3(1,9)の電荷がキャパシタ25に蓄積される。行方向積分回路23は、この電荷に応じた電圧を出力端子から出力する。
次に、リセット信号ΦHresetがハイレベルとなると、行方向積分スイッチ26がONとなり、キャパシタ25が初期化される。その後、シフト信号shift(H1)がローレベルとなり、行方向スイッチ21がOFFとなる。その後、リセット信号ΦHresetがローレベルとなり、行方向積分スイッチ26がOFFとなる。すなわち、行方向積分回路23は次の入力信号待ち状態となる。
次に、ハイレベルのシフト信号shift(H2)が行方向スイッチ21に入力されると、行方向スイッチ21がONとなり、ホトダイオードPD3(2,1)〜PD3(2,9)に蓄積された電荷に応じた電流が、行方向輝度プロファイルラインLHP2及び行方向スイッチ21を介して、行方向積分回路23のアンプ24に入力される。リセット信号ΦHresetがローレベルのときには、行方向積分スイッチ26はOFFとなり、ホトダイオードPD3(2,1)〜PD3(2,9)の電荷がキャパシタ25に蓄積される。行方向積分回路23は、この電荷に応じた電圧を出力端子から出力する。
次に、リセット信号ΦHresetがハイレベルとなると、行方向積分スイッチ26がONとなり、キャパシタ25が初期化される。その後、シフト信号shift(H2)がローレベルとなり、行方向スイッチ21がOFFとなる。その後、リセット信号ΦHresetがローレベルとなり、行方向積分スイッチ26がOFFとなる。すなわち、行方向積分回路23は次の入力信号待ち状態となる。
同様に、シフト信号shift(H3)〜shift(H9)にしたがって、上述のような動作を繰り返すことによって、行方向輝度プロファイルラインLHP1〜LHP9からの電流に応じた電圧が時系列に並んだ1次元行方向輝度プロファイルHoutが生成される。
1次元列方向輝度プロファイルVout及び1次元行方向輝度プロファイルHoutは、コントローラ16に入力される。図8は、コントローラ16の回路ブロック図である。図8に示すコントローラ16は、プロファイルタイミング発生回路PT1、PT2、スイッチSW1、SW2、比較器Comp1、Comp2、NAND回路Nand、ホールド回路Hold、及び、リセット用トランジスタTrを有する。
図9は、コントロール16の各部の波形を示すタイムチャートである。以下、図8及び図9を参照しながら、コントローラ16を詳細に説明する。プロファイルタイミング発生回路PT1は、時系列に並んだ1次元列方向輝度プロファイルVoutから部分読み出し領域Rに相当する1次元列方向輝度プロファイル部分VPRを比較器Comp1に入力するために、スイッチSW1を制御する信号を出力する。例えば、プロファイルタイミング発生回路PT1は、1次元列方向輝度プロファイル取得回路14に入力されるクロックと、行選択回路12に入力されるクロックVclk(図14にて後述する)との周波数比に応じて、タイミング発生回路11から出力される行選択回路制御信号を時間方向に圧縮した圧縮列方向制御信号Vcompを出力する。
スイッチSW1は、ハイレベルの圧縮列方向制御信号Vcompに応じてONし、1次元列方向輝度プロファイル部分VPRを比較器Comp1の第1入力端子に入力する。比較器Comp1の第2入力端子には基準電圧Vref1が入力されている。比較器Comp1は、1次元列方向輝度プロファイル部分VPRと基準電圧Vref1とを比較して、1次元列方向輝度プロファイル部分VPRが基準電圧Vref1より大きいときにハイレベルの電圧を出力し、1次元列方向輝度プロファイル部分VPRが基準電圧Vref1より小さいときにローレベルの電圧を出力する。
プロファイルタイミング発生回路PT2は、時系列に並んだ1次元行方向輝度プロファイルHoutから部分読み出し領域Rに相当する1次元行方向輝度プロファイル部分HPRを比較器Comp2に入力するために、スイッチSW2を制御する信号を出力する。例えば、プロファイルタイミング発生回路PT2は、1次元列方向輝度プロファイル取得回路14に入力されるクロックと、列選択回路13に入力されるクロックHclk(図17にて後述する)との周波数比に応じて、タイミング発生回路11から出力される列選択回路制御信号を時間方向に圧縮した圧縮行方向制御信号Hcompを出力する。
スイッチSW2は、ハイレベルの圧縮行方向制御信号Hcompに応じてONし、1次元行方向輝度プロファイル部分HPRを比較器Comp2の第1入力端子に入力する。比較器Comp2の第2入力端子には基準電圧Vref2が入力されている。比較器Comp2は、1次元行方向輝度プロファイル部分HPRと基準電圧Vref2を比較し、1次元行方向輝度プロファイル部分HPRが基準電圧Vref2より大きいときにハイレベルの電圧を出力し、1次元行方向輝度プロファイル部分HPRが基準電圧Vref2より小さいときにローレベルの電圧を出力する。
NAND回路Nandには、比較器Comp1の出力電圧と比較器Comp2の出力電圧とが入力される。NAND回路Nandは、これら両方の電圧がハイレベルのときにハイレベルの電圧を出力し、いずれか一方の電圧がハイレベル、及び、これら両方の電圧がローレベルのときにローレベルの電圧を出力する。NAND回路Nandの出力電圧は、ホールド回路Holdで保持される。すなわち、NAND回路Nandの出力電圧は、一度でもハイレベルになったらハイレベルに保持される。なお、ホールド回路Holdはキャパシタで構成されればよい。
ホールド回路Holdは、処理回路PU1、PU2、PU3がディジタルビデオ信号を生成するまで、NAND回路Nandの出力電圧を保持する。処理回路PU1、PU2、PU3がディジタルビデオ信号を生成した後、ハイレベルのリセット信号Cresetによって、リセット用トランジスタTrがONし、ホールド回路Holdの電圧が初期化される。このNAND回路Nandの出力電圧が利得変換信号であり、各処理回路PU1、PU2、PU3に入力される。
図10は、処理回路を示すブロック図である。図10には、処理回路PU1を示すが、処理回路PU2、PU3も同一である。処理回路PU1は、アンプAmp1とADC1で構成される。本実施形態では、ADC1はパイプライン型ADCである。ADC1は、12個の基本ブロックBLK1(1)、BLK2(1)、…、BLK12(1)、遅延回路Delay(1)、及び、デコーダDecoder(1)で構成される。基本ブロックBLK1(1)は、サンプルホールド回路SH(1)、ADC(1)、DAC(1)、加算器ADD(1)、及び、2倍増幅器BAY(1)で構成される。
処理回路PU1に入力された電圧は、アンプAmp1によって増幅され、ADC1に入力される。ADC1に入力された電圧は、基本ブロックB1のサンプルホールド回路SH(1)でサンプリングされ、ADC(1)と加算器ADD(1)に入力される。ADC(1)では、入力された電圧をディジタル信号(1又は0)に変換する。このディジタル信号は遅延回路Delay(1)へ出力されると共に、DAC(1)によって電圧に変換される。
加算器ADD(1)は、サンプルホールド回路SH(1)からの電圧と、DAC(1)からの電圧とを加算する。加算された電圧は、2倍増幅器BAY(1)によって2倍に増幅され、基本ブロックBLK2(1)へ入力される。なお、基本ブロックBLK2(1)〜BLK12(1)は、基本ブロックBLK1(1)と同一な構成であり、それぞれディジタル信号を生成する。
各基本ブロックBLK1(1)〜BLK12(1)から出力されるディジタル信号は、遅延回路Delay(1)を介することによって、それぞれ異なる遅延を有することとなる。デコーダDecoder(1)では、基本ブロックBLK1(1)から出力されたディジタル信号を最上ビットとし、基本ブロックBLK1(1)〜BLK12(1)から出力されたディジタル信号を順次に並べて、12ビットのディジタルビデオ信号を生成する。
基本ブロックBLK1(1)〜BLK12(1)は、それぞれ、キャパシタとアンプで構成されるスイッチドキャパシタ回路で構成されればよく、遅延回路Delay(1)はシフトレジスタで構成されればよい。なお、各ビットの遅延は、シフトレジスタの個数で調整する。
処理回路PU1のADC1は、コントローラ16からの利得変換信号を受けてAD変換利得を変更することができる。処理回路PU1のADC1にハイレベルの利得変換信号が入力されると、このハイレベルの利得変換信号は、基本ブロックBLK1(1)〜BLK12(1)に入力される。以下、基本ブロックBLK1(1)の動作を説明するが、基本ブロックBLK2(1)〜BLK12(1)の動作も同様である。
ハイレベルの利得変換信号が、ADC(1)に入力されると、ADC(1)の比較対象基準電位(図示せず)が高電位となり、基本ブロックBLK1(1)が低利得となる。同様に、基本ブロックBLK2(1)〜BLK12(1)も低利得となる。したがって、ADC1が低利得となる。故に、処理回路PU1のAD変換利得が低下する。処理回路PU1のADC1にローレベルの利得変換信号が入力されると、このローレベルの利得変換信号は、基本ブロックBLK1(1)〜BLK12(1)に入力される。ローレベルの利得変換信号が、ADC(1)に入力されると、ADC(1)の比較対象基準電位(図示せず)が低電位となり、基本ブロックBLK1(1)が高利得となる。同様に、基本ブロックBLK2(1)〜BLK12(1)も高利得となる。したがって、ADC1が高利得となる。故に、処理回路PU1のAD変換利得が増加する。
なお、処理回路PU2、PU3も、処理回路PU1と同様に、利得変換信号を受けてAD変換利得を変更することができる。
本実施形態の固体撮像装置によれば、コントローラ16が、1次元列方向輝度プロファイル取得回路14によって生成された1次元列方向輝度プロファイルVoutと、1次元行方向輝度プロファイル取得回路15によって生成された1次元行方向輝度プロファイルHoutとから、処理回路PU1、PU2、PU3の利得変換信号を生成する。
1次元列方向輝度プロファイル取得回路14は画素行を選択するための1次元列方向輝度プロファイル用シフトレジスタ32を有しており、1次元行方向輝度プロファイル取得回路15は画素列を選択するための1次元行方向輝度プロファイル用シフトレジスタ22を有しているので、1次元列方向輝度プロファイル取得回路14及び1次元行方向輝度プロファイル取得回路15は、ディジタルビデオ信号を生成する撮像部に対して、独立して動作速度を設定することができる。
すなわち、1次元列方向輝度プロファイルVout及び1次元行方向輝度プロファイルHoutが、ディジタルビデオ信号を生成する撮像部よりも高速に生成される。その結果、撮像部の最終段に構成される処理回路PU1、PU2、PU3の利得変換信号が、高速に生成される。
したがって、処理回路PU1、PU2、PU3に主撮像部からの出力が入力される前に、利得変換信号に基づいて処理回路PU1、PU2、PU3のAD変換利得を変更することができる。すなわち、処理回路PU1、PU2、PU3に主撮像部からの出力が入力される前に、この主撮像部に入力される光強度に応じて、処理回路PU1、PU2、PU3のAD変換利得を変更することができる。故に、この固体撮像装置の光入力ダイナミックレンジを拡大することができる。
図11は、本実施形態の固体撮像装置の光入力―ディジタルビデオ信号特性を示す図である。このように、所定の値未満の光が入力されたときには、処理回路PU1、PU2、PU3のAD変換利得を増加し、所定の値以上の光が入力されたときには、処理回路PU1、PU2、PU3のAD変換利得を低下することによって、光入力範囲が拡大する。すなわち、光入力ダイナミックレンジが拡大する。
なお、ディジタルビデオ信号を再生するときには、利得可変信号を参照し、処理回路PU1、PU2、PU3の利得切換の有無に応じて、ディジタルビデオ信号を再生すればよい。
図12は、1つの撮像ブロックを8つの画素列からなることとし、64の撮像ブロックBk(k=1〜64)を備え(K=64)、垂直方向の画素列が512画素を有し、水平方向の画素列が512画素を有する固体撮像装置を示す。なお、各撮像ブロックB1,B2,・・・,B64におけるn番目の画素列毎に、n番目の処理回路PUnが接続されている(n=1〜8)。
列選択回路13によって制御されるスイッチ群Q(1)〜Q(N×K)と、撮像領域との間には、ホールド回路群H(1)〜H(N×K)が介在している。スイッチ群Q(1)〜Q(N×K)、ホールド回路群H(1)〜H(N×K)は、上述のスイッチ群Q(1)〜Q(9)及びホールド回路群H(1)〜H(9)に対応するものである。
この固体撮像装置で部分読み出しの動作を以下に説明する。ここでは、画像データ演算部の出力に基づいて前回得た画像から、512×512の画素全体の内、周辺10行と10列だけを除いた中央の492×492の画素の部分読み出しを行うことを選択してタイミング発生回路がそれに必要な制御信号を行選択回路12と列選択回路13に供給することとする。
図13は、画素P(x,y)の主撮像部の詳細な回路図である。なお、以下の説明において、スイッチとは電界効果トランジスタを示すこととする。
画素P(1,1)の主撮像部は、ホトダイオードPD1(1)のカソードと、リセット電位Vr1との間に直列に介在する転送スイッチQtrans(1)、リセットスイッチQreset(1)を備えている。転送スイッチQtrans(1)の上流端は、ホールドスイッチQhold(1)を介して、増幅トランジスタQamp(1)のゲートに入力されている。増幅トランジスタQ amp(1)とビデオラインL1との間には、アドレススイッチQaddress(1)が介在している。
転送スイッチQtrans(1)のゲートには、転送信号Vtrans(1)が入力され、リセットスイッチQreset(1)のゲートには、リセット信号Vreset(1)が入力される。また、ホールドスイッチQhold(1)のゲートにはホールド信号Vhold(1)が入力される。アドレススイッチQaddress(1)のゲートにはアドレス信号Vaddress(1)が入力される。なお、アドレス信号Vaddress(1)は第1シフト信号(垂直)Vshift(1)と表記することもできる。
画素P(1,2)の主撮像部の構成は、各要素の数字が「2」となるのみで、構成は画素P(1,1)の主撮像部と同一である。なお、画素P(x,y)の列方向検出撮像部及び行方向検出撮像部は、図2と同一である。
図14は、各信号を生成するための行選択回路12の回路図である。図15は、各信号のタイミングチャートである。この図は、垂直方向の上下10行ずつを除いた中央492行の部分読み出しを達成するためのものである。
各行毎にシフトレジスタS1,S2・・・が設けられており、各シフトレジスタは、セット入力端子ST、リセット入力端子rst、クロック入力端子CLKと、出力端子Qを備えている。リセット入力端子は接地電位に接続されている。シフトレジスタS1のセット入力端子STにはスタート信号Vstが入力され、シフトレジスタS1の出力端子Qからの出力shiftout1が、シフトレジスタS2のセット入力端子STに入力されるというように、各シフトレジスタのセット入力端子には一つ前のシフトレジスタの出力端子Qからの出力が順次入力される。
タイミング発生回路11から発生したVreset、Vtrans、Vhold、Vaddressは、第1画素P(1,1)読み出し時の所定のタイミングで、それぞれVreset(1)、Vtrans(1)、Vhold(1)、Vaddress(1)として、スイッチQA1,QB1,QC1,QD1をONし、上述の各スイッチに入力される。この所定のタイミングは、タイミング発生回路11で生成されたs-mode信号とスタート信号Vstによって決定され、第1行目の画素の読み出しが終了したら、第2行目の画素の読み出しへと順次移行する。
なお、図15中、(Vshift)で示される数字は、読み出し中の画素行を示し、(Hshift)で示される数字は、読み出し中の画素列を示す。
s-mode信号は、スタート信号VstがシフトレジスタS1に入力されたときの出力と共にOR回路(OR1)に入力される。なお、2行目の読み出しの場合には、これらの信号はOR回路(OR2)に入力される。
この図は、512×512の全画素で各ホトダイオードPD1(x、y)に蓄積した電荷を同時にホールドするグローバルシャッターモードで動作する例であり、s-mode信号をハイレベルとしておくことで、Vreset、Vtrans、Vholdの信号を全画素一斉に供給することができる。これにより、ホトダイオードPD1(x、y)に蓄積された電荷を増幅トランジスタQamp(x,y)のゲートに全画素に渡って同一のタイミングで転送、蓄積しておくことが可能となる。
実際の動作としては次のようになる。s-mode信号をハイレベルとして、全行に渡ってVreset、Vtrans、Vholdの信号が入力されるようにしておく。Vreset、Vtrans、Vhold、Vaddressの全ての信号がローレベルの時に、VresetをハイレベルとしてVholdをハイレベルとすることにより、増幅トランジスタのゲートの電荷がリセットされる。Vholdをローレベルとし、Vresetをローレベルとした後、VtransをハイレベルとしてVholdをハイレベルとすることで、ホトダイオードPD1(x、y)に蓄積された電荷が増幅トランジスタのゲートに転送される。
その後、VholdをローレベルにしてVtransをローレベルにした後、VtransとVresetをハイレベルにして、ホトダイオードPD1(x、y)に蓄積された電荷をリセットした後、VtransとVresetをローレベルにして次の蓄積を開始する。
ここでs-mode信号をローレベルに戻すことにより、全画素に渡って、ホトダイオードPD1(x、y)に蓄積されていた電荷は、各画素の増幅トランジスタのゲートに転送、保持された状態で、ホトダイオードでは次の蓄積が開始されており、全画素での蓄積の開始、終了が同時に行われるグローバルシャッターモードの動作が実現される。以後は、増幅トランジスタのゲートに保持されている電荷を読みたい画素のみを選択して読み出すことになる。
シフトレジスタS1,S2・・・のクロック入力端子CLKにはタイミング発生回路11で生成される垂直クロック信号Vclkが入力されている。スタート信号VstがシフトレジスタS1のセット入力端子に入力され,シフトレジスタS1の出力端子Qからの出力shiftout1がシフトレジスタS2のセット入力端子に入力されるように、各シフトレジスタのセット入力端子に一つ前のシフトレジスタの出力端子Qからの出力が順次入力されると、各行の画素に蓄積された電荷の読み出しが開始されるが、Vaddressはローレベルとしておき、垂直クロック信号Vclkは周期を短くすることで、最初の10行は信号の読み飛ばしを行う。
その後、11行目の画素からVaddressをハイレベルとして蓄積電荷を増幅することにより得られた電圧をホールド回路に一度転送し、ホールド回路に保持する。垂直クロック信号Vclkの周期を長くして512画素分の電荷をホールド回路に蓄積し、続いて、タイミング発生回路11で生成された画素列読み出しスタート信号Hstを列選択回路13に入力することで、タイミング発生回路11で生成された水平クロック信号Hclkに同期して、512画素分のホールド回路に蓄積された電荷の内、選択された部分読み出し領域Rに当たる画素分が8個の処理回路から読み出されて画像データ演算部へ入力される。この動作は図16,17,20を使って後述する。なお、503行目の画素行から以後の10行は、垂直クロック信号の周期を短くして、同様に信号の読み飛ばしを行う。
すなわち、垂直クロック信号の周期を短くすることで、不要な画素行の読み出し時間を短縮しており、この不要な画素行の読み出し期間では、アドレス信号Vaddressを入力せず、すなわち、ビデオ信号は出力されない。
図16は、ホールド回路群H(1)〜H(N×K)に蓄積された電荷を読み出すためのスイッチ群Q(1)〜Q(N×K)の回路図である。ビデオラインL1,L2,L3・・・LN×K毎にスイッチQ(1),Q(2),Q(3)・・・Q(N×K)が接続されている。1つの撮像ブロックのスイッチ群には、Hshift信号が入力され、Hshift信号がハイレベルの時に、ホールド回路に蓄積された電荷が読み出される。
図17は、各信号を生成するための列選択回路13の回路図である。図18は、各信号のタイミングチャートである。この図は、水平方向の左右にそれぞれ10列ずつを除いた中央492列のみの部分読み出しを達成するためのものである。この図では、図14のs-mode信号がローレベルになってから水平スタート信号Hstがハイレベルとなり、以後水平の読み出しが行われるタイミングのみを示す。
シフトレジスタS10、S20、S30・・・が、撮像ブロックに対応して設けられている。各シフトレジスタは、セット入力端子ST、リセット入力端子rst、クロック入力端子CLKと、Q出力端子を備えている。クロック入力端子CLKには、水平クロック信号Hclkが入力される。
タイミング発生回路では、64撮像ブロック中の所望の読み出し開始番号の画素に対応して、水平読み出し用のスタート信号Hstを発生し、6ビットのデコーダ(0ch〜63ch)Dに入力する。デコーダDは、2値入力端子dih0、dih1、dih2、dih3、dih4、dih5を備えている。デコーダ出力端子1,2,3・・・と各セット入力端子STとの間には、OR回路が介在している。
デコーダDは、タイミング発生回路11で生成したHstや2値入力に応じて、所望の撮像ブロックへ入力されるHshift信号がハイレベルとなる信号を生成する。スタート信号Hstと、撮像ブロック特定信号dih0、dih1、dih2、dih3、dih4、dih5の入力によって、指定された撮像ブロックの画素列の信号が読み出される。デコーダ出力端子0に対応して発生するHshift(1)信号は、ハイレベルの時にスイッチQ(1)〜Q(8)をONし、デコーダ出力端子1に対応して発生するHshift(2)信号は、ハイレベルの時にスイッチQ(9)〜Q(16)をONする。
各シフトレジスタS10、S20、S30のリセット端子rstには、タイミング発生回路11で生成されたオールリセット信号Hshift-resetを入力することができ、Hshift-resetがハイレベルの場合には、ホールド回路に蓄積された電荷の読み出しを終了し、部分読み出しを高速に行っている。このように図15と図18の両手法を適用することにより、512×512画素信号を周辺10行と10列ずつを除いた中央492×492画素の部分信号読み出しを達成できる。
一方、1次元列方向輝度プロファイル取得回路14は、512の画素行の列方向検出撮像部の1次元列方向輝度プロファイルVoutを取得するための列方向シフトレジスタ32と、512個の列方向スイッチ31とを有する。列方向シフトレジスタ32は、外部から入力されるクロックと同期したシフト信号shift(V1)〜shift(V512)を出力し、512個の列方向スイッチ31を順次にONする。
すなわち、1次元列方向輝度プロファイル取得回路14は、図5で説明した動作を512の画素行に渡って行うことによって、列方向輝度プロファイルラインLVP1〜LVP512からの電流に応じた電圧が時系列に並んだ1次元列方向輝度プロファイルVoutを生成する
1次元行方向輝度プロファイル取得回路15は、512の画素列の1次元行方向輝度プロファイルVoutを取得するための行方向シフトレジスタ22と、512個の行方向スイッチ21を有する。行方向シフトレジスタ22は、外部から入力されるクロックと同期したシフト信号shift(H1)〜shift(H512)を出力し、512個の行方向スイッチ21を順次にONする。
すなわち、1次元行方向輝度プロファイル取得回路15は、図7で説明した動作を512の画素列に渡って行うことによって、行方向輝度プロファイルラインLHP1〜LHP512からの電流に応じた電圧が時系列に並んだ1次元行方向輝度プロファイルHoutを生成する。
1次元列方向輝度プロファイルVout及び1次元行方向輝度プロファイルHoutは、コントローラ16に入力される。コントローラ16は、図8及び図9で説明したように、部分読み出し領域Rに相当する1次元列方向輝度プロファイル部分VPRと、部分読み出し領域Rに相当する1次元行方向輝度プロファイル部分HPRとの両方の電圧が所定の値以上であった場合に、ハイレベルとなる利得変換信号を生成する。利得変換信号は、各処理回路PU1〜PU8に入力される。これらの処理回路PU1〜PU8は、この利得変換信号に基づいて、AD変換利得を変更する。
本実施形態では、画像取得時間が約3.96msであるのに対して、プロファイル取得時間は約0.63msでる。したがって、本実施形態によれば、処理回路PU1〜PU8に主撮像部の蓄積電荷に応じた信号が入力される前に、処理回路PU1〜PU8のAD変換利得を変更することが可能である。
なお、上述の例では、処理回路PU1に設けられたADC1のAD変換利得を変更することによって処理回路PU1のAD変換利得を変更したが、処理回路PU1に設けられたアンプAmp1の増幅利得を変更することによって処理回路PU1のAD変換利得を変更する構成であってもよい。
図19は、増幅利得を可変可能なアンプを有する処理回路の構成を示す図である。図19に示すように、アンプAmp1は、アンプAmp1(1)を含む。アンプAmp1(1)の入力端子と出力端子との間には、スイッチSW(1)と抵抗R(1)との並列回路と、スイッチSW(2)と抵抗R(2)との並列回路とが直列に接続されたものが接続されている。スイッチSW(1)は利得変換信号によって制御され、スイッチSW(2)はインバータInv(1)を介した利得変換信号によって制御される。
利得変換信号がローレベルのとき、スイッチSW(1)がOFFとなり、スイッチSW(2)がONとなるので、アンプAmp1は抵抗R(1)に応じた増幅利得を有することとなる。利得変換信号がハイレベルのとき、スイッチSW(11)がONとなり、スイッチSW(2)がOFFとなるので、アンプAmp1は抵抗R(2)に応じた増幅利得を有することとなる。
抵抗R(2)の抵抗値が抵抗R(1)の抵抗値に比べて小さければ、利得変換信号がハイレベルのときに、利得変換信号がローレベルのときに比べて、アンプAmp1の増幅利得を低下することができる。すなわち、利得変換信号がハイレベルのときに、利得変換信号がローレベルのときに比べて、処理回路PU1のAD変換利得を低下することができる。なお、処理回路PU2〜PU8も同様に構成する。
なお、この構成では、アンプAmp1(1)の入力端子と出力端子との間に、スイッチSW(1)と抵抗R(1)との並列回路と、スイッチSW(2)と抵抗R(2)との並列回路とが直列に接続されたものが接続されているが、アンプAmp1(1)の入力端子と出力端子との間に、スイッチSW(1)と抵抗R(1)との直列回路と、スイッチSW(2)と抵抗R(2)との直列回路とが並列に接続されたものが接続されてもよい。
図20は、ホールド回路群H(1)〜H(N×K)、スイッチ群Q(1)〜Q(N×K)、及び、処理回路PUを示す図である。なお、図20は一部を省略した図である。
図13に示すホトダイオードP(1,1)に蓄積した電荷を増幅トランジスタQamp(1)によって増幅してなる電圧Vsignalは、ホールド回路H(1)にホールドされる。
上述のホールド動作時には、hreset1をハイレベルにし、amp1の入出力を直流電圧Vrefと同じ電位にリセットしておく。その後、hreset1をローレベルにし、シフト信号Hshift(1)をハイレベルにすると、ホールド回路H(1)に保持された電圧Vsignalが、amp1に転送され、増幅される。この増幅された信号は、処理回路PU1に転送される。
この実施形態では、H(1)〜H(8)が同時に動作し、Q(1)〜Q(8)が同時に動作し、PU1〜PU8が同時に動作するというように、8本のビデオラインずつ同時に処理される。
なお、信号ライン(L1〜L512)ごとに、上述のホールド回路を並列に二つ(信号用とノイズ用)ずつ備え、更に、CDS回路を備えることによって、ノイズを除去し、処理回路PU1に転送されてもよい。
また、上述の例では、部分読み出し領域Rは、前回の画像に基づいて画像データ演算部が決定し、必要な制御信号をタイミング発生回路が発生したが、これは特願2003−189181に示される撮像装置(プロファイルイメージャと呼ばれている)のプロファイル検出機能から得られる情報に基づいて決定してもよく、ホールド回路やフレームメモリ等に蓄積された画像に基づいて決定してもよい。
また、部分読み出し領域Rを決定するために基づくものは蓄積された画像に限る必要はなく、全画素の内の一部分のみを読み出すように選択する信号を、画像データ演算部の代わりに外から与えても良い。
こうすることで、読み出す部分と画素数を外部より入力する信号により変えて、画素数は少なくて良いのでとにかく高速で撮像したい場合や、画角の一部分のみに絞って読み出したい場合など様々な場合に対応可能な固体撮像装置が実現できる。
10…画像データ演算部、11…タイミング発生回路、12…行選択回路、13…列選択回路、14…1次元列方向輝度プロファイル取得回路、15…1次元行方向輝度プロファイル取得回路、16…コントローラ、PU1,PU2,PU3…処理回路、ADC1,ADC2,ADC3…変換器、H…ホールド回路、P(x,y)…画素、B1,B2,B3…撮像ブロック、N1,N2,N3…画素列、M1,M2,M3…画素行。