以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
(第1の実施形態)
本発明の第1の実施形態について説明する。図1は、本実施形態に係る撮像装置の構成を示す図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。
図1に示す撮像装置は、光学鏡筒11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17及び画像記録部18を備えている。
光学鏡筒11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部15からの制御信号に基づいて駆動される。
撮像素子12は、例えばXYアドレス方式のCMOSセンサであり、CDS(Correlated Double Sampling)回路、AGC(Auto Gain Control)回路、AD(Analog Digital)変換器等を備え、同期制御部15からの制御信号により制御される。CMOSセンサは、同期制御部15からの制御信号に応じて撮像を実行し、画像信号を出力する。そして、CDS回路によるノイズ除去、AGC回路による利得制御、及び、AD変換器によるアナログデジタル変換を経て、デジタル化された画像信号を出力する。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、ホワイトバランス調整処理や色補正処理等の信号処理を施す。圧縮伸張部14は、同期制御部15の制御の下で動作し、信号処理部13からの画像信号に対して、JPEG(Joint Photographic Coding Experts Group)方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、同期制御部15から供給された静止画像の符号化データを伸張復号化処理する。さらに、MPEG(Moving Picture Experts Group)方式などにより動画像の圧縮符号化/伸張復号化処理を実行可能なようにしてもよい。
同期制御部15は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。そして、ROMなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。画像表示部17は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなる。そして、同期制御部15から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
画像記録部18は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)などとして実現され、圧縮伸張部14により符号化された画像データファイルを同期制御部15から受け取って記憶する。また、同期制御部15からの制御信号を基に指定されたデータを読み出し、同期制御部15に出力する。
次に、上記構成を有する撮像装置における基本的な動作について説明する。静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からのデジタル画像信号に対して画質補正処理を施し、表示画像用の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、表示用画像が表示され、ユーザは表示された画像を見て画角合わせ等を行うことが可能となる。
この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の撮像信号が信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18に記録される。
一方、画像記録部18に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、選択されたデータファイルを画像記録部18から読み込み、圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録する。また、画像記録部18に記録された動画像を再生する場合には、画像記録部18から動画像の符号化データを順次読み出して圧縮伸張部14に供給し、伸張復号化処理させて画像表示部17に供給することで、動画像が再生表示される。
図2は、本第1の実施形態に係る、2つの出力系を備える撮像素子12の概略構成を示す図である。図2に示す撮像素子12は、上述したようにXYアドレス方式のCMOSセンサである。撮像素子12において、画素領域101は、不図示の光電変換部とトランジスタからなる複数のCMOSセンサの画素Pで構成され、水平方向・垂直方向にマトリクス状に配列されている。なお、以下において、行をr、列をcとして、画素Prc(P11〜P44)と表す。また、図2においては4×4配列の例を示しているがこの数に限定されるものではない。
また、垂直走査部102は、画素領域101の画素Pを行単位で選択し、選択した行の画素のリセット動作や読み出し動作を駆動制御する。画素制御線103は、行毎に共通に接続され、垂直走査部102による行単位の駆動制御信号を伝達する。
垂直信号線104a及び104bは、画素の列毎に共通に接続される。図2において、垂直信号線104aは、1行目の画素P1c(P11、P12、P13、P14)、及び、3行目の画素P3c(P31、P32、P33、P34)に接続されている。また、垂直信号線104bは、2行目の画素P2c(P21、P22、P23、P24)、及び、4行目の画素P4c(P41、P42、P43、P44)に接続されている。そして、画素制御線103により選択された行の画素Pの信号が、それぞれ対応する垂直信号線104a及び104bに読み出される。
このように接続された配列の画素Pから信号を読み出すために、画素領域101を挟んだ上下に、信号読み出しのための回路が配置されている。図2においては、画素領域101の上側に、第1の出力系である第1列信号処理部106a、第1列AD部107a、第1水平メモリ部108a、第1水平走査部109a、及び、第1出力部110aが配置されている。また、画素領域101の下側に、第2の出力系である第2列信号処理部106b、第2列AD部107b、第2水平メモリ部108b、第2水平走査部109b、第2出力部110bが配置されている。また、撮像素子12は同期信号発生手段であるTG(Timing Generator)112を有する。図2では画素領域101の下側に配置されているが、配置する位置は下側ではなくてもよい。また、図2には記載されていないが、本第1の実施形態における撮像素子12は、TG112から出力される画素クロック信号Sckを遅延させるための回路を有するが、その構成及び配置については、詳細に後述する。
そして、1行目の画素P1cと3行目の画素P3cの信号が、第1列信号処理部106a、第1列AD部107a及び第1水平メモリ部108aを介して第1出力部110aから出力される。また、2行目の画素P2cと4行目の画素P4cの信号が、第2列信号処理部106b、第2列AD部107b及び第2水平メモリ部108bを介して第2出力部110bから出力される。この構成により、1行目の画素P1cと2行目の画素P2cの信号を別々の経路で読み出すことが可能となるので、垂直走査部102は、1行目と2行目を同時に選択することで、2行の信号を同時に読み出すことができる。同様に、垂直走査部102は、3行目と4行目を同時に選択することで、2行の信号を同時に読み出すことができる。
第1列信号処理部106a及び第2列信号処理部106bは、それぞれ垂直信号線104a及び104b毎に設けられる不図示のCDS回路やAGC回路から構成されている。そして、垂直信号線104a及び104bを通して送られてくる行単位の画素の信号それぞれに対して、CDS処理を行う。これにより、画素回路内のトランジスタの閾値のばらつきに起因する固定パターンノイズを除去して、S/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、必要であれば、AGC回路による利得制御を実施する。
第1列AD部107a及び第2列AD部107bは、垂直信号線104a及び104b毎に設けられたAD変換器から構成されている。そして、それぞれ対応する第1列信号処理部106a及び第2列信号処理部106bから送られてくる行単位の画素の信号それぞれをアナログデジタル変換する。なお、第1の実施形態では、第1列AD部107a及び第2列AD部107bのAD変換器はすべて8bit構成とするが、bit精度においては、10bit、12bit、14bit等の更に高精度なAD変換器を用いてもよい。
第1水平メモリ部108a及び第2水平メモリ部108bは、第1列AD部107a及び第2列AD部107bにおいてデジタル化された行単位の画素信号をそれぞれ記憶する。なお、第1の実施形態における第1水平メモリ部108a及び第2水平メモリ部108bは、第1列AD部107a及び第2列AD部107bに合わせて各列毎に8bitのデジタル信号を記憶できるものとする。しかしながら、第1列AD部107a及び第2列AD部107bのAD変換器のbit精度に応じたbit数のデジタル信号が記憶できるように構成すればよい。
第1水平走査部109a及び第2水平走査部109bは、それぞれ対応する第1水平メモリ部108a及び第2水平メモリ部108bを列毎に選択する。これにより、第1水平メモリ部108a及び第2水平メモリ部108bに記憶されているデジタル化された画素信号を、それぞれ対応する第1出力部110a及び第2出力部110bに転送するように制御する。第1出力部110a及び第2出力部110bは、デジタル化された行単位の画素信号の前あるいは前後に同期信号を付加し、それぞれ対応する第1出力端子111a及び第2出力端子111bから、同期信号付きのデジタル画素信号を信号処理部13へ出力する。
TG112は、制御端子113を介して入力する同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
図3は、本実施形態に係る第1出力部110aの構成を示す図である。なお、ここでは第1出力部110aについて説明するが、第2出力部110bも同様の構成を有する。図3に示すように、第1出力部110aは、信号変換部201、同期信号付加部202、及び複数の差動送信バッファ203を備えている。
信号変換部201には、第1水平メモリ部108aから8bitに対応する8本の水平信号線を介して送られてくる画素信号D0a、D1a、D2a、D3a、D4a、D5a、D6a及びD7aが入力される。更に、TG112からクロック信号として送られてくる、第1水平走査部109aの転送周期と同じ周期の画素クロック信号Sckaが入力される。そして、画素クロック信号Sckaの位相と同期するように、8bitの画素信号D0aからD7aの位相を調整する。更に、例えば黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施してもよい。
黒レベル調整とは、画素領域101の周辺に配置された不図示の遮光された画素の信号レベルが、予め同期制御部15によって設定されたレベルになるように、画素領域101の信号すべてのレベルを同じだけシフトする機能のことである。
列ばらつき補正とは、第1列信号処理部106a及び第1列AD部107aで発生するばらつきを補正する機能のことである。この補正を行うために、画素領域101の上部あるいは下部に不図示の遮光された画素を配置し、遮光された画素の信号から列方向のばらつき補正データを作成し、画素領域101の信号に対して列方向の補正を実施する。
信号増幅とは、画像処理において適正な信号レベルとなるように、画素の信号にゲインをかける機能である。例えば信号処理部13が事前に撮像された画像から適切なゲイン量を算出して、同期制御部15がゲインを設定するような制御が可能である。
色関係処理としては、例えば、ホワイトバランス(WB)処理がある。画素領域101の画素Pには、それぞれに対して不図示のRGBの色フィルタが、例えばベイヤ配列等、所定の配列に従って設けられている。この場合、例えば信号処理部13が事前に撮像された画像から適切なWB処理を施す色毎のゲイン量を算出して、同期制御部15が色毎のゲインを設定するような制御が可能である。
同期信号付加部202は、画素クロック信号Sckaの位相と同期した状態で、画素信号D0aからD7aそれぞれに対して、スタート同期信号SD1r、及び、必要に応じてエンド同期信号ED1rを付加する。ここで、同期信号を付加するタイミングは、同期制御部15からの制御信号に基づいて、TG112から出力される制御信号により制御される。
差動送信バッファ203は、同期信号を付加した画素信号D0aからD7a、及び画素クロック信号Sckaそれぞれに対して設けられ、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号を同時に出力する。
本第1の実施形態では、正転画素信号をD0PaからD7Pa、反転画素信号をD0NaからD7Na、正転画素クロック信号をSckPa、反転画素クロック信号をSckNaと表している。
第1出力部110a及び第2出力部110bに入力される画素クロック信号として、同じ信号がTG112から送られてきた場合、TG112から第1出力部110a及び第2出力部110bそれぞれまでの距離に応じた遅延が発生する。そのため、後述するように、この遅延を考慮した画素クロック信号Scka及びSckbをそれぞれ用いる。
また、図3に示す第1出力部110aの差動送信バッファ203は、電流モードで差動動作をさせるLVDS(Low Voltage Differential Signaling)を利用することができる。このようにすることで、耐ノイズ性や不要輻射の問題に対して有利になる。
すなわち、正転信号に相当するパルス信号のみのシングル出力では、高速になるほどパルス波形に鈍りやリンギングなどの正常でない成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるLVDSにおいては、差動出力の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。
さらに、正転信号に相当するパルス信号のみのシングル出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路との間で電流が行き来する。そのため、その度に不要輻射の原因となる電磁界が発生し、周辺回路や固体撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるLVDSにおいては、送信側出力回路と受信側入力回路との間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。
なお、この効果をより高めるには、差動動作する正転信号と反転信号2つの出力線を近接して配置するとともに、差動送信バッファと作動受信バッファ間の接続距離が極力同じになるように回路設計をする必要がある。
次に、図2に示す構成を有する本第1の実施形態における撮像素子12の動作について説明する。図4は、第1の実施形態に係る撮像素子12の動作タイミングを示す図である。
第1の実施形態においては、奇数行目の画素の信号を第1読み出し動作Opr1により第1の出力系を介して読み出し、偶数行目の画素の信号を第2読み出し動作Opr2により第2の出力系を介して読み出す。なお、第1読み出し動作Opr1と第2読み出し動作Opr2とは、並行して行われる。
第1読み出し動作Opr1においては、まず、Read1r期間において、垂直走査部102からの駆動制御信号により、1行目の画素P1cの信号をそれぞれ対応する垂直信号線104aに読み出す(タイミングtt0からtt1)。このとき、最初に画素をリセットした状態のN信号が、第1列信号処理部106aでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のS信号がサンプルホールドされる。
次に、CDS1r期間において、第1列信号処理部106aのCDS回路が、S信号からN信号を減算することで、CDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(タイミングtt1からtt2)。
そして、AD1r期間において、第1列AD部107aが、ノイズ除去された1行目の画素P1cの信号をアナログデジタル変換して、第1水平メモリ部108aへ記憶させる(タイミングtt2からtt3)。
ここまでのタイミングtt0からtt3で行われる処理が、1行目の画素P1c全列の信号の並列処理になる。
続いて、SD1r期間において、第1出力部110a内の同期信号付加部202が画素クロック信号Sckaの位相と同期した状態で、8bitの画素信号が送られて来る前にスタート同期信号SD1rを付加する(タイミングtt3からtt4)。このとき、スタート同期信号SD1rは、8bitの画素信号が取り得ない値の組み合わせに設定しておく必要がある。黒レベル調整後の黒レベルが0より高い値に設定されている場合には、画素信号を構成する8bitのそれぞれの信号に対して、例えば、「SD1r=11110000」を付加することで実現できる。具体的には、SD1r期間として画素クロック信号Sckaの8クロックを割り当てる。即ち、SD1r期間の間に、8bitの正転画素信号であるD0PaからD7Paそれぞれが、「D0Pa=11110000」から「D7Pa=11110000」を出力する。同様に、8bitの反転画素信号であるD0NaからD7Naそれぞれが、「D0Na=00001111」から「D7Na=00001111」を出力する。
このとき、正転画素クロック信号SckPa、反転画素クロック信号SckNaには、スタート同期信号SD1rを付加しない。
次に、SigOut1r期間において、第1水平走査部109aが第1水平メモリ部108aを列毎に順次選択し、列毎に記憶しているデジタル化された8bitの画素信号D0aからD7aを第1出力部110aに転送する。
そして、信号変換部201において、TG112から送られてくる画素クロック信号Sckaの位相と同期するように、8bitの画素信号D0aからD7aの位相を調整する。その後、差動送信バッファ203において、8bitそれぞれの信号に対応する正転信号と反転信号に変換して、第1出力端子111aから出力する(タイミングtt4からtt5)。
更に続けて、ED1r期間において、第1出力部110a内の同期信号付加部202が画素クロック信号Sckaの位相と同期した状態で、8bitの画素信号が送り出された後にエンド同期信号ED1rを付加する(タイミングtt5からtt6)。このとき、エンド同期信号ED1rは、8bitの画素信号が取りえない値の組み合わせに設定しておく必要がある。スタート信号SD1rと区別するためには、画素信号を構成する8bitのそれぞれの信号に対して、たとえば、「ED1r=11001100」を付加することで実現できる。具体的には、ED1r期間として画素クロック信号Sckaの8クロックを割り当てる。即ち、ED1r期間の間に、8bitの正転画素信号であるD0PaからD7Paそれぞれが、「D0Pa=11001100からD7Pa=11001100」を出力する。同様に、8bitの反転画素信号であるD0NaからD7Naそれぞれが、「D0Na=00110011」から「D7Na=00110011」を出力する。
このとき、正転画素クロック信号SckPa、反転画素クロック信号SckNaには、エンド同期信号ED1rを付加しない。
ここまでのタイミングtt3からtt6までが、スタート同期信号SD1r及びエンド同期信号ED1rを付加した1行目の画素P1cの信号の出力期間になる。
タイミングtt6の後、第1読み出し動作Opr1においては、1行目の画素P1cの信号の出力後、続けて3行目の画素P3cの信号を出力する。即ち、タイミングtt6からtt7までが、3行目の画素P3cの信号の読み出し、CDS処理、アナログデジタル変換、第1水平メモリ部108aへの記憶といった全列の並列処理を実施する期間になる。そして、タイミングtt7からtt8までが、スタート同期信号SD3r及びエンド同期信号ED3rを付加した3行目の画素P3cの信号の出力期間になる。
そして、画素領域101に配列されている画素Pは4行であるため、タイミングtt8以降に、再び1行目の画素P1cの信号の読み出し動作が開始される。
次に、第2読み出し動作Opr2においては、Read2r期間において、2行目の画素P2cの信号をそれぞれ対応する垂直信号線104bに読み出す(タイミングtt0からtt1)。この処理は、垂直走査部102が1行目の画素P1cの信号をそれぞれ対応する垂直信号線104aに読み出すのと同時に行われる。
続くタイミングtt1からtt16で第2列信号処理部106b及び第2出力部110bで行われる動作は、第1読み出し動作Opr1と同様であるので、説明を省略する。
このように、第1読み出し動作Opr1と同じ動作をさせることで、スタート信号SD2r及びエンド同期信号ED2rが付加された2行目の画素P2cの信号をSigOut2r期間に出力することができる。
そして、第2読み出し動作Opr2においては、2行目の画素P2cの信号の出力後、続けて4行目の画素P4cの信号を出力し、その後再び2行目の画素P2cの信号の読み出し動作が開始される。
ここで、撮像素子12の出力信号の画素数は予め決まっているので、同期制御部15が信号処理部13に対して、1行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号EDは省略可能である。
図5は、本第1の実施形態に係る信号処理部13の入力部分の構成を示す図である。信号処理部13での信号処理が可能となるように、撮像素子12から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。
図5に示すように、信号処理部13の入力部分は、第1入力部401a、第2入力部401b、同期信号解読部403及び内部メモリ404を含む。第1入力部401a及び第2入力部401bには、第1出力部110a及び第2出力部110bからの画素の信号が、それぞれ第1入力端子402a及び第2入力端子402bを介して入力される。入力される信号は、図3を用いて説明したように、一つの信号が、正転画素信号及び反転画素信号からなる差動信号なので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される画素クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理も行う。
同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号SDとエンド同期信号EDに挟まれた行単位の画素信号を内部メモリ404に記憶させる。内部メモリ404は、行単位の画素信号を記憶する。ここで、1行目から8行目までを記憶する領域を、便宜的にそれぞれmP1rからmP8rとする。
第1入力部401aから同期信号解読部403に1行目の画素P1cの信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号SD1rとエンド同期信号ED1rに挟まれた行単位の画素信号を内部メモリ404の領域mP1rに記憶し始める。
次に、Read1r期間経過後、第2入力部401bから同期信号解読部403に2行目の画素P2cの信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号SD2rとエンド同期信号ED2rに挟まれた行単位の画素信号を内部メモリ404の領域mP2rに記憶し始める。
このとき、内部メモリ404に対しては、1行目の画素P1cの信号の記憶動作と2行目の画素P2cの信号の記憶動作を同時に行うことになるが、内部メモリ404の異なる領域に対する記憶動作なので、制御可能となっている。
1行目の画素P1c及び2行目の画素P2cの信号の記憶動作終了後、3行目の画素P3c及び4行目の画素P4cの信号の記憶動作も同様に行う。
そして、内部メモリ404の領域mP1rからmP4rに記憶された1行目から4行目の画素Pの信号は、同期制御部15からの制御信号に基づいて、内部メモリ端子405から1行毎に出力され、信号処理されていくことになる。
その後、続けて1行目の画素P1cの信号及び2行目の画素P2cの信号が入力された場合には、また最初から内部メモリ404の領域mP1r及びmP2rに記憶すればよい。
あるいは、奇数回目の撮像では、1行目の画素P1cから4行目の画素P4cの信号をそれぞれ領域mP1rからmP4rに記憶し、偶数回目の撮像では、1行目の画素P1cから4行目の画素P4cの信号をそれぞれ領域mP5rからmP8rに記憶する。このようにすることで、後段の信号処理にかかる時間を確保してもよい。
次に、画素クロック信号Scka及びSckbについて説明する。図2に示す撮像素子12の構成では、TG112から第1出力部110aまでの距離が、TG112から第2出力部110bまでの距離に対して、かなり離れている。また、TG112から出力された画素クロック信号Sckが第1出力部110a及び第2出力部110bに到達するまでに、それぞれまでの距離に応じた遅延が発生する。そこで、第1出力部110a及び第2出力部110bそれぞれに対する遅延量を考慮した画素クロック信号Scka及びSckbが必要になる。
さらに、画素信号の遅延は、撮像素子12内だけではなく、撮像素子12から次段の信号処理部13までの距離に応じても発生する。撮像素子12の第1出力部110aから信号処理部13の第1入力部401aまでの距離と、第2出力部110bから第2入力部401bまでの距離が大きく異なると、その遅延量の差(位相差)も問題となる。
そこで、最終的には、第1入力部401a及び第2入力部401bに到達した時点で位相差が低減された画素クロック信号Scka及びSckbが必要になる。
図6は、本第1の実施形態において、画素クロック信号Scka及びSckbを生成する遅延制御部の配置例を示すブロック図である。図6においては、第1出力部110a及び第2出力部110bを動作させる画素クロック信号Sckに対する第1遅延制御部302a及び第2遅延制御部302bを、TG112の後段に直後にまとめて配置している。これにより、第1入力部401a及び第2入力部401bに到達した時点における画素クロック信号Sck間の位相差を改善させる。
第1遅延制御部302a及び第2遅延制御部302bは、画素クロックSckに対してそれぞれ遅延量を設定する。信号線303は、TG112から供給される画素クロックSckを第1遅延制御部302a及び第2遅延制御部302bに供給する。信号線304a及び304bは、制御端子113を介して入力する同期制御部15からの制御信号に基づいて、それぞれ第1遅延制御部302a及び第2遅延制御部302bに対して遅延量を設定する遅延制御信号Dsela及びDselbを供給する。
図7は、第1の実施形態に係る第1遅延制御部302aの構成を示す図である。ここでは第1遅延制御部302aについて説明するが、第2遅延制御部302bも同様の構成を有する。
図7に示す第1遅延制御部302aは、複数の遅延素子305及び遅延信号選択部306を備えている。画素クロック信号Sckが入力されると、遅延素子305を通過するごとに、異なる遅延量を持つ画素クロック信号Sck0、Sck1、Sck2、Sck3、Sck4、Sck5、Sck6、Sck7が発生する。そして、これら異なる遅延量を持つ画素クロック信号Sck0からSck7の一つが、遅延信号選択部306において遅延制御信号Dselaによって選択され、画素クロック信号Sckaとして第1出力部110aへ送られる。
なお、第1の実施形態においては、第1遅延制御部302aで用いられる遅延素子305は、すべて同じインバータを2個直列にした構成としているが、この構成に限らず、遅延線等を用いてもよい。
図8は、図7に示す第1遅延制御部302aにおいて発生させることができる遅延信号のパルス波形を示すタイミング図である。TG112から供給される画素クロック信号Sckは、t00からt08を1周期とする周期的なパルスであり、パルス波形のタイミングは、画素クロックSckの立下りt00を基準とする。
画素クロック信号Sck0は、遅延素子305を通過しないので、画素クロック信号Sckと同じパルス波形となる。画素クロック信号Sck1からSck7は、遅延素子305を通過するたびに遅延量Tdが発生するので、通過した遅延素子305の数に応じて、t01からt07までの遅延量をもったパルス波形となる。
ここで、画素クロック信号Sck7のパルス波形は、遅延することで遅延量がt07となり、画素クロックSckの1周期にあたるt08以上の遅延量を持つ。このため、第1の実施形態における第1遅延制御部302aにおいては、画素クロック信号Sckの1周期以内の遅延制御が可能となっている。また、第1の実施形態においては、第1遅延制御部302aで用いられる遅延素子305をすべて同じ構成にしたので、遅延素子305を通過した時の遅延量は、すべて同じ遅延量Tdとなっている。こうして、発生させた異なる遅延量を持つ画素クロック信号Sck0からSck7の中から画素クロック信号Sckaが選択される。
図9は、第1の実施形態に係る撮像素子12における遅延動作を説明するタイミング図である。画素クロック信号Sckとタイミングt00からt07の関係は、図8と同じである。Sckao及びSckboは、第1遅延制御部302a及び第2遅延制御部302bにより遅延制御を行わなかった場合の、撮像素子12の第1出力端子111a及び第2出力端子111bにおける画素クロック信号Scka及びSckbのパルス波形である。
SigOut1oは、遅延制御を行わなかった場合に第1の出力系を介して出力される1行目の画素の信号を表し、画素クロック信号Sckaoの立下りに同期して、画素P11及びP12の信号が出力されている。SigOut2oは、遅延制御を行わなかった場合に第2の出力系を介して出力される2行目の画素の信号を表し、画素クロック信号Sckboの立下りに同期して、画素P21及びP22の信号が出力されている。
図9に示す例では、画素クロック信号Sckaoはt00を基準としてta’までの遅延が発生し、画素クロック信号Sckboはt00を基準としてtb’までの遅延が発生している。この場合、1行目の画素P1cの信号と2行目の画素P2cの信号との間には、遅延量Tdを越える位相差(ta’−tb’)が発生していることになる。この位相差を遅延量Td以内に収めるため、画素クロック信号Sckboに対して第2遅延制御部302bによる遅延制御を実施する。
画素クロック信号SckaOは、画素クロック信号Sckaoの遅延制御後の信号であるが、図9においては、画素クロック信号Sckboを画素クロック信号Sckaoに合わせるため、画素クロック信号Sckaoをそのまま出力している。即ち、画素クロック信号Sckaoの遅延量ta’と、画素クロック信号SckaOの遅延量taは同じである。つまり、第1遅延制御部302aにおいては遅延の必要がないため、画素クロック信号Sck0を選択することになる。
一方、画素クロック信号SckbOは、画素クロック信号Sckboの遅延制御後の信号である。第2遅延制御部302bにおいては画素クロック信号Sck1を選択し、画素クロック信号Sckboをtb’から遅延量Tdに相当するtbまで遅延させている。
SigOut1Oは、遅延制御後の1行目の画素P11及びP12の信号を表している。SigOut2Oは、遅延制御後の2行目の画素P21及びP22の信号を表している。
このように、撮像素子12の第1出力端子111a及び第2出力端子111bにおける画素クロック信号SckaOとSckbOとの位相差(ta−tb)を、遅延量Td以内に収めることができる。
第1遅延制御部302a及び第2遅延制御部302bに設定する遅延量は、次のようにして求める。まず、予め第1出力端子111a及び第2出力端子111bにおける、遅延制御を行わなかった場合の画素クロック信号SckaoとSckboとの位相差を測定しておき、遅延量に応じた設定を決めておく。そして、同期制御部15からの制御信号によって第1遅延制御部302a及び第2遅延制御部302bに設定する。
次に、画素クロック信号Sckの1周期を越える遅延を実施したい場合について考える。想定される遅延に対応するだけの遅延素子305を予め準備しておくことでも対応可能であるが、次のように制御しても良い。即ち、例えば、画素クロック信号Sckaoに対して、まず、1周期分、つまり1パルス分遅れて2行目の画素P21の信号を出力させるように制御する。そして更に1周期以内の遅延制御を第2遅延制御部302bによって行うようにすれば、1周期を越える遅延を実施できる。
さらに、遅延させるパルスの数を増やすことで、さらに遅延量を大きく設定することも可能となる。
上記の通り本第1の実施形態によれば、撮像素子において、2つの出力部それぞれに対応する遅延制御部を設ける。そして、画素クロック信号に対して遅延制御を実施することで、撮像素子から出力される画素信号間における位相差を遅延量Td以内に収めることが可能となる。
これにより、複数の出力系の信号の間において発生する位相差を、各出力系から出力される信号に対する遅延制御により解消することにより、出力信号を同期させることができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、複数の出力系から出力される信号間において発生する位相差に対応した同期制御を実現することができる。
(変形例1)
次に、第1の実施形態の変形例1について説明する。図10は、図9に代えて行われる変形例1における撮像素子12の遅延動作を示す図である。なお、画素クロック信号Sckとタイミングt00からt07の関係は、図8と同じである。Sckai及びSckbiは、第1遅延制御部302a及び第2遅延制御部302bにより遅延制御を行わなかった場合の、信号処理部13の第1入力部401a及び第2入力部401bにおける画素クロック信号Scka及びSckbのパルス波形である。
図10に示す例では、画素クロック信号Sckaiはt00を基準としてta’までの遅延が発生し、画素クロック信号Sckbiはt00を基準としてtb’までの遅延が発生している。Mckは、信号処理部13の入力部分で用いられる信号処理クロック信号と同じメモリクロック信号を表している。そして、立下りのタイミングtmで入力されてきた画素の信号を内部メモリ404に取り込む。
画素クロック信号SckaIは、画素クロック信号Sckaiの遅延制御後の信号である。第1遅延制御部302aにおいては画素クロック信号Sck1を選択し、画素クロック信号Sckaiをta’から遅延量Tdに相当するtaまで遅延させている。
一方、画素クロック信号SckbIは、画素クロック信号Sckbiの遅延制御後の信号である。第2遅延制御部302bにおいては画素クロック信号Sck3を選択し、画素クロック信号Sckbiをtb’から遅延量Tdの3倍に相当するtbまで遅延させている。
SigOut1Iは、遅延制御後の1行目の画素P11の信号を表している。SigOut2Iは、遅延制御後の2行目の画素P2の信号を表している。
これにより、信号処理部13の入力部分のそれぞれに対応する第1入力部401a及び第2入力部401bにおける画素クロック信号SckaIとSckbIの位相差(tb−ta)を、遅延量Td以内に収めることが可能となっている。
さらに、図10においては、画素クロック信号SckaI及びSckbIの両方を遅延させている。これにより、例えば、遅延制御後の1行目の画素P11の信号と遅延制御後の2行目の画素P21の信号の両方に対して、Mckによる画素の信号の取り込みタイミングtmが、中央付近になるように設定することができる。従って、Mckによる画素の信号の取り込みタイミングに対する位相マージンを確保することが可能となる。
ここで、第1遅延制御部302a及び第2遅延制御部302bに設定する遅延量は、次のようにして求める。まず、予め第1入力端子402a及び第2入力端子402bにおける、遅延制御を行わなかった場合の画素クロック信号SckaiとSckbiの位相差を測定しておき、それを別途出力されているMckと比較して、遅延量に応じた設定を決めておく。そして、同期制御部15からの制御信号によって第1遅延制御部302a及び第2遅延制御部302bに設定する。
(変形例2)
次に、第1の実施形態の変形例2について説明する。TG112は、図2において説明したように、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力するため、撮像素子12内のどこか1カ所に置かれることが多い。また、遅延制御部302は出力部110の数だけ必要となる。そのため、図6に示すように遅延制御部302をTG112の後段に直後にまとめて配置した場合、TG112付近の回路が増加し、配置できなくなってしまう可能性がある。
図11は、図6に替えて用いられる、第1の実施形態の変形例2に係る遅延制御部の配置例を示すブロック図である。変形例2においては、第1出力部110aの前段に直前に第1遅延制御部302aを設けた場合のみを説明するが、第2出力部110bに第2遅延制御部302bを設けた場合においても、同様の構成を有する。
図11に示すように、TG112から供給される画素クロック信号Sckに対して遅延量を設定する遅延制御部601を、第1出力部110aの前段に直前に配置している。Dselaは、制御端子113を介した同期制御部15からの制御信号に基づいて、遅延制御部601に対して遅延量を設定制御する遅延制御信号である。602は、遅延制御部601において遅延が設定され、第1出力部110aに入力される画素クロックSckaである。D0a〜D7aは、第1水平メモリ部108aから送られてくる画素信号である。なお、遅延制御部601は、図7を参照して説明した第1遅延制御部302aと同様の構成を有する。
このように、遅延制御部601を出力部110のそれぞれと一緒に配置することが可能となるので、TG112の後段に直後にまとめて配置した場合に比べて、配置上の自由度が上がる。
さらに、撮像素子12内に、図6に示す第1遅延制御部302a及び第2遅延制御部302bと、図11に示す遅延制御部601とを同時に配置してもよい。例えば、TG112から第1出力部110a及び第2出力部110bそれぞれまでの距離に応じた遅延により発生する位相差を、まず、図6のTG112の後段に直後にまとめて設けた第1遅延制御部302a及び第2遅延制御部302bで解消する。そして、第1出力部110aから第1入力部401aまでの距離と第2出力部110bから第2入力部401bまでの距離に応じた遅延により発生する位相差を、図11に示すように第1出力部110a及び第2出力部110bの前段に直前にそれぞれ設けた遅延制御部601で解消するように制御する。
具体的には、図6のTG112の後段に直後にまとめて設けた第1遅延制御部302a及び第2遅延制御部302bにおいては、それぞれSck0及びSck1を選択する。更に、図11に示すように第1出力部110a及び第2出力部110bの前段に直前に設けた遅延制御部601においては、それぞれSck1及びSck2を選択する。これにより、図10と同様な遅延制御後のパルス波形の画素クロック信号SckaI及びSckbIを実現することができる。
このように、変形例2によれば、撮像素子12内で発生する位相差と撮像素子12と信号処理部13間で発生する位相差とを別々に制御及び管理できる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態は、第1の実施形態と比較して、撮像素子12の構成及びその制御が異なる。それ以外は第1の実施形態と同様であるので、以下、第1の実施形態と異なる部分を中心に説明する。
第1の実施形態における撮像素子12は、水平メモリ部及び出力部を2組備えることで、2行同時出力による高速読み出し動作を実現している。これに対し、第2の実施形態においては、水平メモリ部及び出力部を4組備えることで、更なる高速読み出し動作を実現する方法について説明する。
図12は、第2の実施形態に係る撮像素子12の概略構成を示す図である。図2に示す構成と比較して、画素領域101の上側に配置された第3水平メモリ部108c及び第3出力部110cと、画素領域101の下側に配置された第4水平メモリ部108d及び第4出力部110dとを更に備える。また、垂直信号線104aの半分が垂直信号線104cに代わって、第3水平メモリ部108cに接続し、垂直信号線104bの半分が垂直信号線104dに代わって、第4水平メモリ部108dに接続する。上記以外は、図2を参照して上述した構成と同様であるので、説明を省略する。なお、第3出力部110c及び第4出力部110dは、図3を参照して説明した第1出力部110aと同様の構成を有する。また、図12には記載されていないが、本第2の実施形態における撮像素子12は、TG112から出力される画素クロック信号Sckを遅延させるための回路を有するが、その構成及び配置については、詳細に後述する。
図12に示す構成では、垂直信号線104aは、1行目の画素P11及びP13と、3行目の画素P31及びP33に接続し、垂直信号線104bは、2行目の画素P21及びP23と、4行目の画素P41及びP43に接続する。また、垂直信号線104cは、1行目の画素P12及びP14と、3行目の画素P32及びP34に接続し、垂直信号線104dは、2行目の画素P22及びP24と、4行目の画素P42及びP44に接続する。そして、画素制御線103により選択された行の画素Pの信号が、それぞれ対応する垂直信号線104a〜104dに読み出される。
そして、1行目の画素P11及びP13の信号と、3行目の画素P31及びP33の信号が、第1列信号処理部106a及び第1列AD部107aの処理を経て、第1水平メモリ部108aを介して第1出力部110aから出力される(第1の出力系)。また、1行目の画素P12及びP14の信号と、3行目の画素P32及びP34の信号が、第1列信号処理部106a及び第1列AD部107aの処理を経て、第3水平メモリ部108cを介して第3出力部110cから出力される(第3の出力系)。
また、2行目の画素P21及びP23の信号と、4行目の画素P41及びP43の信号が、第2列信号処理部106b及び第2列AD部107bの処理を経て、第2水平メモリ部108bを介して第2出力部110bから出力される(第2の出力系)。更に、2行目の画素P22及びP24の信号と、4行目の画素P42及びP44の信号が、第2列信号処理部106b及び第2列AD部107bの処理を経て、第4水平メモリ部108dを介して第4出力部110dから出力される(第4の出力系)。
上記構成により、1行目の画素P1cの信号と2行目の画素P2cの信号、及び、3行目の画素P3cの信号と4行目の画素P4cの信号を別々の経路で読み出すことができる。従って、垂直走査部102は2行同時に選択することで2行同時に読み出すことができる。
更に、第1水平メモリ部108aに記憶されている1列目の画素Pr1の信号と3列目の画素Pr3の信号、及び、第3水平メモリ部108cに記憶されている2列目の画素Pr2の信号と4列目の画素Pr4の信号とを別々の経路で読み出すことができる。従って、第1水平走査部109aにより2列同時に選択することで、2列同時に読み出すことができる。
同様に、第2水平メモリ部108bに記憶されている1列目の画素Pr1の信号と3列目の画素Pr3の信号、及び、第4水平メモリ部108dに記憶されている2列目の画素Pr2の信号と4列目の画素Pr4の信号とを別々の経路で読み出すことができる。従って、第2水平走査部109bにより2列同時に選択することで、2列同時に読み出すことができる。
即ち、4つの出力系を介して、2行2列分の4画素の信号を第1出力端子111a〜第4出力端子111dから同時に出力することができる。
次に、上記構成を有する撮像素子12の本第2の実施形態における動作について、図13を用いて説明する。図13は、第2の実施形態に係る撮像素子12の動作タイミングを示す図である。
第2の実施形態においては、奇数行目の画素の信号を第1読み出し動作Opr1及び第3読み出し動作Opr3により第1の出力系及び第3の出力系を介して読み出す。また、偶数行目の画素の信号を第2読み出し動作Opr2及び第4読み出し動作Opr4により第2の出力系及び第4の出力系を介して読み出す。なお、第1読み出し動作Opr1及び第3読み出し動作Opr3と、第2読み出し動作Opr2及び第4読み出し動作Opr4とは、並行して行われる。
第1読み出し動作Opr1においては、まず、Read1r期間において、垂直走査部102からの駆動制御信号により、1行目の画素P1cの信号をそれぞれ対応する垂直信号線104a及び104cに読み出す(タイミングtt0からtt1)。このとき、最初に画素をリセットした状態のN信号が、第1列信号処理部106aでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のS信号がサンプルホールドされる。
次に、CDS1r期間において、第1列信号処理部106aのCDS回路が、S信号からN信号を減算することで、CDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(タイミングtt1からtt2)。
AD1r期間では、第1列AD部107aが、ノイズ除去された1行目の画素P1cの信号をアナログデジタル変換する。そして、1列目の画素P11及び3列目の画素P13の信号を第1水平メモリ部108aへ記憶させると共に、2列目の画素P12及び4列目の画素P14の信号を第3水平メモリ部108cへ記憶させる(タイミングtt2からtt3)。
一方、第2読み出し動作Opr2においては、まず、Read2r期間において、垂直走査部102からの駆動制御信号により、2行目の画素P2cの信号をそれぞれ対応する垂直信号線104b及び104dに読み出す(タイミングtt0からtt1)。
次に、CDS2r期間において、第2列信号処理部106bのCDS回路が、S信号からN信号を減算することで、CDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(タイミングtt1からtt2)。
AD2r期間では、第2列AD部107bが、ノイズ除去された2行目の画素P2cの信号をアナログデジタル変換する。そして、1列目の画素P21及び3列目の画素P23の信号を第2水平メモリ部108bへ記憶させると共に、2列目の画素P22及び4列目の画素P24の信号を第4水平メモリ部108dに記憶させる(タイミングtt2からtt3)。
上記処理により、1行目の画素P1c及び2行目の画素P2cそれぞれの信号が、第1〜第4メモリ部108a〜dに並列に記憶される。
これ以降の第1〜第4読み出し動作Opr1〜4において、第1〜第4水平メモリ部108a〜dに記憶している画素Pの信号を、それぞれに対応する第1〜第4出力部110a〜dを介して、撮像素子12から出力する処理が行われる。
まず、第1〜第4水平メモリ部108a〜dのそれぞれに対応する第1〜第4出力部110a〜dにおいて、スタート同期信号を付加する(タイミングtt3からtt4のSD1a、SD2b、SD1c、SD2d)。
次に、第1〜第4水平メモリ部108a〜dに記憶している画素信号を、それぞれに対応する第1〜第4出力部110a〜dを介して出力する(タイミングtt4からtt5のSigOut1a、SigOut2b、SigOut1c、SigOut2d)。そして最後に、第1〜第4出力部110a〜dにおいて、エンド同期信号を付加することで、1行目の画素P1cと2行目の画素P2cの信号の出力が終了する(タイミングtt5からtt6のED1a、ED2b、ED1c、ED2d)。
この後、第1読み出し動作Opr1においては、1行目の画素の信号の出力後、続けて3行目の画素の信号の読み出しを行う。また、第2読み出し動作Opr2においては、2行目の画素の信号の出力後、続けて4行目の画素の信号の読み出しを行う(タイミングtt6からtt7)。
これ以降の第1〜第4読み出し動作Opr1〜4においては、1行目の画素P1cと2行目の画素P2cの信号の出力と同様に、3行目の画素P3cと4行目の画素P4cの信号の出力を同時に行う(タイミングtt7からtt8)。
また、図13においては、画素領域101に配列されている画素Pは4行であるため、3行目の画素P3cと4行目の画素P4cの信号の出力後、1行目の画素P1cと2行目の画素P2cの信号の読み出し動作が開始される。
図14は、本第2の実施形態に係る信号処理部13の入力部分の構成を示す図である。信号処理部13での信号処理が可能となるように、撮像素子12から出力される画素配列がずれたデジタル画素信号を受け取ることが可能な構成になっている。
図14に示すように、第2の実施形態における信号処理部13の入力部分は、第1入力部401a、第2入力部401b、第3入力部401c、第4入力部401d、同期信号解読部403、メモリ制御部407及び内部メモリ404を含む。なお、図5と同様の構成には、同じ参照番号を付している。第1〜第4入力部401a〜dには、第1〜第4出力部110a〜dからの画素の信号が、それぞれ第1〜第4入力端子402a〜dを介して入力される。入力される信号は、図3を用いて説明したように、一つの信号が、正転画素信号及び反転画素信号からなる差動信号なので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される画素クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理も行う。
同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号SDとエンド同期信号EDに挟まれた行単位の画素信号を出力する。内部メモリ404は、行単位の画素信号を記憶し、1行目から8行目までを記憶する領域を、便宜的にそれぞれmP1rからmP8rとする。メモリ制御部407は、第1〜第4出力部110a〜dから2行2列分ずつ出力される画素信号を、元の2行並列した画素信号に変換し、内部メモリ404に記憶させる。
図13に示す動作タイミングでは、tt3からtt6の期間に1行目の画素P1cの信号と2行目の画素P2cの信号が4画素分ずつ同時に出力される。この時、第1読み出し動作Opr1においては、第1出力部110aから1行目の画素P11及びP13の信号が順に出力され、同時に、第3読み出し動作Opr3において、第3出力部110cから1行目の画素P12及びP14の信号が順に出力される。同様に、第2読み出し動作Opr2においては、第2出力部110bから2行目の画素P21及びP23の信号が順に出力され、同時に、第4読み出し動作Opr4において、第4出力部110dから2行目の画素P22及びP24が順に出力される。
そこで、メモリ制御部407が内部メモリ404を制御して、次のような記憶制御を行う。即ち、第1入力部401aに入力された1行目の画素P11及びP13の信号と、第3入力部401cに入力された1行目の画素P12及びP14の信号を、内部メモリ404の領域mP1rにP11、P12、P13、P14の順に記憶させる。同様に、第2入力部401bに入力された2行目の画素P21及びP23の信号と、第4入力部401dに入力された2行目の画素P22及びP24の信号を、内部メモリ404の領域mP2rにP21、P22、P23、P24の順に記憶させる。
また、tt6からtt7の期間では、3行目の画素P3cの信号と4行目の画素P4cの信号が4画素分ずつ同時に出力される。この時、第1読み出し動作Opr1においては、第1出力部110aから3行目の画素P31及びP33の信号が順に出力され、同時に、第3読み出し動作Opr3において、第3出力部110cから3行目の画素P32及びP34の信号が順に出力される。同様に、第2読み出し動作Opr2においては、第2出力部110bから4行目の画素P41及びP43の信号が順に出力され、同時に、第4読み出し動作Opr4において、第4出力部110dから4行目の画素P42及びP44の信号が順に出力される。
そこで、メモリ制御部407が内部メモリ404を制御して、次のような記憶制御を行う。即ち、第1入力部401aに入力された3行目の画素P31及びP33の信号と、第3入力部401cに入力された3行目の画素P32及びP34の信号を、内部メモリ404の領域mP3rにP31、P32、P33、P34の順に記憶させる。同様に、第2入力部401bに入力された4行目の画素P41及びP43の信号と、第4入力部401dに入力された4行目の画素P42及びP44の信号を、内部メモリ404の領域mP4rにP41、P42、P43、P44の順に記憶させる。
そして、内部メモリ404の領域mP1rからmP4rに記憶された1行目から4行目の画素Pの信号は、同期制御部15からの制御信号に基づいて、内部メモリ端子405から行毎に出力され、信号処理されていくことになる。
その後、続けて1行目の画素P1cの信号及び2行目の画素P2cの信号が入力された場合には、また最初から内部メモリ404の領域mP1r及びmP2rに記憶すればよい。
図15は、本第2の実施形態において、画素クロック信号Scka〜Sckdを生成する遅延制御部の配置例を示すブロック図である。図6に示す回路とは、第3出力部110c及び第4出力部110dへの画素クロック信号Sckc及びSckdを供給するための第3遅延制御部302c及び第4遅延制御部302dが追加されているところが異なる。図12に示す撮像素子12の構成では、TG112から第1〜第4出力部110a〜dそれぞれまでの距離が、大きく異なっている。
TG112からは、第1〜第4出力部110a〜dを動作させる画素クロック信号Sckが出力されるが、TG112から第1〜第4出力部110a〜dそれぞれまでの距離に応じた遅延が発生する。そこで、第1〜第4出力部110a〜dそれぞれに対する遅延量を考慮した画素クロック信号Scka、Sckb、Sckc、Sckdが必要になる。
さらに、画素信号の遅延は、撮像素子12内だけではなく、撮像素子12から次段の信号処理部13までの距離に応じても発生する。撮像素子12の第1〜第4出力部110a〜dのそれぞれから、対応する信号処理部13の第1〜第4入力部401a〜dまでの距離が大きく異なると、その遅延量の差(位相差)も問題となる。
そこで、最終的には、第1〜第4入力部401a〜dに到達した時点で位相差が低減された画素クロック信号Scka、Sckb、Sckc、Sckdが必要になる。
画素クロック信号Sck間の位相差を改善するために、図15においては、図6と同様に、出力部110を動作させる画素クロック信号Sckに対する第1〜第4遅延制御部302a〜dを、TG112の後段に直後にまとめて配置している。
第1〜第4遅延制御部302a〜dは、それぞれ画素クロックSckに対して遅延量を設定する。信号線303は、TG112から画素クロックSckを第1〜第4遅延制御部302a〜dに供給する。信号線304a〜dは、制御端子113を介して入力する同期制御部15からの制御信号に基づいて、それぞれ第1〜第4遅延制御部302a〜dに対して遅延量を設定する遅延制御信号Dsela、Dselb、Dselc、Dseldを供給する。
なお、図15に示す各第1〜第4遅延制御部302a〜dの構成及び遅延制御の動作は、第1の実施形態において、図7及び図8を参照して説明した構成及び動作と同様であるので、ここでの説明は省略する。
図16は、本第2の実施形態に係る撮像素子12における遅延動作を説明するタイミング図である。画素クロック信号Sckとタイミングt00からt07の関係は、図8と同じである。Sckao、Sckbo、Sckco、Sckdoは、第1〜第4遅延制御部302a〜dにより遅延制御を行わなかった場合の、撮像素子12の第1〜第4出力端子111a〜dにおける画素クロック信号Scka〜dのパルス波形である。
SigOut1oは、遅延制御を行わなかった場合に第1の出力系を介して出力される1行目の画素の信号を表し、画素クロック信号Sckaoの立下りに同期して、画素P11及びP13の信号が出力されている。SigOut2oは、遅延制御を行わなかった場合に第2の出力系を介して出力される2行目の画素の信号を表し、画素クロック信号Sckboの立下りに同期して、画素P21及びP23の信号が出力されている。SigOut3oは、遅延制御を行わなかった場合に第3の出力系を介して出力される1行目の画素の信号を表し、Sckaoの立下りに同期して、画素P12及びP14の信号が出力されている。SigOut4oは、遅延制御を行わなかった場合に第4の出力系を介して出力される2行目の画素の信号を表し、Sckboの立下りに同期して、画素P22及びP24の信号が出力されている。
図16に示す例では、画素クロック信号Sckao、Sckbo、Sckco及びSckdoはt00を基準として、それぞれta’、tb’、tc’及びtd’までの遅延が発生している。この場合、1行目の画素P1cの信号と2行目の画素P2cの信号との間には、遅延量Tdを越える位相差(ta’−tb’)が発生していることになる。この位相差を遅延量Td以内に収めるため、画素クロック信号Sckbo、Sckco、Sckdoに対して第2〜第4遅延制御部302b〜dによる遅延制御を実施する。
画素クロック信号SckaOは、画素クロック信号Sckaoの遅延制御後の信号であるが、図16においては、画素クロック信号Sckbo、Sckco及びSckdoをSckaoに合わせる。そのため、画素クロック信号Sckaoをそのまま出力している。即ち、画素クロック信号Sckaoの遅延量ta’と、画素クロック信号SckaOの遅延量taは同じである。つまり、第1遅延制御部302aにおいては、遅延の必要がないため、画素クロック信号Sck0を選択することになる。
一方、画素クロック信号SckbOは、画素クロック信号Sckboの遅延制御後の信号である。第2遅延制御部302bにおいては画素クロック信号Sck1を選択し、画素クロック信号Sckboをtb’から遅延量Tdに相当するtbまで遅延させている。
また、画素クロック信号SckcOは、画素クロック信号Sckcoの遅延制御後の信号である。第3遅延制御部302cにおいてはSck0を選択し、Sckcoをそのまま出力している(tc’=tc)。画素クロック信号SckdOは、画素クロック信号Sckdoの遅延制御後の信号である。第4遅延制御部302dにおいては画素クロック信号Sck1を選択し、画素クロック信号Sckdoをtd’から遅延量Tdに相当するtdまで遅延させている。
SigOut1Oは、遅延制御後の1行目の画素P11及びP13の信号を表している。SigOut2Oは、遅延制御後の2行目の画素P21及びP23の信号を表している。SigOut3Oは、遅延制御後の1行目の画素P12及びP14の信号を表している。SigOut4Oは、遅延制御後の2行目の画素P22及びP24の信号を表している。
このように、撮像素子12の第1〜第4出力端子111a〜dにおけるSckaO、SckbO、SckcO及びSckdO間の位相差(ta−tc)を遅延量Td以内に収めることが可能となっている。
第1〜第4遅延制御部302a〜dに設定する遅延量は、次のようにして求める。まず、予め第1〜第4出力端子111a〜dにおける、遅延制御を行わなかった場合の画素クロック信号Sckao、Sckbo、Sckco、Sckdo間の位相差を測定しておき、遅延量に応じた設定を決めておく。そして、同期制御部15からの制御信号によって第1遅延制御部302a、第2遅延制御部302b、第3遅延制御部302c、第4遅延制御部302dに設定する。
次に、画素クロック信号Sckの1周期を越える遅延を実施したい場合について考える。想定される遅延に対応するだけの遅延素子305を予め準備しておくことでも対応可能であるが、次のように制御しても良い。即ち、例えば、画素クロック信号Sckao、Sckboに対して、まず、1周期分、つまり1パルス分遅れて2行目の画素P21及び4行目の画素P41の信号を出力させるように制御する。そして更に1周期以内の遅延制御を第2及び第4遅延制御部302b、302dによって行うようにすれば、1周期を越える遅延を実施できる。
さらに、遅延させるパルスの数を増やすことで、さらに遅延量を大きく設定することも可能となる。
上記の通り本第2の実施形態によれば、撮像素子において、4つの出力部それぞれに対応する遅延制御部を設ける。そして、画素クロック信号に対して遅延制御を実施することで、撮像素子から出力される画素信号間における位相差を遅延量Td以内に収めることが可能となる。
これにより、複数の出力系の信号間において発生する位相差を、各出力系から出力される信号に対する遅延制御により解消することにより、出力信号を同期させることができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、複数の出力系から出力される信号間において発生する位相差に対応した同期制御を実現することができる。
さらに、本第2の実施形態によれば、4つの出力系から同時に4画素の信号を出力するので、4倍のフレームレートを実現することができる。
(変形例1)
次に、第2の実施形態の変形例1について説明する。図17は、図16に代えて行われる実施例1における撮像素子12の遅延動作を示す図である。なお、画素クロック信号Sckとタイミングt00からt07の関係は、図16と同じである。Sckai、Sckbi、Sckci、Sckdiは、遅延制御を行わなかった場合の、信号処理部13の第1〜第4入力部401a〜dにおける画素クロック信号Scka〜dのパルス波形である。Mckは、信号処理部13の入力部分で用いられる信号処理クロック信号と同じメモリクロック信号を表している。そして、立下りのタイミングtmで入力されてきた画素の信号を内部メモリ404に取り込む。
画素クロック信号SckaI、SckbI、SckcI、SckdIは、画素クロック信号Sckai、Sckbi、Sckci、Sckdiの遅延制御後の信号である。
SigOut1I、SigOut2I、SigOut3I、SigOut4Iは、遅延制御後の1行目の画素P11及びP12の信号、及び、2行目の画素P21及びP22の信号を表している。
図17においては、第1遅延制御部302a、第2遅延制御部302b、第3遅延制御部302c及び第4遅延制御部302dにおいて、それぞれSck1、Sck3、Sck2及びSck2を選択している。
これにより、信号処理部13の入力部分のそれぞれ対応する第1〜第4入力部401a〜dにおける画素クロック信号SckaI、SckbI、SckcI及びSckdI間の位相差(tb−ta)を、遅延量Td以内に収めることができる。
さらに、図17に示すように、画素クロック信号SckaI、SckbI、SckcI、SckdIのすべてを遅延させている。これにより、例えば、遅延制御後の1行目の画素P11及びP12の信号、及び、2行目の画素P21及びP22の信号のすべてに対して、Mckによる画素の信号の取り込みタイミングtmが、中央付近になるように設定することができる。従って、Mckによる画素の信号の取り込みタイミングに対する位相マージンを確保することが可能となる。
ここで、第1〜第4遅延制御部302a〜dに設定する遅延量は、次のようにして求める。まず、予め第1〜第4入力端子402a〜dにおける、遅延制御を行わなかった場合の画素クロック信号Sckai、Sckbi、Sckci及びSckdi間の位相差を測定しておき、それを別途出力されているMckと比較して、遅延量に応じた設定を決めておく。そして、同期制御部15からの制御信号によって、第1〜第4遅延制御部302a〜dに設定する。
(変形例2)
次に、第2の実施形態の変形例2について説明する。TG112は、図12において説明したように、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力するため、撮像素子12内のどこか1カ所に置かれることが多い。また、遅延制御部302は出力部110の数だけ必要となる。そのため、図15に示すように遅延制御部302をTG112の後段に直後にまとめて配置した場合、TG112付近の回路が増加し、配置できなくなってしまう可能性がある。
そこで、本第2実施形態の変形例2においては、図15に代えて、上述した図11のように出力部110の前段に直前に画素クロック信号Sckに対する遅延制御部302を配置する。図11は、第1出力部110aの前段に直前に遅延制御部601を設けた構成を示しているが、第2出力部110b、第3出力部110c、第4出力部110dの前段に直前にそれぞれ遅延制御部601を設けた場合においても同様である。
このように、遅延制御部601を出力部110のそれぞれと一緒に配置することが可能となるので、TG112の後段に直後にまとめて配置した場合に比べて、配置上の自由度が上がる。
さらに、撮像素子12内に、図15に示す第1〜第4遅延制御部302a〜dと、図11に示す遅延制御部601とを同時に配置してもよい。例えば、TG112から第1〜第4出力部110a〜dそれぞれまでの距離に応じた遅延により発生する位相差を、図15のTG112の後段に直後にまとめて設けた第1〜第4遅延制御部302a〜dで解消する。更に、撮像素子12の第1〜第4出力部110a〜dのそれぞれから、対応する信号処理部13の第1〜第4入力部401a〜dまでの距離に応じた遅延により発生する位相差を、図11の第1〜第4出力部110a〜dの前段に直前にそれぞれ設けた遅延制御部601で解消するように制御する。
具体的には、図15のTG112の後段に直後にまとめて設けた第1〜第4遅延制御部302a〜dにおいては、それぞれSck0、Sck1、Sck0及びSck1を選択する。そして、図11の第1〜第4出力部110a〜dの前段に直前にそれぞれ設けた遅延制御部601においては、それぞれSck1、Sck2、Sck2、Sck1を選択する。このようにすることで、図17と同様な遅延制御後のパルス波形の画素クロック信号SckaI、SckbI、SckcI及びSckdIを実現することができる。
このように、変形例2によれば、撮像素子12内で発生する位相差と撮像素子12と信号処理部13間で発生する位相差とを別々に制御及び管理することができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。なお、第3の実施形態は、第1及び第2の実施形態と比較して、撮像素子12の構成及びその制御が異なる。それ以外は第1の実施形態と同様であるので、以下、第1及び第2の実施形態と異なる部分を中心に説明する。
本第3の実施形態においても、図12に示す第2の実施形態の撮像素子12と同様に水平メモリ部及び出力部を4組備えるが、図18に示すように、画素Pとの対応が第2の実施形態と異なると共に、更に、垂直走査部を2つ、水平走査部を4つ備える。また、図18には記載されていないが、本第3の実施形態における撮像素子12は、TG112から出力される画素クロック信号Sckを遅延させるための回路を有するが、その構成及び配置については、詳細に後述する。
図18は、第3の実施形態に係る撮像素子12の概略構成を示す図である。図18に示すように、第3の実施形態における垂直信号線104aは、1行目及び2行目の1列目及び2列目の画素P11、P12、P21、P22(以下、「分割領域Ra」と呼ぶ。)に接続する。垂直信号線104bは、3行目及び4行目の1列目及び2列目の画素P31、P32、P41、P42(以下、「分割領域Rb」と呼ぶ。)に接続している。また、垂直信号線104cは、1行目及び2行目の3列目及び4列目の画素P13、P14、P23、P24(以下、「分割領域Rc」と呼ぶ。)に接続している。更に、垂直信号線104bは、3行目及び4行目の3列目及び4列目の画素P33、P34、P43、P44(以下、「分割領域Rd」と呼ぶ。)に接続している。
このように、画素領域101を複数に分割した分割領域毎に、異なる出力系を介して信号を読み出す。なお、図18においては、4×4配列の例で説明するがこの数に限定されるものではない。
また、第1垂直走査部102aは、画素制御線103aにより行毎に共通に接続され、分割領域Ra及びRcの画素を行単位で選択し、選択した行の画素のリセット動作や読み出し動作を駆動制御する。第2垂直走査部102bは、画素制御線103bにより行毎に共通に接続され、分割領域Rb及びRdの画素を行単位で選択し、選択した行の画素のリセット動作や読み出し動作を駆動制御する。
垂直信号線104aにより分割領域Raの画素P11、P12、P21、P22から読み出した信号は、第1列信号処理部106a及び第1列AD部107aの処理を経て、第1水平メモリ部108aを介して第1出力部110aから出力される(第1の出力系)。垂直信号線104bにより分割領域Rbの画素P31、P32、P41、P42から読み出した信号は、第2列信号処理部106b及び第2列AD部107bの処理を経て、第2水平メモリ部108bを介して第2出力部110bから出力される(第2の出力系)。垂直信号線104cにより分割領域Rcの画素P13、P14、P23、P24から読み出した信号は、第1列信号処理部106a及び第1列AD部107aの処理を経て、第3水平メモリ部108cを介して第3出力部110cから出力される(第3の出力系)。垂直信号線104dにより分割領域Rdの画素P33、P34、P43、P44から読み出した信号は、第2列信号処理部106b及び第2列AD部107bの処理を経て、第4水平メモリ部108dを介して第4出力部110dから出力される(第4の出力系)。
そして、画素制御線103aにより1行目あるいは2行目が選択された場合は、選択された行の画素の信号がそれぞれ対応する垂直信号線104a及び104cに読み出される。また、画素制御線103bにより3行目あるいは4行目が選択された場合は、選択された行の画素の信号がそれぞれ対応する垂直信号線104b及び104dに読み出される。
上記構成により、1行目の画素P1cの信号と3行目の画素P3cの信号とを別々の経路で読み出すことが可能なので、第1垂直走査部102a及び第2垂直走査部102bにおいて、1行目と3行目を同時に選択することとする。また、2行目の画素と4行目の画素も同様であるので、第1垂直走査部102a及び第2垂直走査部102bにおいて2行同時に選択することとする。
また、第1水平メモリ部108a及び第3水平メモリ部108cが互いに独立した構成となっている。そのため、それぞれ対応する第1水平走査部109a及び第3水平走査部109cにより、1列目の画素と3列目の画素を同時に選択することにより、第1出力部110a及び第3出力部110cから信号を同時に出力させることができる。同様に、第2水平メモリ部108b及び第4水平メモリ部108dが互いに独立した構成となっている。そのため、それぞれ対応する第2水平走査部109b及び第4水平走査部109dにより、1列目の画素と3列目の画素を同時に選択することにより、第2出力部110b及び第4出力部110dから信号を同時に出力させることができる。
2列目の画素と4列目の画素も同様であるので、第1水平走査部109a及び第3水平走査部109c、及び、第2水平走査部109b及び第4水平走査部109dにおいて、2列同時に選択する。
従って、各分割領域から1画素ずつ、同時に4画素の信号を出力させることができる。
第3水平メモリ部108c、第3水平走査部109c、第3出力部110c及び第3出力端子111cは、それぞれ第1水平メモリ部108a、第1水平走査部109a、第1出力部110a及び第1出力端子111aと同じ構成を有し、同じ動作となる。また、第4水平メモリ部108d、第4水平走査部109d、第4出力部110d及び第4出力端子111dは、それぞれ第2水平メモリ部108b、第2水平走査部109b、第2出力部110b及び第2出力端子111bと同じ構成を有し、同じ動作となる。その他の部分の構成と動作については、図12と同様であるので、ここでは説明を省略する。
なお、第1〜第4出力部110a〜dの構成と動作は、第1の実施形態で図3を参照して説明した第1出力部110aと同様であるので、ここでは説明を省略する。
次に、第3の実施形態における撮像素子の動作について、図13を参照して説明する。図13は、第3の実施形態に係る撮像素子12の動作タイミングを示す図である。
第3の実施形態においては、分割領域Ra及び分割領域Rcの画素の信号を第1読み出し動作Opr1及び第3読み出し動作Opr3により第1の出力系及び第3の出力系を介して読み出す。また、分割領域Rb及び分割領域Rdの画素の信号を第2読み出し動作Opr2及び第4読み出し動作Opr4により第2の出力系及び第4の出力系を介して読み出す。なお、第1読み出し動作Opr1及び第3読み出し動作Opr3と、第2読み出し動作Opr2及び第4読み出し動作Opr4とは、並行して行われる。
第1読み出し動作Opr1においては、まず、Read1r期間において、第1垂直走査部102aからの駆動制御信号により、1行目の画素P1cの信号をそれぞれ対応する垂直信号線104a及び104cに読み出す(タイミングtt0からtt1)。
次に、CDS1r期間において、第1列信号処理部106aのCDS回路が、S信号からN信号を減算することで、CDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(タイミングtt1からtt2)。
AD1r期間では、第1列AD部107aが、ノイズ除去された1行目の画素P1cの信号をアナログデジタル変換する。そして、1列目の画素P11及び2列目の画素P12の信号を第1水平メモリ部108aへ記憶させると共に、3列目の画素P13及び4列目の画素P14の信号を第3水平メモリ部108cに記憶させる(タイミングtt2からtt3)。
一方、第2読み出し動作Opr2においては、まず、Read2r期間において、第2垂直走査部102bからの駆動制御信号により、3行目の画素P3cの信号をそれぞれ対応する垂直信号線104b及び104dに読み出す(タイミングtt0からtt1)。
次に、CDS2r期間において、第2列信号処理部106bのCDS回路が、S信号からN信号を減算することで、CDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(タイミングtt1からtt2)。
AD2r期間では、第2列AD部107bが、ノイズ除去された2行目の画素P2cの信号をアナログデジタル変換する。そして、1列目の画素P21及び2列目の画素P22の信号を第2水平メモリ部108bへ記憶させると共に、3列目の画素P23及び4列目の画素P24の信号を第4水平メモリ部108dに記憶させる(タイミングtt2からtt3)。
上記処理により、1行目の画素P1c及び3行目の画素P3cそれぞれの信号が、第1〜第4メモリ部108a〜dに並列に記憶される。
これ以降の第1〜第4読み出し動作Opr1〜4において、第1〜第4水平メモリ部108a〜dに記憶している画素Pの信号を、それぞれに対応する第1〜第4出力部110a〜dを介して、撮像素子12から出力する処理が行われる。
まず、第1〜4水平メモリ部108a〜dのそれぞれに対応する第1〜第4出力部110a〜dにおいて、スタート同期信号を付加する(タイミングtt3からtt4のSD1a、SD2b、SD1c、SD2d)。
次に、第1〜第4水平メモリ部108a〜dに記憶している画素信号を、それぞれに対応する第1〜第4出力部110a〜dを介して出力する(タイミングtt4からtt5のSigOut1a、SigOut2b、SigOut1c、SigOut2d)。そして最後に、第1〜第4出力部110a〜dにおいて、エンド同期信号を付加することで、1行目の画素P1cと3行目の画素P3cの信の号出力が終了する(タイミングtt5からtt6のED1a、ED2b、ED1c及びED2d)。
この後、第1読み出し動作Opr1においては、1行目の画素の信号の出力後、続けて2行目の画素の信号の読み出しを行う。また、第2読み出し動作Opr2においては、3行目の画素の信号の出力後、続けて4行目の画素の信号の読み出しを行う(タイミングtt6からtt7)。
これ以降の第1〜第4読み出し動作Opr1〜4においては、1行目の画素P1cと3行目の画素P3cの信号の出力と同様に、2行目の画素P2cと4行目の画素P4cの信号の出力を同時に行う(タイミングtt7からtt8)。
また、図13においては、画素領域101に配列されている画素Pは4行であるため、2行目の画素P2cと4行目の画素P4cの信号の出力後、1行目の画素P1cと3行目の画素P3cの信号の読み出し動作が開始される。
本第3の実施形態に係る信号処理部13の入力部分は、図14を参照して第2の実施形態で説明した構成と同じであるため、説明を省略する。なお、信号処理部13での信号処理が可能となるように、撮像素子12から出力される画素配列がずれたデジタル画素信号を受け取ることが可能な構成になっている。
ここで、図13の動作タイミングよると、tt3からtt6の期間に1行目の画素P1cの信号と3行目の画素P3cの信号が4画素分同時に出力される。この時、第1読み出し動作Opr1においては、第1出力部110aから1行目の画素P11及びP12が順に出力され、同時に、第3読み出し動作Opr3において、第3出力部110cから1行目の画素P13及びP14が順に出力される。同様に、第2読み出し動作Opr2においては、第2出力部110bから3行目の画素P31及びP32が順に出力され、同時に、第4読み出し動作Opr4において、第4出力部110dから3行目の画素P33及びP34が順に出力される。
そこで、メモリ制御部407が内部メモリ404を制御して、第1入力部401aに入力された1行目の画素P11及びP12の信号と、第3入力部401cに入力された1行目の画素P13及びP14の信号を、内部メモリ404の領域mP1rにP11、P12、P13、P14の順に記憶させる。同様に、第2入力部401bに入力された3行目の画素P31及びP32の信号と第4入力部401dに入力された3行目の画素P33及びP34の信号を、内部メモリ404の領域mP3rにP31、P32、P33、P34の順に記憶させるように制御する。
また、tt6からtt7の期間では、2行目の画素P2cの信号と4行目の画素P4cの信号が4画素分同時に出力する。この時、第1読み出し動作Opr1においては、第1出力部110aから2行目の画素P21及びP22が順に出力され、同時に、第3読み出し動作Opr3において、第3出力部110cから2行目の画素P23及びP24が順に出力される。同様に、第2読み出し動作Opr2においては、第2出力部110bから4行目の画素P41及びP42が順に出力され、同時に、第4読み出し動作Opr4において、第4出力部110dから4行目の画素P43及びP44が順に出力される。
そこで、メモリ制御部407が内部メモリ404を制御して、第1入力部401aに入力された2行目の画素P21及びP22の信号と、第3入力部401cに入力された2行目の画素P23及びP24の信号を、内部メモリ404の領域mP2rにP21、P22、P23、P24の順に記憶させる。同様に、第2入力部401bに入力された4行目の画素P41及びP42の信号と、第4入力部401dに入力された4行目の画素P43及びP44の信号を、内部メモリ404の領域mP4rにP41、P42、P43、P44の順に記憶させるように制御する。
そして、内部メモリ404の領域mP1rからmP4rに記憶された1行目から4行目の画素Pの信号は、同期制御部15からの制御信号に基づいて、内部メモリ端子405から1行毎に順に信号処理されていくことになる。
その後、続けて1行目の画素P1cの信号及び3行目の画素P3cの信号が入力された場合には、また最初から内部メモリ404の領域mP1r及びmP3rに記憶すればよい。
第3の実施形態における遅延制御部の配置は、図15に示すものと同様であり、タイミング制御部301の遅延制御の動作は、第2の実施形態において、図7及び図8を追加した場合と同様であるので説明は省略する。
図19は、本第3の実施形態に係る撮像素子12における遅延動作を説明するタイミング図である。図16に示す動作に対して、図19に示す動作は、以下の点が異なる。SigOut1として、1行目の画素P11及びP12の信号が出力されている。また、SigOut2として、3行目の画素P31及びP32の信号が出力されている。更に、SigOut3として、1行目の画素P13及びP14の信号の信号が出力され、SigOut4として、3行目の画素P33及びP34の信号が出力されている。
また、TG112から第1〜第4出力部110a〜dそれぞれまでの距離に応じた遅延を考慮した画素クロック信号SckaO、SckbO、SckcO、SckdOの遅延制御の設定方法は、第2の実施形態で説明した図16と同様であるので、説明を省略する。
上記の通り本第3の実施形態によれば、撮像素子において、4つの出力部それぞれに対応する遅延制御部を設ける。そして、画素クロック信号に対して遅延制御を実施することで、撮像素子から出力される画素信号間における位相差を遅延量Td以内に収めることが可能となる。
これにより、複数の出力系の信号間において発生する位相差を、各出力系から出力される信号に対する遅延制御により解消することにより、出力信号を同期させることができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、複数の出力系から出力される信号間において発生する位相差に対応した同期制御を実現することができる。
さらに、本第3の実施形態によれば、4つの出力系から同時に4画素の信号を出力するので、4倍のフレームレートを実現することができる。
(変形例1)
次に、第3の実施形態の変形例1について説明する。図20は、図19に代えて第3の実施形態の変形例1に係る撮像装置の遅延動作を示す図である。
図17と比較して、図20ではSigOut1、SigOut2、SigOut3、SigOut4として、それぞれ1行目の画素P11の信号、3行目の画素P31の信号、1行目の画素P13の信号及び3行目の画素P33の信号が出力されている。
また、撮像素子12の第1〜第4出力部110a〜dから、それぞれ対応する信号処理部13の第1〜第4入力部401a〜dまでの距離に応じた遅延を考慮した画素クロック信号SckaI、SckbI、SckcII、SckdIの遅延制御の設定方法は、第2の実施形態における図17と同様であるので、説明は省略する。
これにより、Mckによる画素の信号の取り込みタイミングに対する位相マージンを確保することが可能となる。
(変形例2)
次に、第3の実施形態の変形例2について説明する。第2の実施形態と同様に、図15に代えて、上述した図11のように出力部110の前段に直前に画素クロック信号Sckに対する遅延制御部601を配置する。これにより、遅延制御部601を出力部110のそれぞれと一緒に配置することが可能となるので、TG112の後段に直後にまとめて配置した場合に比べて、配置上の自由度が上がるという効果が期待できる。
さらに、第2の実施形態と同様に、撮像素子12内に、図15に示す第1〜第4遅延制御部302a〜dと、図11に示す遅延制御部601とを同時に配置してもよい。これにより、撮像素子12内で発生する位相差と撮像素子12と信号処理部13間で発生する位相差を別々に制御及び管理することができる。
<他の実施形態>
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。